CN110738599A - 图像拼接方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了图像拼接方法、装置、电子设备及存储介质，涉及图像处理领域。具体实现方案为：将待拼接的图像序列中的各个原始图像进行水平校正，得到对应各个原始图像的水平图像；其中，所述图像序列为针对预定目标并按照预定顺序拍摄的多个原始图像组成的序列；将所述对应各个原始图像的水平图像进行拼接，得到第一图像。本申请能够降低对拍摄方式及拍摄角度的要求，提高拼接效果。

Description

图像拼接方法、装置、电子设备及存储介质

技术领域

本申请涉及一种数据领域，尤其涉及一种图像处理领域。

背景技术

现有的图像拼接一般采用全局对齐的方法，以一个单应性矩阵对齐图像，然后求解每幅图像的相机参数，采用柱面或者球面投影对图像进行变形，最后对变形后的图像进行融合，得到最终的拼接图像。这种方式要求图像之间的重叠区域可以近似成一个平面，而且各次拍摄时相机的光心需要近乎重合，并且需要尽可能地确保拍摄的图像水平，对拍摄方式及拍摄角度的要求很高，因此拼接的效果较差。

发明内容

第一方面，本申请实施例提出一种图像拼接方法，包括：

将待拼接的图像序列中的各个原始图像进行水平校正，得到对应各个原始图像的水平图像；其中，所述图像序列为针对预定目标并按照预定顺序拍摄的多个原始图像组成的序列；

将对应各个原始图像的水平图像进行拼接，得到第一图像。

本申请实施例将需要拼接的原始图像先进行水平校正，再对水平校正之后的水平图像进行拼接，因此对拍摄方式及拍摄角度的要求不高，能够提高拼接效果。

在一种实施方式中，水平校正的方式为：

获取原始图像中的两条第一线段，第一线段为对应预定目标中的实际水平线的线段；

利用两条第一线段的端点构建四边形；

构建四边形经过透视变换后得到的水平矩形；

根据四边形和水平矩形，确定实现透视变换的图像透视变换矩阵；

采用图像透视变换矩阵对原始图像进行水平校正。

本申请实施例采用原始图像中的第一线段的端点构建四边形，由于图像中的第一线段对应预定目标中的实际水平线，因此找到将该四边形变换成为水平矩形的图像透视变换矩阵，就可以采用该图像透视变换矩阵对原始图像进行水平校正。

在一种实施方式中，图像序列为针对多层货架中的至少一层货架的图像序列，预定顺序为横向顺序；

将对应各个原始图像的水平图像进行拼接，得到第一图像，包括：

将水平图像分组；

将各个分组中的水平图像进行左右拼接，得到各个分组对应的中间图像；

将各个中间图像进行左右拼接，得到针对多层货架中的至少一层货架的第一图像。

本申请实施例对水平图像进行分组，先拼接各个分组中的水平图像，得到各个分组中间图像；再拼接所有分组对应的中间图像，得到整个图像序列的第一图像。这种分组分步拼接的方式能够提高计算速度，避免拼接过程、特别是求解相机参数的步骤耗时过长。

在一种实施方式中，将各个分组中的水平图像进行左右拼接中，将相邻的两个水平图像进行拼接的方式为：

确定相邻的两个水平图像之间的单应矩阵；

根据单应矩阵，确定两个水平图像的拍摄相机的参数；

根据拍摄相机的参数，将两个水平图像分别投影到以一点为坐标中心的球面；

对投影后的图像进行拼接。

本申请实施例计算相邻水平图像之间的单应矩阵，利用单应矩阵计算出拍摄相机的参数，从而实现对相邻两个水平图像的快速拼接。

在一种实施方式中，确定相邻的两个水平图像之间的单应矩阵，包括：

分别提取两个水平图像的特征点及特征点的特征向量；

根据特征点的特征向量，确定两个水平图像中存在匹配关系的特征点对；

采用特征点对，计算两个水平图像之间的单应矩阵。

本申请实施例通过确定相邻图像中存在匹配关系的特征点对，采用特征点对计算相邻图像之间的单应矩阵，从而快速确定单应矩阵。

在一种实施方式中，还包括：

将至少两个待拼接的图像序列得到的第一图像进行拼接，得到针对预定目标的整体图像。

本申请实施例将各个图像序列得到的第一图像再次进行拼接，实现了对预定目标整体图像的分步拼接，能够简便高效地实现图像拼接。

第二方面，本申请实施例提出一种图像拼接装置，包括：

水平校正模块，用于将待拼接的图像序列中的各个原始图像进行水平校正，得到对应各个原始图像的水平图像；其中，图像序列为针对预定目标并按照预定顺序拍摄的多个原始图像组成的序列；

第一拼接模块，用于将对应各个原始图像的水平图像进行拼接，得到第一图像。

在一种实施方式中，水平校正模块包括：

获取子模块，用于获取原始图像中的两条第一线段，第一线段为对应预定目标中的实际水平线的线段；

四边形构建子模块，用于利用两条第一线段的端点构建四边形；

水平矩形构建子模块，用于构建四边形经过透视变换后得到的水平矩形；

确定子模块，用于根据四边形和水平矩形，确定实现透视变换的图像透视变换矩阵；

校正子模块，用于采用图像透视变换矩阵对原始图像进行水平校正。

在一种实施方式中，图像序列为针对多层货架中的至少一层货架的图像序列，预定顺序为横向顺序；

第一拼接模块包括：

分组子模块，用于将水平图像分组；

初步拼接子模块，用于将各个分组中的水平图像进行左右拼接，得到各个分组对应的中间图像；

再次拼接子模块，用于将各个中间图像进行左右拼接，得到针对多层货架中的至少一层货架的第一图像。

在一种实施方式中，初步拼接子模块用于，确定分组中相邻的两个水平图像之间的单应矩阵；根据单应矩阵，确定两个水平图像的拍摄相机的参数；根据拍摄相机的参数，将两个水平图像分别投影到以一点为坐标中心的球面；对投影后的图像进行拼接。

在一种实施方式中，初步拼接子模块用于，分别提取两个水平图像的特征点及特征点的特征向量；根据特征点的特征向量，确定两个水平图像中存在匹配关系的特征点对；采用特征点对，计算两个水平图像之间的单应矩阵。

在一种实施方式中，还包括：

整体拼接模块，用于将至少两个待拼接的图像序列得到的第一图像进行拼接，得到针对预定目标的整体图像。

第三方面，本申请实施例提出一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中任一项的方法。

第四方面，本申请实施例提出一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行第一方面中任一项的方法。

上述申请中的一个实施例具有如下优点或有益效果：本申请实施例将需要拼接的原始图像先进行水平校正，再对水平校正之后的水平图像进行拼接，因此对拍摄方式及拍摄角度的要求不高，能够提高拼接效果。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为根据本申请实施例的图像拼接方法实现流程图一；

图2为根据本申请实施例的图像拼接方法实现流程图二；

图3为根据本申请实施例的图像拼接方法中，步骤S101中的水平校正实现流程图；

图4为根据本申请实施例的针对一个货架的原始图像示意图；

图5为根据本申请实施例的图像拼接方法中，步骤S102的实现流程图；

图6为根据本申请实施例的图像拼接方法的整体拼接顺序示意图；

图7为根据本申请实施例的图像拼接方法中，将相邻的两个水平图像进行拼接的实现流程图；

图8为根据本申请实施例的图像拼接方法中，步骤S701的实现流程图；

图9为根据本申请实施例的图像拼接方法中，拼接两个相邻图像的具体实现流程图；

图10为根据本申请实施例的图像拼接装置结构示意图一；

图11为根据本申请实施例的图像拼接装置结构示意图二；

图12为用来实现本申请实施例的图像拼接方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例提出一种图像拼接方法，图1为根据本申请实施例的图像拼接方法实现流程图一，包括：

步骤S101：将待拼接的图像序列中的各个原始图像进行水平校正，得到对应各个原始图像的水平图像；其中，图像序列为针对预定目标并按照预定顺序拍摄的多个原始图像组成的序列；

步骤S102：将对应各个原始图像的水平图像进行拼接，得到第一图像。

上述步骤S101中的预定顺序可以为横向顺序，例如横向从左到右的顺序、或者横向从右到左的顺序。相应地，步骤S102中的拼接可以为左右拼接。左右拼接之后得到的第一图像可以对应预定目标横向的一部分，多个图像序列对应预定目标横向的各个部分。这样，将多个图像序列分别进行左右拼接，得到多个第一图像；再对得到的多个第一图像上下拼接，得到针对预定目标整体范围的全局图像。

具体如图2所示，图2为根据本申请实施例的图像拼接方法实现流程图二。如图2所示，在上述步骤S101之后，进一步包括：

步骤S203：将至少两个待拼接的图像序列得到的第一图像进行拼接，得到针对预定目标的整体图像。

本申请实施例可以采用先左右拼接、后上下拼接的方案，也可以采用先上下拼接、后左右拼接的方案。除拼接顺序外，前述两种方案拼接图像的具体方式相同。以下实施例均以先左右拼接、后上下拼接为例进行介绍。

图3为根据本申请实施例的图像拼接方法中，步骤S101中的水平校正实现流程图，包括：

步骤S301：获取原始图像中的两条第一线段，第一线段为对应预定目标中的实际水平线的线段；

步骤S302：利用两条第一线段的端点构建四边形；

步骤S303：构建四边形经过透视变换后得到的水平矩形；

步骤S304：根据四边形和水平矩形，确定实现透视变换的图像透视变换矩阵；

步骤S305：采用图像透视变换矩阵对原始图像进行水平校正。

在一种可能的实施例中，上述预定目标可以为存在较多水平线段的物体，例如货架、书柜、建筑等。在以下实施例中，以预定目标为货架为例进行介绍。

图4为根据本申请实施例的针对一个货架的原始图像示意图。在图4中，黑色粗线表示各层货架的隔层，图4显示了三层货架，为显示清晰，货架中没有显示货物。虚线矩形表示拍摄货架得到的原始图像。在图4中，P101至P110为第一层货架对应的图像序列，P201至P210为第二层货架对应的图像序列，P301至P310为第三层货架对应的图像序列；每个图像序列按照从左到右、或从右到左的横向顺序拍摄得到的。本申请实施例可以分别对各层货架的图像序列进行左右拼接，再将拼接后的图像进行上下拼接，得到货架的整体图像。为了实现准确拼接，如图4所示，相邻的原始图像存在重叠区域。

在实际拍照时，很难保证拍摄角度时水平的。由于本申请实施例应用于货架等存在较多水平线段的物体，因此可以以真实物体中的水平线段、以及这些水平线段在图像中的线段为参照，对拍摄出的图像进行水平校正，也就是上述步骤S301至S305中的内容。需要强调的是，上述步骤S301中的“第一线段”是对应真实物体中实际水平线的线段；在原始图像中，第一线段很可能不是水平的。以货架为例，上述步骤S301可以获取原始图像中属于货架水平隔层的第一线段，如图4中黑色粗线被截断得到的线段。

在一种实施方式中，上述步骤S301可以包括：

第一步：货架直线检测：

首先对原始图像进行高斯滤波和边缘检测，然后将得到的边缘图像作为霍夫变换(Hough变换)的输入；并设置合适的参数，例如最小线段长度(minLineLength)参数和最大线段间隔(maxLineGap)参数，采用累计概率Hough变换检测出输入的原始图像的所有线段。

第二步：确定线段：

对第一步检测出的线段进行去重和筛选，只保留那些属于货架的线段。然后在这些线段中选取两条最长、相距最远的线段，作为用于构建上述四边形的第一线段。

其中，可以根据线段的长度、斜率、截距和位置中的至少一项，对所有线段进行去重和筛选。

在一种实施方式中，上述步骤S305可以根据求解出的图像透视变换矩阵，对输入的原始图像的每一个像素点分别进行变换，从而完成对整个原始图像的水平矫正，消除拍摄角度倾斜的影响。

在一种实施方式中，图像序列为针对多层货架中的至少一层货架的图像序列，预定顺序为横向顺序。

图5为根据本申请实施例的图像拼接方法中，步骤S102的实现流程图，包括：

步骤S501：将水平图像分组；

步骤S502：将分组中的水平图像进行左右拼接，得到各个分组对应的中间图像；

步骤S503：将各个中间图像进行左右拼接，得到针对多层货架中的至少一层货架的第一图像。

在一种实施方式中，相邻分组的水平图片序列可以具有一定的重合度，即相邻两个分组包含至少一个相同的水平图像。例如，在对图4中第一层货架的原始图像P101～P110分别进行水平校正后，得到水平图像P101’～P110’。如果设定每个分组包括7个水平图像，相邻分组的重合度为2，则可以将水平图像P101’～P110’划分为两个组，第一组包括水平图像P101’～P107’，第二组包括水平图像P106’～P110’，两个分组均包括水平图像P106’和P107’。

图6为根据本申请实施例的图像拼接方法的整体拼接顺序示意图。如图6所示，对于输入的货架图像序列，分别对单排货架图像序列进行拼接，得到单排拼接图像；再对所有的单排拼接图像进行上下拼接，得到全景货架图像。其中，在对单排货架图像序列进行拼接时，首先对各个原始图像进行水平校正；再对水平校正后的图像分组，将各个分组内的图像分别左右拼接；最后将所有分组得到的单组拼接图像再次左右拼接，得到单排货架的单排拼接图像。

图7为根据本申请实施例的图像拼接方法中，将相邻的两个水平图像进行拼接的实现流程图，包括：

步骤S701：确定相邻的两个水平图像之间的单应矩阵；

步骤S702：根据单应矩阵，确定两个水平图像的拍摄相机的参数；

步骤S703：根据拍摄相机的参数，将两个水平图像分别投影到以一点为坐标中心的球面；

步骤S704：对投影后的图像进行拼接。

图8为根据本申请实施例的图像拼接方法中，步骤S701的实现流程图，包括：

步骤S801：分别提取两个水平图像的特征点及特征点的特征向量；

步骤S802：根据特征点的特征向量，确定两个水平图像中存在匹配关系的特征点对；

步骤S803：采用特征点对，计算两个水平图像之间的单应矩阵。

以下参见图9，以一个具体的实施例详细介绍拼接两个相邻水平图像的实现过程。图9为根据本申请实施例的图像拼接方法中，拼接两个相邻图像的具体实现流程图，图9中详细介绍了上述图7和图8中的具体实现方式，包括：

步骤S901：对于输入的图像，首先计算图像的特征点，并得到各个特征点的特征向量。本申请实施例可以采用Surf算法提取图像的特征点。Surf算法是首先通过改变高斯模糊核的尺寸大小和σ值构建图像的尺度空间，然后通过计算Hessian矩阵行列式的值和非极大值抑制提取出图像的特征点，最后通过统计每个特征点邻域范围内的哈尔(Haar)小波特征得到每个特征点64维的特征向量。

步骤S902：为了保证拼接效果，本申请实施例输入的货架图像序列是连续拍摄的，设置相邻图像是相互匹配的关系，相邻图像中有重叠区域。在得到图像的特征点和特征向量后，需要通过图像重叠区域的特征点的匹配关系计算图像间的单应矩阵。具体地，可以对每幅图像中特征点的特征向量采用最近邻算法(2-NN)与其他图像中特征点的特征向量进行匹配，得到两幅图像之间的匹配点对。然后对这些匹配点对采用仿射(Affine)变换矩阵进行建模，计算得到两幅图像之间单应矩阵。

步骤S903：在得到图像之间的单应矩阵后，可以根据相机的小孔成像模型求解出每幅图像拍摄时的内部参数和外部参数。具体地，本申请实施例可以首先通过单应矩阵与相机内部参数、外部参数之间的关系计算出相机参数的初值，然后采用光束平差法(BundleAdjustment)对相机参数进行进一步的优化，求解出相机内部参数和外部参数的精确值。

步骤S904：为了保证拼接后实际视场的视觉一致性，在拼接之前还需要对图像进行投影变换。具体可以采用球面投影对图像进行变换，利用步骤S903中求解的相机内部参数和外部参数，将图像平面上的每一个像素点根据球面投影模型投影到以一点为坐标中心的球面上，对图像进行扭曲变形。

步骤S905：在对投影后的图像进行拼接时，对于匹配图像的重叠区域，采用多频段融合的方法进行处理。具体地，多频段融合方法首先分别建立每幅图像的拉普拉斯金字塔，然后针对图像之间的重叠区域，把图像金字塔的相同层进行合并，使各个频段的信息都保留并融合在一起，最后对合并后的金字塔进行逆拉普拉斯变换，得到最终的融合图像。

上述图7、图8和图9对应的实施例介绍了对相邻两个图像进行拼接的具体方式。本申请实施例采用上述方式对各个分组中的相邻两个水平图像进行拼接，并且，本申请实施例也可以采用上述方式对各个分组拼接后得到的中间图像再次拼接，得到一个图像序列对应的第一图像；进一步地，本申请实施例也可以采用上述方式对各个第一图像进行拼接，得到针对预定目标的整体图像。

本申请实施例还提出一种图像拼接装置，图10为根据本申请实施例的图像拼接装置结构示意图一，图10所示的图像拼接装置1000包括：

水平校正模块1010，用于将待拼接的图像序列中的各个原始图像进行水平校正，得到对应各个原始图像的水平图像；图像序列为针对预定目标并按照预定顺序拍摄的多个原始图像组成的序列；

第一拼接模块1020，用于将对应各个原始图像的水平图像进行拼接，得到第一图像。

图11为根据本申请实施例的图像拼接装置结构示意图二，如图11所示图像拼接装置1100中，水平校正模块1010包括：

获取子模块1011，用于获取原始图像中的两条第一线段，第一线段为对应预定目标中的实际水平线的线段；

四边形构建子模块1012，用于利用两条第一线段的端点构建四边形；

水平矩形构建子模块1013，用于构建四边形经过透视变换后得到的水平矩形；

确定子模块1014，用于根据四边形和水平矩形，确定实现透视变换的图像透视变换矩阵；

校正子模块1015，用于采用图像透视变换矩阵对原始图像进行水平校正。

在一种可能的实施方式中，图像序列为针对多层货架中的至少一层货架的图像序列，预定顺序为横向顺序；

如图11所示，第一拼接模块1020可以包括：

分组子模块1021，用于将水平图像分组；

初步拼接子模块1022，用于将各个分组中的水平图像进行左右拼接，得到各个分组对应的中间图像；

再次拼接子模块1023，用于将各个中间图像进行左右拼接，得到针对多层货架中的至少一层货架的第一图像。

在一种可能的实施方式中，初步拼接子模块1022用于，确定分组中相邻的两个水平图像之间的单应矩阵；根据单应矩阵，确定两个水平图像的拍摄相机的参数；根据拍摄相机的参数，将两个水平图像分别投影到以一点为坐标中心的球面；对投影后的图像进行拼接。

在一种可能的实施方式中，初步拼接子模块1022用于，分别提取两个水平图像的特征点及特征点的特征向量；根据特征点的特征向量，确定两个水平图像中存在匹配关系的特征点对；采用特征点对，计算两个水平图像之间的单应矩阵。

如图11所示，上述装置还可以包括：

整体拼接模块1130，用于将至少两个待拼接的图像序列得到的第一图像进行拼接，得到针对预定目标的整体图像。

本申请实施例各装置中的各模块功能可参见上述方法中的对应描述，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图12所示，是根据本申请实施例的图像拼接方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图12所示，该电子设备包括：一个或多个处理器1201、存储器1202，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图12中以一个处理器1201为例。

存储器1202即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像拼接的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像拼接的方法。

存储器1202作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像拼接的方法对应的程序指令/模块(例如，附图10所示的水平校正模块1010和第一拼接模块1020)。处理器1201通过运行存储在存储器1202中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像拼接的方法。

存储器1202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像拼接的电子设备的使用所创建的数据等。此外，存储器1202可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1202可选包括相对于处理器1201远程设置的存储器，这些远程存储器可以通过网络连接至图像拼接的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

图像拼接的方法的电子设备还可以包括：输入装置1203和输出装置1204。处理器1201、存储器1202、输入装置1203和输出装置1204可以通过总线或者其他方式连接，图12中以通过总线连接为例。

输入装置1203可接收输入的数字或字符信息，以及产生与图像拼接的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1204可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，将需要拼接的原始图像先进行水平校正，再对水平校正之后的水平图像进行拼接，因此对拍摄方式及拍摄角度的要求不高，能够提高拼接效果。并且，本申请实施例采用分步拼接的方式，首先分别对各个图像序列进行拼接，之后再对所有图像序列拼接得到的第一图像进行拼接，从而得到针对预定目标的全景图像。在对图像序列进行拼接时，也可以将水平校正后的水平图像分组，首先分别对各个分组中的水平图像进行拼接，再对所有分组得到的中间图像进行拼接，得到第一图像。这种分步拼接的方式能够提高运算速度，得到较好的拼接效果。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种图像拼接方法，其特征在于，包括：

将待拼接的图像序列中的各个原始图像进行水平校正，得到对应各个原始图像的水平图像；其中，所述图像序列为针对预定目标并按照预定顺序拍摄的多个原始图像组成的序列；

将所述对应各个原始图像的水平图像进行拼接，得到第一图像。

2.根据权利要求1所述的方法，其特征在于，所述水平校正的方式为：

获取所述原始图像中的两条第一线段，所述第一线段为对应所述预定目标中的实际水平线的线段；

利用所述两条第一线段的端点构建四边形；

构建所述四边形经过透视变换后得到的水平矩形；

根据所述四边形和所述水平矩形，确定实现所述透视变换的图像透视变换矩阵；

采用所述图像透视变换矩阵对所述原始图像进行水平校正。

3.根据权利要1所述的方法，其特征在于，所述图像序列为针对多层货架中的至少一层货架的图像序列，所述预定顺序为横向顺序；

所述将所述对应各个原始图像的水平图像进行拼接，得到第一图像，包括：

将所述水平图像分组；

将各个分组中的水平图像进行左右拼接，得到各个分组对应的中间图像；

将各个所述中间图像进行左右拼接，得到针对所述多层货架中的至少一层货架的第一图像。

4.根据权利要3所述的方法，其特征在于，所述将各个分组中的水平图像进行左右拼接中，将相邻的两个水平图像进行拼接的方式为：

确定所述相邻的两个水平图像之间的单应矩阵；

根据所述单应矩阵，确定所述两个水平图像的拍摄相机的参数；

根据所述拍摄相机的参数，将所述两个水平图像分别投影到以一点为坐标中心的球面；

对投影后的图像进行拼接。

5.根据权利要4所述的方法，其特征在于，所述确定所述相邻的两个水平图像之间的单应矩阵，包括：

分别提取所述两个水平图像的特征点及特征点的特征向量；

根据所述特征点的特征向量，确定两个水平图像中存在匹配关系的特征点对；

采用所述特征点对，计算所述两个水平图像之间的单应矩阵。

6.根据权利要求1至5任一所述的方法，其特征在于，还包括：

将至少两个所述待拼接的图像序列得到的第一图像进行拼接，得到针对所述预定目标的整体图像。

7.一种图像拼接装置，其特征在于，包括：

水平校正模块，用于将待拼接的图像序列中的各个原始图像进行水平校正，得到对应各个原始图像的水平图像；其中，所述图像序列为针对预定目标并按照预定顺序拍摄的多个原始图像组成的序列；

第一拼接模块，用于将所述对应各个原始图像的水平图像进行拼接，得到第一图像。

8.根据权利要求7所述的装置，其特征在于，所述水平校正模块包括：

获取子模块，用于获取所述原始图像中的两条第一线段，所述第一线段为对应所述预定目标中的实际水平线的线段；

四边形构建子模块，用于利用所述两条第一线段的端点构建四边形；

水平矩形构建子模块，用于构建所述四边形经过透视变换后得到的水平矩形；

确定子模块，用于根据所述四边形和所述水平矩形，确定实现所述透视变换的图像透视变换矩阵；

校正子模块，用于采用所述图像透视变换矩阵对所述原始图像进行水平校正。

9.根据权利要7所述的装置，其特征在于，所述图像序列为针对多层货架中的至少一层货架的图像序列，所述预定顺序为横向顺序；

所述第一拼接模块包括：

分组子模块，用于将所述水平图像分组；

初步拼接子模块，用于将各个分组中的水平图像进行左右拼接，得到各个分组对应的中间图像；

再次拼接子模块，用于将各个所述中间图像进行左右拼接，得到针对所述多层货架中的至少一层货架的第一图像。

10.根据权利要9所述的装置，其特征在于，所述初步拼接子模块用于，确定所述分组中相邻的两个水平图像之间的单应矩阵；根据所述单应矩阵，确定所述两个水平图像的拍摄相机的参数；根据所述拍摄相机的参数，将所述两个水平图像分别投影到以一点为坐标中心的球面；对投影后的图像进行拼接。

11.根据权利要10所述的装置，其特征在于，所述初步拼接子模块用于，分别提取所述两个水平图像的特征点及特征点的特征向量；根据所述特征点的特征向量，确定两个水平图像中存在匹配关系的特征点对；采用所述特征点对，计算所述两个水平图像之间的单应矩阵。

12.根据权利要求7至11任一所述的装置，其特征在于，还包括：

整体拼接模块，用于将至少两个所述待拼接的图像序列得到的第一图像进行拼接，得到针对所述预定目标的整体图像。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images