CN104992408B - 用于用户终端的全景图像生成方法和装置 - Google Patents

Abstract

本发明提出一种用于用户终端的全景图像生成方法和装置，该用于用户终端的全景图像生成方法包括：获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；对相邻图像进行颜色调整，得到颜色调整后的相邻图像；根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。该方法能够提高图像拼接速度。

Description

用于用户终端的全景图像生成方法和装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种用于用户终端的全景图像生成方法和装置。

背景技术

全景图可以通过广角拍摄获取，但受限于拍摄硬件，更多的全景图是由多张图像拼接得到，以尽可能多表现出周围的环境。现有技术中通常采用如下几种方式由多个图像拼接得到全景图像：一种是通用拼接方法，该方法使用尺度不变特征转换(Scale-invariant feature transform，SIFT)特征和光束法平差(bundle adjustment)优化进行图像拼接，另一种是针对手机的拼接方法，可分为使用手机内置的传感器记录手机运行轨迹加速图像拼接，以及，通过对重叠区域进行颜色和光照补偿，以提高拼接的图像质量。

但是，现有的通用拼接方法和现有的针对手机的拼接方法拼接速度都比较慢。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种用于用户终端的全景图像生成方法，该方法可以提高图像拼接速度。

本发明的另一个目的在于提出一种用于用户终端的全景图像生成装置。

为达到上述目的，本发明第一方面实施例提出的用于用户终端的全景图像生成方法，包括：获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；对相邻图像进行颜色调整，得到颜色调整后的相邻图像；根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。

本发明第一方面实施例提出的用于用户终端的全景图像生成方法，通过确定多张图像之间的相邻关系，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，从而可以提高图像拼接速度。

为达到上述目的，本发明第二方面实施例提出的用于用户终端的全景图像生成装置，包括：匹配模块，用于获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；优化模块，用于根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；调整模块，用于对相邻图像进行颜色调整，得到颜色调整后的相邻图像；拼接模块，用于根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。

本发明第二方面实施例提出的用于用户终端的全景图像生成装置，通过确定多张图像之间的相邻关系，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，从而可以提高图像拼接速度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提出的用于用户终端的全景图像生成方法的流程示意图；

图2是本发明实施例中S11的流程示意图；

图3是本发明实施例中S12的流程示意图；

图4是本发明实施例中S13的流程示意图；

图5是本发明实施例中S14的流程示意图；

图6a是本发明实施例中进行拼接的图像的示意图；

图6b是本发明实施例中图像对应的mask图的示意图；

图6c是本发明实施例中拼接后的全景图的示意图；

图7是本发明另一实施例提出的用于用户终端的全景图像生成装置的结构示意图；

图8是本发明另一实施例提出的用于用户终端的全景图像生成装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本发明一实施例提出的用于用户终端的全景图像生成方法的流程示意图，该方法包括：

S11：获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；

其中，可以采用用户终端的摄像头对周围环境进行拍摄，得到不同状态(如角度，光照等)下的多张图像。

一个实施例中，为了降低运算量，只计算相邻图像之间的匹配关系，而不对不相邻的图像之间的匹配关系进行运算。因此，可以先确定出相邻图像。

可选的，以用户终端是移动设备为例，参见图2，是S11的实现流程图，其中的从所述多张图像中确定相邻图像，包括：

S21：对应每张图像，获取拍摄所述图像时，设置在所述移动设备内的传感器的信息，根据所述传感器的信息确定相邻图像。

其中，传感器例如陀螺仪、地磁仪或者重力感应器等。

例如，在每次拍摄一张图像时，记录该图像对应的传感器的信息，之后可以根据该信息确定出相邻图像。例如，第一图像的角度是第一角度，第二图像的角度是第二角度，第三图像的角度是第三角度，假设第一角度与第二角度的差值小于第三角度与第一角度的差值，则可以确定第一图像与第二图像相邻。当然，可以理解的是，上述确定相邻图像的方式只是一种简化示例，还可以采用其他方式实现。

本实施例中，通过采用移动设备内的装置可以充分利用移动设备自身资源，方便快捷的确定出相邻图像。

在确定出相邻图像后，可以对相邻图像中的每张图像分别进行特征提取，以完成特征匹配。

一个实施例中，参见图2，其中的对相邻图像进行特征匹配，获取匹配的特征点对，包括：

S23：将相邻图像划分为预设个数的区域，并在每个区域内，提取个数小于预设值的特征点。

例如，可以将相邻图像中的每张图像分为四个区域，每个区域提取限定个数的特征点。

特征点可以具体是SIFT特征点。

S24：根据相邻图像内提取的特征点，进行特征匹配，得到匹配的特征点对。

例如，采用随机抽样一致(Random Sample Consensus，RANSAC)算法，对相邻图像中的SIFT特征点进行匹配，得到匹配的特征点对。

本实施例中，通过限定特征点的个数，可以降低运算量，从而提高拼接速度。

一个实施例中，在特征点提取之前可以先对图像进行预处理，和/或，在特征点对匹配之后再删除一些匹配错误的特征点对。

参见图2，还可以包括：

S22：对相邻图像进行预处理，所述预处理可以包括：颜色增强，和/或，尺寸缩放。

其中，颜色增强是指对偏暗的图像进行增强，例如，如果一张图像的像素的亮度值小于预设值，则可以将该亮度值增加预设的增量。

尺寸缩放是指将原始图像缩放成适用于移动设备处理的尺寸，其中，该尺寸可以根据移动设备的类别不同而确定。

在预处理之后，可以对预处理后的图像进行特征提取和特征匹配，具体可以参见上述相关描述，在此不再赘述。

本实施例中，通过预处理，可以提高处理效果，并适应于移动设备。

在采用RANSAC得到匹配的特征点对后，可能存在匹配错误的特征点对，因此，之后还可以去除匹配错误的特征点对。

一个实施例中，参见图2，还可以包括：

S25：对所述匹配的特征点对进行过滤处理，去除匹配错误的特征点对。

其中，可以采用启发式算法进行过滤处理。

例如，假设两对特征点对分别是A和B，C和D，以及，E和F等，则可以连接A和B，得到线段AB，类似的，还可以得到线段CD，EF等。之后，比较这些线段，将基本相同长度的，且基本是平行关系的线段对应的特征点对进行保留，去除其他特征点对。其中，去除的特征点对通常包括：匹配错误的SIFT特征点对，通常这些匹配错误的SIFT特征点对表现为不满足基本平行，以及，错误的RANSAC内点(inliers)，通常这些错误的RANSAC内点不满足线段长度基本相同。

通过过滤处理，得到过滤处理后的匹配的特征点对，之后，在后续处理时，采用的匹配的特征点对是指过滤处理后的匹配的特征点对。

本实施例中，通过过滤处理，可以提高匹配的特征点对的准确度，从而提高图像拼接的准确度。

S12：根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数。

其中，可以采用光束法平差(bundle adjustment)算法进行全局相机参数优化。

bundle adjustment算法是一个非线性方程，通过使得所有图像之间匹配的特征点对的投影差值最小，而优化相机参数。

bundle adjustment算法使用Levenberg-Marquardt迭代算法进行求解。非线性优化对初始值非常敏感，如果给定的初始值不好，只能求解到局部的最优解，导致拼接之后的全景图有错位或者重影。

为此，一个实施例中，参见图3，全局优化相机参数的流程可以包括：

S31：确定所述初始相机参数，所述确定所述初始相机参数包括：

获取在拍摄每张图像时，设置在所述移动设备内的传感器的信息，并根据所述信息确定每张图像的初始相机参数。

其中，相机参数可以包括：焦距，旋转矩阵等。

现有技术中，初始相机参数采用随机初始值，通过实验验证，采用本实施例的根据传感器信息得到的初始相机参数可以得到更好的最优解，从而减少拼接重影和错位。

S32：根据所述初始相机参数和过滤后匹配的特征点对，得到优化后的相机参数。

例如，采用Levenberg-Marquardt迭代算法，求解出优化后的相机参数。

另外，在用Levenberg-Marquardt迭代算法进行优化求解时，可能存在优化失败(算法不收敛)的情况。现有技术中并没有给出优化失败的解决方案，而本发明一个实施例中，参见图3，还可以包括：

S33：在优化失败后，采用失败解决方案。失败解决方案如下：

如果相机参数优化失败，将预先确定的理想相机参数作为初始相机参数再次优化；

其中，理想相机参数可以采用如下方式确定：确定用户终端(如移动设备)每层拍摄的图像格式，再平均估算每张图所处的角度，根据该角度得到理想相机参数。

如果所述再次优化失败，且，所述多张图像分为三层，则去除最下面一层的图像，使用上面两层的图像进行优化；

当将理想相机参数作为初始相机参数也优化失败时，可以去除一部分图像对应的特征点对。例如，通常使用手机拍摄时，会拍摄三层图像，本实施例中，可以先去除最底层的图像，优化上面两层的图像，确保上面两层的图像拼接正确。

其中，在优化上面两层的图像时，具体也可以是根据上面两层图像的匹配的特征点对以及初始相机参数进行优化，另外，初始相机参数也可以优先选择本实施例上述根据传感器信息确定的初始相机参数，再选择理想相机参数。

如果使用上面两层的图像优化失败，仅使用中间一层的图像进行优化。

例如，如果上面两层不能被优化，则可以只保证中间一层的图像被优化，确保中间一层图像拼接正确，因此，此时，可以采用中间一层图像对应的特征点对和初始相机参数进行运算，并在运算时，初始相机参数也可以优先采用本实施例上述根据传感器信息确定的初始相机参数，再选择理想相机参数。

本实施例中，通过采用根据传感器信息得到的初始相机参数，可以提高最优解的准确性，从而提高拼接效果，另外，通过采用上述优化失败后的处理方案，可以增强鲁棒性。

S13：对所述相邻图像进行颜色调整，得到颜色调整后的相邻图像。

在手机拍照过程中，每张图片的参数，如曝光及白平衡等，都是重新计算过的。在场景不同区域的光照改变会导致相邻图片的不同曝光度。同时，场景不同部分的不同颜色的物体也能影响白平衡设置，导致相同物体在相邻图片中表现出不同的外观，有些更亮有些更暗。如果没有额外的颜色和光照处理，就会在全景图的重叠区域产生颜色不均，因此就需要在拼接它们之前对原图像进行颜色和光照的补偿。

一个实施例中，参见图4，所述对所述相邻图像进行颜色调整，得到颜色调整后的图像，包括：

S41：确定相邻图像的重叠区域。

两张图像的重叠区域的确定算法可以采用已有技术实现。

S42：根据相邻图像在所述重叠区域内的两组像素点的像素值，确定使得两组像素值的差值最小的校正参数。

例如，相邻图像是A和B，A和B重复区域是D，则可以获取A的D区域内的像素点的像素值，以及，B的D区域内的像素点的像素值，之后可以采用最小二乘算法，计算这两组像素值的差值最小时，A和B分别对应的校正参数，校正参数例如为Gamma校正参数。

S43：采用所述校正参数对相邻图像进行颜色调整，得到颜色调整后的相邻图像。

例如，在确定出A和B的校正参数后，可以分别采用A的校正参数对A进行颜色校正，采用B的校正参数对B进行颜色校正。

本实施例中，通过颜色校正，可以解决全景图颜色不均的情况。

S14：根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。

在对相邻图像进行相机参数优化以及颜色调整后，可以对相邻图像进行拼接，以生成全景图。

一个实施例中，参见图5，所述根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图，包括：

S51：对所述颜色调整后的相邻图像，进行缩小处理，得到缩小后的图像。

例如，可以将相邻图像中的每张图像缩小为原来的1/8。

S52：根据所述优化后的相机参数，确定所述缩小后的图像内的拼缝。

其中，在图像确定后，根据相邻图像确定每个图像内的拼缝可以采用已有技术。

与现有技术不同的是，现有技术通常采用原始大小的图像，而本实施例通过对图像进行缩小，在缩小后的图片上确定拼缝，实现在低分辨率的图像上确定拼缝，可以降低工作量，节省时间。

S53：根据所述优化后的相机参数以及所述拼缝，生成每张图像对应的掩膜(mask)图，所述掩膜图包括：组成部分和衔接部分。

其中，可以根据优化后的相机参数确定每张图像在全景图的位置，在该位置以及拼缝确定后，可以确定出一张图像的掩膜图，该掩膜图由组成部分和衔接部分组成。

例如，进行图像拼接的四幅图像如图6a所示，这四幅图像对应的mask图可以如图6b所示，其中，组成部分是白色区域，衔接部分是黑色区域。

S54：对相邻图像的所述衔接部分进行多层混合融合，得到融合后的部分，并将所述组成部分和所述融合后的部分组成全景图。

其中，mask图中的组成部分可以直接用作全景图的相应部分，由于衔接部分在相邻图像上存在重叠，因此需要进行处理，本实施例中可以采用已有的多层混合的方式，之后再由组成部分和融合后的部分组成全景图。

另外，需要说明的是，通常mask图的大小是选择为与全景图的大小一致(也就是分辨率一致)，从而可以直接由组成部分和融合后的部分组成全景图。

例如，拼接后的全景图可以如图6c所示。

一个实施例中，在将mask图选择与全景图的大小一致时，由于全景图在拼接处理时采用三维形式拼接，在展示时以二维形式展示，那么在展示时可能会存在一个图像的mask图的衔接部分很大，组成部分分散在衔接部分的两端。此时，还可以进行如下处理：

当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。

例如，在后续的多层混合时，以及将组成部分和融合后的部分进行组成时，将每个小图作为独立的一个图像进行处理。

本实施例中，通过将mask图划分为小的图片，可以减少处理时间，例如，每个mask图可以减少1～2秒的时间，而一般会有7～8张mask图，因此，拼接速度可以有较明显的提升。

本发明的上述实施例可以具体应用在手机的图像拼接中，可以理解的是，本发明的上述方案也可以应用到其他移动设备内，例如应用在车载系统的拼接中。进一步的，在车载等其他场景下，具体参数等可以根据实际情况进行调整。

本发明实施例中，通过确定相邻图像，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，可以提高图像拼接速度。并且，本实施例的上述方法可以特别适用于移动设备，通过以上图像的预处理、特征匹配、全局优化、全局颜色调整、及多层混合等改进，能快速高质量地在移动设备上进行多层照片的全景拼接。根据实验表明，拼接成功率在80％以上，速度在40秒以内。并且，本实施例的方案可以应用到不同种类的用户终端内，提升它们的性能。

图7是本发明另一实施例提出的用于用户终端的全景图像生成装置的结构示意图，该装置可以位于用户终端内，该装置70包括：

匹配模块71，用于获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；

其中，可以采用用户终端的摄像头对周围环境进行拍摄，得到不同状态(如角度，光照等)下的多张图像。

一个实施例中，为了降低运算量，只计算相邻图像之间的匹配关系，而不对不相邻的图像之间的匹配关系进行运算。因此，可以先确定出相邻图像。

可选的，以用户终端是移动设备为例，所述匹配模块71用于从所述多张图像中确定相邻图像，包括：

对应每张图像，获取拍摄所述图像时，设置在所述移动设备内的传感器的信息，根据所述传感器的信息确定相邻图像。

其中，传感器例如陀螺仪、地磁仪或者重力感应器等。

例如，在每次拍摄一张图像时，记录该图像对应的传感器的信息，之后可以根据该信息确定出相邻图像。例如，第一图像的角度是第一角度，第二图像的角度是第二角度，第三图像的角度是第三角度，假设第一角度与第二角度的差值小于第三角度与第一角度的差值，则可以确定第一图像与第二图像相邻。当然，可以理解的是，上述确定相邻图像的方式只是一种简化示例，还可以采用其他方式实现。

本实施例中，通过采用移动设备内的装置可以充分利用移动设备自身资源，方便快捷的确定出相邻图像。

在确定出相邻图像后，可以对相邻图像中的每张图像分别进行特征提取，以完成特征匹配。

可选的，所述匹配模块71用于对相邻图像进行特征匹配，获取匹配的特征点对，包括：

将相邻图像划分为预设个数的区域，并在每个区域内，提取个数小于预设值的特征点；

例如，可以将相邻图像中的每张图像分为四个区域，每个区域提取限定个数的特征点。

特征点可以具体是SIFT特征点。

根据相邻图像内提取的特征点，进行特征匹配，得到匹配的特征点对。

例如，采用随机抽样一致(Random Sample Consensus，RANSAC)算法，对相邻图像中的SIFT特征点进行匹配，得到匹配的特征点对。

本实施例中，通过限定特征点的个数，可以降低运算量，从而提高拼接速度。

一个实施例中，该匹配模块还用于在特征点提取之前可以先对图像进行预处理，和/或，在特征点对匹配之后再删除一些匹配错误的特征点对。具体内容可以参见方法实施例中的相关描述，在此不再赘述。

优化模块72，用于根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；

其中，可以采用光束法平差(bundle adjustment)算法进行全局相机参数优化。

bundle adjustment算法是一个非线性方程，通过使得所有图像之间匹配的特征点对的投影差值最小，而优化相机参数。

bundle adjustment算法使用Levenberg-Marquardt迭代算法进行求解。非线性优化对初始值非常敏感，如果给定的初始值不好，只能求解到局部的最优解，导致拼接之后的全景图有错位或者重影。

一个实施例中，参见图8，该装置70还包括：用于确定所述初始值的确定模块75，所述确定模块75具体用于：

获取在拍摄每张图像时，设置在所述移动设备内的传感器的信息，并根据所述信息确定每张图像的初始相机参数。

其中，相机参数可以包括：焦距，旋转矩阵等。

现有技术中，初始相机参数采用随机初始值，通过实验验证，采用本实施例的根据传感器信息得到的初始相机参数可以得到更好的最优解，从而减少拼接重影和错位。

另外，在用Levenberg-Marquardt迭代算法进行优化求解时，可能存在优化失败(算法不收敛)的情况。现有技术中并没有给出优化失败的解决方案。

本发明的一个实施例中，参见图8，该装置70还包括：

处理模块76，用于如果相机参数优化失败，将预先确定的理想相机参数作为初始相机参数再次优化；如果所述再次优化失败，且，图像分为三层，则去除最下面一层的图像，使用上面两层的图像进行优化；如果使用上面两层的图像优化失败，仅使用中间一层的图像进行优化。

其中，理想相机参数可以采用如下方式确定：确定用户终端(如移动设备)每层拍摄的图像格式，再平均估算每张图所处的角度，根据该角度得到理想相机参数。

当将理想相机参数作为初始相机参数也优化失败时，可以去除一部分图像对应的特征点对。例如，通常使用手机拍摄时，会拍摄三层图像，本实施例中，可以先去除最底层的图像，优化上面两层的图像，确保上面两层的图像拼接正确。

其中，在优化上面两层的图像时，其中，相机参数可以包括：焦距，旋转矩阵等。初始相机参数也可以优先选择本实施例上述根据传感器信息确定的初始值，再选择理想相机参数。例如，如果上面两层不能被优化，则可以只保证中间一层的图像被优化，确保中间一层图像拼接正确，因此，此时，可以采用中间一层图像对应的特征点对和初始相机参数进行运算，并在运算时，初始相机参数也可以优先采用本实施例上述根据传感器信息确定的初始相机参数，再选择理想相机参数。

本实施例中，通过采用根据传感器信息得到的初始相机参数，可以提高最优解的准确性，从而提高拼接效果，另外，通过采用上述优化失败后的处理方案，可以增强鲁棒性。

调整模块73，用于对相邻图像进行颜色调整，得到颜色调整后的相邻图像；

在手机拍照过程中，每张图片的参数，如曝光及白平衡等，都是重新计算过的。在场景不同区域的光照改变会导致相邻图片的不同曝光度。同时，场景不同部分的不同颜色的物体也能影响白平衡设置，导致相同物体在相邻图片中表现出不同的外观，有些更亮有些更暗。如果没有额外的颜色和光照处理，就会在全景图的重叠区域产生颜色不均，因此就需要在拼接它们之前对原图像进行颜色和光照的补偿。

一个实施例中，所述调整模块73具体用于：

确定相邻图像的重叠区域；

两张图像的重叠区域的确定算法可以采用已有技术实现。

根据相邻图像在所述重叠区域内的两组像素点的像素值，确定使得两组像素值的差值最小的校正参数；

例如，相邻图像是A和B，A和B重复区域是D，则可以获取A的D区域内的像素点的像素值，以及，B的D区域内的像素点的像素值，之后可以采用最小二乘算法，计算这两组像素值的差值最小时，A和B分别对应的校正参数，校正参数例如为Gamma校正参数。

采用所述校正参数对相邻图像进行颜色调整，得到颜色调整后的相邻图像。

例如，在确定出A和B的校正参数后，可以分别采用A的校正参数对A进行颜色校正，采用B的校正参数对B进行颜色校正。

本实施例中，通过颜色校正，可以解决全景图颜色不均的情况。

拼接模块74，用于根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。

在对相邻图像进行相机参数优化以及颜色调整后，可以对相邻图像进行拼接，以生成全景图。

一个实施例中，所述拼接模块74具体用于：

对所述颜色调整后的相邻图像，进行缩小处理，得到缩小后的图像；

例如，可以将相邻图像中的每张图像缩小为原来的1/8。

根据所述优化后的相机参数，确定所述缩小后的图像内的拼缝；

其中，在图像确定后，根据相邻图像确定每个图像内的拼缝可以采用已有技术。

与现有技术不同的是，现有技术通常采用原始大小的图像，而本实施例通过对图像进行缩小，在缩小后的图片上确定拼缝，实现在低分辨率的图像上确定拼缝，可以降低工作量，节省时间。

根据所述优化后的相机参数以及所述拼缝，生成每张图像对应的掩膜图，所述掩膜图包括：组成部分和衔接部分；

其中，可以根据优化后的相机参数确定每张图像在全景图的位置，在该位置以及拼缝确定后，可以确定出一张图像的掩膜图，该掩膜图由组成部分和衔接部分组成。

例如，进行图像拼接的四幅图像如图6a所示，这四幅图像对应的mask图可以如图6b所示，其中，组成部分是白色区域，衔接部分是黑色区域。

对相邻图像的所述衔接部分进行多层混合融合，得到融合后的部分，并将所述组成部分和所述融合后的部分组成全景图。

其中，mask图中的组成部分可以直接用作全景图的相应部分，由于衔接部分在相邻图像上存在重叠，因此需要进行处理，本实施例中可以采用已有的多层混合的方式，之后再由组成部分和融合后的部分组成全景图。

另外，需要说明的是，通常mask图的大小是选择为与全景图的大小一致(也就是分辨率一致)，从而可以直接由组成部分和融合后的部分组成全景图。

例如，拼接后的全景图可以如图6c所示。

一个实施例中，所述拼接模块74还用于：

当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。

例如，在后续的多层混合时，以及将组成部分和融合后的部分进行组成时，将每个小图作为独立的一个图像进行处理。

本实施例中，通过将mask图划分为小的图片，可以减少处理时间，例如，每个mask图可以减少1～2秒的时间，而一般会有7～8张mask图，因此，拼接速度可以有较明显的提升。

本发明的上述实施例可以具体应用在手机的图像拼接中，可以理解的是，本发明的上述方案也可以应用到其他用户终端内，例如应用在车载系统的拼接中。进一步的，在车载等其他场景下，具体参数等可以根据实际情况进行调整。

本发明实施例中，通过确定相邻图像，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，可以提高图像拼接速度。并且，本实施例的上述方法可以特别适用于移动设备，通过以上图像的预处理、特征匹配、全局优化、全局颜色调整、及多层混合等改进，能快速高质量地在移动设备上进行多层照片的全景拼接。根据实验表明，拼接成功率在80％以上，速度在40秒以内。并且，本实施例的方案可以应用到不同种类的用户终端内，提升它们的性能。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种用于用户终端的全景图像生成方法，其特征在于，包括：

获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；

根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；

对相邻图像进行颜色调整，得到颜色调整后的相邻图像；

根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图；

其中，所述方法还包括：

如果相机参数优化失败，将预先确定的理想相机参数作为初始相机参数再次优化；

如果所述再次优化失败，且，图像分为三层，则去除最下面一层的图像，使用上面两层的图像进行优化；

如果使用上面两层的图像优化失败，仅使用中间一层的图像进行优化。

2.根据权利要求1所述的方法，其特征在于，所述对相邻图像进行特征匹配，获取匹配的特征点对，包括：

将相邻图像划分为预设个数的区域，并在每个区域内，提取个数小于预设值的特征点；

根据相邻图像内提取的特征点，进行特征匹配，得到匹配的特征点对。

3.根据权利要求1或2所述的方法，其特征在于，所述对相邻图像进行颜色调整，得到颜色调整后的相邻图像，包括：

确定相邻图像的重叠区域；

根据相邻图像在所述重叠区域内的两组像素点的像素值，确定使得两组像素值的差值最小的校正参数；

采用所述校正参数对相邻图像进行颜色调整，得到颜色调整后的相邻图像。

4.根据权利要求1或2所述的方法，其特征在于，所述根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图，包括：

对所述颜色调整后的相邻图像进行缩小处理，得到缩小后的图像；

根据所述优化后的相机参数，确定所述缩小后的图像内的拼缝；

根据所述优化后的相机参数以及所述拼缝，生成每张图像对应的掩膜图，所述掩膜图包括：组成部分和衔接部分；

对相邻图像的所述衔接部分进行多层混合融合，得到融合后的部分，并将所述组成部分和所述融合后的部分组成全景图。

5.根据权利要求4所述的方法，其特征在于，还包括：

当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。

6.一种用于用户终端的全景图像生成装置，其特征在于，包括：

匹配模块，用于获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；

优化模块，用于根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；

调整模块，用于对相邻图像进行颜色调整，得到颜色调整后的相邻图像；

拼接模块，用于根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图；

其中，所述装置还包括：处理模块，用于如果相机参数优化失败，将预先确定的理想相机参数作为初始值再次优化；如果所述再次优化失败，且，图像分为三层，则去除最下面一层的图像，使用上面两层的图像进行优化；如果使用上面两层的图像优化失败，仅使用中间一层的图像进行优化。

7.根据权利要求6所述的装置，其特征在于，所述匹配模块用于对相邻图像进行特征匹配，获取匹配的特征点对，包括：

将相邻图像划分为预设个数的区域，并在每个区域内，提取个数小于预设值的特征点；

根据相邻图像内提取的特征点，进行特征匹配，得到匹配的特征点对。

8.根据权利要求6或7所述的装置，其特征在于，所述调整模块具体用于：

确定相邻图像的重叠区域；

根据相邻图像在所述重叠区域内的两组像素点的像素值，确定使得两组像素值的差值最小的校正参数；

采用所述校正参数对相邻图像进行颜色调整，得到颜色调整后的相邻图像。

9.根据权利要求6或7所述的装置，其特征在于，所述拼接模块具体用于：

对所述颜色调整后的相邻图像，进行缩小处理，得到缩小后的图像；

根据所述优化后的相机参数，确定所述缩小后的图像内的拼缝；

根据所述优化后的相机参数以及所述拼缝，生成每张图像对应的掩膜图，所述掩膜图包括：组成部分和衔接部分；

对相邻图像的所述衔接部分进行多层混合融合，得到融合后的部分，并将所述组成部分和所述融合后的部分组成全景图。

10.根据权利要求9所述的装置，其特征在于，所述拼接模块还用于：

当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。