CN103793891A - 低复杂度的全景影像接合方法 - Google Patents

Abstract

本发明提出了一种低复杂度的全景影像接合方法，包括：影像亮度均衡化步骤：将明暗不同的所述两个影像均衡化，以使所述两个影像的明暗度彼此接近；影像对齐步骤：寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对；错误匹配点检测步骤：对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点；以及影像投影与扭曲步骤：基于经去除错误配对特征处理后的所述特征点确定一坐标转换矩阵，固定所述两个影像中的第一影像的坐标，并根据所述坐标转换矩阵将所述两个影像中的第二影像的坐标直接对应到该第一影像的坐标系统上，从而将所述两个影像接合为一全景影像。

Description

低复杂度的全景影像接合方法

技术领域

本发明涉及一种低复杂度的全景影像接合技术。

背景技术

在全景影像接合的步骤中，首要步骤为影像对齐(Image Alignment)，意即从一张来源影像当中寻找多个特征点，此特征点即为在另一张欲作接合的来源影像的相同对应点位置，并利用这些配对的特征点来做后续处理。在影像对齐的研究方面，英属哥伦比亚大学(University of British Columbia，UBC)的David Lowe提出了「尺度不变特征转换算法」(Scale-invariant Feature Transform，SIFT)，此算法为针对来源影像，利用高斯模糊(Gaussian Blur)在不同的空间尺度中寻找极值，并标示为初步的特征点。然后利用拉普拉斯运算子(Laplacian Operator)筛选掉较不明显的特征点。接下来利用特征点周围的梯度方向分布，为每个特征点指定方向参数，此步骤可使此算法具备旋转不变性。最后针对每一个特征点，产生一个128维的特征向量来代表它。利用尺度不变特征转换算法所寻找出的特征点，是基于物体的局部外观，而与影像的大小、旋转程度无关，对于光线、噪声、些微视角改变的容忍度也相当高。因此SIFT算法对于寻找特征点方面，具有相当高的准确度，然而其计算复杂度相当高，本发明以减少坐标计算的方式，提高执行效能。在影像投影与扭曲阶段的研究方面，Steve Mann在其发表的文献中比较了多种坐标转换模型，发现以八个参数的单应矩阵转换(eight-parameter projective model)，可以得到较为准确的矩阵转换与投影结果。在此阶段，本发明以固定其中一来源坐标的方式，减少坐标转换所耗的时间；另一方面则以建立对照表的方式，减少冗余的矩阵计算。在影像补色的研究方面，Wu-Chih Hu等人在2007年提出一套补色流程，先针对左右图重迭部份的色彩进行平滑化，接下来计算出重迭部分的每一点的强度值，然后用非线性权重函式(nonlinear weighted function)计算最后输出的像素值。此影像补色流程的实作较为复杂，并且牵涉到三角函数的运算，因此计算复杂度稍嫌略大。对此本发明提出了另一套补色流程，以较为简易的步骤，使之在降低计算复杂度之余，亦能维持高质量的接合影像。

发明内容

本发明主要是侦测多组输入影像中相同的物体特征，将相同之处利用坐标转换接合起来成一全景接合影像，其中并利用降阶等技术来达到降低计算量的目的，并维持了良好的输出画面质量。

具体地，本发明提出了一种低复杂度的全景影像接合方法，用以侦测彼此相邻的两个影像中相同的物体特征，将相同之处利用坐标转换接合成一全景影像，其中所述两个影像为第一影像和第二影像，该全景影像接合方法包括：影像亮度均衡化步骤：将明暗不同的所述两个影像均衡化，以使所述两个影像的明暗度彼此接近；影像对齐步骤：寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对；错误匹配点检测步骤：对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点；以及影像投影与扭曲步骤：基于经去除错误配对特征处理后的所述特征点确定一坐标转换矩阵，固定所述两个影像中的第一影像的坐标，并根据所述坐标转换矩阵将所述两个影像中的第二影像的坐标直接对应到该第一影像的坐标系统上，从而将所述两个影像接合为一全景影像。

较佳地，在上述的全景影像接合方法中，所述影像亮度均衡化步骤进一步包括：利用一直方图均衡化算法将所述两个图像均衡化。

较佳地，在上述的全景影像接合方法中，在所述影像对齐步骤进一步包括：在所述第一影像的与第二影像相邻的半边影像中寻找所述特征点；以及在所述第二影像的与第一影像相邻的半边影像中寻找所述特征点。

较佳地，在上述的全景影像接合方法中，在所述影像对齐步骤之前且在所述影像亮度均衡化步骤之后进一步包括：检测所述两个影像的解析度；若所述解析度高于一阈值，则将所述两个影像进行降阶处理，以降低该解析度。

较佳地，在上述的全景影像接合方法中，所述降阶处理包括根据所述两个影像的解析度选择一降阶率，并利用该降阶率对所述两个影像进行降阶处理。

较佳地，在上述的全景影像接合方法中，所述影像投影与扭曲步骤进一步包括：建立一个描述影像在转换前后的坐标对应关系的对照表。

较佳地，在上述的全景影像接合方法中，在所述影像投影与扭曲步骤之后，所述全景影像接合方法进一步包括：影像补色步骤：消除所述全景影像中的所述两个影像的接合部分的颜色失真。

较佳地，在上述的全景影像接合方法中，所述坐标转换矩阵是一维度为三乘三的矩阵。

较佳地，在上述的全景影像接合方法中，所述错误匹配点检测步骤进一步包括：a)分别计算所述第一影像和所述第二影像中的多个特征点的坐标的坐标矩阵的平均值；b)根据所述平均值计算一归一化系数；c)根据所述归一化系数对所述坐标矩阵进行坐标变换，以得到一归一化坐标矩阵；d)将所述第二影像的所述归一化坐标矩阵进行角度旋转，以调整到目标矩阵；e)通过比较所述目标矩阵和所述第一影像的所述归一化坐标矩阵来计算出一匹配误差；以及f)如果所述匹配误差大于一预定值，则减少所述步骤a)中的特征点的数量，再重复执行所述步骤a)～步骤e)，直到匹配误差小于所述预定值。

较佳地，在上述的全景影像接合方法中，所述基于经所述去除错误配对特征处理后的所述特征点确定一坐标转换矩阵的步骤进一步包括：将所述两个影像之一切割成数个相同大小的区块；找出包含最多特征点的区块；计算出所述包含最多的已匹配特征点的区块中的所有特征点的重心坐标；根据所述重心坐标，将所述包含最多的已匹配特征点的区块再分成四个小区块；在所述四个小区块中的每一个小区块中各取出一个强度最高的特征点；以及根据所述四个小区块中的四个强度最高的特征点，确定所述坐标转换矩阵。

根据本发明的全景影像接合方法，可以通过输入二个或二个以上的影像或是影片，将这些影像或是影片彼此间均拍摄到相同的对象与特征侦测出来，并利用此相同特征建立出来源影像或是影片的转换矩阵，并经由坐标系统转换将其接合成单一全景影像后输出。本发明同时具有另一个特点，那就是即使来源影像之间有旋转角度或远近差异，利用本系统所提出的算法来转换坐标系统仍然可以产生出高质量的全景接合影像。此外，本发明进一步可以利用降阶等技术降低其计算量，并维持相同质量的全景影像输出。此外，本发明也可以利用直方图均衡化(HistogramEqualization)先行处理来源影像的亮度及使用两阶段procrustes迭代匹配去除少数错误的匹配点，让接合的效果更为精确。

应当理解，本发明以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为如权利要求所述的本发明提供进一步的解释。

附图说明

包括附图是为提供对本发明进一步的理解，它们被收录并构成本申请的一部分，附图示出了本发明的实施例，并与本说明书一起起到解释本发明原理的作用。

附图中：

图1为本发明的低复杂度的全景影像接合方法的基本步骤的流程图。

图2为本发明的影像补点顺序示意图。

图3为本发明的多视角影像/影片接合流程示意图。

图4为本发明的接合影像输出与接缝示意图。

图5为本发明的最后接合影像结果图范例。

图6为本发明的多视角影像接合结果范例。

图7示意性地示出了本发明的特征点分布范例。

图8a～图8d示出了本发明的影像亮度均衡化的效果。

具体实施方式

根据本发明的基本原理，提供了一种低复杂度的全景影像暨影片接合技术。该技术可分为五个阶段：影像亮度均衡化、影像对齐(Image Alignment)、错误匹配点检测、影像投影与扭曲(Image Projection & Warping)，影像补色(Image Repairing & Blending)。

首先，与其它接合方法不同的是，本发明增加了影像亮度均衡化阶段。其主因是摄像头的感光能力不同会导致拍摄到图像的明暗度不同，如果两张图像的明暗度相差太大，会造成影像对齐的步骤无法找到足够匹配的特征点。为了解决此问题，本发明引入直方图均衡化算法，将明暗不同的多个图像，利用直方图均衡化后，使其图像明暗度相似，也相对造成影像对齐阶段可以产生更多合适的匹配点。

其次，在影像对齐阶段，本发明寻找来源影像的特征点，并进行特征点的配对。此外，经由实验得知，通常正确的配对，其特征点会出现于影像的特定一侧(左影像右侧/右影像左侧)。为了增进此部分的执行速度，与配对的正确性，本发明优选将原先寻找特征点的范围从整张影像改为半张影像(左影像的右半张/右影像的左半张)。

此外，对于其它条件相同的来源影像，在不同的分辨率下，撷取到的特征点的正确性不变，但在计算复杂度上，较高分辨率的影像会远大于低分辨率的影像。因此在撷取特征点之前，本发明可以先侦测影像的分辨率，若超过一定的大小，则先将影像做降阶(Down Sample)的动作，以减去多余的计算量。将特征点配对完成后，接下来利用这些配对，寻找两张图的关系。

此外，在产生坐标转换矩阵之前，本发明可以先检测匹配点是否正确，此处是采用两阶段procrustes迭代匹配分析法对影像对齐阶段计算所得到的初步匹配点进行去除错误匹配的处理，此处以影像对齐阶段所得到的匹配点坐标矩阵作为计算的目标，目的就是要得到两幅图像匹配点坐标矩阵间的procrustes误差。为了能够比较两个目标矩阵之间的差异，首先要对目标矩阵进行转换、归一和旋转处理，然后计算处理后的目标矩阵间的误差，如果匹配点完全正确，那么最后计算得到的误差值将会非常小，反之，误差值将较大。以这样的情况下，每个匹配点都需要逐一检测，直到所有错误的匹配点已全部去除，使得转换矩阵更为精确，该方法经实测能够有效去除错配点，较RANSAC去除错配点的方法够具有确定性。

接下来，本发明还利用了一个维度为三乘三的矩阵，作为两影像的坐标转换矩阵。求得矩阵的各个元素值后，在影像投影与扭曲阶段，也可以建立了一个对照表，描述影像在转换前后的坐标对应。为了节省坐标转换的运算量，本发明选择其中一张来源影像，固定其坐标，然后只转换另一张来源影像的坐标，直接对映到第一张影像的坐标系统上。对于影片接合的实际应用方面，若拍摄此两来源影片的相机参数不变(例如：拍摄位置、角度不变...等等)，则两影像间的线性关系将不变，也就是说，此转换矩阵不需要重新计算即可使用，此特性减少了相当大量且繁复的计算。

最后，在影像补色阶段，本发明提出影像亮度调整方法以降低来源影像色差，并提出填补方法以消除坐标转换产生的失真问题。此外，本发明可以计算两影像的重迭部分的色彩差异，并计算出差异最小的线条，做为两张来源影像的接缝，以降低接合影像的失真程度。

以下将详细参考附图来详细讨论本发明的各种具体实施方式。

图1为本发明的低复杂度的全景影像接合方法的基本步骤的流程图。如图1所述，本发明的全景影像接合方法主要包括：影像亮度均衡化步骤101、影像对齐步骤102、错误匹配点检测步骤103以及影像投影与扭曲步骤104。

在影像亮度均衡化步骤101中，将明暗不同的两个影像均衡化，以使则两个影像的明暗度彼此接近。较佳地，可以利用一直方图均衡化算法将所述两个图像均衡化。将经均衡化的图像提供给后续的影像对齐步骤102中做运算，可解决摄像头亮度设定值不同的问题。参考图8，图8a和图8b分别示意性地示出了未经均衡化的第一影像和第二影像，且图8c和图8d分别示意性地示出了经均衡化的第一影像和第二影像。

在影像对齐步骤102中，寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对。较佳地，在该影像对齐步骤102中可以进一步包括：在所述第一影像的与第二影像相邻的半边影像中寻找所述特征点；以及在所述第二影像的与第一影像相邻的半边影像中寻找所述特征点。

在错误匹配点检测步骤103中，对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点。

具体地，根据本发明的一个较佳实施例，该错误匹配点检测步骤103可以包括以下几个步骤：

比如，在该错误匹配点检测步骤103中，首先假定需要分析的两个坐标矩阵为((x_1，y₁)，(x_2，y₂)，…，(x_k，y_k))和((u_1，v₁)，(u_2，v₂)，…，(u_k，v_k))；

a)分别计算所述第一影像和所述第二影像中的多个特征点的坐标的坐标矩阵的平均值，例如所述第一和第二影像的平均值分别为：

$\stackrel{\‾}{x}=\frac{x_1+x_2+\·\·\·+x_k}{k},$ $\stackrel{\‾}{y}=\frac{y_1+y_2+\·\·\·+y_k}{k}.;$

b)根据所述平均值计算一归一化系数，例如该归一化系数为：

$s=\sqrt{\frac{{(x_1-\stackrel{\‾}{x})}^2+{(y_1-\stackrel{\‾}{y})}^2+\·\·\·}{k}};$

c)根据所述归一化系数对所述坐标矩阵进行坐标变换，以得到一归一化坐标矩阵，例如归一化坐标矩阵

d)将所述第二影像的所述归一化坐标矩阵进行角度旋转，以调整到目标矩阵，比如假定上面计算得到的两个归一化坐标矩阵为((X_1，Y₁)，(X_2，Y₂)，…，(X_k，Y_k))和((U_1，V₁)，(U_2，V₂)，…，(U_k，V_k))，对((U_1，V₁)，(U_2，V₂)，…，(U_k，V_k))进行角度旋转调整到目标矩阵((a_1，b₁)，(a_2，b₂)，…，(a_k，b_k))；

e)通过比较所述目标矩阵和所述第一影像的所述归一化坐标矩阵来计算出一匹配误差，比如匹配误差 $d=\sqrt{{(a_1-X_1)}^2+{(a_2-X_2)}^2+\·\·\·+{(a_k-X_k)}^2};$ 以及

f)如果所述匹配误差大于一预定值，则减少所述步骤a)中的特征点的数量，再重复执行所述步骤a)～步骤e)，直到匹配误差小于所述预定值，此时两个坐标矩阵基本匹配，也就是去除了所有的错误匹配点。

在影像投影与扭曲步骤104中，基于经去除错误配对特征处理后的所述特征点确定一坐标转换矩阵。该坐标转换矩阵优选是一维度为三乘三的矩阵固定所述两个影像中的第一影像的坐标，并根据所述坐标转换矩阵将所述两个影像中的第二影像的坐标直接对应到该第一影像的坐标系统上，从而将所述两个影像接合为一全景影像。在该影像投影与扭曲步骤104中，还可以进一步包括：建立一个描述影像在转换前后的坐标对应关系的对照表。

在此阶段便是利用特征点来寻找两来源影像的转换矩阵。在影像对齐阶段找到的配对数量大多为数十至数百组，然而求出转换矩阵只需用到四组配对即可，因此本发明希望撷取出较具代表性的特征点组合。例如，图7示意性地示出了本发明的特征点分布范例。具体地，根据本发明的一个特定实施例，上述的基于经所述去除错误配对特征处理后的所述特征点确定一坐标转换矩阵的步骤可以进一步包括以下几个步骤：

a)将所述两个影像之一切割成数个相同大小的区块；

b)找出包含最多特征点的区块；

c)计算出所述包含最多的已匹配特征点的区块中的所有特征点的重心坐标；

d)根据所述重心坐标，将所述包含最多的已匹配特征点的区块再分成四个小区块；

e)在所述四个小区块中的每一个小区块中各取出一个强度最高的特征点；以及

f)根据所述四个小区块中的四个强度最高的特征点，确定所述坐标转换矩阵H，该矩阵的范例表示如下： $\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right].$

依照上述方法所求出的矩阵H，已经可以以此转换其中一影像的坐标系统，将其转换对映至另一影像并做接合的接合起来的动作，此即为本发明中的影像投影与扭曲(Image Projection & Warping)所作的动作。但是，此时所产生的全景影像仍然有些缺陷，由于前阶段的处理涉及了坐标转换，而坐标转换有时未必是一对一的对映，而是多对一的对映关系。这样的特性将导致了部分像素未被对映，而使接合图像出现少量的洞。所以图2为本发明的影像补点顺序示意图，对于这些没有来源对应点的像素，发明人依照经验，利用图2的补点规则，直接取周围的像素值来进行补点。图中的x为没有对应点的像素，数字为填补颜色所参照的点数优先级。

此外，根据本发明的一个较佳实施例，在所述影像对齐步骤102之前且在所述影像亮度均衡化步骤101之后，还可以进一步包括以下步骤：检测所述两个影像的解析度；且若所述解析度高于一阈值，则将所述两个影像进行降阶处理，以降低该解析度。特别是，所述降阶处理包括根据所述两个影像的解析度选择一降阶率，并利用该降阶率对所述两个影像进行降阶处理。

例如，表1示出了根据本发明的降阶对照表。由于经过降阶处理的影像，可以降低计算特征点配对的计算量，其准确性却不会受到影响，因此，本发明针对此特性，对于不同分辨率的图片，给予不同的降阶程度，以减去不必要的运算。接着在降阶完的影像彼此之间搜寻相对应的特征点。

影像分辨率	降阶率
		CIF	2
VGA	2
		SVGA	3
XGA	4
		WXGA	4
HD1080	4

表1

此外，在所述影像投影与扭曲步骤104之后，所述全景影像接合方法可以进一步包括：影像补色步骤105：消除所述全景影像中的所述两个影像的接合部分的颜色失真。当然，可以理解的是，即使不执行该影像补色步骤105，也可以实现本发明，因此该影像补色步骤105不应被认为是一必要步骤而对本发明的技术方案构成任何限制。

综上，本发明的全景影像接合方法先行将图像亮度均衡化之后，在影像对齐阶段寻找在两影像中对应的特征点配对，并且经过匹配点检测之后，建立转换矩阵H，接着在影像投影与扭曲阶段以此矩阵H转换其中一输入影像的坐标系统，将其对映至另一输入影像的坐标系统并做接合起来的动作。最后在影像补色阶段，去除输出影像的失真现象。

图4为本发明的接合影像输出与接缝示意图。图中有一条不规则的线条，即为影像接缝的位置，此接缝的左侧采用了左来源影像的像素，右侧则采用了右来源影像的像素。在影片的实际应用中，若接合线固定不动，则当移动对象穿越过接合线时，亦可能会有失真情形发生。针对此问题，本系统使用了最佳接缝寻找方法(Optimal Seam Finding Scheme)来做改善，对于来源影像中的重迭区块，以动态规划(Dynamic Programming)的方式，找出其差异度最小的线条，做为输出影像的接缝。其操作方法详述如下：

(1)建立左右影像重迭部分的色彩差异表，其值来自数个差异值相加，包括左右影像在各个像素的差异值、左影像在当前帧与前一帧在各个像素的差异值，以及右影像在当前帧与前一帧在各个像素的差异值。

(2)利用此表计算影像中的最小花费，其方程式为：D(x，y)＝A(x，y)+min{D(x，y-1)，D(x，1)，D(x，y+1)}，其中A(x，y)为影像中(x，y)位置的像素差异值，D(x，y)则为影像最上方至(x，y)位置的最小差异值总和。此外，在计算最小差异值同时，纪录了其相对应的路径，其路径即为该帧(Frame)的最小接缝。

(3)比较当前帧与前一帧的接缝位置差异，若位置差异太大则调整当前帧的接缝位置，以防止在影片播放时，发生不自然的跳动情形。经由此算法，重新定义了接合线在影片中不同帧中的最佳位置，用以消除移动对象等其它因素造成的接合影片失真。

最后，本发明亦针对所接合出来的全景图片进行补色平均的动作，这步骤的用意是避免在接合的左右两边相同对象颜色彼此差异太大，采用的加权平均公式为Y_result＝(Y_left*ω+Y_right*(1-ω))，此一公式即可达到有效率地平均两边的色差，且计算复杂度仅为O(n)。而图5则展示出本发明算法最后所接合产生的全景影像及其来源影像范例。

图3为本发明的多视角全景影像暨影片接合系统流程示意图，以五视角为例，本发明先选择中间视角，做为亮度和坐标系统的主视角，并将主视角分割为二，分别与其相邻视角进行接合。接合完成后，再与邻近视角进行接合，以此类推。待所有视角的影像接合完成后，再进行平移接合。最后得到完整的多视角接合影像。而图6则展示出本算法最后所接合产生的多视角全景影像及其来源影像范例。

本发明的低复杂度的全景影像暨影片接合方法可以同时适用于多张静态影像接合处理与多个动态视频接合处理，且该方法也可以同时适用于不同设定及属性的摄像头，使其影像对齐的效果更佳。此外，本领域的技术人员也可以利用来源影像/视频彼此相关的特征点来进行各种角度的接合，并可以动态来调整接合的矩阵运算来达到全景接合。另外，本发明可以包含以动态规划(Dynamic Programming)方式实行的Optimal Seam Finding Scheme、以加权平均公式调整接缝色差，有效增加接合影片质量，或者本发明也可采用选择并分割主视角的做法以左右方向同时接合的方式有效提升多视角影像暨影片接合的计算效能。

本领域技术人员可显见，可对本发明的上述示例性实施例进行各种修改和变型而不偏离本发明的精神和范围。因此，旨在使本发明覆盖落在所附权利要求书及其等效技术方案范围内的对本发明的修改和变型。

Claims (10)

1.一种低复杂度的全景影像接合方法，用以侦测彼此相邻的两个影像中相同的物体特征，将相同之处利用坐标转换接合成一全景影像，其中所述两个影像为第一影像和第二影像，该全景影像接合方法包括：

影像亮度均衡化步骤：将明暗不同的所述两个影像均衡化，以使所述两个影像的明暗度彼此接近；

影像对齐步骤：寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对；

错误匹配点检测步骤：对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点；以及

影像投影与扭曲步骤：基于经去除错误配对特征处理后的所述特征点确定一坐标转换矩阵，固定所述两个影像中的第一影像的坐标，并根据所述坐标转换矩阵将所述两个影像中的第二影像的坐标直接对应到该第一影像的坐标系统上，从而将所述两个影像接合为一全景影像。

2.如权利要求1所述的全景影像接合方法，其特征在于，所述影像亮度均衡化步骤进一步包括：利用一直方图均衡化算法将所述两个图像均衡化。

3.如权利要求1所述的全景影像接合方法，其特征在于，在所述影像对齐步骤进一步包括：

在所述第一影像的与第二影像相邻的半边影像中寻找所述特征点；以及

在所述第二影像的与第一影像相邻的半边影像中寻找所述特征点。

4.如权利要求1所述的全景影像接合方法，其特征在于，在所述影像对齐步骤之前且在所述影像亮度均衡化步骤之后进一步包括：

检测所述两个影像的解析度；

若所述解析度高于一阈值，则将所述两个影像进行降阶处理，以降低该解析度。

5.如权利要求4所述的全景影像接合方法，其特征在于，所述降阶处理包括根据所述两个影像的解析度选择一降阶率，并利用该降阶率对所述两个影像进行降阶处理。

6.如权利要求1所述的全景影像接合方法，其特征在于，所述影像投影与扭曲步骤进一步包括：建立一个描述影像在转换前后的坐标对应关系的对照表。

7.如权利要求1所述的全景影像接合方法，其特征在于，在所述影像投影与扭曲步骤之后，所述全景影像接合方法进一步包括：

影像补色步骤：消除所述全景影像中的所述两个影像的接合部分的颜色失真。

8.如权利要求1所述的全景影像接合方法，其特征在于，所述坐标转换矩阵是一维度为三乘三的矩阵。

9.如权利要求1所述的全景影像接合方法，其特征在于，所述错误匹配点检测步骤进一步包括：

a)分别计算所述第一影像和所述第二影像中的多个特征点的坐标的坐标矩阵的平均值；

b)根据所述平均值计算一归一化系数；

c)根据所述归一化系数对所述坐标矩阵进行坐标变换，以得到一归一化坐标矩阵；

d)将所述第二影像的所述归一化坐标矩阵进行角度旋转，以调整到目标矩阵；

e)通过比较所述目标矩阵和所述第一影像的所述归一化坐标矩阵来计算出一匹配误差；以及

f)如果所述匹配误差大于一预定值，则减少所述步骤a)中的特征点的数量，再重复执行所述步骤a)～步骤e)，直到匹配误差小于所述预定值。

10.如权利要求1所述的全景影像接合方法，其特征在于，所述基于经所述去除错误配对特征处理后的所述特征点确定一坐标转换矩阵的步骤进一步包括：

将所述两个影像之一切割成数个相同大小的区块；

找出包含最多特征点的区块；

计算出所述包含最多的已匹配特征点的区块中的所有特征点的重心坐标；

根据所述重心坐标，将所述包含最多的已匹配特征点的区块再分成四个小区块；

在所述四个小区块中的每一个小区块中各取出一个强度最高的特征点；以及

根据所述四个小区块中的四个强度最高的特征点，确定所述坐标转换矩阵。

Images