CN105574838B

CN105574838B - 多目相机的图像配准和拼接方法及其装置

Info

Publication number: CN105574838B
Application number: CN201410546269.XA
Authority: CN
Inventors: 刘福新; 谢晨; 潘今; 潘今一
Original assignee: SHANGHAI EUTROVISION SYSTEMS Inc
Current assignee: Hangzhou Yunshen Hongshi Intelligent Technology Co.,Ltd.
Priority date: 2014-10-15
Filing date: 2014-10-15
Publication date: 2018-09-14
Anticipated expiration: 2034-10-15
Also published as: CN105574838A

Abstract

本发明涉及数字图像处理技术领域，公开了一种多目相机的图像配准和拼接方法及其装置。本发明中的多目相机包括至少两个摄像头，该配准方法包括以下步骤：获取多个在时域上连续的同步图像组；提取同步图像组中同步图像的特征点，并计算同步图像的深度值；根据深度值自适应将同步图像的特征点划分到不同的特征点平面；将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹配特征点并根据其建立特征点平面的映射矩阵；基于多个特征点平面对应的多维映射矩阵生成配准参数。本发明通过根据深度信息自适应分类特征点可建立多维映射矩阵，使多目视频图像的配准更加准确，克服了单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。

Description

多目相机的图像配准和拼接方法及其装置

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种多目相机的图像配准和拼接技术。

背景技术

目前主要的图像配准拼接技术的介绍如下：

1)单平面配准

图像配准是指对同一场景从不同的角度，相同或或者不同的传感器拍摄的两幅有重叠区域的图像进行处理的过程。它从几何上校准参考图像和待配准的图像。两幅图像的差异主要是来自不同的成像条件，图像配准也称为图像匹配。图像配准的数学描述可定义成待配准的图像之间的空间变换和灰度变换。要求待配准的图像之间一有部分逻辑上是相同的。

现有单平面配准方法所建立的特征点映射矩阵不能解决特征点一对多的映射问题。比如基于地面的配准建立的单平面映射矩阵，在有较高的运动目标出现在重叠区域时，会出现拼接不对齐现象，原因就是缺少深度信息导致。

2)图像拼接

图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过图像预处理，很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备，让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像对齐。图像融合指在完成图像匹配以后，对图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。

按照传统图像拼接方法对视频进行拼接，计算复杂度高，难以达到对视频进行实时拼接。

3)基于单一平面的深度信息校正和深度补偿

在现有基于深度信息的校正和补偿技术中，通过深度估计计算后，统计深度信息，然后根据深度信息对图像进行校正和补偿。这种方法不能解决相机成像部分畸变的配准情况。这是用单一深度估计信息校正带来的问题，难以达到无缝的效果。

综上所述，目前的图像配准拼接技术中，主要采用单平面配准方法，存在无法加入深度信息或深度信息无法准确被用于配准过程的问题，从而导致配准结果出现错误，无法在拼接时达到无缝的拼接效果。

发明内容

本发明的目的在于提供一种多目相机的图像配准和拼接方法及其装置，通过根据深度信息，可自适应对特征点进行分类，从而建立多维映射矩阵，使多目视频图像的配准更加准确，克服了单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。

为解决上述技术问题，本发明的实施方式公开了一种多目相机的图像配准方法，该多目相机包括至少两个摄像头，该配准方法包括以下步骤：

获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时拍摄的具有重叠区域的同步图像；

提取同步图像组中同步图像的特征点，并计算同步图像的深度值；

根据深度值自适应将同步图像的特征点划分到不同的特征点平面；

将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹配特征点并根据匹配特征点建立特征点平面的映射矩阵；

基于多个特征点平面对应的多维映射矩阵生成配准参数。

本发明的实施方式还公开了一种多目相机的图像拼接方法，多目相机包括至少两个摄像头，方法包括以下步骤：

根据上一实施方式公开的图像配准方法获取配准参数；

根据配准参数，对摄像头拍摄的视频流中同步图像组中的同步图像进行多平面映射；

将同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。

本发明的实施方式还公开了一种多目相机的图像配准装置，该多目相机包括至少两个摄像头，该装置包括：

获取单元，用于获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时拍摄的具有重叠区域的同步图像；

提取单元，用于提取同步图像组中同步图像的特征点，并计算同步图像的深度值；

划分单元，根据深度值自适应将同步图像的特征点划分到不同的特征点平面；

矩阵单元，用于将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹配特征点并根据匹配特征点建立特征点平面的映射矩阵；

参数单元，用于基于多个特征点平面对应的多维映射矩阵生成配准参数。

本发明的实施方式还公开了一种多目相机的图像拼接系统，该多目相机包括至少两个摄像头，该系统包括：

如上一实施方式公开的图像配准装置；

映射单元，用于根据配准参数，对摄像头拍摄的视频流中同步图像组中的同步图像进行多平面映射；

融合单元，用于将同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。

本发明实施方式与现有技术相比，主要区别及其效果在于：

通过提取多个在时域上连续的同步图像组中同步图像的特征点，可根据这些特征点和特征点所在图像的深度值自适应将不同特征点进行分类，并建立多维映射矩阵，进而根据多维映射矩阵将同时拍摄的图像进行配准，根据深度信息将特征点自适应分类的方法能得到更精确的多维映射矩阵，使得多目视频图像的配准更加准确，后续融合效果更好，从而克服单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。

基于多特征点平面的多维映射矩阵，可更加准确的获取配准信息，图像拼接融合效果好，克服单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。且在固定相机镜头的情况下，一定标定配准后获取的配准参数无需再次标定，在拼接时可直接使用，快速方便。

进一步地，采用自适应的划分，可根据实际的景深情况，实时自动调整特征点的分类情况，使得特征点的分类更加准确，进而提高多维映射矩阵的计算精度，使得配准拼接图像融合效果更佳。

进一步地，通过设立对应表或其他方式，可根据实际需要实现特征点平面的自适应划分，提高配准精确度。

附图说明

图1是本发明第一实施方式中一种多目相机的图像配准方法的流程示意图；

图2是本发明第一实施方式中一种双目相机的图像配准方法的流程示意图；

图3是本发明第一实施方式中一种特征点平面间仿射变换过程的示意图；

图4是本发明第二实施方式中一种多目相机的图像拼接方法的流程示意图；

图5是本发明第二实施方式中一种双目相机的图像拼接过程的示意图；

图6是本发明第三实施方式中一种多目相机的图像配准装置的结构示意图；

图7是本发明第四实施方式中一种多目相机的图像拼接系统的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种多目相机的图像配准方法。图1是该多目相机的图像配准方法的流程示意图。

传统的图像配准都是通过单帧图像提取特征点，本发明采用多帧图像的特征点提取，多余多帧图像提取到的特征点结合景深信息按特征点平面进行划分。具体地，如图1所示，该多目相机包括至少两个摄像头，且该配准方法包括以下步骤：

在步骤101中，获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时拍摄的具有重叠区域的同步图像。

此后进入步骤102，提取同步图像组中同步图像的特征点，并计算同步图像的深度值。

特征点提取方法可以采用常用的Harris(哈里斯)角点检测算法，SUSAN(Smmmallest Univalue Segent assiilating Nucleus,最小同值分割吸收核)角点检测算法以及DoG(Difference of Gaussian,双高斯差)算子角点检测算法,SIFT(ScaleInvariant Feature Transfor，尺度不变特征转换)等方法。

此后进入步骤103，根据深度值自适应将同步图像的特征点划分到不同的特征点平面。

在本发明的一优选例中，该步骤103包括以下子步骤：

对深度值建立用于描述深度值的分布情况的高斯模型，并通过下式计算深度值的高斯分布概率密度f(x)：

其中，μ为所述深度值的平均值，是高斯分布的位置参数，描述特征点的集中趋势位置，σ为所述深度值的方差，描述特征点分布的离散程度，x为特征点深度值变量；

根据下式计算所有特征点的平均深度差k：

其中，d_i为第i个特征点的深度值，N为特征点的总数目，i＝1,2,......,N-1,N；

根据平均深度差和深度值的方差将所述特征点划分到不同的特征点平面。例如，通过以下方式实现本子步骤：

设置平均深度差和深度值方差的数值范围与特征点平面的数目的对应表；从对应表中获得当前计算得到的平均深度差和深度值的方差所对应的特征点平面的数目。

此外，可以理解，在本发明的其他实施方式中，也可以根据其他方式对特征点进行分类，比如判断平均深度差是否大于预定阈值，如果判断结果是，则将特征点划分到与该预定阈值对应数目的特征点平面，如果判断结果为否，则所有特征点被划分到同一特征点平面。这样可简单的将景深大和景深小的图像中的特征点进行合理分类。例如，如果平均深度差k＜3σ，则景深较小，只需将所有特征点分在一个特征点平面L₀上，如果k≥3σ，则将特征点分到L₀、L₁、L₂三层或更多层特征点平面。

可以理解，根据的μ大小可分析出拍摄场景是否为大视差场景，根据σ可判断出景深的变化范围的大小。一般平均深度差越小，特征点平面的数目就越少。采用自适应的划分，可根据实际的景深情况，实时自动调整特征点的分类情况，使得特征点的分类更加准确，进而提高多维映射矩阵的计算精度，使得配准拼接图像融合效果更佳。

通过设立对应表或其他方式，可根据实际需要实现特征点平面的自适应划分，提高配准精确度。拍摄时期或拍摄场景等拍摄条件的不同会产生不同的深度信息，自适应可根据拍摄条件的变化灵活调整特征点的分类。

此后进入步骤104，将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹配特征点并根据匹配特征点建立特征点平面的映射矩阵。

此后进入步骤105，基于多个特征点平面对应的多维映射矩阵生成配准参数。

此后结束本流程。

在一实际应用中，该多目相机具有两个摄像头，即为双目相机。优选地，如图2所示，该双目相机的图像配准过程为：算法配准方法采用基于特征方法，首先提取A、B图的特征点，(SIFT或Harris特征点)然后通过RANSAC方法提纯，A图尺度不变，B图根据提取的特征点自动计算放大系数，作为参数保存，最后使用网格变形方法算法计算出A、B图的映射表。具体描述如下：

1.多平面特征点提取

1)在双目视频的重叠区域获取到多帧图像组A，图像组B(图像组A和图像组B中拍摄时间相同的两张图像构成该双目相机相应时刻的同步图像组，如A_i和B_i构成同步图像组(A_i表示图像组A中第i个图像，B_i表示图像组B中第i个图像)，其中i＝1,2,...)；

2)对图像组A，B提取特征点

采用Harris角点作为特征点。Harris角点的提取与匹配流程如下：

a)以Gaussian函数计算图像x、y方向的导数I_x和I_y。

2.双目图像(A_i,B_i)深度值计算

3)双目图像(A_i,B_i)深度计算。对(A_i,B_i)计算视差图，获得深度信息，计算方法如下：

其中Ω为重叠区域范围，B_i(σ)表示为图像B_i中与图像A_i偏移量为σ的匹配块，argmin或者arg max为通用的表达方式，意思是优化取得最小或最大值；在这里的表示最小深度值。

4)对1)中所有提取的特征点附加深度信息，特征点具有的深度值所处范围的划分方法为(以三层特征点平面为例)：

d₀＝min(d)；

d₃＝max(d)；

Δd＝(d₃-d₀)/3；

d₁＝d₀+Δd；

d₂＝d₁+Δd

d₀为深度值的最小值，d₃为深度值的最大值。d₁，d₂由均匀间隔Δd计算而来。即得到与三层特征点平面对应的三个深度值范围：d₀～d₁，d₁～d₂和d₂～d₃。

3.自适应特征点平面划分

采用上述步骤103中描述的子步骤，建立高斯模型，计算平均深度差和深度值的方差，如果平均深度差k＜3σ，则景深较小，只需将所有特征点分在一个特征点平面L₀上，如果k≥3σ，则将特征点分到L₀、L₁、L₂三层或更多层特征点平面。

例如，具有三层特征点平面，则将多帧提取到的特征点按深度信息分类，将其分配到不同平面L₀～L₂，如下表所示：

深度值范围	对应特征点平面
		d₀～d₁	L₀
d₁～d₂	L₁
		d₂～d₃	L₂

4.对各特征点平面进行特征点匹配和映射矩阵计算

a)特征点匹配，对于两幅图像得到的角点(即特征点)做聚类匹配，经过RANSAC(一种根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法)过滤掉匹配错误的点，得到图像匹配的特征点

b)计算映射矩阵，每个特征平面得到对应映射矩阵M_i，建立多维度的映射表矩阵M(x,y,d)其中x,y为像素坐标，d为深度信息，用于确定该坐标位于的平面依据。常规基于匹配特征点建立两张图像映射关系的算法有基于特征计算单应性矩阵、图像变形等，这里我们采用特征点匹配后对应的图像进行网格变形，以获取映射矩阵，具体流程如下：

匹配特征点确定后，对图像采用Delaunay三角剖分可获得特征网格结构，改变某个特征点的位置会引起其相关三角形的变化，对变化的三角形做仿射变换，可以得到图像变形的效果。如图3所示，假设要将图3中的T_s变形为T₁，这里有两种方法：第一种是正向变形，它对源图象中每一个点做坐标变换，得到其在目标图象中的位置，然后将颜色值拷贝过去；第二种是反向变形，它对目标图象中的每一个点进行计算，得到其在源图象中的位置，然后将颜色值拷贝过来。正向变形有一个问题，就是目标图象中有可能有的像素没有颜色值，而反向变形可以保证目标图象中每一个点都能在原始图象中找到对应的点，所以这里采用反向变形技术。

设T_s和T₁对应的顶点分别为P_s1、P_s2、P_s3和P₁、P₂、P₃，由此6个点可以唯一确定一个仿射变换

式中P(x)、P(y)为T₁中某一点P的x、y坐标，P_s(x)、P_s(y)为T_s中某一点P_s的x、y坐标。令

则

这样，对改变的每个三角形以式(2-2)计算出仿射变换系数A，以式(2-1)计算改变后的三角形内的每一点对应原三角形的像素点，拷贝其颜色，若计算出的点的坐标非整数，则利用其临近的坐标颜色作为仿射变换后的颜色。

c)计算拼接接缝区域SA及重叠区域OA

(i)接缝区域SA计算

遍历各平面匹配特征点，选择通过重叠区域中最多特征点的矩形区域R₀，矩形的宽度为w(可配置)，包含匹配特征点最多的R₀为最优接缝区域。

(ii)重叠区域OA

重叠区域的确定可以通过二种方法获得，一种是手动标定双目相机的重叠区域，另一种方法是自动计算，包含所有匹配特征点的区域为OA区域。

本发明的各实施方式中，同步图像组由多目相机的多个摄像头在同一时刻同时拍摄的多张具有重叠区域的图像组成。而多维映射矩阵由多个特征点平面的映射矩阵组成。

本发明第二实施方式涉及一种多目相机的图像拼接方法。图4是该多目相机的图像拼接方法的流程示意图。

如图4所示，该多目相机的图像拼接方法多目相机包括至少两个摄像头，该拼接方法包括以下步骤：

在步骤401中，根据本发明实施方式一中的图像配准方法获取配准参数。

此后进入步骤402，根据配准参数，对摄像头拍摄的视频流中同步图像组中的同步图像进行多平面映射。

此后进入步骤403，将同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。

此后结束本流程。

在本发明一实际应用中，该多目相机具有两个摄像头，即为双目相机。优选地，如图5所示，该双目相机的图像拼接过程为：拼接算法使用配准过程生成的参数文件，得到多维映射矩阵M等参数。然后分别将视频流A与B的对应帧映射到拼接结果大图。在接缝线的位置对映射后的A、B图进行图像融合。具体描述如下：

1)深度信息计算

a)根据相机的重叠区域，进行深度信息计算。或直接使用深度相机获得每个像素点的深度信息d。计算方法同实施方式一中双目相机图像配准过程中第二步的深度值计算步骤。

b)在重叠区域内选定基准图和参考图，如果A图作为基准图IB，则B图作为参考IC，反之一样。

c)根据重叠区域景深信息，通过映射矩阵M计算将IC图向IB图变换。

计算方法：

对于重叠区域OA内的所有像素点IC(x,y)的深度信息d，找到最近一层特征点平面L_i对应的M_i。

使用M_i(x,y,d)进行多平面的映射。对于重叠区域OA之外的像素点，使用L_o层映射表进行映射。

d)颜色融合，将IC图根据IB图进行颜色迁移达到无缝拼接效果。

融合方法使用直方图匹配或其它颜色迁移算法。本发明使用直方图颜色迁移方法。

基于多特征点平面的多维映射矩阵，获取的配准信息更加准确，图像拼接融合效果好，克服了单平面映射由于无法兼顾较大景深问题而引起的图像拼接不齐等问题。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第三实施方式涉及一种多目相机的图像配准装置。图6是该多目相机的图像配准装置的结构示意图。

如图6所示，该多目相机包括至少两个摄像头，该配准装置包括：

获取单元，用于获取多个在时域上连续的同步图像组，其中，每个同步图像组包括至少两帧同时拍摄的具有重叠区域的同步图像。

提取单元，用于提取同步图像组中同步图像的特征点，并计算同步图像的深度值。

划分单元，根据深度值自适应将同步图像的特征点划分到不同的特征点平面。在本发明一优选例中，该划分单元包括以下子单元：

建模子单元，用于对深度值建立高斯模型，深度值的高斯分布概率密度f(x)：

其中，μ为深度值的平均值，σ为深度值的方差，x为特征点深度值变量；

计算子单元，用于根据下式计算所有特征点的平均深度差k：

分类子单元，用于根据平均深度差和深度值的方差将特征点划分到不同的特征点平面。

在本发明的一优选例中，该分类子单元通过以下方式实现对特征点的划分：

矩阵单元，用于将划分到同一特征点平面的特征点进行匹配得到特征点平面的匹配特征点并根据匹配特征点建立特征点平面的映射矩阵。

该多目相机具有两个摄像头，即为双目相机。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种多目相机的图像拼接系统。图7是该多目相机的图像拼接系统的结构示意图。

如图7所示，该多目相机包括至少两个摄像头，所述拼接系统包括：

如本发明第三实施方式中的图像配准装置。

映射单元，用于根据配准参数，对摄像头拍摄的视频流中同步图像组中的同步图像进行多平面映射。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种多目相机的图像配准方法，其特征在于，所述多目相机包括至少两个摄像头，所述配准方法包括以下步骤：

提取所述同步图像组中同步图像的特征点，并计算所述同步图像的深度值；

根据所述深度值自适应将同步图像的所述特征点划分到不同的特征点平面；

将划分到同一特征点平面的特征点进行匹配得到所述特征点平面的匹配特征点并根据所述匹配特征点建立所述特征点平面的映射矩阵；

基于多个特征点平面对应的多维映射矩阵生成配准参数；

所述根据所述深度值自适应将同步图像的所述特征点划分到不同的特征点平面的步骤包括以下子步骤：

对所述深度值建立高斯模型，并通过下式计算所述深度值的高斯分布概率密度f(x)：

其中，μ为所述深度值的平均值，σ为所述深度值的方差，x为特征点深度值变量；

根据下式计算所有特征点的平均深度差k：

根据所述平均深度差和深度值的方差将所述特征点划分到不同的特征点平面。

2.根据权利要求1所述的多目相机的图像配准方法，其特征在于，所述根据所述平均深度差将所述特征点划分到不同的特征点平面的子步骤是通过以下方式实现的：

设置平均深度差和深度值的方差的数值范围与所述特征点平面的数目的对应表；

从所述对应表中获得当前计算得到的所述平均深度差和深度值的方差所对应的特征点平面的数目。

3.根据权利要求1至2中任一项所述的多目相机的图像配准方法，其特征在于，该多目相机具有两个摄像头。

4.一种多目相机的图像拼接方法，其特征在于，所述多目相机包括至少两个摄像头，所述方法包括以下步骤：

根据权利要求1至3中任一项所述的图像配准方法获取配准参数；

根据所述配准参数，对所述摄像头拍摄的视频流中所述同步图像组中的同步图像进行多平面映射；

将所述同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。

5.一种多目相机的图像配准装置，其特征在于，所述多目相机包括至少两个摄像头，所述装置包括：

提取单元，用于提取所述同步图像组中同步图像的特征点，并计算所述同步图像的深度值；

划分单元，根据所述深度值自适应将同步图像的所述特征点划分到不同的特征点平面；

矩阵单元，用于将划分到同一特征点平面的特征点进行匹配得到所述特征点平面的匹配特征点并根据所述匹配特征点建立所述特征点平面的映射矩阵；

参数单元，用于基于多个特征点平面对应的多维映射矩阵生成配准参数；

所述划分单元包括以下子单元：

建模子单元，用于对所述深度值建立高斯模型，并通过下式计算所述深度值的高斯分布概率密度f(x)：

根据下式计算所有特征点的平均深度差k：

分类子单元，根据所述平均深度差和深度值的方差将所述特征点划分到不同的特征点平面。

6.根据权利要求5所述的多目相机的图像配准装置，其特征在于，所述分类子单元通过以下方式实现对所述特征点的划分：

7.根据权利要求5至6中任一项所述的多目相机的图像配准装置，其特征在于，该多目相机具有两个摄像头。

8.一种多目相机的图像拼接系统，其特征在于，所述多目相机包括至少两个摄像头，所述系统包括：

如权利要求5至7中任一项所述的图像配准装置；

映射单元，用于根据所述配准参数，对所述摄像头拍摄的视频流中所述同步图像组中的同步图像进行多平面映射；

融合单元，用于将所述同步图像组中的同步图像进行融合和颜色迁移，生成拼接图像。