CN101499166A

CN101499166A - 一种图像拼接方法及装置

Info

Publication number: CN101499166A
Application number: CNA2009100802317A
Authority: CN
Inventors: 谌安军
Original assignee: Vimicro Corp
Current assignee: Vimicro Corp
Priority date: 2009-03-16
Filing date: 2009-03-16
Publication date: 2009-08-05

Abstract

本发明公开了一种图像拼合方法及装置，本发明方案将不同摄像头拍摄到的图像校正到同一平面上，分别对不同摄像头拍摄角度相重叠的区域的图像进行特征提取，再对提取的不同特征进行特征匹配，以获得图像拼合位置，最后拼合匹配好位置的图像。通过本发明方案，将监控同一场景不同角度的摄像头在显示图像信息上直观的联系起来，让工作人员非常直观地看到了监控效果。保证了监控视频的直观性，提高了监控系统的使用灵活性，减轻了工作人员的工作负担。

Description

一种图像拼接方法及装置

技术领域

本发明涉及图像处理技术，尤指一种图像拼接方法及装置。

背景技术

视频监控系统越来越扮演重要的角色，对于一些突发事件，可以通过分析视频监控系统记录下的视频，找到合适的依据确定事情的责任以及确定参与的人员，以达到监控的目的。

现有视频监控系统中，每个摄像头都将自身监视区域拍摄到的视频信息传输给监控机房，实现视频信息共享，并在电视屏幕墙上显示各个监视区域的状况。

目前，每个摄像头上传的视频图像之间没有关系，是相互独立的。这样，一个目标从一个监视区域移动到另一个监视区域(比如在一个拐角处)时，在电视屏幕墙上反映出来的情况并不是一个非常直观的过程，只能依靠工作人员对摄像头的布局非常熟悉，才能很快反应出目标的移动过程及所处位置，目前的监控系统中，对于这种由监控同一场景不同角度的摄像头上传的视频信息，不能直观地在电视屏幕墙上显示，增加了工作人员的工作负担，监控系统本身的使用灵活性也受到了限制。

发明内容

有鉴于此，本发明的主要目的在于提供一种图像拼接方法，能够保证监控视频的直观性，提高监控系统的使用灵活性，减轻工作人员的工作负担。

本发明的另一目的在于提供一种图像拼接装置，能够保证监控视频的直观性，提高监控系统的使用灵活性，减轻工作人员的工作负担。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种图像拼接方法，该方法包括以下步骤：

将不同摄像头拍摄到的图像校正到同一平面上；

分别对不同摄像头拍摄角度相重叠的区域的图像进行特征提取，对提取的不同特征进行特征匹配，以获得图像拼合位置；

拼合匹配好位置的图像。

该方法之前还包括：对所述摄像头进行标定。

所述摄像头为两个，对所述摄像头进行标定具体包括：

将两个摄像头安装在同一高度；

以监控场景的中心处截面为基准，分别将两个摄像头按照相反的方向旋转同样一个角度；

两个摄像头选用同样的俯角。

所述将不同摄像头拍摄到的图像校正到同一平面上具体包括：对所述摄像头的拍摄平面按照下式进行坐标变换：

[\begin{matrix} x' \\ y' \\ 1 \end{matrix}] = [\begin{matrix} m_{1} & m_{2} & m_{3} \\ m_{4} & m_{5} & m_{6} \\ m_{7} & m_{8} & m_{9} \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}],

其中，x’，y’为变换后的坐标，x，y为变换前的坐标，m₁～m₉为摄像头标定参数。

所述特征提取的方法为提取不同摄像头拍摄到的重叠区域的图像的边缘特征，对这些边缘特征进行排序，选取梯度较强的边缘为匹配特征。

对于选取的不同摄像头对应的边缘二值图像，根据边缘点在其它图像中的位置获取代价函数的取值。

所述图像拼合位置为代价函数最小的重叠位置。

所述拼合匹配好位置的图像具体包括：

对于重叠区域采用下式进行拼合：

I (x, y) = \frac{w_{1} (x) w_{1} (y) I_{1} (x, y) + w_{2} (x) w_{2} (y) I_{2} (x, y)}{w_{1} (x) w_{1} (y) + w_{2} (x) w_{2} (y)}

其中，I为拼合后的图像，I₁和I₂分别为摄像头1和2拍摄的图像，w(x)为线性权值函数，重叠区域的图像中央为1，边界处为0。

一种图像拼合装置，该装置包括图像校正模块、特征提取模块、特征匹配模块和图像拼合模块，其中，

图像校正模块，用于将不同摄像头拍摄到的图像校正到同一平面上。通过分别对不同摄像头的拍摄平面进行坐标变换，这里所说的摄像头是预先标定了摄像头参数的；

特征提取模块，用于分别对不同摄像头拍摄角度相重叠的区域的图像进行特征提取；

特征匹配模块，用于对提取的不同特征进行特征匹配，以获得图像拼合位置；

图像拼合模块，用于拼合匹配好位置的图像。

由上述技术方案可见，本发明将不同摄像头拍摄到的图像校正到同一平面上，分别对不同摄像头拍摄角度相重叠的区域的图像进行特征提取，再对提取的不同特征进行特征匹配，以获得图像拼合位置，最后拼合匹配好位置的图像。通过本发明方案，将监控同一场景不同角度的摄像头在显示图像信息上直观的联系起来，让工作人员非常直观地看到了监控效果。保证了监控视频的直观性，提高了监控系统的使用灵活性，减轻了工作人员的工作负担。

附图说明

图1是本发明实现图像拼接的方法的流程图；

图2是本发明实现图像拼接的装置的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

图1是本发明实现图像拼接的方法的流程图，如图1所示，包括：

步骤100：将不同摄像头拍摄到的图像校正到同一平面上。

由于安装在不同位置的摄像头的拍摄角度不一样，首先，需要对摄像头进行标定即对摄像头的拍摄角度以及高度进行测量。

为了减小难度，以能拍摄到同一监控场景的位于不同位置的两个摄像头为例进行描述。可以将两个摄像头安装在同一高度；以监控场景的中心处截面为基准，分别将两个摄像头按照相反的方向旋转同样一个角度；两个摄像头选用同样的俯角。具体如何更加精确的设定上述摄像头参数，属于本领域技术人员的公知常识，比如可以在场景中放置标杆标线等参考物，这里不再赘述。

然后，对拍摄到的图像按照标定的摄像头参数，对其进行精确的投影，投影面为两个摄像头夹角的中心截面的垂直平面，使得两个摄像头拍摄到的场景图像处于同一个平面上，为了达到这个目的，分别对两个摄像头的拍摄平面按照公式(1)进行坐标变换：

[\begin{matrix} x' \\ y' \\ 1 \end{matrix}] = [\begin{matrix} m_{1} & m_{2} & m_{3} \\ m_{4} & m_{5} & m_{6} \\ m_{7} & m_{8} & m_{9} \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}] - - - (1)

其中，x’，y’为变换后的坐标，x，y为变换前的坐标，m₁～m₉为摄像头标定参数。公式(1)中m₁～m₉分别表示坐标变换中平移、旋转以及缩放作用的系数组合，m₁～m₉如何取值，属于本领域技术人员的惯用技术手段，这里不再赘述。

通过步骤100，将不同摄像头拍摄到的同一监控场景图像校正到了同一个平面上。

步骤101：分别对不同摄像头拍摄角度相重叠的区域的图像进行特征提取。

为了减少计算量并消除两幅图像之间的光照差异，本步骤中采用边缘图像的相互方差来获得两幅图像交叉区域的参数，具体实现包括：

选定重叠区域即不同摄像头能拍摄到的相同的监控区域，从摄像头安装时可以容易得到重叠区域的大概范围；

提取不同摄像头拍摄到的重叠区域的图像的边缘特征如用Canny算子提取，同时对这些边缘特征进行排序，选取梯度较强(比如大于某预设值)的一些边缘为匹配特征，具体实现属于本领域技术人员惯用技术手段，这里不再赘述。大致为：对于选取的不同摄像头对应的边缘二值图像，根据边缘点在其它图像中的位置获取代价函数的取值。以两个摄像头为例，将得到两幅边缘二值图像假定记为图像1和图像2，首先记录图像1中所有为边缘点的位置，统计在图像2中这些位置是否为边缘点，如果为边缘点则代价函数加1，否则代价函数为0；然后记录图像2中所有边缘点的位置，将这些位置映射到图像1中，如果为边缘点则代价函数加1，否则代价函数为0。其中，代价函数是简单的数值累加。

步骤102：对提取的不同特征进行特征匹配，以获得图像拼合位置。

本步骤中，选取代价函数最小的重叠位置为图像拼合的位置，实现对于一定范围内进行重叠区域的移动。

步骤103：拼合匹配好位置的图像。

本步骤中对于重叠区域采用公式(2)来进行拼合：

I (x, y) = \frac{w_{1} (x) w_{1} (y) I_{1} (x, y) + w_{2} (x) w_{2} (y) I_{2} (x, y)}{w_{1} (x) w_{1} (y) + w_{2} (x) w_{2} (y)} - - - (2)

其中，I为拼合后的图像，I₁和I₂分别为摄像头1和2拍摄的图像，w(x)为线性权值函数，重叠区域的图像中央为1，边界处为0。中央点到边界点是一个线性关系取值即w(x)。

利用本发明的拼合方法，有效地避免了由于光照条件的一些差异，在图像拼合处产生图像的不连续现象，保证了拼合后生成的全图的视觉效果。

图2是本发明实现图像拼接的装置的组成结构示意图，如图2所示，本发明装置包括图像校正模块、特征提取模块、特征匹配模块和图像拼合模块，其中，

图像校正模块，用于将不同摄像头拍摄到的图像校正到同一平面上。通过分别对不同摄像头的拍摄平面进行坐标变换，这里所说的摄像头是预先标定了摄像头参数的。

特征提取模块，用于分别对不同摄像头拍摄角度相重叠的区域的图像进行特征提取。

特征匹配模块，用于对提取的不同特征进行特征匹配，以获得图像拼合位置。

图像拼合模块，用于拼合匹配好位置的图像。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像拼接方法，其特征在于，该方法包括以下步骤：

将不同摄像头拍摄到的图像校正到同一平面上；

拼合匹配好位置的图像。

2.根据权利要求1所述的图像拼接方法，其特征在于，该方法之前还包括：对所述摄像头进行标定。

3.根据权利要求2所述的图像拼接方法，其特征在于，所述摄像头为两个，对所述摄像头进行标定具体包括：

将两个摄像头安装在同一高度；

两个摄像头选用同样的俯角。

4.根据权利要求3所述的图像拼接方法，其特征在于，所述将不同摄像头拍摄到的图像校正到同一平面上具体包括：对所述摄像头的拍摄平面按照下式进行坐标变换：

[\begin{matrix} x' \\ y' \\ 1 \end{matrix}] = [\begin{matrix} m_{1} & m_{2} & m_{3} \\ m_{4} & m_{5} & m_{6} \\ m_{7} & m_{8} & m_{9} \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}],

5.根据权利要求1或2所述的图像拼接方法，其特征在于，所述特征提取的方法为提取不同摄像头拍摄到的重叠区域的图像的边缘特征，对这些边缘特征进行排序，选取梯度较强的边缘为匹配特征。

6.根据权利要求5所述的图像拼接方法，其特征在于，对于选取的不同摄像头对应的边缘二值图像，根据边缘点在其它图像中的位置获取代价函数的取值。

7.根据权利要求6所述的图像拼接方法，其特征在于，所述图像拼合位置为代价函数最小的重叠位置。

8.根据权利要求1活所述的图像拼合方法，其特征在于，所述拼合匹配好位置的图像具体包括：

对于重叠区域采用下式进行拼合：

I (x, y) = \frac{w_{1} (x) w_{1} (y) I_{1} (x, y) + w_{2} (x) w_{2} (y) I_{2} (x, y)}{w_{1} (x) w_{1} (y) + w_{2} (x) w_{2} (y)}

9.一种图像拼合装置，其特征在于，该装置包括图像校正模块、特征提取模块、特征匹配模块和图像拼合模块，其中，

图像拼合模块，用于拼合匹配好位置的图像。