CN106709894B - 一种图像实时拼接方法及系统 - Google Patents

Abstract

本发明实施例提供一种图像实时拼接方法和系统，用于完成多个不同角度的摄像头的实时视频拼接。所述方法包括：针对每帧图像，如果所述同步帧图像的拍摄焦距发生变化，则根据所述同步帧图像构建变换矩阵，并根据所述变换矩阵对所述同步帧图像进行拼接；针对每帧图像，如果所述同步帧图像的拍摄焦距没有变化，则根据前帧图像的变换矩阵对所述图像进行拼接。本发明实施例提供的图像实时拼接方法，减少了构建变换矩阵的次数，提高了图像拼接速度，满足了视频拼接的实时性要求。

Description

一种图像实时拼接方法及系统

技术领域

本发明涉及计算机图像处理领域，具体涉及一种图像拼接方法及系统。

背景技术

随着电子信息技术的发展，能够记录和获取实时视频信息的设备日渐普及，但是和人眼相比，单一摄像头的监控范围和角度相对有限。广角摄像头又由于其昂贵的价格难以大范围使用。

针对这个问题，目前在安防监控中，经常使用多个摄像头进行监控，并将多个摄像头拍摄获取的图像进行图像拼接获得宽角度、大画幅的监控图像。

但是实时视频拼接对于实时性要求很高。在图像拼接算法中，计算变换矩阵是其中关键的步骤，耗费的时间也较长。以一对同步帧为例，首先获取两图像帧上重叠部分的匹配特征点，所谓匹配特征点即两特征点在空间上表示同一点。然后根据获取的匹配特征点求解单应性矩阵，根据单应性矩阵计算变换矩阵。后续图像拼接过程中，根据变换矩阵将其中一帧上的所有像素点进行表象变换(包括不重叠部分)，确定其在另一帧图像所在平面上的对应位置。这一过程即为图像拼接过程，之后再进行图像融合，以得到较好的拼接图。实时视频拼接要求每秒至少完成24帧图像的拼接速度，才能满足人眼对实时性的要求。

在多个摄像头的条件下，实时视频拼接技术需要处理的图像数量会成倍增加。而随着图像像素的提高，表征图像特征点匹配的变换矩阵也会变得复杂。如何能够在多摄像头、多特征点的条件下，实现实时视频拼接的准确、及时，是实时视频拼接技术的一个难点。

发明内容

有鉴于此，本发明提供一种图像实时拼接方法及系统，以解决多摄像头图像的实时拼接问题。

一方面，本发明提供一种图像实时拼接方法，用于处理多摄像头的同步帧图像，包括：针对每帧图像，如果所述同步帧图像的拍摄焦距发生变化，则根据所述同步帧图像构建变换矩阵，并根据所述变换矩阵对所述同步帧图像进行拼接；针对每帧图像，如果所述同步帧图像的拍摄焦距没有变化，则根据前帧图像的变换矩阵对所述图像进行拼接。

优选地，在第一次摄像时，根据所述同步帧图像构建变换矩阵。

优选地，所述根据所述同步帧图像构建变换矩阵包括：从所述同步帧图像中提取特征点；根据所述特征点求解单应性矩阵；以及根据单应性矩阵构造所述变换矩阵。

优选地，所述方法还包括：在根据变换矩阵对所述图像进行拼接后，对所述图像进行融合。

优选地，在所述图像的重叠区域或衔接处进行指定宽度的融合。

优选地，使用加权平均法对所述图像进行融合。

另一方面，本发明提供一种图像实时拼接系统，包括：图像获取模块，用于获取多个具有重叠区域的同步帧图像；焦距获取模块，用于获取所述同步帧图像的拍摄焦距；判断模块，用于判断所述同步帧图像的拍摄焦距是否发生变化；合成模块，用于根据所述判断模块的判断结果，获得不同的变换矩阵，并根据所述变换矩阵对所述同步帧图像进行拼接。

优选地，所述合成模块包括：特征点提取单元，用于从两幅具有重叠局域的图像中提取特征点，并对特征点进行提纯；单应性矩阵求解单元，用于根据所述特征点求解单应性矩阵；变换矩阵构造单元，用于根据所述单应性矩阵构造变换矩阵；图像拼接单元，用于根据变换矩阵对所述图像进行变换。

优选地，所述图像实时拼接系统还包括：图像融合模块，用于对所述图像进行融合。

优选地，所述图像融合模块在所述图像的重叠区域或衔接处进行指定宽度的融合。

本发明实施例提供一种图像实时拼接方法和系统，用于完成多个不同角度的摄像头的实时视频拼接。所述方法包括：针对每帧图像，如果所述同步帧图像的拍摄焦距发生变化，则根据所述同步帧图像构建变换矩阵，并根据所述变换矩阵对所述同步帧图像进行拼接；针对每帧图像，如果所述同步帧图像的拍摄焦距没有变化，则根据前帧图像的变换矩阵对所述图像进行拼接。

本发明实施例提供的图像实时拼接方法，只在摄像头的焦距，发生变化时，才构造新的变换矩阵，其余情况下，复用已有的变换矩阵，在图像拼接效果保持不变的情况下，通过减少变换矩阵的构造次数和构造时间，提高了图像拼接速度，满足了视频拼接的实时性要求。

附图说明

通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的多摄像头监控的应用示例；

图2是本发明实施例的图像实时拼接方法的流程图；

图3是本发明另一实施例的图像实时拼接方法的流程图；

图4是本发明实施例的图像实时拼接系统的结构图；

图5是本发明实施例的图像实时拼接系统中的合成模块的结构图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

图1是多摄像头监控的应用示例。具体包括IP摄像头103-105，交换机106和处理器107。在示例中的IP摄像机就是网络摄像机，它包括一个普通摄像机、视频服务器、网卡、应用软件等。它将监控信息的模拟信号转换成数字信号，通过交换机106将采集到的数字信号图像传输到处理器107进行处理。该处理器107接收各个图像，根据各个图像的重叠区域拼接为一个整体的监控图像，再经过显示设备予以显示。

本领域技术人员应当理解的是，在本示例中各个摄像头也可以是普通的摄像头，通过模数转换装置将监控图像转换成数字信号发送给处理器处理；各个摄像头也可以分别和一个交换机连接，再连接到处理器；交换机也可以由其他数据传输设备或设备组合替换，只要能够满足数据传输功能即可。

图2是本发明实施例的图像实时拼接方法的流程图。如图2所示，所述图像实时拼接方法包括步骤210-步骤260。

在步骤210中，获得至少两幅具有重叠区域的同步帧图像。一般来说，在多个摄像头的监控中，摄像头的安装位置和角度比较固定，轻易不会发生改变。在本步骤中，从多个相邻的摄像头获取的同步帧图像中选择两幅具有重叠区域的图像用于后续的图像拼接。

在步骤220中，获得摄像头的焦距。摄像头使用的镜头包括可变焦镜头和不可变焦镜头。可变焦镜头是在一定范围内可以变换焦距、从而得到不同宽窄的视场角，不同大小的影像和不同景物范围的镜头。不可变焦镜头则没有相应功能。改变摄像头的焦距，会导致拍摄范围发生变化，以及拍摄图像的重叠区域发生改变。因此，在每次进行图像拼接前，检测一下摄像头的镜头焦距，并记录下来，在后续判断中使用。应当注意的是，摄像头焦距的变化，可能导致拍摄图像的重叠区域遭到破坏，因此，在改变焦距时，摄像头的位置可能也需要调整。

在步骤230中，判断摄像头的焦距和前次是否一致。在步骤220中，获取摄像头镜头焦距，在本步骤中，将获得每个摄像头的镜头焦距和前次拍摄进行比较。如果和前次拍摄时一致，则表示两次拍摄期间，摄像头没有进行调焦，摄像头拍摄角度没有发生改变，可以沿用前次使用的变换矩阵，执行步骤250；反之，表示在此期间，摄像头进行过调焦，摄像头的拍摄角度发生改变，需要重新构造变换矩阵，执行步骤240。

一般情况下，在第一次拍摄时，直接根据拍摄的同步帧图像构建变换矩阵。或者也可以在拍摄之前构造好一个变换矩阵存储到文件库里，供第一次图像拼接时候使用。

在步骤240中，根据同步帧图像构造变换矩阵。由于视角，拍摄时间，分辨率，光照强度，传感器类型等的差异，待拼接的图像往往存在平移，旋转，尺度变化，透视变形，色差，扭曲运动目标遮挡等差别，拼接的关键就是找出一种最能体现待拼接图形之间映射关系的变换矩阵。如前文所述，用以构造变换矩阵的同步帧图像具有重叠区域。构造过程具体包括：从重叠区域中提取特征点，根据特征点求解单应性矩阵，在根据重叠区域的单应性矩阵扩展到两幅图像的非重叠区域，生成变换矩阵。后续的实施例会对构造过程进行更详细描述，在此不再赘述。

在步骤250中，根据变换矩阵对同步帧图像进行拼接。在拼接过程中，可以将需要拼接的同步帧图像变换到同一坐标系下。以A，A′为例，先把A固定，再把A′的所有像素点按照下面的公式求解在图像A的坐标系上对应的坐标位置:

其中，(u,v,h)为某个像素点在图像A′的坐标系的坐标位置，(u′,v′,h′)为根据变换矩阵计算的对应像素点在图像A所在的坐标系的坐标位置。根据该方法获得图像A′上的所有像素点在图像A上的坐标位置。最后将图像A′上的所有像素点都移动到图像A上的坐标系中就完成了图像A和图像A′的拼接。这个过程一般通过软件程序完成。

上述图像A和A′变换只是一个示例性的拼接方法，现有技术中还有其他的拼接方法，能够满足图像拼接效果。例如，将示例中图像A和A′均以同一参考坐标系进行平移，然后拼接。

在步骤260中，对同步帧图像进行融合。在步骤250中获取的拼接后的监控图像可能由于不同角度的摄像头获取的图像的颜色存在差异，可能导致拼接后的图像存在明显的拼接缝隙，降低了用户的视觉体验，为了改善拼接效果，在拼接完成后，还可以进一步包括颜色融合，以使拼接区域的颜色过渡自然。

在一个优选的实施例中，采用加权平均法，将两幅图像重叠部分加权平均实现快速融合。对同步帧图像的重叠区域的原始颜色进行加权求平均值，使用加权平均后的数值对拼接后图像的重叠区域的像素点赋值。

在本实施例中，考虑到建立变换模型是图像实时拼接方法中比较占用时间和资源的环节，在多次拍摄活动中，只要摄像头的焦距没有发生变化，则无需新建一个变换模型，使用前次的变换模型进行图像变换和融合，以此加快图像拼接的速度。

在一个优选的实施例中，融合过程指定宽度，例如指定200像素宽的重叠区域进行颜色融合。在一些特定场景中，如果两幅图的光强导致的颜色区分并不明显，可以减少融合的区域，以此加快图像拼接的速度。

图3是本发明另一个实施例的图像实时拼接方法的流程图。如图3所示，所述图像实时拼接方法包括步骤310-步骤380。

其中步骤310-步骤330和前述图2所示的图像实时拼接方法的步骤210-步骤230相同，这里不再赘述。

步骤340-步骤360详细描述了根据同步帧图像构造变换矩阵的具体实施过程。

在步骤340中，从两幅具有重叠区域的图像中提取特征点。提取匹配特征点的方法有很多，如SIFT特征点检测方法，也可采用SIFT的改进算法(SURF)，或者采用Harris，Susan角点检测法及其相关改进算法。此处为现有技术，这里不再赘述。

在步骤350中，根据所述特征点求解单应性矩阵。求解单应性矩阵使用的也是现有技术。例如，利用匹配点的齐次坐标来求解单应性矩阵，或者根据试验用flann匹配算法求解单应性矩阵。在求解单应性矩阵前，可以通过各种方式对特征点进行提纯，例如使用距离筛选的方式对特征点提纯，提纯的目的防止误匹配点应用于单应性矩阵。

在步骤360中，根据单应性矩阵构造变换矩阵。单应性矩阵表征两幅图像重叠部分的变换关系，在获得单应性矩阵后，在根据变换后的坐标系中计算出重叠区域的宽度，非重叠区域的宽度，计算非重叠区域的边缘坐标，根据边缘坐标和宽度计算非重叠区域的变换矩阵，根据重叠区域和重叠区域的变换矩阵确定整体的变换矩阵。

步骤370-步骤380和前述图2所示的图像实时拼接方法的步骤250-步骤260相同，这里不再赘述。

在一个优选的实施方式中，可以在每一次重新构造一个变换矩阵时，从至少两次拍摄的同步帧图像中提取特征点用以建立单应性矩阵，这是为了防止单一同步帧图像在获取时存在信号干扰，引起画面扭曲或异常变化，或者由于光线较强时镜面受反光影响图像区域模糊。

本领域的普通技术人员可以理解，在对多个具有重叠区域的同步帧图像进行拼接时，可以使用俩俩拼接，先将相邻的两个图像拼接，再和其他图像进行拼接。

图4示出了一种图像实时拼接系统，包括图像获取模块410、焦距获取模块420、判断模块430、合成模块440和图像融合模块450。

图像获取模块410用于获取多个至少两幅具有重叠区域的同步帧图像。

焦距获取模块420用于获取所述摄像头的焦距。

判断模块430用于判断所述摄像头的焦距和前次拍摄时是否一致。

合成模块440用于根据所述判断模块的判断结果，获得不同的变换矩阵，并根据所述变换矩阵对所述图像进行拼接。在摄像头焦距发生变化时，构造新的变换矩阵，否则使用已有的变换矩阵进行图像拼接。构造变换矩阵的过程具体包括：从重叠区域中提取特征点，根据特征点求解单应性矩阵，在根据重叠区域的单应性矩阵扩展到两幅图像的非重叠区域，生成变换矩阵。然后根据变换矩阵对图像进行变换，最后对整个图像进行裁剪切割，实现最终的无缝拼接。

图像融合模块450用于对所述图像进行融合。图像融合方法优选在同步帧图像的重叠区域或衔接处进行指定宽度的融合，以达到快速融合的目的。图像融合模块使拼接后的图像衔接更自然。

在一个优选的实施例中，采用加权平均法，将两幅图像重叠部分加权平均实现快速融合。对同步帧图像的重叠区域的原始颜色进行加权求平均值，使用加权平均后的数值对拼接后图像的重叠区域的像素点赋值。

图5示出了合成模块440的一个具体的实施例。合成模块440包括：特征点提取单元4401、单应性矩阵求解单元4402、变换矩阵构造单元4403和图像拼接单元4404。

特征点提取单元4401用于从两幅具有重叠局域的图像中提取特征点，并对特征点进行提纯。例如，通过距离筛选剔除误匹配点。

单应性矩阵求解单元4402用于根据所述特征点求解单应性矩阵。

变换矩阵构造单元4403用于根据所述单应性矩阵构造变换矩阵。

单应性矩阵和变换矩阵的构造方法是公知的技术，在上述方法的实施例中也有所提及，这里不再赘述。

图像拼接单元4404用于根据变换矩阵对所述图像进行变换。即根据变换矩阵对图像进行变换，使之图像处于一个平面坐标系里。例如，在三个摄像头拍摄的图像中，使用中间图像的坐标系作为参考坐标系，左右相邻的摄像头拍摄的图像都基于参考坐标系构造变换矩阵，然后根据变换矩阵进行像素点变换，最终合成一个监控画面。

本发明实施例提供一种图像实时拼接方法和系统，用于完成多个不同角度的摄像头的实时视频拼接。所述方法包括：针对每帧图像，如果所述同步帧图像的拍摄焦距发生变化，则根据所述同步帧图像构建变换矩阵，并根据所述变换矩阵对所述同步帧图像进行拼接；针对每帧图像，如果所述同步帧图像的拍摄焦距没有变化，则根据前帧图像的变换矩阵对所述图像进行拼接。

本发明实施例提供的图像实时拼接方法，只在摄像头的焦距发生变化时，才构造新的变换矩阵，其余情况下，复用已有的变换矩阵，在图像拼接效果不变的情况下，通过减少变换矩阵的构造次数和构造时间，提高了图像拼接速度，满足了视频拼接实时性要求。

本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。例如，在实际应用中，可以不同的需要将上述模块功能划分为和本发明实施例不同的功能结构，或将本发明实施例中的几个功能模块合并和分解成不同的功能结构。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种图像实时拼接方法，用于处理多摄像头的同步帧图像，包括：

获取多个具有重叠区域的同步帧图像；

获取所述摄像头的焦距；

判断所述摄像头的焦距和前次拍摄时是否一致；

针对每帧图像，如果所述同步帧图像的拍摄焦距发生变化，则根据所述同步帧图像构建变换矩阵，并根据所述变换矩阵对所述同步帧图像进行拼接；

针对每帧图像，如果所述同步帧图像的拍摄焦距没有变化，则根据前帧图像的变换矩阵对所述图像进行拼接；

其中，在第一次摄像时，根据所述同步帧图像构建变换矩阵；

所述根据所述同步帧图像构建变换矩阵包括：

从所述同步帧图像中提取特征点；

具体为从重叠区域中提取特征点；

根据所述特征点求解单应性矩阵；

以及根据单应性矩阵构造所述变换矩阵；

在获得单应性矩阵后，在根据变换后的坐标系中计算出重叠区域的宽度，非重叠区域的宽度，计算非重叠区域的边缘坐标，根据边缘坐标和宽度计算非重叠区域的变换矩阵，根据非重叠区域和重叠区域的变换矩阵确定整体的变换矩阵；

或者在每一次重新构造一个变换矩阵时，从至少两次拍摄的同步帧图像中提取特征点用以建立单应性矩阵；

在根据变换矩阵对所述图像进行拼接后，对所述图像进行融合；

在所述图像的重叠区域或衔接处进行指定宽度的融合；使用加权平均法对所述图像进行融合；

只在摄像头的焦距，发生变化时，才构造新的变换矩阵，其余情况下，复用已有的变换矩阵，在图像拼接效果保持不变的情况下，通过减少变换矩阵的构造次数和构造时间，提高了图像拼接速度，满足了视频拼接的实时性要求。

2.一种图像实时拼接系统，包括：

图像获取模块，用于获取多个具有重叠区域的同步帧图像；

焦距获取模块，用于获取所述同步帧图像的拍摄焦距；

判断模块，用于判断所述同步帧图像的拍摄焦距是否发生变化；

合成模块，用于根据所述判断模块的判断结果，获得不同的变换矩阵，并根据所述变换矩阵对所述同步帧图像进行拼接；

所述合成模块包括：

特征点提取单元，用于从两幅具有重叠局域的图像中提取特征点，并对特征点进行提纯；具体为从重叠区域中提取特征点；

单应性矩阵求解单元，用于根据所述特征点求解单应性矩阵；或者在每一次重新构造一个变换矩阵时，从至少两次拍摄的同步帧图像中提取特征点用以建立单应性矩阵；

变换矩阵构造单元，用于根据所述单应性矩阵构造变换矩阵；

图像拼接单元，用于根据变换矩阵对所述图像进行变换；

图像融合模块，用于对所述图像进行融合；所述图像融合模块在所述图像的重叠区域或衔接处进行指定宽度的融合。

Images