CN106657868A - 一种基于人机交互摄像机标定的视频实时拼接方法 - Google Patents

Abstract

一种基于人机交互摄像机标定的视频实时拼接方法，包括以下步骤：(1)提取各摄像机输入码流的首帧，为后续的图像配准做准备；(2)采用基于特征点的方法完成图像配准过程；(3)将图像配准结果进行两两分组显示，若包含真正的重叠区域，则选择正确匹配点对较多的重叠区域，若不包含真正的重叠区域，则忽略该图像；(4)对真正重叠区域，根据区域内包含的特征点匹配对及位置信息，利用传统的摄像机标定算法完成摄像机的标定过程；(5)根据人机交互摄像机标定过程获取的各摄像机内外参数矩阵，对每一路的输入视频帧进行变换，然后利用图像融合技术完成视频帧的融合，从而获得实时拼接视频。

Description

一种基于人机交互摄像机标定的视频实时拼接方法

技术领域

本发明涉及计算机视觉及视频分析相关领域，涉及一种当重叠区域中特征点对较少且摄像机的时间、位置和编号信息引入大量的误匹配点对时，能够根据人机交互选定的重叠区域实现摄像机的精确标定，从而获取具有良好视觉效果的实时拼接视频。

背景技术

依据现有视频采集技术，我们很容易通过单个的视频采集设备获取分离的视频信息，但在现实生活中，很多情况下都需要获取宽视角、大场景的实时视频信息，以便对整个区域的全局信息进行实时监控。如在广场、码头、机场、交通路口等视野开阔的大型场景中，通常需要布设多个摄像机，这种方法虽然可以获得更多的监控范围，但场景的显示被分割为多个子窗口，不能够自然全面地直接反映真实的场景。一些硬件设备，如鱼眼摄像机和广角镜机，虽然能够获取全景图像，但该类设备高昂的成本及复杂的操作阻碍了其广泛应用。视频实时拼接技术通过估计各摄像机的自身参数及相互之间的位置关系，根据输入的多路视频拼接得到包含全部输入视频信息的、宽视角场景的、完整的、清晰的实时视频，并且该技术不需要使用高昂的设备，因此该技术具有广泛的发展空间及应用前景。

发明内容

本发明的目的在于通过人机交互的摄像机标定技术，有效地消除摄像机的位置、时间和编号信息引入的误匹配点对对摄像机标定准确性的影响，提升摄像机标定的精度，从而获取具有较好视觉效果的实时拼接视频，有效地提升了视频实时拼接技术的工程应用价值和应用前景。

本发明的技术方案如下：

一种基于人机交互摄像机标定的视频实时拼接方法，其特征在于包括以下步骤：

步骤1：提取各摄像机输入码流的首帧：提取各摄像机输入码流的首帧，为后续的图像配准做准备；

步骤2：利用获取的视频首帧图像进行图像配准：采用基于特征点的方法完成图像配准过程；

步骤3：人机交互选定正确匹配点对：将步骤2得到的图像配准结果进行两两分组显示，若包含真正的重叠区域，则选择正确匹配点对较多的重叠区域，若不包含真正的重叠区域，则忽略该图像；

步骤4：利用传统的标定算法进行摄像机标定：根据步骤3获取的真正重叠区域，根据区域内包含的特征点匹配对及位置信息，利用传统的摄像机标定算法完成摄像机的标定过程；

步骤5：视频融合：根据人机交互摄像机标定过程获取的各摄像机内外参数矩阵，对每一路的输入视频帧进行变换，然后利用图像融合技术完成视频帧的融合，从而获得所需的视觉效果的实时拼接视频。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明通过在图像配准与传统摄像机标定技术之间添加人机交互选定正确匹配点对的过程，避免了摄像机时间、位置和编号信息对标定精度的影响。实验表明，该方法能够有效地提升了摄像机标定的准确性，保证了在重叠区域特征点对较少时的摄像机的正确标定，从而获取了具有较好视觉效果的实时拼接视频。

具体实施方式

本发明在视频实时拼接过程中，主要的处理过程包括视频采集，首帧配准，摄像机标定，视频帧融合四个顺序过程。下面对各个过程的基本原理进行介绍：

(1)视频采集。视频采集过程是将各分离的摄像机采集到的视频码流作为视频实时拼接系统的输入。其中要求各摄像机与其它摄像机中的至少一个所采集到的视频帧存在一定量的重叠区域，该重叠区域直接影响了后续的视频帧配准和摄像机标定过程。

(2)首帧配准。首帧配准是通过对每个摄像机采集到的视频的首帧进行特征点提取、特征点匹配的过程。由于各摄像机与其余摄像机中的至少一个存在一定量的重叠区域，那么通过首帧配准的特征点匹配就可以为后续的摄像机标定过程提供必要的信息。

(3)摄像机标定。摄像机标定是通过匹配的特征点的位置关系来估计各摄像机的包括焦距等在内的内参数矩阵及相互之间位置关系的外参数矩阵。由于摄像机标定过程的输入为匹配的特征点，所以匹配的特征点的正确与否直接决定了摄像机标定的准确性与精度。但在很多的现实应用中，两个摄像机采集到的视频首帧的重叠区域中特征点对较少且摄像机的时间、位置信息存在大量的干扰。

(4)视频帧融合。根据摄像机标定得到的参数，对每一路采集到的视频帧进行变换，然后利用图像融合技术完成视频帧的融合，从而得到拼接后的宽视角场景的、完整的实时拼接视频。

本发明的具体实施步骤如下：

步骤1：提取各摄像机输入码流的首帧：提取各摄像机输入码流的首帧，为后续的图像配准做准备；

步骤2：利用获取的视频首帧图像进行图像配准：采用当前国际主流的基于特征点的方法完成图像配准过程；

步骤3：人机交互选定正确匹配点对：将步骤2得到的图像配准结果进行两两分组显示，若包含真正的重叠区域，则选择正确匹配点对较多的重叠区域，若不包含真正的重叠区域，则忽略该图像；

步骤4：利用传统的标定算法进行摄像机标定：根据步骤3获取的真正重叠区域，根据区域内包含的特征点匹配对及位置信息，利用传统的摄像机标定算法完成摄像机的标定过程；

步骤5：视频融合：根据人机交互摄像机标定过程获取的各摄像机内外参数矩阵，对每一路的输入视频帧进行变换，然后利用图像融合技术完成视频帧的融合，从而获得所需的视觉效果的实时拼接视频。

Claims (1)

1.一种基于人机交互摄像机标定的视频实时拼接方法，其特征在于包括以下步骤：

步骤1：提取各摄像机输入码流的首帧：提取各摄像机输入码流的首帧，为后续的图像配准做准备；

步骤2：利用获取的视频首帧图像进行图像配准：采用基于特征点的方法完成图像配准过程；

步骤3：人机交互选定正确匹配点对：将步骤2得到的图像配准结果进行两两分组显示，若包含真正的重叠区域，则选择正确匹配点对较多的重叠区域，若不包含真正的重叠区域，则忽略该图像；

步骤4：利用传统的标定算法进行摄像机标定：根据步骤3获取的真正重叠区域，根据区域内包含的特征点匹配对及位置信息，利用传统的摄像机标定算法完成摄像机的标定过程；

步骤5：视频融合：根据人机交互摄像机标定过程获取的各摄像机内外参数矩阵，对每一路的输入视频帧进行变换，然后利用图像融合技术完成视频帧的融合，从而获得所需的视觉效果的实时拼接视频。