CN112188163B - 一种实时视频图像自动去重拼接的方法和系统 - Google Patents

Abstract

本发明公开了一种实时视频图像自动去重拼接的方法和系统，所述方法包括：在目标场景部署多个摄像头，将目标场景分割成多个重点监控区域，每个摄像头对应一个重点监控区域；每个重点监控区域的四个角落设置有标记，相邻的两个重点监控区域存在重叠区域，在重叠区域，两个重点监控区域共用两个标记；采集多个摄像头的多路视频，进行集中存储；识别各路视频的标记，根据标记形态和像素坐标，对各路视频进行校正，并提取重点监控区域的图像；进而将多路视频依次根据标记进行分析去重、拼接还原将多路视频的重点监控区域合并为一路视频，还原目标场景。本发明的自动去重拼接，对静止的多个摄像头或运动中的多个摄像头，均能获得理想的拼接图像。

Description

一种实时视频图像自动去重拼接的方法和系统

技术领域

本发明涉及计算机视频图像处理领域，尤其涉及一种实时视频图像自动去重拼接的方法和系统。

背景技术

视频监控在各行各业的应用非常广泛，在同一个位置或场地，一般情况都会安装部署多个摄像头，多个摄像头采集到的视频图像其中有许多重叠，在监控、图像识别以及场景还原等应用中，需要对重复图像进行去重处理，然后在拼接还原整个场景。

现在在视频图像的后处理中，对视频的去重往往有两个方式，一是通过人工对图像进行去重处理，然后在拼接还原，这个比较耗时，而且实时性不高，只能在一些紧急程度低，重要性不高的场景来采用，而且只能处理静态图像，不能连续动态的处理实时视频流。二是通过后台代码识别出各个视频图像中的重叠部分，然后系统自动拼接还原视频图像。这个方法实时性较高，而且能够处理实时视频流，能够在很多重要场景得到应用。但是目前的技术实现不够理想，还达不到很多应用的要求。主要是去重效果不佳，处理速率较低。

发明内容

本发明的目的在于提供一种实时视频图像自动去重拼接的方法和系统，达到快速自动去重，图像精准去重，完美复原目标场景的目的。

本发明的目的还在于提供一种实时视频图像自动去重拼接系统，实现多摄像头采集、快速自动去重、图像精准去重，完美复原目标场景的目的。

为实现上述目的，本发明提供了一种实时视频图像自动去重拼接的方法，包括：

步骤S1：在目标场景部署多个摄像头，将目标场景分割成多个重点监控区域，每个摄像头对应一个重点监控区域；每个重点监控区域的四个角落设置有标记，相邻的两个所述重点监控区域存在重叠区域，在所述重叠区域，两个重点监控区域共用两个标记；

步骤S2：采集多个摄像头的多路视频，进行集中存储；

步骤S3：识别各路视频的标记，根据标记形态和像素坐标，对各路视频进行校正，并提取重点监控区域的图像；

步骤S4：将所述多路视频的相邻两路视频的重点监控区域依次根据标记进行分析去重，得到各路视频的重点监控区域的非重复部分；

步骤S5：拼接还原，将多路视频的重点监控区域的非重复部分合并为一路视频，还原目标场景。

进一步的，所述标记为ArUco标识码或与背景颜色对比较大的颜色标记。ArUco标识码或与背景颜色呈高色差的颜色标记，便于识别，且具有成熟的算法以获得标记的形态和像素坐标，从而有效地完成重点监控区域的透视变换。

进一步的，所述步骤S2还包括视频预处理，所述视频预处理包括调节视频的亮度和/或色度和/或对比度和/或视频分割。

进一步的，所述步骤S4具体包括：

选择一路视频的重点监控区域图像作为起始比对图像，利用特征点检测算法将步骤S3得到的前一路视频的重点监控区域图像和后一路视频的重点监控区域的图像依次进行特征点比对，去掉在比对图像中已存在的特征点，得到各路视频的初步去重图像；最后将初步去重图像进行形态学腐蚀操作，去除无关噪点像素。

进一步的，所述步骤S3具体包括：以起始比对图像作为拼接背景，依次将去重后的各路视频的重点监控区域叠加到拼接背景上，形成指定尺寸的图像，其中重点监控区域的无噪点像素与拼接背景像素相重叠时，将拼接背景的对应区域的像素点清除，保留后叠加的重点监控区域的无噪点像素。

为实现上述目的，本发明还提出了一种实时视频图像自动去重拼接系统，包括：

多个标记，用于标记目标场景的重点监控区域，所述标记的设置满足条件：每个重点监控区域的四个角落各设置有一个标记，相邻的两个所述重点监控区域存在重叠区域，在所述重叠区域，两个重点监控区域共用两个标记；

多个摄像头，每个摄像头对应一个重点监控区域；

视频存储服务器，用于存储所述多个摄像头采集的多路视频及进行视频预处理；

视频拼接服务器，用于进行标记识别、图形矫正、分析去重及拼接还原，将多路视频的重点监控区域的非重复部分合并为一路视频，还原目标场景。

进一步的，所述视频拼接服务器包括：标记识别模块，用于识别视频中的标记，通过对应的标记识别算法依次得到四个标记的像素坐标，利用该像素坐标对视频流中的重点监控区域求解透视变换矩阵，递归完成所有重点监控区域的透视变换，将感兴趣区域从复杂的环境背景中提取出来；

特征点比对模块，用于对相邻两路视频的前一路视频的重点监控区域图像和后一路视频的重点监控区域的图像依次进行特征点比对，去掉与比对图像中已存在的特征点，各路视频的初步去重图像；最后将初步去重图像进行形态学腐蚀操作，去除无关噪点像素；

图像拼接模块，用于以起始比对图像作为拼接背景，依次将去重后的各路视频的重点监控区域叠加到拼接背景上，形成指定尺寸的图像，其中重点监控区域的无噪点像素与拼接背景像素相重叠时，将拼接背景的对应区域的像素点清除，保留后叠加的重点监控区域的无噪点像素。

本发明和现有技术相比，其显著特点为：

本发明的实时视频图像自动去重拼接的方法，通过对拼接的重点监控区域的透视变换，以获得无视差的起始比对图像和待拼接图像，再通过重点监控区域的特征比对，达到去重拼接，从而实现实时视频图像的自动去重拼接。由于该拼接是的重点监控区域是通过算法进行透视变换矫正，对于运动中的摄像头也同样实用，对静止的多个摄像头或运动中的多个摄像头，均能获得理想的拼接图像。

附图说明

图1是本发明实施例的实时视频图像自动去重拼接方法的流程图；

图2是本发明实施例的在目标场景中的重点监控区域设置示意图；

图3是本发明实施例的相邻两路视频的去重拼接示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

如图1至图3所示，本发明公开了一种实时视频图像自动去重拼接的方法，需要经过初始设置、视频采集、图形矫正、分析去重、拼接还原等多个步骤。如图1所示，首先在目标场景A设置多个摄像头进行图像采集，将目标场景分割成多个重点监控区域，每个摄像头对应一个重点监控区域，每个重点监控区域的四个角落各设置有一个标记，相邻的两个所述重点监控区域存在重叠区域，在所述重叠区域，两个重点监控区域共用两个标记；然后采集多个摄像头的视频，集中存储并进行简单的图像处理，使各视频的亮度、色度、对比度基本一致；然后将多路视频流发送到视频处理器进行图形矫正、分析去重，视频处理器安装有视频图像识别、图形矫正及去重处理程序，得到各路视频的非重复部分；最后进行视频的拼接还原，将多路视频合并在一路视频，还原目标场景。

现具体分步骤说明如下：

步骤S1：在目标场景部署多个摄像头，将目标场景分割成多个重点监控区域，每个摄像头对应一个重点监控区域；每个重点监控区域的四个角落设置有标记，相邻的两个所述重点监控区域存在重叠区域，在所述重叠区域，两个重点监控区域共用两个标记。

如图2所示，目标场景被分割成4个重点监控区域D1-D4，为便于分割，各重点监控区域均设置为矩形，共设置10个标记S1-S10对重点监控区域D1-D4进行标记。其中D1的四个角落设置有标记S1-S4，D1的一边和D2存在重叠区域，共用标记S3、S4；D2的四个角落设置有标记S3-S6，其中标记S3、S4和D1共用，标记S5、S6和D3共用，以这种方式，对应n个重点监控区域，仅需要设置2n+2个标记。

在实际的操作过程中，由于相机的视角设置和光学畸变，视频中呈现的重点监控区域图像往往是具有不规则形状，同时各相机的视角设置不同，相机间会存在明显的视差，从而使相邻的两个相机获得的图像不能在简单切割的基础上进行理想的拼接，因此需要对场景中的重点监控区域设置标记和进行透视变化。如在摄像头所捕捉的重点监控区域的四个角落粘贴ArUco标识码(有顺序关系)或与背景颜色呈高色差的颜色标记(易于从背景中提取)，通过对应的标记识别算法依次得到四个标记的像素坐标，利用该像素坐标对视频流中的重点监控区域求解透视变换矩阵，递归完成所有重点监控区域的透视变换，将重点监控区域从复杂的环境背景中提取出来。

步骤S2、视频采集

通过多个摄像头对目标场景进行视频采集并集中存储，以便后续拼接处理。视频采集后对视频进行预处理，如进行亮度、色度、对比度的调节，以获得清晰的视频及使各路视频的亮度、色度、对比度尽可能一致，以提高拼接质量；或进行视频分割，快速去除无关图像部分，减少视频处理的计算量。

步骤S3、图形矫正

识别各路视频的标记，提取出各路视频的重点监控区域图像，并根据标记的形态和坐标，对各路视频中的重点监控区域图像进行图形矫正。如图3所示，给出了相邻两路视频的图像101、201，图像101上包括重点监控区域102和标记103a、103b、103c、103d，通过对标记103a、103b、103c、103d的形状和位置的识别，图像101的重点监控区域102通过透视变换矩阵对图像进行图形矫正，形成图像101’及其重点监控区域102’，通过矫正后，重点监控区域102’恢复成矩形，适于视频分割和拼接。同样，图像201上包括重点监控区域202和标记203a、203b、203c、203d，通过对标记203a、203b、203c、203d的形状和位置的识别，图像201的重点监控区域202通过透视变换矩阵对图像进行图形矫正，形成图像201’及其重点监控区域202’，通过矫正后，重点监控区域102’恢复成矩形。

步骤S4、分析去重

将所述多路视频的相邻两路视频的重点监控区域依次根据标记进行分析去重，得到各路视频的非重复部分。通过重叠区域的标记可以对准两路视频的拼接位置，确定重叠区域，并从中去除一路视频位于重叠区域的像素，依次处理各路视频，得到各路视频的非重复部分。

步骤S5、拼接还原

将起始比对图像作为拼接背景，依次将去重后的重点监控区域叠加到拼接背景上，形成指定尺寸的图像，其中重点监控区域的无噪点像素与背景像素相重叠时，应将背景图像的对应区域的像素点清除，保留后叠加的监控像素。

如图3所示，图像101’为起始比对图像，图像201’为进行拼接的图像，将重点监控区域102’的标记103b’、103c’分别和重点监控区域202’的标记203a’、203d’对准重叠，且对于重叠的部分，分析去重，由重点监控区域202’进行覆盖。通过拼接后，形成图像301，由于各摄像头的重点监控区域通过预先设定，且各重点监控区域的标记连续，从而各路视频可以通过识别重点监控区域并拼接成图像连贯的一路视频。

该方式的重点监控区域设置简单，计算量小，可方便快速进行视频分割和拼接。

若摄像头的视差较大，需要手动设置图像的重点监控区域，去掉无关重复部分，再进行拼接还原形成指定尺寸的图像。

本发明的实时视频图像自动去重拼接的方法，通过对拼接的重点监控区域的透视变换进行图形矫正，获得无视差的起始比对图像和待拼接图像，再通过重点监控区域的标记对准和特征比对，达到去重拼接，从而实现实时视频图像的自动去重拼接。由于该拼接是的重点监控区域是通过算法进行透视变换矫正，对于运动中的摄像头也同样实用，对静止的多个摄像头或运动中的多个摄像头，均能获得理想的拼接图像。

本发明还提出了一种实时视频图像自动去重拼接系统，包括：多个标记，用于标记目标场景的重点监控区域，所述标记的设置满足条件：每个重点监控区域的四个角落各设置有一个标记，相邻的两个所述重点监控区域存在重叠区域，在所述重叠区域，两个重点监控区域共用两个标记；

多个摄像头，每个摄像头对应一个重点监控区域；

视频存储服务器，用于存储所述多个摄像头采集的多路视频及进行视频预处理；所述视频预处理包括调节视频的亮度和/或色度和/或对比度和/或视频分割；

视频拼接服务器，用于进行标记识别、图形矫正、分析去重及拼接还原，将多路视频的重点监控区域的非重复部分合并为一路视频，还原目标场景。

在本实施例中，所述视频拼接服务器，具体包括：重点监控区域框选模块，用于模糊框选重点监控区域；标记识别模块，用于识别视频中的标记，通过对应的标记识别算法依次得到四个标记的像素坐标，利用该像素坐标对视频中的重点监控区域求解透视变换矩阵，递归完成所有重点监控区域的透视变换，将重点监控区域从复杂的环境背景中提取出来；特征点比对模块，用于对相邻两路视频的前一路视频的重点监控区域图像和后一路视频的重点监控区域的图像依次进行特征点比对，去掉与比对图像中已存在的特征点，各路视频的初步去重图像；最后将初步去重图像进行形态学腐蚀操作，去除无关噪点像素；图像拼接模块，用于以起始比对图像作为拼接背景，依次将去重后的各路视频的重点监控区域叠加到拼接背景上，形成指定尺寸的图像，其中重点监控区域的无噪点像素与拼接背景像素相重叠时，将拼接背景的对应区域的像素点清除，保留后叠加的重点监控区域的无噪点像素。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (3)

1.一种实时视频图像自动去重拼接的方法，其特征在于，包括：

步骤S1：在目标场景部署多个摄像头，将目标场景分割成多个重点监控区域，每个摄像头对应一个重点监控区域；每个重点监控区域的四个角落设置有标记，相邻的两个所述重点监控区域存在重叠区域，在所述重叠区域，两个重点监控区域共用两个标记；

步骤S2：采集多个摄像头的多路视频，进行集中存储；

步骤S3：识别各路视频的标记，根据标记形态和像素坐标，对各路视频进行校正，并提取重点监控区域的图像；

通过对应的标记识别算法依次得到四个标记的像素坐标，利用该像素坐标对视频流中的重点监控区域求解透视变换矩阵，递归完成所有重点监控区域的透视变换，将重点监控区域从复杂的环境背景中提取出来；

步骤S4：将所述多路视频的相邻两路视频的重点监控区域依次根据标记进行分析去重，得到各路视频的重点监控区域的非重复部分；

步骤S5：拼接还原，将多路视频的重点监控区域的非重复部分合并为一路视频，还原目标场景；

所述步骤S2还包括视频预处理，所述视频预处理包括调节视频的亮度和/或色度和/或对比度和/或视频分割；

所述步骤S4具体包括：

选择一路视频的重点监控区域图像作为起始比对图像，利用特征点检测算法将步骤S3得到的前一路视频的重点监控区域图像和后一路视频的重点监控区域图像依次进行特征点比对，去掉在比对图像中已存在的特征点，得到各路视频的初步去重图像；最后将各路视频的初步去重图像进行形态学腐蚀操作，去除无关噪点像素；

所述步骤S5具体包括：以起始比对图像作为拼接背景，依次将去重后的各路视频的重点监控区域叠加到拼接背景上，其中重点监控区域的无噪点像素与拼接背景像素相重叠时，将拼接背景的对应区域的像素点清除，保留后叠加的重点监控区域的无噪点像素。

2.如权利要求1所述的实时视频图像自动去重拼接的方法，其特征在于，所述标记为ArUco标记或与背景呈高色差的颜色标记。

3.一种实时视频图像自动去重拼接系统，其特征在于，包括：

多个标记，用于标记目标场景的重点监控区域，所述标记的设置满足条件：每个重点监控区域的四个角落各设置有一个标记，相邻的两个所述重点监控区域存在重叠区域，在所述重叠区域，两个重点监控区域共用两个标记；

多个摄像头，每个摄像头对应一个重点监控区域；

视频存储服务器，用于存储所述多个摄像头采集的多路视频及进行视频预处理；所述视频预处理包括调节视频的亮度和/或色度和/或对比度和/或视频分割；

视频拼接服务器，用于进行标记识别、图形矫正、分析去重及拼接还原，将多路视频的重点监控区域的非重复部分合并为一路视频，还原目标场景；

所述视频拼接服务器包括：

标记识别模块，用于识别视频中的标记，通过对应的标记识别算法依次得到四个标记的像素坐标，利用该像素坐标对视频流中的重点监控区域求解透视变换矩阵，递归完成所有重点监控区域的透视变换，将重点监控区域从环境背景中提取出来；

特征点比对模块，用于对相邻两路视频的重叠区域前一路视频的重点监控区域图像和后一路视频的重点监控区域的图像依次进行特征点比对，去掉与比对图像中已存在的特征点，各路视频的初步去重图像；最后将初步去重图像进行形态学腐蚀操作，去除无关噪点像素；

图像拼接模块，用于以起始比对图像作为拼接背景，依次将去重后的各路视频的重点监控区域叠加到拼接背景上，形成指定尺寸的图像，其中重点监控区域的无噪点像素与拼接背景像素相重叠时，将拼接背景的对应区域的像素点清除，保留后叠加的重点监控区域的无噪点像素。

Images