CN109688328A - 一种基于不同点位摄像机的视频拼接融合及分割的方法和装置 - Google Patents

Abstract

本发明公开了一种基于不同点位摄像机的视频拼接融合及分割的方法和装置，包括以下步骤：S1：获取实时图像，S2：信号转换，S3：图像压缩，S4：接入视频拼接服务器，S5：融合分割画面，S6：分配融合、分割组合形式，S7：计算匹配点并对画面融合。本发明还公开了一种基于不同点位摄像机的视频拼接融合及分割的装置，包括外壳、镜头、模组构成，外壳由主外壳、上盖、垫板、下盖、防水阀组成，镜头由广角镜头与塑料外罩组成。本发明能够不受设备数量和单个摄像机的限制，多台摄像机融合后的画面可通过视频融合服务器直接上大屏显示器，不用额外配备单独的视频上墙解码器，多台摄像机融合后的画面可直接应用于gis平台。

Description

一种基于不同点位摄像机的视频拼接融合及分割的方法和 装置

技术领域

本发明涉及摄像机的视频拼接融合及分割领域，具体为一种基于不同点位摄像机的视频拼接融合及分割的方法；

本发明涉及摄像机的视频拼接融合及分割领域，具体为一种基于不同点位摄像机的视频拼接融合及分割的装置。

背景技术

视频融合技术已经成为计算机视觉、模式识别、安防监控、战场信息感知等领域的重要组成部分。视频融合过程涉及视频配准、视频分割等多方面内容。由于高清视频具有数据量大、处理复杂、实时性要求更高等特点，因此融合研究过程中面临海量数据存储以及大规模数据处理、分析和挖掘等一系列具有挑战性的问题，目前相关研究成果和实际应用系统都相对较少。

现有市场上的视频拼接技术多为，在后端通过软件对同一个点位的不通摄像机的视频拼接算法，并且融合后的视频，通过录像机存储后还是摄像机的初始画面，用户查看回放是只能看到单独的摄像机画面，不能回放融合后的画面。

摄像机采集的视频必须通过高清解码器的解码，然后通过自身的各种视频输出接口，才能输出显示到电视墙上。

在Gis平台合成三维全景视频，需要对平台定制化开发，再根据相关gis 平台嵌入视频融合算法，合成gis平台上的三维全景视频。这样不管是视频融合算法的嵌入，还是在gis平台上对多台摄像机的视频融合的难度都很大，硬件的性能要求都很高。

现有市场上的视频拼接技术是通过在后端通过软件对同一个点位的不通摄像机的视频拼接算法，并且融合后的视频，通过录像机存储后还是摄像机的初始画面，用户查看回放是只能看到单独的摄像机画面，不能回放融合后的画面，这样视频融合技术依然存在着后期不能更好的应用的缺陷。

发明内容

本发明的目的在于提供一种基于不同点位摄像机的视频拼接融合及分割的方法和装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于不同点位摄像机的视频拼接融合及分割的方法，包括以下步骤：

S1：获取实时图像，通过广角镜头感光传感器获取现场实时图像；

S2：信号转换，通过模数转换器将图像模拟信号转为数字图像信号；

S3：图像压缩，通过图像处理器并对图像压缩；

S4：接入视频拼接服务器，视频信号经过编码后通过网络接入视频拼接服务器；

S5：融合分割画面，视频拼接服务器可将多台摄像机采集的监控画面进行融合再分割；

S6：分配融合、分割组合形式，如图3，为三台摄像机监控画面融合、分割后的组合形式，可根据现场实际情况任意对画面三台摄像机的融合画面分割存储；

S7：计算匹配点并对画面融合，如图3，灰色区域为两台摄像机的重合部分，视频拼接服务器会计算相邻两台摄像机画面中的匹配点，根据匹配点对画面融合。

优选的，所述S5中分割后的画面具备多种应用形式：多台摄像机融合后的画面可直接存储到网络硬盘录像机里，用户对监控画面预览、回放，都是融合后的一个画面，不受设备数量的限制、多台摄像机融合后的画面可直接上大屏显示器，不用通过解码器与多台摄像机融合后的画面可直接应用于gis 平台，不用在gis平台上再次融合，降低工作量和监控视频融合难度。

优选的，所述S6中的组合形式可为图3中组合一、组合二与组合三。

优选的，所述S7中计算匹配点的算法为在所有匹配点对中随机选择)3(n ≥3)对匹配点，计算变换矩阵、利用求出的变换矩阵对所有匹配点进行计算，并计算真实值与计算值之间的距离，对该距离设定阈值T，若距离小于T，则将这对匹配点视为内点，否则视为外点并滤除与随机采样M次，直到得到最大的内点集合为止，根据这个最大内点集合估计变换矩阵，并把这个矩阵作为最后的变换矩阵。

优选的，所述算法采取预检测方法，如图5，即在四个特征点对基础上再随机选择一个特征点对，若第五个特征点对满足变换模型，则继续对其他所有数据进行检验，否则本次随机试验终止，转入下一次实验，再随机选取特征点计算变换矩阵时，以每个已经选择的特征点为中心，指定一个m×m像素尺寸的离散化区域，并在下一次随机选取时避开之前确定的所有离散化区域，依次按照此方法选择各个特征点。

一种基于不同点位摄像机的视频拼接融合及分割的装置，包括外壳、镜头、模组构成，外壳由主外壳、上盖、垫板、下盖、防水阀组成，镜头由广角镜头与塑料外罩组成。

优选的，所述模组的内部设置有感光传感器、模数转换器、图像处理器与网络模块。

与现有技术相比，本发明的有益效果是：不同点位多台摄像机融合后的画面可直接存储到网络硬盘录像机里，用户对监控画面预览、回放，都是融合后的一个画面，不受设备数量和单个摄像机的限制，多台摄像机融合后的画面可通过视频融合服务器直接上大屏显示器，不用额外配备单独的视频上墙解码器，多台摄像机融合后的画面可直接应用于gis平台，不用在gis平台上再次融合，不需要对平台定制化开发嵌入视频融合算法。

附图说明

图1为本发明摄像机外形结构图；

图2为本发明摄像机内部机构及成像步骤图；

图3为本发明不同点位的监控视频融合形式图；

图4为本发明不同点位的监控视频融合算法流程图；

图5为本发明特征点离散化示意图；

图6为本发明算法匹配结果图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明提供一种技术方案：一种基于不同点位摄像机的视频拼接融合及分割的方法，包括以下步骤：

S1：获取实时图像，通过广角镜头感光传感器获取现场实时图像；

S2：信号转换，通过模数转换器将图像模拟信号转为数字图像信号；

S3：图像压缩，通过图像处理器并对图像压缩；

S4：接入视频拼接服务器，视频信号经过编码后通过网络接入视频拼接服务器；

S5：融合分割画面，视频拼接服务器可将多台摄像机采集的监控画面进行融合再分割，分割后的画面具备多种应用形式：多台摄像机融合后的画面可直接存储到网络硬盘录像机里，用户对监控画面预览、回放，都是融合后的一个画面，不受设备数量的限制、多台摄像机融合后的画面可直接上大屏显示器，不用通过解码器与多台摄像机融合后的画面可直接应用于gis平台，不用在gis平台上再次融合，降低工作量和监控视频融合难度；

S6：分配融合、分割组合形式，如图3，为三台摄像机监控画面融合、分割后的组合形式，可根据现场实际情况任意对画面三台摄像机的融合画面分割存储；

S7：计算匹配点并对画面融合，如图3，灰色区域为两台摄像机的重合部分，视频拼接服务器会计算相邻两台摄像机画面中的匹配点，根据匹配点对画面融合，计算匹配点的算法为在所有匹配点对中随机选择)3(n≥3)对匹配点，计算变换矩阵、利用求出的变换矩阵对所有匹配点进行计算，并计算真实值与计算值之间的距离，对该距离设定阈值T，若距离小于T，则将这对匹配点视为内点，否则视为外点并滤除与随机采样M次，直到得到最大的内点集合为止，根据这个最大内点集合估计变换矩阵，并把这个矩阵作为最后的变换矩阵，算法采取预检测方法，如图5，即在四个特征点对基础上再随机选择一个特征点对，若第五个特征点对满足变换模型，则继续对其他所有数据进行检验，否则本次随机试验终止，转入下一次实验，再随机选取特征点计算变换矩阵时，以每个已经选择的特征点为中心，指定一个m×m像素尺寸的离散化区域，并在下一次随机选取时避开之前确定的所有离散化区域，依次按照此方法选择各个特征点，总体步骤如图1与图2所示。

获取特征点的具体步骤：一、获取所有N个特征点Pk(i)的坐标(xi，yi) (i＝1,2)…N)，设I为重叠区域部分，S为可选范围，设置特征点对数n＝1,S＝I，二、随机选取特征点Pk(k)(xk，yk)，确定离散化区域为D＝{(i，j)| DT}≤i≤DB，DL≤j≤DR}，其中DT，DB，DL，DR分别为离散化区域的上、下、左、右边界。设离散化区域边长为2Ld，则有：

若已经没有特征点，则缩小边长Ld＝Ld×1/2,算法重新开始；三、判断特征点数是否达到5，是则算法结束，否则n＝n+1，S＝S－D，转第(2)步，具体过程如图4所示。

特征点预筛选：首先对特征点进行分析。由于待匹配图像之间满足仿射变换关系，因此对于正确的匹配特征点对，其连线应该是相互平行的。可以将匹配点对连线和水平方向之间的夹角作为分类依据。对于正确的匹配点，其值基本相等，而错误匹配点的值往往成呈现无规律的变化。因此值可以作为判定匹配特征点是否正确的必要条件。根据夹角值分类，得到正确率较高和较低的匹配特征点对。选取正确率较高的匹配特征点进行进一步实验，舍弃正确率低的匹配特征点。设定值的算法具体过程如下：

计算每一个特征点对(PK1(k)，PK2(k))(k＝1,2…N)的θ值，记θt＝{θ1，θ2，…θN}；

设置θ值变化区间长度△θ，求θm使(θm－△θ/2，θm+△θ/2)范围内的θ值数量最多，记θ0＝{θ|θ∈(θ-△θ，θ+△θ)}；

舍弃θt-θ0部分，继续对θ0进行检验，进一步筛选错误点，获得最终的匹配特征点集合，并求解变换矩阵。

最后对两台摄像机的匹配特征点标记，如图6所示，根据匹配的特征点进行融合。同理其他摄像机融合算法皆如上所述。

实施例二

本发明提供一种技术方案：一种基于不同点位摄像机的视频拼接融合及分割的方法，包括以下步骤：

S1：获取实时图像，通过广角镜头感光传感器获取现场实时图像；

S2：信号转换，通过模数转换器将图像模拟信号转为数字图像信号；

S3：图像压缩，通过图像处理器并对图像压缩；

S4：接入视频拼接服务器，视频信号经过编码后通过网络接入视频拼接服务器；

S5：融合分割画面，视频拼接服务器可将多台摄像机采集的监控画面进行融合再分割，分割后的画面具备多种应用形式：多台摄像机融合后的画面可直接存储到网络硬盘录像机里，用户对监控画面预览、回放，都是融合后的一个画面，不受设备数量的限制、多台摄像机融合后的画面可直接上大屏显示器，不用通过解码器与多台摄像机融合后的画面可直接应用于gis平台，不用在gis平台上再次融合，降低工作量和监控视频融合难度；

S6：分配融合、分割组合形式，如图3，为三台摄像机监控画面融合、分割后的组合形式，可根据现场实际情况任意对画面三台摄像机的融合画面分割存储；

S7：计算匹配点并对画面融合，如图3，灰色区域为两台摄像机的重合部分，视频拼接服务器会计算相邻两台摄像机画面中的匹配点，根据匹配点对画面融合，计算匹配点的算法为在所有匹配点对中随机选择)3(n≥3)对匹配点，计算变换矩阵、利用求出的变换矩阵对所有匹配点进行计算，并计算真实值与计算值之间的距离，对该距离设定阈值T，若距离小于T，则将这对匹配点视为内点，否则视为外点并滤除与随机采样M次，直到得到最大的内点集合为止，根据这个最大内点集合估计变换矩阵，并把这个矩阵作为最后的变换矩阵，算法采取预检测方法，如图5所示，即在四个特征点对基础上再随机选择一个特征点对，若第五个特征点对满足变换模型，则继续对其他所有数据进行检验，否则本次随机试验终止，转入下一次实验，再随机选取特征点计算变换矩阵时，以每个已经选择的特征点为中心，指定一个m×m像素尺寸的离散化区域，并在下一次随机选取时避开之前确定的所有离散化区域，依次按照此方法选择各个特征点，总体步骤如图1与图2所示。

获取特征点的具体步骤：一、获取所有N个特征点Pk(i)的坐标(xi，yi)(i＝1,2)…N)，设I为重叠区域部分，S为可选范围，设置特征点对数n＝1,S＝I，二、随机选取特征点Pk(k)(xk，yk)，确定离散化区域为D＝{(i，j)| DT}≤i≤DB，DL≤j≤DR}，其中DT，DB，DL，DR分别为离散化区域的上、下、左、右边界。设离散化区域边长为2Ld，则有若已经没有特征点，则缩小边长Ld＝Ld×2,算法重新开始；三、判断特征点数是否达到5，是则算法结束，否则n＝n+2，S＝S－D，转第(2)步，具体过程如图4所示。

特征点预筛选：首先对特征点进行分析。由于待匹配图像之间满足仿射变换关系，因此对于正确的匹配特征点对，其连线应该是相互平行的。可以将匹配点对连线和水平方向之间的夹角作为分类依据。对于正确的匹配点，其值基本相等，而错误匹配点的值往往成呈现无规律的变化。因此值可以作为判定匹配特征点是否正确的必要条件。根据夹角值分类，得到正确率较高和较低的匹配特征点对。选取正确率较高的匹配特征点进行进一步实验，舍弃正确率低的匹配特征点。设定值的算法具体过程如下：

计算每一个特征点对(PK1(k)，PK2(k))(k＝1,2…N)的θ值，记θt＝{θ1，θ2，…θN}；

设置θ值变化区间长度△θ，求θm使(θm－△θ，θm+△θ)范围内的θ值数量最多，记θ0＝{θ|θ∈(θ-△θ，θ+△θ)}；

舍弃θt-θ0部分，继续对θ0进行检验，进一步筛选错误点，获得最终的匹配特征点集合，并求解变换矩阵。

最后对两台摄像机的匹配特征点标记，如图6所示，根据匹配的特征点进行融合。同理其他摄像机融合算法皆如上所述。

通过对上述两组实施例进行对比实验，实施例一能够完全成像，能够将不同点位多台摄像机融合后的画面可直接存储到网络硬盘录像机里，用户对监控画面预览、回放，都是融合后的一个画面，不受设备数量和单个摄像机的限制，多台摄像机融合后的画面可通过视频融合服务器直接上大屏显示器，不用额外配备单独的视频上墙解码器，多台摄像机融合后的画面可直接应用于gis平台，不用在gis平台上再次融合，不需要对平台定制化开发嵌入视频融合算法。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于不同点位摄像机的视频拼接融合及分割的方法，其特征在于，包括以下步骤：

S1：获取实时图像，通过广角镜头感光传感器获取现场实时图像；

S2：信号转换，通过模数转换器将图像模拟信号转为数字图像信号；

S3：图像压缩，通过图像处理器并对图像压缩；

S4：接入视频拼接服务器，视频信号经过编码后通过网络接入视频拼接服务器；

S5：融合分割画面，视频拼接服务器可将多台摄像机采集的监控画面进行融合再分割；

S6：分配融合、分割组合形式，如图3，为三台摄像机监控画面融合、分割后的组合形式，可根据现场实际情况任意对画面三台摄像机的融合画面分割存储；

S7：计算匹配点并对画面融合，如图3，灰色区域为两台摄像机的重合部分，视频拼接服务器会计算相邻两台摄像机画面中的匹配点，根据匹配点对画面融合。

2.根据权利要求1所述的一种基于不同点位摄像机的视频拼接融合及分割的方法，其特征在于:所述S5中分割后的画面具备多种应用形式：多台摄像机融合后的画面可直接存储到网络硬盘录像机里，用户对监控画面预览、回放，都是融合后的一个画面，不受设备数量的限制、多台摄像机融合后的画面可直接上大屏显示器，不用通过解码器与多台摄像机融合后的画面可直接应用于gis平台，不用在gis平台上再次融合，降低工作量和监控视频融合难度。

3.根据权利要求1所述的一种基于不同点位摄像机的视频拼接融合及分割的方法，其特征在于:所述S6中的组合形式可为图3中组合一、组合二与组合三。

4.根据权利要求1所述的一种基于不同点位摄像机的视频拼接融合及分割的方法，其特征在于:所述S7中计算匹配点的算法为在所有匹配点对中随机选择)3(n≥3)对匹配点，计算变换矩阵、利用求出的变换矩阵对所有匹配点进行计算，并计算真实值与计算值之间的距离，对该距离设定阈值T，若距离小于T，则将这对匹配点视为内点，否则视为外点并滤除与随机采样M次，直到得到最大的内点集合为止，根据这个最大内点集合估计变换矩阵，并把这个矩阵作为最后的变换矩阵。

5.根据权利要求4所述的一种基于不同点位摄像机的视频拼接融合及分割的方法，其特征在于:所述算法采取预检测方法，即在四个特征点对基础上再随机选择一个特征点对，若第五个特征点对满足变换模型，则继续对其他所有数据进行检验，否则本次随机试验终止，转入下一次实验，再随机选取特征点计算变换矩阵时，以每个已经选择的特征点为中心，指定一个m×m像素尺寸的离散化区域，并在下一次随机选取时避开之前确定的所有离散化区域，依次按照此方法选择各个特征点。

6.根据权利要求1所述的一种基于不同点位摄像机的视频拼接融合及分割的装置，其特征在于:包括外壳、镜头、模组构成，外壳由主外壳、上盖、垫板、下盖、防水阀组成，镜头由广角镜头与塑料外罩组成。

7.根据权利要求6所述的一种基于不同点位摄像机的视频拼接融合及分割的装置，其特征在于:所述模组的内部设置有感光传感器、模数转换器、图像处理器与网络模块。