CN112887633B - 一种基于摄像头的视频拼接和三维监控显示方法及系统 - Google Patents

Abstract

本发明公开一种基于摄像头的视频拼接和三维监控显示方法及系统，该方法包括添加三维模型数据，得到三维模型；对摄像头捕捉到的视频信息进行处理，得到动态纹理图；将所述动态纹理图与所述三维模型结合，得到三维动态纹理图；将所述三维动态纹理图映射至三维场景中，得到视频画面；重复上述步骤，得到多个视频画面，将相邻两个视频画面进行视频拼接配准，实现相邻多路摄像头的视频画面拼接。本发明采用三维视频映射技术，将视频基于地理位置映射到三维场景中从而实现二维视频的三维空间化，通过对二三维视频的拼接处理，将实时视频准确映射到虚拟三维场景中，既消除了三维场景本身具有时间迟滞性的缺陷，又利用了多源海量实时监控视频。

Description

一种基于摄像头的视频拼接和三维监控显示方法及系统

技术领域

本发明涉及摄像头的视频拼接和三维监控显示领域，具体涉及一种基于摄像头的视频拼接和三维监控显示方法及系统。

背景技术

视觉信息作为人体五种最为重要感官之一，在信息获取过程种占有重要的地位，其中，最具代表性的就是视频监控。视频监控作为作为最广泛的监管和信息采集方式，国内很多人士对监控视频进行了一系列的加工，集成，使之越来越便捷、直观。

目前，用于监控的摄像机因不同外形分为枪机、球机、半球机，大部分视频监控展示方式为三类：

第一类：一屏多监控切换，通过人工主动切换监控画面，逐个浏览；第二类：通过多屏或者拼接显示器实现多监控画面通过查看，相比于上种方式，此方式不需要人为切换监控画面，可同时观看多路甚至业务所需所有视频画面；第三类：通过视频拼接技术，实现监控视频一张图，此方式可以同时观看多个视频画面，相比上两种方式，此方式的视频画面通过拼接，让用户更好的把控整个监控场景的人员流动，对于人员的追踪更方便直观，针对此种监控方式，国内学者也进行了研究，如，张维，徐华龙于2019年10月提出了图像重叠区域的拼接技术，并付诸实践，市面上也有许多相关的产品，例如Point Gery公司也推出了Ladybug系统，该系统是利用多个鱼眼镜头得到多个视角场景，然后完成拼接，实现全景球面图像。

第一类监控视频展示方式观看体验最差，并且很容易漏看，导致出现信息采集不及时的情况，为了减少监控摄像头的数量，也常采用球形或半球形摄像机，导致硬件成本过高。第二类方式，由于视频画面较多，且不连续，也有一定概率会产生错看和漏看的情况，加上增加了多个显示器，需要多人同时观看，费时费力。第三类方式采用视频拼接的方式，大大提高了视频查看效率，减少人员配备，但在视频优化及视频映射方面比较单一，使视频传输和渲染效率较低，产品效果不会像一个普通视频那样流畅，且处理运行时间较长，造价昂贵，很难满足大众使用需求。再者，由于缺少视频覆盖区外实景的画面，对人员和车辆监控时，对监控安装环境不熟的人员不易切换到合适的观看点，从而不能快速的进行整体的安防调度。这三种视频监控方式，都存在视频画面不直观的问题，第一、二种方式更是容易出现错看和漏看的情况，不能最大程度满足用户需求。

综上所述，现有技术存在的问题如下：

(1)由于视频画面不连续导致视频画面不直观；

(2)由于视频画面不连续导致容易发生错看漏看的情况。

发明内容

本发明提供一种基于摄像头的视频拼接和三维监控显示方法及系统，旨在解决由于视频画面不连续导致的视频画面不直观以及发生视频画面错看漏看的情况。

为实现上述目的，本发明提供以下技术方案：

本发明提供一种基于摄像头的视频拼接和三维监控显示方法，包括：

S1：添加三维模型数据，得到三维模型；

S2：对摄像头捕捉到的视频信息进行处理，得到动态纹理图；

S3：将所述动态纹理图与所述三维模型结合，得到三维动态纹理图；将所述三维动态纹理图映射至三维场景中，得到视频画面；

S4：重复S1-S3，得到多个视频画面，将相邻两个视频画面进行视频拼接配准，实现相邻多路摄像头的视频画面拼接。

进一步的，所述S1具体为：

S11：通过无人机倾斜摄影获得三维模型数据；

S12：软件平台加载所述三维模型数据，得到三维模型

进一步的，所述S2具体为：

S21：对摄像头捕捉到的视频信息进行解码，得到解码视频信息；

S22：将所属解码视频信息存储至内存中；

S23：根据目标分辨率对所述内存中的视频信息进行抽取，并将此视频信息转化为动态纹理图。

进一步的，所述S23中，目标分辨率根据显示器分辨率的不同进行调节。

进一步的，所述S3具体为：

S31：将所述动态纹理图与所述三维模型通过鼠标事件进行结合，得到三维动态纹理图；

S32：对所述三维动态纹理图的长度和宽度进行裁剪，得到裁剪后的三维动态纹理图；

S33：将所述裁剪后的三维动态纹理图无缝贴合在三维场景中，得到视频画面。

进一步的，所述S31中的鼠标事件具体为：

S311：读取鼠标位置信息和左键信息；

S312：先用所述鼠标的左键点击所述三维模型上的三维模型数据第一点，再用所述鼠标的左键点击所述动态纹理图上的动态纹理图第一点，所述动态纹理图第一点与三维模型第一点位置信息相同；

S313：重复S312，通过鼠标左键点击动态纹理图的四个顶点和相应位置三维模型的四个点，即可完成所述动态纹理图与所述三维模型的结合，得到三维动态纹理图；

进一步的，所述S32具体为：

S321：对所述三维动态纹理图的四个顶点坐标进行赋值，分别得到左上角、右上角、左下角和右下角的顶点坐标；

S322：裁剪的起始点为左上角坐标，裁剪的长度为起始点到右上角坐标的距离，裁剪的宽度为起始点到左下角坐标的距离；经过上述裁剪得到裁剪后的三维动态纹理图。

进一步的，所述S4具体为：

S41：重复S1-S3，得到多个视频画面；

S42：选取两个相邻视频画面，对两个相邻视频画面中同一特征点进行视频拼接配准；

S43:重复S42，对相邻多路摄像头的视频画面进行拼接。

进一步的，所述S42具体为：

S421：选取两个相邻的视频画面；

S422：查询两个相邻视频画面中的同一特征点，所述同一特征点为所述三维动态纹理图的四个顶点中的任意一点；

S423：通过匹配两个相邻视频画面中镜像对应的特征点，完成视频拼接配准。

一种基于摄像头的视频拼接和三维监控显示系统，所述系统包括：

三维模型数据模块：用于在网络平台添加三维模型数据，得到三维模型；

视频信息处理模块：用于对摄像头捕捉到的视频信息进行处理，得到动态纹理图；

三维场景映射模块：将所述动态纹理图与所述三维模型结合，得到三维动态纹理图；将所述三维动态纹理图映射至三维场景中，得到视频画面；

视频画面拼接模块：重复上述三个模块的工作，得到多个视频画面，将相邻两个视频画面进行视频拼接配准，实现相邻多路摄像头的视频画面拼接。

有益效果：本发明采用三维视频映射技术，将视频基于地理位置映射到三维场景中从而实现二维视频的三维空间化，通过对二三维视频的拼接处理，将实时视频准确映射到虚拟三维场景中，保证实时视频信息准确反映在虚拟三维虚拟场景中，既消除了三维场景本身具有时间迟滞性的缺陷，又利用了多源海量实时监控视频。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为基于摄像头的视频拼接和三维监控显示方法流程框图；

图2为基于摄像头的视频拼接和三维监控显示系统流程框图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。当一个组件被认为是“设置在”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中设置的组件。

此外，术语“长”“短”“内”“外”等指示方位或位置关系为基于附图所展示的方位或者位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或原件必须具有此特定的方位、以特定的方位构造进行操作，以此不能理解为本发明的限制。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

如图1所示，本发明提供一种基于摄像头的视频拼接和三维监控显示方法，所述方法包括：

S1：提供三维模型；S2：对摄像头捕捉到的视频信息进行处理，得到动态纹理图；S3：将所述动态纹理图与所述三维模型结合，得到三维动态纹理图；将所述三维动态纹理图映射至三维场景中，得到视频画面；S4：重复S2-S3，得到多个视频画面，将相邻两个视频画面进行视频拼接配准，实现相邻多路摄像头的视频画面拼接。

根据本发明，在首次进行扫描时对监控范围内的图像先进行三维建模，建模的过程具体为，无人机倾斜摄影获得周围环境的三维模型数据，将三维数据进行建模，得到三维模型，由于要提高后续的图像拼接的处理效率，所以通过三维模型的建立，使拍摄的视频数据有参照标准。

所述三维模型的建立过程具体为：在QT平台构建数据加载函数，三维模型数据通过数据加载函数，获得三维模型。

在获得三维模型后，利用传输协议将摄像头捕捉的视频信息转化为数据流，利用解码技术对所述数据流进行解码，将解码后的数据流存储到内存中，最后利用流媒体处理的开发包，将内存里的数据流按照显示屏的分辨率抽取数据流，并将数据流转换为动态纹理图

本发明提供的视频信息转化为数据流的协议优选为ONVIF传输协议，此协议的优点是,ONVIF传输协议规范描述了网络视频的模型、接口、数据类型以及数据交互的模式。并复用了一些现有的标准，如WS系列标准等。ONVIF传输协议规范的目标是实现一个网络视频框架协议，使不同厂商所生产的网络视频产品(包括摄录前端、录像设备等)完全互通，能兼容不同厂商的摄像头。

本发明对数据流进行解码的解码技术优选为FFmpeg解码技术，FFmpeg解码技术是一个优秀的开源多媒体编解码集合，其下的FFmpeg编解码库在多个著名软件编解码器中得到应用，其中的编解码算法经过大量优化已经达到了极高的效率，本系统采用FFmpeg解码技术进行数据流的解码，视频解码生成的图像序列用于在三维场景中实时渲染。

在获得解码的数据流之后，需要将解码后的数据流存储到内存中，然后利用DirectShow将内存里的数据流按照显示屏的分辨率抽取，利用DirectShow中的SDK将数据流转换为动态纹理图。

所述需要将解码后的数据流存储到内存中是为了减少单位时间内虚拟三维系统从外设中读取数据的次数，本发明对视频画面的缓冲机制和调度机制进行了优化，在虚拟三维场景交会绘制中，将当前视点可见的视频画面动态地调入到内存，然后按照适当的分辨率进行绘制。当视点发生变化时，进行数据调度，读入新的数据，释放旧数据占的内存空间。通过这样的缓冲与调度机制，可以大大提高视频数据在虚拟场景中的渲染效率。

在获得动态纹理图之后，需要将动态纹理图与三维模型相结合，以获得三维动态纹理图；所述将动态纹理图与三维模型相结合的方法为：

L1：建立一个鼠标事件，即设定一个动态三维数组用于保存鼠标的空间位置，再构建两个动态三维数组，用来存储鼠标左键点击的位置信息，并将鼠标事件绑定到图形节点中以完成在空间中对三维模型的选取读取鼠标位置信息和左键信息；

L2：先用所述鼠标的左键点击所述三维模型上的三维模型数据第一点(左上角点)，再用所述鼠标的左键点击所述动态纹理图上的动态纹理图第一点(左上角点)，所述动态纹理图第一点与三维模型第一点位置信息相同；

L3：以所述第一点为起始点，通过鼠标左键顺时针点击动态纹理图的四个顶点，即把三维模型的坐标赋值给动态纹理图，即可完成所述动态纹理图与所述三维模型的结合，得到三维动态纹理图；

在得到所述三维动态纹理图后，为了使三维动态纹理图无缝贴合在三维场景中，需要对三维动态纹理图进行裁剪，所述裁剪的方式为：对所述三维动态纹理图的四个顶点坐标进行赋值，分别得到左上角、右上角、左下角和右下角的顶点坐标；裁剪的起始点为左上角坐标，裁剪的长度为起始点到右上角坐标的距离，裁剪的宽度为起始点到左下角坐标的距离；经过上述裁剪得到裁剪后的三维动态纹理图。最后利用通过四叉树的视频空间索将实时三维动态纹理图映射至三维场景得到得到一个视频画面。

为实现多个相邻视频画面的拼接，需要重复上述操作，得到多个视频画面，选取两个相邻视频画面，对两个相邻视频画面中同一特征点进行视频拼接配准，所述特征点为所述三维动态纹理图的四个顶点，通过匹配两个相邻视频画面中镜像对应的特征点，即定义两个相邻视频画面分别为第一视频画面和第二视频画面，第一视频画面的右上角与第二视频画面的左上角点匹配，或者为第一视频画面的右下角与第二视频画面的左上下角点匹配，完成视频拼接配准；重复进行所述两个相邻视频画面的视频拼接配准，最终实现相邻多路摄像头的视频画面拼接。

一种基于摄像头的视频拼接和三维监控显示系统，其特征在于，所述系统包括：

三维模型数据模块：用于在网络平台添加三维模型数据，得到三维模型；

视频信息处理模块：用于对摄像头捕捉到的视频信息进行处理，得到动态纹理图；

三维场景映射模块：将所述动态纹理图与所述三维模型结合，得到三维动态纹理图；将所述三维动态纹理图映射至三维场景中，得到视频画面；

视频画面拼接模块：重复上述三个模块的工作，得到多个视频画面，将相邻两个视频画面进行视频拼接配准，实现相邻多路摄像头的视频画面拼接。

由于基于摄像头的视频拼接和三维监控显示系统的工作方式已经在上述基于摄像头的视频拼接和三维监控显示方法中详述，在此不做赘述。

至此，以说明和描述的目的提供上述实施例的描述。不意指穷举或者限制本公开。特定的实施例的单独元件或者特征通常不受到特定的实施例的限制，但是在适用时，即使没有具体地示出或者描述，其可以互换和用于选定的实施例。在许多方面，相同的元件或者特征也可以改变。这种变化不被认为是偏离本公开，并且所有的这种修改意指为包括在本公开的范围内。

提供示例实施例，从而本公开将变得透彻，并且将会完全地将该范围传达至本领域内技术人员。为了透彻理解本公开的实施例，阐明了众多细节，诸如特定零件、装置和方法的示例。显然，对于本领域内技术人员，不需要使用特定的细节，示例实施例可以以许多不同的形式实施，而且两者都不应当解释为限制本公开的范围。在某些示例实施例中，不对公知的工序、公知的装置结构和公知的技术进行详细地描述。

在此，仅为了描述特定的示例实施例的目的使用专业词汇，并且不是意指为限制的目的。除非上下文清楚地作出相反的表示，在此使用的单数形式“一个”和“该”可以意指为也包括复数形式。术语“包括”和“具有”是包括在内的意思，并且因此指定存在所声明的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或额外地具有一个或以上的其他特征、整体、步骤、操作、元件、组件和/或其组合。除非明确地指示了执行的次序，在此描述的该方法步骤、处理和操作不解释为一定需要按照所论述和示出的特定的次序执行。还应当理解的是，可以采用附加的或可选择的步骤。

Claims (8)

1.一种基于摄像头的视频拼接和三维监控显示方法，其特征在于，所述方法包括：

S1：提供三维模型；

S2：对摄像头捕捉到的视频信息进行解码，得到解码视频信息；将所述解码视频信息存储至内存中；根据目标分辨率对所述内存中的视频信息进行抽取，并将此视频信息转化为动态纹理图；

S3：将所述动态纹理图与所述三维模型通过鼠标事件进行结合，得到三维动态纹理图；对所述三维动态纹理图的长度和宽度进行裁剪，得到裁剪后的三维动态纹理图；将所述裁剪后的三维动态纹理图无缝贴合在三维场景中，得到视频画面；

S4：重复S2-S3，得到多个视频画面，将相邻两个视频画面进行视频拼接配准，实现相邻多路摄像头的视频画面拼接。

2.根据权利要求1所述的一种基于摄像头的视频拼接和三维监控显示方法，其特征在于，所述S1具体为：

S11：通过无人机摄影获得三维模型数据；

S12：将所述三维模型数据通过处理，得到三维模型。

3.根据权利要求1所述的一种基于摄像头的视频拼接和三维监控显示方法，其特征在于，所述目标分辨率根据显示器分辨率的不同进行调节。

4.根据权利要求1所述的一种基于摄像头的视频拼接和三维监控显示方法，其特征在于，所述S3中的鼠标事件具体为：

S311：读取鼠标位置信息和左键信息；

S312：先用所述鼠标的左键点击所述三维模型上的三维模型数据第一点，再用所述鼠标的左键点击所述动态纹理图上的动态纹理图第一点，所述动态纹理图第一点与三维模型第一点位置信息相同；

S313：重复S312，通过鼠标左键点击动态纹理图的四个顶点和相应位置三维模型的四个点，即可完成所述动态纹理图与所述三维模型的结合，得到三维动态纹理图。

5.根据权利要求1所述的一种基于摄像头的视频拼接和三维监控显示方法，其特征在于，所述S3中对所述三维动态纹理图的长度和宽度进行裁剪，具体为：

S321：对所述三维动态纹理图的四个顶点坐标进行赋值，分别得到左上角、右上角、左下角和右下角的顶点坐标；

S322：裁剪的起始点为左上角坐标，裁剪的长度为起始点到右上角坐标的距离，裁剪的宽度为起始点到左下角坐标的距离；经过上述裁剪得到裁剪后的三维动态纹理图。

6.根据权利要求1所述的一种基于摄像头的视频拼接和三维监控显示方法，其特征在于，所述S4具体为：

S41：重复S2-S3，得到多个视频画面；

S42：选取两个相邻视频画面，对两个相邻视频画面中同一特征点进行视频拼接配准；

S43:重复S42，对相邻多路摄像头的视频画面进行拼接。

7.根据权利要求6所述的一种基于摄像头的视频拼接和三维监控显示方法，其特征在于，所述S42具体为：

S421：选取两个相邻的视频画面；

S422：查询两个相邻视频画面中的同一特征点，所述同一特征点为所述三维动态纹理图的四个顶点中的任意一点；

S423：通过匹配两个相邻视频画面中镜像对应的特征点，完成视频拼接配准。

8.一种基于摄像头的视频拼接和三维监控显示系统，其特征在于，所述系统包括：

三维模型数据模块：用于在网络平台添加三维模型数据，得到三维模型；

视频信息处理模块：用于对摄像头捕捉到的视频信息进行解码，得到解码视频信息；将所述解码视频信息存储至内存中；根据目标分辨率对所述内存中的视频信息进行抽取，并将此视频信息转化为动态纹理图；

三维场景映射模块：将所述动态纹理图与所述三维模型通过鼠标事件进行结合，得到三维动态纹理图；对所述三维动态纹理图的长度和宽度进行裁剪，得到裁剪后的三维动态纹理图；将所述裁剪后的三维动态纹理图无缝贴合在三维场景中，得到视频画面；

视频画面拼接模块：重复视频信息处理模块和三维场景映射模块的工作，得到多个视频画面，将相邻两个视频画面进行视频拼接配准，实现相邻多路摄像头的视频画面拼接。

Images