CN111050128A

CN111050128A - 基于户外场景的视频融合方法、系统、装置和存储介质

Info

Publication number: CN111050128A
Application number: CN201911225807.4A
Authority: CN
Inventors: 李新福
Original assignee: Guangdong Kangyun Technology Co ltd
Current assignee: Guangdong Kangyun Technology Co ltd
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2020-04-21

Abstract

本发明公开了一种基于户外场景的视频融合方法、系统、装置和存储介质，其中方法包括以下步骤：获取视频数据；采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；所述视频数据为通过安装在户外的摄像头对准预设的点、线、面或区域拍摄的视频数据。本发明在户外摄像头布设时，有针对性地将摄像头对准关键的点、线、面或区域进行拍摄，直接提高监控精准度，从而提供更精细化和有针对性的细节信息；另外，采用3D画面显示监控视频，立体感好且更加逼真，能为用户提供360度无死角的漫游体验，可广泛应用于视频映射拼接技术中。

Description

基于户外场景的视频融合方法、系统、装置和存储介质

技术领域

本发明涉及视频映射拼接技术，尤其涉及一种基于户外场景的视频融合方法、系统、装置和存储介质。

背景技术

随着电子技术和计算机技术的不断发展，视频监控技术取得了飞快的进步，基于此，可实现在户外布设摄像头进行全面的监控。在现有的视频监控系统中，都是通过摄像头进行区域性的拍摄监控，存在一些没有监控价值的区域也被拍摄监控，同时造成一些关键的点、线、面或区域没能精确地进行拍摄，以造成监控效果不佳。

发明内容

为了解决上述技术问题之一，本发明的目的是提供一种针对户外更加直观、精准地对监控视频进行管理方法、系统、装置和存储介质。

本发明所采用的第一技术方案是：

一种基于户外场景的视频融合方法，

获取视频数据；

采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

所述视频数据为通过安装在户外的摄像头对准预设的点、线、面或区域拍摄的视频数据。

进一步，所述视频数据包括实时拍摄的视频数据和/或预存储的视频数据。

进一步，所述采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面这一步骤，具体为：

对视频数据中的视频进行几何校正；

采用纹理映射技术将几何校正后的视频与3D模型进行拼接融合后，获得并播放动态的3D画面。

进一步，所述获取视频数据这一步骤，具体为：

当摄像头对准预设点进行拍摄时，获取该点对应的视频数据，并将其它画面的视频数据进行屏蔽处理或删除处理；

当摄像头对准预设线进行拍摄时，获取该线对应的视频数据，并将其它画面的视频数据进行屏蔽处理或删除处理；

当摄像头对准预设面进行拍摄时，获取该面对应的视频数据，并将其它画面的视频数据进行屏蔽处理或删除处理。

进一步，所述3D模型中设有虚拟触发按键，还包括以下步骤：

当检测到虚拟触发按键被触发时，获取并播放相应的3D画面。

进一步，所述摄像头安装在高处，且自上而下进行拍摄。

进一步，所述摄像头为航拍摄像头。

进一步，还包括建立现场3D模型步骤，所述建立3D模型步骤具体为：

扫描户外场景的三维数据；

根据扫描到的三维数据生成并存储3D模型。

本发明所采用的第二技术方案是：

一种基于户外场景的视频融合系统，包括：

数据获取模块，用于获取视频数据；

视频融合模块，用于采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

本发明所采用的第三技术方案是：

一种基于户外场景的视频融合装置，，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的第四技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明在户外摄像头布设时，有针对性地将摄像头对准关键的点、线、面或区域进行拍摄，直接提高监控精准度，从而提供更精细化和有针对性的细节信息；另外，采用3D画面显示监控视频，立体感好且更加逼真，能为用户提供360度无死角的漫游体验。

附图说明

图1是本发明实施例的一种基于户外场景的视频融合方法的步骤流程图；

图2是本发明实施例的本发明实施例中马路场景的视频融合显示的示意图；

图3是本发明实施例的本发明实施例中工业园区的户外场景的视频融合显示的第一示意图；

图4是本发明实施例的本发明实施例中工业园区的户外场景的视频融合显示的第二示意图；

图5是本发明实施例的一种基于户外场景的视频融合方法的步骤流程图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

如图1所示，本实施例提供了一种基于户外场景的视频融合方法，包括以下步骤：

S1、建立现场3D模型；

S2、获取视频数据；

S3、采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

所述视频数据为安装在户外的摄像头对准预设的点、线、面或区域拍摄的视频数据。

在本实施例方法中，预先对需要拍摄监控的户外场景进行3D建模，并存储在后台的数据库中。所述需要拍摄监控的户外场景包括校园、园区、交通、工厂、变电站、景点、广场、运动场等，所述3D建模可采用现有的数字地图建模技术来实现，在本实施例中不对3D建模的方式并进行限定。

在户外监控场景安装摄像头，所述摄像头对准户外的某个点、线、面或区域，针对点、线、面和区域的情况，现结合马路交通的场景进行解释，在一个复杂红路灯路口，通过摄像头对准红绿灯，可清晰的记录红绿灯上的数字变化，以及红灯与绿灯的变化情况，其获得的是对准点的视频数据。通过摄像头对准马路上的交通线(如实线)，可准确清晰地拍摄到汽车是否有压实线，方便警察的取证，其获得的是对准线的视频数据。通过摄像头对准马路周围建筑上安装的LED大屏进行拍摄，其获得的是对准面的视频数据。通过摄像头对准斑马线上的区域进行精准拍摄，其获得的是对准区域的视频数据，参照图2，为对准斑马线区域拍摄的示意图，图2中的石柱已经有些形变，但是斑马线的画面很清晰，这是因为通过摄像头对准拍摄获得的效果。采用这种有针对性的对准拍摄，直接地提高了监控精准度。另外，由于拍摄的角度和拍摄范围相对固定，可加快后台视频融合的运算速度。

其中，步骤S1包括步骤S11～S12：

S11、扫描户外场景的三维数据；

S12、根据扫描到的三维数据生成并存储3D模型。

预先获取户外场景的三维数据，所述户外场景包括一些位置固定建筑以及硬件设备，以下结合户外的马路为例进行说明，扫描的环境有马路周围的楼体建筑、马路建筑以及马路上安装的设备或种植的树木等。将扫描获得的三维数据进行预处理后，生成3D模型。具体地，楼体建筑可以通过航拍、空中扫描设备(手持扫描设备或其他自动扫描设备)进行扫描，马路建筑以及马路上安装的设备或种植的树木可以采用手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)进行现场扫描，并获得相应的图片数据。对获得的图片数据进行模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染等步骤的处理后，获得3D模型，将获得的3D模型存储在预设的存储空间，当需要调用该3D模型时，直接进行调用即可。对应地，其他户外的建模方式都可采用上述的方法来实现。

其中，步骤S2具体这一步骤，具体为：

以下结合马路交通的实例来说明，某个摄像头采用对准点的方式对预设红路灯进行拍摄，如此可以清晰地拍摄到红路灯的变化情况，现有的路上监控，只能是模糊的看到红路灯的切换，而无法将红路灯清晰地显示在显示屏上。由于摄像头拍摄的画面中，除了红路灯的画面，还包括其他画面，对其他画面进行屏蔽处理或删除处理，如此可减少后期数据融合的计算量。某个摄像头采用对准线的方式对马路上的实线进行拍摄，当某辆汽车压实线时，可以通过视频清晰地监视到；在处理数据时，对实线外的画面进行屏蔽处理或删除处理。同理，当对准面拍摄和区域拍摄，都采用相同方式。

其中，步骤S3具体包括步骤S31～S32：

S31、对视频数据中的视频进行几何校正；

S32、采用纹理映射技术将几何校正后的视频与3D模型进行拼接融合后，获得并播放动态的3D画面。

在本实施例中，采用纹理映射技术将视频拼接融合到3D模型中，具体地，根据位置角度信息对实时视频信息中的视频进行几何校正，调整图像的尺度大小和像素，将调整好的图像投影值3D模型中，进行拼接以及融合。其中，当存在多个摄像头采集的实时视频信息叠加时，根据预设的AI算法，先对每个角度的视频数据进行修复、裁剪、减面、减模、压缩等处理，再依次将处理后的视频数据叠加至3D模型中。由于预先设计的3D模型已经包含有环境的图像，故当判断到视频数据中也包含有相同的图像信息时，需要对视频数据中图像信息裁剪等处理，同时为了减小数据流，还需对视频数据进行压缩处理。

进一步作为优选的实施方式，所述视频数据包括实时拍摄的视频数据和/或预存储的视频数据。

当工作人员需要查看实时视频时，通过获取摄像头实时拍摄的视频数据，并将获得的视频数据与3D模型进行视频融合，从而播放实时动态的3D画面；当工作人员需要查看以往的视频画面时，获取存储的视频数据，将视频数据与3D模型进行视频融合后，播放3D画面。

在存有多个摄像头情况，以前的视频监控技术是每个摄像头的画面是独立的，现在常采用树状结构或表格化形式对监控资源进行分类管理，当摄像头数量过多时，这种管理方式不直观，难以查找定位；当需要查看某处的监控视频时，无法快速地进行查看。当需要看哪个位置或者角度的视频时，需要调取相应摄像头的视频数据，如此当用户需要对一个移动物体进行连续监控时，往往需要切换多个摄像头的画面进行监控，这个需要用户对摄像头的标号非常熟练，才能快速地切换对应的画面。在本实施例中，通过将视频数据与3D模型进行融合，用户只需要在3D模型中输入对应的切换信息，即可实时地进行连续跟踪监视，比如通过控制鼠标移动点击移动位置，通过转动鼠标切换360°角度画面。用户只需简单地输入切换信息，即可进行连续的移动监控，降低了移动监控的难度，方便用户的管理操作。

参照图3，进一步作为优选的实施方式，所述3D模型中设有虚拟触发按键，还包括以下步骤：

当检测到虚拟触发按键被触发时，获取并播放相应的视频画面。

进一步作为优选的实施方式，所述摄像头安装在高处，且自上而下进行拍摄。

具体拍摄时，摄像头高于需要拍摄的物体即可，所述摄像头安装在相对高处，采用自上而下的拍摄方式，比如在马路边，可通过设立摄像机立杆进行拍摄；在园区内，可将摄像头设置在楼体建筑上，然后往下拍摄街道区域和车辆等。如图3所述，将预设的摄像头安装楼体高处，并自上而下进行拍摄，能够获得更大的监视画面。

进一步作为优选的实施方式，所述摄像头为航拍摄像头。

采用航拍摄像头自上方角度向下进行拍摄，由于航拍摄像头具有位置可移动的有点，更适合一些需要移动拍摄的场景中。

以下结合图3和图4，以园区户外的场景为例进行上述方法进行说明。

图3和图4为同一个工业园区大门的不同角度监控图，用户通过输入角度移动信息或者位置切换信息，可以切换监视视角，如图3和图4所示。在该实施例中，采用对准线的方式对准马路，并清晰的监控车辆运行的情况，其中楼体建筑等物体，直接采用3D模型的数据，当摄像头中采集了对应的画面数据，对画面进行处理。参照图3，3D模型中提供了虚拟触发按键，该虚拟触发按键对准一个停车库的出入口，当点击该虚拟触发按键后，采用切换画面或者直接在3D画面跳出显示框显示停车库出入口的近景画面，更加方便工作人员操作和监控。

如图5所示，本实施例还提供了一种基于户外场景的视频融合系统，包括：

数据获取模块，用于获取视频数据；

本实施例的一种基于户外场景的视频融合系统，可执行本发明方法实施例所提供的一种基于户外场景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种基于户外场景的视频融合装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

本实施例的一种基于户外场景的视频融合装置，可执行本发明方法实施例所提供的一种基于户外场景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种基于户外场景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims

1.一种基于户外场景的视频融合方法，其特征在于，包括以下步骤：

获取视频数据；

2.根据权利要求1所述的一种基于户外场景的视频融合方法，其特征在于，所述视频数据包括实时拍摄的视频数据和/或预存储的视频数据。

3.根据权利要求2所述的一种基于户外场景的视频融合方法，其特征在于，所述采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面这一步骤，具体为：

对视频数据中的视频进行几何校正；

4.根据权利要求2所述的一种基于户外场景的视频融合方法，其特征在于，所述获取视频数据这一步骤，具体为：

5.根据权利要求1所述的一种基于户外场景的视频融合方法，其特征在于，所述3D模型中设有虚拟触发按键，还包括以下步骤：

6.根据权利要求1所述的一种基于户外场景的视频融合方法，其特征在于，所述摄像头安装在高处，且自上而下进行拍摄。

7.根据权利要求1所述的一种基于户外场景的视频融合方法，其特征在于，所述摄像头为航拍摄像头。

8.一种基于户外场景的视频融合系统，其特征在于，包括：

数据获取模块，用于获取视频数据；

9.一种基于户外场景的视频融合装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种基于户外场景的视频融合方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述方法。