CN111064947A

CN111064947A - 基于全景的视频融合方法、系统、装置和存储介质

Info

Publication number: CN111064947A
Application number: CN201911225827.1A
Authority: CN
Inventors: 李新福
Original assignee: Guangdong Kangyun Technology Co ltd
Current assignee: Guangdong Kangyun Technology Co ltd
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2020-04-24

Abstract

本发明公开了一种基于全景的视频融合方法、系统、装置和存储介质，其中方法包括以下步骤：获取全景视频数据；采用纹理映射技术将全景视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；所述全景视频数据为通过全景摄像头获取的全景视频数据。本发明通过设置全景摄像头获取的全景视频数据，与预先建立的3D模型进行视频融合，能为用户提供对场景的360度或720度无死角的全面浏览体验；另外，采用3D画面显示全景视频，直观性强、展示度高和体验感好。本发明作为一种基于全景的视频融合方法、系统、装置和存储介质，可广泛应用于视频映射拼接技术中。

Description

基于全景的视频融合方法、系统、装置和存储介质

技术领域

本发明涉及视频映射拼接技术，尤其涉及一种基于全景的视频融合方法、系统、装置和存储介质。

背景技术

随着电子技术和计算机技术的不断发展，视频监控技术取得了飞快的进步，基于此，可实现在室内或室外布设摄像头进行全面的监控。在现有的视频监控系统中，都是通过摄像头进行某一区域的拍摄监控，而不能对一个场景下包含的单个或所有区域进行无死角的监控，即没办法实现全面的监控，不能为用户提供360度或720度无死角的观看体验。同时，现有的视频监控技术大多只能提供2D画面，存在不够直观、展示度低，体验感不好等缺点。

发明内容

为了解决上述技术问题之一，本发明的目的是提供一种基于全景的视频融合方法、系统、装置和存储介质。

本发明所采用的第一技术方案是：

一种基于全景的视频融合方法，包括以下步骤：

获取全景视频数据；

采用纹理映射技术将全景视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

所述全景视频数据为通过全景摄像头获取的全景视频数据。

进一步，所述全景视频数据包括通过360度全景摄像头或720度全景摄像头获取的全景视频数据。

进一步，所述采用纹理映射技术将全景视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面这一步骤，具体为：

对全景视频数据中的视频进行几何校正；

采用纹理映射技术将几何校正后的视频与3D模型进行拼接融合后，获得并播放动态的3D画面。

进一步，所述获取全景视频数据这一步骤，具体为：

通过全景摄像头，获取场景的一个区域的360度或720度视频数据；

或通过全景摄像头，分别获取场景的若干个区域360度或720度视频数据。

进一步，还包括以下步骤：

获取输入的区域选择信息，根据区域选择信息获取所选择区域放大后的动态的3D画面。

进一步，还包括以下步骤：

进入自动播放模式，自动播放一个区域的动态的3D画面，或按预设顺序自动播放若干个个区域的动态的3D画面。

进一步，还包括建立现场3D模型步骤，所述建立3D模型步骤具体为：

扫描全景的三维数据；

根据扫描到的三维数据生成并存储3D模型。

本发明所采用的第二技术方案是：

一种基于全景的视频融合系统，包括：

数据获取模块，用于获取全景视频数据；

视频融合模块，用于采用纹理映射技术将全景视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

所述全景视频数据为通过全景摄像头获取的全景视频数据。

本发明所采用的第三技术方案是：

一种基于全景的视频融合装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述一种基于全景的视频融合方法。

本发明所采用的第四技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述一种基于全景的视频融合方法。

本发明的有益效果是：本发明通过设置全景摄像头获取的全景视频数据，与预先建立的3D模型进行视频融合，能为用户提供对场景的360度或720度无死角的全面浏览体验；另外，采用3D画面显示全景视频，直观性强、展示度高和体验感好。

附图说明

图1是本发明实施例的一种基于全景的视频融合方法的步骤流程图；

图2是本发明实施例中演播室的3D模型的示意图；

图3是本发明实施例中演播厅区域的视频融合显示的第一示意图；

图4是本发明实施例中演播厅区域的视频融合显示的第二示意图；

图5是本发明实施例的一种基于全景的视频融合系统的结构框图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

如图1所示，本实施例提供了一种基于全景的视频融合方法，包括以下步骤：

S1、建立现场3D模型；

S2、获取全景视频数据；

S3、采用纹理映射技术将全景视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

所述全景视频数据为安装在室内或户外的360度全景摄像头或720度全景摄像头拍摄的全景视频数据。

在本实施例中，预先对需要拍摄的场景进行3D建模，并存储在后台的数据库中。所述场景包括室内场景和户外场景，室内场景包括校园内部、园区内部、超市、工厂、变电站、工作室、办公室、博物馆、演播室等其他室内场景，户外场景包括校园外围、园区外围、交通、景点、广场、运动场等其他户外场景。所述3D建模可采用现有的3D建模技术来实现，在本实施例中不对3D建模的方式并进行限定。同时，在本实施例以监控场景为例，实际上本发明涉及的方法不局限于监控，亦可以应用于其他场景，例如体育赛事直播，场景的浏览、展示等画面、视频的呈现方式。

在本实施例中，在需要监控的监控场景搭载全景摄像头，对包含多个区域的监控场景进行拍摄，以获取若干个区域对应的视频数据的情况。例如，场景为室内，如图2所示，对演播室的全景监控，可以看到演播厅具有三个区域：演播厅、监控室和走廊，可以通过在不同区域内通过三脚架搭载的360度全景摄像头或720度全景摄像头进行拍摄，获取不同区域对应的视频数据。

当场景为户外，例如对体育场的监控，体育场的区域包括体育场内部和体育场外部，可以在两个区域通过三脚架搭载的360度全景摄像头或720度全景摄像头进行拍摄，获取不同区域对应的视频数据。

本实施例采用全景摄像头拍摄，直接地对一个场景下的单个或所有区域进行360度或720度无死角的监控，提供了全面的监控。

采用该视频融合方法可获得并播放动态的3D画面，与传统的2D画面相比，立体感好、直观性强、展示度高。

其中，步骤S1包括步骤S11～S12：

S11、扫描场景(包括室内或户外场景)的三维数据；

S12、根据扫描到的三维数据生成并存储3D模型。

预先获取场景的三维数据，以室内场景为例，室内场景包括一些位置固定建筑以及硬件设备，如演播室，扫描的环境有演播厅、监控室和走廊等每个角落。将扫描获得的三维数据进行预处理后，生成3D模型。具体地，演播厅、监控室和走廊内部可以采用手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)进行现场扫描，并获得相应的图片数据。对获得的图片数据进行模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染等步骤的处理后，获得3D模型，将获得的3D模型存储在预设的存储空间，当需要调用该3D模型时，直接进行调用即可。对应地，其他室内场景的建模方式都可采用上述的方法来实现。对户外场景的建模方法类似不再赘述。

其中，步骤S2具体这一步骤，具体为：

或通过全景摄像头，分别获取场景的若干个区域对应的360度或720度视频数据。

以工厂为例，当仅需要对工厂的某一个生产区域的生产线进行监控时，可以在该区域内设置全景摄像头以获取区域的360度或720度视频数据，实现一个区域的全面监控。

以演播室场景为例，当需要对若干个区域进行监控时，可以通过在不同区域内搭载的360度全景摄像头或720度全景摄像头进行拍摄，获取演播厅、监控室和走廊等不同区域对应的视频数据。如图2所示，初始状态下显示演播室的3D模型，当需要对某个区域进行更加细节的监控时，获取输入的区域选择信息，例如接收鼠标的对某个区域的点击信息，然后通过预设方式得到所选择区域的动态的3D画面。其中，其中预设方式包括：将所选择区域直接放大或以第一人称视角模拟进入所选择区域的过程。

例如，当需要对演播厅进行更加细节化的监控时，在演播室的3D模型中点击演播厅区域，相当于输入的区域选择信息，然后直接对演播厅区域进行放大，如图3所示，获得并播放该区域内某一位置的动态的3D画面，如获取演播厅内主持人所在位置的动态的3D画面，能够清晰观察到主持人样貌、表情、所做动作等细节。同时，若想观察该区域内其他位置，如拍摄主持人的摄像人员，只需要输入位置变换信息，如键盘输入或鼠标移动等等，即可获取在360度或720度范围内的其他位置的动态的3D画面。而需要对其他区域进行监控时，可以通过直接点击其他区域，如图4所示，如监控演播厅的动态的3D画面中的玻璃窗能够看到监控室的内部，通过直接点击玻璃窗即可直接切换至监控室区域，获取监控室区域的动态的3D画面；同时也可以先通过返回操作，从获取的演播厅的动态的3D画面返回到演播室的3D模型，再点击监控室区域，获取监控室区域的动态的3D画面。其中，放大倍数可以根据需求进行事先设定。

同时，本方案提供另一种实施方式，提供自动播放模式，当打开演播室的3D模型时，可以通过预先设定，只进行演播厅区域的360度或720度的动态的3D画面的获取，或只进行监控室区域的360度或720度的动态的3D画面的获取，或只进行走廊区域的360度或720度的动态的3D画面的获取。同时也可以通过设置预设顺序，对所有区域或其中两个区域进行动态的3D画面的获取，例如顺序可以为演播厅区域-监控室区域-走廊区域，或监控室区域-走廊区域-演播厅区域，监控室区域-演播厅区域等等。

同时，在打开3D模型进入自动播放模式时，可以直接进入某个区域进行浏览，也可以先从区域的外围进入到某个区域中，例如从演播室的3D模型外的部分(如图2中外围的黑色部分)慢慢进行放大，进入到演播室的3D模型内的某个区域开始进行浏览。另外，每个区域的浏览速度，时间均可以通过事先设置，每个区域的浏览速度、时间可以相同，也可以不同，可以根据实际需要进行设置。而每个区域的动态的3D画面的获取，同样可以预先设置，例如演播厅区域，可以预先设置需要获取的演播厅区域的某个具体位置，如主持人所在位置的动态的3D画面，在获取主持人所在位置的动态的3D画面后，若经过预设的浏览时间，自动按照预设的顺序切换到下一顺序的区域进行360度或720度的浏览。

另外，本方案还提供另一种实施方式，当需要对演播厅进行更加细节化的监控时，例如需要获取演播厅内主持人所在位置的动态的3D画面，在演播室的3D模型图中点击演播厅区域，即相当于输入的区域选择信息，会以第一人称视角模拟进入演播厅区域的过程，例如以第一人称视角通过走廊的门口，以预设的速度进入演播厅内并移动到主持人所在位置，实现主持人所在位置的动态的3D画面的获取。其中，预设的速度可以通过根据需求进行预先设置。

其中，步骤S3具体包括步骤S31～S32：

S31、对全景视频数据中的视频进行几何校正；

S32、采用纹理映射技术将几何校正后的视频与3D模型进行拼接融合后，获得并播放动态的3D画面。

在本实施例中，采用纹理映射技术将视频拼接融合到3D模型中，具体地，根据位置角度信息对实时视频信息中的视频进行几何校正，调整图像的尺度大小和像素，将调整好的图像投影值3D模型中，进行拼接以及融合。其中，当存在多个全景摄像头采集的实时视频信息叠加时，根据预设的AI算法，先对每个角度的视频数据进行修复、裁剪、减面、减模、压缩等处理，再依次将处理后的视频数据叠加至3D模型中。由于预先设计的3D模型已经包含有环境的图像，故当判断到视频数据中也包含有相同的图像信息时，需要对视频数据中图像信息裁剪等处理，同时为了减小数据流，还需对视频数据进行压缩处理。

进一步作为优选的实施方式，所述全景视频数据包括实时拍摄的视频数据和/或预存储的视频数据。

当需要查看实时视频时，通过获取全景摄像头实时拍摄的全景视频数据，并将获得的全景视频数据与3D模型进行视频融合，从而播放实时动态的3D画面；当工作人员需要查看以往的视频画面时，获取存储的视频数据，将视频数据与3D模型进行视频融合后，播放3D画面。

以往在一个区域中存有多个摄像头，每一个摄像头的画面是独立的，监控结果不直观，难以查找定位；当需要查看某处的监控视频时，无法快速地进行查看。当需要看哪个位置或者角度的视频时，需要调取相应摄像头的视频数据，如此当用户需要对一个移动物体进行连续监控时，往往需要切换多个摄像头的画面进行监控，操作麻烦。而在本实施例中，通过将获取全景视频数据并与3D模型进行融合，用户只需要在3D模型中输入区域选择信息以选择相应区域，即可即可实时地进行连续跟踪监视，同时可以通过拖动、转动鼠标切换360度或720度的动态的3D画面，即可以获得区域内所有不同位置的动态的3D画面并自动连续播放，监控全面且立体感强，又方便用户的管理操作。

如图5所示，本实施例还提供了一种基于全景的视频融合系统，包括：

数据获取模块，用于获取全景视频数据；

所述全景视频数据为通过全景摄像头获取的全景视频数据。

本实施例的一种基于全景的视频融合系统，可执行本发明方法实施例所提供的一种基于全景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种基于全景的视频融合装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述基于全景的视频融合方法。

本实施例的一种基于全景的视频融合装置，可执行本发明方法实施例所提供的一种基于全景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述基于全景的视频融合方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种基于全景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims

1.一种基于全景的视频融合方法，其特征在于，包括以下步骤：

获取全景视频数据；

所述全景视频数据为通过全景摄像头获取的全景视频数据。

2.根据权利要求1所述的一种基于全景的视频融合方法，其特征在于，所述全景视频数据包括通过360度全景摄像头或720度全景摄像头获取的全景视频数据。

3.根据权利要求1所述的一种基于全景的视频融合方法，其特征在于，所述采用纹理映射技术将全景视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面这一步骤，具体为：

对全景视频数据中的视频进行几何校正；

4.根据权利要求1所述的一种基于全景的视频融合方法，其特征在于，所述获取全景视频数据这一步骤，具体为：

或通过全景摄像头，分别获取场景的若干个区域的360度或720度视频数据。

5.根据权利要求4所述的一种基于全景的视频融合方法，其特征在于，还包括以下步骤：

6.根据权利要求4所述的一种基于全景的视频融合方法，其特征在于，还包括以下步骤：

7.根据权利要求1-6任一项所述的一种基于全景的视频融合方法，其特征在于，还包括建立现场3D模型步骤，所述建立3D模型步骤具体为：

扫描全景的三维数据；

根据扫描到的三维数据生成并存储3D模型。

8.一种基于全景的视频融合系统，其特征在于，包括：

数据获取模块，用于获取全景视频数据；

所述全景视频数据为通过全景摄像头获取的全景视频数据。

9.一种基于全景的视频融合装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种基于全景的视频融合方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述的一种基于全景的视频融合方法。