CN111064946A

CN111064946A - 基于室内场景的视频融合方法、系统、装置和存储介质

Info

Publication number: CN111064946A
Application number: CN201911225545.1A
Authority: CN
Inventors: 李新福
Original assignee: Guangdong Kangyun Technology Co ltd
Current assignee: Guangdong Kangyun Technology Co ltd
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2020-04-24

Abstract

本发明公开了一种基于室内场景的视频融合方法、系统、装置和存储介质，其中方法包括以下步骤：获取视频数据；采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；所述视频数据为通过安装在室内的摄像头对准预设的点、线、面或区域拍摄的视频数据。本发明在摄像头布设时，有针对性地将摄像头对准关键的点、线、面或区域进行拍摄，直接提高监控精准度，从而提供更精细化和有针对性的细节信息；另外，采用3D画面显示监控视频，立体感好且更加逼真，能为用户提供360度无死角的漫游体验，可广泛应用于视频映射拼接技术中。

Description

基于室内场景的视频融合方法、系统、装置和存储介质

技术领域

本发明涉及视频映射拼接技术，尤其涉及一种基于室内场景的视频融合方法、系统、装置和存储介质。

背景技术

随着电子技术和计算机技术的不断发展，视频监控技术取得了飞快的进步，基于此，可实现在室内布设摄像头进行全面的监控。在现有的视频监控系统中，都是通过摄像头进行区域性的拍摄监控，存在一些没有监控价值的区域也被拍摄监控，同时造成一些关键的点、线、面或区域没能精确地进行拍摄，以造成监控效果不佳。另外，现有的视频监控技术大多只能提供2D画面，立体感不强，不能为用户提供360度无死角的漫游体验。

发明内容

为了解决上述技术问题之一，本发明的目的是提供一种能够精准地对监控视频进行管理方法、系统、装置和存储介质

本发明所采用的第一技术方案是：

一种基于室内场景的视频融合方法，包括以下步骤：

获取视频数据；

采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

所述视频数据为通过安装在室内的摄像头对准预设的点、线、面或区域拍摄的视频数据。

进一步，所述视频数据包括实时拍摄的视频数据和/或预存储的视频数据。

进一步，所述采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面这一步骤，具体为：

对视频数据中的视频进行几何校正；

采用纹理映射技术将几何校正后的视频与3D模型进行拼接融合后，获得并播放动态的3D画面。

进一步，所述获取视频数据这一步骤，具体为：

当摄像头对准预设的点进行拍摄时，获取该点对应的视频数据，并将其它画面的视频数据进行屏蔽处理或删除处理；

当摄像头对准预设的线进行拍摄时，获取该线对应的视频数据，并将其它画面的视频数据进行屏蔽处理或删除处理；

当摄像头对准预设的面进行拍摄时，获取该面对应的视频数据，并将其它画面的视频数据进行屏蔽处理或删除处理；

当摄像头对准预设的区域进行拍摄时，获取该区域对应的视频数据，并将其它画面的视频数据进行屏蔽处理或删除处理。

进一步，所述3D模型中设有虚拟触发按键，还包括以下步骤：

当检测到虚拟触发按键被触发时，获取并播放相应的视频画面。

进一步，还包括以下步骤：

获取输入的场景切换信息，根据场景切换信息获取对应的3D模型。

进一步，还包括建立现场3D模型步骤，所述建立3D模型步骤具体为：

扫描室内场景的三维数据；

根据扫描到的三维数据生成并存储3D模型。

本发明所采用的第二技术方案是：

一种基于室内场景的视频融合系统，包括：

数据获取模块，用于获取视频数据；

视频融合模块，用于采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

本发明所采用的第三技术方案是：

一种基于室内场景的视频融合装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的第四技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明在摄像头布设时，有针对性地将摄像头对准关键的点、线、面或区域进行拍摄，直接提高监控精准度，从而提供更精细化和有针对性的细节信息；另外，采用3D画面显示监控视频，立体感好且更加逼真，能为用户提供360度无死角的漫游体验。

附图说明

图1是本发明实施例的一种基于室内场景的视频融合方法的步骤流程图；

图2是本发明实施例中音乐工作室的监控场景的视频融合显示的第一示意图；

图3是本发明实施例中音乐工作室的监控场景的视频融合显示的第二示意图；

图4是本发明实施例的一种基于室内场景的视频融合系统的结构框图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

如图1所示，本实施例提供了一种基于室内场景的视频融合方法，包括以下步骤：

S1、建立现场3D模型；

S2、获取视频数据；

S3、采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面；

所述视频数据为安装在室内的摄像头对准预设的点、线、面或区域拍摄的视频数据。

在本实施例方法中，预先对需要拍摄监控的场景进行3D建模，并存储在后台的数据库中。所述需要拍摄监控的场景包括校园、园区、超市、工厂、变电站、工作室、办公室、博物馆以及室内景点等，所述3D建模可采用现有的3D建模技术来实现，在本实施例中不对3D建模的方式并进行限定。

在室内监控场景安装摄像头，所述摄像头对准室内的某个点、线、面或区域，针对点、线、面和区域的情况，现结合室内博物馆的场景进行解释。例如，在某展台上放着一个小的样品，比如金头钗或翡翠手镯，摄像头对准该样品进行拍摄，该摄像头拍摄的视频为对准点拍摄的视频。当博物馆内展示有篇幅比较长的字画，通过摄像头对准整幅字画进行拍摄，由于字画宽度较小，长度较长，则在摄像画面中的关键画面为一条线，通过摄像头对准这条线进行拍摄。又如，当博物馆内展示的某幅字画包含有一条特殊且具有一定研究价值的线，可通过摄像头对准该条线进行拍摄，获得的是对准线的视频数据。当在墙壁上挂了画像时，通过摄像头对准该画像进行拍摄，获得的是对准面的视频数据。当玻璃展柜内安放的是体积较大的鼎之类的展品时，通过摄像头对准该展柜进行拍摄，获得的是对准区域的视频数据。采用这种有针对性的对准拍摄，直接地提高了监控精准度。另外，由于拍摄的角度和拍摄范围相对固定，该方法还可加快后台视频融合的运算速度。

采用该视频融合方法可获得并播放动态的3D画面，与传统的2D画面相比，立体感好且更加逼真，能为用户提供360度无死角的漫游体验。

其中，步骤S1包括步骤S11～S12：

S11、扫描室内场景的三维数据；

S12、根据扫描到的三维数据生成并存储3D模型。

预先获取室内场景的三维数据，所述室内场景包括一些位置固定建筑以及硬件设备，以下以学校教师楼室内为例，扫描的环境有教学楼的外表、教学楼内的教室、教学楼内的楼梯和教室外部的走廊等每个角落。将扫描获得的三维数据进行预处理后，生成3D模型。具体地，学楼的外部可以通过航拍、空中扫描设备(手持扫描设备或其他自动扫描设备)进行扫描，教学楼的内部可以采用手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)进行现场扫描，并获得相应的图片数据。对获得的图片数据进行模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染等步骤的处理后，获得3D模型，将获得的3D模型存储在预设的存储空间，当需要调用该3D模型时，直接进行调用即可。对应地，其他室内场景的建模方式都可采用上述的方法来实现。

其中，步骤S2具体这一步骤，具体为：

以下结合工厂生产的实例来说明，某个摄像头采用对准点的方式拍摄某个仪器设备，如此可以清晰地拍摄到该仪器设备的运行状况，比如用户需要进行数据读表，若摄像头不是对准该仪表，则很难清晰地拍摄到仪表的数据。由于摄像头拍摄的画面中，除了仪器设备的画面，还包括其他画面，对其他画面进行屏蔽处理或删除处理，如此可减少后期数据融合的计算量。同理，当某个摄像头对准拍摄的是一条线(如仪器仪表的刻度线)、一个面或一个区域，则针对该线、面或区域进行精准拍摄，其他的画面进行屏蔽处理或删除处理。

其中，步骤S3具体包括步骤S31～S32：

S31、对视频数据中的视频进行几何校正；

S32、采用纹理映射技术将几何校正后的视频与3D模型进行拼接融合后，获得并播放动态的3D画面。

在本实施例中，采用纹理映射技术将视频拼接融合到3D模型中，具体地，根据位置角度信息对实时视频信息中的视频进行几何校正，调整图像的尺度大小和像素，将调整好的图像投影值3D模型中，进行拼接以及融合。其中，当存在多个摄像头采集的实时视频信息叠加时，根据预设的AI算法，先对每个角度的视频数据进行修复、裁剪、减面、减模、压缩等处理，再依次将处理后的视频数据叠加至3D模型中。由于预先设计的3D模型已经包含有环境的图像，故当判断到视频数据中也包含有相同的图像信息时，需要对视频数据中图像信息裁剪等处理，同时为了减小数据流，还需对视频数据进行压缩处理。

进一步作为优选的实施方式，所述视频数据包括实时拍摄的视频数据和/或预存储的视频数据。

当工作人员需要查看实时视频时，通过获取摄像头实时拍摄的视频数据，并将获得的视频数据与3D模型进行视频融合，从而播放实时动态的3D画面；当工作人员需要查看以往的视频画面时，获取存储的视频数据，将视频数据与3D模型进行视频融合后，播放3D画面。

在存有多个摄像头情况，以前的视频监控技术是每个摄像头的画面是独立的，现在常采用树状结构或表格化形式对监控资源进行分类管理，当摄像头数量过多时，这种管理方式不直观，难以查找定位；当需要查看某处的监控视频时，无法快速地进行查看。当需要看哪个位置或者角度的视频时，需要调取相应摄像头的视频数据，如此当用户需要对一个移动物体进行连续监控时，往往需要切换多个摄像头的画面进行监控，这个需要用户对摄像头的标号非常熟练，才能快速地切换对应的画面。在本实施例中，通过将将视频数据与3D模型进行融合，用户只需要在3D模型中输入对应的切换信息，即可实时地进行连续跟踪监视，比如通过控制鼠标移动点击移动位置，通过转动鼠标切换360°角度画面。用户只需简单地输入切换信息，即可进行连续的移动监控，降低了移动监控的难度，方便用户的管理操作。

以下结合图2和图3，以音乐工作室的监控场景为例对上述方法进行说明。

所示图2为控制室的场景，所示图3为录音棚的场景。图2中，主要的场景是控制室的场景，因此摄像头主要对准控制台区域和活动区域进行拍摄，用户通过输入位置角度信息切换查看控制室内的各个位置的画面，对应地，后台通过获取不同摄像头拍摄的视频数据与3D模型进行融合，并进行播放。在监控控制室时，调取的视频主要为安装在控制室内摄像头拍摄的视频，通过图2中的玻璃可看到，录音棚里的钢琴上没坐有演奏者，但此时钢琴上坐有演奏者(观看图3可知)，这是因为，玻璃上的画面直接采用3D模型中预设画面进行播放，而摄像头对准控制台进行拍摄，获取拍摄到玻璃上的画面，但对相应的画面进行处理后，因此图2中的钢琴上并没有没坐有演奏者。在图3中，演奏者正在弹奏录音，通过切换位置或角度，可监视录音棚内的情况，但是此时通过玻璃观看控制室，看到的直接是3D模型上的实时动态画面。通过上述的处理方法，可以精准地拍摄到关键的画面，同时也减少了视频融合过程中的运算量，降低了相应的成本。

参照图2，进一步作为优选的实施方式，所述3D模型中设有虚拟触发按键，还包括以下步骤：

在3D模型中设有虚拟触发按键，如图2所示，在音乐工作室的监控场景中，在操控平台上设有第一触发按键和第二触发按键，所述第一触发按键对应触发音量的调节情况画面，所述第二触发按键对应触发播放录制的声音；当点击第一触发按键，采用切换画面或者直接在3D画面跳出显示框显示声音调节的画面。因为设置有某一摄像头对准相应的画面进行拍摄，所以当需要更加清晰显示时，可调用对应的视频数据。

进一步作为优选的实施方式，还包括以下步骤：

在3D模型中设置有切换场景的按键，比如同一个建筑中设有多个场景，通过点击选择可以切换不同的场景。如图2所述，在3D画面中设有“1”、“2”、“3”和“M”的场景触发按键，供用户选择切换。

如图4所示，本实施例还提供了一种基于室内场景的视频融合系统，包括：

数据获取模块，用于获取视频数据；

本实施例的一种基于室内场景的视频融合系统，可执行本发明方法实施例所提供的一种基于室内场景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种基于室内场景的视频融合装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

本实施例的一种基于室内场景的视频融合装置，可执行本发明方法实施例所提供的一种基于室内场景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种基于室内场景的视频融合方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims

1.一种基于室内场景的视频融合方法，其特征在于，包括以下步骤：

获取视频数据；

2.根据权利要求1所述的一种基于室内场景的视频融合方法，其特征在于，所述视频数据包括实时拍摄的视频数据和/或预存储的视频数据。

3.根据权利要求1所述的一种基于室内场景的视频融合方法，其特征在于，所述采用纹理映射技术将视频数据与预先建立的3D模型进行视频融合后，获得并播放动态的3D画面这一步骤，具体为：

对视频数据中的视频进行几何校正；

4.根据权利要求1所述的一种基于室内场景的视频融合方法，其特征在于，所述获取视频数据这一步骤，具体为：

5.根据权利要求1所述的一种基于室内场景的视频融合方法，其特征在于，所述3D模型中设有虚拟触发按键，还包括以下步骤：

当检测到虚拟触发按键被触发时，获取并播放相应的3D画面。

6.根据权利要求1所述的一种基于室内场景的视频融合方法，其特征在于，还包括以下步骤：

7.根据权利要求1-6任一项所述的一种基于室内场景的视频融合方法，其特征在于，还包括建立现场3D模型步骤，所述建立3D模型步骤具体为：

扫描室内场景的三维数据；

根据扫描到的三维数据生成并存储3D模型。

8.一种基于室内场景的视频融合系统，其特征在于，包括：

数据获取模块，用于获取视频数据；

9.一种基于室内场景的视频融合装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种基于室内场景的视频融合方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述方法。