CN111225191A - 三维视频融合的方法、装置及电子设备 - Google Patents
三维视频融合的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111225191A CN111225191A CN202010057759.9A CN202010057759A CN111225191A CN 111225191 A CN111225191 A CN 111225191A CN 202010057759 A CN202010057759 A CN 202010057759A CN 111225191 A CN111225191 A CN 111225191A
- Authority
- CN
- China
- Prior art keywords
- video
- live
- action
- dimensional
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 10
- 230000004927 fusion Effects 0.000 claims abstract description 143
- 238000012544 monitoring process Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012806 monitoring device Methods 0.000 claims description 53
- 230000000007 visual effect Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4782—Web browsing, e.g. WebTV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
- H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种三维视频融合的方法、装置及电子设备，该方法应用于实景三维视频融合主机，包括：获取待融合监控设备的设备信息和位置信息；基于设备信息和位置信息，确定监控设备的实景三维视频融合参数；获取监控设备的实时视频数据，并基于视频融合参数，将监控设备的实时视频数据与监控设备预设的预置位所确定的实景三维模型进行实时融合。本发明的应用可以提升变电站智能运维、安全管控的水平，同时改善变电站的监测预警能力。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种三维视频融合的方法、装置及电子设备。
背景技术
随着电网规模不断扩大，变电站的设备也随之增加，同时，无人值守变电站也越来越多。为了保障电力生产安全运行，需要对电力设备进行实时状态确认，以便于及时发现和处理问题。在变电站的业务应用场景中，实景三维建模技术与视频智能融合在智能安防、智慧变电站等领域将发挥着重要的不可替代的作用。
发明内容
有鉴于此，本发明的目的在于提供一种三维视频融合的方法、装置及电子设备，以提升变电站智能运维、安全管控的水平，同时提高变电站的监测预警能力。
第一方面，本发明实施例提供了一种三维视频融合的方法，方法应用于实景三维视频融合主机；方法包括：
获取待融合监控设备的设备信息和位置信息；
基于设备信息和位置信息，确定监控设备的实景三维视频融合参数；
获取监控设备的实时视频数据，并基于实景三维视频融合参数，将实时视频数据与监控设备预设的预置位所确定的实景三维模型进行实时融合。
在一种实施方式中，获取监控设备的实时视频数据，并基于实景三维视频融合参数，将实时视频数据与监控设备预设的预置位所确定的实景三维模型进行实时融合的步骤，包括：
接收客户端浏览器发送的获取监控设备的视频请求；
根据视频请求，获取监控设备的实时ES视频流数据，并将其转换为FLV视频流数据；
基于实景三维视频融合参数，将FLV视频流数据与监控设备预设的预置位所确定的实景三维模型进行实时融合。
在一种实施方式中，接收客户端浏览器发送的获取监控设备的视频请求的步骤之前，还包括：
通过云台控制监控设备旋转到预设的预置位。
在一种实施方式中，基于实景三维视频融合参数，将FLV视频流数据与监控设备预设的预置位所确定的实景三维模型进行实时融合的步骤之后，还包括：
将融合后的实景三维视频融合模型，以可视化的方式在浏览器上展示，以及对实景三维视频融合模型进行放大或者缩小或者漫游操作。
在一种实施方式中，基于设备信息和位置信息，确定监控设备的实景三维视频融合参数的步骤，包括：
通过客户端浏览器的用户交互界面，基于设备信息和位置信息，采用投影算法可视化计算确定监控设备的实景三维视频融合参数。
在一种实施方式中，方法还包括：通过云台控制监控设备转动，同时以实时的方式改变监控设备视频投影的位置和视角；
获取转动后的视频数据，并将视频数据与转动后的监控设备的位置和视角确定的实景三维模型进行融合后，以可视化的方式在客户端浏览器进行展示。
在一种实施方式中，方法还包括：获取监控设备的ES视频流数据，并通过ONVIF协议将其转换为FLV视频流数据；
将FLV视频流数据通过WebSocket协议传送至客户端浏览器播放。
第二方面，本发明实施例提供了一种三维视频融合的装置，装置应用于实景三维视频融合主机；装置包括：
信息获取模块，用于获取待融合监控设备的设备信息和位置信息；
参数确定模块，用于基于设备信息和位置信息，确定监控设备的实景三维视频融合参数；
视频融合模块，用于获取监控设备的实时视频数据，并基于实景三维视频融合参数，将实时视频数据与监控设备预设的预置位所确定的实景三维模型进行融合。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。
本发明实施例提供的上述三维视频融合的方法、装置及电子设备，该方法能够通过三维视频融合主机获取待融合监控设备的设备信息、位置信息和监控设备的视频数据，根据获取的监控设备的设备信息以及位置信息进行监控设备的实景三维视频融合参数的可视化配置，进而将视频数据与监控设备预设的预置位所确定的实景三维模型进行融合。上述方法通过实景三维视频融合主机实现了视频数据的获取、融合参数的配置以及实景三维模型与实时视频的实时融合，从而提升了变电站智能运维和安全管控的水平。同时，能够实时监控变电站设备的运行状态，及时发现并处理隐患问题，改善了变电站的监测预警能力。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维视频融合的方法的流程示意图；
图2为本发明实施例提供的一种实景三维视频融合主机基于浏览器进行视频请求、播放的流程示意图；
图3为本发明实施例提供的一种基于实景三维视频融合主机实现实景三维视频融合模型展示的流程示意图；
图4为本发明实施例提供的一种三维视频融合的装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前变电站的智能化管理水平较低，也没有实时全局展现与监控的技术手段，应对突发事件的处理效率较低。基于此，本发明实施例提供的一种三维视频融合的方法、装置及电子设备，可以提升变电站智能运维、安全管控的水平，同时提高变电站的监测预警能力。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种三维视频融合的方法进行详细介绍，参见图1所示的一种三维视频融合的方法的流程示意图，该方法是由实景三维视频融合主机来执行，(所有的执行步骤也可以在三维视频融合主机上来完成)，主要包括以下步骤S101至步骤S103：
步骤S101：获取待融合监控设备的设备信息和位置信息。
在一种具体应用中，实景三维视频融合主机包括网络视频标准规范(ONVIF规范)和WebSocket协议，ONVIF规范即采用设备管理和控制服务(WebService)和音视频流传输协议(RTSP协议)，该服务可以嵌入在实景三维视频融合主机中。当主机启动后，用户可以在客户端浏览器输入URL地址，发起WebSocket登陆请求，主机将登陆成功的请求返回浏览器；登陆成功后，浏览器向实景三维视频融合主机发送WebSocket请求，基于WebService请求获取监控设备的设备信息和位置信息，并将该设备串信息返回至客户端浏览器。其中，设备信息可以包括：监控设备的基本信息：诸如设备名称、厂商信息等；网络配置信息：诸如IP地址、端口号、视频流协议、设备的用户名、密码等；以及其他参数：诸如码率、云台控制等。
步骤S102：基于设备信息和位置信息，确定监控设备的实景三维视频融合参数。
具体的，在客户端浏览器设置用户交互界面，用户通过该交互界面，采用投影算法进行实景三维视频融合参数的配置，从而实现可视化精准、快捷的配置。在一种应用中，监控设备可以是监控摄像机，实景三维视频融合参数可以包括：监控摄像机的角度、投影到设备上的尺寸大小、视角、摄像机的预置位等。
步骤S103：获取监控设备的实时视频数据，并基于实景三维视频融合参数，将实时视频数据与监控设备预设的预置位所确定的实景三维模型进行实时融合。
在一种具体应用中，客户端浏览器基于WebSocket协议向实景三维视频融合主机发送请求，实景三维视频融合主机调用RTSP服务实时获取监控设备的视频流，监控设备基于RTSP服务将RTP码流实时回传到实景三维视频融合主机；实景三维视频融合主机将RTP码流承载的ES视频流数据转换为FLV视频流数据，并将实时视频数据与监控设备预设的预置位所确定的实景三维模型进行融合，即将实时视频数据投影到实景三维模型上，实现视频与模型的融合。实景三维模型的位置根据监控设备预设的预置位确定。
本发明实施例提供的上述三维视频融合的方法，该方法能够通过实景三维视频融合主机获取待融合监控设备的设备信息、位置信息和监控设备的视频数据，根据获取的监控设备的设备信息、位置信息进行监控设备的视频融合参数的可视化配置，进而实现视频数据与监控设备预设的预置位所确定的实景三维模型的实时融合。上述方法通过实景三维视频融合主机实现了视频数据的获取、实景三维视频融合参数的配置以及实景三维模型与实时视频的实时融合，从而提升了变电站智能运维和安全管控的水平，同时，能够实时监控变电站设备的运行状态，及时发现并处理隐患问题，改善了变电站的监测预警能力。
进一步，为了更好的理解三维视频融合的过程，对于上述步骤S103可以按照以下步骤a1至步骤a5来执行：
步骤a1：通过云台控制监控设备旋转到预设的预置位。
具体的，用户可以在浏览器端发起云台控制，通过WebSocket将控制指令发送到实景三维视频融合主机，然后实景三维视频融合主机通过发起WebService服务请求至监控设备、同时监控设备旋转到预设的预置位，并将监控设备的完成指令信息回传到浏览器。
步骤a2：接收客户端浏览器发送的获取监控设备的视频请求。
步骤a3：根据视频请求，获取监控设备的实时ES视频流数据，并将其转换为FLV视频流数据。
在一种具体应用中，监控设备通过WebSocket向实景三维视频融合主机发起视频请求，实景三维视频融合主机基于RTSP服务向监控设备请求获取RTP码流，监控设备将基于RTP承载的ES视频流数据回传到实景三维视频融合主机中，并将其转换为FLV视频流数据。
步骤a4：基于实景三维视频融合参数，将FLV视频流数据与监控设备预设的预置位所确定的实景三维模型进行实时融合。
步骤a5：将融合后的实景三维视频融合模型以可视化的方式在浏览器上展示，以及对实景三维视频融合模型进行放大或者缩小或者漫游操作。
具体的，基于视频投影算法以及监控设备之间的投影关系，通过读取视频流中的每一帧图像，将其作为当前实体对象贴图的材质，并通过不断的更新图像而动态更新GPU中绑定的图像内容，从而达到视频投影的效果。进一步，基于视频投影算法，将视频数据与监控设备预设的预置位所确定的实景三维模型进行实时融合，并将融合后的实景三维视频融合模型以可视化的方式在浏览器上展示，同时在浏览器端对实景三维视频融合模型进行放大或者缩小或者漫游等操作。
此外，本发明实施例提供的上述三维视频融合方法中，还可以将获取的实时视频数据与监控设备预设的预置位所确定的三维实景模型进行实时融合后，将融合后的三维实景视频融合模型以可视化的方式在浏览器端展示。上述将实时视频数据与三维实景模型融合的方法，实现原理及产生的技术效果和前述方法实施例相同，为简要描述，该部分未提及之处，可参考前述方法实施例中相应内容。
进一步，本发明实施例提供的方法还可以实现监控设备的协同浏览，具体的，用户通过云台控制监控设备转动，以实时的方式改变监控设备视频投影的位置和视角；获取转动后的视频数据，并将视频数据与转动后的监控设备位置和视角所确定的实景三维模型进行融合后，以可视化的方式在客户端浏览器进行展示，从而在浏览器端实时浏览随着监控设备视角转动而展示的实时视频融合效果。
考虑到现有的方法中，一般通过在浏览器中内置插件将监控视频转换为能够在浏览器端播放的FLV格式，但是插件的获取过程比较复杂；或者通过nginx+rtmp+ffmpeg搭建流媒体服务器来进行转换，但由于nginx有缓存，会导致视频延迟数秒。因此，本发明实施例提供的方法还包括：
(1)获取监控设备的ES视频流数据，并通过ONVIF协议将其转换为FLV视频流数据。
(2)将FLV视频流数据通过WebSocket协议传送至客户端浏览器进行播放。
在一种具体应用中，监控设备可以通过WebSocket发起播放请求，基于WebService请求获取监控设备的设备信息，并将该设备串信息返回至浏览器；然后基于设备串信息向监控设备发起RTSP服务请求获取RTP码流，监控设备将RTP承载的ES视频流数据回传到实景三维视频融合主机，并将其转换为FLV视频流数据；最后实景三维视频融合主机通过WebSocket将FLV视频流数据传到浏览器，实现ES码流在浏览器端的流畅播放。此外，在客户端浏览器的页面上添加视频播放控件，用于控制视频播放、暂停等任务。
进一步，当浏览器请求已在另一浏览器上播放的视频时，由浏览器向实景三维视频融合主机发起WebSocket请求，实景三维视频融合主机跳过请求设备信息步骤，直接向监控设备发起RTSP请求，基于RTSP请求获取的RTP码流直接通过实景三维视频融合主机进行码流转换，并将转换后的视频数据回传到浏览器端进行视频播放。
此外，本发明实施例提供的三维视频融合的方法还包括设备添加、删除、修改以及云台控制。具体的，由浏览器发起WebSocket请求到实景三维视频融合主机，实景三维视频融合主机通过WebService服务添加、删除或修改设备、操作设备，再将相对应的设备信息回传到浏览器，实现设备同步和云台控制的同步更新。
进一步，为了更好的理解上述三维视频融合的方法，本发明实施例还提供了一种实景三维视频融合主机基于浏览器进行视频请求、播放的流程示意图，参见图2所示，图中IPC表示监控设备，Client表示客户端，Client2表示第二客户端，具体实现流程如下：
b1：启动主机。
b2：在客户端浏览器中输入URL地址。
b3：向实景三维视频融合主机发起WebSocket登陆请求，实景三维视频融合主机将登陆成功的信息返回至客户端。
b4：客户端浏览器向实景三维视频融合主机发起WebSocket请求，获取监控设备信息，并返回该设备串信息。
b5：客户端浏览器发起WebSocket播放请求，实景三维视频融合主机基于设备串信息向监控设备发起RTSP服务请求获取RTP码流，监控设备基于RTSP服务将RTP承载的ES视频流数据回传到三维视频融合主机，并将其转换为FLV视频流；通过WebSocket请求将FLV视频流传送到浏览器，实现ES码流在浏览器端的视频流畅播放。
b6：若一个浏览器端在播放视频，而另一个浏览器端发起同一个监控设备的播放请求，即第二客户端浏览器向实景三维视频融合主机发起WebSocket请求，实景三维视频融合主机则跳过获取设备信息请求，直接向监控设备发起RTSP请求，获取监控设备的RTP码流，监控设备将RTP承载的ES视频流数据回传到实景三维视频融合主机，并通过实景三维视频融合主机将ES视频流数据转换为FLV视频流回传到浏览器端进行播放或视频融合展示。
此外，参见图2所示，上述方法还包括：浏览器发起WebSocket请求到实景三维视频融合主机，实景三维视频融合主机发起WebService请求添加监控设备，或操作云台控制，并将WebService请求返回结果回传到浏览器，实现监控设备增删改和云台控制的同步更新。
进一步，本发明实施例还提供了一种基于实景三维视频融合主机实现实景三维视频融合模型展示的流程示意图，参见图3所示，具体实现流程如下：
c1：启动主机。
c2：在客户端浏览器中输入URL地址。
c3：向实景三维视频融合主机发起WebSocket登陆请求，实景三维视频融合主机将登陆成功的信息返回至客户端。
c4：客户端浏览器向三维视频融合主机发起WebSocket请求，获取监控设备信息，并返回该设备串信息。
c5：客户端浏览器发起WebSocket播放请求，实景三维视频融合主机基于设备串信息向监控设备发起RTSP服务请求获取RTP码流，监控设备返回RTP承载的ES码流，在实景三维视频融合主机中将其实时转换为FLV视频流；通过WebSocket请求将FLV视频流回传到浏览器，实现ES码流在浏览器端视频的流畅播放。
c6：在实景三维视频融合主机内将FLV视频流数据与监控设备预设的预置位确定的实景三维模型进行融合。
c7：将融合后的实景三维视频融合模型以可视化的方式在浏览器上展示。
综上所述，本发明实施例的上述三维视频融合的方法，基于ONVIF规范和WebSocket协议实现监控设备的获取、播放、子设备的添加、修改和删除、云台控制等，同时把监控设备返回的基于RTP承载的ES视频流转换为FLV视频流，实现在浏览器端视频的流畅播放；基于监控设备的位置信息及监控设备的设备信息进行实景三维视频融合参数的可视化精准、快捷配置；基于实时的视频流数据和监控设备的预置位、采用计算机视觉投影原理、图像融合算法，实现变电站实景三维模型与视频智能融合，同时实现在浏览器端的实景三维模型和视频的实时、无缝融合展示、以及摄像机协同浏览实景三维视频模型的展示。
上述方法通过对监控设备的获取、操作及视频流(ES流)数据的实时获取，以及通过将ES视频流转换为FLV视频流，实现监控视频在浏览器端流畅的播放，同时基于用户交互的方式实现可视化实景三维视频融合参数配置；基于视频投影算法实现实景三维模型与视频的实时、无缝融合，以及在浏览器端的模拟展示，方便用户预览，也方便开发人员快速进行功能迭代开发。对监控安防领域的业务推广及业务应用开发提供了坚实的技术支撑，有效地提高了工作效率，特别的对视频融合功能展示和相关的业务应用开发都具有较高的实用价值。
对于前述实施例提供的三维视频融合的方法，本发明实施例还提供了一种三维视频融合的装置，参见图4所示的一种三维视频融合的装置的结构示意图，该装置可以包括以下部分：
信息获取模块401，用于获取待融合监控设备的设备信息和位置信息。
参数确定模块402，用于基于设备信息和位置信息，确定监控设备的实景三维视频融合参数。
视频融合模块403，用于获取监控设备的实时视频数据，并基于实景三维视频融合参数，将实时视频数据与监控设备预设的预置位所确定的实景三维模型进行融合。
本发明实施例提供的上述三维视频融合的装置，该装置能够通过实景三维视频融合主机获取待融合监控设备的设备信息、位置信息和监控设备的视频数据，根据获取的监控设备的设备信息以及位置信息进行监控设备的实景三维视频融合参数的可视化配置，进而将视频数据与监控设备预设的预置位所确定的实景三维模型进行融合。上述在装置通过实景三维视频融合主机实现了视频数据的获取、融合参数的配置以及实景三维模型与实时视频的实时融合，从而提升了变电站智能运维和安全管控的水平。同时，能够实时监控变电站设备的运行状态，及时发现并处理隐患问题，改善了变电站的监测预警能力。
在一种实施方式中，上述视频融合模块403，包括：
接收单元，用于接收客户端浏览器发送的获取监控设备的视频请求。
转换单元，用于根据视频请求，获取监控设备的实时ES视频流数据，并将其转换为FLV视频流数据。
融合单元，用于基于实景三维视频融合参数，将FLV视频流数据与监控设备预设的预置位所确定的实景三维模型进行实时融合。
在一种实施方式中，上述视频融合模块403还包括：控制单元，用于通过云台控制监控设备旋转到预设的预置位。
在一种实施方式中，上述视频融合模块403还包括：展示单元，用于将融合后的实景三维视频融合模型以可视化的方式在浏览器上展示，以及对实景三维视频融合模型进行放大或者缩小或者漫游操作。
在一种实施方式中，上述参数确定模块402还用于通过客户端浏览器的用户交互界面，基于设备信息和位置信息，采用投影算法可视化计算确定监控设备的实景三维视频融合参数。
在一种实施方式中，上述装置还包括：云台控制模块，用于通过云台控制监控设备转动，以实时的方式改变监控设备视频投影的位置和视角。
融合视频展示模块，用于获取转动后的视频数据，并将视频数据与转动后的监控设备视角确定的实景三维模型进行融合后，以可视化的方式在客户端浏览器进行展示。
在一种实施方式中，上述装置还包括：视频播放模块，用于获取监控设备的ES视频流数据，并通过ONVIF协议将其转换为FLV视频流数据；将FLV视频流数据通过WebSocket协议传送至客户端浏览器进行播放。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上实施方式的任一项所述的方法。
图5为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
其中，存储器51可能包含高速随机存取存储器(RAM，Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种三维视频融合的方法，其特征在于，所述方法应用于实景三维视频融合主机；所述方法包括：
获取待融合监控设备的设备信息和位置信息；
基于所述设备信息和所述位置信息，确定所述监控设备的实景三维视频融合参数；
获取所述监控设备的实时视频数据，并基于所述实景三维视频融合参数，将所述实时视频数据与所述监控设备预设的预置位所确定的实景三维模型进行实时融合。
2.根据权利要求1所述的三维视频融合的方法，其特征在于，所述获取所述监控设备的实时视频数据，并基于所述实景三维视频融合参数，将所述实时视频数据与所述监控设备预设的预置位所确定的实景三维模型进行实时融合的步骤，包括：
接收客户端浏览器发送的获取监控设备的视频请求；
根据所述视频请求，获取所述监控设备的实时ES视频流数据，并将其转换为FLV视频流数据；
基于所述实景三维视频融合参数，将所述FLV视频流数据与所述监控设备预设的预置位所确定的实景三维模型进行实时融合。
3.根据权利要求2所述的三维视频融合的方法，其特征在于，所述接收客户端浏览器发送的获取监控设备的视频请求的步骤之前，还包括：
通过云台控制所述监控设备旋转到预设的预置位。
4.根据权利要求2所述的三维视频融合的方法，其特征在于，所述基于所述实景三维视频融合参数，将所述FLV视频流数据与所述监控设备预设的预置位所确定的实景三维模型进行实时融合的步骤之后，还包括：
将融合后的实景三维视频融合模型以可视化的方式在浏览器上展示，以及对所述实景三维视频融合模型进行放大或者缩小或者漫游操作。
5.根据权利要求1所述的三维视频融合的方法，其特征在于，所述基于所述设备信息和所述位置信息，确定所述监控设备的实景三维视频融合参数的步骤，包括：
通过客户端浏览器的用户交互界面，基于所述设备信息和所述位置信息，采用投影算法可视化计算确定所述监控设备的实景三维视频融合参数。
6.根据权利要求1所述的三维视频融合的方法，其特征在于，所述方法还包括：
通过云台控制所述监控设备转动，同时以实时的方式改变监控设备视频投影的位置和视角；
获取转动后的视频数据，并将所述视频数据与转动后的所述监控设备的位置和视角确定的实景三维模型进行融合后，以可视化的方式在客户端浏览器进行展示。
7.根据权利要求1所述的三维视频融合的方法，其特征在于，所述方法还包括：
获取所述监控设备的ES视频流数据，并通过ONVIF协议将其转换为FLV视频流数据；
将所述FLV视频流数据通过WebSocket协议传送至客户端浏览器播放。
8.一种三维视频融合的装置，其特征在于，所述装置应用于实景三维视频融合主机；所述装置包括：
信息获取模块，用于获取待融合监控设备的设备信息和位置信息；
参数确定模块，用于基于所述设备信息和位置信息，确定所述监控设备的实景三维视频融合参数；
视频融合模块，用于获取所述监控设备的实时视频数据，并基于所述实景三维视频融合参数，将所述实时视频数据与所述监控设备预设的预置位所确定的实景三维模型进行融合。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010057759.9A CN111225191B (zh) | 2020-01-17 | 2020-01-17 | 三维视频融合的方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010057759.9A CN111225191B (zh) | 2020-01-17 | 2020-01-17 | 三维视频融合的方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111225191A true CN111225191A (zh) | 2020-06-02 |
| CN111225191B CN111225191B (zh) | 2022-07-29 |
Family
ID=70829615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010057759.9A Active CN111225191B (zh) | 2020-01-17 | 2020-01-17 | 三维视频融合的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111225191B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112261293A (zh) * | 2020-10-20 | 2021-01-22 | 华雁智能科技(集团)股份有限公司 | 变电站远程巡检方法、装置和电子设备 |
| CN112348967A (zh) * | 2020-10-29 | 2021-02-09 | 国网浙江省电力有限公司 | 一种电力设备三维模型与实时视频无缝融合的方法 |
| CN113347392A (zh) * | 2021-05-31 | 2021-09-03 | 高新兴科技集团股份有限公司 | 一种基于ar的配电房监控数据可视化展示方法、系统及介质 |
| CN113452984A (zh) * | 2021-06-30 | 2021-09-28 | 石家庄科林电气设备有限公司 | 一种电力运维中实时数据、三维模型和视频结合显示方法 |
| CN113542722A (zh) * | 2021-06-30 | 2021-10-22 | 石家庄科林电气设备有限公司 | 一种电力运维中实时数据、三维模型和视频结合显示系统 |
| CN113724402A (zh) * | 2021-11-02 | 2021-11-30 | 长沙能川信息科技有限公司 | 一种变电站视频三维场景融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101646067A (zh) * | 2009-05-26 | 2010-02-10 | 华中师范大学 | 数字化全空间智能监控系统及方法 |
| CN105183823A (zh) * | 2015-08-28 | 2015-12-23 | 上海永为科技有限公司 | 一种虚拟对象和实景影像的互动展示系统 |
| US20170244956A1 (en) * | 2016-02-18 | 2017-08-24 | Landa Corporation Ltd. | System and method for generating videos |
| CN107835436A (zh) * | 2017-09-25 | 2018-03-23 | 北京航空航天大学 | 一种基于WebGL的实时虚实融合直播系统及方法 |
-
2020
- 2020-01-17 CN CN202010057759.9A patent/CN111225191B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101646067A (zh) * | 2009-05-26 | 2010-02-10 | 华中师范大学 | 数字化全空间智能监控系统及方法 |
| CN105183823A (zh) * | 2015-08-28 | 2015-12-23 | 上海永为科技有限公司 | 一种虚拟对象和实景影像的互动展示系统 |
| US20170244956A1 (en) * | 2016-02-18 | 2017-08-24 | Landa Corporation Ltd. | System and method for generating videos |
| CN107835436A (zh) * | 2017-09-25 | 2018-03-23 | 北京航空航天大学 | 一种基于WebGL的实时虚实融合直播系统及方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112261293A (zh) * | 2020-10-20 | 2021-01-22 | 华雁智能科技(集团)股份有限公司 | 变电站远程巡检方法、装置和电子设备 |
| CN112261293B (zh) * | 2020-10-20 | 2022-05-10 | 华雁智能科技(集团)股份有限公司 | 变电站远程巡检方法、装置和电子设备 |
| CN112348967A (zh) * | 2020-10-29 | 2021-02-09 | 国网浙江省电力有限公司 | 一种电力设备三维模型与实时视频无缝融合的方法 |
| CN113347392A (zh) * | 2021-05-31 | 2021-09-03 | 高新兴科技集团股份有限公司 | 一种基于ar的配电房监控数据可视化展示方法、系统及介质 |
| CN113452984A (zh) * | 2021-06-30 | 2021-09-28 | 石家庄科林电气设备有限公司 | 一种电力运维中实时数据、三维模型和视频结合显示方法 |
| CN113542722A (zh) * | 2021-06-30 | 2021-10-22 | 石家庄科林电气设备有限公司 | 一种电力运维中实时数据、三维模型和视频结合显示系统 |
| CN113724402A (zh) * | 2021-11-02 | 2021-11-30 | 长沙能川信息科技有限公司 | 一种变电站视频三维场景融合方法 |
| CN113724402B (zh) * | 2021-11-02 | 2022-02-15 | 长沙能川信息科技有限公司 | 一种变电站视频三维场景融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111225191B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111225191B (zh) | 三维视频融合的方法、装置及电子设备 | |
| JP6490654B2 (ja) | 生放送でタイムマシン機能を提供する方法およびシステム | |
| Qian et al. | Optimizing 360 video delivery over cellular networks | |
| US10140105B2 (en) | Converting source code | |
| KR101467430B1 (ko) | 클라우드 컴퓨팅 기반 어플리케이션 제공 방법 및 시스템 | |
| WO2017101487A1 (zh) | 转码属性信息的提交方法和装置 | |
| EP4152757A1 (en) | Video playback method and apparatus, storage medium, and electronic device | |
| US10419798B2 (en) | Method and apparatus for just-in-time transcoding | |
| KR20220144857A (ko) | 멀티미디어 데이터 퍼블리싱 방법 및 장치, 및 디바이스와 기록 매체 | |
| CN112995698A (zh) | 一种视频播放方法、客户端、服务平台及智能会议系统 | |
| CN113485972A (zh) | 一种多媒体共享方法、装置、移动终端及存储介质 | |
| CN114501134B (zh) | 一种iOS跨页面视频播放方法、装置、设备及存储介质 | |
| WO2018014545A1 (zh) | 一种码流数据的处理方法及装置 | |
| WO2017198023A1 (zh) | 音视频碎片分享方法、系统及电子设备 | |
| CN111031032A (zh) | 云端视频转码方法及装置、解码方法及装置、及电子设备 | |
| JP4165134B2 (ja) | 情報再生装置、情報再生方法および情報再生システム | |
| CN113973224A (zh) | 媒体信息的传输方法、计算设备及存储介质 | |
| CN111399655B (zh) | 一种基于vr同步的图像处理方法及装置 | |
| WO2024001802A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113473165A (zh) | 直播控制系统、直播控制方法、装置、介质与设备 | |
| WO2020026014A2 (zh) | 视频处理方法、装置、设备/终端/服务器及计算机可读存储介质 | |
| CN114268830A (zh) | 云导播同步方法、装置、设备及存储介质 | |
| KR102271721B1 (ko) | 클라우드 스트리밍 서비스 시스템, 단말 성능을 고려한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
| CN112449209B (zh) | 视频存储方法、装置、云服务器及计算机可读存储介质 | |
| CN111447463A (zh) | 视频流格式转换及播放控制的方法、装置、介质及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method, device, and electronic device for 3D video fusion Effective date of registration: 20230417 Granted publication date: 20220729 Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd. Pledgor: Huayan Intelligent Technology (Group) Co.,Ltd. Registration number: Y2023980038271 |