CN114666561B - 视频融合方法、装置和系统 - Google Patents

视频融合方法、装置和系统 Download PDF

Info

Publication number
CN114666561B
CN114666561B CN202210571642.1A CN202210571642A CN114666561B CN 114666561 B CN114666561 B CN 114666561B CN 202210571642 A CN202210571642 A CN 202210571642A CN 114666561 B CN114666561 B CN 114666561B
Authority
CN
China
Prior art keywords
dimensional
video fusion
server
terminal
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210571642.1A
Other languages
English (en)
Other versions
CN114666561A (zh
Inventor
刘珊
孙社宾
高旭麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Anruijie Technology Co ltd
Original Assignee
Tianjin Anruijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Anruijie Technology Co ltd filed Critical Tianjin Anruijie Technology Co ltd
Priority to CN202210571642.1A priority Critical patent/CN114666561B/zh
Publication of CN114666561A publication Critical patent/CN114666561A/zh
Application granted granted Critical
Publication of CN114666561B publication Critical patent/CN114666561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出一种视频融合方法、装置和系统，方法包括：信令服务器响应终端发送的连接请求信息生成连接请求指令，将连接请求指令发送至视频融合服务器；视频融合服务器响应连接请求指令与终端建立连接将生成的三维视频融合应用启动视频流发至终端进行解码展示；信令服务器获取终端发送的操作信息，将操作信息解析成相对应的三维视频融合应用控制指令，将三维视频融合应用控制指令发送至安装有三维场景模型的视频融合服务器；视频融合服务器响应三维视频融合应用控制指令生成操作结果动作视频流，并将操作结果动作视频流发送至终端进行解码展示；本发明通过服务器端视频融合技术减弱终端对GPU的需求，节省用户成本，扩大应用范围，提升用户体验。

Description

视频融合方法、装置和系统
技术领域
本发明涉及3视频融合的技术领域，特别涉及一种视频融合方法、装置和系统。
背景技术
目前，三维场景以及视频融合在CIM系统（City Information Modeling，城市信息模型）中广泛应用，市场上均为终端程序处理把视频融合到三维模型中，而终端GPU（graphics processing unit，图形处理器）以及网络处理能力有限，因此，支持融合的视频的路数非常有限，通常16路以上就需要高性能GPU支持，特别是在大场景三维模型多路视频融合场景中应用非常困难。GPU在个人电脑或者移动设备上处理能力弱，往往由于条件限制，CIM模型和多路视频融合只用于中心大屏展示，场景应用范围窄，使用成本高。
发明内容
本发明提出一种视频融合方法、装置和系统，终端只需要CPU就能呈现三维场景和超多路视频融合以及人机操作，降低终端对GPU的需求，降低成本，扩大应用范围，提升用户体验。
第一方面，本发明提供了一种视频融合方法，所述方法应用于视频融合服务器，所述视频融合服务器上安装有三维场景模型，所述方法包括：
获取信令服务器发送的连接请求指令；其中，所述连接请求指令是所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有三维视频融合应用；
与终端建立连接；
生成三维视频融合应用启动视频流；
将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
获取信令服务器发送的三维视频融合应用控制指令；其中，所述三维视频融合应用控制指令是所述信令服务器响应所述终端发送的操作信息生成的，所述终端响应于用户对三维视频融合应用的操作生成所述操作信息；
根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；
将所述操作结果动作视频流发送至所述终端进行解码展示。
在可选的实施方式中，所述三维视频融合应用控制指令通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器。
在可选的实施方式中，根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流，包括：
根据所述流媒体控制指令或者所述三维场景模型操作指令对三维场景模型按照DirectX协议和OpenGL协议进行场景渲染，得到渲染后的三维场景模型；
获取目标视频流，并将所述目标视频流进行解码；
与解码后的目标视频流以贴图的方式融合到渲染后的三维场景模型中，得到目标三维场景模型；
将所述目标三维场景模型至少按帧率参数和分辨率参数编码成操作结果动作视频流；
将所述操作结果动作视频流发送至所述终端进行解码展示，包括：
对所述操作结果动作视频流按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；
将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。
在可选的实施方式中，所述终端响应于用户对所三维视频融合应用的操作事件，将所述操作事件进行封装后得到所述操作信息。
第二方面，本发明提供了一种视频融合方法，所述方法应用于信令服务器，所述方法包括：
获取终端发送的连接请求信息；其中，所述终端上安装有三维视频融合应用；
根据所述连接请求信息向安装有三维场景模型的视频融合服务器发送连接请求指令，以使所述视频融合服务器响应所述连接请求指令与所述终端建立连接并生成三维视频融合应用启动视频流，并将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
获取终端发送的操作信息；其中，所述终端响应于用户对所述三维视频融合应用的操作生成所述操作信息；
将所述操作信息解析成相对应的三维视频融合应用控制指令；
将所述三维视频融合应用控制指令发送至安装有三维场景模型的视频融合服务器，以使所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示。
第三方面，本发明提供了一种视频融合方法，所述终端上安装有三维视频融合应用，所述方法包括：
向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至视频融合服务器；
与所述视频融合服务器建立连接；
接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示；其中，所述视频融合服务器安装有三维场景模型，所述三维视频融合应用启动视频流是所述视频融合服务器响应所述连接请求指令生成的；
响应于用户对所述三维视频融合应用的操作并生成操作信息；
将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的三维视频融合应用控制指令并将所述三维视频融合应用控制指令发送至视频融合服务器；
接收所述视频融合服务器发送的操作结果动作视频流并解码展示，其中，所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成所述操作结果动作视频流。
第四方面，本发明提供了一种视频融合装置，所述装置应用于视频融合服务器，所述视频融合服务器上安装有三维场景模型，所述装置包括：
视频融合服务器第一获取模块，用于获取信令服务器发送的连接请求指令；其中，所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有三维视频融合应用；
视频融合服务器连接模块，用于与终端建立连接；
视频融合服务器第一处理模块，用于生成三维视频融合应用启动视频流；
视频融合服务器第一发送模块，用于将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
视频融合服务器第二获取模块，用于获取信令服务器发送的三维视频融合应用控制指令；其中，所述三维视频融合应用控制指令是所述信令服务器响应终端发送的操作信息生成的，所述终端响应于用户对三维视频融合应用的操作生成所述操作信息；
视频融合服务器第二处理模块，用于根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；
视频融合服务器第二发送模块，用于将所述操作结果动作视频流发送至所述终端进行解码展示。
第五方面，本发明提供了一种视频融合装置，所述装置应用于信令服务器，所述装置包括：
信令服务器第一获取模块，用于获取所述终端发送的连接请求信息；其中，所述终端上安装有三维视频融合应用；
信令服务器第一发送模块，用于根据所述连接请求信息向安装有三维场景模型的视频融合服务器发送连接请求指令，以使所述视频融合服务器响应所述连接请求指令与所述终端建立连接并生成三维视频融合应用启动视频流，并将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
信令服务器第二获取模块，用于获取终端发送的操作信息；其中，所述终端响应于用户对所述三维视频融合应用的操作生成所述操作信息；
信令服务器处理模块，用于将所述操作信息解析成相对应的三维视频融合应用控制指令；
信令服务器第二发送模块，用于将所述三维视频融合应用控制指令发送至安装有三维场景模型的视频融合服务器，以使所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示。
第六方面，本发明提供了一种视频融合装置，所述装置应用于终端，所述终端上安装有三维视频融合应用，所述装置包括：
终端第一获取模块，用于向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至视频融合服务器；
终端连接模块，用于与所述视频融合服务器建立连接；
终端第一接收模块，用于接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示；其中，所述视频融合服务器安装有三维场景模型，所述三维视频融合应用启动视频流是所述视频融合服务器响应所述连接请求指令生成的；
终端第二获取模块，响应于用户对所述三维视频融合应用的操作并生成操作信息；
终端发送模块，用于将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的三维视频融合应用控制指令并将所述三维视频融合应用控制指令发送至视频融合服务器；
终端第二接收模块，用于接收所述视频融合服务器发送的操作结果动作视频流并解码展示，其中，所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成所述操作结果动作视频流。
第七方面，本发明提供了一种视频融合系统，所述系统包括终端、信令服务器和视频融合服务器；所述终端上安装有三维视频融合应用，所述视频融合服务器上安装有三维场景模型；
所述终端，用于向信令服务器发送连接请求信息，与所述视频融合服务器建立连接；接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示；还用于响应于用户对所述三维视频融合应用的操作生成操作信息，将所述操作信息发送至信令服务器；接收所述视频融合服务器发送的操作结果动作视频流并解码展示；
所述信令服务器，用于响应所述连接请求信息生成连接请求指令，并将连接请求指令发送至视频融合服务器；还用于将所述操作信息解析成相对应的三维视频融合应用控制指令，将所述三维视频融合应用控制指令发送至视频融合服务器；
所述视频融合服务器，用于响应所述连接请求指令与终端建立连接，响应所述连接请求指令生成三维视频融合应用启动视频流，将所述三维视频融合应用启动视频流发送至终端；还用于根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成所述操作结果动作视频流，将所述操作结果动作视频流发送至终端。
第八方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如第一方面所述的方法步骤。
本发明的有益效果是：本发明的视频融合方法、装置和系统，终端上安装有三维视频融合应用，三维场景模型安装在视频融合服务器上；终端向信令服务器发送连接请求信息，信令服务器将连接请求信息解析成连接请求指令并发送至视频融合服务器，视频融合服务器与终端建立连接并生成三维视频融合应用启动视频流，并将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；终端响应于用户对三维视频融合应用的操作生成操作信息，并将操作信息发送至信令服务器；信令服务器获取终端发送的操作信息，并将操作信息解析成相对应的三维视频融合应用控制指令，并将三维视频融合应用控制指令发送至视频融合服务器；视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成所述操作结果动作视频流；终端对操作结果动作视频流进行展示；本发明通过服务器端视频融合技术减弱终端对GPU的需求，从而节省用户成本，扩大应用范围，提升用户体验。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一示例性实施例所示的视频融合方法的流程图；
图2为本发明一示例性实施例所示的视频融合方法的信令流程图；
图3为本发明一示例性实施例所示的视频融合方法的另一个流程图；
图4为本发明一示例性实施例所示的视频融合方法的又一个流程图；
图5为本发明一示例性实施例所示的视频融合装置的结构原理图；
图6为本发明一示例性实施例所示的视频融合装置的结构原理图；
图7为本发明一示例性实施例所示的视频融合装置的结构原理图；
图8为本发明一示例性实施例所示的视频融合系统的结构原理图；
图9位本发明一示例性实施例所示的电子设备的结构原理图。
在图中：10-视频融合服务器；11-视频融合服务器第一获取模块；12-视频融合服务器连接模块；13-视频融合服务器第一处理模块；14-视频融合服务器第一发送模块；15-视频融合服务器第二获取模块；16-视频融合服务器第二处理模块；17-视频融合服务器第二发送模块；20-信令服务器；21-信令服务器第一获取模块；22-信令服务器第一发送模块；23-信令服务器第二获取模块；24-信令服务器处理模块；25-信令服务器第二发送模块；30-终端；31-终端第一获取模块；32-终端连接模块；33-终端第一接收模块；34-终端第二获取模块；35-终端发送模块；36-终端第二接收模块；91-处理器；92-通信接口；93-存储器；94-通信总线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在CIM系统中，三维场景模型和多路视频融合存在如下缺点：
1、视频融合在终端展现需要GPU支持，限制视频融合展现的应用范围；
2、终端GPU处理能力不足经常出现卡顿，无法操作等现象，影响用户体验；
3、GPU成本高，费用高；
4、终端GPU以及网络处理能力有限，不能集群并行处理，不适应大规模超多路视频融合场景。
基于此，本发明提供了一种视频融合方法、装置和系统，为便于对本发明进行理解，下面通过示例性实施例对本发明进行详细介绍。
参照图1，本发明一示例性实施例提供的一种视频融合方法，应用于视频融合服务器，该方法包括如下步骤S110~S170：
S110，获取信令服务器发送的连接请求指令；其中，连接请求指令是信令服务器响应终端发送的连接请求信息得到的；终端上安装有三维视频融合应用。
具体地，终端可以是桌面终端，移动终端，Web终端。终端主要实现的功能包含连接的建立以及关闭；流媒体播放；鼠标，键盘，触屏等外部输入设备输入截获以及事件的业务封装，事件指令传送。
S110~S140为初始化的过程；终端通过socket tcp/udp协议发送连接请求信息至信令服务器，信令服务器响应连接请求信息生成连接请求指令，并按GB/28181规范以及socket tcp/udp协议将连接请求指令发送至视频融合服务器。
S120，与终端建立连接；
S130，生成三维视频融合应用启动视频流；
S140，将三维视频融合应用启动视频流发送至终端进行解码展示。
具体地，终端向信令服务器发送连接请求信息，信令服务器接收到连接请求信息向终端发送视频融合服务器的信息，并将终端的信息发送至视频融合服务器，这样终端与视频融合服务器建立了连接。
视频融合服务器接收到连接请求指令后对三维场景模型按照DirectX协议和OpenGL协议进行场景渲染，并将预先存储启动视频或拉取的实时启动视频与渲染后的三维场景模型进行视频融合，再按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到三维视频融合应用启动视频流，并将操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。
如图2所示，初始化操作的信令流程为：终端发送连接请求，信令服务器将连接请求发送至视频融合服务器，视频融合服务器与终端建立连接。视频融合服务器对三维场景模型进行场景渲染、视频融合、压缩编码和视频封装，得到三维视频融合应用启动视频流；然后，将三维视频融合应用启动视频流发送至终端进行展示。因此，终端还用于与信令服务器建立连接以及关闭，其中，信令服务器启动后进入监听状态。
S150，获取信令服务器发送的三维视频融合应用控制指令；其中，三维视频融合应用控制指令是信令服务器响应终端发送的操作信息生成的，终端响应于用户对三维视频融合应用的操作生成操作信息。
具体地，用户通过鼠标、键盘、触屏等外部输入设备对安装在终端上的三维视频融合应用进行操作。终端响应于这些操作生成响应的事件，并对这些事件安装系统统一约定的规则进行封装，得到操作信息。如，终端利用操作系统hook进行截获，获取外部输入的相关参数（例如，相对于屏幕的位置信息，键盘key code信息等），根据事件类型以及参数转换为内部预定义操作信息（即操作信息对象）。
终端还将操作信息通过Socket并遵循GB28181规范（指《安全防范视频监控联网系统信息传输、交换、控制技术要求》）发送至信令服务器。其中，Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口；网络中的进程是通过socket来通信的。
例如，用户通过鼠标点击三维场景中的摄像头或者电视，实现在三维场景中打开电视的过程为：终端捕获鼠标或者触屏事件，取得点击的具体位置参数；终端将相关按键参数按照系统统一约定的规则进行封装，封装后得到操作信息并将操作信息通过Socket以及遵循GB28181规范传送到信令服务器。
S160，根据三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将目标三维场景模型按预设参数生成操作结果动作视频流。
具体地，信令服务器信令服务器接收到封装后的参数信息，通过统一实现约定的事件Map（即key-value pairs，键值对）对操作信息进行解析，解析成事件对应的三维视频融合应用控制指令。
S170，将操作结果动作视频流发送至终端进行解码展示。
具体地，信令服务器按照GB28181规范将三维视频融合应用控制指令发送到视频融合服务器。视频融合服务器接收到三维视频融合应用控制指令解析该指令得到具体的渲染操作，在内存中按照操作进行拉取视频流、解码、以贴图的方式融合到三维场景模型的运算，同时在此过程中把内存中的三维场景模型按照指定的参数（帧率，分辨率等）编码成视频流，并按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流，并将操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端。终端对操作结果动作视频流进行视频解码、展示，反应用户操作的结果。在这里，操作结果动作视频流展示的是操作结果。
如图2所示，上述交互操作的信令流程为：终端捕获鼠标键盘事件，进行事件封装并将传送至信令服务器；信令服务器进行事件处理后得到相应的指令，然后进行指令发送；视频融合服务器接受指令，并进行场景渲染、视频融合、压缩编码和视频封装，得到了操作结果动作视频流，操作结果动作视频流被发送至终端进行场景展示。
本实施例通过在服务器端利用集群GPU的强大图形处理能力在中心服务器进行三维模型和视频融合，然后把视频融合结果经过视频压缩编码处理，通过视频流的方式传输到终端，终端只要具有视频解码算力就可以展示城市乃至国家级大规模三维模型以及超多路视频融合，终端的交互通过终端展示区域鼠标或者touch事件，键盘等的输入截获，通过信令通道传输到服务器端，服务器端接受到信令后和内存镜像区域进行Mapping计算，转换为针对模型的事件，出发模型的旋转，放大，缩小，以及照相机移动等交互操作，交互操作的结果实时按照上述流程压缩编码为视频流传输到终端进行展现，从而实现三维模型和多路视频的服务器端融合。中心服务器可以部署多台服务器进行并行计算，达到负载分散的效果，可以支持多用户并发处理。
本实施例利用服务器端GPU处理能力，支持大规模三维视频融合处理，支持多GPU并行处理增强视频融合能力，支持服务器集群负载均衡，支持多用户，多种设备（含移动端，WEB端）并发操作。支持GB/28181国标规范，节约终端成本，提升用户体验，扩大场景的应用范围。
可选地，三维视频融合应用控制指令通过socket tcp/udp协议从信令服务器获取，三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，操作信息包括流媒体控制信息和三维场景模型控制信息；其中，流媒体控制指令是信令服务器响应终端发送的流媒体控制信息并按GB/28181规范处理得到的，三维场景模型操作指令是信令服务器响应终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；终端通过socket tcp/udp协议将流媒体控制信息或者三维场景模型控制信息发送至信令服务器。
进一步地，步骤S160包括：根据流媒体控制指令或者三维场景模型操作指令对三维场景模型按照DirectX协议和OpenGL协议进行场景渲染，得到渲染后的三维场景模型；
获取目标视频流，并将目标视频流进行解码；
与解码后的目标视频流以贴图的方式融合到渲染后的三维场景模型中，得到目标三维场景模型；
将目标三维场景模型至少按帧率参数和分辨率参数编码成操作结果动作视频流；
步骤S170，包括：
对操作结果动作视频流按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；
将操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。
具体地，终端响应于用户对三维视频融合应用的操作事件，该操作事件包括针对流媒体的控制操作（例如，播放，暂停、快进以及流媒体码率，分辨率等参数的控制操作）和对三维场景模型的控制操作，对将操作事件进行处理后分别得到流媒体控制信息和三维场景模型控制信息。
信令服务器启动后进入监听状态，终端通过socket tcp/udp协议和信令服务器建立连接，视频融合服务器也采用相同的方式和信令服务器建立连接，信令服务器撮合终端和视频融合服务器建立P2P流媒体连接，信令（包括流媒体控制指令和三维场景模型操作指令）统一通过信令服务器转发至视频融合服务器。
信令服务器主要处理两类信令，第一类为流媒体控制指令，第二类为三维场景模型操作指令。两类指令采用不同的信令传输通道进行通讯，相互不影响。流媒体控制指令按照GB/28181规范进行处理，三维场景模型操作指令在遵循GB/28181规范的基础上，通过该规范的扩展信息部分进行信息存储传送。因此，尽管两类指令的处理方式稍有不同，但整体上遵守GB/28181规范规定。
视频融合服务器主要功能包含同信令服务器的连接建立与关闭，该部分渲染服务作为socket的终端进行接入，同终端实现方案一致。流媒体P2P传输协议建立，该部分遵守RTP协议，同时也符合GB/28181协议。视频融合服务器安装有三维模型渲染引擎和视频融合引起，还具有流媒体编码封装传输几项功能。
视频融合服务器底层支持DirectX，OpenGL协议，支持GPU图形加速处理，支持多GPU处理。视频融合服务器对流媒体编码以及封装采用H264/H265编码协议，按照GB/28181规范进行视频以及信令编码。
如图3所示，本发明的一示例性实施例提供了一种视频融合方法，该方法应用于信令服务器，该方法包括如下步骤S210~步骤S250：
S210，获取终端发送的连接请求信息；其中，终端上安装有三维视频融合应用；
S220，根据连接请求信息向安装有三维场景模型的视频融合服务器发送连接请求指令，以使视频融合服务器响应连接请求指令与终端建立连接并生成三维视频融合应用启动视频流，并将三维视频融合应用启动视频流发送至终端进行解码展示；
S230，获取终端发送的操作信息；其中，终端响应于用户对三维视频融合应用的操作生成操作信息；
S240，将操作信息解析成相对应的三维视频融合应用控制指令；
S250，将三维视频融合应用控制指令发送至视频融合服务器，以使视频融合服务器根据三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将目标三维场景模型按预设参数生成操作结果动作视频流；将操作结果动作视频流发送至终端进行解码展示。
本实施例中提供的视频融合方法是在前述第一个实施例中提供的视频融合方法中信令服务器所对应执行的方法步骤，因此针对本实施例中的视频融合方法的理解也可以参照前述第一个视频融合方法的实施例中的介绍。
如图4所示，本发明的一示例性实施例提供了一种视频融合方法，应用于终端，该终端上安装有三维视频融合应用，该方法包括步骤S310~S360：
S310，向信令服务器发送连接请求信息，以使信令服务器响应连接请求信息生成连接请求指令并将连接请求指令发送至视频融合服务器；
S320，与视频融合服务器建立连接；
S330，接收视频融合服务器发送的三维视频融合应用启动视频流并解码展示；其中，视频融合服务器安装有三维场景模型，三维视频融合应用启动视频流是视频融合服务器响应连接请求指令生成的；
S340，响应于用户对三维视频融合应用的操作并生成操作信息；
S350，将操作信息发送至信令服务器以使信令服务器将操作信息解析成相对应的三维视频融合应用控制指令并将三维视频融合应用控制指令发送至视频融合服务器；
S360，接收视频融合服务器发送的操作结果动作视频流并展示，其中，视频融合服务器根据三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将目标三维场景模型按预设参数生成操作结果动作视频流。
本实施例中提供的视频融合方法是在前述第一个实施例中提供的视频融合方法中信令服务器所对应执行的方法步骤，因此针对本实施例中的视频融合方法的理解也可以参照前述第一个视频融合方法的实施例中的介绍。
如图5所示，本发明的一示例性实施例提供了一种视频融合装置，该装置应用于视频融合服务器，该染服务器上安装有三维场景模型，该装置包括：
视频融合服务器第一获取模块11，用于获取信令服务器发送的连接请求指令；其中，信令服务器响应终端发送的连接请求信息得到的；终端上安装有三维视频融合应用；
视频融合服务器连接模块12，用于与终端建立连接；
视频融合服务器第一处理模块13，用于生成三维视频融合应用启动视频流；
视频融合服务器第一发送模块14，用于将三维视频融合应用启动视频流发送至终端进行解码展示；
视频融合服务器第二获取模块15，用于获取信令服务器发送的三维视频融合应用控制指令；其中，三维视频融合应用控制指令是信令服务器响应终端发送的操作信息生成的，终端响应于用户对三维视频融合应用的操作生成操作信息；
视频融合服务器第二处理模块16，用于生成操作结果动作视频流；
视频融合服务器第二发送模块17，用于根据三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将目标三维场景模型按预设参数生成操作结果动作视频流。
如图6所示，本发明的一示例性实施例提供了一种视频融合装置，该装置应用于信令服务器，该装置包括如下模块：
信令服务器第一获取模块21，用于获取终端发送的连接请求信息；其中，终端上安装有三维视频融合应用；
信令服务器第一发送模块22，用于根据连接请求信息向视频融合服务器发送连接请求指令，以使视频融合服务器响应连接请求指令与终端建立连接并生成三维视频融合应用启动视频流，并将三维视频融合应用启动视频流发送至终端进行解码展示；
信令服务器第二获取模块23，用于获取终端发送的操作信息；其中，终端响应于用户对三维视频融合应用的操作生成操作信息；
信令服务器处理模块24，用于将操作信息解析成相对应的三维视频融合应用控制指令；
信令服务器第二发送模块25，用于将三维视频融合应用控制指令发送至安装有三维场景模型的视频融合服务器，以使视频融合服务器根据三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将目标三维场景模型按预设参数生成操作结果动作视频流；将操作结果动作视频流发送至终端进行解码展示。
如图7所示，本发明的一示例性实施例提供了一种视频融合装置，该装置应用于终端，该终端上安装有三维视频融合应用，该装置包括：
终端第一获取模块31，用于向信令服务器发送连接请求信息，以使信令服务器响应连接请求信息生成连接请求指令并将连接请求指令发送至视频融合服务器；
终端连接模块32，用于与视频融合服务器建立连接；
终端第一接收模块33，用于接收视频融合服务器发送的三维视频融合应用启动视频流并解码展示；其中，视频融合服务器安装有三维场景模型，三维视频融合应用启动视频流是视频融合服务器响应连接请求指令生成的；
终端第二获取模块34，响应于用户对三维视频融合应用的操作并生成操作信息；
终端发送模块35，用于将操作信息发送至信令服务器以使信令服务器将操作信息解析成相对应的三维视频融合应用控制指令并将三维视频融合应用控制指令发送至视频融合服务器；
终端第二接收模块36，用于接收视频融合服务器发送的操作结果动作视频流并解码展示，其中，视频融合服务器根据三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将目标三维场景模型按预设参数生成操作结果动作视频流。
如图8所示，本发明的一示例性实施例提供了一种视频融合系统，该系统包括终端30、信令服务器20和视频融合服务器10；终端30上安装有三维视频融合应用，视频融合服务器10上安装有三维场景模型；
终端30，用于向信令服务器20发送连接请求信息，与视频融合服务器10建立连接；接收视频融合服务器10发送的三维视频融合应用启动视频流并解码展示；还用于响应于用户对三维视频融合应用的操作生成操作信息，将操作信息发送至信令服务器20；接收视频融合服务器10发送的操作结果动作视频流并解码展示；
信令服务器20，用于响应将连接请求信息生成连接请求指令，并将连接请求指令发送至视频融合服务器10；还用于将操作信息解析成相对应的三维视频融合应用控制指令，将三维视频融合应用控制指令发送至视频融合服务器10；
视频融合服务器10，用于响应连接请求指令与终端30建立连接，响应连接请求指令生成三维视频融合应用启动视频流，将三维视频融合应用启动视频流发送至终端30；还用于根据三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将目标三维场景模型按预设参数生成操作结果动作视频流，将操作结果动作视频流发送至终端30。
还需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述实施例描述的装置和系统的具体工作过程，可以参考前述第一个实施例中的视频融合方法所描述的对应过程，在此不再赘述。本发明实施例提供的视频融合装置，与前述第一个实施例提供的视频融合方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图9所示，本发明一示例性实施例提供了一种电子设备，包括处理器91、通信接口92、存储器93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信；
存储器93，用于存放计算机程序；
处理器91，用于执行存储器93上所存放的程序时，实现如上述任一实施例的视频融合方法的步骤。
综上，本实施例的终端上安装有三维视频融合应用，三维场景模型安装在视频融合服务器上；终端响应于用户对三维视频融合应用的操作生成操作信息，并将操作信息发送至信令服务器；信令服务器获取终端发送的操作信息，并将操作信息解析成相对应的三维视频融合应用控制指令，并将三维视频融合应用控制指令发送至视频融合服务器；视频融合服务器响应三维视频融合应用控制指令并生成操作结果动作视频流，并将操作结果动作视频流发送至终端；终端对操作结果动作视频流进行展示；本发明通过服务器端渲染技术减弱终端对GPU的需求，本从而节省用户成本，扩大应用范围，提升用户体验。
需要说明的是，上述实施例中的信令服务器和视频融合服务器可以是相同或者是部分相同的服务器，也可以是完全独立的服务器，并且信令服务器和视频融合服务器均可以是物理服务器或者是虚拟服务器，可以是单个服务器或者是服务器集群。优选地，为了满足终端多用户，多种设备（含移动端，WEB端）并发操作需求，本实施例采用服务器集群提供强大的GPU处理能力。
还需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法、装置和系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本发明实施例提供的视频融合装置，与前述实施例提供的视频融合方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种视频融合方法，其特征在于，所述方法应用于视频融合服务器，所述视频融合服务器上安装有三维场景模型，所述方法包括：
获取信令服务器发送的连接请求指令；其中，所述连接请求指令是所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有三维视频融合应用；
与终端建立连接；
生成三维视频融合应用启动视频流；
将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
获取信令服务器发送的三维视频融合应用控制指令；其中，所述三维视频融合应用控制指令是所述信令服务器响应所述终端发送的操作信息生成的，所述终端响应于用户对三维视频融合应用的操作生成所述操作信息；其中，所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器；
根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；
将所述操作结果动作视频流发送至所述终端进行解码展示。
2.根据权利要求1所述的视频融合方法，其特征在于，根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流，包括：
根据所述流媒体控制指令或者所述三维场景模型操作指令对三维场景模型按照DirectX协议和OpenGL协议进行场景渲染，得到渲染后的三维场景模型；
获取目标视频流，并将所述目标视频流进行解码；
与解码后的目标视频流以贴图的方式融合到渲染后的三维场景模型中，得到目标三维场景模型；
将所述目标三维场景模型至少按帧率参数和分辨率参数编码成操作结果动作视频流；
将所述操作结果动作视频流发送至所述终端进行解码展示，包括：
对所述操作结果动作视频流按照H264/H265编码协议和GB/28181规范进行压缩编码和视频封装，得到操作结果动作视频流；
将所述操作结果动作视频流遵循RTP协议和GB/28181规范发送至终端进行解码展示。
3.根据权利要求1所述的视频融合方法，其特征在于，所述终端响应于用户对所三维视频融合应用的操作事件，将所述操作事件进行封装后得到所述操作信息。
4.一种视频融合方法，其特征在于，所述方法应用于信令服务器，所述方法包括：
获取终端发送的连接请求信息；其中，所述终端上安装有三维视频融合应用；
根据所述连接请求信息向安装有三维场景模型的视频融合服务器发送连接请求指令，以使所述视频融合服务器响应所述连接请求指令与所述终端建立连接并生成三维视频融合应用启动视频流，并将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
获取终端发送的操作信息；其中，所述终端响应于用户对所述三维视频融合应用的操作生成所述操作信息；
将所述操作信息解析成相对应的三维视频融合应用控制指令；
将所述三维视频融合应用控制指令发送至所述视频融合服务器，以使所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示；
其中，所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器。
5.一种视频融合方法，其特征在于，所述方法应用于终端，所述终端上安装有三维视频融合应用，所述方法包括：
向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至视频融合服务器；
与所述视频融合服务器建立连接；
接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示；其中，所述视频融合服务器安装有三维场景模型，所述三维视频融合应用启动视频流是所述视频融合服务器响应所述连接请求指令生成的；
响应于用户对所述三维视频融合应用的操作并生成操作信息；
将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的三维视频融合应用控制指令并将所述三维视频融合应用控制指令发送至视频融合服务器；其中，所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器；
接收所述视频融合服务器发送的操作结果动作视频流并解码展示，其中，所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成所述操作结果动作视频流。
6.一种视频融合装置，其特征在于，所述装置应用于视频融合服务器，所述视频融合服务器上安装有三维场景模型，所述装置包括：
视频融合服务器第一获取模块，用于获取信令服务器发送的连接请求指令；其中，所述信令服务器响应终端发送的连接请求信息得到的；所述终端上安装有三维视频融合应用；
视频融合服务器连接模块，用于与终端建立连接；
视频融合服务器第一处理模块，用于生成三维视频融合应用启动视频流；
视频融合服务器第一发送模块，用于将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
视频融合服务器第二获取模块，用于获取信令服务器发送的三维视频融合应用控制指令；其中，所述三维视频融合应用控制指令是所述信令服务器响应终端发送的操作信息生成的，所述终端响应于用户对三维视频融合应用的操作生成所述操作信息；其中，所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器；
视频融合服务器第二处理模块，用于根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；
视频融合服务器第二发送模块，用于将所述操作结果动作视频流发送至所述终端进行解码展示。
7.一种视频融合装置，其特征在于，所述装置应用于信令服务器，所述装置包括：
信令服务器第一获取模块，用于获取终端发送的连接请求信息；其中，所述终端上安装有三维视频融合应用；
信令服务器第一发送模块，用于根据所述连接请求信息向安装有三维场景模型的视频融合服务器发送连接请求指令，以使所述视频融合服务器响应所述连接请求指令与所述终端建立连接并生成三维视频融合应用启动视频流，并将所述三维视频融合应用启动视频流发送至所述终端进行解码展示；
信令服务器第二获取模块，用于获取终端发送的操作信息；其中，所述终端响应于用户对所述三维视频融合应用的操作生成所述操作信息；
信令服务器处理模块，用于将所述操作信息解析成相对应的三维视频融合应用控制指令；其中，所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器；
信令服务器第二发送模块，用于将所述三维视频融合应用控制指令发送至安装有三维场景模型的视频融合服务器，以使所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成操作结果动作视频流；将所述操作结果动作视频流发送至所述终端进行解码展示。
8.一种视频融合装置，其特征在于，所述装置应用于终端，所述终端上安装有三维视频融合应用，所述装置包括：
终端第一获取模块，用于向信令服务器发送连接请求信息，以使所述信令服务器响应所述连接请求信息生成连接请求指令并将所述连接请求指令发送至视频融合服务器；
终端连接模块，用于与所述视频融合服务器建立连接；
终端第一接收模块，用于接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示；其中，所述视频融合服务器安装有三维场景模型，所述三维视频融合应用启动视频流是所述视频融合服务器响应所述连接请求指令生成的；
终端第二获取模块，响应于用户对所述三维视频融合应用的操作并生成操作信息；
终端发送模块，用于将所述操作信息发送至信令服务器以使所述信令服务器将所述操作信息解析成相对应的三维视频融合应用控制指令并将所述三维视频融合应用控制指令发送至视频融合服务器；其中，所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器；
终端第二接收模块，用于接收所述视频融合服务器发送的操作结果动作视频流并解码展示，其中，所述视频融合服务器根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成所述操作结果动作视频流。
9.一种视频融合系统，其特征在于，所述系统包括终端、信令服务器和视频融合服务器；所述终端上安装有三维视频融合应用，所述视频融合服务器上安装有三维场景模型；
所述终端，用于向信令服务器发送连接请求信息，与所述视频融合服务器建立连接；接收所述视频融合服务器发送的三维视频融合应用启动视频流并解码展示；还用于响应于用户对所述三维视频融合应用的操作生成操作信息，将所述操作信息发送至信令服务器；接收所述视频融合服务器发送的操作结果动作视频流并解码展示；
所述信令服务器，用于响应所述连接请求信息生成连接请求指令，并将连接请求指令发送至视频融合服务器；还用于将所述操作信息解析成相对应的三维视频融合应用控制指令，将所述三维视频融合应用控制指令发送至视频融合服务器；其中，所述三维视频融合应用控制指令是视频融合服务器通过socket tcp/udp协议从所述信令服务器获取，所述三维视频融合应用控制指令包括流媒体控制指令和三维场景模型操作指令，所述操作信息包括流媒体控制信息和三维场景模型控制信息；其中，所述流媒体控制指令是所述信令服务器响应所述终端发送的流媒体控制信息并按GB/28181规范处理得到的，所述三维场景模型操作指令是所述信令服务器响应所述终端发送的三维场景模型控制信息并按GB/28181规范的扩展信息部分处理得到的；所述终端通过socket tcp/udp协议将所述流媒体控制信息或者所述三维场景模型控制信息发送至所述信令服务器；
所述视频融合服务器，用于响应所述连接请求指令与终端建立连接，响应所述连接请求指令生成三维视频融合应用启动视频流，将所述三维视频融合应用启动视频流发送至终端；还用于根据所述三维视频融合应用控制指令拉取目标视频流，并将目标视频流与三维场景模型进行融合得到目标三维场景模型，将所述目标三维场景模型按预设参数生成所述操作结果动作视频流，将所述操作结果动作视频流发送至终端。
CN202210571642.1A 2022-05-25 2022-05-25 视频融合方法、装置和系统 Active CN114666561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210571642.1A CN114666561B (zh) 2022-05-25 2022-05-25 视频融合方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210571642.1A CN114666561B (zh) 2022-05-25 2022-05-25 视频融合方法、装置和系统

Publications (2)

Publication Number Publication Date
CN114666561A CN114666561A (zh) 2022-06-24
CN114666561B true CN114666561B (zh) 2022-09-06

Family

ID=82038403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210571642.1A Active CN114666561B (zh) 2022-05-25 2022-05-25 视频融合方法、装置和系统

Country Status (1)

Country Link
CN (1) CN114666561B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111494936A (zh) * 2020-02-12 2020-08-07 阿里巴巴集团控股有限公司 画面渲染方法、设备、系统及存储介质
CN112206513A (zh) * 2020-09-17 2021-01-12 江苏视博云信息技术有限公司 一种云游戏的控制方法、信息交互方法、装置及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网（深圳）信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
GB2558879A (en) * 2017-01-04 2018-07-25 Cisco Tech Inc Method and apparatus for container-based virtualisation
CN112866627B (zh) * 2019-11-28 2024-03-05 上海华为技术有限公司 一种三维视频监控方法及相关设备
CN112135104A (zh) * 2020-09-24 2020-12-25 智洋创新科技股份有限公司 基于多场景融合的视频综合监控系统及方法
CN112954256A (zh) * 2021-01-29 2021-06-11 深圳壹秘科技有限公司 会议控制方法、装置、系统及计算机可读存储介质
CN114301880B (zh) * 2021-12-23 2023-05-12 聚好看科技股份有限公司 三维数据传输方法及电子设备、信令服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111494936A (zh) * 2020-02-12 2020-08-07 阿里巴巴集团控股有限公司 画面渲染方法、设备、系统及存储介质
CN112206513A (zh) * 2020-09-17 2021-01-12 江苏视博云信息技术有限公司 一种云游戏的控制方法、信息交互方法、装置及系统

Also Published As

Publication number Publication date
CN114666561A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN102883135B (zh) 屏幕共享及控制方法
CN111399964A (zh) 一种基于视频串流技术的云桌面平台
CN112799891B (zh) iOS设备测试方法、装置、系统、存储介质及计算机设备
CN108848082B (zh) 数据处理方法、装置、存储介质及计算机设备
CN109302637B (zh) 图像处理方法、图像处理装置和电子设备
CN112905289A (zh) 应用画面的显示方法、装置、终端、投屏系统及介质
CN103533034A (zh) Vdi虚拟桌面中无缝使用云终端本地摄像头的方法
JP6453345B2 (ja) テレビ装置上でウェブ・コンテンツをリモート・レンダリングするための方法、システムおよび媒体
WO2012151957A1 (zh) 服务器、客户端及利用其远程播放视频文件的方法和系统
CN113489805B (zh) 一种云桌面系统的对接方法、装置、设备及存储介质
WO2015176648A1 (zh) 将智能终端上的数据传输至电视终端的方法、装置
CN102664939A (zh) 一种屏幕镜像移动终端的方法及设备
CN113926185A (zh) 一种数据处理方法、装置、设备及存储介质
CN115170711A (zh) 一种基于云渲染的高仿真数字工厂展示方法
CN106412617B (zh) 远程调试控制方法及装置
CN115445194A (zh) 游戏的渲染方法、装置、设备及存储介质
CN104639501B (zh) 一种数据流传输的方法、设备及系统
CN111083450A (zh) 车机端图像远程输出方法、装置及系统
CN114666562A (zh) 3d场景交互方法、装置和系统
CN114666561B (zh) 视频融合方法、装置和系统
CN103581695A (zh) 一种实现移动终端接入全球眼的系统和方法
CN106658070B (zh) 视频重定向的方法和装置
CN115695383A (zh) 屏幕共享方法、系统、电子设备及安卓设备
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN115052043A (zh) 一种云桌面的视频传输方法、电子设备、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Shan

Inventor after: Sun Shebin

Inventor after: Gao Xulin

Inventor before: Sun Shebin

Inventor before: Gao Xulin

Inventor before: Liu Shan

GR01 Patent grant
GR01 Patent grant