CN111107394A - 一种跨平台集成视频流的系统及方法 - Google Patents

一种跨平台集成视频流的系统及方法 Download PDF

Info

Publication number
CN111107394A
CN111107394A CN201911354993.1A CN201911354993A CN111107394A CN 111107394 A CN111107394 A CN 111107394A CN 201911354993 A CN201911354993 A CN 201911354993A CN 111107394 A CN111107394 A CN 111107394A
Authority
CN
China
Prior art keywords
video
code stream
transcoding server
workstation
terminal equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911354993.1A
Other languages
English (en)
Inventor
钱苏晋
门涛
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing E Techstar Co ltd
Original Assignee
Beijing E Techstar Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing E Techstar Co ltd filed Critical Beijing E Techstar Co ltd
Priority to CN201911354993.1A priority Critical patent/CN111107394A/zh
Publication of CN111107394A publication Critical patent/CN111107394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums

Abstract

本发明提供一种跨平台集成视频流的系统及方法,跨平台集成视频流的系统包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;码流终端设备包括室内摄像机、室外摄像机、视频接入网关、硬盘录像机、流媒体视频服务器和x86平台工作站;所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。通过本发明,将各类视频流进行接入、管理,并与数据可视化系统对接,可将各类视频码流接入并实时展示,实现数据可视化和实时化两者的有效结合。

Description

一种跨平台集成视频流的系统及方法
技术领域
本发明属于画面展示与视频采集技术领域,具体涉及一种跨平台集成视频流的系统及方法。
背景技术
在越来越多的企事业单位对于指挥中心的重视不断增强的趋势下,对指挥中心大屏幕展示系统所具备的数据可视化的要求日益提高。数据可视化是指将企事业单位的各类诸如生产数据、营销数据、组合后的数据等进行可视化,以便于日常、参观等场景下更易于读取数据。
现有技术中,数据可视化系统通常只能接入一种类型的视频流,因此,限制了数据可视化系统充分发挥作用,已无法满足人们的使用需求。
发明内容
针对现有技术存在的缺陷,本发明提供一种跨平台集成视频流的系统及方法,可有效解决上述问题。
本发明采用的技术方案如下:
本发明提供一种跨平台集成视频流的系统,包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;
所述码流终端设备包括六种码流终端设备中的至少一种,分别为第一码流终端设备、第二码流终端设备、第三码流终端设备、第四码流终端设备、第五码流终端设备和第六码流终端设备;
所述第一码流终端设备包括室内摄像机和室外摄像机;所述第一码流终端设备通过内网与所述视频转码服务器通信连接;
所述第二码流终端设备为视频接入网关,不同网段摄像机通过外网与所述视频接入网关通信连接;所述视频接入网关通过内网与所述视频转码服务器通信连接;
所述第三码流终端设备为硬盘录像机,不同网段摄像机通过外网与所述硬盘录像机通信连接;所述硬盘录像机通过内网与所述视频转码服务器通信连接;
所述第四码流终端设备为流媒体视频服务器,所述流媒体视频服务器通过外网分别与所述视频接入网关和所述硬盘录像机通信连接;
所述第五码流终端设备为第一x86平台工作站,第一x86平台工作站通过内网与所述视频转码服务器通信连接;
所述第六码流终端设备为第二x86平台工作站,第二x86平台工作站通过内网与所述视频转码服务器通信连接;
所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。
本发明还提供一种跨平台集成视频流的系统的方法,包括以下步骤:
步骤1,码流终端设备通过以下方法接入视频转码服务器:
步骤1.1,第一码流终端设备包括室内摄像机和室外摄像机;室内摄像机和室外摄像机通过摄像机SDK包与视频转码服务器进行协议对接,室内摄像机和室外摄像机采集的视频码流传输到视频转码服务器;
步骤1.2,第二码流终端设备为视频接入网关,来自不同网段的摄像机接入视频接入网关,然后,视频接入网关通过视频接入网关提供的视频接入网关SDK包与视频转码服务器进行协议对接,视频接入网关将来自不同网段的摄像机采集的视频码流传输到视频转码服务器;
步骤1.3,第三码流终端设备为硬盘录像机,硬盘录像机集中管理一个网段内的摄像机,并进行集中画面存储与管理,具体的,硬盘录像机通过硬盘录像机厂家提供的硬盘录像机SDK包与视频转码服务器进行协议对接,硬盘录像机将管理范围内的所有摄像机采集到的视频码流采集到视频转码服务器;
步骤1.4,第四码流终端设备为流媒体视频服务器,流媒体视频服务器获取视频图像,然后对视频图像进行编码,将视频图像转换为网络流信号形式的视频码流;再将视频码流依次通过外网和内网,传输给视频转码服务器;
步骤1.5,第五码流终端设备为第一x86平台工作站,第一x86平台工作站的操作系统安装图像采集软件,图像采集软件将第一x86平台工作站的实时图像画面进行抓取并进行编码、封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤1.6,第六码流终端设备为第二x86平台工作站,第二x86平台工作站配置第三方硬件编码设备;第三方硬件编码设备对第二x86平台工作站的实时视频信号进行编码和封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤2,根据码流终端设备的数量确定在同一网络中需架设的视频转码服务器的数量;架设的各个视频转码服务器组成视频转码服务器集群;
每台所述视频转码服务器安装服务端程序模块;所述服务端程序模块包括标准协议组件包、私有协议组件包、配置管理模块、插件管理模块、格式转换模块和控制管理模块;
所述标准协议组件包提供对标准流协议支持;所述私有协议组件包为厂商私有SDK包;
所述配置管理模块,用于对视频码流进行管理、对视频码流进行渲染和初始化;
所述插件管理模块,用于对插件进行加载和卸载;
所述格式转换模块,用于对接收到的视频码流进行格式转换,转换为适合对接平台的像素格式;
所述控制管理模块,用于对接收到的视频码流进行通道切换;
所述视频转码服务器,用于对接入的视频码流进行转码操作,再通过内网发送给数据可视化图形工作站;所述视频转码服务器具体用于:
步骤2.1,当视频转码服务器接收来自于某个码流终端设备的视频码流对接请求时,视频转码服务器通过标准协议组件包或私有协议组件包,选择与被接入的视频码流一致的协议,从而完成视频转码服务器与码流终端设备的码流接入过程;
然后,视频转码服务器通过格式转换模块,对接入成功的视频码流进行转码,将其转码为标准格式视频码流;具体转码操作包括:解封装、解码、编码和重新封装过程;
最后,视频转码服务器将标准格式视频码流发送给数据可视化图形工作站;
步骤2.2,数据可视化图形工作站安装有播放器解码插件;所述播放器解码插件为根据应用端需求开发的网络流解析程序,包括应用视频解码控件、应用进程解码控件、Unity3D脚本和ActiveX控件;通过所述播放器解码插件,实现与所述视频转码服务器的对接,并将所述视频转码服务器推送的标准格式视频码流进行解码渲染,最终在大屏幕展示系统展现。
优选的,步骤2.2中,所述应用视频解码控件为基于C#开发的WPF应用程序;
所述应用进程解码控件,提供独立EXE应用程序的播放器,用于在数据可视化图形工作站中指定窗口位置运行并播放视频码流;
所述Unity3D脚本,用于以Unity3D脚本方式嵌入视频码流中进行播放;
所述ActiveX控件,用于嵌入到浏览器中,从而播放视频码流。
优选的,步骤2.2中,视频码流在大屏幕展示系统展现,具体为:
数据可视化图形工作站具有硬件视频输出接口,数据可视化图形工作站通过硬件视频输出接口向拼接处理器输送图像画面;拼接处理器经过画面拼接在拼接处理器投放。
本发明提供的一种跨平台集成视频流的系统及方法具有以下优点:
通过本方法,将各类视频流进行接入、管理,并与数据可视化系统对接,可将各类视频码流接入并实时展示,实现数据可视化和实时化两者的有效结合。
附图说明
图1为本发明提供的跨平台集成视频流的系统的架构图;
图2为本发明提供的跨平台集成视频流的原理图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
数据可视化可以在多个维度展现业绩,而同时加入实时画面可提升数据可视化的展现丰富性和真实性。因此,为实现数据可视化和实时化两者的结合,需要将各类视频码流进行接入、管理,并与数据可视化系统对接。
基于此,本发明提供一种跨平台集成视频流的系统,可以应用于多种行业的指挥中心中,作用于画面展示系统与视频采集系统之间,起到打通数据流的桥梁作用。
参考图1,跨平台集成视频流的系统包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;
所述码流终端设备包括六种码流终端设备中的至少一种,分别为第一码流终端设备、第二码流终端设备、第三码流终端设备、第四码流终端设备、第五码流终端设备和第六码流终端设备;
所述第一码流终端设备包括室内摄像机和室外摄像机;所述第一码流终端设备通过内网与所述视频转码服务器通信连接;
所述第二码流终端设备为视频接入网关,不同网段摄像机通过外网与所述视频接入网关通信连接;所述视频接入网关通过内网与所述视频转码服务器通信连接;
所述第三码流终端设备为硬盘录像机,不同网段摄像机通过外网与所述硬盘录像机通信连接;所述硬盘录像机通过内网与所述视频转码服务器通信连接;
所述第四码流终端设备为流媒体视频服务器,所述流媒体视频服务器通过外网分别与所述视频接入网关和所述硬盘录像机通信连接;
所述第五码流终端设备为第一x86平台工作站,第一x86平台工作站通过内网与所述视频转码服务器通信连接;
所述第六码流终端设备为第二x86平台工作站,第二x86平台工作站通过内网与所述视频转码服务器通信连接;
所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。
本发明还提供一种跨平台集成视频流的系统的方法,本方法可解决多种流媒体来源与上屏的应用软件进行对接的问题,形成具备业务含义的整幅画面,参考图1-2,包括以下步骤:
图1根据业务功能可分为以下部分:大屏幕展示系统(图中的拼接处理器和拼接屏图例,最终的成果输出载体)、数据可视化图像工作站(大屏幕展示系统画面的信号来源,也是本方法的最终成果输出对象)、视频转码服务器(本方法集成视频流的主要硬件设备)和码流终端设备,码流终端设备即码流来源(码流1、码流2、码流3、码流4、码流5、码流6代表了本方法可集成最常见的六种码流来源,在本方法具体应用场景中六种码流任意组合)。
整个应用案例的原理实现,按从码流接入至上屏展现的流程分为四个步骤:步骤一码流接入、步骤二视频转码、步骤三应用对接与解码、步骤四屏幕展现。
步骤1,码流接入:从图1拓扑图可以看出,各类码流(码流1、码流2、码流3、码流4、码流5、码流6)在面对不同的项目需求时,会遇到各类的码流来源情况,本方法根据不同码流来源累计、集成了各类码流对接功能接口。
码流终端设备通过以下方法接入视频转码服务器:
步骤1.1,第一码流终端设备包括室内摄像机和室外摄像机;室内摄像机和室外摄像机通过摄像机SDK包与视频转码服务器进行协议对接,室内摄像机和室外摄像机采集的视频码流传输到视频转码服务器;
因此,码流1为摄像机(包括室内、外各类图像采集编码设备),接入方法为通过摄像机厂家提供的SDK进行协议对接,通过与摄像机的网络通信将视频码流采集至本方法视频转码服务器;
步骤1.2,第二码流终端设备为视频接入网关,来自不同网段的摄像机接入视频接入网关,然后,视频接入网关通过视频接入网关提供的视频接入网关SDK包与视频转码服务器进行协议对接,视频接入网关将来自不同网段的摄像机采集的视频码流传输到视频转码服务器;
因此,码流2为视频接入网关,功能是解决接入来自不同网段摄像机的问题,本方法间接通过视频接入网关即可与之管理范围内的所有摄像机进行对接,也节省了逐个接入摄像机的工作量。其与之对接的原理为:通过视频接入网关厂家提供的SDK进行协议对接,通过与硬盘录像机进行网络通信间接将管理范围内的所有摄像机码流采集至本方法的转码服务器;
步骤1.3,第三码流终端设备为硬盘录像机,硬盘录像机集中管理一个网段内的摄像机,并进行集中画面存储与管理,具体的,硬盘录像机通过硬盘录像机厂家提供的硬盘录像机SDK包与视频转码服务器进行协议对接,硬盘录像机将管理范围内的所有摄像机采集到的视频码流采集到视频转码服务器;
因此,码流3为硬盘录像机,可集中管理一个网段内的摄像机,并进行集中画面存储与管理,本方法通过间接接入硬盘录像机可节省与每台摄像机进行接入的工作量,接入原理为通过硬盘录像机厂家提供的SDK进行协议对接,通过与硬盘录像机进行网络通信间接将管理范围内的所有摄像机码流采集至本方法的转码服务器;
步骤1.4,第四码流终端设备为流媒体视频服务器,流媒体视频服务器获取视频图像,然后对视频图像进行编码,将视频图像转换为网络流信号形式的视频码流;再将视频码流依次通过外网和内网,传输给视频转码服务器;
因此,码流4为各类流媒体服务器,与摄像机的工作原理一样,均是通过不同方式的编码方式将视频图像转换为网络流信号在局域网或广域网中传输。本方法与之接入的方式同样是解析封装协议。
步骤1.5,第五码流终端设备为第一x86平台工作站,第一x86平台工作站的操作系统安装图像采集软件,图像采集软件将第一x86平台工作站的实时图像画面进行抓取并进行编码、封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
因此,码流5为各类x86平台的工作站,为将该工作站上的视频信号可以在网络中传输,本方法在其操作系统上安装图像采集软件,将该工作站上的实时图像画面进行抓取并进行编码、封装。
步骤1.6,第六码流终端设备为第二x86平台工作站,第二x86平台工作站配置第三方硬件编码设备;第三方硬件编码设备对第二x86平台工作站的实时视频信号进行编码和封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
因此,码流6与码流5同样是接入x86平台工作站,不同的是码流6是通过第三方硬件编码设备进行工作站视频信号编码、封装的,本方法通过第三方硬件编码设备对接来获取工作站的图像网络流,对接方式同样是SDK协议对接。
步骤2,根据码流终端设备的数量确定在同一网络中需架设的视频转码服务器的数量;架设的各个视频转码服务器组成视频转码服务器集群;
每台所述视频转码服务器安装服务端程序模块;
服务端程序模块是本系统的核心,为系统的管理与应用提供数据处理、数据存储和网络资源调用。其主要分为两部分组成:SDK插件库和各功能模块。
SDK插件库:
SDK插件库最底层为插件组件包,一种是标准协议组件包,一种是私有协议组件包。标准协议组件包基于开源库ffmpeg实现,主要提供对标准流协议支持,rtsp,rtmp等;私有协议组件包是基于厂商的私有SDK。插件之间相互屏蔽,避免各种依赖库的冲突。
各功能模块:
所述配置管理模块,用于对视频码流进行管理、对视频码流进行渲染和初始化;
所述插件管理模块,用于对插件进行加载和卸载;
所述格式转换模块,用于对接收到的视频码流进行格式转换,转换为适合对接平台的像素格式;
所述控制管理模块,用于对接收到的视频码流进行通道切换;
管理端:
管理端是本系统应用与管理的主要部分,一方面为项目的部署提供配置功能,另一方面为日常管理提供功能设定和运维监视功能。主要功能包括:
①设备管理:添加视频码流来源的设备,及删除和配置信息修改;
②信号预监:进行视频码流设备的视频信号预览与状态标记;
③图像分析:通过图像识别技术,将视频码流的视频图像进行业务分析,如自动分析出哪些设备图像是异常的、哪些是具备业务含义的;
④日志管理:技术图像分析的自动化计划进行周期性分析结果记录,并形成大数据源,为可视化分析提供条件。
应用端是本系统与用户直接交互的部分,分为播放器和控制器两个终端。播放器是将视频码流最终渲染成画面的容器,其具备不同解码插件适应各类项目的应用;控制器是用户切换播放器其上具体来源的工具。
所述服务端程序模块包括标准协议组件包、私有协议组件包、配置管理模块、插件管理模块、格式转换模块和控制管理模块;
所述标准协议组件包提供对标准流协议支持;所述私有协议组件包为厂商私有SDK包;
所述视频转码服务器,用于对接入的视频码流进行转码操作,再通过内网发送给数据可视化图形工作站;所述视频转码服务器具体用于:
步骤2.1,当视频转码服务器接收来自于某个码流终端设备的视频码流对接请求时,视频转码服务器通过标准协议组件包或私有协议组件包,选择与被接入的视频码流一致的协议,从而完成视频转码服务器与码流终端设备的码流接入过程;
然后,视频转码服务器通过格式转换模块,对接入成功的视频码流进行转码,将其转码为标准格式视频码流;具体转码操作包括:解封装、解码、编码和重新封装过程;
最后,视频转码服务器将标准格式视频码流发送给数据可视化图形工作站;
步骤2.2,数据可视化图形工作站安装有播放器解码插件;所述播放器解码插件为根据应用端需求开发的网络流解析程序,包括应用视频解码控件、应用进程解码控件、Unity3D脚本和ActiveX控件;通过所述播放器解码插件,实现与所述视频转码服务器的对接,并将所述视频转码服务器推送的标准格式视频码流进行解码渲染,最终在大屏幕展示系统展现。
步骤2.2中,所述应用视频解码控件为基于C#开发的WPF应用程序;
所述应用进程解码控件,提供独立EXE应用程序的播放器,用于在数据可视化图形工作站中指定窗口位置运行并播放视频码流;
所述Unity3D脚本,用于以Unity3D脚本方式嵌入视频码流中进行播放;
所述ActiveX控件,用于嵌入到浏览器中,从而播放视频码流。
步骤2.2中,视频码流在大屏幕展示系统展现,具体为:
数据可视化图形工作站具有硬件视频输出接口,数据可视化图形工作站通过硬件视频输出接口向拼接处理器输送图像画面;拼接处理器经过画面拼接在拼接处理器投放。
具体实施例:
整个应用案例的原理实现按从码流接入至上屏展现的流程分为四个步骤:(步骤一)码流接入、(步骤二)视频转码、(步骤三)应用对接与解码、(步骤四)屏幕展现。
步骤一 码流接入:
从图1拓扑图中各类码流(码流1、码流2、码流3、码流4、码流5、码流6)可以看出,在面对不同的项目需求时会遇到各类的码流来源情况,本方法根据不同的码流来源累计、集成了各类码流对接功能接口。
步骤二 视频转码:
本方法完成步骤一后,在同一网络中架设视频转码服务器,本系统可支持根据码流接入设备量来决定架设视频转码服务器集群(集群可以有效的提高视频转码能力)。本方法在视频转码服务器安装有上述服务端程序,是各类码流接入的核心程序,并将各类码流统一转码为一种格式流(如RTMP流),转码技术采用开源库ffmpeg转换,转码过程由date(码流接入)、demux(解封装)、decode(解码)、encode(编码)、muxer(重新封装)、net(网络发送)组成,如图2所示。根据应用需要且可提供32bit和64bit两种SDK。
步骤三 应用对接与解码:
继步骤二转码完成后,在工作网内的图1数据可视化图像工作站上安装解码插件(上文所述应用端的播放器),播放器插件是指本方法根据应用端的需求开发的各类网络流解析程序,目前已开发完成可提供的有应用视频控件、应用进程控件、Unity3D脚本、ActiveX控件、JS Browser接入等方式,这些控件是本方法针对不同项目中应用程序而提供的不同解码插件,如下说明:
1)应用视频控件:如图1数据可视化图像工作站运行的是基于C#开发的WPF应用程序,本方法提供控件嵌入WPF程序运行。
2)应用进程控件:本方法可提供独立EXE应用程序播放器,在图1数据可视化图像工作站中指定窗口位置运行并播放视频图像。
3)Unity3D脚本:如图1数据可视化图像工作站运行的是Unity3D应用程序,本方法可提供Unity3D脚本方式嵌入视频图像的播放。
4)ActiveX控件:如图1数据可视化图像工作站运行的是基于浏览器的展示系统,本方法可提供该ActiveX控件技术(x64/x86)嵌入到浏览器中的一部分来播放视频图像。
5)JS&Browser:与ActiveX控件支持方法类似,本方法可通过JS配合Browser运行。
完成上述不同项目场景的插件控件部署后,该插件与图1所示视频转码服务器对接,将视频转码服务器推送的视频网络流进行解码渲染,最终在屏幕展现。
步骤四 系统配置:
完成上述步骤即完成本系统的部署过程,本步骤在上述局域网内任意PC运行上述管理端程序。通过管理端程序进行码流接入资源管理、图像分析配置和日志管理操作。
步骤五 控制播放:
在上述局域网任意PC运行上述应用端的控制器程序,进行播放器的播放源(即指上述码流资源)切换。
步骤六屏幕展现:
完成步骤三的解码后,图1数据可视化图像工作站的硬件视频输出接口即可输出图像画面给图1的拼接处理器,拼接处理器经过画面拼接在拼接屏上投放,即完成本方法的所有步骤。
本发明设计要点为:
1)应用对接与解码:本方法提供多种网络流解析能力(包括应用视频控件、应用进程控件、应用视频显示框架、U3D脚本、ActiveX、JS Browser接入等方式)是应用用户使用本方法的最终意义,通过该功能可有效的解决上述背景技术中所提及的数据可视化、实时化要求及两者结合性要求日益提高的问题。
2)图像分析应用:引进图像分析技术在本系统的应用可大大提升计算机自动化工作水平,节省人力成本,为业务分析挖掘数据。
3)视频转码:视频转码能力是本方法的核心技术和卖点之一,提供给应用用户可用的统一码流是本方法解决的重要前提条件,具备提供定制的流格式、指定的32或64位操作系统的特点。
4)可积累的码流接入能力:本方法在项目中可逐步积累各类码流种类的对接方式、协议,在后期项目中可复用。
本发明提供的一种跨平台集成视频流的系统及方法具有以下优点:
1)通过本方法,将各类视频流进行接入、管理,并与数据可视化系统对接,可将各类视频码流接入并实时展示,实现数据可视化和实时化两者的有效结合;
2)通过本方法,可有效的提升指挥中心大屏幕展示系统的数据可视化与视频实时化结合的用户观看感受直观程度,提高系统自动化程度;
3)通过集成第三方SDK、以及GB28181、Onvif等标准协议,实现与第三方流媒体源的通信,并最终转换为可用协议,实现高效、稳定地将第三方设备接入应用系统,解决了应用系统和第三方设备间互联互通的问题,
4)本发明产品基于x86/64的Windows平台架构,硬件配置可行性高、搭配灵活。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种跨平台集成视频流的系统,其特征在于,包括大屏幕展示系统、数据可视化图形工作站、视频转码服务器和码流终端设备;
所述码流终端设备包括六种码流终端设备中的至少一种,分别为第一码流终端设备、第二码流终端设备、第三码流终端设备、第四码流终端设备、第五码流终端设备和第六码流终端设备;
所述第一码流终端设备包括室内摄像机和室外摄像机;所述第一码流终端设备通过内网与所述视频转码服务器通信连接;
所述第二码流终端设备为视频接入网关,不同网段摄像机通过外网与所述视频接入网关通信连接;所述视频接入网关通过内网与所述视频转码服务器通信连接;
所述第三码流终端设备为硬盘录像机,不同网段摄像机通过外网与所述硬盘录像机通信连接;所述硬盘录像机通过内网与所述视频转码服务器通信连接;
所述第四码流终端设备为流媒体视频服务器,所述流媒体视频服务器通过外网分别与所述视频接入网关和所述硬盘录像机通信连接;
所述第五码流终端设备为第一x86平台工作站,第一x86平台工作站通过内网与所述视频转码服务器通信连接;
所述第六码流终端设备为第二x86平台工作站,第二x86平台工作站通过内网与所述视频转码服务器通信连接;
所述视频转码服务器通过内网与所述数据可视化图形工作站通信连接;所述数据可视化图形工作站与所述大屏幕展示系统连接。
2.一种权利要求1所述的跨平台集成视频流的系统的方法,其特征在于,包括以下步骤:
步骤1,码流终端设备通过以下方法接入视频转码服务器:
步骤1.1,第一码流终端设备包括室内摄像机和室外摄像机;室内摄像机和室外摄像机通过摄像机SDK包与视频转码服务器进行协议对接,室内摄像机和室外摄像机采集的视频码流传输到视频转码服务器;
步骤1.2,第二码流终端设备为视频接入网关,来自不同网段的摄像机接入视频接入网关,然后,视频接入网关通过视频接入网关提供的视频接入网关SDK包与视频转码服务器进行协议对接,视频接入网关将来自不同网段的摄像机采集的视频码流传输到视频转码服务器;
步骤1.3,第三码流终端设备为硬盘录像机,硬盘录像机集中管理一个网段内的摄像机,并进行集中画面存储与管理,具体的,硬盘录像机通过硬盘录像机厂家提供的硬盘录像机SDK包与视频转码服务器进行协议对接,硬盘录像机将管理范围内的所有摄像机采集到的视频码流采集到视频转码服务器;
步骤1.4,第四码流终端设备为流媒体视频服务器,流媒体视频服务器获取视频图像,然后对视频图像进行编码,将视频图像转换为网络流信号形式的视频码流;再将视频码流依次通过外网和内网,传输给视频转码服务器;
步骤1.5,第五码流终端设备为第一x86平台工作站,第一x86平台工作站的操作系统安装图像采集软件,图像采集软件将第一x86平台工作站的实时图像画面进行抓取并进行编码、封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤1.6,第六码流终端设备为第二x86平台工作站,第二x86平台工作站配置第三方硬件编码设备;第三方硬件编码设备对第二x86平台工作站的实时视频信号进行编码和封装,得到编码封装后的视频码流;然后将编码封装后的视频码流通过内网传输给视频转码服务器;
步骤2,根据码流终端设备的数量确定在同一网络中需架设的视频转码服务器的数量;架设的各个视频转码服务器组成视频转码服务器集群;
每台所述视频转码服务器安装服务端程序模块;所述服务端程序模块包括标准协议组件包、私有协议组件包、配置管理模块、插件管理模块、格式转换模块和控制管理模块;
所述标准协议组件包提供对标准流协议支持;所述私有协议组件包为厂商私有SDK包;
所述配置管理模块,用于对视频码流进行管理、对视频码流进行渲染和初始化;
所述插件管理模块,用于对插件进行加载和卸载;
所述格式转换模块,用于对接收到的视频码流进行格式转换,转换为适合对接平台的像素格式;
所述控制管理模块,用于对接收到的视频码流进行通道切换;
所述视频转码服务器,用于对接入的视频码流进行转码操作,再通过内网发送给数据可视化图形工作站;所述视频转码服务器具体用于:
步骤2.1,当视频转码服务器接收来自于某个码流终端设备的视频码流对接请求时,视频转码服务器通过标准协议组件包或私有协议组件包,选择与被接入的视频码流一致的协议,从而完成视频转码服务器与码流终端设备的码流接入过程;
然后,视频转码服务器通过格式转换模块,对接入成功的视频码流进行转码,将其转码为标准格式视频码流;具体转码操作包括:解封装、解码、编码和重新封装过程;
最后,视频转码服务器将标准格式视频码流发送给数据可视化图形工作站;
步骤2.2,数据可视化图形工作站安装有播放器解码插件;所述播放器解码插件为根据应用端需求开发的网络流解析程序,包括应用视频解码控件、应用进程解码控件、Unity3D脚本和ActiveX控件;通过所述播放器解码插件,实现与所述视频转码服务器的对接,并将所述视频转码服务器推送的标准格式视频码流进行解码渲染,最终在大屏幕展示系统展现。
3.根据权利要求2所述的一种跨平台集成视频流的系统的方法,其特征在于,步骤2.2中,所述应用视频解码控件为基于C#开发的WPF应用程序;
所述应用进程解码控件,提供独立EXE应用程序的播放器,用于在数据可视化图形工作站中指定窗口位置运行并播放视频码流;
所述Unity3D脚本,用于以Unity3D脚本方式嵌入视频码流中进行播放;
所述ActiveX控件,用于嵌入到浏览器中,从而播放视频码流。
4.根据权利要求2所述的一种跨平台集成视频流的系统的方法,其特征在于,步骤2.2中,视频码流在大屏幕展示系统展现,具体为:
数据可视化图形工作站具有硬件视频输出接口,数据可视化图形工作站通过硬件视频输出接口向拼接处理器输送图像画面;拼接处理器经过画面拼接在拼接处理器投放。
CN201911354993.1A 2019-12-25 2019-12-25 一种跨平台集成视频流的系统及方法 Pending CN111107394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911354993.1A CN111107394A (zh) 2019-12-25 2019-12-25 一种跨平台集成视频流的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911354993.1A CN111107394A (zh) 2019-12-25 2019-12-25 一种跨平台集成视频流的系统及方法

Publications (1)

Publication Number Publication Date
CN111107394A true CN111107394A (zh) 2020-05-05

Family

ID=70425198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911354993.1A Pending CN111107394A (zh) 2019-12-25 2019-12-25 一种跨平台集成视频流的系统及方法

Country Status (1)

Country Link
CN (1) CN111107394A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689150A (zh) * 2020-12-15 2021-04-20 北京计算机技术及应用研究所 一种高性能视频转服务器的设计
CN112752137A (zh) * 2020-12-29 2021-05-04 北京恒泰实达科技股份有限公司 一种基于大屏显示系统的监控视频集成播放系统和方法
CN115914677A (zh) * 2022-09-19 2023-04-04 上海辰锐信息科技有限公司 一种智能视频安全联网装置、服务器

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080013619A1 (en) * 2006-07-14 2008-01-17 Qualcomm Incorporated Encoder initialization and communications
WO2010047921A2 (en) * 2008-10-21 2010-04-29 Yahoo! Inc. Network aggregator
CN101808233A (zh) * 2009-02-18 2010-08-18 杭州海康威视数字技术股份有限公司 一种通用的手机视频监控实现系统和方法
CN103634552A (zh) * 2012-08-28 2014-03-12 华为技术有限公司 一种监控视频存储方法、系统和中心管理服务器
CN103647954A (zh) * 2013-12-27 2014-03-19 成都三零凯天通信实业有限公司 基于3g信道与智能终端的移动视频监控系统
EP2741474A1 (en) * 2008-10-06 2014-06-11 Facebook, Inc. Device, system and method for providing distributed online services
CN105336241A (zh) * 2015-12-08 2016-02-17 上海电机学院 一种危情生存模拟训练系统及其建立方法
CN106060459A (zh) * 2016-05-30 2016-10-26 安徽四创电子股份有限公司 一种摄像机的协议转换系统及其转换方法
WO2017136646A1 (en) * 2016-02-05 2017-08-10 Digital Ally, Inc. Comprehensive video collection and storage
CN107257497A (zh) * 2017-06-16 2017-10-17 成都市知用科技有限公司 一种能够跨平台浏览器的视频直播方法
CN108769616A (zh) * 2018-06-21 2018-11-06 泰华智慧产业集团股份有限公司 一种基于rtsp协议的实时视频无插件预览方法及系统
CN109151341A (zh) * 2018-09-27 2019-01-04 中国船舶重工集团公司第七0九研究所 一种嵌入式平台多源高清视频融合实现系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080013619A1 (en) * 2006-07-14 2008-01-17 Qualcomm Incorporated Encoder initialization and communications
EP2741474A1 (en) * 2008-10-06 2014-06-11 Facebook, Inc. Device, system and method for providing distributed online services
WO2010047921A2 (en) * 2008-10-21 2010-04-29 Yahoo! Inc. Network aggregator
CN101808233A (zh) * 2009-02-18 2010-08-18 杭州海康威视数字技术股份有限公司 一种通用的手机视频监控实现系统和方法
CN103634552A (zh) * 2012-08-28 2014-03-12 华为技术有限公司 一种监控视频存储方法、系统和中心管理服务器
CN103647954A (zh) * 2013-12-27 2014-03-19 成都三零凯天通信实业有限公司 基于3g信道与智能终端的移动视频监控系统
CN105336241A (zh) * 2015-12-08 2016-02-17 上海电机学院 一种危情生存模拟训练系统及其建立方法
WO2017136646A1 (en) * 2016-02-05 2017-08-10 Digital Ally, Inc. Comprehensive video collection and storage
CN106060459A (zh) * 2016-05-30 2016-10-26 安徽四创电子股份有限公司 一种摄像机的协议转换系统及其转换方法
CN107257497A (zh) * 2017-06-16 2017-10-17 成都市知用科技有限公司 一种能够跨平台浏览器的视频直播方法
CN108769616A (zh) * 2018-06-21 2018-11-06 泰华智慧产业集团股份有限公司 一种基于rtsp协议的实时视频无插件预览方法及系统
CN109151341A (zh) * 2018-09-27 2019-01-04 中国船舶重工集团公司第七0九研究所 一种嵌入式平台多源高清视频融合实现系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689150A (zh) * 2020-12-15 2021-04-20 北京计算机技术及应用研究所 一种高性能视频转服务器的设计
CN112752137A (zh) * 2020-12-29 2021-05-04 北京恒泰实达科技股份有限公司 一种基于大屏显示系统的监控视频集成播放系统和方法
CN112752137B (zh) * 2020-12-29 2023-02-28 北京恒泰实达科技股份有限公司 一种基于大屏显示系统的监控视频集成播放系统和方法
CN115914677A (zh) * 2022-09-19 2023-04-04 上海辰锐信息科技有限公司 一种智能视频安全联网装置、服务器

Similar Documents

Publication Publication Date Title
CN111107394A (zh) 一种跨平台集成视频流的系统及方法
US7904580B2 (en) Digital media player exposing operational state data
CN102158553B (zh) 用于远程桌面的播放多媒体文件的方法和装置
CN100383769C (zh) 一种电脑接收带摄像头手机输入视频数据的方法及系统
US20060164328A1 (en) Method and apparatus for wireless display monitor
CN104660891A (zh) 运动视频捕捉系统中的方法和装置
CN103533305B (zh) 一种b/s架构的免插件通用视频监控系统
CN112799891B (zh) iOS设备测试方法、装置、系统、存储介质及计算机设备
US20140229542A1 (en) System, Apparatus, and Method for Sharing a Screen Having Multiple Visual Components
WO2021174718A1 (zh) 远程监控的控制系统和终端
CN101452418A (zh) 电脑管理系统与方法及其所应用的操控台
CN114630051B (zh) 视频处理方法以及系统
CN103369402A (zh) 一种进行多种机顶盒功能一致性比对的方法及系统
CN107770564A (zh) 远程采集音视频数据的方法及装置
CN103533314A (zh) 一种实现差异化安防设备标准化接口和统一架构接入方法
CN111629178A (zh) 一种远程医疗的影像辅助标记系统和方法
CN114339146B (zh) 音视频监控方法、装置、电子设备及计算机可读存储介质
CN110392267A (zh) 一种低成本矿山生产现场自动化集中监控方法
US8189681B1 (en) Displaying multiple compressed video streams on display devices
CN115278323A (zh) 一种显示设备、智能设备和数据处理方法
CN103974087A (zh) 视频图像文件压缩系统、客户端及方法
CN112866585A (zh) 视音频流的调度控制系统和方法
KR101180784B1 (ko) 컴포넌트 기반 프로그램의 동작 시퀀스 다이어그램 자동 생성 장치
US20090110053A1 (en) Embedded system and remote-control servo apparatus thereof
CN114390300B (zh) 一种直播控制方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200505