CN113596112A - 一种面向视频监控的传输方法 - Google Patents

一种面向视频监控的传输方法 Download PDF

Info

Publication number
CN113596112A
CN113596112A CN202110775852.8A CN202110775852A CN113596112A CN 113596112 A CN113596112 A CN 113596112A CN 202110775852 A CN202110775852 A CN 202110775852A CN 113596112 A CN113596112 A CN 113596112A
Authority
CN
China
Prior art keywords
video
gateway
frame
time
heartbeat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110775852.8A
Other languages
English (en)
Inventor
笪秀扬
李焕景
刘嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nayuan Communication Technology Co ltd
Original Assignee
Nanjing Nayuan Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nayuan Communication Technology Co ltd filed Critical Nanjing Nayuan Communication Technology Co ltd
Priority to CN202110775852.8A priority Critical patent/CN113596112A/zh
Publication of CN113596112A publication Critical patent/CN113596112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9084—Reactions to storage capacity overflow
    • H04L49/9089—Reactions to storage capacity overflow replacing packets in a storage arrangement, e.g. pushout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种面向视频监控的传输方法，包括：组建SD‑WAN视频通信网络，配置摄像机和硬盘录像机；用户终端发送WebSocket请求到视频网关；视频网关获取到WebSocket请求，从摄像机或硬盘录像机中拉取经视频帧；视频网关对拉取到的视频帧进行编解码，将视频帧转换成一帧帧的视频图片；视频网关通过WebSocket通信方式把一帧帧的视频图片传到客户端；通过设置心跳检测周期和心跳检测超时时间，在视频网关与客户端之间加入心跳重连机制；视频网关把收到的视频图片，通过canvas技术绘制渲染视频，实现视频实时播放。相较于传统的传输和播放方式，该方法具有节省数据传送量、减轻网络负担的优点，同时大幅降低视频监控的时延，提供高清流畅、低延迟、高并发的视频监控服务。

Description

一种面向视频监控的传输方法
技术领域
本发明涉及视频监控中视频传输方法，具体为一种利用WebSocket的通信方式高速传输视频图片帧的方法。
背景技术
近年来城市及行业视频监控进入新的发展高潮，视频监控呈现高速增长。用户对视频监控的需求也迅速提高，尤其是要求视频监控必须具有实时性和连续性，对Web页面上播放视频时能够出流迅速，画面基本无卡顿，时间基本无延时。
现阶段主流的摄像机、VNR和视频监控平台提供的视频流都是RTSP流，而RTSP流无法直接在Web页面上播放，所需的播放插件又存在诸多问题。以Flash播放插件为例，受浏览器版本的限制，经常出现卡顿、画面不出现或延时比较大的问题，正逐渐被弃用。从2021年起，谷歌浏览器已停止对Flash的支持。IE的Active X插件维护工作量大且存在安全设置的比较复杂，影响了用户快速使用视频监控。HLS流可以在Web页面上直接播放，但转码费用比较高，同时播放延时太高，一般超过15-20s。
发明内容
本发明所要解决的技术问题是提供一种在Web页面上无插件、出流快和低延时的进行视频播放的面向视频监控的传输方法。
为解决上述技术问题，本发明采用的技术方案是：
一种面向视频监控的传输方法，其特征在于，包括：
组建SD-WAN视频通信网络，配置摄像机和硬盘录像机；
用户终端发送WebSocket请求到视频网关；
视频网关获取到WebSocket请求，从摄像机或硬盘录像机中拉取经视频帧；
视频网关对拉取到的视频帧进行编解码，将视频帧转换成一帧帧的视频图片；
视频网关通过WebSocket通信方式把一帧帧的视频图片传到客户端；
通过设置心跳检测周期和心跳检测超时时间，在视频网关与客户端之间加入心跳重连机制；
视频网关把收到的视频图片，通过canvas技术绘制渲染视频，实现视频实时播放。
有益效果：
本发明一种面向视频监控的传输方法，该方法充分利用主动推送视频数据的WebSocket通信方式，高速进行视频监控画面的播放。采用WebSocket方式传输图片，减少了客户端和视频网关的连接次数，同时传输报文时不用每次都携带完整的报文头，减少了传输报文的数据量。WebSocket是一种全双工的通信方式，视频网关可以直接向客户端推送视频数据功能，不用等待客户端的请求。通过这几个方面就减少了视频图片传输所用的时间，减轻网络负担的，减少了视频播放的延时。
通过设置通信心跳包机制来诊断网络的质量。客户端按照一定的周期向视频网关发送ping包命令，视频网关端回执一个pong命令，评测从客户端发送命令到接受到回执命令的时间RTT来判断网络质量，值过大表示网络延迟很大，超出延时范围，SD—WAN网络会切换传输路径，保证最优的传输。
为了减少视频播放时的抖动和过大延时，我们增加了视频帧图片的缓冲区。缓冲区的图片数量过大，就会造成视频的延时过大；缓冲区的图片数量过小，就会造成视频播放的卡顿。为解决该问题，我们设计了一个缓存时间。heartOverTime为心跳检测超时，也是要求重传报文的时间，send_coun为单个重发报文的重发次数，heartOverTime_var为网络抖动的时间差值
缓存时间buffer_timer＝(2*send_count+1)*(heartOverTime+heartOverTime_var)/2。如果网络质量差的情况下，传输的视频图片缓冲区中缓存了大量的视频图片数据等待发送，为了缓解拥塞和减少视频播放的延时，会对缓冲区进行检查，如果超过缓存时间的视频图片数据，将被从缓冲区内移除，保证了后续新的视频帧不会延时。每个视频图片帧中都带有时间戳信息，当视频帧图片中时间戳最新帧和视频帧图片中时间戳最老帧的时间戳差值，大于当缓存时间，则进行视频播放，否则处于等待状态。通过这种方法，在网络质量差的情况下，避免了视频的抖动，更减少了视频监控的延时。
附图说明
图1是实时视频在线监控系统结构图；
图2是实时视频在线监控系统运行流程图。
具体实施方式
下面结合附图以及具体的例子，由具体的操作流程说明本方法在实时视频监控中的实施效果。本实施案例在以本发明技术方案为前提下进行实施，但本发明的保护范围不限于下述的实施例。
本发明面向视频监控的高速传输方法，图2所示，具体步骤如下：
组建视频网关的SD-WAN网络，包括：
通过配置工具组建SD-WAN视频通信网络；
配置摄像机和硬盘录像机，使用SD-WAN网络；
拉取摄像机的视频流。
其中，组建SD-WAN视频通信网络，配置摄像机和硬盘录像机的过程如下：
视频网关获取SD-WAN网络入网授权的licence后，向SD-WAN网络控制中心提出申请并入网。通过该网络建立一条视频传输专用网络，为后面视频数据的传输监控建立基础网络通道。
通过视频网关中的配置工具，配置系统中摄像机或硬盘录像机相关的信息。摄像机或硬盘录像机相关的信息包括摄像机IP、用户名、密码、输出流的格式及视频帧速度。
组建好视频网络和配置完摄像头和硬盘录像机后，使用该配置进行视频的实时监控，步骤如下：
用户通过终端设备手机、PC机或电视大屏点播要监控的视频，发送WebSocket请求到视频网关。两者之间建立一个可以双向传送视频的通道，该通道在一次连接之后便可以复用，完成视频数据的实时推送；
视频网关获取到请求，连接成功后，创建客户端对应的Session并存入缓存区。然后从摄像机或NVR中通过RTSP协议，拉取经过视频帧压缩算法，压缩成H.264或H.265格式的视频帧；
视频网关对拉取到摄像头的H.264或H.265格式的视频帧，进行编解码运算，转转换为Base64格式的一帧帧视频图片；
视频网关通过和客户端已建立的WebSocke连接，把一帧帧视频图片传给客户端。客户端和视频网关通过心跳机制，保障视频数据的正常传输。心跳检测周期heartBeatTime＝1000ms，心跳检测超时heartOverTime＝180s；
视频网关把收到的视频图片，通过Canvas技术绘制渲染视频，使用Canvas及其提供的API，将JPEG图像，直接在Canvas画布上显示，实现视频实时播放。
实施例1
以某公司环境视频监控为例，同样适用于各种业务场景下的实时视频监控。实时视频在线监控系统结构如图1所示，实时视频在线监控流程如图2所示。在该公司环境中配置不同型号的摄像机和硬盘录像机，拉取RTSP视频流，转换成Base64的视频图片帧，通过实时视频在线监控来验证本发明通过WebSocket通信方式高速传输视频数据的可行性。
具体步骤包括：
(1)视频网关获取SD-WAN网络入网授权的licence后，向SD-WAN网络控制中心提出申请并入网，视频网关授权组建到SD-WAN网络。
(2)通过视频网关中的配置工具，分别配置4个不同类型的摄像机和2个不同型号的硬盘录像机：
摄像机A：海康威视4K高清夜枪机摄像机，分辨率1920*1080P，码流类型主码流，视频编码的格式H.264；
摄像机B：大华200万4寸带云台控制球机，分辨率1920*1080P，码流类型主码流，视频编码的格式H.264；
摄像机C：小米200万带云台控制球机，分辨率1920*1080P，码流类型子码流，视频编码的格式H.264；
摄像机D：华为红外200万带云台控制球机，分辨率1920*1080P，码流类型主码流，视频编码的格式H.265；
硬盘录像机A：海康威视网络硬盘录像机，支持4路摄像机的接入，1T硬盘存储，POE供电；
硬盘录像机B：大华网络硬盘录像机，支持8路摄像机的接入，2T硬盘存储，POE供电；
视频网关：视频网关，可支持50路视频接入，同时在线视频10路。
(3)客户端通过普通电脑PC机点播要监控的摄像机，请求监控的摄像机的实时视频。同时播放一路视频时，不管选择摄像头A、摄像头B、摄像头C、摄像头D、硬盘录像机A、硬盘录像机B中的任何一路，由表1可见，点播各个不同型号摄像头，视频网关的CPU占有率、内存使用率和播放延时变化不大。
表1视频播放路数1路测试结果
Figure BDA0003155236510000051
(4)客户端通过普通电脑PC机点播4路摄像头实时视频时，视频网关的CPU占有率、内存使用率和播放延时如表2所示。可见，随着点播的摄像头路数量的增加，视频网关的CPU占有率、内存使用率和播放延时也有所增加，但实时性依然很高；
表2视频播放路数4路测试结果
Figure BDA0003155236510000052
Figure BDA0003155236510000061
(5)通过测试多路摄像机，测试结果如表3所示。可见，系统出流快、延时低。
表3不同路数和型号摄像机测试结果
Figure BDA0003155236510000062
由上述分析可知，通过WebSocket方式可以高速传输视频监控的视频数据，3路视频监控可以在1秒内呈现画面。可见，通过本发明可以提供高清流畅、低延迟、稳定的视频监控服务，提升用户观看视频的体验。

Claims (8)

1.一种面向视频监控的传输方法，其特征在于，包括：
组建SD-WAN视频通信网络，配置摄像机和硬盘录像机；
用户终端发送WebSocket请求到视频网关；
视频网关获取到WebSocket请求，从摄像机或硬盘录像机中拉取经视频帧；
视频网关对拉取到的视频帧进行编解码，将视频帧转换成一帧帧的视频图片；
视频网关通过WebSocket通信方式把一帧帧的视频图片传到客户端；
通过设置心跳检测周期和心跳检测超时时间，在视频网关与客户端之间加入心跳重连机制；
视频网关把收到的视频图片，通过canvas技术绘制渲染视频，实现视频实时播放。
2.根据权利要求1所述的一种面向视频监控的传输方法，其特征在于，在视频网关与客户端之间加入心跳重连机制的方法，包括：
客户端在心跳检测周期内定时向服务端发送心跳包数据；
视频网关接收到服务端心跳包数据；
服务端接收心跳检测超时时，网络质量间歇性波动时，对视频帧图片缓存区的图片压缩处理；处理方法如下：
（a）当客户端发生接收到的视频帧数据丢包时，把丢包的报文ID反馈给视频网关；
（b）视频网关根据报文ID到重发窗口缓冲区中找到对应的报文重新发送；
（c）对缓冲区数据超过缓存时间buffer_time的数据从缓冲区内移除，缓存时间buffer_time的计算公式如下：
buffer_timer=(2*send_count+1)*( heartOverTime+heartOverTime_var)/2
其中，send_count为单个重发报文的重发次数，heartOverTime_var为网络抖动的时间差值，heartOverTime为心跳检测超时。
3.根据权利要求2所述的一种面向视频监控的传输方法，其特征在于，WebSocket心跳检测周期heartBeatTime=1000ms。
4.根据权利要求2所述的一种面向视频监控的传输方法，其特征在于，WebSockett心跳检测超时heartOverTime=180s。
5.根据权利要求1所述的一种面向视频监控的传输方法，其特征在于，所述视频图片为Base64格式的图片。
6.根据权利要求1所述的一种面向视频监控的传输方法，其特征在于，所述视频帧为的格式为H.264或H.265格式。
7.根据权利要求1所述的一种面向视频监控的传输方法，其特征在于，视频网关通过WebSocket通信方式把一帧帧的视频图片传到客户端的方法，包括：
客户端发起创建WebSocket连接的请求；
视频网关接收到请求，创建Session并存入缓存区；
视频网关主动向客户端发送视频图片。
8.根据权利要求1所述的一种面向视频监控的传输方法，其特征在于，组建SD-WAN视频通信网络，配置摄像机和硬盘录像机的方法为：
视频网关获取SD-WAN网络入网授权的licence后，向SD-WAN网络控制中心提出申请并入网；
通过视频网关中的配置工具，配置系统中摄像机或硬盘录像机相关的信息。
CN202110775852.8A 2021-07-09 2021-07-09 一种面向视频监控的传输方法 Pending CN113596112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110775852.8A CN113596112A (zh) 2021-07-09 2021-07-09 一种面向视频监控的传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110775852.8A CN113596112A (zh) 2021-07-09 2021-07-09 一种面向视频监控的传输方法

Publications (1)

Publication Number Publication Date
CN113596112A true CN113596112A (zh) 2021-11-02

Family

ID=78246696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110775852.8A Pending CN113596112A (zh) 2021-07-09 2021-07-09 一种面向视频监控的传输方法

Country Status (1)

Country Link
CN (1) CN113596112A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268773A (zh) * 2022-03-03 2022-04-01 杭州闪马智擎科技有限公司 一种视频播放方法、系统、存储介质及电子装置
CN115460451A (zh) * 2022-09-15 2022-12-09 浙江大华技术股份有限公司 视频播放方法、装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817354A (zh) * 2015-12-01 2017-06-09 阿里巴巴集团控股有限公司 一种视频流传输方法、设备和系统
CN110446010A (zh) * 2019-08-02 2019-11-12 江西航天鄱湖云科技有限公司 基于web的视频监控方法、装置、存储介质、服务器及系统
CN111147506A (zh) * 2019-12-30 2020-05-12 武汉兴图新科电子股份有限公司 一种基于html5播放流媒体数据的方法、系统及存储设备
CN112887684A (zh) * 2021-05-06 2021-06-01 广东省电信规划设计院有限公司 一种多协议视频监控调度融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817354A (zh) * 2015-12-01 2017-06-09 阿里巴巴集团控股有限公司 一种视频流传输方法、设备和系统
CN110446010A (zh) * 2019-08-02 2019-11-12 江西航天鄱湖云科技有限公司 基于web的视频监控方法、装置、存储介质、服务器及系统
CN111147506A (zh) * 2019-12-30 2020-05-12 武汉兴图新科电子股份有限公司 一种基于html5播放流媒体数据的方法、系统及存储设备
CN112887684A (zh) * 2021-05-06 2021-06-01 广东省电信规划设计院有限公司 一种多协议视频监控调度融合方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268773A (zh) * 2022-03-03 2022-04-01 杭州闪马智擎科技有限公司 一种视频播放方法、系统、存储介质及电子装置
CN115460451A (zh) * 2022-09-15 2022-12-09 浙江大华技术股份有限公司 视频播放方法、装置、存储介质及电子装置
CN115460451B (zh) * 2022-09-15 2024-04-26 浙江大华技术股份有限公司 视频播放方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN108810636B (zh) 视频播放方法、虚拟现实设备、服务器、系统及存储介质
US20230256345A1 (en) Game data processing method and apparatus, and storage medium
KR102387161B1 (ko) 비디오 스크린 프로젝션 방법과 장치, 컴퓨터 장비, 및 저장 매체
CN110535871B (zh) 一种基于WebRTC的课堂实时视频投影方法及系统
Ray et al. Vantage: optimizing video upload for time-shifted viewing of social live streams
CN106488265A (zh) 一种发送媒体流的方法和装置
WO2021197008A1 (zh) 音视频通信方法、终端、服务器、计算机设备和存储介质
US20170142029A1 (en) Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
CN110662100A (zh) 一种信息处理方法、装置、系统和计算机可读存储介质
CN103647954A (zh) 基于3g信道与智能终端的移动视频监控系统
CN104918137A (zh) 一种拼接屏系统播放视频的方法
CN113596112A (zh) 一种面向视频监控的传输方法
WO2010045826A1 (zh) 流媒体业务中获取关键帧的方法、系统及用户设备
CN112770122B (zh) 一种在云导播台视频同步的方法及系统
WO2012151957A1 (zh) 服务器、客户端及利用其远程播放视频文件的方法和系统
WO2013116975A1 (zh) 流媒体播放方法、设备及系统
CN112104918A (zh) 基于卫星网络的图像传输方法及装置
CN108810468B (zh) 一种优化显示效果的视频传输装置及方法
KR101795537B1 (ko) 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템 및 그 방법
EP3843415A1 (en) Video image-based media stream bandwidth reduction
CN104639979A (zh) 视频分享方法及系统
CN112565670B (zh) 云会议多层视频快速平滑出图的方法
CN108924088A (zh) 一种4k网络摄像机传输实现方法
WO2021190050A1 (zh) 监控业务的方法、装置和系统
CN114470745A (zh) 一种基于srt的云游戏实现方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211102