CN115665486B - 用于无人机跟踪装置视频流web端播放的数据处理方法 - Google Patents
用于无人机跟踪装置视频流web端播放的数据处理方法 Download PDFInfo
- Publication number
- CN115665486B CN115665486B CN202211673612.8A CN202211673612A CN115665486B CN 115665486 B CN115665486 B CN 115665486B CN 202211673612 A CN202211673612 A CN 202211673612A CN 115665486 B CN115665486 B CN 115665486B
- Authority
- CN
- China
- Prior art keywords
- video stream
- data
- played
- video
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种用于无人机跟踪装置视频流web端播放的数据处理方法。该方法包括:获取待播放视频流数据;对待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;对第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,预设视频播放器支持的视频流格式与第一过程待播放视频流数据对应;基于web网页端的视频播放标签对第二过程待播放视频流数据进行播放处理。通过对无人机跟踪装置摄像头视频流数据进行浏览器支持的播放器的格式转换,使得无人机跟踪装置摄像头视频流在web网页端实时播放,解决了在进行实时视频流播放时由于延迟较高导致用户体验感较差的问题。
Description
技术领域
本申请涉及无人机领域,具体而言,涉及一种用于无人机跟踪装置视频流web端播放的数据处理方法。
背景技术
实时视频监控直播在很多领域,如工业生产,视频直播等领域内都有广泛应用,在web网页端进行实时视频流播放。
在进行实时视频流播放时,网页端依赖Flash插件进行视频流的播放,随着浏览器不再对Flash插件的支持,现有技术中通过将视频流转基于HTTP的自适应码率流媒体传输协议(HTTP Live Streaming,简称为HLS)进行视频流的播放,由于HLS是基于短连接超文本传输协议(Hyper Text Transfer Protocol,简称为HTTP),HTTP是基于传输控制协议(Transmission Control Protocol,简称为TCP)的,HLS 需要不断地与服务器建立连接,TCP 每次建立连接时的三次握手、慢启动过程、断开连接时的四次挥手都会产生性能消耗,HLS存在较高的延迟,导致用户体验感较差。
因此,现有技术中在进行实时视频流播放时由于延迟较高导致用户体验感较差的技术问题。
发明内容
本申请的主要目的在于提供一种用于无人机跟踪装置视频流web端播放的数据处理方法,以解决现有技术在进行实时视频流播放时由于延迟较高导致用户体验感较差的技术问题,实现了降低实时视频流播放延迟,提高用户体验感的技术效果。
为了实现上述目的,本申请的第一方面,提出了一种用于无人机跟踪装置视频流web端播放的数据处理方法,应用于web网页端,以实现在所述web网页端进行视频流播放,所述数据处理方法包括:
获取待播放视频流数据,其中,所述待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,所述无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流;
对所述待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;
对所述第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,其中,所述预设视频播放器支持的视频流格式与所述第一过程待播放视频流数据对应;
基于所述web网页端的视频播放标签对所述第二过程待播放视频流数据进行播放处理,以实现在所述web网页端进行视频流播放。
在本申请的一些可选实施例中,在所述web网页端进行视频流播放时,所述方法还包括:
在所述web网页端进行视频流播放的过程中,获取针对所述视频流播放的第一监听数据,其中,所述第一监听数据为用于表示所述web网页端心跳监听的数据;
对所述第一监听数据进行视频流延迟计算处理,得到视频流延迟数据,其中,所述视频流延迟数据为用于表示视频流播放延迟状况的数据;
基于预设延迟阈值数据对所述视频流延迟数据进行比较,以判断视频流播放延迟是否在预设延迟范围内,
如果所述视频流延迟数据大于或者等于所述预设延迟阈值数据,对视频流进行回帧操作,直至所述视频流延迟数据小于所述预设延迟阈值数据;
如果所述视频流延迟数据小于所述预设延迟阈值数据,在所述web网页端继续进行视频流播放。
在本申请的一些可选实施例中,对所述第一监听数据视频流延迟计算处理,得到视频流延迟数据包括:
对所述第一监听数据进行识别,得到播放位置数据和缓存长度数据,其中,所述播放位置数据为用于表示所述无人机跟踪装置摄像头视频流播放位置的数据,所述缓存长度数据为用于表示所述无人机跟踪装置摄像头视频流在所述web网页端缓存位置的数据;
对所述播放位置数据和所述缓存长度数据进行基于差值的延迟计算处理,得到所述视频流延迟数据,其中,所述视频流延迟数据为用于表示所述播放位置数据和所述缓存长度数据差值的数据。
在本申请的一些可选实施例中,在所述web网页端进行视频流播放时,所述方法还包括:
在所述web网页端进行视频流播放的过程中,获取针对所述视频流播放的第二监听数据,其中,所述第二监听数据为用于表示所述预设视频播放器对视频流的监听数据;
对所述第二监听数据进行视频流连接状态判断,得到视频流连接状态数据,其中,所述视频流连接状态数据包括用于表示视频流连接状态的数据和所述视频流连接状态对应的连接次数的数据;
基于预设重连阈值对所述视频流连接状态数据进行比较,以判断视频流播放是否存在异常,
如果所述视频流连接状态数据对应的连接次数大于所述预设重连阈值,输出播放异常提示数据;
如果所述视频流连接状态数据对应的连接次数小于或等于预设重连阈值,在所述web网页端继续进行视频流播放。
在本申请的一些可选实施例中,对所述待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据包括:
对所述待播放视频流数据进行识别处理,得到第一待播放视频流数据和第二待播放视频流数据,其中,所述第一待播放视频流数据为用于表示所述无人机跟踪装置摄像头视频流中的视频数据,所述第二待播放视频流数据为用于表示所述无人机跟踪装置摄像头视频流中的音频数据;
对所述第一待播放视频流数据进行视频编码压缩处理,得到第一编码待播放视频流数据;
对所述第二待播放视频流数据进行音频编码压缩处理,得到第二编码待播放视频流数据;
对所述第一编码待播放视频流数据和所述第二编码待播放视频流数据进行基于预设格式的封装处理,得到所述第一过程待播放视频流数据。
在本申请的一些可选实施例中,在所述web网页端进行视频流播放时,所述方法还包括:
对所述待播放视频流数据进行基于视频流数量的识别处理,得到视频流路径特征数据,其中,所述视频流路径特征数据为用于表示所述待播放视频流的数量的数据;
基于预设视频流路径阈值对所述视频流路径特征数据进行比较,以判断预设视频流路径阈值是否满足播放所述待播放视频流数据所需的视频流数量,
如果所述预设视频流路径阈值不满足播放所述待播放视频流数据所需的视频流数量,基于所述视频流路径特征数据启动web网页端代理端口,直至满足所述待播放视频流数据所需的视频流数量;
如果所述预设视频流路径阈值满足播放所述待播放视频流数据所需的视频流数量,在所述web网页端进行视频流播放。
在本申请的一些可选实施例中,应用于web网页端,以实现在所述web网页端进行视频流播放,所述数据处理方法包括:
获取待播放摄像头RSTP视频流;
对所述待播放摄像头RSTP视频流进行FLV容器格式的格式转换处理,得到所述第一过程待播放视频流数据,所述第一过程待播放视频流数据为用于表示FLV TAG格式的视频流数据;
基于所述预设视频播放器对所述第一过程待播放视频流数据进行视频转码处理,得到所述第二过程待播放视频流数据,其中,所述预设视频播放器为支持FLV格式的视频播放器,所述web网页端支持所述第二过程待播放视频流数据的数据格式,所述预设视频播放器为浏览器支持的播放器;
基于所述web网页端的视频播放标签对所述第二过程待播放视频流数据进行播放处理,以实现在所述web网页端进行视频流播放。
根据本申请的第二方面,提出了一种用于无人机跟踪装置视频流播放的数据处理装置,应用于web网页端,以实现在所述web网页端进行视频流播放,所述数据处理装置包括:
视频流获取模块,用于获取待播放视频流数据,其中,所述待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,所述无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流;
第一转换模块,用于对所述待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;
第二转换模块,用于对所述第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,其中,所述预设视频播放器支持的视频流格式与所述第一过程待播放视频流数据对应,所述预设视频播放器为浏览器支持的播放器;
播放模块,基于所述web网页端的视频播放标签对所述第二过程待播放视频流数据进行播放处理,以实现在所述web网页端进行视频流播放。
根据本申请的第三方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行上述的用于无人机跟踪装置视频流web端播放的数据处理方法。
根据本申请的第四方面,提出了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行上述的用于无人机跟踪装置视频流web端播放的数据处理方法。
本申请的实施例提供的技术方案可以包括以下有益效果:
在本申请中,获取待播放视频流数据,待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流;对待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;对第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,预设视频播放器支持的视频流格式与第一过程待播放视频流数据对应;基于web网页端的视频播放标签对第二过程待播放视频流数据进行播放处理,以实现在web网页端视频流的播放。通过对无人机跟踪装置摄像头视频流数据进行浏览器支持的播放器的格式转换,使得无人机跟踪装置摄像头视频流在web网页端实时播放,解决了现有技术中进行实时视频流播放时由于延迟较高导致用户体验感较差的技术问题,实现了降低实时视频流播放延迟,提高用户体验感的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请提供的一种用于无人机跟踪装置视频流web端播放的数据处理方法的流程图;
图2为本申请提供的一种用于无人机跟踪装置视频流web端播放的数据处理方法的流程图;
图3为本申请提供的一种用于无人机跟踪装置视频流web端播放的数据处理方法的流程图;
图4为本申请提供的一种用于无人机跟踪装置视频流web端播放的数据处理方法的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,“连接”可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
在进行实时视频流播放时,web网页端依赖Flash插件进行视频流的播放,随着大多数浏览器不再支持Flash插件,相关技术中在web网页端进行实时视频流播放时,通过将无人机跟踪装置摄像头视频流转HLS进行视频流的播放,由于HLS播放的原理,利用HLS进行播放时存在较大的延迟,在进行实时视频流播放时,较大延迟,导致用户体验感较差。
在对低空无人机进行实时监控时,需要对监控摄像装置采集到的视频流数据进行识别处理,监控摄像装置需要将采集到的视频流数据传递至web网页端进行视频中低空无人机的识别,从而对识别到低空无人机时采取对应的管制措施,因此在摄像装置将采集到的视频流传递给web网页端进行识别并进行反制处理需要较高的及时性,因此将无人机跟踪装置摄像头视频流在web网页端进行播放时需要较高的及时性。
为解决现有技术中实时视频流播放时存在较大延迟的问题,本申请提出一种用于无人机跟踪装置视频流web端播放的数据处理方法,该方法应用于web网页端,以实现视频流在web网页端的播放,图1为本申请提供的一种用于无人机跟踪装置视频流web端播放的数据处理方法流程图,如图1所示,该方法包括以下步骤:
S101:获取待播放视频流数据;
待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流,在进行低空无人机监控时,摄像头设置在预设区域内,采集预设区域内的视频流,无人机跟踪装置摄像头视频流为实时流传输协议(Real Time Streaming Protocol,简称RTSP)的视频流,将RTSP视频流经过转换处理后,将转换得到的http-flv视频流传输至web端,实现视频流在web网页端的播放,进而实现对视频流中低空无人机的识别处理。
S102:对待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;
对待播放视频流数据进行识别处理,得到第一待播放视频流数据和第二待播放视频流数据,其中,第一待播放视频流数据为用于表示无人机跟踪装置摄像头视频流中的视频数据,第二待播放视频流数据为用于表示所述无人机跟踪装置摄像头视频流中的音频数据;无人机跟踪装置摄像头视频流中的音频数据是第二待播放视频流数据。待播放视频流数据可以是MPG、AVI、WMV、MOV、FLV、RMVB、MKV、MP4等视频数据流格式,对此不作特别限定,第一待播放视频流数据可以为WMV、MPEG、MP4等视频格式,对此不作特别限定,第二待播放视频流数据可以为WAV、MP3、WMA、OGG、APE、AAC等音频格式,对此不作特别限定。
对第一待播放视频流数据进行视频编码压缩处理,得到第一编码待播放视频流数据;对第一待播放视频流数据进行基于格式的识别处理,得到第一待播放视频流格式特征数据,第一待播放视频流格式特征数据为用于表示上述第一待播放视频流视频格式的数据,基于预设待播放视频流格式特征数据,对第一待播放视频流数据进行从上述第一待播放视频流格式特征数据至上述预设待播放视频流格式特征数据的编码处理。编解码标准可以是国际电联的H.261、H.263、H.264,可以是运动静止图像专家组的M-JPEG,也可以是国际标准化组织运动图像专家组的MPEG系列标准,对此不作特别限定,常见的视频编解码压缩格式有RGB、YUV等编解码格式,在本公开的实施例中,优选采用YUV编码格式进行H264视频数据的编码压缩。
对所述第二待播放视频流数据进行音频编码压缩处理,得到第二编码待播放视频流数据;音频的编码格式有很多种,如脉冲编码调制编码、MP3编码等,基于本方案,优选采用脉冲编码调制编码,即PCM编码进行音频的编码压缩。PCM通过采样、量化和编码三个步骤将连续变化的模拟信号转换为数字代码。在本公开的实施例中,优选采用PCM音频编码格式对音频AAC的数据进行编码压缩。
对第一编码待播放视频流数据和第二编码待播放视频流数据进行基于预设格式的封装处理,得到第一过程待播放视频流数据。将摄像头的视频流数据和音频流数据分别进行编码压缩处理后,需要对它们进行封装处理,将已经编码压缩好的音视频封装在数据包中,使得封装后的音视频可以在网络上进行传输,第三方在收到数据后根据封装格式,能够知道码流的类型与特性等,从而解析数据。识别上述待播放视频流的协议,获取web网页端预设视频播放器数据,根据待播放视频流的协议及预设视频播放器数据确定封装格式,举例说明,如,将第一编码待播放视频流数据和第二编码待播放视频流数据进行压缩,压缩完后再通过FLV(Flash Video)容器格式封装压缩后的数据,封装成一个FLV TAG,得到第一过程待播放视频流数据。
在本申请的另一可选实施例中,web网页端为配置有web服务管控端,ffmpeg推流端,编译nginx集成nginx-http-flv-module模块作为音视频流服务器。其中,编译ffmpeg源码,web服务端实现ffmpeg推流模块;编译nginx源码集成nginx-http-flv-module模块,配置nginx模块 ,打开HTTP播放FLV直播流功能,同时关闭GOP缓存 ,降低延迟。
S103:对第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据;
预设视频播放器支持的视频流格式与第一过程待播放视频流数据对应,所述预设视频播放器为浏览器支持的播放器;对第一过程待播放视频流数据进行视频转码处理,将已经压缩编码封装好的第一过程待播放视频流数据的视频码流转换成第二过程待播放视频流数据的视频码流,预设视频播放器支持的视频数据格式与第一过程待播放视频流数据对应,预设视频播放器将第一过程待播放视频转码为web网页端能够进行播放的视频格式,得到第二过程待播放视频流数据,且预设视频播放器为浏览器支持的播放器,举例说明,如,flv.js等视频播放器。flv.js在获取到FLV格式的音视频数据后将 FLV 文件流转码复用成 ISO BMFF(MP4 碎片)片段 ,再通过媒体源扩展应用程序(Media Source ExtensionsAPI)传递给原生HTML5 Video标签进行播放,进而实现播放实时视频流。
S104:基于web网页端的视频播放标签对第二过程待播放视频流数据进行播放处理,以实现在web网页端视频流的播放。
在本申请的可选实施例中,该用于无人机跟踪装置视频流web端播放的数据处理方法应用于web网页端,以实现在web网页端进行视频流播放,数据处理方法包括:获取待播放摄像头RSTP视频流;对待播放摄像头RSTP视频流进行FLV容器格式的格式转换处理,得到第一过程待播放视频流数据,第一过程待播放视频流数据为用于表示FLV TAG格式的视频流数据;基于预设视频播放器对第一过程待播放视频流数据进行视频转码处理,得到第二过程待播放视频流数据,其中,预设视频播放器为支持FLV格式的视频播放器, web网页端支持第二过程待播放视频流数据的数据格式,预设视频播放器为浏览器支持的播放器;基于web网页端的视频播放标签对第二过程待播放视频流数据进行播放处理,以实现在web网页端视频流的播放。
在本申请的另一可选实施例中,提供了一种用于无人机跟踪装置视频流web端播放的数据处理方法,在web网页端进行视频流播放时,对在web网页端播放的视频进行基于预设目标的跟踪处理,以判断视频中是否存在低空无人机飞行物,如果视频中不存在低空无人机飞行物,继续进行web端视频流播放;
如果视频中存在低空无人机飞行物,对低空无人机飞行物进行身份验证,以判断该低空无人机是否为该区域允许飞行物,如果该低空无人机为非该区域允许飞行物,对该低空无人机进行反制处理,包括警告、驱赶或迫降等反制措施;如果该低空无人机为该区域内允许飞行物,对该低空无人机不做处理。
在本申请实施例中,通过对摄像头实时视频流在web端进行播放,便于区域基站对区域进行实时监控处理,并根据监控结果进行及时的反制处理措施。
在本申请的另一可选实施例中,提供了一种用于无人机跟踪装置视频流web端播放的数据处理方法,图2为本申请提供的一种用于无人机跟踪装置视频流web端播放的数据处理方法的流程图,如图2所示,该方法包括以下步骤:
S201:获取针对视频流播放的第一监听数据;
在web网页端进行视频流播放时,获取针对视频流播放的第一监听数据,其中,第一监听数据为用于表示所述web网页端心跳监听的数据;第一监听数据为web网页端进行延时心跳监测得到的数据。
S202:对第一监听数据视频流延迟计算处理,得到视频流延迟数据;
视频流延迟数据为用于表示视频流播放延迟状况的数据。对第一监听数据进行识别,得到播放位置数据和缓存长度数据,其中,播放位置数据为用于表示无人机跟踪装置摄像头视频流播放位置的数据,缓存长度数据为用于表示无人机跟踪装置摄像头视频流在所述web网页端缓存位置的数据;对播放位置数据和缓存长度数据进行基于差值的延迟计算处理,得到视频流延迟数据,其中,视频流延迟数据为用于表示播放位置数据和缓存长度数据差值的数据。
S203:基于预设延迟阈值数据对视频流延迟数据进行比较,以判断视频流播放延迟是否在预设延迟范围内。
如果视频流延迟数据大于或者等于预设延迟阈值数据,对视频流进行回帧操作,直至视频流延迟数据小于预设阈值数据;如果视频流延迟数据小于预设延迟阈值数据,在所述web网页端继续进行视频流播放。举例说明,如,预设延迟阈值可以为5s,如果视频流延迟时间大于或者等于5s,对视频流进行回帧操作,直到视频流播放时延迟时间小于5s,如果视频流延迟时间小于5s,在web网页端继续进行视频流播放。
Web网页端开启延时心跳监测,获取待播放视频流在web网页端的缓存的程度及该待播放视频流当前播放的位置,计算两者差值,得到该待播放视频流在web网页端播放的延迟时间,将延迟时间与预设的延迟阈值进行比较,累积延迟超过阈值,动态追帧,使延迟控制在合理的范围内,当解码速度跟不上播放速度出现播放卡顿,花屏,监听程序自动回帧,提高视频流播放的流畅度。
在本申请的另一可选实施例中,提供了一种用于无人机跟踪装置视频流web端播放的数据处理方法,图3为本申请提供的一种用于无人机跟踪装置视频流web端播放的数据处理方法的流程图,如图3所示,该方法包括以下步骤:
S301:获取针对视频流播放的第二监听数据;
在web网页端进行视频流播放的过程中,第二监听数据为用于表示所述预设视频播放器对视频流的监听数据;
S302:对第二监听数据进行视频流连接状态判断,得到视频流连接状态数据;
视频流连接状态数据包括用于表示视频流连接状态的数据和视频流连接状态对应的连接次数的数据;
S303:基于预设重连阈值对视频流连接状态数据进行比较,以判断视频流播放是否存在异常,
如果视频流连接状态数据对应的连接次数大于预设重连阈值,输出播放异常提示数据;
如果视频流连接状态数据对应的连接次数小于或等于预设重连阈值,在web网页端继续进行视频流播放。
启动flv监听器,监听视频播放异常,判断web网页端与视频服务器的连接是否已经断开,如果断开,启动断流重连机制并记录重连次数,如果重连次数超过阈值,web网页端停止重连,自动发送错误报告给web服务端,服务端端根据收到的异常报告,审查推流端,视频流服务器,rtsp原始摄像头流是否异常,逐一进行确认,如果是推流端异常,自动重新推异常流,如果是视频流服务器节点异常,自动重启当前服务节点,如果是rtsp原始摄像头流异常,主动生成异常报告推送给相关人员。
在本申请的另一可选实施例中,提供了一种用于无人机跟踪装置视频流web端播放的数据处理方法,在web网页端进行视频流播放时,对待播放视频流数据进行基于视频流数量的识别处理,得到视频流路径特征数据,其中,视频流路径特征数据为用于表示待播放视频流的数量的数据;基于预设视频流路径阈值对视频流路径特征数据进行比较,以判断预设视频流路径阈值是否满足播放待播放视频流数据所需的视频流数量,如果预设视频流路径阈值不满足播放待播放视频流数据所需的视频流数量,基于视频流路径特征数据启动web网页端代理端口,直至满足待播放视频流数据所需的视频流数量;如果预设视频流路径阈值满足播放待播放视频流数据所需的视频流数量,在web网页端进行视频流播放。对视频服务器配置proxy_pass代理模式,http代理端口指向http-flv视频播放端口,根据http-flv视频流并发播放量,动态启用代理,解决web网页端同域下只能播放6路http-flv实时视频流的问题。
在本申请的另一可选实施例中,提供了一种用于视频播放的数据处理装置,该装置应用于web网页端,以实现在web网页端进行视频流播放,图4为本申请提供的一种用于视频流播放的数据处理装置的示意图,如图4所示,该装置包括:
视频流获取模块41,用于获取待播放视频流数据,其中,待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流;
第一转换模块42,用于对待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;
第二转换模块43,用于对第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,其中,预设视频播放器支持的视频流格式与第一过程待播放视频流数据对应,预设视频播放器为浏览器支持的播放器;
播放模块44,基于web网页端的视频播放标签对第二过程待播放视频流数据进行播放处理,以实现在web网页端视频流的播放。
关于上述实施例中各单元的执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
综上所述,在本申请中,获取待播放视频流数据,待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流;对待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;对第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,预设视频播放器支持的视频流格式与第一过程待播放视频流数据对应;基于web网页端的视频播放标签对第二过程待播放视频流数据进行播放处理,以实现在web网页端视频流的播放。通过对无人机跟踪装置摄像头视频流数据进行浏览器支持的播放器的格式转换,使得无人机跟踪装置摄像头视频流在web网页端实时播放,解决了现有技术中进行实时视频流播放时由于延迟较高导致用户体验感较差的技术问题,实现了降低实时视频流播放延迟,提高用户体验感的技术效果。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
显然,本领域的技术人员应该明白,上述的本申请的各单元或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (9)
1.一种用于无人机跟踪装置视频流web端播放的数据处理方法,其特征在于,应用于web网页端,以实现在所述web网页端进行视频流播放,所述数据处理方法包括:
获取待播放视频流数据,其中,所述待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,所述无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流;
对所述待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;
对所述第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,其中,所述预设视频播放器支持的视频流格式与所述第一过程待播放视频流数据对应,所述预设视频播放器为浏览器支持的播放器;
基于所述web网页端的视频播放标签对所述第二过程待播放视频流数据进行播放处理,以实现在所述web网页端进行视频流播放;
其中,在所述web网页端,包括编译ffmpeg源码实现ffmpeg推流端,编译nginx集成nginx-http-flv-module模块作为音视频流服务器;
在所述web网页端进行视频流播放的过程中,获取针对所述视频流播放的第二监听数据,其中,所述第二监听数据为用于表示所述预设视频播放器对视频流的监听数据;
对所述第二监听数据进行视频流连接状态判断,得到视频流连接状态数据,其中,所述视频流连接状态数据包括用于表示视频流连接状态的数据和所述视频流连接状态对应的连接次数的数据;
基于预设重连阈值对所述视频流连接状态数据进行比较,以判断视频流播放是否存在异常,
如果所述视频流连接状态数据对应的连接次数大于所述预设重连阈值,输出播放异常提示数据;
如果所述视频流连接状态数据对应的连接次数小于或等于预设重连阈值,在所述web网页端继续进行视频流播放;
根据所述播放异常提示数据进行异常节点确认处理,得到异常节点数据,包括:审查推流端、视频流服务器、rtsp原始摄像头流是否异常,逐一进行确认,对所述异常节点数据对应的异常节点进行是自动修复处理,包括:如果是推流端异常,自动重新推异常流;如果是视频流服务器节点异常,自动重启当前服务节点;如果是rtsp原始摄像头流异常,生成异常报告推送给管理员端;
在web网页端进行视频流播放时,对在web网页端播放的视频进行基于预设目标的跟踪处理,以判断视频中是否存在低空无人机飞行物,如果视频中不存在低空无人机飞行物,继续进行web端视频流播放;如果视频中存在低空无人机飞行物,对低空无人机飞行物进行身份验证,以判断该低空无人机是否为预设区域允许飞行物,如果该低空无人机为非该区域允许飞行物,对该低空无人机进行反制处理,包括警告、驱赶或迫降反制措施;如果该低空无人机为该区域内允许飞行物,对该低空无人机不做处理。
2.根据权利要求1所述的数据处理方法,其特征在于,在所述web网页端进行视频流播放时,所述方法还包括:
在所述web网页端进行视频流播放的过程中,获取针对所述视频流播放的第一监听数据,其中,所述第一监听数据为用于表示所述web网页端心跳监听的数据;
对所述第一监听数据进行视频流延迟计算处理,得到视频流延迟数据,其中,所述视频流延迟数据为用于表示视频流播放延迟状况的数据;
基于预设延迟阈值数据对所述视频流延迟数据进行比较,以判断视频流播放延迟是否在预设延迟范围内,
如果所述视频流延迟数据大于或者等于所述预设延迟阈值数据,对视频流进行回帧操作,直至所述视频流延迟数据小于所述预设延迟阈值数据;
如果所述视频流延迟数据小于所述预设延迟阈值数据,在所述web网页端继续进行视频流播放。
3.根据权利要求2所述的数据处理方法,其特征在于,对所述第一监听数据视频流延迟计算处理,得到视频流延迟数据包括:
对所述第一监听数据进行识别,得到播放位置数据和缓存长度数据,其中,所述播放位置数据为用于表示所述无人机跟踪装置摄像头视频流播放位置的数据,所述缓存长度数据为用于表示所述无人机跟踪装置摄像头视频流在所述web网页端缓存位置的数据;
对所述播放位置数据和所述缓存长度数据进行基于差值的延迟计算处理,得到所述视频流延迟数据,其中,所述视频流延迟数据为用于表示所述播放位置数据和所述缓存长度数据差值的数据。
4.根据权利要求1所述的数据处理方法,其特征在于,对所述待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据包括:
对所述待播放视频流数据进行识别处理,得到第一待播放视频流数据和第二待播放视频流数据,其中,所述第一待播放视频流数据为用于表示所述无人机跟踪装置摄像头视频流中的视频数据,所述第二待播放视频流数据为用于表示所述无人机跟踪装置摄像头视频流中的音频数据;
对所述第一待播放视频流数据进行视频编码压缩处理,得到第一编码待播放视频流数据;
对所述第二待播放视频流数据进行音频编码压缩处理,得到第二编码待播放视频流数据;
对所述第一编码待播放视频流数据和所述第二编码待播放视频流数据进行基于预设格式的封装处理,得到所述第一过程待播放视频流数据。
5.根据权利要求1所述的数据处理方法,其特征在于,在所述web网页端进行视频流播放时,所述方法还包括:
对所述待播放视频流数据进行基于视频流数量的识别处理,得到视频流路径特征数据,其中,所述视频流路径特征数据为用于表示所述待播放视频流的数量的数据;
基于预设视频流路径阈值对所述视频流路径特征数据进行比较,以判断预设视频流路径阈值是否满足播放所述待播放视频流数据所需的视频流数量,
如果所述预设视频流路径阈值不满足播放所述待播放视频流数据所需的视频流数量,基于所述视频流路径特征数据启动web网页端代理端口,直至满足所述待播放视频流数据所需的视频流数量;
如果所述预设视频流路径阈值满足播放所述待播放视频流数据所需的视频流数量,在所述web网页端进行视频流播放。
6.根据权利要求1所述的数据处理方法,其特征在于,应用于web网页端,以实现在所述web网页端进行视频流播放,所述数据处理方法包括:
获取待播放摄像头RSTP视频流;
对所述待播放摄像头RSTP视频流进行FLV容器格式的格式转换处理,得到所述第一过程待播放视频流数据,所述第一过程待播放视频流数据为用于表示FLV TAG格式的视频流数据;
基于所述预设视频播放器对所述第一过程待播放视频流数据进行视频转码处理,得到所述第二过程待播放视频流数据,其中,所述预设视频播放器为支持FLV格式的视频播放器,所述web网页端支持所述第二过程待播放视频流数据的数据格式,所述预设视频播放器为浏览器支持的播放器;
基于所述web网页端的视频播放标签对所述第二过程待播放视频流数据进行播放处理,以实现在所述web网页端进行视频流播放。
7.一种用于无人机跟踪装置视频流播放的数据处理装置,其特征在于,应用于web网页端,以实现在所述web网页端进行视频流播放,所述数据处理装置包括:
视频流获取模块,用于获取待播放视频流数据,其中,所述待播放视频流数据为用于表示无人机跟踪装置摄像头视频流的数据,所述无人机跟踪装置摄像头视频流为通过摄像头采集到的视频流;
第一转换模块,用于对所述待播放视频流数据进行基于格式转换的预处理,得到第一过程待播放视频流数据;
第二转换模块,用于对所述第一过程待播放视频流数据进行基于预设视频播放器的视频转码处理,得到第二过程待播放视频流数据,其中,所述预设视频播放器支持的视频流格式与所述第一过程待播放视频流数据对应,所述预设视频播放器为浏览器支持的播放器;
播放模块,基于所述web网页端的视频播放标签对所述第二过程待播放视频流数据进行播放处理,以实现在所述web网页端进行视频流播放;
其中,在所述web网页端,包括编译ffmpeg源码实现ffmpeg推流端,编译nginx集成nginx-http-flv-module模块作为音视频流服务器;
在所述web网页端进行视频流播放的过程中,获取针对所述视频流播放的第二监听数据,其中,所述第二监听数据为用于表示所述预设视频播放器对视频流的监听数据;
对所述第二监听数据进行视频流连接状态判断,得到视频流连接状态数据,其中,所述视频流连接状态数据包括用于表示视频流连接状态的数据和所述视频流连接状态对应的连接次数的数据;
基于预设重连阈值对所述视频流连接状态数据进行比较,以判断视频流播放是否存在异常,
如果所述视频流连接状态数据对应的连接次数大于所述预设重连阈值,输出播放异常提示数据;
如果所述视频流连接状态数据对应的连接次数小于或等于预设重连阈值,在所述web网页端继续进行视频流播放;
根据所述播放异常提示数据进行异常节点确认处理,得到异常节点数据,包括:审查推流端、视频流服务器、rtsp原始摄像头流是否异常,逐一进行确认,对所述异常节点数据对应的异常节点进行是自动修复处理,包括:如果是推流端异常,自动重新推异常流;如果是视频流服务器节点异常,自动重启当前服务节点;如果是rtsp原始摄像头流异常,生成异常报告推送给管理员端;
在web网页端进行视频流播放时,对在web网页端播放的视频进行基于预设目标的跟踪处理,以判断视频中是否存在低空无人机飞行物,如果视频中不存在低空无人机飞行物,继续进行web端视频流播放;如果视频中存在低空无人机飞行物,对低空无人机飞行物进行身份验证,以判断该低空无人机是否为预设区域允许飞行物,如果该低空无人机为非该区域允许飞行物,对该低空无人机进行反制处理,包括警告、驱赶或迫降反制措施;如果该低空无人机为该区域内允许飞行物,对该低空无人机不做处理。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-6任意一项所述的用于无人机跟踪装置视频流web端播放的数据处理方法。
9.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-6任意一项所述的用于无人机跟踪装置视频流web端播放的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211673612.8A CN115665486B (zh) | 2022-12-26 | 2022-12-26 | 用于无人机跟踪装置视频流web端播放的数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211673612.8A CN115665486B (zh) | 2022-12-26 | 2022-12-26 | 用于无人机跟踪装置视频流web端播放的数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115665486A CN115665486A (zh) | 2023-01-31 |
CN115665486B true CN115665486B (zh) | 2023-03-21 |
Family
ID=85022175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211673612.8A Active CN115665486B (zh) | 2022-12-26 | 2022-12-26 | 用于无人机跟踪装置视频流web端播放的数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115665486B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110446010A (zh) * | 2019-08-02 | 2019-11-12 | 江西航天鄱湖云科技有限公司 | 基于web的视频监控方法、装置、存储介质、服务器及系统 |
CN113938470A (zh) * | 2021-10-18 | 2022-01-14 | 成都小步创想慧联科技有限公司 | 一种浏览器播放rtsp数据源的方法、装置以及流媒体服务器 |
CN113938656A (zh) * | 2021-10-27 | 2022-01-14 | 南京工业大学 | 一种浏览器无插件低延迟播放网络监控摄像头视频方法 |
CN114710637A (zh) * | 2022-04-18 | 2022-07-05 | 深圳创维-Rgb电子有限公司 | Web端监控视频流低时延处理方法、装置、设备及介质 |
CN115134664A (zh) * | 2022-06-07 | 2022-09-30 | 北京智能建筑科技有限公司 | 实时视频流的播放方法及系统、非易失性存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011123859A1 (en) * | 2010-04-02 | 2011-10-06 | Skyfire Labs, Inc. | Assisted hybrid mobile browser |
-
2022
- 2022-12-26 CN CN202211673612.8A patent/CN115665486B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110446010A (zh) * | 2019-08-02 | 2019-11-12 | 江西航天鄱湖云科技有限公司 | 基于web的视频监控方法、装置、存储介质、服务器及系统 |
CN113938470A (zh) * | 2021-10-18 | 2022-01-14 | 成都小步创想慧联科技有限公司 | 一种浏览器播放rtsp数据源的方法、装置以及流媒体服务器 |
CN113938656A (zh) * | 2021-10-27 | 2022-01-14 | 南京工业大学 | 一种浏览器无插件低延迟播放网络监控摄像头视频方法 |
CN114710637A (zh) * | 2022-04-18 | 2022-07-05 | 深圳创维-Rgb电子有限公司 | Web端监控视频流低时延处理方法、装置、设备及介质 |
CN115134664A (zh) * | 2022-06-07 | 2022-09-30 | 北京智能建筑科技有限公司 | 实时视频流的播放方法及系统、非易失性存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115665486A (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101614632B1 (ko) | 미디어 데이터의 네트워크 스트리밍을 위한 세그먼트들의 시그널링 특성들 | |
CN104394426B (zh) | 流媒体倍速播放方法和装置 | |
CN105208440B (zh) | 一种mp4格式视频在线播放的方法及系统 | |
CN109587514B (zh) | 一种视频播放方法、介质和相关装置 | |
CN105611395B (zh) | 一种mp4格式视频在线播放的方法及系统 | |
CN106169998B (zh) | 媒体文件的处理方法和装置 | |
CN110662017B (zh) | 一种视频播放质量检测方法和装置 | |
CN106657143A (zh) | 一种流媒体传输方法、装置、服务器及终端 | |
CN110636346A (zh) | 一种码率自适应切换方法、装置、电子设备及存储介质 | |
CN104639900B (zh) | Rtmp转m3u8视频切片系统及方法 | |
CN108966006A (zh) | 视频的播放方法、浏览器设备及可读存储介质 | |
CN105681817A (zh) | 一种智能终端视音频采集传输播放系统和方法 | |
CN108632679B (zh) | 一种多媒体数据传输的方法和一种视联网终端 | |
US20240080487A1 (en) | Method, apparatus for processing media data, computer device and storage medium | |
CN113079386B (zh) | 一种视频在线播放方法、装置、电子设备及存储介质 | |
CN115665486B (zh) | 用于无人机跟踪装置视频流web端播放的数据处理方法 | |
CN116614686A (zh) | 一种实时音视频播放方法 | |
CN107071356A (zh) | 一种多媒体优化服务器及其视频信息处理方法 | |
CN114339146B (zh) | 音视频监控方法、装置、电子设备及计算机可读存储介质 | |
Thang et al. | Video streaming over HTTP with dynamic resource prediction | |
CN109168090A (zh) | 利用gpu实现h264视频流转hls视频流的方法 | |
CN111787417B (zh) | 基于人工智能ai的音视频的传输控制方法及相关设备 | |
CN115134664A (zh) | 实时视频流的播放方法及系统、非易失性存储介质 | |
CN116781973A (zh) | 视频编解码方法、装置、存储介质和电子设备 | |
CN113824715B (zh) | 一种实时视频流的播放方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |