CN103051982B - 一种视频流传输控制方法以及视频流传输控制装置 - Google Patents

一种视频流传输控制方法以及视频流传输控制装置 Download PDF

Info

Publication number
CN103051982B
CN103051982B CN201210586278.2A CN201210586278A CN103051982B CN 103051982 B CN103051982 B CN 103051982B CN 201210586278 A CN201210586278 A CN 201210586278A CN 103051982 B CN103051982 B CN 103051982B
Authority
CN
China
Prior art keywords
teleoperation robot
video flowing
value
mentioned
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210586278.2A
Other languages
English (en)
Other versions
CN103051982A (zh
Inventor
王景川
陈卫东
倪智
张晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huawei Technologies Co Ltd
Original Assignee
Shanghai Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huawei Technologies Co Ltd filed Critical Shanghai Huawei Technologies Co Ltd
Priority to CN201210586278.2A priority Critical patent/CN103051982B/zh
Publication of CN103051982A publication Critical patent/CN103051982A/zh
Application granted granted Critical
Publication of CN103051982B publication Critical patent/CN103051982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)
  • Communication Control (AREA)

Abstract

本发明实施例公开了一种视频流传输控制方法以及视频流传输控制装置,其中,一种视频流传输控制方法包括:获取当前网络的可用带宽;当遥操作机器人的当前速度不为0时,根据遥操作机器人的当前速度确定视频流的第一码率值,其中,第一码率值为在遥操作机器人的当前速度下,能够满足遥操作机器人的视频流接收端的体验要求的最低码率值;通过综合当前网络的可用带宽以及上述第一码率值,优先调节视频流的平均码率的方式调整遥操作机器人当前的视频流传输带宽,使遥操作机器人当前的视频流传输带宽在小于当前网络的可用带宽下尽可能地满足遥操作机器人的视频流接收端的体验要求。本发明提供的技术方案能够有效提高视频流传输的实时性和用户的体验感。

Description

一种视频流传输控制方法以及视频流传输控制装置
技术领域
本发明涉及流媒体领域,尤其涉及一种视频流传输控制方法以及视频流传输控制装置。
背景技术
遥操作是机器人应用的一种重要技术,操作人员通过遥操作平台即可监视和控制远方机器人完成各种作业任务。
随着时代的发展,遥操作机器人在越来越多的领域里发挥了不可替代的作用,如远程的病房监控、核反应堆内部的管理等,都可以见到遥操作机器人的身影,其中,音视频的通信成为遥操作机器人体验性的重要的组成部分。而音视频的传输方法对交互体验性起到了决定性的作用。随着流媒体编解码技术和高清电视(HDTV,High Definition Television)的发展,各遥操作机器人生产厂家不断借鉴现有技术,同时结合机器人运动特性,开发出适合机器人平台的流媒体传输方法。
对于视频压缩标准,H.264是国际通信联盟(ITU,InternationalTelecommunication Unite)和运动图像专家组(MPEG,Motion Picture ExpertsGroup)联合制定的视频编码标准,H.264以其高压缩比,更好的网际互联协议(IP,Internet Protocol)网络信道适应性逐渐被大家采用,也成为编码高清视频流的有效的编码方式。其中,x264是一个基于H.264的免费开源的视频编码器,摒弃了H.264中复杂度大而性价比低的算法,提高了编码的实时性。对于音频压缩标准,G.729编码方式广泛应用于数字电话领域,也成为当今主流的音频编码标准之一。
为保证移动机器人平台的流媒体传输,在网络带宽受限的情况下,目前采用如下视频流传输控制方法来使移动机器人的流媒体传输带宽小于网络的可用带宽:通过切换流媒体发送端的视频流编码方式来调整数据包的大小,利用不同压缩方式压缩比的不同所得到的数据包的大小也不同的原理,在网络畅通时选择较低压缩比的数据压缩方法,在网络拥堵时选择较高的数据压缩比方法,从而得到不同带宽的视频流,实现在网络带宽受限情况下自适应网络带宽。
然而,由于移动机器人经常在无线网络覆盖的地区运动,当网络状况时变时,就会不断切换编码方式,而在切换编码方式的间隙会有1秒左右的过渡暂态过程,这将影响视频流传输的实时性,降低了用户的体验感。
发明内容
本发明实施例提供了一种视频流传输控制方法以及视频流传输控制装置,用于提高视频流传输的实时性和体验性。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明第一方面提供了一种视频流传输控制方法,应用于遥操作机器人,包括:获取当前网络的可用带宽;
若上述遥操作机器人的当前速度不为0,则:
根据上述遥操作机器人的当前速度,确定视频流的第一码率值,其中,上述第一码率值为在上述遥操作机器人的当前速度下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
若上述当前网络的可用带宽不小于上述第一码率值,则:
调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第一码率值且小于上述当前网络的可用带宽;
若上述当前网络的可用带宽小于上述第一码率值,则:
降低上述视频流的平均码率值,以满足第一条件;
若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件,上述第一条件为:上述当前网络的可用带宽与上述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值。
基于本发明第一方面,在一种可能的实现方式中,
若上述遥操作机器人的当前速度等于0,则,
获取上述遥操作机器人最近传输的n帧图像的像素值均方差,其中,上述n大于1;
若上述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差,且上述当前网络的可用带宽不小于预设的第二码率值,则调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于预设的第二码率值且小于上述当前网络的可用带宽,其中,上述第二码率值为在上述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差时,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
若上述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差,且上述当前网络的可用带宽小于上述预设的第二码率值,则降低上述视频流的平均码率值,以满足上述第一条件,若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
基于本发明第一方面的第一种可能的实现方式,在第二种可能的实现方式中,上述获取上述遥操作机器人最近传输的n帧图像的像素值均方差之后,还包括:
若上述遥操作机器人最近传输的n帧图像的像素值均方差大于上述预设的最小均方差,则:
根据上述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,其中,上述第三码率值为在上述遥操作机器人最近传输的n帧图像的像素值均方差下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
若上述当前网络的可用带宽不小于上述第三码率值,调节上述视频流的平均码率值,使得上述遥操作机器人当前的视频流传输带宽大于上述第三码率值且小于上述当前网络的可用带宽;
若上述当前网络的可用带宽小于上述第三码率值,降低上述视频流的平均码率值,以满足上述第一条件;若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
基于本发明第一方面的第二种可能的实现方式,在第三种可能的实现方式中,上述根据上述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,具体为:
将上述遥操作机器人最近传输的n帧图像的像素值均方差乘以预设的第一正比例系数,得到上述视频流的第三码率值。
基于本发明第一方面,或者本发明第一方面的第一种可能的实现方式,或者本发明第一方面的第二种可能的实现方式,或者本发明第一方面的第三种可能的实现方式,在第四种可能的实现方式中,
上述根据上述遥操作机器人的当前速度,确定视频流的第一码率值,包括:
当上述遥操作机器人的当前速度大于预设速度标定值时,将上述遥操作机器人的当前速度的倒数乘以预设的第二正比例系数,得到视频流的第一码率值;
当上述遥操作机器人的当前速度不大于预设速度标定值时,将预设的第一最低码率标定值作为上述视频流的第一码率值。
基于本发明第一方面,或者本发明第一方面的第一种可能的实现方式,或者本发明第一方面的第二种可能的实现方式,或者本发明第一方面的第三种可能的实现方式,或者本发明第一方面的第四种可能的实现方式,在第五种可能的实现方式中,上述获取当前网络的可用带宽包括:
获取往返时延以及上述遥操作机器人的视频流接收端反馈的丢包率;
根据上述往返时延和上述丢包率计算上述当前网络的可用带宽。
本发明第二方面提供了一种视频流传输控制装置,包括:
第一获取单元,用于获取当前网络的可用带宽;
第一确定单元,用于当上述遥操作机器人的当前速度不为0时,根据上述遥操作机器人的当前速度,确定视频流的第一码率值,其中,上述第一码率值为在上述遥操作机器人的当前速度下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
第一调节单元,用于当上述遥操作机器人的当前速度不为0,且上述第一获取单元获取的当前网络的可用带宽不小于上述第一确定单元确定的第一码率值时,调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第一码率值且小于上述当前网络的可用带宽;
第二调节单元,用于当上述遥操作机器人的当前速度不为0,且上述第一获取单元获取的当前网络的可用带宽小于上述第一确定单元确定的第一码率值时,降低上述视频流的平均码率值,以满足第一条件;当将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件时,降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件,其中,上述第一条件为:上述当前网络的可用带宽与上述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值。
基于本发明第二方面,在第一种可能的实现方式中,
上述视频流传输控制装置还包括:
第二获取单元,用于当上述遥操作机器人的当前速度等于0时,获取上述遥操作机器人最近传输的n帧图像的像素值均方差,其中,上述n大于1;
上述第一调节单元,还用于:当上述第二获取单元获取的像素值均方差不大于预设的最小均方差,且上述第一获取单元获取的当前网络的可用带宽不小于预设的第二码率值时,调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于预设的第二码率值且小于上述当前网络的可用带宽,其中,上述第二码率值为在上述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差时,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
上述第二调节单元,还用于:当上述第二获取单元获取的像素值均方差不大于预设的最小均方差,且上述第一获取单元获取的当前网络的可用带宽小于上述预设的第二码率值时,降低上述视频流的平均码率值,以满足上述第一条件,若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
基于本发明第二方面的第一种可能的实现方式,在第二种可能的实现方式中,上述视频流传输控制装置还包括:
第二确定单元,用于当上述遥操作机器人的当前速度等于0,且上述第二获取单元获取的像素值均方差大于预设的最小均方差时,根据上述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,其中,上述第三码率值为在上述遥操作机器人最近传输的n帧图像的像素值均方差下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
上述第一调节单元,还用于:当上述第一获取单元获取的当前网络的可用带宽不小于上述第二确定单元确定的第三码率值时,调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第三码率值且小于上述当前网络的可用带宽;
上述第二调节单元,还用于:当上述第一获取单元获取的当前网络的可用带宽小于上述第二确定单元确定的第三码率值时,降低上述视频流的平均码率值,以满足上述第一条件;当将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件时,降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
基于本发明第二方面的第二种可能的实现方式,在第三种可能的实现方式中,上述第二确定单元具体用于:将上述遥操作机器人最近传输的n帧图像的像素值均方差乘以预设的第一正比例系数,得到上述视频流的第三码率值。
基于本发明第二方面,或者本发明第二方面的第一种可能的实现方式,或者本发明第二方面的第二种可能的实现方式,或者本发明第二方面的第三种可能的实现方式,在第四种可能的实现方式中,上述第一确定单元具体用于:当上述遥操作机器人的当前速度大于预设速度标定值时,将上述遥操作机器人的当前速度的倒数乘以预设的第二正比例系数,得到视频流的第一码率值;当上述遥操作机器人的当前速度不大于预设速度标定值时,将预设的第一最低码率标定值作为上述视频流的第一码率值。
基于本发明第二方面,或者本发明第二方面的第一种可能的实现方式,或者本发明第二方面的第二种可能的实现方式,或者本发明第二方面的第三种可能的实现方式,或者本发明第二方面的第四种可能的实现方式,在第五种可能的实现方式中,上述第一获取单元包括:
获取子单元,用于获取往返时延以及上述遥操作机器人的视频流接收端反馈的丢包率;
计算单元,用于根据上述获取子单元获取的往返时延以及上述遥操作机器人的视频流接收端反馈的丢包率,计算上述当前网络的可用带宽。
由上可见,本发明实施例在遥操作机器人的当前速度不为0,即处于运动场景时,一方面,通过综合当前网络的可用带宽以及由遥操作机器人的当前速度确定的满足遥操作机器人的视频流接收端的体验要求的最低码率值,使遥操作机器人当前的视频流传输带宽在小于当前网络的可用带宽下尽可能地满足遥操作机器人的视频流接收端的体验要求,提高了用户的体验感,另一方面,通过优先调节视频流的平均码率的方式调整遥操作机器人当前的视频流传输带宽,由于调整视频流的平均码率不需要深入到编码方式内部进行调节,从而有效避免了在利用切换编码方式调整遥操作机器人的视频流传输带宽的过程中存在的1秒左右的过渡暂态间隙,保证了视频流传输的实时性。可见,相对于现有的视频流传输控制方法,本发明提供的技术方案有效提高了视频流传输的实时性和用户的体验感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种视频流传输控制方法一个实施例流程示意图;
图2为本发明提供的一种视频流传输控制方法另一个实施例流程示意图;
图3为本发明提供的一种视频流传输控制装置一个实施例结构示意图;
图4为本发明提供的一种视频流传输控制装置另一个实施例结构示意图。
具体实施方式
本发明实施例提供了一种视频流传输控制方法以及视频流传输控制装置。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面对本发明实施例中的一种视频流传输控制方法进行描述,该视频流传输控制方法应用于遥操作机器人,请参阅图1,本发明实施例中的视频流传输控制方法,包括:
101、获取当前网络的可用带宽;
在本发明的一种实现方式中,视频流传输控制装置可以通过获取往返时延(RTT,Round Trip Time)以及遥操作机器人的视频流接收端反馈的丢包率(如实时传输控制协议(RTCP,Realtime Transport Control Protocol)报文的丢包率)等参数计算出当前网络的可用带宽。在实际应用中,对于丢包率的反馈,遥操作机器人的视频流接收端(为便于描述,下面将遥操作机器人的视频流接收端统一描述为遥操作者)可以在接收到上述遥操作机器人的实时传输协议(RTP,Realtime Transport Protocol)数据包和RTCP报文后,根据实际接收到的RTP数据包的数量R’,对比RTCP报文R,通过公式L=(R-R’)/R,计算出丢包率后反馈给视频流传输控制装置。当视频流传输控制装置获取到RTT和L,采用吞吐量公式法:
c = 1.5 * 2 3 * MTU RTT * L ≈ 1.22 * MTU RTT * L , 即可得到当前网络的可用带宽c。
当然,在本发明实施例中,视频流传输控制装置也可以通过其它方式获取当前网络的可用带宽,例如,可以由其它外部设备(如网管设备)将当前网络的可用带宽实时通知给视频流传输控制装置,本发明不对获取当前网络的可用带宽的方式进行限定。
102、当上述遥操作机器人的当前速度不为0时,根据上述遥操作机器人的当前速度,确定视频流的第一码率值;
其中,上述第一码率值为在上述遥操作机器人的当前速度下,能够满足遥操作者的体验要求的最低码率值。
本发明实施例中,将遥操作机器人速度不为0的工作场景称为运动场景,在运动场景下,视频流传输控制装置根据遥操作机器人的当前速度确定出上述第一码率值。在一种实现方式中,当上述遥操作机器人的当前速度大于预设速度标定值时,将上述遥操作机器人的当前速度的倒数乘以预设的第二正比例系数,得到视频流的第一码率值,当上述遥操作机器人的当前速度不大于预设速度标定值时,将预设的第一最低码率标定值作为上述第一码率值,其中,上述速度标定值、上述第二正比例系数以及上述第一最低码率标定值可以通过在运动场景下对上述遥操作机器人进行多次实验分析得到,对于不同的遥操作机器人,上述速度标定值、上述第二正比例系数以及上述第一最低码率标定值可能有所不同。
视频流传输控制装置比较步骤101获取到的当前网络的可用带宽和步骤102获取到的第一码率值,在当前网络的可用带宽不小于上述第一码率值时,执行步骤103,在当前网络的可用带宽小于上述第一码率值时,执行步骤104。
103、调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第一码率值且小于当前网络的可用带宽;
视频流传输控制装置对上述视频流的平均码率值进行调节,由于平均码率值与视频流传输带宽成正比,因此,通过调节视频的平均码率值,即可改变上述遥操作机器人当前的视频流传输带宽。本发明实施例中通过调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第一码率值且小于当前网络的可用带宽。
对于采用H.264和X264等视频流编码方式的视频流,视频流传输控制装置可以通过调节恒定码率因数(CRF,Constant Rate Factor)来调整视频流的平均码率值,视频流的平均码率值与CRF成反比例关系,即当CRF值越大,视频流的平均码率值越小。在本发明实施例中,可将CRF的取值范围设定为:18≦CRF≦24,当然,根据具体场景的不同,CRF也可以有其它取值范围,此处不作限定。
104、降低上述视频流的平均码率值,以满足第一条件;
其中,上述第一条件为:上述当前网络的可用带宽与上述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值,其中,上述最小余量值可以根据实际网络环境进行设定。
在本发明实施例中,在当前网络的可用带宽小于上述第一码率值时,优先降低上述视频流的平均码率值,以满足上述第一条件。
在本发明实施例中,为了保证视频流能够正常播放,视频流的平均码率值不能太小,因此,当将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则停止对上述视频流的平均码率的调整并执行步骤105,当上述视频流的平均码率未降低到可接受的平均码率最小值时已满足上述第一条件,则不需要执行步骤105。举例说明,对于采用H.264和X264等视频流编码方式的视频流,假设设定18≦CRF≦24,视频流传输控制装置通过增大CRF值来降低视频流的平均码率,当CRF增大到a1(18≦a1≦24)时能够满足第一条件,则结束此次流程,当CRF增大到24时,意味着视频流的平均码率已经降低到可接受的平均码率,如果此时仍然不满足上述第一条件,则停止对上述视频流的平均码率的调整并执行步骤105。
105、降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
本发明实施例中,视频流传输控制装置可以通过开源计算机视觉库(OpenCV,Open Source Computer Vision)来降低上述视频流的分辨率和帧率。
由于在运动场景下,遥操作者对视频流的分辨率的要求程度较低,因此,本发明实施例中,视频流传输控制装置也可优先降低上述视频流的分辨率。
需要说明的是,本发明实施例中的视频流主要是指安装在上述遥操作机器人上的视频采集设备(如摄像头等)所采集到的视频流,当然,上述视频流也可能是上述遥操作机器人通过其它方式得到的视频流,此处不作限定。
需要说明的是,本发明实施例中的视频流传输控制装置可以集成在上述遥操作机器人上,或者,视频流传输控制装置也可以是能够与上述遥操作机器人通讯的独立装置,此处不作限定。
由上可见,本发明实施例在遥操作机器人的当前速度不为0,即处于运动场景时,一方面,通过综合当前网络的可用带宽以及由遥操作机器人的当前速度确定的满足遥操作机器人的视频流接收端的体验要求的最低码率值,使遥操作机器人当前的视频流传输带宽在小于当前网络的可用带宽下尽可能地满足遥操作机器人的视频流接收端的体验要求,提高了用户的体验感,另一方面,通过优先调节视频流的平均码率的方式调整遥操作机器人当前的视频流传输带宽,由于调整视频流的平均码率不需要深入到编码方式内部进行调节,从而有效避免了在利用切换编码方式调整遥操作机器人的视频流传输带宽的过程中存在的1秒左右的过渡暂态间隙,保证了视频流传输的实时性。可见,相对于现有的视频流传输控制方法,本发明提供的技术方案有效提高视频流传输的实时性和用户的体验感。
上述实施例主要是对遥操作机器人在运动场景下的视频流传输控制方法进行描述,在本发明实施例中,遥操作机器人的工作场景除了运动场景之外,还存在静止场景和聊天场景两种工作场景。下面结合遥操作机器人的上述三种工作场景,以另一个实施例对本发明中的视频流传输控制方法进行描述,请参与图2,包括:
201、获取当前网络的可用带宽;
在本发明的一种实现方式中,视频流传输控制装置可以通过获取RTT以及遥操作机器人的视频流接收端反馈的丢包率(如RTCP报文的丢包率)等参数计算出当前网络的可用带宽。在实际应用中,对于丢包率的反馈,遥操作机器人的视频流接收端(为便于描述,下面将遥操作机器人的视频流接收端统一描述为遥操作者)可以在接收到上述遥操作机器人的RTP数据包和RTCP报文后,根据实际接收到的RTP数据包的数量R’,对比RTCP报文R,通过公式L=(R-R’)/R,计算出丢包率后反馈给视频流传输控制装置。当视频流传输控制装置获取到RTT和L,采用吞吐量公式法:
c = 1.5 * 2 3 * MTU RTT * L ≈ 1.22 * MTU RTT * L , 即可得到当前网络的可用带宽c。
当然,在本发明实施例中,视频流传输控制装置也可以通过其它方式获取当前网络的可用带宽,例如,可以由其它外部设备(如网管设备)将当前网络的可用带宽实时通知给视频流传输控制装置,本发明不对获取当前网络的可用带宽的方式进行限定。
202、确定上述遥操作机器人的当前工作场景;
若上述遥操作机器人的工作场景为运动场景,则执行步骤203a~207。
若上述遥操作机器人的工作场景为静止场景,则执行步骤203b~207。
若上述遥操作机器人的工作场景为聊天场景,则执行步骤203c~207。
其中,当上述遥操作机器人的当前速度不为0时,则确定上述遥操作机器人的当前工作场景为运动场景;
当上述遥操作机器人的当前速度等于0时,则视频流传输控制装置需要进一步根据遥操作机器人最近传输的n帧图像的像素值均方差来确定遥操作机器人当前是处于静止场景还是运动场景,具体方式如下:
视频流传输控制装置获取上述遥操作机器人最近传输的n帧图像的像素值均方差,其中,上述n大于1,在实际应用中,上述n为由多次实验分析得到的经验值,在一种场景下,当n取5时实验效果较优。
视频流传输控制装置比较上述获取的最近传输的n帧图像的像素值均方差与预设的最小均方差,当上述获取的最近传输的n帧图像的像素值均方差不大于上述预设的最小均方差时,则确定遥操作机器人当前是处于静止场景,当上述获取的最近传输的n帧图像的像素值均方差大于上述预设的最小均方差时,则确定遥操作机器人当前是处于聊天场景。其中,上述最小均方差为由多次实验分析得到的经验值,在一种场景下,当上述最小均方差设为9时实验效果较优。
203a、根据上述遥操作机器人的当前速度,确定视频流的第一码率值,令M等于上述第一码率值;
其中,上述第一码率值为在上述遥操作机器人的当前速度下,能够满足遥操作者的体验要求的最低码率值。
在一种实现方式中,当上述遥操作机器人的当前速度大于预设速度标定值时,将上述遥操作机器人的当前速度的倒数乘以预设的第二正比例系数,得到视频流的第一码率值,当上述遥操作机器人的当前速度不大于预设速度标定值时,将预设的第一最低码率标定值作为上述第一码率值,其中,上述速度标定值、上述第二正比例系数以及上述第一最低码率标定值可以通过在运动场景下对上述遥操作机器人进行多次实验分析得到,对于不同的遥操作机器人,上述速度标定值、上述第二正比例系数以及上述第一最低码率标定值可能有所不同。
203b、令M等于预设的第二码率值,上述第二码率值为在静止场景下能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值,该第二码率值可以通过在静止场景下对上述遥操作机器人进行多次实验分析得到。
203c、根据上述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,令M等于上述第三码率值;
其中,上述第三码率值为在上述遥操作机器人最近传输的n帧图像的像素值均方差下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
在一种实现方式中,将上述遥操作机器人最近传输的n帧图像的像素值均方差乘以预设的第一正比例系数,得到上述视频流的第三码率值。其中,上述第一正比例系数可以通过在聊天场景下对上述遥操作机器人进行多次实验分析得到,对于不同的遥操作机器人,上述第一正比例系数也可能有所不同。
204、比较当前网络的可用带宽和上述M;
视频流传输控制装置比较步骤201获取的当前网络的可用带宽和上述M,若当前网络的可用带宽不小于上述M,则执行步骤205,若当前网络的可用带宽小于上述M,则执行步骤206。
205、调节上述视频流的平均码率值,使得上述遥操作机器人当前的视频流传输带宽大于上述M且小于上述当前网络的可用带宽。
视频流传输控制装置对上述视频流的平均码率值进行调节,由于平均码率值与视频流传输带宽成正比,因此,通过调节视频的平均码率值,即可改变上述遥操作机器人当前的视频流传输带宽。本发明实施例中通过调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述M且小于当前网络的可用带宽。
对于采用H.264和X264等视频流编码方式的视频流,视频流传输控制装置可以通过调节CRF来调整视频流的平均码率值,视频流的平均码率值与CRF成反比例关系,即当CRF值越大,视频流的平均码率值越小。在本发明实施例中,可将CRF的取值范围设定为:18≦CRF≦24,当然,根据具体场景的不同,CRF也可以有其它取值范围,此处不作限定。
206、降低上述视频流的平均码率值,以满足第一条件;
其中,上述第一条件为:上述当前网络的可用带宽与上述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值,其中,上述最小余量值可以根据实际网络环境进行设定。
在本发明实施例中,在当前网络的可用带宽小于上述M时,优先降低上述视频流的平均码率值,以满足上述第一条件。
在本发明实施例中,为了保证视频流能够正常播放,视频流的平均码率值不能太小,因此,当将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则停止对上述视频流的平均码率的调整并执行步骤207,当上述视频流的平均码率未降低到可接受的平均码率最小值时已满足上述第一条件,则不需要执行步骤207。举例说明,对于采用H.264和X264等视频流编码方式的视频流,假设设定18≦CRF≦24,视频流传输控制装置通过增大CRF值来降低视频流的平均码率,当CRF增大到a1(18≦a1≦24)时能够满足第一条件,则结束此次流程,当CRF增大到24时,意味着视频流的平均码率已经降低到可接受的平均码率,如果此时仍然不满足上述第一条件,则停止对上述视频流的平均码率的调整并执行步骤207。
207、降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
本发明实施例中,视频流传输控制装置可以通过OpenCV来降低上述视频流的分辨率和帧率。
由于在运动场景下,遥操作者对视频流的分辨率的要求程度较低,而在聊天场景或者静止场景下,遥操作者对视频流的帧率的要求程度较低,因此,在运动场景下,视频流传输控制装置可优先降低上述视频流的分辨率,在聊天场景或者静止场景下,视频流传输控制装置可优先降低上述视频流的帧率。
需要说明的是,本发明实施例中的视频流主要是指安装在上述遥操作机器人上的视频采集设备(如摄像头等)所采集到的视频流,当然,上述视频流也可能是上述遥操作机器人通过其它方式得到的视频流,此处不作限定。
需要说明的是,本发明实施例中的视频流传输控制装置可以集成在上述遥操作机器人上,或者,视频流传输控制装置也可以是能够与上述遥操作机器人通讯的独立装置,此处不作限定。
由上可见,本发明实施例在遥操作机器人的当前速度不为0,即处于运动场景时,一方面,通过综合当前网络的可用带宽以及由遥操作机器人的当前速度确定的满足遥操作机器人的视频流接收端的体验要求的最低码率值,使遥操作机器人当前的视频流传输带宽在小于当前网络的可用带宽下尽可能地满足遥操作机器人的视频流接收端的体验要求,提高了用户的体验感,另一方面,通过优先调节视频流的平均码率的方式调整遥操作机器人当前的视频流传输带宽,由于调整视频流的平均码率不需要深入到编码方式内部进行调节,从而有效避免了在利用切换编码方式调整遥操作机器人的视频流传输带宽的过程中存在的1秒左右的过渡暂态间隙,保证了视频流传输的实时性。此外,本发明实施例进一步还提出了遥操作机器人在聊天场景和静止场景下的视频流传输控制方案,使得遥操作机器人在三种工作场景下都能够提高视频流传输的实时性和用户的体验感。
下面对本发明实施例中的一种视频流传输控制装置进行描述,请参阅图3,本发明实施例中的视频流传输控制装置300,包括:
第一获取单元301,用于获取当前网络的可用带宽;
在本发明的一种实现方式中,第一获取单元301可以通过获取RTT以及遥操作机器人的视频流接收端反馈的丢包率(如RTCP报文的丢包率)等参数计算出当前网络的可用带宽。在实际应用中,对于丢包率的反馈,遥操作机器人的视频流接收端(为便于描述,下面将遥操作机器人的视频流接收端统一描述为遥操作者)可以在接收到上述遥操作机器人的RTP数据包和RTCP报文后,根据实际接收到的RTP数据包的数量R’,对比RTCP报文R,通过公式L=(R-R’)/R,计算出丢包率后反馈给视频流传输控制装置。第一获取单元301具体可包括:获取子单元和计算单元,其中,获取子单元用于获取到RTT和L,计算单元用于根据上述获取子单元获取的RTT和L,计算上述当前网络的可用带宽,如上述计算单元可以采用吞吐量公式法:
c = 1.5 * 2 3 * MTU RTT * L ≈ 1.22 * MTU RTT * L , 计算出当前网络的可用带宽c。
当然,在本发明实施例中,第一获取单元301也可以通过其它方式获取当前网络的可用带宽,例如,可以由其它外部设备(如网管设备)将当前网络的可用带宽实时通知给视频流传输控制装置,本发明不对获取当前网络的可用带宽的方式进行限定。
第一确定单元302,用于当遥操作机器人的当前速度不为0时,根据上述遥操作机器人的当前速度,确定视频流的第一码率值,其中,上述第一码率值为在上述遥操作机器人的当前速度下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;
本发明实施例中,将遥操作机器人速度不为0的工作场景称为运动场景,在运动场景下,第一确定单元302根据遥操作机器人的当前速度确定出上述第一码率值。在一种实现方式中,当上述遥操作机器人的当前速度大于预设速度标定值时,第一确定单元302将上述遥操作机器人的当前速度的倒数乘以预设的第二正比例系数,得到视频流的第一码率值,当上述遥操作机器人的当前速度不大于预设速度标定值时,第一确定单元302将预设的第一最低码率标定值作为上述第一码率值,其中,上述速度标定值、上述第二正比例系数以及上述第一最低码率标定值可以通过在运动场景下对上述遥操作机器人进行多次实验分析得到,对于不同的遥操作机器人,上述速度标定值、上述第二正比例系数以及上述第一最低码率标定值可能有所不同。
第一调节单元303,用于当上述遥操作机器人的当前速度不为0,且第一获取单元301获取的当前网络的可用带宽不小于第一确定单元302确定的第一码率值时,调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第一码率值且小于上述当前网络的可用带宽。
第二调节单元304,用于当上述遥操作机器人的当前速度不为0,且第一获取单元301获取的当前网络的可用带宽小于第一确定单元302确定的第一码率值时,降低上述视频流的平均码率值,以满足第一条件;当将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件时,降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件,其中,上述第一条件为:上述当前网络的可用带宽与上述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值。
进一步,本发明实施例的视频流传输控制装置300还可用于对上述遥操作机器人在静止场景下的视频流传输进行控制,则在图3所示实施例的基础上,视频流传输控制装置300还可以包括:第二获取单元,用于当上述遥操作机器人的当前速度等于0时,获取上述遥操作机器人最近传输的n帧图像的像素值均方差,其中,上述n大于1;第一调节单元303,还用于:当第二获取单元获取的像素值均方差不大于预设的最小均方差,且第一获取单元301获取的当前网络的可用带宽不小于预设的第二码率值时,调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于预设的第二码率值且小于上述当前网络的可用带宽;第二调节单元304,还用于:当上述第二获取单元获取的像素值均方差不大于预设的最小均方差,且第一获取单元301获取的当前网络的可用带宽小于上述预设的第二码率值时,降低上述视频流的平均码率值,以满足上述第一条件,若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
进一步,本发明实施例的视频流传输控制装置300还可用于对上述遥操作机器人在聊天场景下的视频流传输进行控制,则视频流传输控制装置300还可以包括:第二确定单元,用于当上述遥操作机器人的当前速度等于0,且上述第二获取单元获取的像素值均方差大于预设的最小均方差时,根据上述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,其中,上述第三码率值为在上述遥操作机器人最近传输的n帧图像的像素值均方差下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;第一调节单元303,还用于:当第一获取单元301获取的当前网络的可用带宽不小于上述第二确定单元确定的第三码率值时,调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第三码率值且小于上述当前网络的可用带宽;第二调节单元304,还用于:当第一获取单元301获取的当前网络的可用带宽小于上述第二确定单元确定的第三码率值时,降低上述视频流的平均码率值,以满足上述第一条件;当将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件时,降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。在一种实现方式中,上述第二确定单元具体用于:将上述遥操作机器人最近传输的n帧图像的像素值均方差乘以预设的第一正比例系数,得到上述视频流的第三码率值。
需要说明的是,本发明实施例中的视频流主要是指安装在上述遥操作机器人上的视频采集设备(如摄像头等)所采集到的视频流,当然,上述视频流也可能是上述遥操作机器人通过其它方式得到的视频流,此处不作限定。
需要说明的是,本发明实施例中的视频流传输控制装置300可以集成在上述遥操作机器人上,或者,视频流传输控制装置300也可以是能够与上述遥操作机器人通讯的独立装置,此处不作限定。
需要说明的是,本发明实施例中的视频流传输控制装置300可以如上述方法实施例中的视频流传输控制装置,可以用于实现上述方法实施例中的全部技术方案,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
由上可见,本发明实施例在遥操作机器人的当前速度不为0,即处于运动场景时,一方面,通过综合当前网络的可用带宽以及由遥操作机器人的当前速度确定的满足遥操作机器人的视频流接收端的体验要求的最低码率值,使遥操作机器人当前的视频流传输带宽在小于当前网络的可用带宽下尽可能地满足遥操作机器人的视频流接收端的体验要求,提高了用户的体验感,另一方面,通过优先调节视频流的平均码率的方式调整遥操作机器人当前的视频流传输带宽,由于调整视频流的平均码率不需要深入到编码方式内部进行调节,从而有效避免了在利用切换编码方式调整遥操作机器人的视频流传输带宽的过程中存在的1秒左右的过渡暂态间隙,保证了视频流传输的实时性。此外,本发明实施例进一步还提出了遥操作机器人在聊天场景和静止场景下的视频流传输控制方案,使得遥操作机器人在三种工作场景下都能够提高视频流传输的实时性和用户的体验感。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质存储有程序,该程序执行包括上述方法实施例中记载的部分或全部技术方案。
下面对以另一个实施例对本发明中的视频流传输控制装置进行描述,请参与图4,本发明实施例中的视频流传输控制装置400包括:
输入装置401、输出装置402、存储器403以及处理器404(视频流传输控制装置400中的处理器404的数量可以是一个或者多个,图4以一个处理器为例)。在本发明的一些实施例中,输入装置401、输出装置402、存储器403以及处理器404可以通过总线或其它方式连接,如图4所示以通过总线连接为例。
其中,处理器404执行如下步骤:
获取当前网络的可用带宽;
当上述遥操作机器人的当前速度不为0时,根据上述遥操作机器人的当前速度,确定视频流的第一码率值,其中,上述第一码率值为在上述遥操作机器人的当前速度下,能够满足遥操作者的体验要求的最低码率值;
若当前网络的可用带宽不小于上述第一码率值,则调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于上述第一码率值且小于当前网络的可用带宽;
若当前网络的可用带宽小于上述第一码率值,则降低上述视频流的平均码率值,以满足第一条件,若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件,其中,上述第一条件为:上述当前网络的可用带宽与上述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值,其中,上述最小余量值可以根据实际网络环境进行设定。
进一步,当上述遥操作机器人的当前速度等于0,处理器404还用于:获取上述遥操作机器人最近传输的n帧图像的像素值均方差,其中,上述n大于1;若上述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差,且当前网络的可用带宽不小于预设的第二码率值时,调节上述视频流的平均码率值,使上述遥操作机器人当前的视频流传输带宽大于预设的第二码率值且小于上述当前网络的可用带宽;若上述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差,且当前网络的可用带宽小于上述预设的第二码率值时,降低上述视频流的平均码率值,以满足上述第一条件,若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
进一步,当上述遥操作机器人的当前速度等于0且上述遥操作机器人最近传输的n帧图像的像素值均方差大于上述预设的最小均方差时,处理器404还用于:根据上述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,其中,上述第三码率值为在上述遥操作机器人最近传输的n帧图像的像素值均方差下,能够满足上述遥操作机器人的视频流接收端的体验要求的最低码率值;若上述当前网络的可用带宽不小于上述第三码率值,调节上述视频流的平均码率值,使得上述遥操作机器人当前的视频流传输带宽大于上述第三码率值且小于上述当前网络的可用带宽;若上述当前网络的可用带宽小于上述第三码率值,降低上述视频流的平均码率值,以满足上述第一条件;若将上述视频流的平均码率降低到可接受的平均码率最小值后仍不满足上述第一条件,则降低上述视频流的分辨率和帧率这两个值的至少一个,直至满足上述第一条件。
需要说明的是,本发明实施例中的视频流主要是指安装在上述遥操作机器人上的视频采集设备(如摄像头等)所采集到的视频流,当然,上述视频流也可能是上述遥操作机器人通过其它方式得到的视频流,此处不作限定。
需要说明的是,本发明实施例中的视频流传输控制装置400可以集成在上述遥操作机器人上,或者,视频流传输控制装置400也可以是能够与上述遥操作机器人通讯的独立装置,此处不作限定。
需要说明的是,本发明实施例中的视频流传输控制装置400可以如上述方法实施例中的视频流传输控制装置,可以用于实现上述方法实施例中的全部技术方案,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
由上可见,本发明实施例在遥操作机器人的当前速度不为0,即处于运动场景时,一方面,通过综合当前网络的可用带宽以及由遥操作机器人的当前速度确定的满足遥操作机器人的视频流接收端的体验要求的最低码率值,使遥操作机器人当前的视频流传输带宽在小于当前网络的可用带宽下尽可能地满足遥操作机器人的视频流接收端的体验要求,提高了用户的体验感,另一方面,通过优先调节视频流的平均码率的方式调整遥操作机器人当前的视频流传输带宽,由于调整视频流的平均码率不需要深入到编码方式内部进行调节,从而有效避免了在利用切换编码方式调整遥操作机器人的视频流传输带宽的过程中存在的1秒左右的过渡暂态间隙,保证了视频流传输的实时性。此外,本发明实施例进一步还提出了遥操作机器人在聊天场景和静止场景下的视频流传输控制方案,使得遥操作机器人在三种工作场景下都能够提高视频流传输的实时性和用户的体验感。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以理解上述实施例中的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质例如可以包括:只读存储器、随机存储器、磁盘或光盘等。
以上对本发明所提供的一种视频流传输控制方法以及视频流传输控制装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施例方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频流传输控制方法,应用于遥操作机器人,其特征在于,包括:
获取当前网络的可用带宽;
若所述遥操作机器人的当前速度不为0,则:
根据所述遥操作机器人的当前速度,确定视频流的第一码率值,其中,所述第一码率值为在所述遥操作机器人的当前速度下,能够满足所述遥操作机器人的视频流接收端的体验要求的最低码率值;
若所述当前网络的可用带宽不小于所述第一码率值,则:
调节所述视频流的平均码率值,使所述遥操作机器人当前的视频流传输带宽大于所述第一码率值且小于所述当前网络的可用带宽;
若所述当前网络的可用带宽小于所述第一码率值,则:
降低所述视频流的平均码率值,以满足第一条件;
若将所述视频流的平均码率降低到可接受的平均码率最小值后仍不满足所述第一条件,则降低所述视频流的分辨率和帧率这两个值的至少一个,直至满足所述第一条件,所述第一条件为:所述当前网络的可用带宽与所述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值;
若所述遥操作机器人的当前速度等于0,则,
获取所述遥操作机器人最近传输的n帧图像的像素值均方差,其中,所述n大于1;
若所述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差,且所述当前网络的可用带宽不小于预设的第二码率值,则调节所述视频流的平均码率值,使所述遥操作机器人当前的视频流传输带宽大于预设的第二码率值且小于所述当前网络的可用带宽,其中,所述第二码率值为在所述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差时,能够满足所述遥操作机器人的视频流接收端的体验要求的最低码率值;
若所述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差,且所述当前网络的可用带宽小于所述预设的第二码率值,则降低所述视频流的平均码率值,以满足所述第一条件,若将所述视频流的平均码率降低到可接受的平均码率最小值后仍不满足所述第一条件,则降低所述视频流的分辨率和帧率这两个值的至少一个,直至满足所述第一条件。
2.根据权利要求1所述的方法,其特征在于,所述获取所述遥操作机器人最近传输的n帧图像的像素值均方差之后,还包括:
若所述遥操作机器人最近传输的n帧图像的像素值均方差大于所述预设的最小均方差,则:
根据所述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,其中,所述第三码率值为在所述遥操作机器人最近传输的n帧图像的像素值均方差下,能够满足所述遥操作机器人的视频流接收端的体验要求的最低码率值;
若所述当前网络的可用带宽不小于所述第三码率值,调节所述视频流的平均码率值,使得所述遥操作机器人当前的视频流传输带宽大于所述第三码率值且小于所述当前网络的可用带宽;
若所述当前网络的可用带宽小于所述第三码率值,降低所述视频流的平均码率值,以满足所述第一条件;若将所述视频流的平均码率降低到可接受的平均码率最小值后仍不满足所述第一条件,则降低所述视频流的分辨率和帧率这两个值的至少一个,直至满足所述第一条件。
3.根据权利要求2所述的方法,其特征在于,
所述根据所述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,具体为:
将所述遥操作机器人最近传输的n帧图像的像素值均方差乘以预设的第一正比例系数,得到所述视频流的第三码率值。
4.根据权利要求1至3任一项所述的方法,其特征在于,
所述根据所述遥操作机器人的当前速度,确定视频流的第一码率值,包括:
当所述遥操作机器人的当前速度大于预设速度标定值时,将所述遥操作机器人的当前速度的倒数乘以预设的第二正比例系数,得到视频流的第一码率值;
当所述遥操作机器人的当前速度不大于预设速度标定值时,将预设的第一最低码率标定值作为所述视频流的第一码率值。
5.根据权利要求1至3任一项所述的方法,其特征在于,
所述获取当前网络的可用带宽包括:
获取往返时延以及所述遥操作机器人的视频流接收端反馈的丢包率;
根据所述往返时延和所述丢包率计算所述当前网络的可用带宽。
6.一种视频流传输控制装置,应用于遥操作机器人,其特征在于,包括:
第一获取单元,用于获取当前网络的可用带宽;
第一确定单元,用于当所述遥操作机器人的当前速度不为0时,根据所述遥操作机器人的当前速度,确定视频流的第一码率值,其中,所述第一码率值为在所述遥操作机器人的当前速度下,能够满足所述遥操作机器人的视频流接收端的体验要求的最低码率值;
第一调节单元,用于当所述遥操作机器人的当前速度不为0,且所述第一获取单元获取的当前网络的可用带宽不小于所述第一确定单元确定的第一码率值时,调节所述视频流的平均码率值,使所述遥操作机器人当前的视频流传输带宽大于所述第一码率值且小于所述当前网络的可用带宽;
第二调节单元,用于当所述遥操作机器人的当前速度不为0,且所述第一获取单元获取的当前网络的可用带宽小于所述第一确定单元确定的第一码率值时,降低所述视频流的平均码率值,以满足第一条件;当将所述视频流的平均码率降低到可接受的平均码率最小值后仍不满足所述第一条件时,降低所述视频流的分辨率和帧率这两个值的至少一个,直至满足所述第一条件,其中,所述第一条件为:所述当前网络的可用带宽与所述遥操作机器人当前的视频流传输带宽的差值大于0且小于预设的最小余量值;
所述视频流传输控制装置还包括:
第二获取单元,用于当所述遥操作机器人的当前速度等于0时,获取所述遥操作机器人最近传输的n帧图像的像素值均方差,其中,所述n大于1;
所述第一调节单元,还用于:当所述第二获取单元获取的像素值均方差不大于预设的最小均方差,且所述第一获取单元获取的当前网络的可用带宽不小于预设的第二码率值时,调节所述视频流的平均码率值,使所述遥操作机器人当前的视频流传输带宽大于预设的第二码率值且小于所述当前网络的可用带宽,其中,所述第二码率值为在所述遥操作机器人最近传输的n帧图像的像素值均方差不大于预设的最小均方差时,能够满足所述遥操作机器人的视频流接收端的体验要求的最低码率值;
所述第二调节单元,还用于:当所述第二获取单元获取的像素值均方差不大于预设的最小均方差,且所述第一获取单元获取的当前网络的可用带宽小于所述预设的第二码率值时,降低所述视频流的平均码率值,以满足所述第一条件,若将所述视频流的平均码率降低到可接受的平均码率最小值后仍不满足所述第一条件,则降低所述视频流的分辨率和帧率这两个值的至少一个,直至满足所述第一条件。
7.根据权利要求6所述的视频流传输控制装置,其特征在于,
所述视频流传输控制装置还包括:
第二确定单元,用于当所述遥操作机器人的当前速度等于0,且所述第二获取单元获取的像素值均方差大于预设的最小均方差时,根据所述遥操作机器人最近传输的n帧图像的像素值均方差,确定视频流的第三码率值,其中,所述第三码率值为在所述遥操作机器人最近传输的n帧图像的像素值均方差下,能够满足所述遥操作机器人的视频流接收端的体验要求的最低码率值;
所述第一调节单元,还用于:当所述第一获取单元获取的当前网络的可用带宽不小于所述第二确定单元确定的第三码率值时,调节所述视频流的平均码率值,使所述遥操作机器人当前的视频流传输带宽大于所述第三码率值且小于所述当前网络的可用带宽;
所述第二调节单元,还用于:当所述第一获取单元获取的当前网络的可用带宽小于所述第二确定单元确定的第三码率值时,降低所述视频流的平均码率值,以满足所述第一条件;当将所述视频流的平均码率降低到可接受的平均码率最小值后仍不满足所述第一条件时,降低所述视频流的分辨率和帧率这两个值的至少一个,直至满足所述第一条件。
8.根据权利要求7所述的视频流传输控制装置,其特征在于,
所述第二确定单元具体用于:将所述遥操作机器人最近传输的n帧图像的像素值均方差乘以预设的第一正比例系数,得到所述视频流的第三码率值。
9.根据权利要求6至8任一项所述的视频流传输控制装置,其特征在于,所述第一确定单元具体用于:当所述遥操作机器人的当前速度大于预设速度标定值时,将所述遥操作机器人的当前速度的倒数乘以预设的第二正比例系数,得到视频流的第一码率值;当所述遥操作机器人的当前速度不大于预设速度标定值时,将预设的第一最低码率标定值作为所述视频流的第一码率值。
10.根据权利要求6至8任一项所述的视频流传输控制装置,其特征在于,所述第一获取单元包括:
获取子单元,用于获取往返时延以及所述遥操作机器人的视频流接收端反馈的丢包率;
计算单元,用于根据所述获取子单元获取的往返时延以及所述遥操作机器人的视频流接收端反馈的丢包率,计算所述当前网络的可用带宽。
CN201210586278.2A 2012-12-28 2012-12-28 一种视频流传输控制方法以及视频流传输控制装置 Active CN103051982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210586278.2A CN103051982B (zh) 2012-12-28 2012-12-28 一种视频流传输控制方法以及视频流传输控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210586278.2A CN103051982B (zh) 2012-12-28 2012-12-28 一种视频流传输控制方法以及视频流传输控制装置

Publications (2)

Publication Number Publication Date
CN103051982A CN103051982A (zh) 2013-04-17
CN103051982B true CN103051982B (zh) 2015-09-09

Family

ID=48064463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210586278.2A Active CN103051982B (zh) 2012-12-28 2012-12-28 一种视频流传输控制方法以及视频流传输控制装置

Country Status (1)

Country Link
CN (1) CN103051982B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100681B (zh) * 2014-04-28 2018-09-28 浙江大华技术股份有限公司 视频矩阵级联控制方法、装置及系统
CN106464981B (zh) * 2014-08-11 2019-08-20 华为技术有限公司 视频传输方法和装置
WO2016116936A1 (en) * 2015-01-24 2016-07-28 Valens Semiconductor Ltd. Dynamic real-time compression
CN108347579B (zh) * 2017-01-23 2021-01-05 北京中创视讯科技有限公司 带宽控制方法和装置
TWI749002B (zh) * 2017-03-24 2021-12-11 圓剛科技股份有限公司 多媒體資料傳輸方法及多媒體資料傳輸系統
CN107249011A (zh) * 2017-04-10 2017-10-13 江苏东方金钰智能机器人有限公司 基于WebRTC的机器人遥操作系统
CN108789456A (zh) * 2017-05-02 2018-11-13 北京米文动力科技有限公司 一种远程视频传输方法及系统
CN109660824B (zh) * 2017-10-10 2022-07-12 阿里巴巴(中国)有限公司 一种视频提供、处理方法、视频处理装置及服务器
SE542531C2 (en) 2017-12-22 2020-06-02 Epiroc Rock Drills Ab Controlling communication of a mining and / or construction machine
CN109996094B (zh) * 2017-12-29 2021-08-13 杭州海康威视系统技术有限公司 视频播放方法、装置及系统
CN109819333B (zh) * 2019-01-10 2021-05-07 广州视源电子科技股份有限公司 视频流码率分配方法、装置及计算机可读存储介质
CN111130923B (zh) * 2019-11-29 2021-07-09 北京达佳互联信息技术有限公司 网络带宽确定方法、装置、电子设备及存储介质
CN111193911B (zh) * 2020-01-15 2021-12-14 未来新视界文化科技(嘉善)有限公司 大数据视频的速传处理方法和装置
CN115474075A (zh) * 2022-07-31 2022-12-13 浙江工业大学 一种面向移动机器人的视频编码参数控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040172478A1 (en) * 2001-07-19 2004-09-02 Jacobs Richard J Video stream switching
US7225459B2 (en) * 2001-10-17 2007-05-29 Numerex Investment Corproation Method and system for dynamically adjusting video bit rates
CN101119483A (zh) * 2006-07-31 2008-02-06 联想(北京)有限公司 一种基于源质量的视频流传输速率调整方法
CN102098547A (zh) * 2011-01-24 2011-06-15 深圳市威康普科技有限公司 一种嵌入式网络自适应/实时高清视频的传输方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040172478A1 (en) * 2001-07-19 2004-09-02 Jacobs Richard J Video stream switching
US7225459B2 (en) * 2001-10-17 2007-05-29 Numerex Investment Corproation Method and system for dynamically adjusting video bit rates
CN101119483A (zh) * 2006-07-31 2008-02-06 联想(北京)有限公司 一种基于源质量的视频流传输速率调整方法
CN102098547A (zh) * 2011-01-24 2011-06-15 深圳市威康普科技有限公司 一种嵌入式网络自适应/实时高清视频的传输方法

Also Published As

Publication number Publication date
CN103051982A (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
CN103051982B (zh) 一种视频流传输控制方法以及视频流传输控制装置
US7400588B2 (en) Dynamic rate adaptation using neural networks for transmitting video data
CN104394486B (zh) 一种基于云桌面的视频流处理方法及装置
RU2497304C2 (ru) Динамическая модификация свойств видео
EP3016395B1 (en) Video encoding device and video encoding method
CN109743600B (zh) 基于可穿戴的现场运维自适应视频流传输速率控制方法
KR101379537B1 (ko) 무선망 채널 정보를 이용한 동영상 부호화 제어 방법
CN101990087A (zh) 无线视频监控系统及根据网络状态动态调整码流的方法
CN102239690A (zh) 用于拥塞控制的稳定视频速率适配
CN101455086A (zh) 对反向链路条件的视频速率自适应
CN103780907B (zh) 一种视频数据流量整形的方法和装置
CN104702922A (zh) 一种视频传输方法和系统
CN103686221A (zh) 一种适应公用无线网络实现音视频流畅播出的方法
US20050089092A1 (en) Moving picture encoding apparatus
CN105072506A (zh) 教学直播视频的传输方法及系统
CN109495660A (zh) 一种音频数据的编码方法、装置、设备和存储介质
CN101137060A (zh) 一种视频传输方法、系统及设备
CN105376595A (zh) 一种视频混合编码系统和方法
JP2008211579A (ja) 映像品質推定方法および映像通信システム
Nihei et al. QoE maximizing bitrate control for live video streaming on a mobile uplink
Yang et al. Video transmission control for networked vision system based on RTCP
Luo et al. An end-to-end video transmission framework with efficient bandwidth utilization
TWI411307B (zh) Video playback fluency priority link source channel coding system
Yu et al. Bi-level/full-color video combination for ubiquitous video communication
Kassler et al. Classification and evaluation of filters for wavelet coded videostreams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant