CN108933768A - 视频帧的发送帧率的获取方法和装置 - Google Patents

视频帧的发送帧率的获取方法和装置 Download PDF

Info

Publication number
CN108933768A
CN108933768A CN201710389473.9A CN201710389473A CN108933768A CN 108933768 A CN108933768 A CN 108933768A CN 201710389473 A CN201710389473 A CN 201710389473A CN 108933768 A CN108933768 A CN 108933768A
Authority
CN
China
Prior art keywords
video
frame
gateway
party
frame per
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710389473.9A
Other languages
English (en)
Other versions
CN108933768B (zh
Inventor
方伟
徐绍君
王争
陈国斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TD Tech Ltd
TD Tech Chengdu Co Ltd
Original Assignee
TD Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TD Tech Ltd filed Critical TD Tech Ltd
Priority to CN201710389473.9A priority Critical patent/CN108933768B/zh
Publication of CN108933768A publication Critical patent/CN108933768A/zh
Application granted granted Critical
Publication of CN108933768B publication Critical patent/CN108933768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供一种视频帧的发送帧率的获取方法和装置。该方法包括:对从第三方视频监控平台接收到的PS包执行组帧操作,得到第一视频帧;当所述第一视频帧为序列参数集SPS帧、且所述第一视频帧中携带视频可用性信息VUI时,根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率。本发明实施例中,网关计算得到的第三方视频监控平台的发送帧率与第三方视频监控平台的实际发送帧率可以保持一致,从而使得网关可以结合所计算出的准确的发送帧率为第一视频帧添加准确的时间戳,从而确保视频监控系统能够流畅播放所接收到的视频帧,大大提高了用户的体验。

Description

视频帧的发送帧率的获取方法和装置
技术领域
本发明实施例涉及视频监控技术,尤其涉及一种视频帧的发送帧率的获取方法和装置。
背景技术
随着通信技术的不断发展,视频监控技术已逐渐成为各行各业进行安全监测、生产过程监测等必不可少的技术手段,为人们的生活提供了诸多便利。
参见图1所示的视频监控处理系统的架构示意图。如图1所示,视频监控系统通过28181网关与多个第三方视频监控平台联网,如果第三方视频监控平台发送过来的视频格式为实时传输协议(Real-time Transport Protocol,简称RTP)封装的节目流(ProgramStream,简称PS)包,与视频监控系统的传输协议不匹配时,就需要28181网关进行组帧,并根据固定帧率或者根据周期内统计的帧率为组帧后得到的视频帧添加RTP包时间戳,从而使得视频监控系统在接收到28181网关发送的视频帧后,按照视频帧对应的RTP包时间戳进行播放。其中,对于28181网关来说,组帧后属于同一个视频帧的RTP包的RTP包时间戳相同,不同的视频帧具有不同的RTP时间戳。
但是,由于第三方视频监控平台下的固定摄像头类型多种多样,涉及不同厂家不同型号,不同的摄像头的发送帧率差异较大,导致第三方视频监控平台通过并行的多路通道向网关发送视频帧时,不同通道的发送帧率是不同的(一种摄像头对应一路通道)。并且。针对同一路通道而言,由于传输时延抖动,不同时刻的发送帧率也可能不同。因此,28181网关为视频帧打上RTP包时间戳时所采用的固定帧率或者根据周期内统计的帧率,与第三方视频监控平台的实际发送帧率不一致,从而导致视频监控系统按照接收到的视频帧的RTP包时间戳播放视频时,出现视频卡顿、慢放或者快进的问题,影响用户的体验效果。
发明内容
本发明实施例提供一种视频帧的发送帧率的获取方法和装置,以解决现有技术中网关为接收到的视频帧打上RTP包时间戳时所采用的帧率,与第三方视频监控平台的实际发送帧率不一致,从而导致视频监控系统按照接收到的视频帧的RTP包时间戳播放视频时,出现视频卡顿、慢放或者快进的技术问题。
第一方面,本发明实施例提供一种视频帧的发送帧率的获取方法,包括:
对从第三方视频监控平台接收到的PS包执行组帧操作,得到第一视频帧;
当所述第一视频帧为序列参数集SPS帧、且所述第一视频帧中携带视频可用性信息VUI时,根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率。
在本发明实施例的一种可能的实施方式中,所述方法还包括:
当所述第一视频帧为SPS帧、且所述第一视频帧中未携带所述VUI时,根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述网关每获得一个所述第一视频帧,所述虚拟缓存区的值加1,所述网关每向视频监控系统输出一个所述第一视频帧,所述虚拟缓存区的值减1;所述虚拟缓存区的值用于表征所述虚拟缓存区所缓存的所述第一视频帧的个数,所述T1小于n。
在本发明实施例的另一种可能的实施方式中,所述根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率,具体包括:
根据预设的场编码或者帧编码的标识符、以及所述VUI携带的视频采样时钟频率和时间单元数量,计算所述发送帧率。
在本发明实施例的另一种可能的实施方式中,所述根据预设的场编码或者帧编码的标识符、以及所述VUI携带的视频采样时钟频率和时间单元数量,计算所述发送帧率,具体包括:
根据公式计算所述发送帧率;
其中,所述time_scale为所述视频采样时钟频率,所述num_units_in_tick为所述时间单元数量,所述nuit_field_based_flag为所述场编码或者帧编码的标识符。
在本发明实施例的又一种可能的实施方式中,所述根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率,具体包括:
根据公式:
计算所述网关在最近一次的T1周期内的平均接收帧率aveframerate(n-1);其中,所述receiveframes(n-1)为所述网关在第n-1秒内接收到所述第三方视频监控平台发送的视频帧的个数;
根据所述平均接收帧率、所述虚拟缓存区在第n-1秒时的值以及所述虚拟缓存区的值收敛为0时所需要的T2时长,计算所述第三方视频监控平台在第n秒时的发送帧率。
在本发明实施例的再一种可能的实施方式中,所述根据所述平均接收帧率、所述虚拟缓存区在第n-1秒时的值以及所述虚拟缓存区的值收敛为0时所需要的T2时长,计算所述第三方视频监控平台在第n秒时的发送帧率,具体包括:
根据公式计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述buffer(n-1)为所述虚拟缓存区在第n-1秒时的值,所述buffer(n-1)等于所述网关在第n-1秒内获得的第一视频帧的个数减去所述网关在第n-1秒内向视频监控系统输出的第一视频帧的个数的差值。
第二方面,本发明实施例提供一种视频帧的发送帧率的获取装置,包括:
组帧模块,用于对从第三方视频监控平台接收到的PS包执行组帧操作,得到第一视频帧;
处理模块,用于当所述第一视频帧为序列参数集SPS帧、且所述第一视频帧中携带视频可用性信息VUI时,根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率。
在本发明实施例的一种可能的实施方式中,所述处理模块,还用于当所述第一视频帧为SPS帧、且所述第一视频帧中未携带所述VUI时,根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述网关每获得一个所述第一视频帧,所述虚拟缓存区的值加1,所述网关每向视频监控系统输出一个所述第一视频帧,所述虚拟缓存区的值减1;所述虚拟缓存区的值用于表征所述虚拟缓存区所缓存的所述第一视频帧的个数,所述T1小于n。
在本发明实施例的另一种可能的实施方式中,所述处理模块,具体用于根据预设的场编码或者帧编码的标识符、以及所述VUI携带的视频采样时钟频率和时间单元数量,计算所述发送帧率。
在本发明实施例的另一种可能的实施方式中,所述处理模块,具体用于根据公式计算所述发送帧率;
其中,所述time_scale为所述视频采样时钟频率,所述num_units_in_tick为所述时间单元数量,所述nuit_field_based_flag为所述场编码或者帧编码的标识符。
在本发明实施例的又一种可能的实施方式中,所述处理模块,具体用于根据公式:计算 所述网关在最近一次的T1周期内的平均接收帧率aveframerate(n-1);其中,所述 receiveframes(n-1)为所述网关在第n-1秒内接收到所述第三方视频监控平台发送的视频 帧的个数;
根据所述平均接收帧率、所述虚拟缓存区在第n-1秒时的值以及所述虚拟缓存区的值收敛为0时所需要的T2时长,计算所述第三方视频监控平台在第n秒时的发送帧率。
在本发明实施例的再一种可能的实施方式中,所述处理模块,具体用于根据公式计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述buffer(n-1)为所述虚拟缓存区在第n-1秒时的值,所述buffer(n-1)等于所述网关在第n-1秒内获得的第一视频帧的个数减去所述网关在第n-1秒内向视频监控系统输出的第一视频帧的个数的差值。
本发明实施例提供的视频帧的发送帧率的获取方法和装置,当网关通过组帧操作得到第一视频帧后,网关通过第一视频帧中的VUI信息中的部分或者全部参数,计算得到的第三方视频监控平台向网关发送视频帧时的发送帧率。由于不同的摄像头发送的视频帧中的VUI信息能够反映该摄像头发送该视频帧时的速率或者帧率,因此,本发明实施例利用获得的第一视频帧中的VUI信息中的部分或者全部参数,计算得到的第三方视频监控平台向网关发送视频帧时的发送帧率是准确的。同时,针对第三方视频监控平台通过不同通道发送给网关的视频帧,网关可以结合每一个通道的视频帧对应的第一视频帧,计算出第三方视频监控平台每一路的发送帧率。同时,网关还可以结合对应每一路的不同第一视频帧中的VUI,计算出第三方视频监控平台在发送这一路的视频帧时,不同时刻的发送帧率。也就是说,本发明实施例中可以结合所获得的第一视频帧中的VUI计算出准确的第三方视频监控平台每一路的发送帧率,从而使得网关可以结合所计算出的发送帧率为上述根据每一路的视频帧得到的第一视频帧添加准确的时间戳,从而确保视频监控系统能够流畅播放所接收到的视频帧,大大提高了用户的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频监控处理系统的架构示意图;
图2为本发明提供的视频帧的发送帧率的获取方法实施例一的流程示意图;
图3为本发明提供的视频帧的发送帧率的获取方法实施例二的流程示意图;
图4为本发明提供的视频帧的发送帧率的获取装置实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例涉及的视频帧的发送帧率的获取方法和装置,可以适用于图1所示的视频监控处理系统。如图1所示,该视频监控处理系统包括:视频监控系统、网关和多个第三方视频监控平台,每个第三方视频监平台下连接多个摄像头。其中,这多个摄像头可以是不同厂家不同型号的摄像头,上述多个第三方视频监控平台可以是不同厂家生产的不同的平台。具体在工作时,多个摄像头将拍摄的视频数据传递给第三方视频监控平台进行数据的处理,然后第三方视频监控平台将所接收到的视频流数据拆分成多个数据块,每个数据块封装RTP头,形成多个RTP包,然后在每个RTP包的包头封装PS头,从而形成多个PS包。第三方视频监控平台将这多个PS包发送给网关。需要说明的是,第三方视频监控平台在发送多个摄像头的视频数据时,是通过多路并行的方式进行发送的,一个摄像头对应一路。
针对其中一路而言,即针对一个摄像头的视频数据而言,网关在接收到多个PS包后,执行组帧操作,即:解析出多个PS包中的视频数据,然后将属于同一个视频帧中的数据重新组装成第一视频帧,然后将该第一视频帧再次拆分成为多个数据块,给每个数据块加上RTP头,形成多个RTP包,并采用固定的帧率为RTP包打上时间戳后,传输给视频监控系统。其中,属于同一视频帧的RTP包的时间戳是相同的,从而使得视频监控系统能够基于该时间戳播放相应的视频帧。可选的,上述网关可以是28181网关,还可以是别的网关,本实施例对此并不做限定。
但是,由于第三方视频监控平台下的固定摄像头,不同的摄像头的发送帧率差异较大,导致第三方视频监控平台通过并行的多路通道向网关发送PS包或者视频帧时,不同通道的发送帧率是不同的。针对同一路通道而言,由于传输时延抖动,不同时刻的发送帧率也可能不同。因此,网关为RTP包打上时间戳时所采用的固定帧率,与第三方视频监控平台的实际发送帧率不一致,从而导致视频监控系统按照接收到的视频帧的时间戳播放视频时,出现视频卡顿、慢放或者快进的问题,影响用户的体验效果。
本发明实施例提供的视频帧的发送帧率的获取方法和装置,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本发明实施例的技术方案以及本发明实施例的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图2为本发明提供的视频帧的发送帧率的获取方法实施例一的流程示意图。本实施例涉及的是网关根据组帧后得到的第一视频帧中的VUI确定第三方视频监控平台向网关发送视频帧时的发送帧率的具体过程。如图2所示,该方法包括如下步骤:
S101:对从第三方视频监控平台接收到的PS包执行组帧操作,得到第一视频帧。
具体的,如上述所描述的,第三方视频监控平台向网关发送多个PS包,当网关确定接收到一个视频帧的最后一个PS包时,网关此时执行组帧操作,得到第一视频帧。具体的组帧操作可以参见上述描述,在此不再赘述。
S102:当所述第一视频帧为序列参数集(Sequence Parameter Set,简称SPS)帧、且所述第一视频帧中携带视频可用性信息(Video Usability Information,简称VUI)时,根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率。
当网关获得第一视频帧之后,网关确定该第一视频帧是否为SPS帧。当第一视频帧为SPS帧时,网关再次判断该SPS帧中是否携带VUI。当网关确定该SPS帧中携带VUI时,网关结合该VUI中的参数计算第三方视频监控平台向网关发送视频帧时的发送帧率。
由于不同的摄像头发送的视频帧中的VUI信息能够反映该摄像头发送该视频帧时的速率或者帧率,因此,本发明实施例利用获得的第一视频帧中的VUI信息中的部分或者全部参数,计算得到的第三方视频监控平台向网关发送视频帧时的发送帧率是准确的。同时,针对第三方视频监控平台通过不同通道发送给网关的视频帧,网关可以结合每一个通道的视频帧对应的第一视频帧,计算出第三方视频监控平台每一路的发送帧率。同时,网关还可以结合对应每一路的不同第一视频帧中的VUI,计算出第三方视频监控平台在发送这一路的视频帧时,不同时刻的发送帧率。也就是说,本发明实施例中可以结合所获得的第一视频帧中的VUI计算出准确的第三方视频监控平台每一路的发送帧率,从而使得网关可以结合所计算出的发送帧率为上述根据每一路的视频帧得到的第一视频帧添加准确的时间戳,从而确保视频监控系统能够流畅播放所接收到的视频帧,大大提高了用户的体验。
由于第一视频帧所携带的VUI中可以包括各种各样的参数,可选的,本发明实施例采用该第一视频帧的VUI中的视频采样时钟频率(time_scale)、时间数量单元(num_units_in_tick)和预设的场编码或者帧编码的标识符(nuit_field_based_flag),可以计算得到第三方视频监控系统向网关发送视频帧时的发送帧率。可选的,网管可以公式1:计算得到第三方视频监控系统向网关发送视频帧时发送帧率。可选的,该nuit_field_based_flag可以为1。
需要说明的是,本发明实施例中,还可以在相对的误差范围内对上述公式1进行适当的变形,本实施例对上述公式的形式并不做具体的限定,只要能够利用第一视频帧的VUI中的time_scale、num_units_in_tick和预设的nuit_field_based_flag,计算出准确的发送帧率即可。
本发明实施例提供的视频帧的发送帧率的获取方法,在第一视频帧为SPS帧、且该SPS帧中携带VUI时,通过该VUI信息中的time_scale、num_units_in_tick和预设的nuit_field_based_flag,计算出准确的第三方视频监控系统向网关发送视频帧时的发送帧率。由于每个第一视频帧的VUI中的参数能够实际反映出第三方视频监控平台向网关发送该第一视频帧对应的视频帧时的帧率,因此,通过该VUI计算出来的发送帧率的准确度高;另外,针对第三方视频监控平台通过不同通道发送给网关的视频帧,网关可以结合每一个通道的视频帧对应的第一视频帧,计算出第三方视频监控平台每一路的发送帧率,同时,网关还可以结合对应每一路的不同第一视频帧中的VUI,计算出第三方视频监控平台在发送这一路的视频帧时,不同时刻的发送帧率。也就是说,本发明实施例中可以结合所获得的第一视频帧中的VUI计算出准确的第三方视频监控平台每一路的发送帧率,从而使得网关可以结合所计算出的发送帧率为根据每一路的视频帧得到的第一视频帧添加准确的时间戳,从而确保视频监控系统能够流畅播放所接收到的视频帧,大大提高了用户的体验。
图3为本发明提供的视频帧的发送帧率的获取方法实施例二的流程示意图。本实施例涉及的是当网关经过组帧得到的第一视频帧为SPS帧,但该SPS帧中未携带VUI时,网关获取第三方视频监控平台向网关发送视频帧时的发送帧率的具体过程。如图3所示,该方法包括如下步骤:
S201:对从第三方视频监控平台接收到的PS包执行组帧操作,得到第一视频帧。
该步骤可以参见上述S101的描述,在此不自赘述。
S202:当所述第一视频帧为SPS帧、且所述第一视频帧中未携带所述VUI时,根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率。
其中,所述网关每获得一个所述第一视频帧,所述虚拟缓存区的值加1,所述网关每向视频监控系统输出一个所述第一视频帧,所述虚拟缓存区的值减1;所述虚拟缓存区的值用于表征所述虚拟缓存区所缓存的所述第一视频帧的个数,所述T1小于n。
具体的,当网关确定上述第一视频帧为SPS帧、且该SPS帧中未携带VUI时,通过在网关处维护一个虚拟缓存区(buffer),该虚拟buffer的值用于表征虚拟缓存区所缓存的第一视频帧的个数。可选的,该虚拟buffer的值可以为0、正整数或者负整数。另外,网关每获得一个第一视频帧,该虚拟buffer的值加1,网关每向视频监控系统输出一个第一视频帧,该虚拟buffer的值减1。也就是说,网关的输出帧率(即输出第一视频帧给视频监控系统的帧率)可以根据虚拟buffer的值的大小进行周期性调整,使得该虚拟buffer的值趋近于0(即,使得该虚拟buffer中没有缓存第一视频帧,网关获得几个第一视频帧,就输出几个第一视频帧,保证网关接收到视频帧的接收帧率与网关的输出帧率基本一致),从而最终达到第一视频帧的RTP时间戳与第三方视频监控平台的发送帧率同步,确保视频监控系统能够流畅播放所接收到的视频帧。
在具体实现时,网关可以根据在最近一次的T1周期内的平均接收帧率以及虚拟buffer在第n-1秒时的值,计算得到第三方视频监控平台在第n秒时的发送帧率,其中,T1小于n。当n小于或者等于T1时长时,由于网关是每隔T1周期刷新一次计算得到的发送帧率,由于当前时长n还未达到T1时长或者刚达到T1时长(T1周期的时长就是T1时长),此时网关依然采用的是第三方视频监控平台预设的初始发送帧率。当随着时间的推移n大于T1时长时,网关就需要更新计算得到的发送帧率,即网关根据最近一次T1周期内接收到的视频帧的总数,计算出平均接收帧率,然后结合该平均接收帧率以及上述buffer在第n-1秒时的值,获取第三方视频监控平台在第n秒时的发送帧率,本实施例对网关如何根据平均接收帧率以及上述buffer在第n-1秒时的值获得发送帧率的方式并不做限定,例如,网关可以通过将二者进行相加或者相减的方式,获得第三方视频监控平台的发送帧率。
可选的,上述网关计算得到的网关在最近一次的T1周期内的平均接收帧率,可以 是算数平均的平均接收帧率,还可以是加权平均的平均接收帧率,还可以是其他方式平均 的平均接收帧率。可选的,网关在计算网关最近一次的T1周期内的平均接收帧率时,可以是 根据公式2: 得到该平均接收帧率,该receiveframes(n-1)为网关在第n-1秒内接收到所述第三方视频 监控平台发送的视频帧的个数,receiveframes(n-2)为网关在第n-2秒内接收到所述第三 方视频监控平台发送的视频帧的个数,以此类推,receiveframes(n-T1)为网关在第n-T1秒 内接收到第三方视频监控平台发送的视频帧的个数。需要说明的是,本发明实施例中 receiveframerate(0)=0,sendframerate(0)等于第三方视频监控平台初始的发送帧率, buffer(0)=0。
可选的,网关在通过平均接收帧率、所述虚拟缓存区在第n-1秒时的值计算第三方视频监控平台的发送帧率时,可以是网关根据该平均接收帧率、虚拟缓存区在第n-1秒时的值以及该虚拟缓存区的值收敛为0时所需要的T2时长,计算得到第三方视频监控平台在第n秒时的发送帧率。可选的,可以采用公式3:计算第三方视频监控平台在第n秒时的发送帧率;其中,所述buffer(n-1)为虚拟缓存区在第n-1秒时的值,buffer(n-1)等于网关在第n-1秒内获得的第一视频帧的个数减去网关在第n-1秒内向视频监控系统输出的第一视频帧的个数的差值,即buffer(n-1)=receiveframes(n-1)-sendframerate(n-1)。上述T2时长可以是网关根据当前虚拟缓存区的值预估的或者实际计算得到的时长。
通过该方法计算得到的第三方视频监控平台在第n秒时的发送帧率的准确度高,另外,通过该方法,网关可以计算得到第三方视频监控平台在任意时刻的发送帧率,无需网关将上一秒统计得到的发送帧率作为下一秒第三方视频监控平台的发送帧率来为第一视频帧添加RTP时间戳,大大提高了网关所确定的第三方视频监控平台的发送帧率的准确性,即,使得网关计算得到的发送帧率和第三方视频监控平台的实际发送帧率保持一致。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本发明实施例提供的视频帧的发送帧率的获取装置的结构示意图。该装置可以通过软件、硬件或者软硬家结合的方式实现成为网关的部分或者全部。如图4所示,该装置可以包括:组帧模块11和处理模块12。
具体的,组帧模块11,用于对从第三方视频监控平台接收到的PS包执行组帧操作,得到第一视频帧;
处理模块12,用于当所述第一视频帧为序列参数集SPS帧、且所述第一视频帧中携带视频可用性信息VUI时,根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率。
本发明实施例提供的视频帧的发送帧率的获取装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
进一步地,所述处理模块12,还用于当所述第一视频帧为SPS帧、且所述第一视频帧中未携带所述VUI时,根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述网关每获得一个所述第一视频帧,所述虚拟缓存区的值加1,所述网关每向视频监控系统输出一个所述第一视频帧,所述虚拟缓存区的值减1;所述虚拟缓存区的值用于表征所述虚拟缓存区所缓存的所述第一视频帧的个数,所述T1小于n。
可选的,所述处理模块12,具体用于根据预设的场编码或者帧编码的标识符、以及所述VUI携带的视频采样时钟频率和时间单元数量,计算所述发送帧率。
可选的,所述处理模块12,具体用于根据公式
计算所述发送帧率;所述time_scale为所述视频采样时钟频率,所述num_units_in_tick为所述时间单元数量,所述nuit_field_based_flag为所述场编码或者帧编码的标识符。
可选的,所述处理模块12,具体用于根据公式:
计算所述网关在最近一次的T1周期内的平均接收帧率aveframerate(n-1);其中,所述receiveframes(n-1)为所述网关在第n-1秒内接收到所述第三方视频监控平台发送的视频帧的个数;
根据所述平均接收帧率、所述虚拟缓存区在第n-1秒时的值以及所述虚拟缓存区的值收敛为0时所需要的T2时长,计算所述第三方视频监控平台在第n秒时的发送帧率。
可选的,所述处理模块12,具体用于根据公式计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述buffer(n-1)为所述虚拟缓存区在第n-1秒时的值,所述buffer(n-1)等于所述网关在第n-1秒内获得的第一视频帧的个数减去所述网关在第n-1秒内向视频监控系统输出的第一视频帧的个数的差值。
上述几种可选的方式中涉及的视频帧的发送帧率的获取装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种视频帧的发送帧率的获取方法,其特征在于,包括:
对从第三方视频监控平台接收到的节目流PS包执行组帧操作,得到第一视频帧;
当所述第一视频帧为序列参数集SPS帧、且所述第一视频帧中携带视频可用性信息VUI时,根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述第一视频帧为SPS帧、且所述第一视频帧中未携带所述VUI时,根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述网关每获得一个所述第一视频帧,所述虚拟缓存区的值加1,所述网关每向视频监控系统输出一个所述第一视频帧,所述虚拟缓存区的值减1;所述虚拟缓存区的值用于表征所述虚拟缓存区所缓存的所述第一视频帧的个数,所述T1小于n。
3.根据权利要求1所述的方法,其特征在于,所述根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率,具体包括:
根据预设的场编码或者帧编码的标识符、以及所述VUI携带的视频采样时钟频率和时间单元数量,计算所述发送帧率。
4.根据权利要求3所述的方法,其特征在于,所述根据预设的场编码或者帧编码的标识符、以及所述VUI携带的视频采样时钟频率和时间单元数量,计算所述发送帧率,具体包括:
根据公式计算所述发送帧率;
其中,所述time_scale为所述视频采样时钟频率,所述num_units_in_tick为所述时间单元数量,所述nuit_field_based_flag为所述场编码或者帧编码的标识符。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率,具体包括:
根据公式:计算所述网关在最近一次的T1周期内的平均接收帧率aveframerate(n-1);其中,所述receiveframes(n-1)为所述网关在第n-1秒内接收到所述第三方视频监控平台发送的视频帧的个数;
根据所述平均接收帧率、所述虚拟缓存区在第n-1秒时的值以及所述虚拟缓存区的值收敛为0时所需要的T2时长,计算所述第三方视频监控平台在第n秒时的发送帧率。
6.根据权利要求5所述的方法,其特征在于,所述根据所述平均接收帧率、所述虚拟缓存区在第n-1秒时的值以及所述虚拟缓存区的值收敛为0时所需要的T2时长,计算所述第三方视频监控平台在第n秒时的发送帧率,具体包括:
根据公式计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述buffer(n-1)为所述虚拟缓存区在第n-1秒时的值,所述buffer(n-1)等于所述网关在第n-1秒内获得的第一视频帧的个数减去所述网关在第n-1秒内向视频监控系统输出的第一视频帧的个数的差值。
7.一种视频帧的发送帧率的获取装置,其特征在于,包括:
组帧模块,用于对从第三方视频监控平台接收到的节目流PS包执行组帧操作,得到第一视频帧;
处理模块,用于当所述第一视频帧为序列参数集SPS帧、且所述第一视频帧中携带视频可用性信息VUI时,根据所述VUI计算所述第三方视频监控平台向网关发送视频帧时的发送帧率。
8.根据权利要求7所述的装置,其特征在于,所述处理模块,还用于当所述第一视频帧为SPS帧、且所述第一视频帧中未携带所述VUI时,根据所述网关在最近一次的T1周期内的平均接收帧率以及预设的虚拟缓存区在第n-1秒时的值,计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述网关每获得一个所述第一视频帧,所述虚拟缓存区的值加1,所述网关每向视频监控系统输出一个所述第一视频帧,所述虚拟缓存区的值减1;所述虚拟缓存区的值用于表征所述虚拟缓存区所缓存的所述第一视频帧的个数,所述T1小于n。
9.根据权利要求7所述的装置,其特征在于,所述处理模块,具体用于根据预设的场编码或者帧编码的标识符、以及所述VUI携带的视频采样时钟频率和时间单元数量,计算所述发送帧率。
10.根据权利要求9所述的装置,其特征在于,所述处理模块,具体用于根据公式计算所述发送帧率;
其中,所述time_scale为所述视频采样时钟频率,所述num_units_in_tick为所述时间单元数量,所述nuit_field_based_flag为所述场编码或者帧编码的标识符。
11.根据权利要求8-10任一项所述的装置,其特征在于,所述处理模块,具体用于根据公式:计算所述网关在最近一次的T1周期内的平均接收帧率aveframerate(n-1);其中,所述receiveframes(n-1)为所述网关在第n-1秒内接收到所述第三方视频监控平台发送的视频帧的个数;
根据所述平均接收帧率、所述虚拟缓存区在第n-1秒时的值以及所述虚拟缓存区的值收敛为0时所需要的T2时长,计算所述第三方视频监控平台在第n秒时的发送帧率。
12.根据权利要求11所述的装置,其特征在于,所述处理模块,具体用于根据公式计算所述第三方视频监控平台在第n秒时的发送帧率;
其中,所述buffer(n-1)为所述虚拟缓存区在第n-1秒时的值,所述buffer(n-1)等于所述网关在第n-1秒内获得的第一视频帧的个数减去所述网关在第n-1秒内向视频监控系统输出的第一视频帧的个数的差值。
CN201710389473.9A 2017-05-27 2017-05-27 视频帧的发送帧率的获取方法和装置 Active CN108933768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710389473.9A CN108933768B (zh) 2017-05-27 2017-05-27 视频帧的发送帧率的获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710389473.9A CN108933768B (zh) 2017-05-27 2017-05-27 视频帧的发送帧率的获取方法和装置

Publications (2)

Publication Number Publication Date
CN108933768A true CN108933768A (zh) 2018-12-04
CN108933768B CN108933768B (zh) 2021-06-08

Family

ID=64451371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710389473.9A Active CN108933768B (zh) 2017-05-27 2017-05-27 视频帧的发送帧率的获取方法和装置

Country Status (1)

Country Link
CN (1) CN108933768B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112423072A (zh) * 2020-09-02 2021-02-26 上海幻电信息科技有限公司 直播场景下的视频推送方法及系统
CN113691834A (zh) * 2021-07-26 2021-11-23 浙江大华技术股份有限公司 视频码流的处理方法、视频编码装置以及可读存储介质
CN115190325A (zh) * 2022-07-01 2022-10-14 广州市百果园信息技术有限公司 丢帧控制方法、装置、设备、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578867A (zh) * 2007-01-05 2009-11-11 汤姆森许可贸易公司 针对可缩放视频编码的假定参考解码器
CN101889448A (zh) * 2007-10-05 2010-11-17 汤姆森特许公司 将视频可用性信息(vui)并入多视图视频(mvc)编码系统的方法和装置
CN102065319A (zh) * 2009-11-18 2011-05-18 特克特朗尼克国际销售有限责任公司 用于多路复用h.264基本流的方法和装置
CN103338367A (zh) * 2007-04-18 2013-10-02 汤姆森许可贸易公司 编码和解码方法
CN103929657A (zh) * 2013-01-16 2014-07-16 富士通株式会社 视频复用设备和方法、复用视频解码设备和方法
EP3051486A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101578867A (zh) * 2007-01-05 2009-11-11 汤姆森许可贸易公司 针对可缩放视频编码的假定参考解码器
CN103338367A (zh) * 2007-04-18 2013-10-02 汤姆森许可贸易公司 编码和解码方法
CN101889448A (zh) * 2007-10-05 2010-11-17 汤姆森特许公司 将视频可用性信息(vui)并入多视图视频(mvc)编码系统的方法和装置
CN102065319A (zh) * 2009-11-18 2011-05-18 特克特朗尼克国际销售有限责任公司 用于多路复用h.264基本流的方法和装置
CN103929657A (zh) * 2013-01-16 2014-07-16 富士通株式会社 视频复用设备和方法、复用视频解码设备和方法
EP3051486A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ITU-T H.264: "《SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services – Coding of moving video Advanced video coding for generic audiovisual services》", 《TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU》 *
李志刚: "《基于H.264_AVC的可伸缩视频编码及其相关技术研究》", 《中国优秀博士学位论文全文数据库 信息科技辑》 *
王昆: "《基于卫星宽带网络的综合通信指挥系统》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈锋锋: "《基于RTSP的流媒体传输系统的应用开发》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112423072A (zh) * 2020-09-02 2021-02-26 上海幻电信息科技有限公司 直播场景下的视频推送方法及系统
CN113691834A (zh) * 2021-07-26 2021-11-23 浙江大华技术股份有限公司 视频码流的处理方法、视频编码装置以及可读存储介质
CN113691834B (zh) * 2021-07-26 2023-04-18 浙江大华技术股份有限公司 视频码流的处理方法、视频编码装置以及可读存储介质
CN115190325A (zh) * 2022-07-01 2022-10-14 广州市百果园信息技术有限公司 丢帧控制方法、装置、设备、存储介质及程序产品
CN115190325B (zh) * 2022-07-01 2023-09-05 广州市百果园信息技术有限公司 丢帧控制方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN108933768B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
US10680657B2 (en) Media controller with jitter buffer
CN106412721B (zh) 监测网络拥塞的方法和设备
CN101803268A (zh) 时钟同步系统及其方法和程序
CN104115448A (zh) 监测网络传输特性的方法与装置
KR20150031287A (ko) 오디오 스트림 품질 평가 방법 및 장치
KR20130112056A (ko) 비디오 데이터 품질 평가 방법 및 장치
CN108933768A (zh) 视频帧的发送帧率的获取方法和装置
CN103795755B (zh) 流媒体发送速率控制方法、系统和流媒体服务器
JP2013516093A (ja) 通信ネットワークにおいて伝送をスケジューリングする方法、対応する通信ノード及びコンピュータプログラム製品
BR112014029458B1 (pt) Método e aparelho para avaliar qualidade de mídia
CN109120974A (zh) 一种音视频同步播放的方法及装置
CN102547482B (zh) 一种多路ip音视频流同步播放方法
KR20130086991A (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
CN109413371A (zh) 视频帧率计算方法及装置
Jelassi et al. A perception-oriented Markov model of loss incidents observed over VoIP networks
CN105451073B (zh) Mp4视频源的传送方法和装置
CN115086714A (zh) 数据处理方法、装置、设备及存储介质
CN104333535B (zh) 一种基于流媒体应用的延时计算方法及其装置
CN104954814B (zh) 通信装置、存储介质、通信方法和信息处理装置
CN114710692B (zh) 多媒体文件处理方法和装置
CN112839240B (zh) 一种基于视频流的带宽探测方法与系统
CN107623847A (zh) 一种视频业务的视频质量评估方法和装置
Sjöberg et al. Analysing the Audio Latency Contributions in a Networked Embedded Linux System
Jurca et al. Media streaming with conservative delay on variable rate channels
Ivanovici Computer Network Emulation for Quality of Experience Assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant