CN114007086A - 高清直播方法及装置 - Google Patents

高清直播方法及装置 Download PDF

Info

Publication number
CN114007086A
CN114007086A CN202010737347.XA CN202010737347A CN114007086A CN 114007086 A CN114007086 A CN 114007086A CN 202010737347 A CN202010737347 A CN 202010737347A CN 114007086 A CN114007086 A CN 114007086A
Authority
CN
China
Prior art keywords
rate
transmission channel
cpe
sending
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010737347.XA
Other languages
English (en)
Inventor
王春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010737347.XA priority Critical patent/CN114007086A/zh
Publication of CN114007086A publication Critical patent/CN114007086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种高清直播方法及装置,属于媒体传输技术领域。其中,高清直播装置包括:编码器,用于对原始媒体数据进行编码;控制器,用于将所述编码器编码后的媒体数据发送给至少两个CPE,并根据与所述CPE之间的传输通道的溢出状态调整发送速率、调整所述编码器的编码码率和/或控制所述CPE进行频率切换;所述至少两个CPE,用于上行传输接收到的媒体数据。本发明的技术方案能够实现高清直播。

Description

高清直播方法及装置
技术领域
本发明涉及媒体传输技术领域,特别是指一种高清直播方法及装置。
背景技术
随着视频技术的发展和人们欣赏水平的提高,高分辨率、高帧率、低延时的超高清视频直播逐渐升温,无线网络因其易用性和普及性为移动超高清视频直播提供了可能。但在大型公众集会等场合,无线网络的上行带宽和稳定性仍然满足不了超高清直播的需求。为解决这个问题,目前的做法是使用多个4G和/或5G卡,或者客户前置设备(CustomerPremise Equipment,CPE)来传送数据。
相关技术一在传输前端设备中配置多张网卡即多个4G模块进行绑定协同工作分担传输带宽,均匀码率,网卡控制模块控制单卡传输带宽,降低单卡传输;多个4G模块即多卡之间互为备份。即使单卡掉线也能实现自动重连,自动恢复,重连过程中由其他卡分担带宽,避免因单卡掉线而引起传输中断。但是移动带宽毕竟有限,重连过程中简单的把一张卡上的带宽分流到其他卡上,会引起其他卡的拥塞,导致直播延迟,而且也没有提及当设备处于小区切换区时数据处理逻辑和进行网络切换之前丢失数据的处理方式。
相关技术二中,根据网络带宽确定目标阈值,当带宽低于某个阈值时就停止发送数据,将数据缓存到本地,当带宽恢复时才发送数据,这就存在两个问题,一是网络带宽的获取需要发送大量的数据包,本身挤占带宽,二是带宽低于阈值就停止发送,会造成大量数据缓存,并引起延时。
因此,如何使移动直播系统在两个频段之间自适应切换是迫切需要解决的问题,目前尚未见到成熟的解决方案。
发明内容
本发明要解决的技术问题是提供一种高清直播方法及装置,能够实现高清直播。
为解决上述技术问题,本发明的实施例提供技术方案如下:
一方面,提供一种高清直播装置,包括:
编码器,用于对原始媒体数据进行编码;
控制器,用于将所述编码器编码后的媒体数据发送给至少两个CPE,并根据与所述CPE之间的传输通道的溢出状态调整发送速率、调整所述编码器的编码码率和/或控制所述CPE进行频率切换;
所述至少两个CPE,用于上行传输接收到的媒体数据。
一些实施例中,所述控制器还用于向所述编码器发送编码控制指令;
所述编码器还用于根据输入的原始媒体数据的分辨率和帧率计算所述原始媒体数据的初始码率,并在编码时根据所述控制器的编码控制指令调整对所述原始媒体数据进行编码的编码码率。
一些实施例中,所述控制器还用于接收两个CPE的注册信息,并按照所述两个CPE的注册时间将所述两个CPE分为主CPE和备CPE,所述备CPE的注册时间晚于所述主CPE的注册时间;与所述主CPE和所述备CPE分别建立传输通道,并设置每个CPE的发送缓冲区大小。
一些实施例中,所述控制器包括第一本地缓冲区和第二本地缓冲区,所述第一本地缓冲区以先进先出的队列方式缓存所述编码器编码后的媒体数据,所述第二本地缓冲区采用循环链表方式进行数据存储,发送线程从所述第一本地缓冲区读取数据放入所述第二本地缓冲区和CPE的发送缓冲区后,读取的数据从所述第一本地缓冲区中删除。
一些实施例中,所述控制器具体用于初始化两个待发送包序号循环链表Lp和Ls,分别记录所述主CPE和所述备CPE中的发送缓冲区内的包序号,每个循环链表内节点个数为FGOP,链表节点中存储每个数据包的包序号;将从所述第一本地缓冲区读取的数据包交替通过两个传输通道发送,同时将包序号更新至相应的Lp或者Ls;在检测到一个传输通道出现溢出的时间超过预设阈值时,执行单通道拥堵处理步骤;在检测到两个传输通道出现溢出时,执行双通道拥堵处理步骤。
一些实施例中,执行单通道拥堵处理步骤时,
所述控制器具体用于将出现溢出的第一传输通道的发送速率降至上一阶段编码码率的(1-δ)/2倍,将未出现溢出的第二传输通道的发送速率变为原来的(1+δ)/2倍;若调整发送速率后第二传输通道出现溢出,则通过编码控制指令通知所述编码器将编码码率调整为上一阶段编码码率的1/(1+δ)倍;若调整发送速率后,所述第一传输通道不再溢出,则维持该编码码率保持不变,间隔时间T后通过编码控制指令通知编码器逐步增加编码码率直至初始码率;若调整发送速率后,所述第一传输通道仍然溢出,间隔时间t后增大δ值,同时继续降低编码码率,当δ大于δo时,向所述第一传输通道对应的CPE发送频率切换指令,切断所述第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述第一传输通道的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,并将从所述第一本地缓冲区读取的数据包交替通过第一传输通道和第二传输通道发送,其中,δ、δo和η均大于0小于1;
所述CPE具体用于在接收到所述控制器的频率切换指令后,与网络侧协商选择频点,并向所述控制器返回频率切换成功指令。
一些实施例中,执行双通道拥堵处理步骤时,
所述控制器具体用于通过编码控制指令通知所述编码器将编码码率修改为初始码率的η倍;若溢出现象消失,保持所述编码器的编码码率不变,间隔时间T增加编码码率至初始码率,若不再溢出,则保持所述编码器的编码码率为初始码率,若继续溢出,将所述编码器的编码码率恢复至初始码率的η倍;若继续溢出,向所述备CPE发送频率切换指令,切断出现溢出的第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述备CPE的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到所述备CPE的频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,执行单通道拥堵处理步骤,其中,η大于0小于1;
所述备CPE具体用于在接收到所述控制器的频率切换指令后,与网络侧协商选择频点,并向所述控制器返回频率切换成功指令。
一些实施例中,所述CPE具体用于在移动过程中未接收到控制器的频率切换指令时,不进行频率切换。
本发明实施例还提供了一种高清直播方法,应用于如上所述的高清直播装置,包括:
接收编码器编码后的媒体数据;
将所述编码器编码后的媒体数据发送给至少两个CPE,并根据与所述CPE之间的传输通道的溢出状态调整发送速率、调整所述编码器的编码码率和/或控制所述CPE进行频率切换。
一些实施例中,所述方法还包括:
接收两个CPE的注册信息,并按照所述两个CPE的注册时间将所述两个CPE分为主CPE和备CPE,所述备CPE的注册时间晚于所述主CPE的注册时间;与所述主CPE和所述备CPE分别建立传输通道,并设置每个CPE的发送缓冲区大小。
一些实施例中,所述方法包括:
初始化两个待发送包序号循环链表Lp和Ls,分别记录所述主CPE和所述备CPE中的发送缓冲区内的包序号,每个循环链表内节点个数为FGOP,链表节点中存储每个数据包的包序号;将从所述第一本地缓冲区读取的数据包交替通过两个传输通道发送,同时将包序号更新至相应的Lp或者Ls;在检测到一个传输通道出现溢出的时间超过预设阈值时,执行单通道拥堵处理步骤;在检测到两个传输通道出现溢出时,执行双通道拥堵处理步骤。
一些实施例中,所述单通道拥堵处理步骤包括:
将出现溢出的第一传输通道的发送速率降至上一阶段编码码率的(1-δ)/2倍,将未出现溢出的第二传输通道的发送速率变为原来的(1+δ)/2倍;若调整发送速率后第二传输通道出现溢出,则通过编码控制指令通知所述编码器将编码码率调整为上一阶段编码码率的1/(1+δ)倍;若调整发送速率后,所述第一传输通道不再溢出,则维持该编码码率保持不变,间隔时间T后通过编码控制指令通知编码器逐步增加编码码率直至初始码率;若调整发送速率后,所述第一传输通道仍然溢出,间隔时间t后增大δ值,同时继续降低编码码率,当δ大于δo时,向所述第一传输通道对应的CPE发送频率切换指令,切断所述第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述第一传输通道的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,并将从所述第一本地缓冲区读取的数据包交替通过第一传输通道和第二传输通道发送,其中,δ、δo和η均大于0小于1。
一些实施例中,所述双通道拥堵处理步骤包括:
通过编码控制指令通知所述编码器将编码码率修改为初始码率的η倍;若溢出现象消失,保持所述编码器的编码码率不变,间隔时间T增加编码码率至初始码率,若不再溢出,则保持所述编码器的编码码率为初始码率,若继续溢出,将所述编码器的编码码率恢复至初始码率的η倍;若继续溢出,向所述备CPE发送频率切换指令,切断出现溢出的第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述备CPE的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到所述备CPE的频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,执行单通道拥堵处理步骤,其中,η大于0小于1。
本发明的实施例还提供了一种高清直播装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述程序时实现如上所述的高清直播方法。
本发明的实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的高清直播方法中的步骤。
本发明的实施例具有以下有益效果:
上述方案中,控制器将编码器编码后的媒体数据发送给至少两个CPE,可以根据与CPE之间的传输通道的溢出状态动态调整编码码率和发送速率,当溢出发生需切换CPE时,可以降低编码码率,保证传输的的连续性;当CPE切换要换结束时可以增加编码码率以保证媒体数据的清晰度和流畅度,从而实现高清直播。
附图说明
图1为本发明实施例高清直播装置的结构示意图;
图2为本发明实施例高清直播方法的流程示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明实施例提供一种高清直播装置,如图1所示,包括:
编码器11,用于对原始媒体数据进行编码;
控制器12,用于将所述编码器编码后的媒体数据发送给至少两个CPE,并根据与所述CPE之间的传输通道的溢出状态调整发送速率、调整所述编码器的编码码率和/或控制所述CPE进行频率切换;
所述至少两个CPE13,用于上行传输接收到的媒体数据。
本实施例中,控制器将编码器编码后的媒体数据发送给至少两个CPE,可以根据与CPE之间的传输通道的溢出状态动态调整编码码率和发送速率,当溢出发生需切换CPE时,可以降低编码码率,保证传输的的连续性;当CPE切换要换结束时可以增加编码码率以保证媒体数据的清晰度和流畅度,从而实现高清直播。
一些实施例中,所述控制器12还用于向所述编码器11发送编码控制指令;
所述编码器11还用于根据输入的原始媒体数据的分辨率和帧率计算所述原始媒体数据的初始码率,并在编码时根据所述控制器的编码控制指令调整对所述原始媒体数据进行编码的编码码率。
一些实施例中,所述控制器12还用于接收两个CPE13的注册信息,并按照所述两个CPE的注册时间将所述两个CPE分为主CPE和备CPE,所述备CPE的注册时间晚于所述主CPE的注册时间;与所述主CPE和所述备CPE分别建立传输通道,并设置每个CPE的发送缓冲区大小。
一些实施例中,所述控制器12包括第一本地缓冲区和第二本地缓冲区,所述第一本地缓冲区以先进先出的队列方式缓存所述编码器编码后的媒体数据,所述第二本地缓冲区采用循环链表方式进行数据存储,发送线程从所述第一本地缓冲区读取数据放入所述第二本地缓冲区和CPE的发送缓冲区后,读取的数据从所述第一本地缓冲区中删除。
一些实施例中,所述控制器12具体用于初始化两个待发送包序号循环链表Lp和Ls,分别记录所述主CPE和所述备CPE中的发送缓冲区内的包序号,每个循环链表内节点个数为FGOP,链表节点中存储每个数据包的包序号;将从所述第一本地缓冲区读取的数据包交替通过两个传输通道发送,同时将包序号更新至相应的Lp或者Ls;在检测到一个传输通道出现溢出的时间超过预设阈值时,执行单通道拥堵处理步骤;在检测到两个传输通道出现溢出时,执行双通道拥堵处理步骤。
一些实施例中,执行单通道拥堵处理步骤时,
所述控制器12具体用于将出现溢出的第一传输通道的发送速率降至上一阶段编码码率的(1-δ)/2倍,将未出现溢出的第二传输通道的发送速率变为原来的(1+δ)/2倍;若调整发送速率后第二传输通道出现溢出,则通过编码控制指令通知所述编码器将编码码率调整为上一阶段编码码率的1/(1+δ)倍;若调整发送速率后,所述第一传输通道不再溢出,则维持该编码码率保持不变,间隔时间T后通过编码控制指令通知编码器逐步增加编码码率直至初始码率;若调整发送速率后,所述第一传输通道仍然溢出,间隔时间t后增大δ值,同时继续降低编码码率,当δ大于δo时,向所述第一传输通道对应的CPE发送频率切换指令,切断所述第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述第一传输通道的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,并将从所述第一本地缓冲区读取的数据包交替通过第一传输通道和第二传输通道发送,其中,δ、δo和η均大于0小于1;
所述CPE13具体用于在接收到所述控制器的频率切换指令后,与网络侧协商选择频点,并向所述控制器返回频率切换成功指令。
一些实施例中,执行双通道拥堵处理步骤时,
所述控制器12具体用于通过编码控制指令通知所述编码器将编码码率修改为初始码率的η倍;若溢出现象消失,保持所述编码器的编码码率不变,间隔时间T增加编码码率至初始码率,若不再溢出,则保持所述编码器的编码码率为初始码率,若继续溢出,将所述编码器的编码码率恢复至初始码率的η倍;若继续溢出,向所述备CPE发送频率切换指令,切断出现溢出的第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述备CPE的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到所述备CPE的频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,执行单通道拥堵处理步骤,其中,η大于0小于1;
所述备CPE具体用于在接收到所述控制器的频率切换指令后,与网络侧协商选择频点,并向所述控制器返回频率切换成功指令。
一些实施例中,所述CPE具体用于在移动过程中未接收到控制器的频率切换指令时,不进行频率切换。
本发明实施例还提供了一种高清直播方法,应用于如上所述的高清直播装置,如图2所示,包括:
步骤201:接收编码器编码后的媒体数据;
步骤202:将所述编码器编码后的媒体数据发送给至少两个CPE,并根据与所述CPE之间的传输通道的溢出状态调整发送速率、调整所述编码器的编码码率和/或控制所述CPE进行频率切换。
本实施例中,控制器将编码器编码后的媒体数据发送给至少两个CPE,可以根据与CPE之间的传输通道的溢出状态动态调整编码码率和发送速率,当溢出发生需切换CPE时,可以降低编码码率,保证传输的的连续性;当CPE切换要换结束时可以增加编码码率以保证媒体数据的清晰度和流畅度,从而实现高清直播。
一些实施例中,所述方法还包括:
接收两个CPE的注册信息,并按照所述两个CPE的注册时间将所述两个CPE分为主CPE和备CPE,所述备CPE的注册时间晚于所述主CPE的注册时间;与所述主CPE和所述备CPE分别建立传输通道,并设置每个CPE的发送缓冲区大小。
一些实施例中,所述方法包括:
初始化两个待发送包序号循环链表Lp和Ls,分别记录所述主CPE和所述备CPE中的发送缓冲区内的包序号,每个循环链表内节点个数为FGOP,链表节点中存储每个数据包的包序号;将从所述第一本地缓冲区读取的数据包交替通过两个传输通道发送,同时将包序号更新至相应的Lp或者Ls;在检测到一个传输通道出现溢出的时间超过预设阈值时,执行单通道拥堵处理步骤;在检测到两个传输通道出现溢出时,执行双通道拥堵处理步骤。
一些实施例中,所述单通道拥堵处理步骤包括:
将出现溢出的第一传输通道的发送速率降至上一阶段编码码率的(1-δ)/2倍,将未出现溢出的第二传输通道的发送速率变为原来的(1+δ)/2倍;若调整发送速率后第二传输通道出现溢出,则通过编码控制指令通知所述编码器将编码码率调整为上一阶段编码码率的1/(1+δ)倍;若调整发送速率后,所述第一传输通道不再溢出,则维持该编码码率保持不变,间隔时间T后通过编码控制指令通知编码器逐步增加编码码率直至初始码率;若调整发送速率后,所述第一传输通道仍然溢出,间隔时间t后增大δ值,同时继续降低编码码率,当δ大于δo时,向所述第一传输通道对应的CPE发送频率切换指令,切断所述第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述第一传输通道的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,并将从所述第一本地缓冲区读取的数据包交替通过第一传输通道和第二传输通道发送,其中,δ、δo和η均大于0小于1。
一些实施例中,所述双通道拥堵处理步骤包括:
通过编码控制指令通知所述编码器将编码码率修改为初始码率的η倍;若溢出现象消失,保持所述编码器的编码码率不变,间隔时间T增加编码码率至初始码率,若不再溢出,则保持所述编码器的编码码率为初始码率,若继续溢出,将所述编码器的编码码率恢复至初始码率的η倍;若继续溢出,向所述备CPE发送频率切换指令,切断出现溢出的第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述备CPE的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到所述备CPE的频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,执行单通道拥堵处理步骤,其中,η大于0小于1。
下面结合具体的实施例对本发明的技术方案进行进一步介绍:
本实施例的高清直播装置包括编码器、控制器、主CPE、备CPE。其中编码器负责对原始媒体数据进行编码;控制器负责将编码器编码后的媒体数据发送给主、备CPE,当某个CPE的发送缓冲区溢出时,降低发往该CPE的发送速率,当发送速率低于阈值发送缓冲区仍然溢出时,向CPE发出切换指令,以防止乒乓切换;控制器开机后接受主、备CPE注册,最开始注册的为主CPE,第二注册的为备CPE,主、备CPE主要负责媒体数据的上行传输。
其中,编码器在初始化时根据用户输入的分辨率和帧率计算初始码率大小,编码过程中,编码器可以实时接收控制器的编码控制指令来改变编码码率。
初始码率计算过程举例如下:对于4k直播来讲,其分辨率为3840*2160,帧率为50fps,10bit深度,编码前码率为BRorigin=3840*2160*10*3*50=12Gbps,以压缩比60:1计算,编码后视频码率约为:BRencode=200Mbps。
控制器执行的步骤如下:
(1)控制器在开机后接受主、备CPE注册,最开始注册的为主CPE,第二注册的为备CPE。
(2)控制器主、备CPE分别建立两条传输通道,缓冲区大小设置为bufferSize=BRencode*FGOP/50*8,其中BRencode为编码后媒体数据的码率,FGOP为缓冲区内视频帧个数,与GOP相同,默认为50。则bufferSize=200M*50/(50*8)=25M字节。
(3)控制器初始化两个本地缓冲区,大小均为bufferSize*60,即240M,缓冲区Cq以先进先出的队列方式缓存从编码器编码之后的数据,发送线程从Cq读取数据放入发送缓冲区后,数据包就从Cq中被删除。另一个缓冲区Cl采用循环链表方式进行存储,发送线程从Cq拷贝数据时,同时将数据加入Cl,缓冲区内数据组织方式如下表所示,其中,不管码率如何,每个数据包大小是固定的。PTS(显示时间戳)由编码器给出,每一帧数据有相同的PTS。
包序号 Pts 帧数据
(4)初始化两个待发送包序号循环链表Lp和Ls,用于记录每个发送缓冲区里的包序号,每个循环链表内节点个数为FGOP,链表节点中存储每个数据包的包序号。
(5)将数据包交替放入两个发送缓冲区,同时将包序号更新至相应的Lp或者Ls。
(6)当检测到一个传输通道的发送缓冲区写入失败,而另一个传输通道写入正常时,且持续时间超过1s时,执行下述i-Vi操作:
i、将上述步骤(5)的交替发送改为加权发送,具体如下:将本传输通道(即出现写入失败的传输通道)发送速率降至上一阶段编码码率的(1-δ)/2倍,相应的另一个传输通道的发送速率变为原来的(1+δ)/2倍,δ根据经验值计算,可以为0.1;
ii、若调整发送速率后另一个传输通道也出现溢出,则通知编码器将编码码率调整为原来的1/(1+δ)倍;
iii、若发送速率加权调整后,本传输通道溢出现象消失,则维持该编码码率保持不变,间隔一定时间T(比如30s)后通知编码器逐步增加编码码率直至初始码率;
iv、若发送速率加权调整后本传输通道溢出现象仍然存在,间隔时间t(默认2s)增大δ值,同时继续降低编码器的编码码率,当δ大于δo时,则向相应的CPE发起频率切换指令,切断当前传输通道,并停止向其发送媒体数据。δo根据经验值计算,默认为0.3;
V、CPE切换指令发出后,通知编码器将编码码率修改为初始码率的η倍,η根据经验值进行判定,默认为0.5。从本传输通道待发送包序号链表中获取本地缓冲区Cq里未能发出的包序号,根据包序号从本地缓冲区Cl中获取包数据使用另一个传输通道进行发送。后续的数据发送也都通过另一个传输通道进行发送;
Vi、收到频率切换成功指令后,建立媒体链接(重选建立传输通道),并向其发送媒体数据。通知编码器将编码码率逐步增加至初始码率,并将双通道发送方式由加权发送调整为交替发送。
(7)当检测到两个传输通道的发送缓冲区同时出现溢出时,执行下述i-vi操作:
i、通知编码器将编码码率修改为初始码率的η倍,η根据经验值进行判定,默认为0.8;
ii、若溢出现象消失,保持编码器的编码码率不变,间隔一定时间T(默认30s)后增加码率至初始码率,若不再溢出,则保持初始码率,若继续溢出,恢复至初始码率的η倍;
iii、若溢出现象仍然存在,向备CPE发起频率切换指令,切断当前传输通道的媒体链接,并停止向其发送媒体数据;
iv、通知编码器将编码码率修改为初始码率的η倍,η根据经验值进行判定,默认为0.3-0.4;
V、从备CPE通道的待发送包序号链表中获取本地缓冲区Cq里未能发出的包序号,根据包序号从本地缓冲区Cl中获取包数据使用另一个传输通道进行发送。后续的数据发送也都通过另一个传输通道进行发送;
Vi、收到备CPE频率切换成功指令后,建立媒体链接,并向其发送媒体数据,通知编码器将编码码率调整为初始码率,回到步骤6)所述单通道溢出状态,按照步骤6)进行处理。
本实施例中,采用控制器控制主、备CPE切换以降低乒乓切换。当两个传输通道同时出现溢出时,首先调整编码器编码速率,当编码速率低于阈值,且仍然存在缓冲区溢出时,启动备CPE频率切换,切换后将编码码率切换至初始码率,进入单通道溢出处理流程。当检测到单通道发送缓冲区拥塞时,首先将两个传输通道的发送速率调整为加权发送,如果发送速率的调整导致双通道均溢出,则适当调整编码速率,若传输通道溢出消失,间隔一定时间后再调整回原始编码速率,只有当编码码率低于阈值仍然存在缓冲区溢出时才启动CPE切换流程。此种机制只在必要时进行CPE频率切换,很大程度上解决在小区切换区移动时有可能出现的乒乓切换。
另外,本实施例采用两个本地缓冲区进行数据缓存防止CPE切换过程中的数据丢失,初始化两个大的本地缓冲区Cq和Cl,本地缓冲区Cq以先进先出的队列方式缓存从编码器编码之后的数据,发送线程从Cq读取数据放入发送缓冲区后,数据包就从Cq中被删除,另一个本地缓冲区Cl采用循环链表方式进行存储,发送线程从Cq拷贝数据时,同时将数据包加入Cl,当检测到网络拥塞时从Cl中获取拥塞时刻的数据包进行再发送;主、备切换机制保证同一时刻只有一个设备进行切换,当一个传输通道存在缓存溢出时,首先降低该通道的发送速率,如果发送速率低于阈值时仍存在溢出现象,则启动该CPE的频率切换机制,切换前获取发送缓存中数据包序号从Cl取出后交给另一传输通道进行发送,同一时刻只能有一个CPE进行通道切换,即使两个传输通道信号质量都不良时,也可以保证在切换过程中的数据能够发送到接收端。若两个传输通道均存在缓存溢出现象时,备CPE切换后成功后才会启动另一个传输通道的切换,这样即使两个传输通道信号质量都不良时,也可以保证在切换过程中的数据能够发送到接收端。
另外,本实施例根据发送状态动态调整媒体数据的编码码率保证媒体数据的质量,当溢出发生需切换CPE时,降低编码码率,保证传输的的连续性,当CPE切要换结束时增加编码码率以保证媒体的清晰度和流畅度。
本发明的实施例还提供了一种高清直播装置,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述程序时实现如上所述的高清直播方法。
本发明的实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的高清直播方法中的步骤。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种高清直播装置,其特征在于,包括:
编码器,用于对原始媒体数据进行编码;
控制器,用于将所述编码器编码后的媒体数据发送给至少两个CPE,并根据与所述CPE之间的传输通道的溢出状态调整发送速率、调整所述编码器的编码码率和/或控制所述CPE进行频率切换;
所述至少两个CPE,用于上行传输接收到的媒体数据。
2.根据权利要求1所述的高清直播装置,其特征在于,
所述控制器还用于向所述编码器发送编码控制指令;
所述编码器还用于根据输入的原始媒体数据的分辨率和帧率计算所述原始媒体数据的初始码率,并在编码时根据所述控制器的编码控制指令调整对所述原始媒体数据进行编码的编码码率。
3.根据权利要求1所述的高清直播装置,其特征在于,
所述控制器还用于接收两个CPE的注册信息,并按照所述两个CPE的注册时间将所述两个CPE分为主CPE和备CPE,所述备CPE的注册时间晚于所述主CPE的注册时间;与所述主CPE和所述备CPE分别建立传输通道,并设置每个CPE的发送缓冲区大小。
4.根据权利要求3所述的高清直播装置,其特征在于,
所述控制器包括第一本地缓冲区和第二本地缓冲区,所述第一本地缓冲区以先进先出的队列方式缓存所述编码器编码后的媒体数据,所述第二本地缓冲区采用循环链表方式进行数据存储,发送线程从所述第一本地缓冲区读取数据放入所述第二本地缓冲区和CPE的发送缓冲区后,读取的数据从所述第一本地缓冲区中删除。
5.根据权利要求4所述的高清直播装置,其特征在于,
所述控制器具体用于初始化两个待发送包序号循环链表Lp和Ls,分别记录所述主CPE和所述备CPE中的发送缓冲区内的包序号,每个循环链表内节点个数为FGOP,链表节点中存储每个数据包的包序号;将从所述第一本地缓冲区读取的数据包交替通过两个传输通道发送,同时将包序号更新至相应的Lp或者Ls;在检测到一个传输通道出现溢出的时间超过预设阈值时,执行单通道拥堵处理步骤;在检测到两个传输通道出现溢出时,执行双通道拥堵处理步骤。
6.根据权利要求5所述的高清直播装置,其特征在于,执行单通道拥堵处理步骤时,
所述控制器具体用于将出现溢出的第一传输通道的发送速率降至上一阶段编码码率的(1-δ)/2倍,将未出现溢出的第二传输通道的发送速率变为原来的(1+δ)/2倍;若调整发送速率后第二传输通道出现溢出,则通过编码控制指令通知所述编码器将编码码率调整为上一阶段编码码率的1/(1+δ)倍;若调整发送速率后,所述第一传输通道不再溢出,则维持该编码码率保持不变,间隔时间T后通过编码控制指令通知编码器逐步增加编码码率直至初始码率;若调整发送速率后,所述第一传输通道仍然溢出,间隔时间t后增大δ值,同时继续降低编码码率,当δ大于δo时,向所述第一传输通道对应的CPE发送频率切换指令,切断所述第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述第一传输通道的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,并将从所述第一本地缓冲区读取的数据包交替通过第一传输通道和第二传输通道发送,其中,δ、δo和η均大于0小于1;
所述CPE具体用于在接收到所述控制器的频率切换指令后,与网络侧协商选择频点,并向所述控制器返回频率切换成功指令。
7.根据权利要求5所述的高清直播装置,其特征在于,执行双通道拥堵处理步骤时,
所述控制器具体用于通过编码控制指令通知所述编码器将编码码率修改为初始码率的η倍;若溢出现象消失,保持所述编码器的编码码率不变,间隔时间T增加编码码率至初始码率,若不再溢出,则保持所述编码器的编码码率为初始码率,若继续溢出,将所述编码器的编码码率恢复至初始码率的η倍;若继续溢出,向所述备CPE发送频率切换指令,切断出现溢出的第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述备CPE的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到所述备CPE的频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,执行单通道拥堵处理步骤,其中,η大于0小于1;
所述备CPE具体用于在接收到所述控制器的频率切换指令后,与网络侧协商选择频点,并向所述控制器返回频率切换成功指令。
8.根据权利要求6或7所述的高清直播装置,其特征在于,所述CPE具体用于在移动过程中未接收到控制器的频率切换指令时,不进行频率切换。
9.一种高清直播方法,其特征在于,应用于如权利要求1-8中任一项所述的高清直播装置,包括:
接收编码器编码后的媒体数据;
将所述编码器编码后的媒体数据发送给至少两个CPE,并根据与所述CPE之间的传输通道的溢出状态调整发送速率、调整所述编码器的编码码率和/或控制所述CPE进行频率切换。
10.根据权利要求9所述的高清直播方法,其特征在于,还包括:
接收两个CPE的注册信息,并按照所述两个CPE的注册时间将所述两个CPE分为主CPE和备CPE,所述备CPE的注册时间晚于所述主CPE的注册时间;与所述主CPE和所述备CPE分别建立传输通道,并设置每个CPE的发送缓冲区大小。
11.根据权利要求10所述的高清直播方法,其特征在于,应用于如权利要求6所述的高清直播装置,包括:
初始化两个待发送包序号循环链表Lp和Ls,分别记录所述主CPE和所述备CPE中的发送缓冲区内的包序号,每个循环链表内节点个数为FGOP,链表节点中存储每个数据包的包序号;将从所述第一本地缓冲区读取的数据包交替通过两个传输通道发送,同时将包序号更新至相应的Lp或者Ls;在检测到一个传输通道出现溢出的时间超过预设阈值时,执行单通道拥堵处理步骤;在检测到两个传输通道出现溢出时,执行双通道拥堵处理步骤。
12.根据权利要求11所述的高清直播方法,其特征在于,所述单通道拥堵处理步骤包括:
将出现溢出的第一传输通道的发送速率降至上一阶段编码码率的(1-δ)/2倍,将未出现溢出的第二传输通道的发送速率变为原来的(1+δ)/2倍;若调整发送速率后第二传输通道出现溢出,则通过编码控制指令通知所述编码器将编码码率调整为上一阶段编码码率的1/(1+δ)倍;若调整发送速率后,所述第一传输通道不再溢出,则维持该编码码率保持不变,间隔时间T后通过编码控制指令通知编码器逐步增加编码码率直至初始码率;若调整发送速率后,所述第一传输通道仍然溢出,间隔时间t后增大δ值,同时继续降低编码码率,当δ大于δo时,向所述第一传输通道对应的CPE发送频率切换指令,切断所述第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述第一传输通道的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,并将从所述第一本地缓冲区读取的数据包交替通过第一传输通道和第二传输通道发送,其中,δ、δo和η均大于0小于1。
13.根据权利要求11所述的高清直播方法,其特征在于,所述双通道拥堵处理步骤包括:
通过编码控制指令通知所述编码器将编码码率修改为初始码率的η倍;若溢出现象消失,保持所述编码器的编码码率不变,间隔时间T增加编码码率至初始码率,若不再溢出,则保持所述编码器的编码码率为初始码率,若继续溢出,将所述编码器的编码码率恢复至初始码率的η倍;若继续溢出,向所述备CPE发送频率切换指令,切断出现溢出的第一传输通道;在发送频率切换指令后,通过编码控制指令通知编码器将编码码率调整为初始码率的η倍,从所述备CPE的待发送包序号链表中获取所述第一本地缓冲区内未能发出的包序号,根据包序号从所述第二本地缓冲区中读取包数据使用第二传输通道进行发送,并使用所述第二传输通道发送后续数据;若接收到所述备CPE的频率切换成功指令,重新建立第一传输通道,通过编码控制指令通知编码器逐步增加编码码率直至初始码率,执行单通道拥堵处理步骤,其中,η大于0小于1。
14.一种高清直播装置,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;其特征在于,所述处理器执行所述程序时实现如权利要求9-13中任一项所述的高清直播方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求9-13中任一项所述的高清直播方法中的步骤。
CN202010737347.XA 2020-07-28 2020-07-28 高清直播方法及装置 Pending CN114007086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010737347.XA CN114007086A (zh) 2020-07-28 2020-07-28 高清直播方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010737347.XA CN114007086A (zh) 2020-07-28 2020-07-28 高清直播方法及装置

Publications (1)

Publication Number Publication Date
CN114007086A true CN114007086A (zh) 2022-02-01

Family

ID=79920434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010737347.XA Pending CN114007086A (zh) 2020-07-28 2020-07-28 高清直播方法及装置

Country Status (1)

Country Link
CN (1) CN114007086A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002027418A2 (en) * 2000-09-25 2002-04-04 Motorwiz, Inc. Model-based machine diagnostics and prognostics using theory of noise and communications
CN101015148A (zh) * 2004-06-18 2007-08-08 哈林顿阀门有限公司 用于在通信系统中实现双宽信道的系统和方法
CN103369599A (zh) * 2013-06-24 2013-10-23 天津理工大学 一种多射频多信道无线Mesh网络资源跨层优化方法
CN104754589A (zh) * 2013-12-26 2015-07-01 中国科学院沈阳自动化研究所 基于流量感知的动态组网方法
CN105656798A (zh) * 2016-01-08 2016-06-08 努比亚技术有限公司 数据传输方法、装置、多通道路由方法及用户设备
CN107171965A (zh) * 2017-05-31 2017-09-15 华南理工大学 基于分布式拥塞控制策略的车联网跨层机会路由方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002027418A2 (en) * 2000-09-25 2002-04-04 Motorwiz, Inc. Model-based machine diagnostics and prognostics using theory of noise and communications
CN101015148A (zh) * 2004-06-18 2007-08-08 哈林顿阀门有限公司 用于在通信系统中实现双宽信道的系统和方法
CN103369599A (zh) * 2013-06-24 2013-10-23 天津理工大学 一种多射频多信道无线Mesh网络资源跨层优化方法
CN104754589A (zh) * 2013-12-26 2015-07-01 中国科学院沈阳自动化研究所 基于流量感知的动态组网方法
CN105656798A (zh) * 2016-01-08 2016-06-08 努比亚技术有限公司 数据传输方法、装置、多通道路由方法及用户设备
CN107171965A (zh) * 2017-05-31 2017-09-15 华南理工大学 基于分布式拥塞控制策略的车联网跨层机会路由方法

Similar Documents

Publication Publication Date Title
CN112492118B (zh) 数据传输控制方法、信息发送端、接收端及飞行器图传系统
CN104702968A (zh) 一种视频帧丢帧方法及视频发送装置
CN110769296B (zh) 一种传输时基于本地缓存的视频码率自适应调节方式
US9088773B2 (en) Wireless channel aware adaptive video bit rate encoding
US11172227B2 (en) Video sending and receiving method, apparatus, and terminal thereof
CN115086779B (zh) 视频传输系统
KR101516038B1 (ko) 무선 통신 시스템 및 채널 전환 방법
CN113747194B (zh) 远程视频传输方法、传输装置、存储介质及电子设备
CN109818874A (zh) 数据传输方法、设备及计算机存储介质
JP2019527943A (ja) ビデオストリーミングのための方法及びシステム
CN113068001B (zh) 基于级联摄像机的数据处理方法、装置、设备和介质
US20080010660A1 (en) Contents distribution system, contents distribution server, contents reproduction terminal, and contents distribution method
CN101138246A (zh) 视频流数据的缓冲
CN114007086A (zh) 高清直播方法及装置
US20190089759A1 (en) Video encoding circuit and wireless video transmission apparatus and method
CN100484026C (zh) 一种应用系统中日志信息的传送方法及系统
CN102572409A (zh) 一种应用于移动视频监控防止扇区切换过程视频中断的方法
WO2023071822A1 (zh) 抗丢包方法、装置、电子设备及存储介质
CN114286132A (zh) 一种无线网络中视频传输容错的方法
CN112787944B (zh) 流量控制方法、设备及计算机可读存储介质
CN108124155A (zh) 一种码率控制方法、装置及电子设备
CN100562101C (zh) 一种p2p式点播中播放操作的实现方法及客户端
CN111866574A (zh) 一种移动端流媒体实时倒放方法
US11984947B2 (en) Wireless reliability for devices in motion
WO2022061657A1 (zh) 无线图像传输方法及设备、摄影装置、可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination