CN111327962A - 播放控制方法、装置、设备及存储介质 - Google Patents

播放控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111327962A
CN111327962A CN202010151394.6A CN202010151394A CN111327962A CN 111327962 A CN111327962 A CN 111327962A CN 202010151394 A CN202010151394 A CN 202010151394A CN 111327962 A CN111327962 A CN 111327962A
Authority
CN
China
Prior art keywords
packet loss
delay
loss recovery
data packet
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010151394.6A
Other languages
English (en)
Other versions
CN111327962B (zh
Inventor
成家雄
张轲
钟少奋
曾泽兴
邱丹青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Singapore Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010151394.6A priority Critical patent/CN111327962B/zh
Publication of CN111327962A publication Critical patent/CN111327962A/zh
Application granted granted Critical
Publication of CN111327962B publication Critical patent/CN111327962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了播放控制方法、装置、设备及存储介质。其中，播放控制方法包括：接收发送端发送的第一数据包以及丢包恢复延时，其中，丢包恢复延时包括发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时；根据丢包恢复延时确定第二数据包对应的延时播放策略，其中，第二数据包包括发送端在发送第一数据包之后发送的数据包；依据延时播放策略控制第二数据包的播放。本发明实施例提供的技术方案，充分考虑当前丢包恢复策略可能引起的丢包恢复耗时，并控制后续数据包的延时播放策略，可以使得数据包的播放控制更加合理，有利于提高所恢复的包得到正常播放的概率。

Description

播放控制方法、装置、设备及存储介质
技术领域
本发明实施例涉及多媒体技术领域，尤其涉及播放控制方法、装置、设备及存储介质。
背景技术
随着多媒体信息技术的不断发展，音视频等多媒体信息大量涌现。多媒体数据作为一种表达信息的综合媒体，已成为现实生活中一个重要的信息载体。
多媒体数据中通常包含了大量的图像或声音等信息，网络传输过程中可能存在各种耗时因素和不稳定因素。在一些对实时性有一定要求的应用场景中，如音视频聊天或音视频直播等，一般会设置缓冲区域并估计目标播放延时，从而对多媒体数据的播放进行控制，以兼顾多媒体数据播放的流畅性和实时性。然而，目前多媒体数据的播放控制方案仍不够完善，需要改进。
发明内容
本发明实施例提供了播放控制方法、装置、设备及存储介质，可以优化现有的多媒体数据的播放控制方案。
第一方面，本发明实施例提供了一种播放控制方法，该方法包括：
接收发送端发送的第一数据包以及丢包恢复延时，其中，所述丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时；
根据所述丢包恢复延时确定第二数据包对应的延时播放策略，其中，所述第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包；
依据所述延时播放策略控制所述第二数据包的播放。
第二方面，本发明实施例提供了一种播放控制方法，该方法包括：
根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时；
向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。
第三方面，本发明实施例提供了一种播放控制装置，该装置包括：
接收模块，用于接收发送端发送的第一数据包以及丢包恢复延时，其中，所述丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时；
延时播放策略确定模块，用于根据所述丢包恢复延时确定第二数据包对应的延时播放策略，其中，所述第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包；
播放控制模块，用于依据所述延时播放策略控制所述第二数据包的播放。
第四方面，本发明实施例提供了一种播放控制装置，该装置包括：
丢包恢复延时确定模块，用于根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时；
丢包恢复延时发送模块，用于向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。
第五方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的播放控制方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的播放控制方法。
本发明实施例中提供的播放控制方案，接收端接收发送端发送的第一数据包以及丢包恢复延时，其中，丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时，根据丢包恢复延时确定第二数据包对应的延时播放策略，其中，第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包，依据延时播放策略控制第二数据包的播放。通过采用上述技术方案，充分考虑当前丢包恢复策略可能引起的丢包恢复耗时，并控制后续数据包的延时播放策略，可以使得数据包的播放控制更加合理，有利于提高所恢复的包得到正常播放的概率。
附图说明
图1为本发明实施例提供的一种播放控制方法所适用的应用场景的场景架构图；
图2为本发明实施例提供的一种播放控制方法的流程示意图；
图3为本发明实施例提供的又一种播放控制方法的流程示意图；
图4为本发明实施例提供的另一种播放控制方法的流程示意图；
图5为本发明实施例提供的一种丢包恢复延时确定过程示意图；
图6为本发明实施例提供的另一种丢包恢复延时确定过程示意图；
图7为本发明实施例提供的一种播放控制装置的结构框图；
图8为本发明实施例提供的另一种播放控制装置的结构框图；
图9为本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种播放控制方法所适用的应用场景的场景架构图。具体的，该应用场景可包括音视频通话、音视频直播以及音视频会议等等场景，参考图1，应用场景中可以包括发送端10和接收端20。发送端10可以负责将需要发送的多媒体数据(如音频数据、视频数据以及图像数据等等)按照一定的规则或格式进行组包，得到多媒体数据包，并携带如发送时间戳以及包序列号等信息发送到网络；接收端20从网络接收多媒体数据包，并依据延时播放策略对多媒体数据包进行播放。需要说明的是，对于一个实体设备来说，在上述应用场景中，一般同时具有发送端和接收端的身份，也即，在向对端设备发送数据包的同时也可能接收对端设备发送过来的数据包。相关技术中，延时播放策略取决于对网络传输延时的估计，而在网络传输过程中，可能存在丢包的情况，因此，网络传输延时与网络包的传输方式有关，网络包比如包括正常包、重传包和前向纠错(Forward ErrorCorrection，FEC)恢复包等。而目前的网络传输延时的估计仅考虑正常包传输延时，会引入较大误差，因此，现有技术中延时播放策略的确定方式并不合理，导致多媒体数据的播放控制方案也不够完善，需要改进。发明人发现，在上述应用场景中，网络传输丢包对抗手段必不可少，如果延时播放策略和丢包恢复策略充分结合，获知丢包恢复过程所引入的耗时，便能够作出更准确估算，得到更加合理的延时播放策略，有利于提高所恢复的包得到正常播放的概率。
图2为本发明实施例提供的一种播放控制方法的流程示意图，该方法可以由播放控制装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图2所示，该方法包括：
步骤201、接收发送端发送的第一数据包以及丢包恢复延时，其中，所述丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时。
示例性的，计算机设备可以是手机、平板电脑、笔记本电脑以及个人电脑等设备，可以作为接收端接收作为发送端的对端设备发送的数据包。对端设备也可以是手机、平板电脑、笔记本电脑以及个人电脑等设备，具体类型可以与接收端相同或不同。
示例性的，数据包为多媒体数据包，第一数据包可以是发送端发送的任意一个数据包，一般的，在音视频通话等通信连接建立成功后，可以开始执行本发明实施例的方案。
示例性的，丢包恢复策略可理解为用于对抗网络丢包所采用的恢复策略，一般为带外(可理解为在编码器外部进行)恢复策略，例如可包括基于自动重传请求(AutomaticRepeat-reQuest，ARQ)的丢包恢复策略或基于FEC的丢包恢复策略等。针对同一种恢复方法来说，通常也存在多种实现方式，因此对应多种丢包恢复策略。以FEC方法来说，采用不同的冗余编码算法或不同的丢包模型，均会得到不同的丢包恢复策略。本发明实施例中的当前丢包恢复策略可以是任意一种丢包恢复策略，具体不做限定。可选的，可以由发送端根据当前网络状态确定当前丢包恢复策略。所述当前网络状态例如包括当前丢包率、当前网络环回延时(Round-Trip Time，RTT)和拥塞情况中的至少一项。例如，在当前丢包率大于预设丢包率阈值时，或者当前RTT值大于预设RTT阈值时，或当前拥塞程度高于预设程度阈值时，选择基于ARQ的丢包恢复策略，其他情况可以选择基于FEC的丢包恢复策略。具体的当前丢包恢复策略还可以有很多其他的参考因素，本发明实施例不做限定。
示例性的，对于不同的丢包恢复策略来说，丢包恢复过程所引入的耗时的影响因素一般不同，发送端可根据具体情况确定丢包恢复延时，本发明实施例不做限定。
步骤202、根据所述丢包恢复延时确定第二数据包对应的延时播放策略，其中，所述第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包。
示例性的，一般理想情况下，接收端在收到数据包之后可以立即播放，保证通信的实时性，然而，受到网络抖动等因素的影响，一般无法实现立即播放，也就是说，在收到当前数据包时，按照数据包的播放时序，还未轮到当前数据包的播放时间，因此，需要设置缓冲区，对接收到但未播放的数据包进行缓存并等待播放，相应的，相当于对缓冲区内的数据包进行延迟播放，可在考虑网络抖动等因素的情况下确定具体的延迟播放时间。
本发明实施例中，充分考虑到网络传输过程中容易出现的丢包情况，也即，第一数据包之后的第二数据包可能出现丢包。第二数据包可以包括包序列号在第一数据包之后的一个或多个数据包。对于第二数据包来说，如果依照现有技术的方案将其视为正常包来进行处理，那么就会导致所确定的延迟播放时间较早，在到达该延迟播放时间时，第二数据包的恢复很可能并未完成，因此无法进行播放，这样就会导致接收端播放的多媒体数据缺失，降低了恢复包播放率，且影响通信双方的交互。本发明实施例中，根据丢包恢复延时确定第二数据包对应的延时播放策略，充分考虑了丢包情况，参考丢包恢复过程所引入的耗时作出更准确估算，可以得到更加合理的延时播放策略。
步骤203、依据所述延时播放策略控制所述第二数据包的播放。
本发明实施例中，在确定了第二数据包对应的延时播放策略之后，依据延时播放策略控制第二数据包的播放，由于该延时播放策略充分考虑了丢包情况，若第二数据包出现丢包，则有更大的可能性对恢复后的包进行正常播放，即有利于提高所恢复的包得到正常播放的概率。
本发明实施例中提供的播放控制方法，接收端接收发送端发送的第一数据包以及丢包恢复延时，其中，丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时，根据丢包恢复延时确定第二数据包对应的延时播放策略，其中，第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包，依据延时播放策略控制第二数据包的播放。通过采用上述技术方案，充分考虑当前丢包恢复策略可能引起的丢包恢复耗时，并控制后续数据包的延时播放策略，可以使得数据包的播放控制更加合理，有利于提高所恢复的包得到正常播放的概率。
在一些实施例中，所述根据所述丢包恢复延时确定第二数据包对应的延时播放策略，包括：根据所述丢包恢复延时确定所述第二数据包对应的目标播放延时，所述目标播放延时与播放缓冲区大小相对应。这样设置的好处在于，可以通过动态调整播放缓冲区的大小来准确控制第二数据包的播放策略。当目前的缓冲区能够支持继续等待第二数据包的恢复时，可继续等待，提高恢复包正常播放的概率，而当目前的缓冲区已满，无法继续等待第二数据包的恢复时，可以播放第二数据包对应时序之后的已成功接收的数据包，避免通信出现较长时间的卡顿，影响用户体验。
在一些实施例中，所述根据所述丢包恢复延时确定所述第二数据包对应的目标播放延时，包括：确定所述第二数据包对应的预估播放延时；在所述预估播放延时基础上叠加所述丢包恢复延时，得到所述第二数据包对应的目标播放延时。这样设置的好处在于，能够快速确定目标播放延时。其中，确定第二数据包对应的预估播放延时的具体方式，本发明实施例不做限定，可参考现有方式确定，也可根据具体需求进行设计。示例性的，所述确定所述第二数据包对应的预估播放延时，可包括：根据所述第一数据包对应的传输延时、所述第一数据包的发送时间以及所述第一数据包的实际播放时间，确定所述第二数据包对应的预估播放延时。其中，第一数据包对应的传输延时可以通过第一数据包的接收时间和第一数据包的发送时间来确定。
图3为本发明实施例提供的又一种播放控制方法的流程示意图，本发明实施例在上述各可选实施例基础上进行优化。
示例性的，该方法还可包括：向所述发送端反馈数据包播放信息，用于指示所述发送端根据所述数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时。这样设置的好处在于，有助于丢包恢复策略的动态调整，进一步提高有效恢复率。
可选的，该方法包括：
步骤301、接收发送端发送的第一数据包以及丢包恢复延时，其中，丢包恢复延时包括发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时。
步骤302、根据第一数据包对应的传输延时、第一数据包的发送时间以及第一数据包的实际播放时间，确定所述第二数据包对应的预估播放延时。
其中，所述第二数据包可以是所述发送端在发送所述第一数据包之后发送的下一个数据包，也即第二数据包是包序列号在第一数据包之后的第一个数据包。
示例性的，预估播放延时可以通过以下方式得到：
预估播放延时＝第一数据包对应的传输延时-(第一数据包的实际播放时间-第一数据包的发送时间)。
可选的，为了充分考虑传输延时的波动情况，可采用如下方式计算预估播放延时：
preplayoutdiffi＝pi-(now-ti)
Figure BDA0002402556780000091
Figure BDA0002402556780000092
Figure BDA0002402556780000093
其中，i表示当前数据包，也即第一数据包；preplayoutdiffi表示根据当前数据包的播放情况得到的第二数据包的预估播放延时；ni表示当前数据包的传输延时(单向)，等于接收时间戳减去发送时间戳；
Figure BDA0002402556780000094
表示平均传输延时，等于过去和当前传输延时的加权值，加权因子α小于1，例如可以是0.75；
Figure BDA0002402556780000095
表示传输延时的方差；ti表示当前数据包的发送时间戳；pi表示播放延时，基于当前包的发送时间戳，加上平均传输延时和方差乘以方差因素β，其中，β的值可以是4；now表示第一数据包的实际播放时间。
步骤303、在所述预估播放延时基础上叠加所述丢包恢复延时，得到所述第二数据包对应的目标播放延时。
示例性的，目标播放延时playoutdiffi可以通过如下公式得出：
playoutdiffi＝pi-(now-ti)+lossRecoverDelay
其中，LossRecoverDelay表示丢包恢复延时，具体的确定方式将在下文中详细描述。
步骤304、依据目标播放延时控制所述第二数据包的播放。
示例性的，目标播放延时可理解为第二数据包的最晚播放时间，在得到目标播放延时后，在目标播放延时对应的时间未到来之前，可以等待第二数据包的接收，若第一数据包已播放完毕，第二数据包已接收成功，则可立即播放第二数据包，若目标播放延时对应的时间已经到来，而第二数据包仍未成功接收，则不需要继续等待，也即跳过第二数据包的播放，可继续播放第三数据包，其中，第三数据包包括发送端在发送所述第二数据包之后发送的数据包，也即包序列号在第二数据包之后的数据包。
可选的，为了增强目标播放延时的可靠性，避免播放缓冲区大小的设置过小或过大，可预先设置播放缓冲区预设范围，当目标播放延时对应的播放缓冲区大小处于所述播放缓冲区预设范围内时，依据目标播放延时控制所述第二数据包的播放，否则，可参考其他因素对目标播放延时进行调整后，再控制第二数据包的播放。其中，播放缓冲区预设范围例如可以是80毫秒至1秒。
步骤305、向所述发送端反馈数据包播放信息，用于指示所述发送端根据所述数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时。
其中，所述数据包播放信息可包括恢复包播放率和/或所述延时播放策略。恢复包播放率可包括预设时间段内恢复包正常播放的比例。延时播放策略例如具体可以是每个数据包对应的目标播放延时。具体的调整方式将在下文中详细描述。
本发明实施例中提供的播放控制方法，在发送端向接收端发送根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时信息的基础上，由接收端向发送端反馈数据包播放信息，帮助发送端根据数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时，有助于丢包恢复策略的动态调整，进一步提高有效恢复率。
图4为本发明实施例提供的另一种播放控制方法的流程示意图，该方法可以由播放控制装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。如图4所示，该方法包括：
步骤401、根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时。
本发明实施例中的当前丢包恢复策略可以是任意一种丢包恢复策略，具体不做限定。
下面以基于ARQ的丢包恢复策略为例进行说明，在当前丢包恢复策略为基于ARQ的丢包恢复策略时，根据当前预估丢包检测时间和当前预估重传时间确定丢包恢复过程所引入的耗时，或者，根据历史丢包恢复延时的分布信息确定丢包恢复过程所引入的耗时。图5为本发明实施例提供的一种丢包恢复延时确定过程示意图。如图5所示，重传检测基于序列号是否连续来进行，当收到seq＝5的包，和上次收到的seq＝3的包对比，发现序列号不连续，判定seq＝4丢包，并发送对应的重传请求，发送端收到重传请求之后，即重传seq＝4的包，接收端收到seq＝4。这个过程包括两部分：丢包检测时间，从预期的seq＝4的接收时间到收到seq＝5的时间间隔；重传时间，也即预估重传时间，发起重传请求到收到重传包的时间间隔。丢包检测时间和重传时间之和为重传引入延时，也即丢包恢复延时。另外需要说明的是，丢包检测时间的实现可以基于超时重传(Retransmission Time-Out，RTO)机制来主动检测丢包，或者基于收到下一个seq(如图5的方案)才开始检测丢包；而检测到丢包之后，发送重传请求的延时，也是有很多策略，比如立即发送，或者为了减少错误重传，延时一段时间再发送。因此不同的通信系统有不同的重传方案，不同的网络状态下，也会有不同的重传策略，这就导致了重传引入延时变化较大。如果发送端能对重传引入延时进行分布统计，即可以获得更可靠的延时信息，也即，可根据历史丢包恢复延时的分布信息确定丢包恢复过程所引入的耗时。
下面以基于FEC的丢包恢复策略为例进行说明，在当前丢包恢复策略为基于FEC的丢包恢复策略时，根据当前采用的冗余编码算法以及丢包模型确定丢包恢复过程所引入的耗时。图6为本发明实施例提供的另一种丢包恢复延时确定过程示意图，如图6所示，以简单的里所码(Reed Solomon，RS)算法(假设n＝2,k＝2)为例说明FEC引入的延时，发送端的RS模式选择2+2，即两个原始包和两个RS包，那么RS包的编码，一般在两个原始包都组包之后，引入延时就是两个原始包的组包总时间(由于RS包编码时间较短，可以忽略不计，若包含RS编码时间，这里引入延时为两个原始包的组包总时间加上两个RS包的编码总时间)。假设RS包一旦编译完成即发送，那么接收端即使两个原始包发生丢包，只要收到两个RS包，即可进行解码恢复，解码恢复引入的延时，也就是发送端RS包引入的延时，即两个原始包组包总时间(若考虑RS包编码时间，则这里的恢复引入延时为两个原始包的组包总时间加上两个RS包的编码总时间)，也即丢包恢复延时。实际上，网络的场景比较复杂，RS的(n,k)是可变的，RS包的发送，为了避免拥塞，也是有策略的(不一定所有RS包立马发送)，所以RS引入的延时和当前网络以及对抗丢包的策略紧密联系，结合RS策略来估算RS恢复引入的延时是稳定可靠的，从而有助于接收端获得更有效的信息来确定后续数据包的延时播放策略。
步骤402、向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。
本发明实施例中提供的播放控制方法，发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时，得到丢包恢复延时，向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。通过采用上述技术方案，充分考虑当前丢包恢复策略可能引起的丢包恢复耗时，并控制后续数据包的延时播放策略，可以使得数据包的播放控制更加合理，有利于提高所恢复的包得到正常播放的概率。
在一些实施例中，在根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时之前，还包括：根据当前网络状态确定当前丢包恢复策略，其中，所述当前丢包恢复策略包括基于自动重传请求ARQ的丢包恢复策略或基于前向纠错FEC的丢包恢复策略。可选的，所述当前网络状态例如包括当前丢包率、当前RTT和拥塞情况中的至少一项。具体确定方式可参考上文中的相关内容。
在一些实施例中，该方法还可包括：接收发送端反馈的数据包播放信息；根据所述数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时。这样设置的好处在于，发送端可以根据数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时，有助于丢包恢复策略的动态调整，进一步提高有效恢复率。其中，所述数据包播放信息可包括恢复包播放率和/或所述延时播放策略。
示例性的，当所述数据包播放信息包括恢复包播放率时，所述改变丢包恢复延时包括：当所述恢复包播放率低于第一预设阈值时，降低丢包恢复延时。这样设置的好处在于，当恢复包播放率较低时，可以通过调整当前丢包恢复策略来缩短丢包恢复延时，这样，使得丢包能够更快得到恢复，提高丢包恢复后的播放成功率。当恢复包播放率大于或等于第一预设阈值时，可保持原有的丢包恢复策略，也可通过调整当前丢包恢复策略来适当延长丢包恢复延时，具体不做限定。第一预设阈值可根据实际需求设置。
示例性的，当所述数据包播放信息包括所述延时播放策略时，所述改变丢包恢复延时包括：当所述延时播放策略对应的播放缓冲区大小大于第二预设阈值时，降低丢包恢复延时。这样设置的好处在于，当播放缓冲区大小较大时，可以通过调整当前丢包恢复策略来缩短丢包恢复延时，这样，能够有效控制缓冲区大小，改善通信的时效性。当延时播放策略对应的播放缓冲区大小小于或等于第二预设阈值时，可保持原有的丢包恢复策略，也可通过调整当前丢包恢复策略来适当延长丢包恢复延时，具体不做限定。第二预设阈值可根据实际需求设置。
图7为本发明实施例提供的一种播放控制装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行播放控制方法来进行多媒体数据包的播放控制。如图7所示，该装置包括：
接收模块701，用于接收发送端发送的第一数据包以及丢包恢复延时，其中，所述丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时；
延时播放策略确定模块702，用于根据所述丢包恢复延时确定第二数据包对应的延时播放策略，其中，所述第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包；
播放控制模块703，用于依据所述延时播放策略控制所述第二数据包的播放。
本发明实施例中提供的播放控制装置，接收端接收发送端发送的第一数据包以及丢包恢复延时，其中，丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时，根据丢包恢复延时确定第二数据包对应的延时播放策略，其中，第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包，依据延时播放策略控制第二数据包的播放。通过采用上述技术方案，充分考虑当前丢包恢复策略可能引起的丢包恢复耗时，并控制后续数据包的延时播放策略，可以使得数据包的播放控制更加合理，有利于提高所恢复的包得到正常播放的概率。
在一些实施例中，所述根据所述丢包恢复延时确定第二数据包对应的延时播放策略，包括：
根据所述丢包恢复延时确定所述第二数据包对应的目标播放延时，所述目标播放延时与播放缓冲区大小相对应。
在一些实施例中，所述根据所述丢包恢复延时确定所述第二数据包对应的目标播放延时，包括：
确定所述第二数据包对应的预估播放延时；
在所述预估播放延时基础上叠加所述丢包恢复延时，得到所述第二数据包对应的目标播放延时。
在一些实施例中，所述确定所述第二数据包对应的预估播放延时，包括：
根据所述第一数据包对应的传输延时、所述第一数据包的发送时间以及所述第一数据包的实际播放时间，确定所述第二数据包对应的预估播放延时。
在一些实施例中，该装置还包括：
播放信息反馈模块，用于向所述发送端反馈数据包播放信息，用于指示所述发送端根据所述数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时。
在一些实施例中，所述数据包播放信息包括恢复包播放率和/或所述延时播放策略。
图8为本发明实施例提供的另一种播放控制装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行播放控制方法来进行多媒体数据包的播放控制。如图8所示，该装置包括：
丢包恢复延时确定模块801，用于根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时；
丢包恢复延时发送模块802，用于向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。
本发明实施例中提供的播放控制装置，发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时，得到丢包恢复延时，向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。通过采用上述技术方案，充分考虑当前丢包恢复策略可能引起的丢包恢复耗时，并控制后续数据包的延时播放策略，可以使得数据包的播放控制更加合理，有利于提高所恢复的包得到正常播放的概率。
在一些实施例中，该装置还可包括：
当前丢包恢复策略确定模块，用于在根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时之前，根据当前网络状态确定当前丢包恢复策略，其中，所述当前丢包恢复策略包括基于自动重传请求ARQ的丢包恢复策略或基于前向纠错FEC的丢包恢复策略。
在一些实施例中，所述根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，包括：
在当前丢包恢复策略为基于ARQ的丢包恢复策略时，根据当前预估丢包检测时间和当前预估重传时间确定丢包恢复过程所引入的耗时或者根据历史丢包恢复延时的分布信息确定丢包恢复过程所引入的耗时；
在当前丢包恢复策略为基于FEC的丢包恢复策略时，根据当前采用的冗余编码算法以及丢包模型确定丢包恢复过程所引入的耗时。
在一些实施例中，该装置还可包括：
播放信息接收模块，用于接收发送端反馈的数据包播放信息；
当前丢包恢复策略调整模块，用于根据所述数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时。
在一些实施例中，当所述数据包播放信息包括恢复包播放率时，所述改变丢包恢复延时包括：
当所述恢复包播放率低于第一预设阈值时，降低丢包恢复延时；
当所述数据包播放信息包括所述延时播放策略时，所述改变丢包恢复延时包括：
当所述延时播放策略对应的播放缓冲区大小大于第二预设阈值时，降低丢包恢复延时。
本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的播放控制装置。图9为本发明实施例提供的一种计算机设备的结构框图。计算机设备900包括存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序，所述处理器902执行所述计算机程序时实现本发明实施例提供的播放控制方法。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的播放控制方法。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
上述实施例中提供的播放控制装置、设备以及存储介质可执行本发明相应实施例所提供的播放控制方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明相应实施例所提供的播放控制方法。
注意，上述仅为本发明的较佳实施例。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。

Claims (15)

1.一种播放控制方法，其特征在于，包括：
接收发送端发送的第一数据包以及丢包恢复延时，其中，所述丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时；
根据所述丢包恢复延时确定第二数据包对应的延时播放策略，其中，所述第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包；
依据所述延时播放策略控制所述第二数据包的播放。
2.根据权利要求1所述的方法，其特征在于，所述根据所述丢包恢复延时确定第二数据包对应的延时播放策略，包括：
根据所述丢包恢复延时确定所述第二数据包对应的目标播放延时，所述目标播放延时与播放缓冲区大小相对应。
3.根据权利要求2所述的方法，其特征在于，所述根据所述丢包恢复延时确定所述第二数据包对应的目标播放延时，包括：
确定所述第二数据包对应的预估播放延时；
在所述预估播放延时基础上叠加所述丢包恢复延时，得到所述第二数据包对应的目标播放延时。
4.根据权利要求2所述的方法，其特征在于，所述确定所述第二数据包对应的预估播放延时，包括：
根据所述第一数据包对应的传输延时、所述第一数据包的发送时间以及所述第一数据包的实际播放时间，确定所述第二数据包对应的预估播放延时。
5.根据权利要求1-4任一所述的方法，其特征在于，还包括：
向所述发送端反馈数据包播放信息，用于指示所述发送端根据所述数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时。
6.根据权利要求5所述的方法，其特征在于，所述数据包播放信息包括恢复包播放率和/或所述延时播放策略。
7.一种播放控制方法，其特征在于，包括：
根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时；
向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。
8.根据权利要求7所述的方法，其特征在于，在根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时之前，还包括：
根据当前网络状态确定当前丢包恢复策略，其中，所述当前丢包恢复策略包括基于自动重传请求ARQ的丢包恢复策略或基于前向纠错FEC的丢包恢复策略。
9.根据权利要求8所述的方法，其特征在于，所述根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，包括：
在当前丢包恢复策略为基于ARQ的丢包恢复策略时，根据当前预估丢包检测时间和当前预估重传时间确定丢包恢复过程所引入的耗时或者根据历史丢包恢复延时的分布信息确定丢包恢复过程所引入的耗时；
在当前丢包恢复策略为基于FEC的丢包恢复策略时，根据当前采用的冗余编码算法以及丢包模型确定丢包恢复过程所引入的耗时。
10.根据权利要求7所述的方法，其特征在于，还包括：
接收发送端反馈的数据包播放信息；
根据所述数据包播放信息通过调整当前丢包恢复策略以改变丢包恢复延时。
11.根据权利要求10所述的方法，其特征在于，
当所述数据包播放信息包括恢复包播放率时，所述改变丢包恢复延时包括：
当所述恢复包播放率低于第一预设阈值时，降低丢包恢复延时；
当所述数据包播放信息包括所述延时播放策略时，所述改变丢包恢复延时包括：
当所述延时播放策略对应的播放缓冲区大小大于第二预设阈值时，降低丢包恢复延时。
12.一种播放控制装置，其特征在于，包括：
接收模块，用于接收发送端发送的第一数据包以及丢包恢复延时，其中，所述丢包恢复延时包括所述发送端根据当前丢包恢复策略确定的丢包恢复过程所引入的耗时；
延时播放策略确定模块，用于根据所述丢包恢复延时确定第二数据包对应的延时播放策略，其中，所述第二数据包包括所述发送端在发送所述第一数据包之后发送的数据包；
播放控制模块，用于依据所述延时播放策略控制所述第二数据包的播放。
13.一种播放控制装置，其特征在于，包括：
丢包恢复延时确定模块，用于根据当前丢包恢复策略确定丢包恢复过程所引入的耗时，得到丢包恢复延时；
丢包恢复延时发送模块，用于向接收端发送第一数据包以及所述丢包恢复延时，用于指示所述接收端根据所述丢包恢复延时确定第二数据包对应的延时播放策略并依据所述延时播放策略控制所述第二数据包的播放，其中，所述第二数据包包括在发送所述第一数据包之后向所述接收端发送的数据包。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN202010151394.6A 2020-03-06 2020-03-06 播放控制方法、装置、设备及存储介质 Active CN111327962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010151394.6A CN111327962B (zh) 2020-03-06 2020-03-06 播放控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010151394.6A CN111327962B (zh) 2020-03-06 2020-03-06 播放控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111327962A true CN111327962A (zh) 2020-06-23
CN111327962B CN111327962B (zh) 2022-07-12

Family

ID=71169240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010151394.6A Active CN111327962B (zh) 2020-03-06 2020-03-06 播放控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111327962B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112187587A (zh) * 2020-10-22 2021-01-05 广州佰锐网络科技有限公司 一种流媒体通信数据处理方法及系统
CN112543296A (zh) * 2020-11-26 2021-03-23 中移（杭州）信息技术有限公司 延时控制方法、装置和网络设备
CN112751730A (zh) * 2020-12-31 2021-05-04 百果园技术(新加坡)有限公司 抗丢包引入时延的统计方法、抗丢包评估方法及装置
CN114095796A (zh) * 2020-07-30 2022-02-25 中国移动通信集团终端有限公司 无效重传包减少方法、装置、设备及计算机存储介质
CN114337928A (zh) * 2021-12-30 2022-04-12 福州大学 一种基于arq与fec自适应选择的实时视频传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040215812A1 (en) * 2001-04-16 2004-10-28 Kai Lu Packet-drop tolerant method for transmitting time-critical data over ethernet
CN101222311A (zh) * 2008-01-29 2008-07-16 杭州华三通信技术有限公司 实时报文丢包恢复方法、系统及接收端单元
CN106034011A (zh) * 2015-03-11 2016-10-19 中国移动通信集团四川有限公司 一种组播传输质量保障的控制方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040215812A1 (en) * 2001-04-16 2004-10-28 Kai Lu Packet-drop tolerant method for transmitting time-critical data over ethernet
CN101222311A (zh) * 2008-01-29 2008-07-16 杭州华三通信技术有限公司 实时报文丢包恢复方法、系统及接收端单元
CN106034011A (zh) * 2015-03-11 2016-10-19 中国移动通信集团四川有限公司 一种组播传输质量保障的控制方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095796A (zh) * 2020-07-30 2022-02-25 中国移动通信集团终端有限公司 无效重传包减少方法、装置、设备及计算机存储介质
CN112187587A (zh) * 2020-10-22 2021-01-05 广州佰锐网络科技有限公司 一种流媒体通信数据处理方法及系统
CN112543296A (zh) * 2020-11-26 2021-03-23 中移（杭州）信息技术有限公司 延时控制方法、装置和网络设备
CN112751730A (zh) * 2020-12-31 2021-05-04 百果园技术(新加坡)有限公司 抗丢包引入时延的统计方法、抗丢包评估方法及装置
CN112751730B (zh) * 2020-12-31 2024-02-20 百果园技术(新加坡)有限公司 抗丢包引入时延的统计方法、评估方法、装置、设备及介质
CN114337928A (zh) * 2021-12-30 2022-04-12 福州大学 一种基于arq与fec自适应选择的实时视频传输方法

Also Published As

Publication number Publication date
CN111327962B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111327962B (zh) 播放控制方法、装置、设备及存储介质
US10462707B2 (en) Data transmission method and apparatus
US6141324A (en) System and method for low latency communication
EP1441288B1 (en) Reactive bandwidth control for streaming data
JP3598110B2 (ja) データ伝送方法および装置
US7707303B2 (en) Method and devices for controlling retransmissions in data streaming
CN112822521B (zh) 音视频传输的码率控制方法、装置、设备及存储介质
KR20060113567A (ko) 선택적 결합 시스템의 수신기에서 지터 감소를 위한 방법및 장치
JP2008537393A (ja) 可変ビットレート・データのデータパケット送信を制御する技術
US20080215949A1 (en) Server and client for determining error restoration according to image data transmission, and method of determining error restoration according to image data transmission
CN115037416A (zh) 数据前向纠错处理方法、装置、电子设备和存储介质
US20180175957A1 (en) Data processing
CN116318545A (zh) 视频数据传输方法、装置、设备及存储介质
CN114039702A (zh) 数据传输方法、装置、设备和介质
US20070019566A1 (en) Receiver apparatus and data distribution method
JPH09284343A (ja) 蓄積型マルチメディア情報の転送再生方法および装置
JP2005348015A (ja) リアルタイム・ストリーミングデータ受信装置
JPH11341064A (ja) 通信装置及び方法及びシステム及び記憶媒体
CN116405741B (zh) 基于多条传输路径的视频传输的调度方法、设备及介质
US20230396835A1 (en) Adaptive packet retransmission with optimized delay for real time communications
Cianca et al. Improving performance for streaming video services over CDMA-based wireless networks
CN117938321A (zh) 混合自动重传方法、系统、设备及存储介质
WO2024080976A1 (en) Real-time meeting data recovery after proactive participant interruption
WO2024080975A1 (en) Client adaptation for real-time meeting data recovery
WO2024080974A1 (en) Media adaptation for lost content recovery in real-time online meetings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221207

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 5-13 / F, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou, Guangdong 510000

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right