CN112367490A - 面向交互视频传输质量提升的混合学习方法、装置及设备 - Google Patents

面向交互视频传输质量提升的混合学习方法、装置及设备 Download PDF

Info

Publication number
CN112367490A
CN112367490A CN202010954328.2A CN202010954328A CN112367490A CN 112367490 A CN112367490 A CN 112367490A CN 202010954328 A CN202010954328 A CN 202010954328A CN 112367490 A CN112367490 A CN 112367490A
Authority
CN
China
Prior art keywords
time slot
transmission
code rate
transmission time
network state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010954328.2A
Other languages
English (en)
Other versions
CN112367490B (zh
Inventor
张欢欢
周安福
张新宇
马华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010954328.2A priority Critical patent/CN112367490B/zh
Publication of CN112367490A publication Critical patent/CN112367490A/zh
Application granted granted Critical
Publication of CN112367490B publication Critical patent/CN112367490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了面向交互视频传输质量提升的混合学习方法、装置及电子设备，方法包括：针对当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列；将上一传输时隙的传输参数输入码率预测深度强化学习模型，确定第一备选传输码率；基于包间延迟序列所表示的包间延迟趋势确定网络状态标识值；确定当前传输时隙的网络状态阈值；如果网络状态标识值不大于当前传输时隙的网络状态阈值，基于第一备选传输码率发送数据包；如果网络状态标识值大于当前传输时隙对应的网络状态阈值，基于传输码率调整规则、上一传输时隙的传输码率及传输参数确定第二备选传输码率，基于第二备选传输码率发送数据包。采用本发明实施例可以提高视频通话的质量。

Description

面向交互视频传输质量提升的混合学习方法、装置及设备
技术领域
本发明涉及通信技术领域，特别是涉及一种面向交互视频传输质量提升的混合学习方法、装置及设备。
背景技术
随着通信技术的迅速发展，视频通话已经成为人们生活中不可或缺的一部分。然而，在视频通话的过程中，由于视频通话的传输码率不合适导致通话质量下降的情况时有出现，例如，当视频通话的传输码率不合适时会出现视频卡顿、视频图像模糊等问题。为了提高视频通话的通话质量，确定合适的视频通话的传输码率的方法应运而生。
目前，合适的视频通话传输码率是通过码率预测模型确定的。具体来说，在确定当前传输时隙合适的传输码率时，电子设备可以获取上一传输时隙的丢包率、包间延迟、吞吐量及传输码率等传输参数，然后将上一传输时隙的传输参数输入码率预测模型，确定当前传输时隙合适的传输码率，进而发送端可以按照确定的传输码率向接收端发送视频数据。其中，传输时隙即为发送端发送视频数据的时间段。
上述码率预测模型为采用trial-and-error(试错法)进行学习的在线强化学习模型。例如，当通过码率预测模型确定的传输码率不合适时会导致通话质量急剧下降，在这种情况下，可以通过丢包率、包间延迟、吞吐量等传输参数计算奖励函数值，然后基于奖励函数调整码率预测模型的参数，以避免码率预测模型再次出现确定的传输码率不合适的情况。但在实时视频通话的过程中，采用上述码率预测模型预测传输码率的方式无法避免预测的传输码率不合适、不鲁棒等情况出现，这会造成视频通话的通话质量较低。
发明内容
本发明实施例的目的在于提供一种面向交互视频传输质量提升的混合学习方法、装置及电子设备，以确定合适的传输码率，提高通话质量。具体技术方案如下：
第一方面，本发明实施例提供了一种面向交互视频传输质量提升的混合学习方法，所述方法包括：
针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，所述包间延迟序列为所述当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；
将所述上一传输时隙的传输参数输入码率预测模型，确定所述当前传输时隙的备选传输码率，作为第一备选传输码率，其中，所述码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，所述每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，所述码率预测模型包括传输参数与备选传输码率之间的对应关系；
基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值；
基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值，其中，所述网络状态阈值的初始值为基于历史通话的包间延迟确定的；
如果所述网络状态标识值不大于所述当前传输时隙对应的网络状态阈值，基于所述第一备选传输码率向接收端发送数据包；
如果所述网络状态标识值大于所述当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、所述上一传输时隙的传输码率及所述上一传输时隙的传输参数，确定所述当前传输时隙的备选传输码率，作为第二备选传输码率，并基于所述第二备选传输码率向接收端发送数据包，其中，所述传输码率调整规则为降低传输码率的规则。
可选的，在所述基于所述第一备选传输码率向接收端发送数据包的步骤之后，所述方法还包括：
获取所述当前传输时隙的传输参数，作为目标传输参数；
基于所述目标传输参数包括的参数及其对应的预设权重，确定所述当前传输时隙的奖励函数值，作为第一奖励函数值；
基于所述第一奖励函数值调整所述码率预测模型的参数。
可选的，在所述基于所述第二备选传输码率向接收端发送数据包的步骤之后，所述方法还包括：
获取所述当前传输时隙的传输参数，作为目标传输参数；
基于所述目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值，其中，第二类参数为包间延迟；
基于所述第二奖励函数值调整所述码率预测模型的参数。
可选的，所述传输参数还包括码率差异，所述码率差异为预测的传输码率与实际发送码率之间的差异；
在所述确定所述当前传输时隙的奖励函数值的步骤之后，所述方法还包括：
当确定所述当前传输时隙对应的码率差异大于预设差异阈值时，计算预设的第二调整系数与所述当前传输时隙的奖励函数值的乘积，将所述乘积确定为所述当前传输时隙的奖励函数值。
可选的，所述基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值的步骤，包括：
根据公式
Figure BDA0002678096730000031
计算所述当前传输时隙对应的网络状态标识值D(ti)；
其中，T为所述预设数量，T∈N+，i∈(1,2,…T-1)，Δd(tT-i)为所述包间延迟序列中按照时间由早到晚的顺序的第T-i个包间延迟。
可选的，所述基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值的步骤，包括：
根据公式γ(ti)＝γ(ti-1)+kγ×(|D(ti)|-γ(ti-1))，计算所述当前传输时隙对应的网络状态阈值γ(ti)；
其中，γ(ti-1)为所述上一传输时隙对应的网络状态阈值，kγ为预设的阈值权重系数，D(ti)为所述当前传输时隙对应的网络状态标识值。
可选的，所述传输参数包括丢包率、包间延迟及吞吐量；
所述基于所述目标传输参数包括的参数及其对应的预设权重，确定所述当前传输时隙的奖励函数值，作为第一奖励函数值的步骤，包括：
根据公式R1＝a1×l+b1×d+c1×v，计算第一奖励函数值R1；
其中，l为所述当前传输时隙的丢包率，d为所述当前传输时隙的包间延迟，v为所述当前传输时隙的吞吐量，a1为丢包率对应的预设权重，b1为包间延迟对应的预设权重，c1为吞吐量对应的预设权重。
可选的，所述传输参数包括丢包率、包间延迟及吞吐量；
所述基于所述目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值的步骤，包括：
根据公式R2＝a2×l+η×b2×d+c2×v，计算第二奖励函数值R2；
其中，l为所述当前传输时隙的丢包率，d为所述当前传输时隙的包间延迟，v为所述当前传输时隙的吞吐量，a2为丢包率对应的预设权重，2为包间延迟对应的预设权重，c2为吞吐量对应的预设权重，η为所述第一调整系数。
第二方面，本发明实施例提供了一种面向交互视频传输质量提升的混合学习装置，所述装置包括：
数据获取模块，用于针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，所述包间延迟序列为所述当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；
码率预测模块，用于将所述上一传输时隙的传输参数输入码率预测模型，确定所述当前传输时隙的备选传输码率，作为第一备选传输码率，其中，所述码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，所述每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，所述码率预测模型包括传输参数与备选传输码率之间的对应关系；
网络状态标识值确定模块，用于基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值；
网络状态阈值确定模块，用于基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值，其中，所述网络状态阈值的初始值为基于历史通话的包间延迟确定的；
第一发送模块，用于如果所述网络状态标识值不大于所述当前传输时隙对应的网络状态阈值，基于所述第一备选传输码率向接收端发送数据包；
第二发送模块，用于如果所述网络状态标识值大于所述当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、所述上一传输时隙的传输码率及所述上一传输时隙的传输参数，确定所述当前传输时隙的备选传输码率，作为第二备选传输码率，并基于所述第二备选传输码率向接收端发送数据包，其中，所述传输码率调整规则为降低传输码率的规则。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的面向交互视频传输质量提升的混合学习方法步骤。
本发明实施例提供的方案中，发送端可以针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，包间延迟序列为当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；将上一传输时隙的传输参数输入码率预测模型，确定当前传输时隙的备选传输码率，作为第一备选传输码率，其中，码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，码率预测模型包括传输参数与备选传输码率之间的对应关系；基于包间延迟序列所表示的包间延迟趋势，确定当前传输时隙对应的网络状态标识值；基于网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定当前传输时隙对应的网络状态阈值，其中，网络状态阈值的初始值为基于历史通话的包间延迟确定的；如果网络状态标识值不大于当前传输时隙对应的网络状态阈值，基于第一备选传输码率向接收端发送数据包；如果网络状态标识值大于当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、上一传输时隙的传输码率及上一传输时隙的传输参数，确定当前传输时隙的备选传输码率，作为第二备选传输码率，并基于第二备选传输码率向接收端发送数据包，其中，传输码率调整规则为降低传输码率的规则。
网络状态标识值可以表征当前传输时隙的网络状态，网络状态标识值不大于网络状态阈值时表示当前传输时隙网络状态较好，通话质量下降的风险较小，网络状态标识值大于网络状态阈值时表示当前传输时隙网络状态较差，通话质量下降的风险较大。这样，发送端可以基于质量标识值与网络状态阈值之间的大小关系，确定合适的传输码率发送视频数据包，可以提高实时视频通话的通话质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的面向交互视频传输质量提升的混合学习方法的流程图；
图2为包间延迟的示意图；
图3(a)为第一备选传输码率与可用带宽的趋势图；
图3(b)为包间延迟的趋势图；
图4为图1所示实施例中的码率预测模型的参数的第一种调整方式的流程图；
图5为图1所示实施例中的码率预测模型的参数的第二种调整方式的流程图；
图6为预测的传输码率、实际发送码率及视频数据包的数据量之间关系的趋势图；
图7为本发明实施例所提供的面向交互视频传输质量提升的混合学习模型的示意图；
图8为本发明实施例所提供的面向交互视频传输质量提升的混合学习装置的结构示意图；
图9为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了确定合适的传输码率，提高视频通话的通话质量，本发明实施例提供了面向交互视频传输质量提升的混合学习方法、装置、电子设备及计算机可读存储介质。
本发明实施例所提供的面向交互视频传输质量提升的混合学习方法适用于视频通话中的发送端，在视频通话的过程中，进行视频通话的双方可以互相发送视频数据，其中发送视频数据的一方即为发送端，发送端例如可以为手机、电脑等电子设备。
下面首先对本发明实施例提供的面向交互视频传输质量提升的混合学习方法进行介绍。其中，本发明实施例所提供的面向交互视频传输质量提升的混合学习方法可以应用于视频交互的场景，在本发明实施例所提供的面向交互视频传输质量提升的混合学习方法中，发送端可以通过码率预测模型预测第一备选传输码率，当确定第一备选传输码率为不合适的传输码率时还可以基于传输码率调整规则预测当第二备选传输码率，从而确定合适的传输码率，以提高视频交互的过程中视频数据的传输质量。也就是说，本发明实施例所提供的面向交互视频传输质量提升的混合学习方法就是一种视频通话中视频数据的发送方法。
如图1所示，面向交互视频传输质量提升的混合学习方法，所述方法包括：
S101，针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列；
其中，所述包间延迟序列为所述当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列。
S102，将所述上一传输时隙的传输参数输入码率预测模型，确定所述当前传输时隙的备选传输码率，作为第一备选传输码率；
其中，所述码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，所述每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，所述码率预测模型包括传输参数与备选传输码率之间的对应关系。
S103，基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值；
S104，基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值；
其中，所述网络状态阈值的初始值为基于历史通话的包间延迟确定的。
S105，如果所述网络状态标识值不大于所述当前传输时隙对应的网络状态阈值，基于所述第一备选传输码率向接收端发送数据包；
S106，如果所述网络状态标识值大于所述当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、所述上一传输时隙的传输码率及所述上一传输时隙的传输参数，确定所述当前传输时隙的备选传输码率，作为第二备选传输码率，并基于所述第二备选传输码率向接收端发送数据包；
其中，所述传输码率调整规则为降低传输码率的规则。
可见，本发明实施例所提供的方案中，发送端可以针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，包间延迟序列为当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；将上一传输时隙的传输参数输入码率预测模型，确定当前传输时隙的备选传输码率，作为第一备选传输码率，其中，码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，码率预测模型包括传输参数与备选传输码率之间的对应关系；基于包间延迟序列所表示的包间延迟趋势，确定当前传输时隙对应的网络状态标识值；基于网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定当前传输时隙对应的网络状态阈值，其中，网络状态阈值的初始值为基于历史通话的包间延迟确定的；如果网络状态标识值不大于当前传输时隙对应的网络状态阈值，基于第一备选传输码率向接收端发送数据包；如果网络状态标识值大于当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、上一传输时隙的传输码率及上一传输时隙的传输参数，确定当前传输时隙的备选传输码率，作为第二备选传输码率，并基于第二备选传输码率向接收端发送数据包，其中，传输码率调整规则为降低传输码率的规则。
网络状态标识值可以表征当前传输时隙的网络状态，网络状态标识值不大于网络状态阈值时表示当前传输时隙网络状态较好，通话质量下降的风险较小，网络状态标识值大于网络状态阈值时表示当前传输时隙网络状态较差，通话质量下降的风险较大。这样，发送端可以基于质量标识值与网络状态阈值之间的大小关系，确定合适的传输码率发送视频数据包，可以提高实时视频通话的通话质量。
在视频通话的过程中，为了确定当前传输时隙应采用的合适的传输码率，发送端可以获取上一传输时隙的传输参数以及包间延迟序列。其中，传输时隙即为发送端发送视频数据包的时间段，每两个相邻的传输时隙之间的时间间隔可以根据实际情况进行设置，例如，可以设置为5ms、10ms等。合适的传输码率为在不产生网络拥塞的前提下最大的传输码率，传输码率越大，视频数据包的传输速率也就越大。传输参数可以包括传输层参数和应用层参数，本领域技术人员可以理解，传输层参数为数据传输相关的参数，应用层参数为视频编解码器相关的参数，例如，传输层参数可以为丢包率、包间延迟等参数，应用层参数可以为吞吐量、传输码率等参数。
上述包间延迟序列为当前传输时隙之前接收端接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列，可以表示包间延迟趋势，包间延迟趋势也就是数据包传输过程中延迟的变化趋势。在视频通话的过程中，上述数据包即为视频数据包。其中，上述预设数量可以根据实际情况进行设置，例如，可以为10、20、50等。
如图2所示，发送端发送第i-1个视频数据包的发送时间为si-1，发送端发送第i个视频数据包的发送时间为si，接收端接收第i-1个视频数据包的接收时间为ai-1，接收端接收第i个视频数据包的接收时间为ai，那么第i个视频数据包与第i-1个视频数据包之间的包间延迟为：Δd(ti)＝(ai-ai-1)-(si-si-1)。当第i-1个视频数据包与第i个视频数据包的传输过程中不存在延迟时，Δd(ti)＝0；当第i-1个视频数据包与第i个视频数据包的传输过程中存在延迟时，|Δd(ti)|>0，第i-1个视频数据包与第i个视频数据包的传输过程中延迟越高，|Δd(ti)|的数值越大，第i-1个视频数据包与第i个视频数据包的传输过程中延迟越低，|Δd(ti)|的数值越小。
假设预设数量为T，当前传输时隙之前接收端接收到的T个的数据包中包括T-1组相邻数据包，该T-1组相邻数据包的包间延迟分别为Δd(t1)、Δd(t2)、…Δd(tT-1)，那么包间延迟序列即为：{Δd(t1)，Δd(t2)，…，Δd(tT-1)}。其中，T为正整数。
在一种实施方式中，发送端根据接收端发送的反馈信息确定上一传输时隙的传输参数。具体的，接收端在接收到上一传输时隙的视频数据包后，可以根据视频数据包的传输情况，生成反馈信息，并反馈至发送端。其中，上述反馈信息可以为ACK(Acknowledgecharacter，确认字符)信息等，在此不做具体限定。
在上述步骤S102中，为了预测当前传输时隙的可能采用的合适的传输码率，发送端可以将上一传输时隙的传输参数输入码率预测模型，然后通过码率预测模型确定当前传输时隙的备选码率，作为第一备选传输码率。
上述码率预测模型为基于各个传输时隙对应的奖励函数值(reward)调整模型参数得到的深度在线强化学习(RL，Reinforcement Learning)模型，每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，上述码率预测模型包括传输参数与备选传输码率之间的对应关系，按照该对应关系，传输段可以通过上述码率预测模型确定当前传输时隙的备选传输码率。
其中，上述码率预测模型可以为DQN(Deep Q learning，深度强化学习)模型等，在此不做具体限定。
当当前传输时隙的网络状态较差且第一备选传输码率较高时，发送端基于第一备选传输码率发送视频数据很可能会产生较高的包间延迟，导致网络拥塞。例如，如图3(a)及图3(b)所示，在第100s至第200s的时间段内，可用带宽小于第一备选传输码率时，包间延迟会急剧升高，最高时会达到150ms以上。
为了避免在当前传输时隙的网络状态较差时采用第一备选传输码率发送视频数据包导致网络拥塞等情况出现，在上述步骤S103中，发送端可以基于上述包间延迟序列所表示的包间延迟趋势，确定当前传输时隙对应的网络状态标识值。其中，上述网络状态标识值可以表示传输时隙的网络状态，网络状态标识值越高，表示该传输时隙的网络状态越差；网络状态标识值越低，表示该传输时隙的网络状态越好。
上述包间延迟序列可以表示当前传输时隙之前的包间延迟趋势，当包间延迟序列所表示的包间延迟趋势为包间延迟升高的趋势时，当前传输时隙的包间延迟很可能也就较高，那么当前传输时隙的网络状态很可能较差；当包间延迟序列所表示的包间延迟趋势为包间延迟降低的趋势时，那么当前传输时隙的包间延迟很可能也就较低，当前传输时隙的网络状态很可能较好。
在一种实施方式中，发送端可以计算包间延迟序列所包括的包间延迟的绝对值的平均值，作为当前传输时隙对应的网络状态标识值。例如，包间延迟序列为{Δd(t1)，Δd(t2)，Δd(t3)，Δd(t4)}，其中|Δd(t1)|＝0.5ms，|Δd(t2)|＝0.6ms，|Δd(t3)|＝0.1ms，|Δd(t4)|＝0.4ms，那么当前传输时隙对应的网络状态标识值即为：(0.5+0.6+0.1+0.4)÷4＝0.4。
其中，发送端可以同时执行上述步骤S102及S103，也可以先执行上述步骤S102再执行上述步骤S103，还可以先执行上述步骤S103再执行上述步骤S102，关于上述步骤S102及S103的执行顺序在此不做具体限定。
为了确定在当前传输时隙的网络状态下，发送端是否适合基于上述第一备选传输码率发送视频数据，在上述步骤S104中，发送端可以基于当前传输时隙的网络状态标识值及上一传输时隙对应的网络状态阈值，确定当前传输时隙对应的网络状态阈值，进而可以根据当前传输时隙的网络状态标识值及当前传输时隙对应的网络状态阈值之间的大小关系，确定是否基于上述第一备选传输码率发送视频数据包。
其中，针对每个传输时隙，该传输时隙对应的网络状态阈值都是基于该传输时隙的网络状态标识值，以及该传输时隙的上一传输时隙对应的网络状态阈值确定的。对于不存在上一传输时隙的传输时隙，该不存在上一传输时隙的传输时隙对应的网络状态阈值也就是网络状态阈值的初始值，该初始值为基于发送端历史通话的包间延迟确定的。
在一种实施方式中，各个传输时隙对应的网络状态阈值可以为预设的同一阈值，该同一阈值可以根据经验值进行设置。
在确定当前传输时隙对应的网络状态阈值之后，发送端可以确定当前传输时隙的网络状态标识值是否不大于当前传输时隙对应的网络状态阈值。在上述步骤S105中，如果当前传输时隙的网络状态标识值不大于当前传输时隙对应的网络状态阈值，说明当前传输时隙的网络状态较好，那么当前传输时隙发送端基于第一备选传输码率发送视频数据包导致通话质量下降的可能性也就较小，发送端便可以基于第一备选传输码率向接收端发送数据包。也就是说，如果当前传输时隙的网络状态标识值不大于当前传输时隙对应的网络状态阈值，发送端可以确定第一备选传输码率为合适的传输码率。
具体的，发送端的编码器可以基于第一备选传输码率对将要发送的视频数据流进行编码处理，得到视频数据包，然后可以将视频数据包发送至接收端。
在上述步骤S106中，如果当前传输时隙的网络状态标识值大于当前传输时隙对应的网络状态阈值，说明当前传输时隙的网络状态较差，那么当前传输时隙发送端基于第一备选传输码率发送视频数据包导致通话质量下降的可能性也就较高，发送端也就不能基于第一备选传输码率向接收端发送数据包。也就是说，如果当前传输时隙的网络状态标识值大于当前传输时隙对应的网络状态阈值，发送端可以确定第一备选传输码率为不合适的传输码率。
在这种情况下，发送端可以基于预设的传输码率调整规则、上一传输时隙的传输码率及上一传输时隙的传输参数，确定当前传输时隙的备选传输码率，作为第二备选传输码率，然后，发送端可以基于第二备选传输码率向接收端发送数据包。
具体的，发送端的编码器可以基于第二备选传输码率对将要发送的视频数据流进行编码处理，得到视频数据包，然后可以将视频数据包发送至接收端。
其中，上述传输码率调整规则为降低传输码率的规则。具体的，发送端可以基于传输码率调整规则、上一传输时隙的传输码率及上一传输时隙的传输参数，确定一个低于上一传输时隙的传输码率，作为当前传输时隙的备选传输码率。
例如，上一传输时隙的传输码率为300Kbps，上一传输时隙的传输参数为上一传输时隙的丢包率，该丢包率为4.3％，传输码率调整规则为：当上一传输时隙的丢包率不大于3％时，将上一传输时隙的传输码率降低20％，作为当前传输时隙的备选传输码率；当上一传输时隙的丢包率大于3％时，将上一传输时隙的传输码率降低50％，作为当前传输时隙的备选传输码率。这样，发送端便可以确定当前传输时隙的备选传输码率为300Kbps×(1-50％)＝150Kbps。
其中，上述传输码率调整规则可以采用视频编码领域中的相应规则，在此不做具体限定，只要为降低传输码率的规则即可，例如，可以为GCC(Google Congestion Control，拥塞控制规则)等。
这样，发送端可以预测第一备选传输码率，并可以根据网络状态标识值与网络状态阈值之间的大小关系确定第一备选传输码率是否为合适的传输码率，当确定第一备选传输码率为不合适的传输码率时可以基于传输码率调整规则预测当第二备选传输码率。发送端确定合适的传输码率的具体方式混合了在线强化学习模型的方式及预设规则的方式，从而可以在码率预测模型预测的传输码率不合适的情况下，通过预设的码率调整规则重新确定合适的传输码率，并基于合适的传输码率发送视频数据包，这样可以提高视频通话的通话质量。
作为本发明实施例的一种实施方式，如图4所示，在上述基于所述第一备选传输码率向接收端发送数据包的步骤之后，上述方法还可以包括：
S401，获取所述当前传输时隙的传输参数，作为目标传输参数；
在发送端基于第一备选传输码率向接收端发送数据包之后，为了确定码率预测模型在当前传输时隙的奖励函数值，发送端可以获取当前传输时隙的传输参数，作为目标传输参数。
S402，基于所述目标传输参数包括的参数及其对应的预设权重，确定所述当前传输时隙的奖励函数值，作为第一奖励函数值；
在获取到目标传输参数之后，发送端可以基于目标传输参数包括的参数，以及该包括的参数对应的预设权重，确定当前传输时隙的奖励函数值，作为第一奖励函数值。具体的，发送端可以计算目标传输参数包括的参数与其对应的预设权重的乘积的加和，作为第一奖励函数值。其中，目标传输参数包括的参数对应的预设权重可以根据经验值进行设置。
例如，目标传输参数包括丢包率及吞吐量，其中丢包率为5％，吞吐量为2Mbps，丢包率对应的预设权重为-20，吞吐量对应的预设权重为15，那么第一奖励函数值即为：5％×(-20)+2×15＝29。
S403，基于所述第一奖励函数值调整所述码率预测模型的参数。
上述第一奖励函数值可以反映发送端基于第一备选传输码率发送视频数据包时的通话质量，为了将码率预测模型的参数调整的更加合适，使码率预测模型能够预测更加合适的备选传输码率，可以基于第一奖励函数值，调整码率预测模型的参数。其中，发送端可以采用随机梯度下降算法、Adam优化算法等算法调整码率预测模型的参数，在此不做具体限定。
可见，本发明实施例所提供的方案中，在基于第一备选传输码率向接收端发送数据包之后，发送端可以获取当前传输时隙的传输参数，作为目标传输参数；基于目标传输参数包括的参数及其对应的预设权重，确定当前传输时隙的奖励函数值，作为第一奖励函数值；基于第一奖励函数值调整所述码率预测模型的参数。这样，发送端可以基于第一奖励函数值，调整码率预测模型的参数，使码率预测模型的参数更加合适，从而使码率预测模型能够预测更加合适的备选传输码率。
作为本发明实施例的一种实施方式，如图5所示，在上述基于所述第二备选传输码率向接收端发送数据包的步骤之后，上述方法还可以包括：
S501，获取所述当前传输时隙的传输参数，作为目标传输参数；
在发送端基于第二备选传输码率向接收端发送数据包之后，虽然发送端并未基于第一备选传输码率发送数据包，但由于上述码率预测模型为在线强化学习，该模型需要不断的学习每个传输时隙的传输参数，为了不中断码率预测模型的学习，发送端依旧需要确定当前传输时隙的奖励函数值。在这种情况下，发送端可以获取当前传输时隙的传输参数，作为目标传输参数。
S502，基于所述目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值；
上述第二类参数为包间延迟，上述第一类参数为目标传输参数中除包间延迟以外的参数。
发送端在网络状态标识值大于网络状态阈值时确定第一备选传输码率是不合适的传输码率，而网络状态标识值大于网络状态阈值时，如果基于第一备选传输码率发送数据包，将会导致当前传输时隙的包间延迟较高。第二备选传输码率为较低的传输码率，基于第二备选传输码率发送数据包的包间延迟也就低于基于第一备选传输码率发送数据包的包间延迟。因此，在发送端基于第二备选传输码率向接收端发送数据包之后，按照当前传输时隙的包间延迟及其对应的权重并不能准确确定当前传输时隙的奖励函数值。
为了使当前传输时隙的奖励函数值更加准确，发送端可以基于目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值。
具体的，发送端可以计算目标传输参数包括的第一类参数与其对应的预设权重的乘积，作为第一乘积，并计算包间延迟与包间延迟对应的预设权重及第一调整系数的乘积，作为第二乘积，然后将第一乘积与第二乘积的加和作为第二奖励函数值。其中，第一类参数对应的预设权重、包间延迟对应的预设权重及第一调整系数可以根据经验值进行设置。
S503，基于所述第二奖励函数值调整所述码率预测模型的参数。
基于第二奖励函数值调整码率预测模型的参数的具体方式与上述基于第一奖励函数值调整码率预测模型的参数的具体方式相同，可以参见上述步骤S403部分的描述，在此不再赘述。
发送设备基于第二奖励函数调整码率预测模型的参数，得到参数更加合适的码率预测模型，这样可以降低码率预测模型预测的备选传输码率为不合适的传输码率的情况再次出现的可能性。
可见，本发明实施例所提供的方案中，在基于第二备选传输码率向接收端发送数据包之后，发送端可以获取当前传输时隙的传输参数，作为目标传输参数；基于目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定当前传输时隙的奖励函数值，作为第二奖励函数值；基于第二奖励函数值调整码率预测模型的参数。这样，发送端可以更加准确地确定第二奖励函数，基于第二奖励函数调整码率预测模型的参数，可以降低码率预测模型预测的备选传输码率为不合适的传输码率的情况再次出现的可能性。
作为本发明实施例的一种实施方式，上述传输参数还可以包括码率差异，上述码率差异为预测的传输码率与实际发送码率之间的差异。
在视频通话的过程中，发送端预测的传输码率与视频数据包的实际发送码率之间通常是存在差异的，这种差异也就是上述码率差异。其中，上述预测的传输码率也就是上述第一备选传输码率及上述第二备选传输码率。也就是说，上述第一备选传输码率及上述第二备选传输码率均与视频数据包的实际发送码率存在差异。假设第t个传输时隙发送端的实际发送码率为pt，第t个传输时隙发送端预测的传输码率为xt，那么第t个传输时隙的码率差异gt＝xt-pt。
造成这种差异的原因是：1、当某一传输时隙中出现视频场景快速变化的关键视频帧时，该关键视频帧中会包含大量视频数据，此时发送端的发送缓存区中将会存在大量的视频数据包，而发送端需要在该传输时隙发送该大量的视频数据包，此时若基于预测的传输码率发送视频数据包，很可能会导致发送端在该传输时隙中无法及时发送所有的视频数据包。在这种情况下，发送端通常会在预测的传输码率的基础上提高传输码率，例如，根据WebRTC(Web Real-Time Communication，网页实时通信)协议，在上述情况下，发送端将会在预测传输码率之后，将预测的传输码率乘2.5，然后将乘积作为实际发送码率。
2、当某一传输时隙中的视频场景几乎不变时，发送端的发送缓存区中仅存在少量的视频数据包，发送端发送该少量的视频数据包时无法达到预测的传输码率，那么实际发送码率也就远小于预测的传输码率，甚至降低至0。
例如，如图6所示，图6为预测的传输码率、实际发送码率及视频数据包的数据量直降关系的趋势图。在第0至40个传输时隙中，出现了多次实际发送码率高于预测的传输码率的情况，也出现了多次实际发送码率低于预测的传输码率的情况。在图6中，预测的传输码率的单位为Kbps，实际发送码率的单位为Kbps，视频数据包的数据量的单位为Bytes。
针对这种情况，为了更加准确地确定备选传输码率，上述传输参数也可以包括码率差异。这样，在通过码率预测模型确定备选传输码率时，码率预测模型模型可以学习到码率差异对备选传输码率的影响，进而确定的备选传输码率可以考虑到传输参数包括的码率差异的影响，从而得到更加准确的备选传输码率。
针对这种情况，在上述确定所述当前传输时隙的奖励函数值的步骤之后，上述方法还可以包括：
当确定当前传输时隙对应的码率差异大于预设差异阈值时，计算预设的第二调整系数与当前传输时隙的奖励函数值的乘积，将乘积确定为当前传输时隙的奖励函数值。
当当前传输时隙对应的码率差异大于预设差异阈值时，说明发送端通过码率预测模型确定的备选传输码率与实际发送码率之间的差异较大，那么根据当前传输时隙的传输参数确定的奖励函数值也就是不准确的。
在这种情况下，为了准确地确定当前传输时隙的奖励函数值，可以计算预设的第二调整系数与当前传输时隙的奖励函数值的乘积，将乘积确定为当前传输时隙的奖励函数值。这样，发送端可以更加准确地确定当前传输时隙的奖励函数值，进而可以更加准确地确定调整码率预测模型的参数。其中，上述预设差异阈值可以根据经验值进行设置，例如，可以设置为0.5Mbps，上述预设的第二调整系数也可以根据经验值进行设置，例如，可以设置为0.5。
可见，本发明实施例所提供的方案中，上述传输参数还可以包括码率差异，上述码率差异为预测的传输码率与实际发送码率之间的差异，当确定当前传输时隙对应的码率差异大于预设差异阈值时，计算预设的第二调整系数与当前传输时隙的奖励函数值的乘积，将乘积确定为当前传输时隙的奖励函数值。这样，发送端可以更加准确地确定当前传输时隙的奖励函数值，进而可以更加准确地确定调整码率预测模型的参数。
作为本发明实施例的一种实施方式，上述基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值的步骤，可以包括：
根据如下所示公式，计算所述当前传输时隙对应的网络状态标识值D(ti)：
Figure BDA0002678096730000151
在获取到包间延迟序列后，发送端可以采用指数加权平均算法计算当前传输时隙对应的网络状态标识值D(ti)，也就是根据上述公式(1)计算当前传输时隙对应的网络状态标识值D(ti)。其中，T为预设数量，T∈N+，i∈(1,2,…，T-1)，Δd(tT-i)为包间延迟序列中按照时间由早到晚的顺序的第T-i个包间延迟。预设数量T的具体数值可以根据经验值进行设置，例如，可以设置为20。
可见，本发明实施例所提供的方案中，发送端可以根据上述公式(1)计算当前传输时隙对应的网络状态标识值D(ti)，这样，发送端可以准确地确定当前传输时隙对应的网络状态标识值。
作为本发明实施例的一种实施方式，上述基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值的步骤，可以包括：
根据如下所示公式，计算所述当前传输时隙对应的网络状态阈值γ(ti)：
γ(ti)＝γ(ti-1)+kγ×(|D(ti)|-γ(ti-1)) (2)
在确定当前传输时隙对应的网络状态标识值D(ti)之后，发送端可以根据如上所示公式(2)，计算当前传输时隙对应的网络状态阈值γ(ti)。其中，γ(ti-1)为上一传输时隙对应的网络状态阈值，kγ为预设的阈值权重系数，可以根据经验值进行设置。在一种实施方式中，上述预设的阈值权重系数kγ可以设置为12.5。
可见，本发明实施例所提供的方案中，发送端可以根据上述公式(2)计算当前传输时隙对应的网络状态阈值。这样，发送端可以准确地确定当前传输时隙对应的网络状态阈值。
作为本发明实施例的一种实施方式，上述传输参数可以包括丢包率、包间延迟及吞吐量。
针对这种情况，上述基于所述目标传输参数包括的参数及其对应的预设权重，确定所述当前传输时隙的奖励函数值，作为第一奖励函数值的步骤，可以包括：
根据如下所示公式，计算第一奖励函数值R1：
R1＝a1×l+b1×d+c1×v (3)
发送端在基于第一备选传输码率发送视频数据包至接收端后，可以获取当前传输时隙的丢包率、包间延迟及吞吐量，然后可以根据上述公式(3)，计算当前传输时隙的第一奖励函数值R1。其中，l为当前传输时隙的丢包率，d为当前传输时隙的包间延迟，v为当前传输时隙的吞吐量，a1为丢包率对应的预设权重，b1为包间延迟对应的预设权重，c1为吞吐量对应的预设权重。
例如，当前传输时隙的丢包率l为2％、包间延迟d为30ms，吞吐量v为20Mbps，丢包率对应的预设权重a1为-10，包间延迟对应的预设权重b1为-20，吞吐量对应的预设权重c1为30，那么第一奖励函数值R1＝2％×(-10)+30×(-20)+20×30＝0.2。
在一种实施方式中，丢包率对应的预设权重a1可以设置为-20，包间延迟对应的预设权重b1可以设置为-30，吞吐量对应的预设权重c1可以设置为50。
可见，本发明实施例所提供的方案中，发送端可以根据上述公式(3)计算第一奖励函数值R1，这样可以准确地确定第一奖励函数值。
作为本发明实施例的一种实施方式，上述传输参数可以包括丢包率、包间延迟及吞吐量；
上述基于所述目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值的步骤，可以包括：
根据如下所示公式，计算第二奖励函数值R2：
R2＝a2×l+η×b2×d+c2×v (4)
发送端在基于第二备选传输码率发送视频数据包至接收端后，可以获取当前传输时隙的丢包率、包间延迟及吞吐量，然后可以根据上述公式(4)，计算当前传输时隙的第二奖励函数值R2。其中，l为当前传输时隙的丢包率，d为当前传输时隙的包间延迟，v为当前传输时隙的吞吐量，a2为丢包率对应的预设权重，b2为包间延迟对应的预设权重，c2为吞吐量对应的预设权重，η为第一调整系数，η＝2d/10。
在一种实施方式中，丢包率对应的预设权重a2可以设置为-20，包间延迟对应的预设权重b2可以设置为-30，吞吐量对应的预设权重c2可以设置为50。
可见，本发明实施例所提供的方案中，发送端可以根据上述公式(4)计算第二奖励函数值R2，这样可以准确地确定第二奖励函数值。
下面结合图7对本发明实施例所提供的面向交互视频传输质量提升的混合学习方法进行介绍，在本发明实施例提供的方案中，上述面向交互视频传输质量提升的混合学习方法可以看作用于预测当前传输时隙的合适的传输码率的模型，该模型可以称作面向交互视频传输质量提升的混合学习模型，图7为面向交互视频传输质量提升的混合学习模型的示意图。如图7所示，针对当前传输时隙，发送端可以确定延迟的状态，延迟的状态可以采用网络状态标识值表征，然后通过安全状态检测器确定当前传输时隙的网络状态为正常或不正常，正常也就是当前传输时隙的网络状态标识值不大于当前传输时隙对应的网络状态阈值，不正常也就是当前传输时隙的网络状态标识值大于当前传输时隙对应的网络状态阈值。上述安装状态检测器也就是用于确定当前传输时隙的网络状态标识值与当前传输时隙对应的网络状态阈值之间大小关系的滤波器。当当前传输时隙的网络状态为正常时，可以基于码率预测模型确定的第一备选传输码率发送视频数据包；当当前传输时隙的网络状态为不正常时，可以基于安全策略确定第二备选传输码率，然后基于第二备选传输码率发送视频数据包，安全策略也就是预设的传输码率调整规则。当发送端基于第一备选传输码率发送视频数据包之后，可以确定第一奖励函数值，然后基于第一奖励函数值调整码率预测模型的参数；当发送端基于第二备选传输码率发送视频数据包之后，可以确定第二奖励函数值，然后基于第二奖励函数值调整码率预测模型的参数。
相应于上述面向交互视频传输质量提升的混合学习方法，本发明实施例还提供了面向交互视频传输质量提升的混合学习装置。下面对本发明实施例所提供的面向交互视频传输质量提升的混合学习装置进行介绍。
如图8所示，一种面向交互视频传输质量提升的混合学习装置，所述装置包括：
数据获取模块801，用于针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列；
其中，所述包间延迟序列为所述当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列。
码率预测模块802，用于将所述上一传输时隙的传输参数输入码率预测模型，确定所述当前传输时隙的备选传输码率，作为第一备选传输码率；
其中，所述码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，所述每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，所述码率预测模型包括传输参数与备选传输码率之间的对应关系。
网络状态标识值确定模块803，用于基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值；
网络状态阈值确定模块804，用于基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值；
其中，所述网络状态阈值的初始值为基于历史通话的包间延迟确定的。
第一发送模块805，用于如果所述网络状态标识值不大于所述当前传输时隙对应的网络状态阈值，基于所述第一备选传输码率向接收端发送数据包；
第二发送模块806，用于如果所述网络状态标识值大于所述当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、所述上一传输时隙的传输码率及所述上一传输时隙的传输参数，确定所述当前传输时隙的备选传输码率，作为第二备选传输码率，并基于所述第二备选传输码率向接收端发送数据包；
其中，所述传输码率调整规则为降低传输码率的规则。
可见，本发明实施例提供的方案中，发送端可以针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，包间延迟序列为当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；将上一传输时隙的传输参数输入码率预测模型，确定当前传输时隙的备选传输码率，作为第一备选传输码率，其中，码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，码率预测模型包括传输参数与备选传输码率之间的对应关系；基于包间延迟序列所表示的包间延迟趋势，确定当前传输时隙对应的网络状态标识值；基于网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定当前传输时隙对应的网络状态阈值，其中，网络状态阈值的初始值为基于历史通话的包间延迟确定的；如果网络状态标识值不大于当前传输时隙对应的网络状态阈值，基于第一备选传输码率向接收端发送数据包；如果网络状态标识值大于当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、上一传输时隙的传输码率及上一传输时隙的传输参数，确定当前传输时隙的备选传输码率，作为第二备选传输码率，并基于第二备选传输码率向接收端发送数据包，其中，传输码率调整规则为降低传输码率的规则。
网络状态标识值可以表征当前传输时隙的网络状态，网络状态标识值不大于网络状态阈值时表示当前传输时隙网络状态较好，通话质量下降的风险较小，网络状态标识值大于网络状态阈值时表示当前传输时隙网络状态较差，通话质量下降的风险较大。这样，发送端可以基于质量标识值与网络状态阈值之间的大小关系，确定合适的传输码率发送视频数据包，可以提高实时视频通话的通话质量。
作为本发明实施例的一种实施方式，上述装置还可以包括：
第一参数获取模块(图8中未示出)，用于在基于所述第一备选传输码率向接收端发送数据包之后，获取所述当前传输时隙的传输参数，作为目标传输参数；
第一奖励函数值确定模块(图8中未示出)，用于基于所述目标传输参数包括的参数及其对应的预设权重，确定所述当前传输时隙的奖励函数值，作为第一奖励函数值；
第一调整模块(图8中未示出)，用于基于所述第一奖励函数值调整所述码率预测模型的参数。
作为本发明实施例的一种实施方式，上述装置还可以包括：
第二参数获取模块(图8中未示出)，用于在基于所述第二备选传输码率向接收端发送数据包之后，获取所述当前传输时隙的传输参数，作为目标传输参数；
第二奖励函数值确定模块(图8中未示出)，用于基于所述目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值；
其中，第二类参数为包间延迟。
第二调整模块(图8中未示出)，用于基于所述第二奖励函数值调整所述码率预测模型的参数。
作为本发明实施例的一种实施方式，上述传输参数还包括码率差异，上述码率差异为预测的传输码率与实际发送码率之间的差异；
上述装置还可以包括：
奖励函数值调整模块(图8中未示出)，用于在确定所述当前传输时隙的奖励函数值之后，当确定所述当前传输时隙对应的码率差异大于预设差异阈值时，计算预设的第二调整系数与所述当前传输时隙的奖励函数值的乘积，将所述乘积确定为所述当前传输时隙的奖励函数值。
作为本发明实施例的一种实施方式，上述网络状态标识值确定模块803可以包括：
网络状态标识值确定子模块(图8中未示出)，用于根据公式
Figure BDA0002678096730000201
Figure BDA0002678096730000202
计算所述当前传输时隙对应的网络状态标识值D(ti)；
其中，T为所述预设数量，T∈N+，i∈(1,2,…T-1)，Δd(tT-i)为所述包间延迟序列中按照时间由早到晚的顺序的第T-i个包间延迟。
作为本发明实施例的一种实施方式，上述网络状态阈值确定模块804可以包括：
网络状态阈值确定子模块(图8中未示出)，用于根据公式γ(ti)＝γ(ti-1)+kγ×(|D(ti)|-γ(ti-1))，计算所述当前传输时隙对应的网络状态阈值γ(ti)；
其中，γ(ti-1)为所述上一传输时隙对应的网络状态阈值，kγ为预设的阈值权重系数，D(ti)为所述当前传输时隙对应的网络状态标识值。
作为本发明实施例的一种实施方式，上述第一奖励函数值确定模块可以包括：
第一奖励函数值确定子模块(图8中未示出)，用于根据公式R1＝a1×l+b1×d+c1×v，计算第一奖励函数值R1；
其中，l为所述当前传输时隙的丢包率，d为所述当前传输时隙的包间延迟，v为所述当前传输时隙的吞吐量，a1为丢包率对应的预设权重，b1为包间延迟对应的预设权重，c1为吞吐量对应的预设权重。
作为本发明实施例的一种实施方式，上述第二奖励函数值确定模块可以包括：
第二奖励函数值确定子模块(图8中未示出)，用于根据公式R2＝a2×l+η×b2×d+c2×v，计算第二奖励函数值R2；
其中，l为所述当前传输时隙的丢包率，d为所述当前传输时隙的包间延迟，v为所述当前传输时隙的吞吐量，a2为丢包率对应的预设权重，b2为包间延迟对应的预设权重，c2为吞吐量对应的预设权重，η为所述第一调整系数。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述任一实施例所述的面向交互视频传输质量提升的混合学习方法的步骤。
可见，本发明实施例提供的方案中，电子设备可以针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，包间延迟序列为当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；将上一传输时隙的传输参数输入码率预测模型，确定当前传输时隙的备选传输码率，作为第一备选传输码率，其中，码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，码率预测模型包括传输参数与备选传输码率之间的对应关系；基于包间延迟序列所表示的包间延迟趋势，确定当前传输时隙对应的网络状态标识值；基于网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定当前传输时隙对应的网络状态阈值，其中，网络状态阈值的初始值为基于历史通话的包间延迟确定的；如果网络状态标识值不大于当前传输时隙对应的网络状态阈值，基于第一备选传输码率向接收端发送数据包；如果网络状态标识值大于当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、上一传输时隙的传输码率及上一传输时隙的传输参数，确定当前传输时隙的备选传输码率，作为第二备选传输码率，并基于第二备选传输码率向接收端发送数据包，其中，传输码率调整规则为降低传输码率的规则。
网络状态标识值可以表征当前传输时隙的网络状态，网络状态标识值不大于网络状态阈值时表示当前传输时隙网络状态较好，通话质量下降的风险较小，网络状态标识值大于网络状态阈值时表示当前传输时隙网络状态较差，通话质量下降的风险较大。这样，电子设备可以基于质量标识值与网络状态阈值之间的大小关系，确定合适的传输码率发送视频数据包，可以提高实时视频通话的通话质量。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一面向交互视频传输质量提升的混合学习方法的步骤。
可见，本发明实施例所提供的方案中，计算机可读存储介质内存储的计算机程序被处理器执行时，可以针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，包间延迟序列为当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；将上一传输时隙的传输参数输入码率预测模型，确定当前传输时隙的备选传输码率，作为第一备选传输码率，其中，码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，码率预测模型包括传输参数与备选传输码率之间的对应关系；基于包间延迟序列所表示的包间延迟趋势，确定当前传输时隙对应的网络状态标识值；基于网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定当前传输时隙对应的网络状态阈值，其中，网络状态阈值的初始值为基于历史通话的包间延迟确定的；如果网络状态标识值不大于当前传输时隙对应的网络状态阈值，基于第一备选传输码率向接收端发送数据包；如果网络状态标识值大于当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、上一传输时隙的传输码率及上一传输时隙的传输参数，确定当前传输时隙的备选传输码率，作为第二备选传输码率，并基于第二备选传输码率向接收端发送数据包，其中，传输码率调整规则为降低传输码率的规则。
网络状态标识值可以表征当前传输时隙的网络状态，网络状态标识值不大于网络状态阈值时表示当前传输时隙网络状态较好，通话质量下降的风险较小，网络状态标识值大于网络状态阈值时表示当前传输时隙网络状态较差，通话质量下降的风险较大。这样，电子设备可以基于质量标识值与网络状态阈值之间的大小关系，确定合适的传输码率发送视频数据包，可以提高实时视频通话的通话质量。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种面向交互视频传输质量提升的混合学习方法，其特征在于，所述方法包括：
针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，所述包间延迟序列为所述当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；
将所述上一传输时隙的传输参数输入码率预测模型，确定所述当前传输时隙的备选传输码率，作为第一备选传输码率，其中，所述码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，所述每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，所述码率预测模型包括传输参数与备选传输码率之间的对应关系；
基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值；
基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值，其中，所述网络状态阈值的初始值为基于历史通话的包间延迟确定的；
如果所述网络状态标识值不大于所述当前传输时隙对应的网络状态阈值，基于所述第一备选传输码率向接收端发送数据包；
如果所述网络状态标识值大于所述当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、所述上一传输时隙的传输码率及所述上一传输时隙的传输参数，确定所述当前传输时隙的备选传输码率，作为第二备选传输码率，并基于所述第二备选传输码率向接收端发送数据包，其中，所述传输码率调整规则为降低传输码率的规则。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述第一备选传输码率向接收端发送数据包的步骤之后，所述方法还包括：
获取所述当前传输时隙的传输参数，作为目标传输参数；
基于所述目标传输参数包括的参数及其对应的预设权重，确定所述当前传输时隙的奖励函数值，作为第一奖励函数值；
基于所述第一奖励函数值调整所述码率预测模型的参数。
3.根据权利要求1所述的方法，其特征在于，在所述基于所述第二备选传输码率向接收端发送数据包的步骤之后，所述方法还包括：
获取所述当前传输时隙的传输参数，作为目标传输参数；
基于所述目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值，其中，第二类参数为包间延迟；
基于所述第二奖励函数值调整所述码率预测模型的参数。
4.根据权利要求2或3所述的方法，其特征在于，所述传输参数还包括码率差异，所述码率差异为预测的传输码率与实际发送码率之间的差异；
在所述确定所述当前传输时隙的奖励函数值的步骤之后，所述方法还包括：
当确定所述当前传输时隙对应的码率差异大于预设差异阈值时，计算预设的第二调整系数与所述当前传输时隙的奖励函数值的乘积，将所述乘积确定为所述当前传输时隙的奖励函数值。
5.根据权利要求1所述的方法，其特征在于，所述基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值的步骤，包括：
根据公式
Figure FDA0002678096720000021
计算所述当前传输时隙对应的网络状态标识值D(ti)；
其中，T为所述预设数量，T∈N+，i∈(1，2，...T-1)，Δd(tT-i)为所述包间延迟序列中按照时间由早到晚的顺序的第T-i个包间延迟。
6.根据权利要求1所述的方法，其特征在于，所述基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值的步骤，包括：
根据公式γ(ti)＝γ(ti-1)+kγ×(|D(ti)|-γ(ti-1))，计算所述当前传输时隙对应的网络状态阈值γ(ti)；
其中，γ(ti-1)为所述上一传输时隙对应的网络状态阈值，kγ为预设的阈值权重系数，D(ti)为所述当前传输时隙对应的网络状态标识值。
7.根据权利要求2所述的方法，其特征在于，所述传输参数包括丢包率、包间延迟及吞吐量；
所述基于所述目标传输参数包括的参数及其对应的预设权重，确定所述当前传输时隙的奖励函数值，作为第一奖励函数值的步骤，包括：
根据公式R1＝a1×l+b1×d+c1×v，计算第一奖励函数值R1；
其中，l为所述当前传输时隙的丢包率，d为所述当前传输时隙的包间延迟，v为所述当前传输时隙的吞吐量，a1为丢包率对应的预设权重，b1为包间延迟对应的预设权重，c1为吞吐量对应的预设权重。
8.根据权利要求3所述的方法，其特征在于，所述传输参数包括丢包率、包间延迟及吞吐量；
所述基于所述目标传输参数包括的第一类参数及其对应的预设权重，以及第二类参数及其对应的预设权重和第一调整系数，确定所述当前传输时隙的奖励函数值，作为第二奖励函数值的步骤，包括：
根据公式R2＝a2×l+η×b2×d+c2×v，计算第二奖励函数值R2；
其中，l为所述当前传输时隙的丢包率，d为所述当前传输时隙的包间延迟，v为所述当前传输时隙的吞吐量，a2为丢包率对应的预设权重，b2为包间延迟对应的预设权重，c2为吞吐量对应的预设权重，η为所述第一调整系数。
9.一种面向交互视频传输质量提升的混合学习装置，其特征在于，所述装置包括：
数据获取模块，用于针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，所述包间延迟序列为所述当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；
码率预测模块，用于将所述上一传输时隙的传输参数输入码率预测模型，确定所述当前传输时隙的备选传输码率，作为第一备选传输码率，其中，所述码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，所述每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，所述码率预测模型包括传输参数与备选传输码率之间的对应关系；
网络状态标识值确定模块，用于基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值；
网络状态阈值确定模块，用于基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值，其中，所述网络状态阈值的初始值为基于历史通话的包间延迟确定的；
第一发送模块，用于如果所述网络状态标识值不大于所述当前传输时隙对应的网络状态阈值，基于所述第一备选传输码率向接收端发送数据包；
第二发送模块，用于如果所述网络状态标识值大于所述当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、所述上一传输时隙的传输码率及所述上一传输时隙的传输参数，确定所述当前传输时隙的备选传输码率，作为第二备选传输码率，并基于所述第二备选传输码率向接收端发送数据包，其中，所述传输码率调整规则为降低传输码率的规则。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
CN202010954328.2A 2020-09-11 2020-09-11 面向交互视频传输质量提升的混合学习方法、装置及设备 Active CN112367490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010954328.2A CN112367490B (zh) 2020-09-11 2020-09-11 面向交互视频传输质量提升的混合学习方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010954328.2A CN112367490B (zh) 2020-09-11 2020-09-11 面向交互视频传输质量提升的混合学习方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112367490A true CN112367490A (zh) 2021-02-12
CN112367490B CN112367490B (zh) 2021-05-25

Family

ID=74516793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010954328.2A Active CN112367490B (zh) 2020-09-11 2020-09-11 面向交互视频传输质量提升的混合学习方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112367490B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363677A (zh) * 2021-12-02 2022-04-15 深圳市新田科技有限公司 基于深度学习的移动网络视频码率实时调整方法和装置
CN115086699A (zh) * 2022-06-15 2022-09-20 哈尔滨工业大学（深圳） 基于蜂窝网络的uav实时视频传输码率自适应系统
WO2023246343A1 (zh) * 2022-06-21 2023-12-28 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备、存储介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607661A (zh) * 2013-11-29 2014-02-26 广州华多网络科技有限公司 一种传输多媒体数据的方法及装置
WO2017187236A1 (en) * 2016-04-29 2017-11-02 Telefonaktiebolaget Lm Ericsson (Publ) Wireless device specific maximum code rate limit adjustment
CN107734282A (zh) * 2017-08-25 2018-02-23 北京元心科技有限公司 视频通讯方法及装置
CN111083535A (zh) * 2019-12-26 2020-04-28 天翼物联科技有限公司 视频数据传输码率自适应方法、系统、装置和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607661A (zh) * 2013-11-29 2014-02-26 广州华多网络科技有限公司 一种传输多媒体数据的方法及装置
WO2017187236A1 (en) * 2016-04-29 2017-11-02 Telefonaktiebolaget Lm Ericsson (Publ) Wireless device specific maximum code rate limit adjustment
CN107734282A (zh) * 2017-08-25 2018-02-23 北京元心科技有限公司 视频通讯方法及装置
CN111083535A (zh) * 2019-12-26 2020-04-28 天翼物联科技有限公司 视频数据传输码率自适应方法、系统、装置和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363677A (zh) * 2021-12-02 2022-04-15 深圳市新田科技有限公司 基于深度学习的移动网络视频码率实时调整方法和装置
CN115086699A (zh) * 2022-06-15 2022-09-20 哈尔滨工业大学（深圳） 基于蜂窝网络的uav实时视频传输码率自适应系统
CN115086699B (zh) * 2022-06-15 2023-05-30 哈尔滨工业大学（深圳） 基于蜂窝网络的uav实时视频传输码率自适应系统
WO2023246343A1 (zh) * 2022-06-21 2023-12-28 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备、存储介质及产品

Also Published As

Publication number Publication date
CN112367490B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN112367490B (zh) 面向交互视频传输质量提升的混合学习方法、装置及设备
CN111836079B (zh) 一种视频码流的传输方法及装置
CN110855400B (zh) 基于纠错码的自适应丢包恢复方法、计算设备及存储介质
CN107342848B (zh) 一种自适应码流传输方法、装置及设备
US7693077B2 (en) Method for estimating available bandwidth of network
EP2100418B1 (en) Allocation of network resources
CN105430532A (zh) 一种视频数据传输自适应调整的控制方法及其系统
JP4000895B2 (ja) リアルタイム通信のためのビットレート制御方法および装置
Rubino et al. Controlling multimedia QoS in the future home network using the PSQA metric
CN106982371B (zh) 码流控制方法和系统、码流管理方法和系统，及终端设备
CN110677355A (zh) 一种丢包应对方法、装置、电子设备及存储介质
US8340126B2 (en) Method and apparatus for congestion control
CN113038187B (zh) 视频体验质量公平的实用网络带宽分配方法、设备及介质
CN111935441A (zh) 一种网络状态检测方法及装置
US20220294736A1 (en) Congestion Control Method and Related Device
Sobhani et al. A video bitrate adaptation and prediction mechanism for HTTP adaptive streaming
EP4293983A1 (en) Transmission control method and apparatus
Xu et al. Reinforcement learning-based mobile AR/VR multipath transmission with streaming power spectrum density analysis
CN113422751A (zh) 基于在线强化学习的流媒体处理方法、装置及电子设备
CN111162877A (zh) 一种音视频服务质量控制的自适应前向纠错方法及应用
WO2021078286A1 (zh) 一种数据处理方法及其装置
CN114064394A (zh) 基于边缘计算的安全监控方法、装置及终端设备
JP5533177B2 (ja) パケットロス率推定装置、パケットロス率推定方法、パケットロス率推定プログラム、及び、通信システム
WO2023155747A1 (zh) 数据编码码率自适应调节方法、装置、设备和存储介质
CN115378832B (zh) 拥塞检测方法、装置及流媒体传输系统、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant