CN116347536A - 图像帧的获取方法、装置及通信设备 - Google Patents

Abstract

本申请公开了一种图像帧的获取方法、装置及通信设备，属于无线通信技术领域，本申请实施例的图像帧的获取方法，包括：第一通信设备确定目标视频业务的数据传输中断信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断；所述第一通信设备基于所述数据传输中断信息，获取第一图像帧。

Description

图像帧的获取方法、装置及通信设备

技术领域

本申请属于无线通信技术领域，具体涉及一种图像帧的获取方法、装置及通信设备。

背景技术

在相关技术中，扩展现实(eXtended Reality，XR)可以包括增强现实(AugmentedReality，AR)业务、虚拟现实(Virtual Reality，VR)业务和混和AR与MR(Mixed AR and VR，MR)业务，在相关技术中，XR业务在传输时，为了节约流量和确保图像质量等目的，需要对图像数据进行编码，实现图像数据的压缩。例如，在相关技术的一种编码技术中，将图像数据编码为三种类型的图像帧：帧内编码图像(Intra-coded picture，I)帧、前向预测编码图像(Predictive-coded picture，P)帧和双向预测编码图像(Bidirectional predictedpicture，B)帧。其中，I帧也称为独立解码帧(IDR帧)，是一个完整的图像帧，可以不依赖于其他帧进行图像生成和呈现。P帧仅仅包含相对于前面的帧的图像变化信息，接收方需要结合前面的帧来生成当前帧，在接收终端上完成显示。B帧用以指示当前帧相对于前面的帧和后面的帧的变化信息，接收方需结合前面的帧和后面的帧生成当前帧。其中，上述前面的帧和后面的帧指是按帧呈现时间或信源端的图像采集时间排序，实际的发送和接收时间可能根据接收方的图像解码时间有所调整。例如，发送方可以根据接收方的图像帧解码时间顺序进行发送。

XR业务数据可以通过无线网络实现端对端的传输，然而在XR业务数据的传输过程中可能会由于某种原因导致传输中断，例如，由于移动性连接的要求无线网络可能需要切换、无线链路失败后进行无线链路重建或者测量间隙开始等都可能导致传输中断，进而使得一些XR业务的图像帧没能成功传输。针对该传输中断的情况，目前尚未给出相关的解决方案。

发明内容

本申请实施例提供一种图像帧的获取方法、装置及通信设备，提供了视频业务在传输中断的情况下的解决方案。

第一方面，提供了一种图像帧的获取方法，包括：第一通信设备确定目标视频业务的数据传输中断信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断；所述第一通信设备基于所述数据传输中断信息，获取第一图像帧，其中，所述数据传输中断信息包括以下至少之一：第一指示信息，其中，所述第一指示信息用于指示所述目标视频业务的传输中断；传输中断的时间信息，其中，所述时间信息包括以下至少之一：传输中断的时长、传输中断的起始时间点、传输中断的结束时间点；所述第二图像帧的数量，所述第二图像帧为由于所述传输中断而丢失的图像帧；所述第二图像帧的类型；所述第二图像帧的标识；目标图像帧的信息，其中，所述目标图像帧为发生传输中断前，所述目标视频业务最后一个传输正确的图像帧；目标信息，其中，所述目标信息为所述目标视频业务的图像帧的互联网协议(Internet Protocol，IP)数据包的包头中携带的信息。

第二方面，提供了一种图像帧的获取装置，包括：确定模块，用于确定目标视频业务的数据传输中信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断；获取模块，用于基于所述数据传输中断信息，获取第一图像帧，其中，所述数据传输中断信息包括以下至少之一：第一指示信息，其中，所述第一指示信息用于指示所述目标视频业务的传输中断；传输中断的时间信息，其中，所述时间信息包括以下至少之一：传输中断的时长、传输中断的起始时间点、传输中断的结束时间点；所述第二图像帧的数量，所述第二图像帧为由于所述传输中断而丢失的图像帧；所述第二图像帧的类型；所述第二图像帧的标识；目标图像帧的信息，其中，所述目标图像帧为发生传输中断前，所述目标视频业务最后一个传输正确的图像帧；目标信息，其中，所述目标信息为所述目标视频业务的图像帧的互联网协议(Internet Protocol，IP)数据包的包头中携带的信息。

第三方面，提供了一种通信设备，该通信设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，提供了一种通信设备，包括处理器及通信接口，其中，所述处理器用于实现如第一方面所述的方法的步骤，所述通信接口用于与外部设备进行通信。

第五方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第六方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤。

第七方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。

在本申请实施例中，第一通信设备确定目标视频业务的数据传输中断信息，基于所述数据传输中断信息，获取第一图像帧，因此，可以使得获取到的第一图像帧的解码不依赖于由于数据传输中断而丢失的第二图像帧，从而可以避免了由于传输中断后传输的图像帧的解码需要依赖于所述第二图像帧，而导致无用的数据传输的问题，节约了无线资源。并且，还可以避免由于无用的数据传输导致视频播放的中断时间长于视频业务数据的传输中断时间的情况。

附图说明

图1示出本申请实施例可应用的一种无线通信系统的框图；

图2示出本申请实施例提供的图像帧的获取方法的一种流程示意图；

图3a示出本申请实施例中一种视频业务传输的示意图；

图3b示出本申请实施例中另一种视频业务传输的示意图；

图4a示出本申请实施例中一种重新产生图像帧的方式的示意图；

图4b示出本申请实施例中另一种重新产生图像帧的方式的示意图；

图5示出本申请实施例中的一种协议层结构示意图；

图6示出本申请实施例提供的图像帧的获取方法的另一种流程示意图；

图7示出本申请实施例提供的图像帧的获取装置的一种结构示意图；

图8示出本申请实施例提供的一种通信设备的结构示意图；

图9示出本申请实施例提供的一种终端的硬件结构示意图；

图10示出本申请实施例提供的一种网络侧设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。

值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long TermEvolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time DivisionMultiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier FrequencyDivision Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(NewRadio，NR)系统，并且在以下大部分描述中使用NR术语，但是这些技术也可应用于NR系统应用以外的应用，如第6代(6^thGeneration，6G)通信系统。

图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal DigitalAssistant，PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(WearableDevice)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端侧设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备和/或核心网设备，其中，接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、WLAN接入点或WiFi节点等，基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(BasicService Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点、家用演进型B节点、发送接收点(TransmittingReceivingPoint，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以NR系统中的基站为例进行介绍，并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、移动管理实体(Mobility ManagementEntity，MME)、接入移动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policyand Charging Rules Function，PCRF)、边缘应用服务发现功能(EdgeApplicationServerDiscoveryFunction，EASDF)、统一数据管理(Unified Data Management，UDM)，统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home Subscriber Server，HSS)、集中式网络配置(Centralized network configuration，CNC)、网络存储功能(NetworkRepository Function，NRF)，网络开放功能(NetworkExposureFunction，NEF)、本地NEF(LocalNEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)等。需要说明的是，在本申请实施例中仅以NR系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。

下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的图像帧的获取方案进行详细地说明。

图2示出本申请实施例提供的图像帧的获取方法的一种流程示意图，该方法200可以由第一通信设备执行。换言之，所述方法可以由安装在第一通信设备上的软件或硬件来执行。如图2所示，该方法可以包括以下步骤。

S210，第一通信设备确定目标视频业务的数据传输中断信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断。

在本申请实施例中，第一通信设备可以为目标视频业务的发送端设备或接收端设备。

例如，在图3a所示的视频业务传输系统中，终端(即UE)搭载的应用程序(APP)通过UE的调制解调器(modem)，经过无线网络从内容服务器获取视频业务数据，则第一通信设备可以为终端，也可以为内容服务器。

另外，在图3b所示的视频业务传输系统中，两个终端(即UE1和UE2)之间传输视频业务，UE的调制解调器和基站运行无线传输协议，传输视频业务数据，则第一通信设备可以是UE1也可以是UE2。

在本申请实施例中，目标视频业务包括但不限于XR业务。

在一个可能的实现方式中，所述数据传输中断信息可以包括以下至少之一：

(1)第一指示信息，其中，所述第一指示信息用于指示所述目标视频业务的传输中断，例如，由于切换、测量间隙、无线链路失败、波束失败、一致性先听后说(Listen BeforeTalk，LBT)失败、网络拥塞中的一种或多种因素引起正在传输的目标视频业务的数据传输中断。

(2)传输中断的时间信息，其中，所述时间信息包括以下至少之一：传输中断的时长、传输中断的起始时间点、传输中断的结束时间点；通过传输中断的时间信息，第一通信设备可以确定因传输中断而丢失的第二图像帧。

(3)第二图像帧的数量；所述第二图像帧为由于传输中断而丢失的图像帧。例如，第一通讯设备的无线接入协议层可以获取由于传输中断而丢失的图像帧的标识，例如，帧号。例如，第一通信设备的无线接入协议层可以获取从测量间隔开始到测量间隔结束传输的图像帧的帧号，即为丢失的图像帧。

(4)所述第二图像帧的类型；例如，丢失的图像帧为控制帧(例如，I帧)，或者，丢失的图像帧为非控制帧(例如，B帧或P帧)。

(5)所述第二图像帧的标识，例如，帧号。通过该标识，可以识别出因传输中断而丢失的图像帧。

(6)目标图像帧的信息，其中，所述目标图像帧为发生传输中断前，所述目标视频业务最后一个传输正确的图像帧。可选的，目标图像帧的信息包括但不限于以下至少之一：所述目标图像帧的标识、所述目标图像帧的类型。通过该目标图像帧的信息，可以确定在该目标图像帧之后的图像帧丢失。

(7)目标信息，其中，所述目标信息为所述目标视频业务的图像帧的IP数据包的包头中携带的信息。由于同一个目标视频业务的图像帧的IP数据包的包头中携带的信息均相同，因此，通过该目标信息可以标识出传输中断的业务。可选地，所述目标信息包括以下至少之一：源IP地址、目标IP地址以及业务类型。

S212，所述第一通信设备基于所述数据传输中断信息，获取第一图像帧。

在本申请实施例中，第一通信设备基于数据传输中断信息，获取第一图像帧，其中，所述第一图像帧可以为与第二图像帧没有依赖关系的图像帧，也就是说，第一图像帧的解码不依赖于第二图像帧，例如，第一图像帧与第二图像帧不属于同一个视频帧组合。

在本申请实施例中，第一通信设备可以基于所述数据传输中断信息，获取不依赖于第二图像帧的第一图像帧，从而可以避免由于新产生的图像帧的解码需要依赖于所述第二图像帧，而导致无用的数据传输的问题，节约了无线资源。

例如，如果所述目标视频业务为上行业务，即所述第一通信设备为所述目标视频业务的发送端，则第一通信设备可以控制所述目标视频业务的图像帧产生程序，重新产生所述第一图像帧。如果所述目标视频业务为下行业务，即所述第一通信设备为所述目标视频业务的接收端，则第一通信设备可以通知通信对端(即所述目标视频业务的发送端)，所述通信对端在接收第一通信设备的通知后，可以控制所述目标视频业务的图像帧产生程序，重新产生所述第一图像帧，发送给第一通信设备。

在相关技术中，以XR业务为例，第一通信设备在XR业务的传输过程发生传输中断，例如，由于在切换间隙无法进行数据传输导致一些XR业务的图像帧无法在延时预算内完成传输而丢失，而依赖这些丢失的图像帧才能成功解码的图像帧成了无效数据传输的情形，直到下一个I帧传输成功才回复正常。例如假设在切换间隙只有P帧和B帧丢失而没有I帧丢失的情形，但后续传输的B帧需要依赖于丢失的P帧才能解码，因此，该B帧传输到数据接收方也无法被成功解码，从而导致该B帧的无效传输。另外，如果在切换间隙有I帧丢失的情形，则由于后续传输的多个B帧和P帧的解码都需要依赖于丢失的I帧才能解码，从而导致后续传输的多个图像帧可能都是无效传输，进而导致XR业务的传输中断持续更长。

另外，测量间隙(measurement gap)、无线链路失败后的无线重连、波束失败、一致性LBT失败导致的图像帧传输失败对XR业务有与切换期间图像帧传输失败对XR业务有类似的影响。如果把所有未成功传输的图像帧都发送给对端，以便对端能够恢复后续图像帧，则要求对端在短时间内需要接收和处理较多的图像帧，采用这种方案不仅会增加空口的吞吐量的峰值要求，也对接收端的无线数据接收处理和图像解码的能力峰值提出倍增(增加的倍数取决于累积的所有图像帧的数量和平均大小)的要求，如果接收方是UE，则将明显增加UE的成本和产品设计难度和复杂度。因此，在本申请实施例中，在确定目标视频业务的传输中断时，重新获取解码不依赖于由于传输中断而丢失的图像帧的第一图像帧，一方面可以避免无效的图像帧的传输，另一方面，也不会增加对空口的吞吐量的峰值要求，并且，也不会增加接收端的无线数据接收处理和图像解码的能力峰值的要求。

在一个可能的实现方式中，S212可以包括：在所述目标视频业务为上行业务的情况下，所述第一通信设备执行以下至少之一：

(1)重新产生第一图像帧。

在该可能的实现方式中，所述第一图像帧的解码不依赖于所述第二图像帧，例如，新产生的第一图像帧的图像解码不依赖于由于目标视频业务的数据传输中断而丢失的第二图像帧，但可以依赖于目标视频业务的数据传输中断发生之前已传输正确的图像帧。其中，新产生的图像帧包括I帧、P帧和B帧中一种或多种。例如，在图4a中，在切换窗口，因传输中断而导致其中的4个图像帧丢失，新产生的图像帧(即切换窗口之后产生的图像帧)不依赖于丢失的4个图像帧，但依赖于传输中断前传输正确的图像帧。

或者，所述第一图像帧的解码不依赖于第三图像帧，所述第三图像帧为确定所述数据传输中断信息之前产生的图像帧。例如，新产生的第一图像帧的图像解码不依赖于在确定目标视频业务的数据传输中断信息之前产生的第三图像帧，新产生的图像帧包括IDR帧、I帧和依赖于这些I帧或IDR帧的P帧和B帧。也就是说，所述第一图像帧的解码不依赖于传输中断前产生的所有图像帧。例如，在图4b中，在切换窗口，因传输中断而导致其中的4个图像帧丢失，新产生的图像帧不依赖于之前产生的所有图像帧，重新产生之前已正确传输的I(或IDR)帧和P帧。

(2)停止产生第四图像帧。

在该可能的实现方式中，所述第四图像帧的解码依赖于所述第二图像帧或依赖于所述第三图像帧。在该可能的实现方式中，第一通信设备可以停止产生依赖于前面的已经丢失的数据包或图像帧的图像帧，例如，丢弃已经产生的依赖于已丢失的帧/包的图像帧。

(3)暂停所述目标视频业务的编码，直至所述传输中断结束后重新开始编码。

如图3a或图3b所示，终端的应用层可以通过终端的调制解调器经过无线网络与内容服务器或另一个终端传输目标视频业务，目标视频业务在应用层进行编码，得到待传输的图像帧，在通过调制解调器经无线网络传输，而传输中断一般是由于无线网络导致的中断，因此，一般是由终端的调制解调器检测到传输中断。因此，在一个可能的实现方式中，S210中，所述第一通信设备确定目标视频业务的数据传输中断信息，包括：所述第一通信设备的调制解调器向所述第一通信设备的应用层发送所述数据传输中断信息。

例如，第一通信设备的调制解调器确定终端执行无线网络切换，或者调制解调器确定终端需要进入测量间隙，或者调制解调器确定所述终端的无线链路失败后进行无线重连，又或者，调制解调器确定终端的波束失败，又或者，调制解调器确定终端一致性LTB失败，从而导致目标视频业务的数据传输中断，则调制解调器可以获取上述数据传输中断信息，将所述数据传输中断信息发送给第一通信设备的应用层。

由于目标视频业务的图像帧的编码可以是由应用层完成。因此，在一个可能的实现方式中，S212可以包括：所述第一通信设备的应用层调整所述目标视频业务的图像帧的产生程序，获得新产生的第一图像帧。

例如，所述第一通信设备的应用层调整传输所述目标视频业务的APP对所述目标视频业务进行编码的编码程序，对目标视频业务进行重新进行编码，产生新的不依赖于所述第二图像帧进行解码的第一图像帧。或者，所述第一通信设备的应用层还可以停止产生上述第四图像帧。或者，所述第一通信设备的应用层还可以暂停所述目标视频业务的编码，直至所述传输中断结束后重新开始编码。

在一个可能的实现方式中，在所述第一通信设备的应用层调整所述目标视频业务的图像帧的产生程序，获得新产生的第一图像帧之后，所述方法还可以包括：所述第一通信设备的应用层向所述第一通信设备的调制解调器发送反馈信息，其中，所述反馈信息中携带有所述目标视频业务的更新信息；所述调制解调器接收所述反馈信息。通过该可能的实现方式，使得调制解调器可以获知后续待发送的图像帧是不依赖于所述第二图像帧的图像帧。

在一个可能的实现方式中，所述反馈信息包括但不限于以下至少之一：

(1)第二指示信息，其中，所述第二指示信息用于指示已重新产生图像帧。

(2)第三指示信息，其中，所述第三指示信息用于指示新产生的第一图像帧与第三图像帧的依赖关系，所述第三图像帧为确定所述数据传输中断信息之前产生的图像帧。

在一个可能的实现方式中，所述调制解调器接收所述反馈信息之后，所述方法还包括以下至少之一：

(1)丢弃缓存中未传输的图像帧数据；例如，分组数据汇聚协议(Packet DataConvergence Protocol，PDCP)和/或无线链路控制(Radio Link Control，RLC)层丢弃缓存中未传输的图像帧数据。

(2)如果有已经触发的所述目标视频业务的数据发送程序或者有正在进行的所述目标视频业务数据发送程序，则取消所述目标视频业务的数据发送程序。例如，取消XR数据触发的调度请求(Scheduling Request，SR)程序和/或缓存状态报告(Buffer StatusReport，BSR)发送程序，以及取消用于传输XR业务数据的混合自动重传请求(Hybridautomatic repeat request，HARQ)传输程序等。

在一个可能的实现方式中，第一通信设备可以是通过接收到第二通信设备发送的通知信息，确定所述数据传输中断信息。因此，在该可能的实现方式中，S210可以包括：所述第一通信设备接收到第二通信设备发送的通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二通信设备为所述目标视频业务的接收端。例如，所述目标视频业务的接收端因切换无线网络导致目标视频业务的数据传输中断，则接收端可以向第一通信设备发送所述通知消息。

如图3b所示，两个终端传输目标视频业务，可以是终端的应用层通过终端的调制解调器经过无线网络进行传输，上述通知信息可以是接收端的应用层(即APP)根据相关的图像编码传输的应用层控制消息实现的相关流程发送给发端。因此，在一个可能的实现方式中，所述第一通信设备接收到第二通信设备发送的通知信息，可以包括：所述第一通信设备的应用层接收到第二通信设备的应用层发送的通知信息。

在一个可能的实现方式中，所述第一通信设备基于所述数据传输中断信息，获取新产生的第一图像帧可以包括：

步骤1，在所述目标视频业务为下行业务的情况下，所述第一通信设备向第二通信设备发送通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二通信设备为所述目标视频业务的发送端；

步骤2，接收所述第二通信设备发送所述第一图像帧。

在该可能的实现方式中，在目标视频业务为下行业务的情况下，即第一通信设备为目标视频业务的接收端的情况下，第一通信设备在确定目标视频业务传输中断的情况下，可以通知目标视频业务的发送端(即第二通信设备)，从而使得目标视频业务的发送端可以按照上述第一通信设备采用的方式，产生新的不依赖于所述第二图像帧的第一图像帧，并通过无线网络传输给第一通信设备，以避免无效数据的传输。

在一个可能的实现方式中，所述通知信息可以包括上述数据传输中断信息，从而使得第二通信设备可以确定所述第二图像帧。

在一个可能的实现方式中，第一通信设备向第二通信设备发送通知信息，可以包括：所述第一通信设备的应用层向所述第二通信设备的应用层发送所述通知信息。例如，第一通信设备的应用层可以依据相关的图像编码传输的应用层控制消息实现所述通信信息的传输，具体流程本申请实施例中不再赘述。

在一个可能的实现方式中，网络侧设备可以配置和使能第一通信设备在出现视频业务传输中断的情况下，执行上述获取新产生的第一图像帧的步骤。因此，在所述第一通信设备确定目标视频业务的数据传输中断信息之前，所述方法可以还包括：所述第一通信设备接收网络侧设备发送的配置使能消息，其中，所述配置使能消息用于指示在达到预定条件时确定所述目标视频业务的传输中断。也就是说，网络侧设备可以配置终端在达到预定条件的情况下，确定目标视频业务的传输中断，从而触发步骤S212。

在一个可能的实现方式中，所述预定条件包括以下至少之一：

(1)所述目标视频业务传输中断时长超过第一时间门限；即在目标视频业务传输中断的时长超过第一时间门限的情况下，触发步骤S212。

(2)所述目标视频业务丢失的图像帧超过第二数量门限；即在目标视频业务丢失的图像帧超过第二数量门限的情况下，触发步骤S212。

(3)所述目标视频业务丢失的数据包超过第三数量门限；即在目标视频业务丢失的数据包超过第三数量门限的情况下，触发步骤S212。

(4)所述目标视频业务的目标图像帧传输失败，其中，所述目标图像帧为预定类型的图像帧；例如，目标图像帧的类型为I帧、P帧或B帧。

(5)接收到切换命令；例如，接收到源基站发送的切换命令，触发步骤S212。

(6)接收到切换命令后切换完成；例如，在接收到切换命令之后，执行切换流程，完成切换，触发步骤S212。

(7)发生无线链路失败。

(8)发生无线链路失败后无线链路重建成功。

(9)发现波束失败。

(10)在波束失败后波束恢复成功。

(11)确定一致性先听后说(LBT)失败；即终端在非授权频段下执行LBT连续失败。

(12)一致性LBT失败后数据传输成功恢复。

(13)在网络拥塞后，拥塞状况解除。例如，网络侧设备可以在网络发生拥塞后，在拥塞状况解除时，向第一通信设备发送指示信息。

(14)测量间隙开始；即第一通信设备需要开始进行测量时，触发步骤S212。

(15)测量间隙结束；即第一通信设备在测量间隙结束后，触发步骤S212。

(16)图像帧的传输延时超过预配置的最大传输时延预算。例如，传输了某个图像帧，但该图像帧的传输时延超过预配置的最大传输时延预算，则认为该图像帧未正确传输，发生了传输中断，触发步骤S212。

(17)接收到网络侧设备发送的调整图像编码的请求。例如，基站请求第一通信设备调整图像编码。

在一个可能的实现方式中，所述第一通信设备接收网络侧设备发送的配置使能消息，包括：所述第一通信设备的调制解调器接收所述网络侧设备发送的配置使能消息。在该可能的实现方式中，由所述第一通信设备的调制解调器接收所述网络侧设备发送的所述配置使能消息。

在上述可能的实现方式中，网络侧设备包括但不限于基站。

在本申请实施例的上述各个可能的实现方式中，第一通信设备的调制解调器的无线协议层与第一通信设备的应用层依据现有协议无法进行信息交互的情况下，如图5所示，可以在无线资源控制(Radio Resource Control，RRC)层与应用层之间增加适配层(adaptation layer)，适配层可以位于UE的操作系统中，或作为应用层或无线协议栈的一个子层。适配层的功能为将调制解调器的RRC层发送给应用层的所述数据传输中断信息改写为应用层能够解析的格式，并把应用层发给RRC层的目标视频业务信息解释为RRC层能够解析的格式。可选地，适配层提供一些函数，供应用层和RRC层访问，应用层调用这些函数从RRC层获取数据传输中断信息或向RRC层发送调整后的目标视频业务信息，RRC层调用一些函数向应用层发送数据传输中断信息或从应用层获取调整后的目标视频业务信息。

另外，在图5中，调制解调器中无线接入网络协议层的RRC层用于处理与应用层之间的交互。也可以在RRC层之上再引入一层即APP控制(Control)层，作为层3的子层，用于处理与应用层之间的交互。

通过本申请实施例提供的上述图像帧的获取方法，在确定目标视频业务的传输中断时，重新获取解码不依赖于由于传输中断而丢失的图像帧的第一图像帧，一方面可以避免无效的图像帧的传输，另一方面，也不会增加对空口的吞吐量的峰值要求，并且，也不会增加接收端的无线数据接收处理和图像解码的能力峰值的要求。

图6示出本申请实施例提供的图像帧的获取方法的另一种流程示意图，如图6所示，该方法主要以下步骤。

S601，基站配置和使能UE在出现XR业务数据传输中断的情况下，启动通知应用层调整图像帧产生的程序。

例如，基站可以向UE发送的配置和使能消息，该消息中可以包括以下至少之一：

(1)配置第一时间门限，当业务传输中断时长超过第一时间门限，启动通知应用层调整图像帧产生的程序；

(2)配置第二门限，当图像帧丢失的数量超过该门限或某一类型(I帧、P帧和B帧)的图像帧传输失败，启动通知应用层调整图像帧产生的程序；

(3)收到切换命令，或收到切换命令且切换完成时；在收到切换命令时，启动通知应用层调整图像帧产生的程序。或者，收到切换命令且切换完成时，启动通知应用层调整图像帧产生的程序；

(4)发生无线链路失败，或发生无线链路失败后无线链路重建成功；发生无线链路失败时，启动通知应用层调整图像帧产生的程序。或发生无线链路失败后无线链路重建成功，启动通知应用层调整图像帧产生的程序；

(5)发现波束失败，或波束失败后波束恢复成功；发现波束失败时，启动通知应用层调整图像帧产生的程序。或波束失败后波束恢复成功，启动通知应用层调整图像帧产生的程序；

(6)确定一致性LBT失败，或一致性LBT失败后数据传输成功恢复；确定一致性LBT失败，启动通知应用层调整图像帧产生的程序。或一致性LBT失败后数据传输成功恢复，启动通知应用层调整图像帧产生的程序；

(7)网络拥塞后网络拥塞状况解除；网络拥塞后网络拥塞状况解除时，启动通知应用层调整图像帧产生的程序

(8)测量间隙的开始或结束；在测量间隙的开始或结束时，启动通知应用层调整图像帧产生的程序。

(9)图像帧传输成功，但是实际传输延时超过预配置的最大传输时延预算；即图像帧传输成功，但是实际传输延时超过预配置的最大传输时延预算时，启动通知应用层调整图像帧产生的程序。

(10)收到基站发送的调整图像编码的请求，启动通知应用层调整图像帧产生的程序。

其中，S601为可选步骤。

S602，位于UE调制解调器(modem)根据所述配置或自主确定XR业务传输中断的发生和相关信息。

S603，UE的modem把XR业务的传输中断信息通过UE的modem和应用(APP)层交互机制发送给应用层。

其中，UE的modem向应用层发送的XR业务数据传输中断信息包括以下至少之一：

(1)XR业务传输中断发生的指示；

(2)XR业务的传输中断的时间信息，包括XR业务传输中断的时长、时间起点和/或时间终点；

(3)受到所述传输中断影响丢失的图像帧的数量、类型(I帧、P帧和B帧)、序号等。所述序号可以是相对于前一个I帧或下一个预期I帧的序号偏移；

(4)发生XR业务数据传输中断前，最后一个传输正确的图像帧的信息，包括序号和图像帧类型等；

(5)图像帧的IP数据包的IP header中携带的信息，包括源IP地址，目的IP地址，业务类型等信息。

其中，所述XR业务数据传输中断信息又可以定义/称作为重置图像帧编码请求，用于请求应用层产生不依赖于收到所述重置图像帧编码请求前产生的部分或全部图像帧的新图像帧。

S604，UE的应用层根据收到的XR业务传输中断信息，调整图像帧的产生，使得新产生的图像帧可以不依赖于丢失的图像帧就可以被接收端解码。

其中，UE的应用层可以执行以下选项中的至少之一：

选项a：重新产生图像帧，新产生的图像帧的图像解码不依赖于由于XR业务数据传输中断而丢失的图像帧，但可以依赖于XR业务数据传输中断发生之前就传输正确的图像帧，新产生的图像帧包括I帧、P帧和B帧中一种或多种；

选项b：重新产生图像帧，新产生的图像帧的图像解码不依赖于收到XR业务数据传输中断信息之前产生的图像帧就能实现图像解码，新产生的图像帧包括IDR帧、I帧和依赖于这些I帧或IDR帧的P帧和B帧；

选项c：停止产生依赖于前面的已经丢失的数据包或图像帧的图像帧，包括丢弃已经产生的依赖于已丢失的帧/包的帧；

选项d：通知APP层暂停编码，直至传输中断结束后重新开始编码。

例如，图4a和图4b示出了XR业务数据传输中断是由切换引起的时候，UE的APP层重新产生的图像帧的依赖关系示意图(前文提到的其它因素引起的XR业务数据传输中断与此类似)。其中，图4a图中，新产生的图像帧依赖于切换发生之前传输正确的XR数据包(对应于选项a)，这一情形适用于UE的modem能够将丢失的图像帧的序号信息直接或间接地通知给应用层的情形。图4b图中，新产生的图像帧不依赖于切换完成(即APP接收XR业务数据传输终端消息)之前的图像帧，但是新产生的图像帧之间的依赖关系不受限制。

S605，UE的应用层把调整后的XR业务信息发送给UE的modem。

该步骤为可选步骤。

可选地，在该步骤中，UE的应用层可以向UE的modem发送反馈信息，其中携带XR业务的更新信息，包括指示是否重新产生图像帧、产生的图像帧与前面产生的帧的依赖关系(例如是否依赖此前产生的帧等)。

S606，UE的modem把收到的全部或部分XR业务信息报告给基站。

对于上行XR，UE的modem在收到重新产生图像帧的指示后，PDCP/RLC层丢弃缓存中未传输的图像帧数据，和/或，取消上行XR数据发送程序，包括XR数据触发的SR/BSR程序，用于传输XR业务数据的HARQ传输等。

对于下行XR业务，在UE的应用层从UE的modem收到XR业务数据传输中断信息后，在S604中，UE的应用层需要通知XR业务的对端(简称对端peer XR transmitter)重新产生图像帧。UE的应用层可以依据现有的相关图像编码传输的应用层控制消息实现相关流程，在此不再赘述，UE的应用层在收到对端的响应后，可以执行上述S605和S606。

通过本申请实施例提供的上述图像帧的获取方法，UE的调制解调器在确定目标视频业务的传输中断时，通知应用层重新获取解码不依赖于由于传输中断而丢失的图像帧的第一图像帧，一方面可以避免无效的图像帧的传输，另一方面，也不会增加对空口的吞吐量的峰值要求，并且，也不会增加接收端的无线数据接收处理和图像解码的能力峰值的要求。

本申请实施例提供的图像帧的获取方法，执行主体可以为图像帧的获取装置。本申请实施例中以图像帧的获取装置执行图像帧的获取方法为例，说明本申请实施例提供的图像帧的获取装置。

图7示出本申请实施例提供的图像帧的获取装置的一种结构示意图，如图7所示，该装置700主要包括：确定模块701和获取模块702。

在本申请实施例中，确定模块701，用于确定目标视频业务的数据传输中断信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断；获取模块702，用于基于所述数据传输中断信息，获取第一图像帧，其中，所述数据传输中断信息包括以下至少之一：

第一指示信息，其中，所述第一指示信息用于指示所述目标视频业务的传输中断；

传输中断的时间信息，其中，所述时间信息包括以下至少之一：传输中断的时长、传输中断的起始时间点、传输中断的结束时间点；

所述第二图像帧的数量，所述第二图像帧为由于所述传输中断而丢失的图像帧；

所述第二图像帧的类型；

所述第二图像帧的标识；

目标图像帧的信息，其中，所述目标图像帧为发生传输中断前，所述目标视频业务最后一个传输正确的图像帧；

目标信息，其中，所述目标信息为所述目标视频业务的图像帧的IP数据包的包头中携带的信息。

在一个可能的实现方式中，所述目标图像帧的信息包括以下至少之一：所述目标图像帧的标识、所述目标图像帧的类型。

在一个可能的实现方式中，所述目标信息包括以下至少之一：源IP地址、目标IP地址以及业务类型。

在一个可能的实现方式中，所述获取模块702获取新产生的第一图像帧，包括：

在所述目标视频业务为上行业务的情况下，所述获取模块702执行以下至少之一：

重新产生第一图像帧，可选地，所述第一图像帧的解码不依赖于所述第二图像帧，或者，所述第一图像帧的解码不依赖于第三图像帧，所述第三图像帧为确定所述数据传输中断信息之前产生的图像帧；

停止产生第四图像帧，可选地，所述第四图像帧的解码依赖于所述第二图像帧或依赖于所述第三图像帧；

暂停所述目标视频业务的编码，直至所述传输中断结束后重新开始编码。

在一个可能的实现方式中，所述获取模块702停止产生第四图像帧，包括：丢弃已经产生的所述第四图像帧。

在一个可能的实现方式中，所述确定模块701确定目标视频业务的数据传输中断信息，包括：

接收到第二通信设备发送的通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二通信设备为所述目标视频业务的接收端。

在一个可能的实现方式中，所述获取模块702基于所述数据传输中断信息，获取新产生的第一图像帧，包括：

在所述目标视频业务为下行业务的情况下，向第二通信设备发送通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二通信设备为所述目标视频业务的发送端；

接收所述第二通信设备发送所述第一图像帧。

在一个可能的实现方式中，所述装置还包括：接收模块，用于接收网络侧设备发送的配置使能消息，其中，所述配置使能消息用于指示在达到预定条件时确定所述目标视频业务的数据传输中断。

在一个可能的实现方式中，所述预定条件包括以下至少之一：

所述目标视频业务传输中断时长超过第一时间门限；

所述目标视频业务丢失的图像帧超过第二数量门限；

所述目标视频业务丢失的数据包超过第三数量门限；

所述目标视频业务的目标图像帧传输失败，其中，所述目标图像帧为预定类型的图像帧；

接收到切换命令；

接收到切换命令后切换完成；

发生无线链路失败；

发生无线链路失败后无线链路重建成功；

发现波束失败；

在波束失败后波束恢复成功；

确定一致性先听后说LBT失败；

一致性LBT失败后数据传输成功恢复；

在网络拥塞后，拥塞状况解除；

测量间隙开始；

测量间隙结束；

图像帧的传输延时超过预配置的最大传输时延预算；

接收到网络侧设备发送的调整图像编码的请求。

本申请实施例中的图像帧的获取装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。

本申请实施例提供的图像帧的获取装置能够实现图2至图6的方法实施例中第一通信设备实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

可选的，如图8所示，本申请实施例还提供一种通信设备800，包括处理器801和存储器802，存储器802上存储有可在所述处理器801上运行的程序或指令，例如，该通信设备800为终端或内容服务器时，该程序或指令被处理器801执行时实现上述图像帧的获取方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供一种终端，包括处理器和通信接口，处理器用于实现上述图像帧的获取方法实施例的各个步骤，通信接口用于与外部通信设备进行通信。该终端实施例与上述方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该终端实施例中，且能达到相同的技术效果。

具体地，图9为实现本申请实施例的一种终端的硬件结构示意图。

该终端900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等中的至少部分部件。

本领域技术人员可以理解，终端900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的终端结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元904可以包括图形处理单元(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

本申请实施例中，射频单元901接收来自网络侧设备的下行数据后，可以传输给处理器910进行处理；另外，射频单元901可以向网络侧设备发送上行数据。通常，射频单元901包括但不限于天线、放大器、收发信机、耦合器、低噪声放大器、双工器等。

存储器909可用于存储软件程序或指令以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器909可以包括易失性存储器或非易失性存储器，或者，存储器909可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。

处理器910可包括一个或多个处理单元；可选的，处理器910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

其中，处理器910，用于：

确定目标视频业务的数据传输中断信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断；

基于所述数据传输中断信息，获取第一图像帧，其中，所述数据传输中断信息包括以下至少之一：

第一指示信息，其中，所述第一指示信息用于指示所述目标视频业务的传输中断；

传输中断的时间信息，其中，所述时间信息包括以下至少之一：传输中断的时长、传输中断的起始时间点、传输中断的结束时间点；

所述第二图像帧的数量，所述第二图像帧为由于所述传输中断而丢失的图像帧；

所述第二图像帧的类型；

所述第二图像帧的标识；

目标图像帧的信息，其中，所述目标图像帧为发生传输中断前，所述目标视频业务最后一个传输正确的图像帧；

目标信息，其中，所述目标信息为所述目标视频业务的图像帧的互联网协议IP数据包的包头中携带的信息。

可选地，处理器910获取新产生的第一图像帧，包括：

在所述目标视频业务为上行业务的情况下，执行以下至少之一：

重新产生第一图像帧，可选地，所述第一图像帧的解码不依赖于所述第二图像帧，或者，所述第一图像帧的解码不依赖于第三图像帧，所述第三图像帧为确定所述数据传输中断信息之前产生的图像帧；

停止产生第四图像帧，可选地，所述第四图像帧的解码依赖于所述第二图像帧或依赖于所述第三图像帧；

暂停所述目标视频业务的编码，直至所述传输中断结束后重新开始编码。

通过本申请实施例提供的终端，可以在确定目标视频业务的数据传输中断信息后，基于所述数据传输中断信息，获取新产生第一图像帧，该新产生的第一图像帧的解码不依赖于由于数据传输中断而丢失的第二图像帧，从而避免了由于新产生的图像帧的解码需要依赖于所述第二图像帧，而导致无用的数据传输的问题，节约了无线资源。

本申请实施例还提供一种网络侧设备，包括处理器和通信接口，处理器用于实现上述图像帧的获取方法实施例的各个步骤，通信接口用于与外部通信设备进行通信。该网络侧设备实施例与上述方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该网络侧设备实施例中，且能达到相同的技术效果。

具体地，本申请实施例还提供了一种网络侧设备。如图10所示，该网络侧设备1000包括：处理器1001、网络接口1002和存储器1003。其中，网络接口1002例如为通用公共无线接口(common public radio interface，CPRI)。

具体地，本发明实施例的网络侧设备1000还包括：存储在存储器1003上并可在处理器1001上运行的指令或程序，处理器1001调用存储器1003中的指令或程序执行图7所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像帧的获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像帧的获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。

本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述图像帧的获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (26)

1.一种图像帧的获取方法，其特征在于，包括：

第一通信设备确定目标视频业务的数据传输中断信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断；

所述第一通信设备基于所述数据传输中断信息，获取第一图像帧；

其中，所述数据传输中断信息包括以下至少之一：

第一指示信息，其中，所述第一指示信息用于指示所述目标视频业务的传输中断；

传输中断的时间信息，其中，所述时间信息包括以下至少之一：传输中断的时长、传输中断的起始时间点、传输中断的结束时间点；

所述第二图像帧的数量，所述第二图像帧为由于所述传输中断而丢失的图像帧；

所述第二图像帧的类型；

所述第二图像帧的标识；

目标图像帧的信息，其中，所述目标图像帧为发生传输中断前，所述目标视频业务最后一个传输正确的图像帧；

目标信息，其中，所述目标信息为所述目标视频业务的图像帧的互联网协议IP数据包的包头中携带的信息。

2.根据权利要求1所述的方法，其特征在于，所述目标图像帧的信息包括以下至少之一：所述目标图像帧的标识、所述目标图像帧的类型。

3.根据权利要求1所述的方法，其特征在于，所述目标信息包括以下至少之一：源IP地址、目标IP地址以及业务类型。

4.根据权利要求1所述的方法，其特征在于，所述第一通信设备获取第一图像帧，包括：

在所述目标视频业务为上行业务的情况下，所述第一通信设备执行以下至少之一：

重新产生第一图像帧；

停止产生第三图像帧；

暂停所述目标视频业务的编码，直至所述传输中断结束后重新开始编码。

5.根据权利要求4所述的方法，其特征在于，所述第一通信设备停止产生第三图像帧，包括：丢弃已经产生的所述第三图像帧。

6.根据权利要求4或5所述的方法，其特征在于，所述第一通信设备确定目标视频业务的数据传输中断信息，包括：

所述第一通信设备接收到第二通信设备发送的通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二通信设备为所述目标视频业务的接收端。

7.根据权利要求6所述的方法，其特征在于，所述第一通信设备接收到第二通信设备发送的通知信息，包括：

所述第一通信设备的应用层接收到第二通信设备的应用层发送的通知信息。

8.根据权利要求4或5所述的方法，其特征在于，所述第一通信设备获取第一图像帧，包括：

所述第一通信设备的应用层调整所述目标视频业务的图像帧的产生程序，获得新产生的第一图像帧。

9.根据权利要求8所述的方法，其特征在于，在所述第一通信设备的应用层调整所述目标视频业务的图像帧的产生程序，获得新产生的第一图像帧之后，所述方法还包括：

所述第一通信设备的应用层向所述第一通信设备的调制解调器发送反馈信息，其中，所述反馈信息中携带有所述目标视频业务的更新信息；

所述调制解调器接收所述反馈信息。

10.根据权利要求9所述的方法，其特征在于，所述反馈信息包括以下至少之一：

第二指示信息，其中，所述第二指示信息用于指示已重新产生图像帧；

第三指示信息，其中，所述第三指示信息用于指示重新产生的第一图像帧与第四图像帧的依赖关系，所述第四图像帧为确定所述数据传输中断信息之前产生的图像帧。

11.根据权利要求10所述的方法，其特征在于，所述调制解调器接收所述反馈信息之后，所述方法还包括以下至少之一：

丢弃缓存中未传输的图像帧数据；

取消已经触发的所述目标视频业务的数据发送程序；

取消正在进行的所述目标视频业务的数据发送程序。

12.根据权利要求1所述的方法，其特征在于，所述第一通信设备基于所述数据传输中断信息，获取第一图像帧，包括：

在所述目标视频业务为下行业务的情况下，所述第一通信设备向第二通信设备发送通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二通信设备为所述目标视频业务的发送端；

接收所述第二通信设备发送所述第一图像帧。

13.根据权利要求12所述的方法，其特征在于，所述第一通信设备向第二通信设备发送通知信息，包括：

所述第一通信设备的应用层向所述第二通信设备的应用层发送所述通知信息。

14.根据权利要求1至13任一项所述的方法，其特征在于，在所述第一通信设备确定目标视频业务的数据传输中断信息之前，所述方法还包括：

所述第一通信设备接收网络侧设备发送的配置使能消息，其中，所述配置使能消息用于指示在达到预定条件时确定所述目标视频业务的传输中断。

15.根据权利要求14所述的方法，其特征在于，所述预定条件包括以下至少之一：

所述目标视频业务传输中断时长超过第一时间门限；

所述目标视频业务丢失的图像帧超过第二数量门限；

所述目标视频业务丢失的数据包超过第三数量门限；

所述目标视频业务的目标图像帧传输失败，其中，所述目标图像帧为预定类型的图像帧；

接收到切换命令；

接收到切换命令后切换完成；

发生无线链路失败；

发生无线链路失败后无线链路重建成功；

发现波束失败；

在波束失败后波束恢复成功；

确定一致性先听后说LBT失败；

一致性LBT失败后数据传输成功恢复；

在网络拥塞后，拥塞状况解除；

测量间隙开始；

测量间隙结束；

图像帧的传输延时超过预配置的最大传输时延预算；

接收到网络侧设备发送的调整图像编码的请求。

16.根据权利要求15所述的方法，其特征在于，所述第一通信设备接收网络侧设备发送的配置使能消息，包括：

所述第一通信设备的调制解调器接收所述网络侧设备发送的配置使能消息。

17.根据权利要求1至5、8至16中任一项所述的方法，其特征在于，所述第一通信设备确定目标视频业务的数据传输中断信息，包括：所述第一通信设备的调制解调器向所述第一通信设备的应用层发送所述数据传输中断信息。

18.一种图像帧的获取装置，其特征在于，包括：

确定模块，用于确定目标视频业务的数据传输中断信息，其中，所述数据传输中断信息指示所述目标视频业务的传输中断；

获取模块，用于基于所述数据传输中断信息，获取第一图像帧；

其中，所述数据传输中断信息包括以下至少之一：

第一指示信息，其中，所述第一指示信息用于指示所述目标视频业务的传输中断；

传输中断的时间信息，其中，所述时间信息包括以下至少之一：传输中断的时长、传输中断的起始时间点、传输中断的结束时间点；

第二图像帧的数量，所述第二图像帧为由于所述传输中断而丢失的图像帧；

所述第二图像帧的类型；

所述第二图像帧的标识；

目标图像帧的信息，其中，所述目标图像帧为发生传输中断前，所述目标视频业务最后一个传输正确的图像帧；

目标信息，其中，所述目标信息为所述目标视频业务的图像帧的IP数据包的包头中携带的信息。

19.根据权利要求18所述的装置，其特征在于，所述获取模块获取第一图像帧，包括：

在所述目标视频业务为上行业务的情况下，所述获取模块执行以下至少之一：

重新产生第一图像帧；

停止产生第三图像帧；

暂停所述目标视频业务的编码，直至所述传输中断结束后重新开始编码。

20.根据权利要求19所述的装置，其特征在于，所述获取模块停止产生第三图像帧，包括：丢弃已经产生的所述第三图像帧。

21.根据权利要求19或20所述的装置，其特征在于，所述确定模块确定目标视频业务的数据传输中断信息，包括：

接收到第二通信设备发送的通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二通信设备为所述目标视频业务的接收端。

22.根据权利要求18所述的装置，其特征在于，所述获取模块基于所述数据传输中断信息，获取第一图像帧，包括：

在所述目标视频业务为下行业务的情况下，向第二终端通信设备发送通知信息，其中，所述通知信息指示所述目标视频业务的数据传输中断，所述第二终端通信设备为所述目标视频业务的发送端；

接收所述第二终端通信设备发送所述第一图像帧。

23.根据权利要求18至22任一项所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收网络侧设备发送的配置使能消息，其中，所述配置使能消息用于指示在达到预定条件时确定所述目标视频业务的数据传输中断。

24.根据权利要求23所述的装置，其特征在于，所述预定条件包括以下至少之一：

所述目标视频业务传输中断时长超过第一时间门限；

所述目标视频业务丢失的图像帧超过第二数量门限；

所述目标视频业务丢失的数据包超过第三数量门限；

所述目标视频业务的目标图像帧传输失败，其中，所述目标图像帧为预定类型的图像帧；

接收到切换命令；

接收到切换命令后切换完成；

发生无线链路失败；

发生无线链路失败后无线链路重建成功；

发现波束失败；

在波束失败后波束恢复成功；

确定一致性先听后说LBT失败；

一致性LBT失败后数据传输成功恢复；

在网络拥塞后，拥塞状况解除；

测量间隙开始；

测量间隙结束；

图像帧的传输延时超过预配置的最大传输时延预算；

接收到网络侧设备发送的调整图像编码的请求。

25.一种通信设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至17任一项所述的图像帧的获取方法的步骤。

26.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至17任一项所述的图像帧的获取方法的步骤。

Images