CN111601178B - 视频数据处理方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种视频数据处理方法、装置和电子设备，属于通讯技术领域，能够解决视频数据丢包严重时，影响用户的视频观看体验。该方法包括：电子设备接收第一数据包，上述第一数据包组成目标视频帧；该电子设备在上述目标视频帧为破损帧的情况下，根据第二数据包的丢包率，确定是否解码上述第一数据包；其中，上述第二数据包是上述电子设备在接收到上述第一数据包之前的预定时间段内接收到的数据包。本申请实施例适用于视频数据的解码场景中。

Description

视频数据处理方法、装置和电子设备

技术领域

本申请属于通信技术领域，具体涉及一种视频数据处理方法、装置及电子设备。

背景技术

随着电子设备技术的发展，电子设备(例如手机、平板电脑等)的功能越来越多，用户可以使用电子设备进行实时视频传输(例如，视频通话、视屏直播等)。在发送端电子设备和接收端电子设备之间进行实时视频传输的过程中，发送端会向接收端发送视频数据包，接收端接收视频数据包后，会对视频数据包进行解码，从而在接收端的显示屏上显示视频界面。

在相关技术中，在网络环境与带宽资源不足的场景下，由于接收端接收到的视频数据包出现丢包现象，接收端在接收到视频数据包后，通常会按照强制解码方式对接收到的视频数据包进行强制解码。

如此，当视频数据包丢包严重时，由于视频数据质量较差，从而导致接收端的显示屏中显示的视频出现大面积花屏，影响用户的视频观看体验。

发明内容

本申请实施例的目的是提供一种视频数据处理方法，能够解决视频数据丢包严重时，影响用户的视频观看体验。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种视频数据处理方法，该方法包括：电子设备接收第一数据包，上述第一数据包组成目标视频帧；该电子设备在上述目标视频帧为破损帧的情况下，根据第二数据包的丢包率，确定是否解码上述第一数据包；其中，上述第二数据包是上述电子设备在接收到上述第一数据包之前的预定时间段内接收到的数据包。

第二方面，本申请实施例提供了一种视频数据处理装置，所述装置包括接收模块和确定模块；上述接收模块，用于接收第一数据包，上述第一数据包组成目标视频帧；上述执行模块，在确定上述接收模块接收的上述目标视频帧为破损帧的情况下，用于根据第二数据包的丢包率，确定是否解码上述第一数据包；其中，上述第二数据包是上述电子设备在接收到上述第一数据包之前的预定时间段内接收到的数据包。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，电子设备接收第一数据包后，在判定该第一数据包组成的目标视频帧为破损帧的情况下，由于第二数据包为电子设备在接收第一数据包之前的预定时间段内接收的数据包，且数据包的丢包率能够体现出当前的网络环境质量，因此，电子设备可以直接基于该第二数据包的丢包率，来确定是否对第一数据包进行解码，即电子设备可以基于第二数据包的丢包情况，灵活的调整目标视频帧的处理方式，使得目标视频帧能够在当前网络环境下呈现最佳的视频效果，从而提升用户的视频效果体验。例如，数据包丢包较多时，不解析破损帧，避免电子设备的显示屏出现大面积花屏，反之，数据包丢包较少，解码破损帧进行播放，使得电子设备的显示屏仅出现局部花屏。

附图说明

图1为本申请实施例所涉及的通信系统的一种可能的结构示意图；

图2为本申请实施例提供的一种视频数据处理方法的流程示意图之一；

图3为本申请实施例提供的一种视频数据处理方法的流程示意图之二；

图4为本发明实施例提供的一种视频数据处理装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面对本申请实施例中出现的名词作出如下解释：

1、丢包率

丢包率是指数据传输过程中所丢失的数据包的数量占所发送的数据包的比率。

需要说明的是，丢包是指一个数据包整体丢失，而不是该数据包的部分数据丢失。

其中，在发送上述目标视频帧中的第一数据包之前，发送端电子设备可以通过为数据包提前标识编号的方式，方便接收端电子设备检测是否存在丢包现象。例如，当发送端电子设备向接收端发送包含10个数据包的一帧数据时，在发送之前会为该上述10个数据包进行顺序编号，编号为1-10，当接收端电子设备接收到上述一帧数据时，检测该一帧数据中的数据包仅有编号为1、4、5、10这4个数据包，则电子设备可以根据编号确定该帧数据存在丢包现象，丢包率为(10-4)/10×100％＝60％。

2、数据包与视频帧

视频是由若干个静止画面组成，电子设备在单位时间内快速、连续地播放上述若干个静止画面(例如，播放视频的每秒帧速为24帧/秒)，最终形成用视频画面。

在上述视频传输的过程中，由于该视频中的视频数据较多，电子设备通常会预先设置一个统一的通信协议(例如，TCP/IP协议)，接收端和发送端均基于该通信协议进行数据传输。具体的，发送端根据通信协议，将欲传输的视频数据划分为若干个数据包，之后将上述若干个数据包进行分组封装，每组数据包封装为一个视频帧，每一个视频帧中包含X个数据包，进行传输，在解码的过程中，电子设备会对数据包按照视频帧的传输顺序进行依次解码，最终按照预定帧速在接收端中播放视频。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频数据处理方法进行详细地说明。

图1为本申请实施例提供的视频数据处理方案所使用的通信系统示意图。该通信系统包括：至少两个电子设备a(图中仅示出2个)和服务器b，其中：

在上述至少两个电子设备在进行实时视频通话过程中，发送端会将实时视频数据封装，得到视频数据包，然后向接收端发送该视频数据包，接收端在接收到视频数据包后，会对视频数据包进行解码，从而在接收端的显示屏上显示视频界面。

需要说明的是，本申请实施例提供的视频数据处理方法适用于接收端。

本申请实施例提供的视频数据处理方法可以适用于视频通话场景或直播场景中，下面将以视频通话场景为例进行说明。

在相关技术中，在视频通话的过程中，若网络环境较差，会导致电子设备接收到的视频数据包出现丢包现象，电子设备通常会按照预定处理策略处理。

其中，上述预定处理策略通常包括如下两种：

第一种处理策略：强制解码方式，即电子设备在检测到接收到的视频数据包存在丢包现象，则对接收到的视频数据包进行强制解码并播放。如此，当电子设备接收到的视频数据包丢包严重时，电子设备的显示屏中会出现大面积花屏，严重影响用户的通话效果和使用体验。

第二种处理策略：不解码方式，即电子设备在检测到接收到的视频数据包存在丢包现象，则丢弃接收到的视频数据包，不解码该视频数据包，此时电子设备的显示屏画面会出现卡顿现象。如此，当电子设备接收到的视频数据包丢包严重时，电子设备会出现频繁卡顿现象，导致用户的通话质量和体验严重下降。

在本申请实施例中，电子设备在接收到第一数据包后，将判定第一数据包中的目标视频帧是否为破损帧，当目标数据包为破损帧时，电子设备将根据第二数据包的丢包率，选择与电子设备所处网络环境相匹配的处理方式对第一数据包进行处理，也即，对第一数据包解码或者不对第一数据包进行解码。如此，最终在电子设备显示屏中播放的视频，能够既保证电子设备在接收到的第一数据包具备轻微丢包现象时依旧能够正常视频通话，同时还可以避免在第一数据包丢包现象过于严重时，显示效果过差而给用户带来的不舒适体验。例如，数据包丢包较多时，不解析破损帧，避免电子设备的显示屏出现大面积花屏，反之，数据包丢包较少，解码破损帧进行播放，使得电子设备的显示屏仅出现局部花屏。

如图2所示，本申请实施例提供的一种视频数据处理方法，该方法包括步骤201和步骤202：

步骤201：视频数据处理装置接收第一数据包，上述第一数据包组成目标视频帧。

在本申请实施例中，上述第一数据包中可以包含多个数据包。

在本申请实施例中，上述目标视频帧可以为一个视频帧，也可以为多个视频帧，本申请实施例对此不做限定。

示例性的，视频数据处理装置在接收第一数据包时，可以通过检测是否接收到第一数据包的结尾数据包来判定该第一数据包是否接收完毕。

步骤202：视频数据处理装置在上述目标视频帧为破损帧的情况下，根据第二数据包的丢包率，确定是否解码上述第一数据包。

在本申请实施例中，上述破损帧为存在丢包现象的目标视频帧。

在本申请实施例中，视频数据处理装置在计算第二数据包的丢包率之前，首先需要确定目标视频帧是否为破损帧，若目标视频帧不是破损帧，也即视频数据处理装置接收到了该目标数据包中的全部数据包，则视频数据处理装置无需进行后续计算第二数据包丢包率，进而确定处理策略的步骤，可以直接对该目标视频帧进行解码。

可选的，在本申请实施例中，上述丢包率为丢包数量与第一数量的比值。其中，上述丢包数量为第二数量与上述第一数量的差值，上述第一数量为发送端发送的上述第二数据包对应的第一视频帧的数据包数量，上述第二数量为接收端接收的上述第二数据包对应的第一视频帧的数据包数量。

可选的，在本申请实施例中，视频数据处理装置可以根据第二数据包的丢包率，对第一数据包执行不同的处理策略(如，解码或丢弃)。具体的，在上述目标视频帧为破损帧的情况下，视频数据处理装置在获取到第二数据包的丢包率，可以根据该第二数据包的丢包率从上述第一种处理策略(即强制解码方式)和上述第二种处理策略(即不解码方式)中选择一种来执行。

在本申请实施例中，上述第二数据包为是上述视频数据处理装置在接收到上述第一数据包之前的预定时间段内接收到的数据包。

可选的，在本申请实施例中，上述预定时间段的下限可以为预定义的，也可以是视频数据处理装置基于历史网络环境确定的，本申请实施例对此不做限定。

示例性的，上述预定时间段的下限与第一数据包的结尾数据包的接收时间的间隔可以为预定间隔。其中，上述预定间隔可以为预定时间间隔，也可以为预定数据帧个数间隔。

需要说明的是，上述预定间隔可以预定义的，也可以为电子设备基于接收数据包的历史情况确定的。进一步的，当上述预定时间段的下限与第一数据包的结尾数据包的接收时间之间的间隔超过预定最大间隔时，第二数据包的丢包率无法正确体现出当前网络环境的优劣进而无法准确的确定上述第一数据包的处理策略，因此，上述预定间隔为小于该预定最大间隔的值。

在一种示例中，上述第二数据包可以为电子设备在接收到上述第一数据包之前的前几个数据包，上述第二数据包也可以为目标视频帧的前一帧或前几帧视频帧的数据包。即，在上述预定间隔为0时，上述第二数据包可以为第一数据包的相邻数据包。

在一种示例中，第二数据包与第一数据包之间间隔的数据包可以构成一个或者若干个数据帧，该数据帧可为完整数据帧也可以为破损帧。可以理解的，第二数据包与第一数据包之间间隔的数据帧越少，电子设备根据第二数据包的丢包率确定的处理策略处理第一数据包后，在显示屏幕中的播放效果越好。

在一种示例中，上述第二数据包可以包含第一数据包，即第二数据包对应的视频帧中包含上述目标视频帧。例如，以帧速为24帧/秒的视频为例，若预定时间段为2秒，第x帧视频帧为破损帧，则当电子设备为该第x帧视频帧对应数据包确定处理策略时，将依据第x帧视频帧以及第x帧视频帧之前48帧中所有的数据包的丢包率情况，来确定第x帧视频帧对应数据包的处理策略。

如此，视频数据处理装置选择的第二数据包与第二数据包越接近，则越能体现当前网络环境状态，进而使得最终确定的处理策略的准确度越高。

可选的，在本申请实施例中，上述预定时间段的时长可以为预定义的，也可以是视频数据处理装置基于历史网络环境确定的，本申请实施例对此不做限定。

在一种示例中，在视频数据处理装置进行视频实时传输之前，视频数据处理装置可以设定多个时间段，然后，在视频实时传输过程中，视频数据处理装置在检测到第一数据包丢包时，则可以从上述多个时间段中选择一个时间段作为预定时间段，然后，基于该预定时间段来确定第二数据包。

进一步的，上述多个时间段中的每个时间段对应一种传输场景，每种场景对应的影响因素不同。其中，上述的影响因素包括以下至少一项：传输网络质量、硬件参数、实际场景环境等。

如此，视频数据处理装置可以选择出最符合当前传输场景的一种预定时间段，来最终确定第一数据包的处理策略，从而使得最终得到的处理策略为当前传输场景下视频播放效果最好的处理策略。

可选的，在本申请实施例中，由于视频数据处理装置所处的视频实时传输场景的变化速度相较于视频传输速度较为缓慢，因此，视频数据处理装置可以基于与目标视频帧相近的视频帧的丢包率来确定目标视频帧所处的视频实时传输场景的传输环境，由此，来确定出目标视频帧对应的第一数据包的处理策略。换句话说，上述预定时间段可以认为是，视频数据处理装置确定第一数据包的处理策略时，所需的平衡时间段。

示例性的，上述预定时间段可以与目标视频帧在传输过程中所受到影响因素相关。其中，上述影响因素可以包含传输网络质量、硬件参数、实际场景环境等，上述丢包率为电子设备评判上述影响因素对目标视频帧传输过程中影响大小的重要参数，丢包率与上述影响大小呈正比关系，也即，丢包率越大，影响越大，丢包率越小，影响越小。

举例说明：视频数据处理装置在3个不同的网络速度下，不断调整用于确定丢包率的时间段，然后视频数据处理装置自动记录目标视频帧在显示屏中的花屏占比，当超某一时间段和小于某一时间段时，花屏占比均高于预定花屏面积时，则可以认为该时间段为该网络速度下的预定时间段。

示例1，以用户使用手机进行视频通话为例，在视频通话的过程中，接收端手机在接收视频帧1(即上述目标视频帧)的数据包1(即上述第一数据包)后，由于网络传输速度较慢，网络质量不好，接收端手机确认接收的视频帧1存在丢包现象，为破损帧。此时，根据手机此前预设的检测时间3秒(即上述预定时间段)，接收端手机计算视频帧1以及视频帧1前3秒的数据包的丢包率(第二数据包的丢包率)，根据该丢包率确定上述数据包1的处理策略。

本申请实施例提供的视频数据处理方法，视频数据处理装置在接收到第一数据包后，将判定第一数据包中的目标视频帧是否为破损帧，当目标数据包为破损帧时，视频数据处理装置将根据第二数据包的丢包率，选择与视频数据处理装置所处网络环境相匹配的处理方式对第一数据包进行处理，也即，对第一数据包解码或者不对第一数据包进行解码。如此，最终在视频数据处理装置显示屏中播放的视频，能够既保证视频数据处理装置在接收到的第一数据包具备轻微丢包现象时依旧能够正常视频通话，同时还可以避免在第一数据包丢包现象过于严重时，显示效果过差而给用户带来的不舒适体验。例如，数据包丢包较多时，不解析破损帧，避免电子设备的显示屏出现大面积花屏，反之，数据包丢包较少，解码破损帧进行播放，使得电子设备的显示屏仅出现局部花屏。

可选的，在本申请实施例中，如图3所示，在上述步骤202中，本申请实施例所提供的视频数据处理方法可以包含如下步骤A1或者步骤A2：

步骤A1：在第二数据包的丢包率大于预设阈值的情况下，视频数据处理装置丢弃上述第一数据包。

步骤A2：在上述丢包率小于或等于上述预设阈值的情况下，视频数据处理装置解码上述第一数据包。

示例性的，上述预设阈值为视频数据处理装置预先根据不同丢包率与最终显示在显示屏的显示情况所得出的参考阈值。其中，上述预设阈值可以为视频数据处理装置预设的，也可以为用户自定义设置的。

在一种示例中，视频数据处理装置中预存有多个丢包率阈值，每个丢包率阈值对应一个花屏占比。如此，视频数据处理装置在获取到第二数据包的丢包率后，会结合用户观看视频时能够接受的花屏占比，从上述多个丢包率阈值中，选择与用户观看视频时能够接受的花屏占比匹配的丢包率阈值作为上述预设阈值。

示例性的，当第二数据包的丢包率大于预设阈值时，可以认为第一数据包的丢包率过大，此时，视频数据处理装置在对第一数据包进行解析后，显示屏中显示的花屏面积占据整个显示屏面积的比例过大，整个屏幕过于杂乱，会严重影响用户的观看屏幕效果。因此，视频数据处理装置将不对上述第一数据包进行解析，即丢弃上述第一数据包。

进一步的，上述丢弃上述第一数据包，是指放弃上述第一数据包，不再对第一数据包中的数据进行解码。

进一步的，当视频数据处理装置放弃对上述第一数据包进行解码后，视频数据处理装置的显示屏中将持续显示目标视频帧的前一帧所解码的视频。在实际应用中，显示屏中显示为画面卡顿。

示例性的，当第二数据包的丢包率小于或等于预设阈值时，可以认为第一数据包的丢包率在预设范围之内，此时，视频数据处理装置在当对第一数据包进行解析后，虽然其会出现数据包丢包，但最终显示屏中显示的花屏面积占据整个显示屏面积的比例在用户可接收范围之内，该第一数据包中的大部分数据能够接收完整，并不影响用户的观看体验，因此，视频数据处理装置将对上述第一数据包进行解码。

进一步的，当视频数据处理装置对上述第一数据包进行解码后，视频数据处理装置的显示屏中将显示目标视频帧的所解码的视频。在实际应用中，显示屏中显示为画面中有轻微花屏。

示例2：结合上述示例1，当视频帧1以及视频帧1前3秒的数据包的丢包率小于预设阈值时，手机将不对视频帧1进行解码，此时，手机显示屏中显示为视频帧1之前的视频帧所产生的静止画面；当视频帧1以及视频帧1前3秒的数据包的丢包率大于预设阈值时，手机将对视频帧1进行解码，此时，显示屏中显示为对视频帧1解码后画面1，在该画面1中有轻微花屏，但并不影响用户观看主要内容。

如此，视频数据处理装置可以结合当前的传输环境确定符合用户观看习惯的视频显示方式，当丢包率过大时，视频数据处理装置放弃对第一数据包的解码，以卡顿画面的形式显示视频界面，从而保持视频界面的干净，提升用户的观看舒适度，而当丢包率较小时，视频数据处理装置对该第一数据包进行显示，从而可以在不影响用户观看舒适度的情况下，最大程度的保证用户持续观看视频实时界面。

可选的，在本申请实施例中，在上述步骤202中，本申请实施例所提供的视频数据处理方法可以包含如下步骤B1和步骤B2，或者，步骤B1和步骤B3：

步骤B1：视频数据处理装置根据上述第二数据包的丢包率确定上述目标视频帧的破损程度。

步骤B2：在上述破损程度满足第一条件的情况下，视频数据处理装置解码上述第一数据包。

步骤B3：在上述破损程度满足第二条件的情况下，视频数据处理装置丢弃上述第一数据包。

示例性的，上述目标视频帧的破损程度，是上述视频数据处理装置对第一数据包进行解码或者不解码时的判断依据。

示例性的，上述目标视频帧的破损程度与第二数据包的丢包率的大小成正比，也即，上述目标视频帧的破损程度可以依据第二数据包的丢包率进行量化。第二数据包的丢包率越大，视频数据处理装置将判定上述目标视频帧的破损程度严重，反之，第二数据包的丢包率越小，视频数据处理装置将判定上述目标视频帧的破损程度轻微。

示例性的，上述第一条件包括目标视频帧的破损程度小于或等于预定破损程度，上述第二条件包括目标视频帧的破损程度大于预定破损程度。

如此，视频数据处理装置可以根据第二数据包的丢包率来判定第一数据包的破损程度，进而确定第一数据包的处理策略，从而可以使得用户得到最佳实时视频传输的观看效果。

可选的，在本申请实施例中，上述第一数据包包括N个数据包。在此基础上，在上述步骤201之后，本申请实施例所提供的视频数据处理方法还可以包括如下步骤C：

步骤C：电子设备在上述N个数据包中的目标数据包的数据包编号不连续的情况下，确定上述目标视频帧为破损帧。

其中，上述目标数据包为上述目标视频帧的结尾数据包，N为正整数。

示例性的，视频数据处理装置在确定上述第一数据包的处理策略之前，需要先行的判断目标视频帧是否接收完毕，若确认接收完毕，才会进一步确定上述目标视频帧为破损帧。

在一种示例中，发送端在发送视频数据之前，封装第一数据包时，已经为第一数据包中的所有数据编写了不同的序号标识，并且标明了结尾数据包和起始数据包。其中，上述序号标识为连续的序号标识。因此，视频数据处理装置仅需要识别结尾数据包即可确认该目标数据帧接收完毕，同时，视频数据处理装置通过上述序号标识的序号是否连续，可以方便地检测是否存在丢包现象，也即，检测该目标数据帧是否为破损帧。

需要说明的是，某些目标视频帧可能会存在丢失结尾数据包的现象，但由于每一帧数据均会封装结尾数据包和起始数据包，因此，即便结尾数据包丢失，电子设备也可以通过识别下一帧起始数据包来分割不同视频帧中的数据包。而在电子设备同时丢失结尾数据包和起始数据包的情况下，其会按照处理之前一个视频帧的处理策略对该目标视频帧进行处理，直至视频数据处理装置能够区分、识别不同到的视频帧数据。

可选的，在本申请实施例中，在视频实时传输过程中，当目标视频帧之前传输数据包的总传输时间小于上述预设时间段时，视频数据处理装置使用预设处理策略对目标视频帧进行解码。

示例性的，当预定时间段为S时，若视频数据处理装置开始传输视频的起始时间T0至当前视频帧的结束数据包的时间T1小于或等于S，则视频数据处理装置会根据预设处理策略对T0至T1的时间段内接收的数据包进行处理。也即，视频数据处理装置可以将T0至T2(其中，T0至T2的时长为S)的时间段内接收到的数据包的处理策略设置为强制解码方式(即上述第一种处理策略)或不解码方式(即上述第二种处理策略)。

示例性的，上述预设处理策略可以为用户自定义的，也可以为电子设备预设的，本申请实施例对此不作限制。

需要说明的是，本申请实施例中，上述各个方法附图所示的消息显示方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时，上述各个方法附图所示的消息显示方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。

需要说明的是，本申请实施例提供的视频数据处理方法，执行主体可以为视频数据处理装置，或者该视频数据处理装置中的用于执行加载视频数据处理方法的控制模块。本申请实施例中以视频数据处理装置执行加载视频数据处理方法为例，说明本申请实施例提供的视频数据处理方法。

图4为实现本申请实施例提供的一种视频数据处理装置的可能的结构示意图，如图4所示，视频数据处理装置600包括：接收模块601和执行模块602，其中：上述接收模块601，用于接收第一数据包，上述第一数据包组成目标视频帧；上述执行模块602，在上述接收模块601接收的上述目标视频帧为破损帧的情况下，用于根据第二数据包的丢包率，确定是否解码上述第一数据包；其中，上述第二数据包是上述电子设备在接收到上述第一数据包之前的预定时间段内接收到的数据包。

可选的，在本申请实施例中，上述执行模块602，具体用于在上述接收模块601接收的上述第二数据包的丢包率大于预设阈值的情况下，用于丢弃上述第一数据包；还具体用于在上述接收模块601接收的上述丢包率小于或等于上述预设阈值的情况下，用于解码上述第一数据包。

可选的，在本申请实施例中，上述执行模块602，具体用于根据第二数据包的丢包率确定上述目标视频帧的破损程度；在上述破损程度满足第一条件的情况下，解码上述第一数据包；在上述破损程度满足第二条件的情况下，丢弃上述第一数据包。

可选的，在本申请实施例中，上述第一数据包包括N个数据包；上述执行模块602，还用于在确定上述N个数据包中的目标数据包的数据包编号不连续的情况下，确定上述目标视频帧为破损帧；其中，上述目标数据包为上述目标视频帧的结尾数据包，N为正整数。

可选的，在本申请实施例中，上述丢包率为丢包数量与第一数量的比值，上述丢包数量为第二数量与上述第一数量的差值，上述第一数量为发送端发送的上述第二数据包对应的第一视频帧的数据包数量，上述第二数量为接收端接收的上述第二数据包对应的第一视频帧的数据包数量。

本申请实施例中的视频数据处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的视频数据处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的视频数据处理装置能够实现图2至图3的方法实施例中视频数据处理装置实现的各个过程，为避免重复，这里不再赘述。

在本申请实施例提供的视频数据处理装置，在接收到第一数据包后，将判定第一数据包中的目标视频帧是否为破损帧，当目标数据包为破损帧时，视频数据处理装置将根据第二数据包的丢包率，选择与视频数据处理装置所处网络环境相匹配的处理方式对第一数据包进行处理，也即，对第一数据包解码或者不对第一数据包进行解码。如此，最终在视频数据处理装置显示屏中播放的视频，能够既保证视频数据处理装置在接收到的第一数据包具备轻微丢包现象时依旧能够正常视频通话，同时还可以避免在第一数据包丢包现象过于严重时，显示效果过差而给用户带来的不舒适体验。例如，数据包丢包较多时，不解析破损帧，避免电子设备的显示屏出现大面积花屏，反之，数据包丢包较少，解码破损帧进行播放，使得电子设备的显示屏仅出现局部花屏。

可选的，本申请实施例还提供一种电子设备，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的程序或指令，该程序或指令被处理器1010执行时实现上述视频数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，射频单元1001，用于接收第一数据包，上述第一数据包组成目标视频帧；上述处理器1010，在上述射频单元1001接收的上述目标视频帧为破损帧的情况下，还用于根据第二数据包的丢包率，确定是否解码上述第一数据包；其中，上述第二数据包是上述电子设备在接收到上述第一数据包之前的预定时间段内接收到的数据包。

可选的，上述处理器1010，具体用于在上述处理器1010接收的上述第二数据包的丢包率大于预设阈值的情况下，丢弃上述第一数据包；还具体用于在上述处理器1010接收的上述丢包率小于或等于上述预设阈值的情况下，用于解码上述第一数据包。

可选的，上述处理器1010，具体用于根据第二数据包的丢包率确定上述目标视频帧的破损程度；在上述处理器1010确定的上述破损程度满足第一条件的情况下，具体用于解码上述第一数据包；在上述处理器1010确定的上述破损程度满足第二条件的情况下，用于丢弃上述第一数据包。

可选的，上述第一数据包包括N个数据包；上述处理器1010，还用于在确定上述N个数据包中的目标数据包的数据包编号的情况下，确定上述目标视频帧为破损帧；其中，上述目标数据包为上述目标视频帧的结尾数据包，N为正整数。

可选的，上述丢包率为丢包数量与第一数量的比值，上述丢包数量为第二数量与上述第一数量的差值，上述第一数量为发送端发送的上述第二数据包对应的第一视频帧的数据包数量，上述第二数量为接收端接收的上述第二数据包对应的第一视频帧的数据包数量。

本申请实施例提供的电子设备，电子设备在接收到第一数据包后，将判定第一数据包中的目标视频帧是否为破损帧，当目标数据包为破损帧时，电子设备将根据第二数据包的丢包率，选择与视频数据处理装置所处网络环境相匹配的处理方式对第一数据包进行处理，也即，对第一数据包解码或者不对第一数据包进行解码。如此，最终在视频数据处理装置显示屏中播放的视频，能够既保证电子设备在接收到的第一数据包具备轻微丢包现象时依旧能够正常视频通话，同时还可以避免在第一数据包丢包现象过于严重时，显示效果过差而给用户带来的不舒适体验。例如，数据包丢包较多时，不解析破损帧，避免电子设备的显示屏出现大面积花屏，反之，数据包丢包较少，解码破损帧进行播放，使得电子设备的显示屏仅出现局部花屏。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视频数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种视频数据处理方法，其特征在于，应用于电子设备，所述方法包括：

接收第一数据包，所述第一数据包组成目标视频帧；

在所述目标视频帧为破损帧的情况下，根据第二数据包的丢包率，确定是否解码所述第一数据包；

其中，所述第二数据包是所述电子设备在接收到所述第一数据包之前的预定时间段内接收到的数据包；所述预定时间段为根据所述目标视频帧在传输过程中所受到的影响因素，从所述电子设备中设定的多个时间段中确定的；不同的时间段对应不同的传输场景，且不同的传输场景对应不同的影响因素。

2.根据权利要求1所述的方法，其特征在于，所述根据第二数据包的丢包率确定是否解码所述第一数据包，包括：

在所述第二数据包的丢包率大于预设阈值的情况下，丢弃所述第一数据包；

在所述第二数据包的所述丢包率小于或等于所述预设阈值的情况下，解码所述第一数据包。

3.根据权利要求1所述的方法，其特征在于，所述根据第二数据包的丢包率确定是否解码所述第一数据包，包括：

根据所述第二数据包的丢包率，确定所述目标视频帧的破损程度；

在所述破损程度满足第一条件的情况下，解码所述第一数据包；

在所述破损程度满足第二条件的情况下，丢弃所述第一数据包。

4.根据权利要求1所述的方法，其特征在于，所述第一数据包包括N个数据包；

所述接收第一数据包之后，所述方法还包括：

在确定所述N个数据包中的目标数据包的数据包编号不连续的情况下，确定所述目标视频帧为破损帧；

其中，所述目标数据包为所述目标视频帧的结尾数据包，N为正整数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述丢包率为丢包数量与第一数量的比值，所述丢包数量为第二数量与所述第一数量的差值，所述第一数量为发送端发送的所述第二数据包对应的第一视频帧的数据包数量，所述第二数量为接收端接收的所述第二数据包对应的第一视频帧的数据包数量。

6.一种视频数据处理装置，其特征在于，应用于电子设备，所述装置包括接收模块和执行模块；

所述接收模块，用于接收第一数据包，所述第一数据包组成目标视频帧；

所述执行模块，在所述接收模块接收的所述目标视频帧为破损帧的情况下，用于根据第二数据包的丢包率，确定是否解码所述第一数据包；

其中，所述第二数据包是所述电子设备在接收到所述第一数据包之前的预定时间段内接收到的数据包；所述预定时间段为根据所述目标视频帧在传输过程中所受到的影响因素，从所述电子设备中设定的多个时间段中确定的；不同的时间段对应不同的传输场景，且不同的传输场景对应不同的影响因素。

7.根据权利要求6所述的装置，其特征在于，所述执行模块，具体用于：

在所述接收模块接收的所述第二数据包的丢包率大于预设阈值的情况下，丢弃所述第一数据包；

在所述接收模块接收的所述第二数据包的所述丢包率小于或等于所述预设阈值的情况下，解码所述第一数据包。

8.根据权利要求6 所述的装置，其特征在于，所述执行模块，具体用于：

根据所述第二数据包的丢包率，确定所述目标视频帧的破损程度；

在所述破损程度满足第一条件的情况下，解码所述第一数据包；

在所述破损程度满足第二条件的情况下，丢弃所述第一数据包。

9.根据权利要求6所述的装置，其特征在于，所述第一数据包包括N个数据包；

所述执行模块，还用于在所述接收模块接收到所述第一数据包之后，在确定所述N个数据包中的目标数据包的数据包编号不连续的情况下，确定所述目标视频帧为破损帧；

其中，所述目标数据包为所述目标视频帧的结尾数据包，N为正整数。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述丢包率为丢包数量与第一数量的比值，所述丢包数量为第二数量与所述第一数量的差值，所述第一数量为发送端发送的所述第二数据包对应的第一视频帧的数据包数量，所述第二数量为接收端接收的所述第二数据包对应的第一视频帧的数据包数量。

11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的视频数据处理方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的视频数据处理方法的步骤。

Images