CN117041669B - 视频流的超分控制方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种视频流的超分控制方法、装置及电子设备，方法包括：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。可见，本申请中通过预测视频流中每一帧的超分耗时，进而基于预测的超分耗时实现超分控制或丢帧，避免超分耗时过长导致的卡顿现象，改善用户对视频流的观看体验。

Description

视频流的超分控制方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频流的超分控制方法、装置及电子设备。

背景技术

播放器在播放视频时，如果视频源不清晰，播放器可以在视频画面解码时进行超分，从而增强画质，这样就可以以低清视频流体验超高清视频的观看效果。

但是播放器进行超分的计算量比较大，一些情况下播放器所在的设备性能无法满足超分处理，导致播放器上出现卡顿的情况。

因此，亟需一种能够有效避免因为视频超分导致的播放卡顿的技术方案。

发明内容

有鉴于此，本申请提供一种视频流的超分控制方法、装置及电子设备，用以解决因为视频超分导致的播放卡顿问题，改善用户的观看体验。

一种视频流的超分控制方法，包括：

获得视频流中的当前帧；

获得所述当前帧的预测超分耗时；

在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；

在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。

上述方法，优选的，获得所述当前帧的预测超分耗时，包括：

获得所述当前帧中的第一区域和第二区域；所述第一区域为所述当前帧中需要执行超分处理的图像区域，所述第二区域为所述当前帧中除所述第一区域之外的其他区域；

根据所述第一区域对应的平均超分速率，获得所述第一区域对应的估计区域超分耗时；所述平均超分速率表征被执行超分处理的区域内单位面积的超分耗时；

根据所述第二区域对应的平均融合速率，获得所述第二区域对应的估计区域融合耗时；所述平均融合速率表征被执行融合处理的区域内单位面积的融合耗时；

将所述第一区域对应的估计区域超分耗时和所述第二区域对应的估计区域融合耗时进行加和，以得到所述当前帧的预测超分耗时。

上述方法，优选的，所述第一区域对应的平均超分速率为所述第一区域所属的图像类型对应的平均超分速率；

其中，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：

获得所述视频流中被执行超分处理的历史帧的实际超分速率；所述历史帧的实际超分速率表征：所述历史帧中对应于所述图像类型的图像区域内单位面积的超分耗时；

按照所述历史帧的数量，对所述实际超分速率进行平均处理，以得到所述图像类型对应的平均超分速率；

或者，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：

使用所述视频流中被执行超分处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中所述图像类型对应的平均超分速率，以得到乘积；

将所述乘积加上所述前一帧中所述图像类型对应的实际超分速率，以得到和值；

将所述和值除以所述视频流中被执行超分处理的历史帧的数量，以得到所述图像类型对应的平均超分速率。

上述方法，优选的，在对所述当前帧执行超分处理之后，所述方法还包括：

获得所述第一区域的实际超分速率，所述第一区域的实际超分速率表征所述第一区域内单位面积的超分耗时；

根据所述第一区域的实际超分速率，对所述第一区域所属的图像类型对应的平均超分速率进行更新。

上述方法，优选的，不同的所述图像类型对应的平均超分速率不同。

上述方法，优选的，所述第二区域对应的平均融合速率通过以下方式获得：

获得所述视频流中被执行融合处理的历史帧的实际融合速率，所述历史帧的实际融合速率表征所述历史帧中被执行融合处理的区域内单位面积的融合耗时；

按照所述历史帧的数量，对所述实际融合速率进行平均处理，以得到第二区域对应的平均融合速率；

或者，所述第二区域对应的平均融合速率通过以下方式获得：

使用所述视频流中被执行融合处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中被执行融合处理的图像区域的平均超分速率，以得到乘积；

将所述乘积加上所述前一帧中被执行融合处理的图像区域的实际超分速率，以得到和值；

将所述和值除以所述视频流中被执行融合处理的历史帧的数量，以得到所述第二区域对应的平均超分速率。

上述方法，优选的，在对所述当前帧执行超分处理之后，所述方法还包括：

获得所述第二区域的实际融合速率，所述第二区域的实际融合速率表征所述第二区域内单位面积的融合耗时；

根据所述第二区域的实际融合速率，对所述第二区域对应的平均融合速率进行更新。

上述方法，优选的，在获得所述当前帧的预测超分耗时之前，还包括：

获得超分控件的当前状态；其中，在所述视频流对应的丢帧率大于或等于丢帧阈值的情况下所述超分控件为关闭状态，在所述视频流对应的丢帧率小于所述丢帧阈值的情况下所述超分控件为开启状态；所述丢帧率表征所述视频流在单位时间内的丢帧数量；

在所述当前状态为开启状态的情况下，执行所述：获得所述当前帧的预测超分耗时。

一种视频流的超分控制装置，包括：

帧获得单元，用于获得视频流中的当前帧；

预测获得单元，用于获得所述当前帧的预测超分耗时；

帧控制单元，用于在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。

一种电子设备，包括：

存储器，用于存储计算机程序以及所述计算机程序运行所产生的数据；

处理器，用于执行所述计算机程序，以实现：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。

从上述技术方案可以看出，本申请公开的一种视频流的超分控制方法、装置及电子设备中，针对视频流中的当前需要播放的每一帧图像均进行超分耗时的预测，由此基于所得到的预测超分耗时确定对当前帧执行超分处理或进行丢帧处理。可见，本申请中通过预测视频流中每一帧的超分耗时，进而基于预测的超分耗时实现超分控制或丢帧，避免超分耗时过长导致的卡顿现象，改善用户对视频流的观看体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种视频流的超分控制方法的流程图；

图2为本申请实施例需要进行超分控制的视频流被播放器解码当前帧的示例图；

图3为本申请实施例一提供的一种视频流的超分控制方法中获得当前帧的预测超分耗时的流程图；

图4为本申请实施例中当前帧的示例图；

图5为本申请实施例一提供的一种视频流的超分控制方法中获得当前帧中每个图像类型对应的平均超分速率的流程图；

图6为本申请实施例一提供的一种视频流的超分控制方法中获得当前帧中每个图像类型对应的平均超分速率的流程图；

图7为本申请实施例一提供的一种视频流的超分控制方法中对第一区域所属的图像类型对应的平均超分速率进行更新的流程图；

图8为本申请实施例一提供的一种视频流的超分控制方法中获得第二区域对应的平均融合速率的流程图；

图9为本申请实施例一提供的一种视频流的超分控制方法中获得第二区域对应的平均融合速率的流程图；

图10为本申请实施例一提供的一种视频流的超分控制方法中对第二区域对应的平均融合速率进行更新的流程图；

图11为本申请实施例一提供的一种视频流的超分控制方法的另一流程图；

图12为本申请实施例二提供的一种视频流的超分控制装置的结构示意图；

图13以及图14分别为本申请实施例二提供的一种视频流的超分控制装置的结构示意图；

图15为本申请实施例三提供的一种电子设备的结构示意图；

图16为本申请适用于综艺节目播放场景中实现超分判断的整体流程图；

图17为本申请适用于综艺节目播放场景中综艺节目视频流的当前帧的示例图；

图18为本申请适用于综艺节目播放场景中当前帧的超分耗时估算流程示意图；

图19为本申请适用于综艺节目播放场景中根据人像显性区域集合和人像显性区域的超分执行总耗时计算人像显性模型统计值g1的流程示意图；

图20为本申请适用于综艺节目播放场景中根据字幕区域集合和字幕区域的超分执行总耗时计算字幕模型统计值g2的流程示意图；

图21为本申请适用于综艺节目播放场景中根据台标logo区域集合和台标logo区域的超分执行总耗时计算台标logo模型统计值g3的流程示意图；

图22为本申请适用于综艺节目播放场景中根据剩余区域和剩余区域的融合执行总耗时计算融合计算统计值g4的流程示意图；

图23为本申请适用于综艺节目播放场景中根据当前帧和当前帧的超分执行总耗时计算总超分实时统计值m的流程示意图；

图24为本申请适用于综艺节目播放场景中根据单次播放的总丢帧数和播放的时长计算丢帧实时统计值d的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

参考图1所示，为本申请实施例一提供的一种视频流的超分控制方法的实现流程图，该方法可以适用于能够进行图像处理的电子设备中，如计算机或服务器等。本实施例中的技术方案主要用于实现超分控制，改善用户对视频流的观看体验。

具体的，本实施例中的方法可以包含如下步骤：

步骤101：获得视频流中的当前帧。

其中，本实施例中在视频流被执行播放的过程中，对每一帧需要输出的图像帧进行获取，将每一帧图像帧作为当前帧，执行本实施例中的控制方案。

例如，如图2中所示，视频流被播放器解码，将每一帧被解码出的图像帧依次作为当前帧执行本实施例中的控制方案。

步骤102：获得当前帧的预测超分耗时。

具体的，本实施例中可以根据视频流中被执行超分处理的历史帧的超分耗时情况来预测当前帧的超分耗时，以得到当前帧的预测超分耗时。

步骤103：判断预测超分耗时是否满足超分条件，在预测超分耗时满足超分条件的情况下，执行步骤104，在预测超分耗时不满足超分条件的情况下，执行步骤105。

步骤104：对当前帧执行超分处理。

其中，在当前帧被执行超分处理之后，经过超分处理后的当前帧被放入渲染队列，在经过渲染等处理后输出。

需要说明的是，步骤104中对当前帧执行超分处理包含：对当前帧中的第一区域进行超分处理，以及，将经过超分的第一区域与第二区域进行融合处理。具体如下：

在第一区域为一个的情况下，对第一区域进行超分，得到超分区域；然后，将超分区域和第二区域进行融合处理，以得到经过超分处理的当前帧。

在第一区域为多个的情况下，依次对每个第一区域分别进行超分，以分别得到每个第一区域对应的超分区域，然后，将所有超分区域和第二区域进行融合处理，以得到经过超分处理的当前帧。

步骤105：对当前帧执行丢帧处理。

需要说明的是，这里的丢帧处理可以理解为：不执行超分处理也不进行渲染等处理，直接丢弃。

在一种实现方式中，超分条件可以为：预测超分耗时小于或等于超分阈值。基于此，在预测超分耗时小于或等于超分阈值的情况下，对当前帧执行超分处理，在预测超分耗时大于超分阈值的情况下，对当前帧执行丢帧处理。

在另一种实现方式中，超分条件可以为：预测超分耗时对应的统计超分耗时小于或等于超分阈值。统计超分耗时为：视频流中在当前帧之前被执行超分处理的历史帧和当前帧的平均超分总耗时。

例如，本实施例中可以将视频流中所有被执行超分处理的历史帧的实际超分总耗时和当前帧的预测超分耗时相加，再除以被执行超分处理的历史帧的数量加1的和值，所得到的商为历史帧和当前帧的平均超分总耗时，即统计超分耗时。

再如，本实施例中可以将视频流中在当前帧对应的平均超分总耗时乘以历史帧的数量，将得到的乘积加上当前帧的预测超分耗时，然后将所得到的和值除以历史帧的数量加1的和值，所得到的商为历史帧和当前帧的平均超分总耗时，即统计超分耗时。

其中，当前帧对应的平均超分总耗时为：当前帧之前被执行超分处理的历史帧的平均超分总耗时，具体为：被执行超分处理的历史帧的的实际超分总耗时的总和除以历史帧的数量所得到的平均值。

需要说明的是，超分阈值与视频流的播放倍速相关。播放倍速越大，超分阈值越小。例如，视频流按照1倍速播放，超分阈值为30ms，如果当前帧的预测超分耗时或预测超分耗时对应的统计超分耗时大于30ms，那么对当前帧丢帧，既不输出也不执行超分处理；如果当前帧的预测超分耗时小于或等于30ms，那么对当前帧执行超分处理，超分处理后的当前帧被放入渲染队列，在经过渲染等处理后输出。

再如，视频流按照2倍速播放，超分阈值为15ms；视频流按照3倍速播放，超分阈值为10ms。

从上述技术方案可以看出，本申请实施例一提供的一种视频流的超分控制方法中，针对视频流中的当前需要播放的每一帧图像均进行超分耗时的预测，由此基于所得到的预测超分耗时确定对当前帧执行超分处理或进行丢帧处理。可见，本申请中通过预测视频流中每一帧的超分耗时，进而基于预测的超分耗时实现超分控制或丢帧，避免超分耗时过长导致的卡顿现象，改善用户对视频流的观看体验。

在一种实现方式中，步骤102中可以通过以下方式获得当前帧的预测超分耗时，如图3中所示：

步骤301：获得当前帧中的第一区域和第二区域；第一区域为当前帧中需要执行超分处理的图像区域，第二区域为当前帧中除第一区域之外的其他区域。

其中，当前帧中可以有一个或多个第一区域，第一区域基于其所包含的图像内容对应于相应的图像类型，如字幕类型、人像类型、图标类型等。第二区域为除这些第一区域之外的其他区域。例如，如图4中所示，当前帧的第一区域包括：字幕所在的图像区域、人像所在的图像区域、台标所在的图像区域和节目logo所在的图像区域，当前帧的第二区域为除这些第一区域之外的其他区域。

在一种实现方式中，本实施例中可以在对视频流进行解码过程中，通过图像识别算法对当前帧中的图像内容进行识别，进而得到第一区域和第二区域。

步骤302：根据第一区域对应的平均超分速率，获得第一区域对应的估计区域超分耗时；平均超分速率表征被执行超分处理的区域内单位面积的超分耗时。

在一实施例中，本实施例中将第一区域对应的平均超分耗时乘以该第一区域的区域面积，以得到第一区域对应的估计区域超分耗时。

需要说明的是，不同的图像类型对应的平均超分速率不同。例如，字幕类型对应的平均超分耗时、人像类型对应的平均超分耗时、图标类型对应的平均超分耗时中至少有两个不相同，甚至每个都不相同。基于此，本实施例中在获得第一区域对应的估计区域超分耗时时，可以按照不同的图像类型，选择第一区域所属的图像类型对应的平均超分耗时乘以该第一区域的区域面积，以得到第一区域对应的估计区域超分耗时。

例如，以图4为例，本实施例中使用人像类型对应的平均超分耗时g1乘以人像所在的图像区域的区域面积s1，以得到人像区域的估计区域超分耗时g1×s1；使用字幕类型对应的平均超分耗时g2乘以字幕所在的图像区域的区域面积s2，以得到字幕区域的估计区域超分耗时g2×s2；使用台标和节目logo对应的平均超分耗时g3乘以台标和节目logo所在的图像区域的区域面积s3，以得到台标和节目logo区域的估计区域超分耗时g3×s3。

步骤303：根据第二区域对应的平均融合速率，获得第二区域对应的估计区域融合耗时；平均融合速率表征被执行融合处理的区域内单位面积的融合耗时。

其中，在一实施例中，本实施例中将第二区域对应的平均融合耗时乘以该第二区域的区域面积，以得到第二区域对应的估计区域融合耗时。

其中，融合处理是指：将第二区域与经过超分处理的第一区域（即超分区域）进行融合。

例如，以图4为例，本实施例中使用剩余区域对应的平均融合耗时g4乘以剩余区域的区域面积s4，以得到剩余区域的估计区域融合耗时g4×s4。

需要说明的是，步骤302和步骤303之间的执行顺序不受附图中所示的执行顺序限制。例如，在其他实施例中也可以先执行步骤303再执行步骤302，或者，也可以同步执行步骤302和步骤303，步骤302和步骤303的执行顺序不同，所形成的不同的技术方案均在本申请的保护范围内。

步骤304：将第一区域对应的估计区域超分耗时和第二区域对应的估计区域融合耗时进行加和，以得到当前帧的预测超分耗时。

例如，以图4为例，将g1×s1、g2×s2、g3×s3、g4×s4相加，得到当前帧的预测超分耗时。

在一种实现方式中，当前帧中每个图像类型对应的平均超分速率通过以下方式获得，如图5中所示：

步骤501：获得视频流中被执行超分处理的历史帧的实际超分速率；历史帧的实际超分速率表征：历史帧中对应于图像类型的图像区域内单位面积的超分耗时。

其中，视频流中被执行超分处理的历史帧的实际超分速率是指：视频流中被执行超分处理的历史帧中对应于图像类型的图像区域的实际超分速率。历史帧的实际超分速率可以通过以下方式获得：使用历史帧中对应于图像类型的图像区域的实际超分耗时，除以历史帧中对应于图像类型的图像区域的区域面积。

例如，视频流中有两帧历史帧中有字幕区域被执行超分处理，每帧历史帧中对应于字幕类型的图像区域的实际超分速率为：历史帧中对应于字幕类型的图像区域的实际超分耗时，除以，历史帧中对应于字幕类型的图像区域的区域面积。

再如，视频流中有三帧历史帧中有人像区域被执行超分处理，每帧历史帧中对应于人像类型的图像区域的实际超分速率为：历史帧中对应于人像类型的图像区域的实际超分耗时，除以，历史帧中对应于人像类型的图像区域的区域面积。

步骤502：按照历史帧的数量，对实际超分速率进行平均处理，以得到图像类型对应的平均超分速率。

例如，视频流中有两帧历史帧中有字幕区域被执行超分处理，那么字幕区域对应的平均超分速率为：所有历史帧中对应于字幕类型的图像区域的实际超分速率除以2所得到的平均值。

再如，视频流中有三帧历史帧中有人像区域被执行超分处理，那么人像区域对应的平均超分速率为：所有历史帧中对应于人像类型的图像区域的实际超分速率除以3所得到的平均值。

在另一种实现方式中，当前帧中图像类型对应的平均超分速率也通过以下方式获得，如图6中所示：

步骤601：使用视频流中被执行超分处理的历史帧的数量减一后的差值，乘以，当前帧的前一帧中图像类型对应的平均超分速率，以得到乘积。

步骤602：将乘积加上前一帧中所述图像类型对应的实际超分速率，以得到和值。

步骤603：将和值除以视频流中被执行超分处理的历史帧的数量，以得到图像类型对应的平均超分速率。

也就是说，本实施例中使用视频流中被执行超分处理的历史帧的数量减一后的差值，乘以，当前帧的前一帧中图像类型对应的平均超分速率，将得到的乘积加上前一帧中图像类型对应的实际超分速率，再将得到的和值除以视频流中被执行超分处理的历史帧的数量，以得到当前帧中图像类型对应的平均超分速率。

其中，当前帧的前一帧中图像类型对应的平均超分速率的获取方式可以参考当前帧中图像类型对应的平均超分速率的获取方式。

例如，以人像类型为例，从视频流中第一帧被执行超分处理的图像帧开始，将第一帧中每个图像类型对应的图像区域对应的实际超分速率作为下一帧相应图像类型对应的平均超分速率；在有第二帧被执行超分处理后，使用每个图像类型对应的平均超分速率乘以1后再加上第二帧上相应图像类型对应的图像区域的实际超分速率，将所得到的和值除以2，得到的商作为下一帧相应图像类型对应的平均超分速率；在有第三帧被执行超分处理后，使用每个图像类型对应的平均超分速率乘以2后再加上第三帧上相应图像类型对应的图像区域的实际超分速率，将所得到的和值除以3，得到的商作为下一帧相应图像类型对应的平均超分速率，以此类推，直到在当前帧的前一帧被执行超分处理后，使用每个图像类型对应的平均超分速率乘以被减一的历史帧的数量后，再加上前一帧上相应图像类型对应的图像区域的实际超分速率，将所得到的和值除以历史帧的数量，得到的商作为当前帧相应图像类型对应的平均超分速率。

进一步的，在步骤103之后，本实施例中还可以对第一区域所属的图像类型对应的平均超分速率进行更新，如图7中所示。

步骤701：获得第一区域的实际超分速率，第一区域的实际超分速率表征第一区域内单位面积的超分耗时。

其中，第一区域的实际超分速率可以用第一区域的实际超分耗时除以第一区域的区域面积得到。

步骤702：根据第一区域的实际超分速率，对第一区域所属的图像类型对应的平均超分速率进行更新。

在一种实现方式中，步骤702可以将第一区域所属的图像类型对应的平均超分速率乘以历史帧的数量后，加上第一区域的实际超分速率，将得到的和值除以历史帧的数量加1的和值，由此得到的商为更新后的第一区域所属的图像类型对应的平均超分速率。

在另一种实现方式中，步骤702中可以将每帧历史帧中第一区域所属的图像类型的图像区域的实际超分速率和第一区域的实际超分速率相加，然后将得到的和值除以历史帧的数量加1的和值，由此得到的商为更新后的第一区域所属的图像类型对应的平均超分速率。

在一种实现方式中，第二区域对应的平均融合速率通过以下方式获得，如图8中所示：

步骤801：获得视频流中被执行融合处理的历史帧的实际融合速率，历史帧的实际融合速率表征历史帧中被执行融合处理的区域内单位面积的融合耗时。

其中，视频流中被执行融合处理的历史帧的实际融合速率是指：视频流中被执行超分处理的历史帧中被执行融合的图像区域的实际融合速率。历史帧的实际融合速率可以通过以下方式获得：使用历史帧中被执行融合处理的图像区域的实际融合耗时，除以历史帧中被执行融合处理的图像区域的区域面积。

步骤802：按照历史帧的数量，对实际融合速率进行平均处理，以得到第二区域对应的平均融合速率。

例如，视频流中有两帧历史帧中有除字幕、人像和图标的剩余区域被执行融合处理，那么剩余区域对应的平均融合速率为：所有历史帧中被执行融合处理的图像区域的实际融合速率除以2所得到的平均值。

在另一种实现方式中，第二区域对应的平均融合速率也通过以下方式获得，如图9中所示：

步骤901：使用视频流中被执行融合处理的历史帧的数量减一后的差值，乘以，当前帧的前一帧中被执行融合处理的图像区域的平均融合速率，以得到乘积。

步骤902：将乘积加上前一帧中被执行融合处理的图像区域的实际融合速率，以得到和值。

步骤903：将和值除以视频流中被执行融合处理的历史帧的数量，以得到第二区域对应的平均融合速率。

也就是说，本实施例中使用视频流中被执行融合处理的历史帧的数量减一后的差值，乘以，当前帧的前一帧中被执行融合处理的图像区域的平均融合速率，将得到的乘积加上前一帧中被执行融合处理器的图像区域的实际融合速率，再将得到的和值除以视频流中被执行融合处理的历史帧的数量，以得到当前帧中第二区域对应的平均融合速率。

其中，当前帧的前一帧中被执行融合处理的图像区域的平均融合速率的获取方式可以参考当前帧中第二区域即被执行融合处理的图像区域的平均融合速率的获取方式。

例如，从视频流中第一帧被执行超分处理的图像帧开始，将第一帧中被执行融合处理的图像区域的实际融合速率作为下一帧中被执行融合处理的图像区域的平均融合速率；在有第二帧被执行超分处理后，使用被执行融合处理的图像区域的平均融合速率乘以1后再加上第二帧上被执行融合处理的图像区域的实际融合速率，将所得到的和值除以2，得到的商作为下一帧中被执行融合处理的图像区域的平均融合速率；在有第三帧被执行超分处理后，使用被执行融合处理的图像区域的平均融合速率乘以2后再加上第三帧上被执行融合处理的图像区域的实际融合速率，将所得到的和值除以3，得到的商作为下一帧被执行融合处理的图像区域的平均融合速率，以此类推，直到在当前帧的前一帧被执行超分处理后，使用被执行融合处理的图像区域的平均融合速率乘以被减一的历史帧的数量后，再加上前一帧上被执行融合处理的图像区域的实际融合速率，将所得到的和值除以历史帧的数量，得到的商作为当前帧中第二区域对应的平均融合速率。

进一步的，在步骤103之后，本实施例中还可以对第二区域对应的平均融合速率进行更新，如图10中所示：

步骤1001：获得第二区域的实际融合速率，第二区域的实际融合速率表征第二区域内单位面积的融合耗时。

其中，第二区域的实际融合速率可以用第二区域的实际融合耗时除以第二区域的区域面积得到。

步骤1002：根据第二区域的实际融合速率，对第二区域对应的平均融合速率进行更新。

在一种实现方式中，步骤1002可以将第二区域对应的平均融合速率乘以历史帧的数量后，加上第二区域的实际融合速率，将得到的和值除以历史帧的数量加1的和值，由此得到的商为更新后的第二区域对应的平均融合速率。

在另一种实现方式中，步骤1002中可以将每帧历史帧中被执行融合处理的图像区域的实际融合速率和第二区域的实际融合速率相加，然后将得到的和值除以历史帧的数量加1的和值，由此得到的商为更新后的第二区域对应的平均融合速率。

需要说明的是，在超分条件为：预测超分耗时对应的统计超分耗时小于或等于超分阈值的情况下，本实施例中在步骤103之后，本实施例中还可以对当前帧对应的平均超分总耗时进行更新。例如，直接将当前帧的预测超分耗时对应的统计超分耗时作为新的平均超分总耗时。

由此，本实施例中在每次执行超分处理后，更新一次平均超分速率、平均融合速率和平均超分总耗时，以便于对下一帧进行超分控制时，可以直接读取这些更新的数据，而无需再次进行复杂计算，以提高超分控制效率。

在一种实现方式中，本实施例中在步骤102获得所述当前帧的预测超分耗时之前，还可以包含如下处理，如图11中所示：

步骤101-1：获得超分控件的当前状态；

其中，在视频流对应的丢帧率大于或等于丢帧阈值的情况下超分控件为关闭状态，在视频流对应的丢帧率小于丢帧阈值的情况下超分控件为开启状态；丢帧率表征视频流在单位时间内的丢帧数量。

需要说明的是，本实施例中的丢帧率通过实时计算得到。具体的，本实施例中在每次处理完视频流中的一帧图像帧之后更新一次丢帧率。

例如，在步骤104或步骤105之后，本实施例中获得视频流的当前播放时长和视频流中被执行丢帧处理的图像帧的丢帧数量，然后将丢帧数量除以当前播放时长，以得到丢帧率。

其中，视频流的播放倍速不同，相应的丢帧阈值不同。例如，在1倍速播放的场景下，丢帧阈值为5帧/秒；2倍速播放的场景下丢帧阈值为30帧/秒，3倍速播放的场景下丢帧阈值为40帧/秒。

步骤101-2：判断当前状态是否为开启状态，在当前状态为开启状态的情况下，执行步骤102，以获得当前帧的预测超分耗时，进而在预测超分耗时满足超分条件的情况下，对当前帧执行超分处理；在预测超分耗时不满足超分条件的情况下，对当前帧执行丢帧处理。

需要说明的是，而在当前状态为关闭状态的情况下，不执行步骤102，此时，可以将当前帧直接放入渲染队列，在经过渲染等处理后输出当前帧，即不进行超分判断以及超分处理，而是直接低清输出。

可见，本实施例中在对当前帧进行超分判断之前，先进行丢帧率判断，如果丢帧率过高，那么对视频流关闭超分功能，避免因为超分处理导致的丢帧过多使得观看效果较差的情况。只有在丢帧率较低的情况下才进行超分判断并在满足超分条件的情况下执行超分处理，以实现高清输出。

需要说明的是，超分控件在视频流被播放器输出之前默认为开启状态，随着视频流的超分输出，超分控件因为丢帧率过高被置为关闭状态。

其中，在超分控件被置为关闭状态之后，可以不再被置为开启状态，丢帧率不再被更新，即：直到视频流播放结束超分控件均为关闭状态。在视频流播放结束之后，到下一个视频流输出之前，超分控件被置为开启状态。

或者，在超分控件被置为关闭状态之后，丢帧率可以继续被更新，进而超分控件可以基于可能降低的丢帧率再次被置为开启状态。直到丢帧率再次升高到丢帧阈值，此时超分控件再次置为关闭状态。

实施例二

参考图12，为本申请实施例二提供的一种视频流的超分控制装置的结构示意图，该装置可以配置在能够进行图像处理的电子设备中，如计算机或服务器等。本实施例中的技术方案主要用于实现超分控制，改善用户对视频流的观看体验。

具体的，本实施例中的装置可以包含如下单元：

帧获得单元1201，用于获得视频流中的当前帧；

预测获得单元1202，用于获得所述当前帧的预测超分耗时；

帧控制单元1203，用于在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。

从上述技术方案可以看出，本申请实施例二提供的一种视频流的超分控制装置中，针对视频流中的当前需要播放的每一帧图像均进行超分耗时的预测，由此基于所得到的预测超分耗时确定对当前帧执行超分处理或进行丢帧处理。可见，本实施例中通过预测视频流中每一帧的超分耗时，进而基于预测的超分耗时实现超分控制或丢帧，避免超分耗时过长导致的卡顿现象，改善用户对视频流的观看体验。

在一种实现方式中，预测获得单元1202具体用于：获得所述当前帧中的第一区域和第二区域；所述第一区域为所述当前帧中需要执行超分处理的图像区域，所述第二区域为所述当前帧中除所述第一区域之外的其他区域；根据所述第一区域对应的平均超分速率，获得所述第一区域对应的估计区域超分耗时；所述平均超分速率表征被执行超分处理的区域内单位面积的超分耗时；根据所述第二区域对应的平均融合速率，获得所述第二区域对应的估计区域融合耗时；所述平均融合速率表征被执行融合处理的区域内单位面积的融合耗时；将所述第一区域对应的估计区域超分耗时和所述第二区域对应的估计区域融合耗时进行加和，以得到所述当前帧的预测超分耗时。

在一种实现方式中，所述第一区域对应的平均超分速率为所述第一区域所属的图像类型对应的平均超分速率；

其中，本实施例中的装置还包括平均速率处理单元1204，如图13中所示：

其中，平均速率处理单元1204通过以下方式获得所述当前帧中每个所述图像类型对应的平均超分速率：获得所述视频流中被执行超分处理的历史帧的实际超分速率；所述历史帧的实际超分速率表征：所述历史帧中对应于所述图像类型的图像区域内单位面积的超分耗时；按照所述历史帧的数量，对所述实际超分速率进行平均处理，以得到所述图像类型对应的平均超分速率；

或者，平均速率处理单元1204通过以下方式获得所述当前帧中每个所述图像类型对应的平均超分速率：使用所述视频流中被执行超分处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中所述图像类型对应的平均超分速率，以得到乘积；将所述乘积加上所述前一帧中所述图像类型对应的实际超分速率，以得到和值；将所述和值除以所述视频流中被执行超分处理的历史帧的数量，以得到所述图像类型对应的平均超分速率。

在一种实现方式中，平均速率处理单元1204，用于：在帧控制单元1203对所述当前帧执行超分处理之后，获得所述第一区域的实际超分速率，所述第一区域的实际超分速率表征所述第一区域内单位面积的超分耗时；根据所述第一区域的实际超分速率，对所述第一区域所属的图像类型对应的平均超分速率进行更新。

其中，不同的所述图像类型对应的平均超分速率不同。

在一种实现方式中，平均速率处理单元1204通过以下方式获得所述第二区域对应的平均融合速率：获得所述视频流中被执行融合处理的历史帧的实际融合速率，所述历史帧的实际融合速率表征所述历史帧中被执行融合处理的区域内单位面积的融合耗时；按照所述历史帧的数量，对所述实际融合速率进行平均处理，以得到第二区域对应的平均融合速率；

或者，平均速率处理单元1204通过以下方式获得所述第二区域对应的平均融合速率：使用所述视频流中被执行融合处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中被执行融合处理的图像区域的平均超分速率，以得到乘积；将所述乘积加上所述前一帧中被执行融合处理的图像区域的实际超分速率，以得到和值；将所述和值除以所述视频流中被执行融合处理的历史帧的数量，以得到所述第二区域对应的平均超分速率。

在一种实现方式中，平均速率处理单元1204，用于：在帧控制单元1203对所述当前帧执行超分处理之后，获得所述第二区域的实际融合速率，所述第二区域的实际融合速率表征所述第二区域内单位面积的融合耗时；根据所述第二区域的实际融合速率，对所述第二区域对应的平均融合速率进行更新。

在一种实现方式中，本实施例中的装置还包括丢帧判断单元1205，如图14中所示：

丢帧判断单元1205，用于：在预测获得单元1202获得所述当前帧的预测超分耗时之前，获得超分控件的当前状态；其中，在所述视频流对应的丢帧率大于或等于丢帧阈值的情况下所述超分控件为关闭状态，在所述视频流对应的丢帧率小于所述丢帧阈值的情况下所述超分控件为开启状态；所述丢帧率表征所述视频流在单位时间内的丢帧数量；在所述当前状态为开启状态的情况下，触发预测获得单元1202，以获得所述当前帧的预测超分耗时。

需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。

实施例三

参考图15，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以包含如下结构：

存储器1501，用于存储计算机程序以及所述计算机程序运行所产生的数据；

处理器1502，用于执行所述计算机程序，以实现：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。

从上述技术方案可以看出，本申请实施例三提供的一种电子设备中，针对视频流中的当前需要播放的每一帧图像均进行超分耗时的预测，由此基于所得到的预测超分耗时确定对当前帧执行超分处理或进行丢帧处理。可见，本实施例中通过预测视频流中每一帧的超分耗时，进而基于预测的超分耗时实现超分控制或丢帧，避免超分耗时过长导致的卡顿现象，改善用户对视频流的观看体验。

以电视台的综艺节目的视频流播放场景为例，以下对本申请的技术方案进行举例说明：

首先，播放器在播放视频时，当用户本地网络较差，或者为了节省流量选择标清、极速清晰度都播放视频，或者视频源本来就不清晰时，播放器就会在视频画面解码出来时进行AI超分进行画质的增强，这样就可以以低清视频流体验超高清视频的观看效果。但是AI超分计算量比较大，即使在分特征区域（人像显性特性，字幕区，台标logo等）进行超分时，还是会在低端机型设备上，或者高倍数播放情况下性能达不到，会出现卡顿及音画不同步的情况。

为了解决这个问题，本申请提出一种动态丢帧机制，通过实时统计各个区域超分和融合的耗时，估算出当前帧的超分执行耗时（即前文中的预测超分耗时），再根据估算出的当前帧的超分执行耗时做判断，进行丢帧或执行超分渲染，然后根据实际超分的数据，反馈各个耗时统计耗时值（即更新平均超分速率和平均融合速率）。同时也可以根据整个超分耗时统计判断出，在丢帧情况下的帧率，当达不到设定值情况下（即丢帧率大于或等于丢帧阈值），中止AI超分功能。

如图16中所示，为本申请中实现超分判断的整体流程图。在视频帧解码获得当前视频帧之后，分为：判断是否开启超分、超分耗时估算、根据估算耗时判断是否超分、执行超分以及反馈更新估算值、进入渲染队列。

需要说明的是，当前帧的最终区域集合由服务端在视频编码时产生，并经过融合算法得到。主要分为三大图像类型：人像显性特性区域、字幕区域、台标logo区域。具体如下：

1、视频帧解码获得当前视频帧：播放器解码服务端下发的视频流，得到连续的视频图片（即图像帧）数据，以及对于图片的特征区间序列集合，并经过融合算法得到待进行超分计算的最终区域集合（即前文中的第一区域和第二区域）。

2、判断是否开启超分：每次启动播放时默认值时开启超分计算，随着视频流的播放，判断不满足超分条件时（主要是性能不足），即每秒丢帧超过丢帧阈值，会反馈关闭超分计算的功能。

3、超分耗时估算：根据最终的特征集合和各个区域统计的参数，估算出当前帧执行超分计算时需要的时间（即前文中的预测超分耗时）。

4、根据估算耗时判断是否超分：根据超分耗时估算计算出来的耗时即前文中的预测超分耗时，判断是否执行超分，如果预测超分耗时超过超分阈值，丢弃当前帧，如果不超过超分阈值，确定执行超分计算。

5、执行超分计算：根据最终区域集合分别进行超分计算，得到超分后的图片，以及各个区域融合计算的实际耗时和总耗时，分别反馈更新各类型的耗时统计值（即平均融合速率和平均超分速率）和总耗时统计值（即平均超分总耗时）。

6、进入渲染队列：将超分计算出来的图像帧，替换当前帧进入渲染队列，进行画面渲染。

具体方案如下：

首先，本实施例中需要实时估算的值有：人像显性模型统计值g1、字幕模型统计值g2、台标logo模型统计值g3、融合计算统计值g4、总超分实时统计值m、丢帧实时统计值d。

其中，g1、g2、g3、g4分别为：各个模型或融合计算的总耗时除以相应的区域面积，单位为ms/s。g1、g2、g3、g4在视频流播放之前默认值为0。m为超分计算总统计耗时（即一帧图像被执行超分的平均总耗时），单位为ms。d为丢帧统计为每秒丢帧的次数，即丢帧率。

结合图17所示的当前帧为例，如图18中所示，为当前帧的超分耗时估算流程示意图，主要分为：人像显性区域模型估算、字幕模型估算、台标logo模型估算、融合计算估算。如下：

1.1根据人像显性区域集合的面积总为s1，然后用面积s1乘以人像显性模型统计值g1，即可得到人像显性区域模型计算（即人像区域超分计算）估算值t1，即前文中的估计区域超分耗时。即公式t1=s1×g1。

1.2根据字幕区域集合的面积总为s2，然后用面积s2乘以字幕模型统计值g2，即可得到字幕区域模型计算（即字幕区域超分计算）估算值t2。即公式t2=s2×g2。

1.3根据台标logo区域集合的面积总为s3，然后用面积s3乘以台标logo模型统计值g3，即可得到台标logo区域模型计算（即台标logo区域超分计算）估算值t3。即公式t3=s3×g3。

1.4剩余区域则进行融合计算，剩余区域面积s4=s-s1-s2-s3（s为图片总面积。其中，s1、s2、s3中可能出现重叠的情况，根据实际视频帧情况这种重叠区域占比较小，所以可以忽略不计），然后用面积s4乘以融合计算统计值g4，即可得到剩余区域融合计算（即剩余区域超分计算）估算值t4。即公式t4=s4×g4。

1.5当前帧超分计算总耗时t=t1+t2+t3+t4。

结合图17所示的当前帧为例，如图19、图20、图21、图22、图23和图24中所示，为超分处理后反馈更新估算值的计算流程示意图，如下：

2.1人像显性模型统计值g1的更新，计算公式为g1=(g1×(n-1)+tn/s1)/n，如图19所示。开始播放时g1初始值为0。n为当前帧在视频流中被执行超分处理的图像帧中的次序。tn当执行超分计算时为当前帧人像显性区域的超分执行总耗时t，当执行丢帧逻辑时不更新g1。

2.2字幕模型统计值g2的更新，计算公式为g2=(g2×(n-1)+tn/s2)/n，如图20所示。开始播放时g2初始值为0。tn当执行超分计算时为当前帧字幕区域的超分执行总耗时t，当执行丢帧逻辑时不更新g2。

2.3台标logo模型统计值g3的更新，计算公式为g3=(g3×(n-1)+tn/s3)/n，如图21所示。开始播放时g3初始值为0。tn当执行超分计算时为当前帧台标logo区域的超分执行总耗时t，当执行丢帧逻辑时不更新g3。

2.4融合计算统计值g4的更新，计算公式为g4=(g4×(n-1)+tn/s4)/n，如图22所示。开始播放时g4初始值为0。tn当执行超分计算时为当前帧融合区域的融合执行总耗时t，当执行丢帧逻辑时不更新g4。

2.5总超分实时统计值m的更新，计算公式为 m = (m×(n-1) +tn)/n，如图23所示，为当前实时超分耗时的平均值。tn的值有两种情况，当执行超分计算时为当前帧超分执行总耗时t，当执行丢帧逻辑时则为0。

2.6丢帧实时统计值d的更新，计算公式为d=count/time，如图24所示，count为单次播放的总丢帧数，time为播放的时长。

以下为超分判断的流程：

（1）是否执行超分的逻辑判断。开启播放是初始化值为true，即表征进行超分判断的逻辑。当丢帧实时统计值d大于阈值时（通常正常为5，2倍速播放的场景下为30，3倍速播放的场景下为40），设为false关闭执行超分逻辑，跳到（2）。

（2）当前帧是否执行超分计算。根据当前帧估算出来的超分计算总耗时t，和总超分实时统计值m计算得到值C，公式为C=(m×(n-1)+t)/n，其中n为当前执行的总次数。判断C与阈值S（1倍速播放时S为30ms，2倍速播放时S为15ms，3倍速播放时S为10ms），若C小于等于S则执行超分计算，跳到（3），若大于阈值则走丢帧逻辑，跳到（4）。

（3）根据当前帧的最终区域集合进行超分计算，得到超分后的图片，以及实际总耗时，以及各个区域超分的效果。然后将超分后的图片替换原图片，丢入渲染队列。同时根据实际产生的耗时更新各个模块统计值。

（4）首先进行丢帧实时统计值d的更新，然后判断d是否大于阈值（1倍速的情况下阈值为5， 2倍速的情况下阈值为30， 3倍速的情况下阈值55），若d大于该阈值则将是否执行超分判断设为false即超分控件处于关闭状态。

可见，本申请的技术方案在如下几点做出改进：

一、通过统计超分区域各个分类（即图像类型）的计算统计时间和融合计算时间，估算当前帧超分计算时间，做出判断丢弃该帧或执行超分进行渲染，同时反馈更新统计值。在超分和渲染超时的情况下，动态丢帧减少在低端设备视频实时超分卡顿及音画不同步。

二、通过统计计算超分耗时，当超过最大阈值时（在丢帧情况下视频帧率达不到20帧情况下，正常视频帧率为25帧）自动停用超分功能。

三、在倍数播放情况下，根据不同播放倍速设置不用的阈值，动态选择适当丢帧，保证倍数播放下因性能不够导致卡顿及音画不同步的情况。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (8)

1.一种视频流的超分控制方法，其特征在于，包括：

获得视频流中的当前帧；

获得所述当前帧的预测超分耗时；

在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；

在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理；

其中，获得所述当前帧的预测超分耗时，包括：

获得所述当前帧中的第一区域和第二区域；所述第一区域为所述当前帧中需要执行超分处理的图像区域，所述第二区域为所述当前帧中除所述第一区域之外的其他区域；所述第一区域基于其所包含的图像内容对应于相应的图像类型；

根据所述第一区域对应的平均超分速率，获得所述第一区域对应的估计区域超分耗时；所述平均超分速率表征被执行超分处理的区域内单位面积的超分耗时；

根据所述第二区域对应的平均融合速率，获得所述第二区域对应的估计区域融合耗时；所述平均融合速率表征被执行融合处理的区域内单位面积的融合耗时；

将所述第一区域对应的估计区域超分耗时和所述第二区域对应的估计区域融合耗时进行加和，以得到所述当前帧的预测超分耗时；

其中，在获得所述当前帧的预测超分耗时之前，还包括：

获得超分控件的当前状态；其中，在所述视频流对应的丢帧率大于或等于丢帧阈值的情况下所述超分控件为关闭状态，在所述视频流对应的丢帧率小于所述丢帧阈值的情况下所述超分控件为开启状态；所述丢帧率表征所述视频流在单位时间内的丢帧数量；

在所述当前状态为开启状态的情况下，执行所述：获得所述当前帧的预测超分耗时；

其中，所述视频流的播放倍速不同，相应的所述丢帧阈值不同。

2.根据权利要求1所述的方法，其特征在于，所述第一区域对应的平均超分速率为所述第一区域所属的图像类型对应的平均超分速率；

其中，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：

获得所述视频流中被执行超分处理的历史帧的实际超分速率；所述历史帧的实际超分速率表征：所述历史帧中对应于所述图像类型的图像区域内单位面积的超分耗时；

按照所述历史帧的数量，对所述实际超分速率进行平均处理，以得到所述图像类型对应的平均超分速率；

或者，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：

使用所述视频流中被执行超分处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中所述图像类型对应的平均超分速率，以得到乘积；

将所述乘积加上所述前一帧中所述图像类型对应的实际超分速率，以得到和值；

将所述和值除以所述视频流中被执行超分处理的历史帧的数量，以得到所述图像类型对应的平均超分速率。

3.根据权利要求2所述的方法，其特征在于，在对所述当前帧执行超分处理之后，所述方法还包括：

获得所述第一区域的实际超分速率，所述第一区域的实际超分速率表征所述第一区域内单位面积的超分耗时；

根据所述第一区域的实际超分速率，对所述第一区域所属的图像类型对应的平均超分速率进行更新。

4.根据权利要求2所述的方法，其特征在于，不同的所述图像类型对应的平均超分速率不同。

5.根据权利要求1所述的方法，其特征在于，所述第二区域对应的平均融合速率通过以下方式获得：

获得所述视频流中被执行融合处理的历史帧的实际融合速率，所述历史帧的实际融合速率表征所述历史帧中被执行融合处理的区域内单位面积的融合耗时；

按照所述历史帧的数量，对所述实际融合速率进行平均处理，以得到第二区域对应的平均融合速率；

或者，所述第二区域对应的平均融合速率通过以下方式获得：

使用所述视频流中被执行融合处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中被执行融合处理的图像区域的平均超分速率，以得到乘积；

将所述乘积加上所述前一帧中被执行融合处理的图像区域的实际超分速率，以得到和值；

将所述和值除以所述视频流中被执行融合处理的历史帧的数量，以得到所述第二区域对应的平均超分速率。

6.根据权利要求1或5所述的方法，其特征在于，在对所述当前帧执行超分处理之后，所述方法还包括：

获得所述第二区域的实际融合速率，所述第二区域的实际融合速率表征所述第二区域内单位面积的融合耗时；

根据所述第二区域的实际融合速率，对所述第二区域对应的平均融合速率进行更新。

7.一种视频流的超分控制装置，其特征在于，包括：

帧获得单元，用于获得视频流中的当前帧；

预测获得单元，用于获得所述当前帧的预测超分耗时；

帧控制单元，用于在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理；

其中，预测获得单元用于：获得所述当前帧中的第一区域和第二区域；所述第一区域为所述当前帧中需要执行超分处理的图像区域，所述第二区域为所述当前帧中除所述第一区域之外的其他区域；所述第一区域基于其所包含的图像内容对应于相应的图像类型；根据所述第一区域对应的平均超分速率，获得所述第一区域对应的估计区域超分耗时；所述平均超分速率表征被执行超分处理的区域内单位面积的超分耗时；根据所述第二区域对应的平均融合速率，获得所述第二区域对应的估计区域融合耗时；所述平均融合速率表征被执行融合处理的区域内单位面积的融合耗时；将所述第一区域对应的估计区域超分耗时和所述第二区域对应的估计区域融合耗时进行加和，以得到所述当前帧的预测超分耗时；

丢帧判断单元，用于在所述预测获得单元获得所述当前帧的预测超分耗时之前，获得超分控件的当前状态；其中，在所述视频流对应的丢帧率大于或等于丢帧阈值的情况下所述超分控件为关闭状态，在所述视频流对应的丢帧率小于所述丢帧阈值的情况下所述超分控件为开启状态；所述丢帧率表征所述视频流在单位时间内的丢帧数量；在所述当前状态为开启状态的情况下，触发所述预测获得单元；

其中，所述视频流的播放倍速不同，相应的所述丢帧阈值不同。

8.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序以及所述计算机程序运行所产生的数据；

处理器，用于执行所述计算机程序，以实现：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理；

其中，获得所述当前帧的预测超分耗时，包括：

获得所述当前帧中的第一区域和第二区域；所述第一区域为所述当前帧中需要执行超分处理的图像区域，所述第二区域为所述当前帧中除所述第一区域之外的其他区域；所述第一区域基于其所包含的图像内容对应于相应的图像类型；

根据所述第一区域对应的平均超分速率，获得所述第一区域对应的估计区域超分耗时；所述平均超分速率表征被执行超分处理的区域内单位面积的超分耗时；

根据所述第二区域对应的平均融合速率，获得所述第二区域对应的估计区域融合耗时；所述平均融合速率表征被执行融合处理的区域内单位面积的融合耗时；

将所述第一区域对应的估计区域超分耗时和所述第二区域对应的估计区域融合耗时进行加和，以得到所述当前帧的预测超分耗时；

其中，在获得所述当前帧的预测超分耗时之前，还包括：

获得超分控件的当前状态；其中，在所述视频流对应的丢帧率大于或等于丢帧阈值的情况下所述超分控件为关闭状态，在所述视频流对应的丢帧率小于所述丢帧阈值的情况下所述超分控件为开启状态；所述丢帧率表征所述视频流在单位时间内的丢帧数量；

在所述当前状态为开启状态的情况下，执行所述：获得所述当前帧的预测超分耗时；

其中，所述视频流的播放倍速不同，相应的所述丢帧阈值不同。