CN116055778B - 视频数据的处理方法、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供了一种视频数据的处理方法、电子设备及存储介质。视频数据的处理方法包括：解码视频流得到第一视频数据；控制显示屏显示第二视频数据，若第一视频数据中图像的分辨率小于第一阈值，且电子设备的温度小于第二阈值，第二视频数据中图像的分辨率大于第一视频数据中图像的分辨率。因此：执行视频业务时，显示屏显示第二视频数据，由于第一视频数据中图像的分辨率小于第一阈值，且设备温度小于第二阈值，第二视频数据中图像的分辨率大于第一视频数据中图像的分辨率，因此，在第一视频数据中图像的分辨率较低时，显示屏显示的第二视频数据中图像的分辨率高，实现了电子设备执行视频业务时，显示屏显示的视频数据清晰度较高。

Description

视频数据的处理方法、电子设备及可读存储介质

技术领域

本申请涉及多媒体技术领域，尤其涉及一种视频数据的处理方法、电子设备及计算机可读存储介质。

背景技术

电子设备的视频业务种类越来越多，例如播放长视频、短视频，进行视频通话或者直播等。电子设备执行视频业务时，需要对本地或网络侧的视频数据进行解码操作，得到YUV格式的视频数据，再进行播放。

然而，电子设备解码得到的YUV格式的视频数据在显示屏的播放效果，受限于电子设备的网络质量、电子设备的解码质量等。若电子设备的网络质量差，会导致YUV格式的视频数据的分辨率低，观感模糊。若电子设备的解码过程存在信息丢失的问题，会导致YUV格式的视频出现块状模糊。

发明内容

本申请提供了一种视频数据的处理方法、电子设备、计算机程序产品及计算机可读存储介质，目的在于实现电子设备执行视频业务时，显示屏显示的视频数据清晰度较高。

为了实现上述目的，本申请提供了以下技术方案：

第一方面，本申请提供了一种应用于电子设备的视频数据的处理方法，该电子设备包括显示屏和解码器，视频数据的处理方法包括：响应于视频业务的启动指令，获取视频流，其中，视频业务包括播放视频、执行视频通话或直播；利用解码器解码视频流，得到第一视频数据；控制显示屏显示第二视频数据，其中，第二视频数据由第一视频数据得到，若第一视频数据中图像的分辨率小于第一阈值，且电子设备的温度小于第二阈值，第二视频数据中图像的分辨率大于第一视频数据中图像的分辨率。

由上述内容可以看出：电子设备响应于视频业务的启动指令以执行视频业务时，利用解码器解码视频流，得到第一视频数据，并控制显示屏显示第二视频数据，由于第一视频数据中图像的分辨率小于第一阈值，且电子设备的温度小于第二阈值，第二视频数据中图像的分辨率大于第一视频数据中图像的分辨率，因此，在解码器解码出的第一视频数据中图像的分辨率较低时，可以控制显示屏显示的第二视频数据中图像的分辨率高，实现了电子设备执行视频业务时，显示屏显示的视频数据清晰度较高。

在一个可能的实施方式中，第二视频数据中图像的分辨率大于第一视频数据中图像的分辨率的现实方式包括：放大第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据；放大第一视频数据中图像的UV通道数据的分辨率，得到放大分辨率之后的UV通道数据；合成放大分辨率之后的Y通道数据和放大分辨率之后的UV通道数据，得到第二视频数据中图像的图像数据。

在一个可能的实施方式中，放大第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据，包括：调用超分模型，处理第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据，其中，超分模型用于将输入图像的分辨率放大n倍，得到输出图像，n为大于2的整数。

在一个可能的实施方式中，放大第一视频数据中图像的UV通道数据的分辨率，得到放大分辨率之后的UV通道数据，包括：采用插值法处理第一视频数据中图像的UV通道数据，得到放大分辨率之后的UV通道数据。

在本可能的实施方式中，采用插值法处理第一视频数据中图像的UV通道数据，可以避免第一视频数据中图像均采用超分模型来处理带来的功耗较高的问题。

在一个可能的实施方式中，视频数据的处理方法还包括：若第一视频数据中图像的分辨率不小于第一阈值，或者电子设备的温度不小于第二阈值，第二视频数据中图像的分辨率与第一视频数据中图像的分辨率相同。

在一个可能的实施方式中，调用超分模型，处理第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据之前，视频数据的处理方法还包括：确定第一视频数据中图像的Y通道数据的分辨率是否符合超分模型的分辨率要求；若第一视频数据中图像的Y通道数据的分辨率不符合超分模型的分辨率要求，处理第一视频数据中图像的Y通道数据的分辨率，其中，处理后的图像中的Y通道数据的分辨率符合超分模型的分辨率要求；其中，调用超分模型，处理第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据，包括：调用超分模型，处理经分辨率处理后的第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据。

在本可能的实施方式中，若第一视频数据中图像的Y通道数据的分辨率不符合超分模型的分辨率要求，处理第一视频数据中图像的Y通道数据的分辨率，可以保证超分模型可以处理不同分辨率的Y通道数据。

在一个可能的实施方式中，超分模型支持的分辨率包括多个，处理第一视频数据中图像的Y通道数据的分辨率之前，视频数据的处理方法还包括：在超分模型支持的多个分辨率中，确定第一视频数据中图像对应的目标分辨率，目标分辨率大于第一视频数据中图像的分辨率，且与第一视频数据中图像的分辨率最接近，处理后的图像中的Y通道数据的分辨率符合目标分辨率的要求。

在一个可能的实施方式中，处理第一视频数据中图像的Y通道数据的分辨率，包括：放大第一视频数据中图像的Y通道数据的分辨率，放大后的图像的Y通道数据的分辨率与超分模型要求的分辨率相同。

在一个可能的实施方式中，视频数据的处理方法还包括：从放大分辨率之后的Y通道数据，截取出第一Y通道数据，第一Y通道数据的分辨率为第一视频数据中图像的Y通道数据的分辨率的n倍，n为超分模型放大输入图像的倍数；其中，合成放大分辨率之后的Y通道数据和放大分辨率之后的UV通道数据，得到第二视频数据中图像的图像数据，包括：合成第一Y通道数据和放大分辨率之后的UV通道数据，得到第二视频数据中图像的图像数据。

在一个可能的实施方式中，电子设备的温度小于第二阈值的判断方式包括：获取电子设备的至少一个温度传感器检测的温度值；利用温度传感器检测的温度值中的任意一个，或温度传感器检测的温度值的平均值，确定电子设备的温度小于第二阈值。

在一个可能的实施方式中，控制显示屏显示第二视频数据过程中，还包括：

控制显示屏在第二视频数据的显示界面显示第一对话框，第一对话框包括用于提示用户提升视频数据的分辨率的文字。

第二方面，本申请提供了一种电子设备，包括：一个或多个处理器、存储器，解码器，显示屏；存储器、解码器、显示屏与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，电子设备执行如第一方面任意一项的视频数据的处理方法。

第三方面，本申请提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序被电子设备执行时，使得电子设备实现如第一方面任意一项的视频数据的处理方法。

第四方面，本申请提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任意一项的视频数据的处理方法。

附图说明

图1为本申请实施例提供的电子设备播放视频的应用场景；

图2为本申请实施例提供的电子设备播放视频的应用场景；

图3为本申请实施例提供的电子设备进行视频通话的应用场景；

图4为本申请实施例提供的电子设备进行视频通话的应用场景；

图5为本申请实施例提供的电子设备的硬件结构图；

图6为本申请实施例提供的电子设备的软件架构图；

图7为本申请实施例提供的一种电子设备进行界面弹窗提醒的图形用户界面的示意图；

图8为本申请实施例提供的电子设备执行视频播放的整体流程的展示图；

图9为本申请实施例提供的视频数据的处理方法的信令图；

图10至图14为输入到超分模型的图像的尺寸与超分模型要求的尺寸不匹配时的一种处理流程的示意图；

图15为本申请实施例提供的视频数据的处理方法的另一信令图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

电子设备执行播放长视频、短视频，视频通话或者直播等视频业务时，电子设备对接收的视频数据进行解码操作，得到YUV格式的视频数据。电子设备解码得到的YUV格式的视频数据在显示屏的播放效果，受限于电子设备的网络质量、电子设备的解码质量等。若电子设备的网络质量差，会导致YUV格式的视频数据的分辨率低，观感模糊。若电子设备的解码过程存在信息丢失的问题，会导致YUV格式的视频出现块状模糊。

基于此，本申请实施例提供的视频数据的处理方法，以保证电子设备播放的长、短视频，视频通话、直播时的视频清晰度较高。

图1展示了一种电子设备播放视频的应用场景。图1展示的应用场景中，电子设备以手机进行示例性展示。图1中(a)所示的手机播放时长为56秒的视频。手机的网络质量不佳，传输码流较低，手机显示的图像的分辨率低，用户观感模糊。电子设备利用本申请实施例提供的视频数据的处理方法处理该56秒的视频，电子设备播放处理后的视频，可如图1中(b)所示，视频的图像清晰。

图2展示了一种电子设备播放视频的应用场景。同样，图2展示的应用场景中，电子设备以手机进行示例性展示。图2中(a)所示的手机播放播放时长为56秒的视频。手机的解码器的解码过程出现信息丢失的问题，手机播放的视频画面出现块状模糊的问题。电子设备利用本申请实施例提供的视频数据的处理方法处理该56秒的视频，电子设备播放处理后的视频，可如图2中(b)所示，视频的图像清晰。

图3展示了一种电子设备进行视频通话的应用场景。图3展示的应用场景中，电子设备以手机进行示例性的展示。图3中(a)所示，因手机的网络质量不佳，传输码流较低，手机显示的画面分辨率低，用户观感模糊。电子设备利用本申请实施例提供的视频数据的处理方法处理视频通话中的视频数据，电子设备显示的处理后的视频数据，可如图3中(b)所示，视频通话中的画面清晰。

图4展示了一种电子设备进行视频通话的应用场景。同样，图4展示的应用场景中，电子设备以手机进行示例性展示。图4中(a)所示，手机的解码器的解码过程出现信息丢失的问题，手机显示的画面出现块状模糊的问题。电子设备利用本申请实施例提供的视频数据的处理方法处理视频通话中的视频数据，电子设备显示的处理后的视频数据，可如图4中(b)所示，视频通话中的画面清晰。

前述提出的电子设备，不限于图1至图4展示的手机。电子设备还可以是平板电脑，桌面型、膝上型、笔记本电脑，超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)，手持计算机，上网本，个人数字助理(Personal Digital Assistant，PDA)，可穿戴电子设备和智能手表等。

以手机为例，图5为本申请实施例提供的一种电子设备的组成示例。电子设备100可以包括处理器110，内部存储器120，摄像头130，显示屏140，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170以及传感器模块180等。

可以理解的是，本实施例示意的结构并不构成对该电子设备的具体限定。在另一些实施例中，该电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

内部存储器120可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器120的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。

一些实施例中，内部存储器120存储电子设备执行的视频数据的处理方法的指令。处理器110可以通过执行存储在内部存储器120中的指令，实现对视频数据的处理，保证视频播放时的高清晰度。

电子设备100可以通过ISP，摄像头130，视频编解码器，GPU，显示屏140以及应用处理器等实现拍摄功能。

ISP用于处理摄像头130反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头130中。

摄像头130用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头130，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG1等。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

电子设备100可以通过音频模块170，扬声器170A，麦克风170C以及应用处理器等实现音频功能。例如视频播放，音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association ofthe USA，CTIA)标准接口。

传感器模块180中，压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏140。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏140，电子设备根据压力传感器180A检测触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

触摸传感器180B，也称“触控器件”。触摸传感器180B可以设置于显示屏140，由触摸传感器180B与显示屏140组成触摸屏，也称“触控屏”。触摸传感器180B用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏140提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180B也可以设置于电子设备的表面，与显示屏140所处的位置不同。

温度传感器180C用于检测温度。在一些实施例中，电子设备利用温度传感器180C检测的温度，执行温度处理策略。例如，当温度传感器180C上报的温度小于阈值，电子设备执行本申请实施例提供的视频数据的处理方法。

一些实施例中，电子设备100可以包括1个或N个温度传感器180C，N为大于1的正整数。N个温度传感器180C可设置于电子设备的不同位置，以采集不同位置的温度。

一些实施例中，电子设备可利用N个温度传感器180C中的任意一个温度传感器180C上报的温度小于阈值，电子设备执行本申请实施例提供的视频数据的处理方法。另一些实施例中，电子设备可利用N个温度传感器180C上报的温度的平均值小于阈值，电子设备执行本申请实施例提供的视频数据的处理方法。

电子设备通过GPU，显示屏140，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏140和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏140用于显示图像，视频等。显示屏140包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。

一些实施例中，电子设备利用显示屏140显示长、短视频，显示视频通话或者直播的视频数据。

另外，在上述部件之上，电子设备运行有操作系统。例如操作系统，/>操作系统，/>操作系统等。在操作系统上可以安装运行应用程序。

图6是本申请实施例提出的电子设备的软件结构示意图。

分层架构将电子设备的操作系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，电子设备的操作系统为Android系统。Android系统可以分为五层，从上至下分别为应用程序(application，APP)层、应用程序框架层(简称为FWK)、系统库、硬件抽象层(HAL)以及内核层。

应用程序层可以包括一系列应用程序包。如图6所示，应用程序包可以包括相机，日历，地图，视频，视频通话等应用程序。

其中，视频通话是指支持视频通话的应用程序，可指代常见的支持视频通话的应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。如图6所示，应用程序框架层可以包括窗口管理器，内容提供器，电话管理器，资源管理器，通知管理器和视图系统等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。在本申请一些实施例中，应用冷启动会在Android runtime中运行，Androidruntime由此获取到应用的优化文件状态参数，进而Androidruntime可以通过优化文件状态参数判断优化文件是否因系统升级而导致过时，并将判断结果返回给应用管控模块。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，三维图形处理库(例如：OpenGL ES)，以及二维图形引擎(例如：SGL)，媒体库等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。三维图形处理库用于实现三维图形绘图，图像渲染、合成和图层处理等。二维图形引擎是2D绘图的绘图引擎。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

一些实施例中，媒体库包括：媒体编解码器(MediaCodec)。媒体编解码器用于获取电子设备的温度传感器检测的温度值，并将温度传感器检测的温度值与一个阈值进行比较，以确定温度传感器检测的温度值是否小于该阈值。

硬件抽象层(HAL)是位于操作系统内核与硬件电路之间的接口层，其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节，为操作系统提供虚拟硬件平台，使其具有硬件无关性，可在多种平台上进行移植。

一些实施例中，硬件抽象层包括视频解码后处理模块。该视频解码后处理模块可理解成是解码器对应在硬件抽象层的软件模块中的功能模块。视频解码后处理模块用于获取电子设备的解码器解码得到的视频数据，并将视频数据的分辨率与一个阈值进行比对，以确定视频数据对应的图像，是否为低清图像。在确定视频数据的分辨率低于阈值时，视频解码后处理模块则控制NPU和CPU运行，以处理解码器解码的视频数据，提升视频数据的分辨率。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，传感器驱动等。一些实施例中，显示驱动用于控制显示屏显示图像；摄像头驱动用于控制摄像头运行。传感器驱动用于控制多个传感器运行，如控制压力传感器，触摸传感器以及温度传感器运行。

硬件层可包括前述提出的电子设备硬件部件。示例性的，图6展示了显示屏、CPU、NPU和解码器。其中，CPU(central processing unit，中央处理器)可以理解成处理器中的执行部件，AP属于CPU的主要运行部件。

需要说明的是，本申请实施例虽然以系统为例进行说明，但是其基本原理同样适用于基于/>等操作系统的电子设备。

为了便于理解，本申请以下实施例将以具有图5所示结构的电子设备为例，对本申请实施例提供的视频数据的处理方法进行具体阐述。

首先需要说明的是，前述提出的电子设备，设置有超分模型，超分模型具有处理低清图像处理成高清图像功能。一些实施例中，高清图像和低清图像是相对来说，高清图像的分辨率要大于低清图像的分辨率。示例性的，高清图像可以理解成分辨率不低于720*1280的图像。因此，低清图像可以理解成分辨率低于720*1280的图像。

超分模型可采用卷积神经网络(Convolutional Neural Network，CNN)等基础神经网络模型。

卷积神经网络通常包括：输入层、卷积层(Convolution Layer)、池化层(Poolinglayer)、全连接层(Fully Connected Layer，FC)和输出层。一般来说，卷积神经网络的第一层是输入层，最后一层是输出层。

卷积层(Convolution Layer)是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。

池化层(Pooling layer)，通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。

全连接层(Fully-Connected layer),把所有局部特征结合变成全局特征，用来计算最后每一类的得分。

超分模型可采用下述方式进行训练：

1、构建原始模型。其中，原始模型可选择CNN等基础网络模型。

2、获取多对训练样本，一对训练样本包括：低清图像和高清图像。其中，每一对训练样本中的低清图像由高清图像被退化方法处理得到。通常情况下，多对训练样本中的高清图像的分辨率均相同，并且，低清图像的分辨率也相同。

一些实施例中，退化方法可包括：双线性、三线性、最近邻等下采样(或称为降采样)方法。采用下采样方法处理高清图像，可将高清图像缩小，得到分辨率低的图像，即低清图像。

下采样的原理可以理解成：对于一幅图像的尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的图像，当然s是M和N的公约数。

双线性指代双线性内插法，其原理为：利用待求像素的四个邻像素的灰度在两个方向上作线性内插。

三线性指代三次内插法，其原理为：待求像素(x,y)的灰度值由其周围16个灰度值加权内插得到。

最近邻指代最邻近元法，其原理为：在待求像素的四邻像素中，将距离待求像素最近的邻像素灰度赋给待求像素。

另一些实施例中，采用下采样方法处理高清图像之后，还可通过对图像添加噪声的方法，在处理后的图像中添加噪声。示例性的，可对处理后的图像添加高斯噪声或/和椒盐噪声等随机噪声。

假设图像可以看作为一个函数，因此，在图像中添加噪声，就可以看作在原始图像函数累加噪声函数。

对处理后的图像添加椒盐噪声，可以理解成通过随机获取图像的像素点，并设置该像素点为高亮度点和低灰度点。对处理后的图像添加高斯噪声，可以理解成针对图像的每个像素低，均添加高斯噪声。

另一些实施例中，采用下采样方法处理高清图像之后，还可通过对图像添加噪声的方法，在处理后的图像中添加噪声。再之后，利用jpeg图片压缩方法处理添加噪声之后的图像。

采用jpeg图片压缩方法处理添加噪声之后的图像，图像则会因jpeg图片压缩方法，损失掉部分图像数据，对图像则会带来块状模糊的问题。基于此，利用jpeg图片压缩方法处理后的图像进行模型训练，可以训练后的模型具备将因图像信息丢失导致出现块状模糊的图像，被处理成去除块状模糊，整体清晰度较高的图像。

一些实施例中，利用jpeg图片压缩方法处理添加噪声之后的图像的流程可包括下述几个环节：

RGB格式转YCbCr格式；

将图片分割成8×8像素块；

像素值经过DCT变换变成DCT系数；

DCT系数经过量化变成量化后DCT系数；

DCT系数分为AC系数和DC系数，分别进行编码；

对AC系数和DC系数编码后再进行哈夫曼编码。

其中，每个环节的具体方式可参见常规技术，此处不再展开说明。

3、将训练样本输入到原始模型，由原始模型处理每一对训练样本中低清图像，得到理论高清图像。

4、利用损失函数对每一对训练样本的高清图像和原始模型得到的理论高清图像进行损失值的计算，得到模型的损失值。

一些实施例中，可采用交叉熵损失函数、加权损失函数等损失函数进行损失值计算，或者采用多种损失函数组合的方式，计算多种损失值。

5、判断模型的损失值是否符合模型的收敛条件。

若模型的损失值符合模型的收敛条件，则说明模型训练结束。训练结束的模型则可用于下述实施例提出的视频数据的处理方法，对输入到模型的低清图像处理成高清图像。

若模型的损失值不符合模型的收敛条件，则根据模型的损失值计算得到模型的参数更新值，并以模型的参数更新值，更新原始模型。并利用更新后的模型，继续对训练样本进行处理，得到理论高清图像，并继续执行后续过程，直至模型的损失值符合模型的收敛条件。

一些实施例中，模型收敛条件可以是，模型的损失值小于或等于预先设定的损失阈值。也就是说，可以将模型的损失值和损失阈值进行比较，若模型的损失值大于损失阈值，则可以判断出模型的损失值不符合模型收敛条件，反之，若模型的损失值小于或等于损失阈值，则可以判断出模型损失值符合模型收敛条件。

一些实施例中，多对训练样本，可以针对每一对训练样本计算得到对应的模型的损失值。这种情况下，只有在每一对训练样本的模型损失值均符合模型收敛条件的情况下才会执行，反之，只要有一对训练样本的模型损失值不符合模型收敛条件，则执行后续步骤。

还需要说明的是，前述提出的电子设备还可设置超分开关。超分开关开启之后，电子设备可采用本申请下述实施例提供的视频数据的处理方法，处理电子设备的解码器解码出的视频数据，保证视频数据中的图像为高清图像。超分开关被关闭之后，电子设备的解码器解码的视频数据，可直接通过电子设备的显示屏进行显示。

一些实施例中，电子设备可根据电子设备的温度自动开启和关闭超分开关。通常情况下，超分开关对用户不可见，即用户无法通过设置等应用程序查找到超分开关的控件。当然，超分开关也可设置为对用户可见。示例性的，设置应用程序可包括超分开关的控件。用户可通过对超分开关的控件的操作，实现开启或关闭超分开关。

超分开关被开启之后，可对用户进行界面提醒。

示例性的，图7是本申请实施例提供的一种超分开关被开启，电子设备进行界面弹窗提醒的图形用户界面(graphical user interface，GUI)的示意图。

参见图7中(a)，手机的显示屏显示56视频的一帧图像。参见图7中(b)，手机的显示屏显示视频通话的画面。

手机获取温度传感器检测的温度值，利用该温度值，判断出手机的温度低于一定值，电子设备则开启超分开关。

一些实施例中，手机可将多个温度传感器检测得到的温度值中的随机一个温度值，和阈值进行比对，确定该温度值低于阈值，如此，则判断出手机的温度低于一定值。

另一些实施例中，手机也可将多个温度传感器检测得到的温度值的平均值和阈值进行比对，确定该平均温度值低于阈值，如此，则判断出手机的温度低于一定值。

手机开启超分开关之后，手机的显示屏可弹出对话框，该对话框包括提醒用户超分开关开启所带来的功能。示例性的，如图7中(a)和(b)所示，对话框包括文字“已为您智能提升视频清晰度”。

当然，手机的显示屏显示的对话框的位置、形状、以及尺寸也不受限于图7中(a)和(b)所示。并且，对话框可采用覆盖显示屏当前显示的图像的方式进行弹窗显示。

图8展示了手机等电子设备执行视频播放的整体流程。

如图8所示，手机等电子设备可播放本地视频或播放视频服务器发送的视频数据。视频服务器可以理解成支持视频业务的服务器，包括可向用户提供视频的视频播放器，以及可支持直播业务或视频通话业务的社交软件等。

手机等电子设备的解码器接收本地视频的视频数据，或接收视频服务器发送的视频数据。解码器接收的视频数据也可以称为视频数据流。解码器对接收的视频数据进行解码处理，得到YUV格式的视频数据。

其中，YUV格式，也可称为YCbCr格式，Y是指亮度分量，即图像的灰度值，Cb指图像的蓝色色度分量，而Cr指图像的红色色度分量。

手机等电子设备判断YUV格式的视频数据的分辨率是否低于阈值。若电子设备判断UV格式的视频数据的分辨率不低于阈值，则电子设备对YUV格式的视频数据不作处理，直接通过电子设备的显示屏进行显示。示例性的，阈值可为720*1280，但并不限制于此。

其中，电子设备判断YUV格式的视频数据的分辨率是否低于阈值，可以理解成电子设备判断YUV格式的视频数据中的图像的分辨率是否低于阈值。

电子设备还获取温度传感器检测的温度值，判断电子设备的温度值是否低于阈值。若电子设备的温度值不低于阈值，则电子设备对YUV格式的视频数据不作处理，直接通过电子设备的显示屏进行显示。示例性的，阈值可以为37°，但并不限制于此。

若电子设备的YUV格式的视频数据的分辨率低于阈值，且电子设备的温度低于阈值，则对YUV格式的视频数据中的Y通道数据，通过超分模型进行n倍超分处理，同时，对YUV格式的视频数据中的UV通道数据进行插值法的n倍超分。电子设备可得到n倍超分视频数据，再通过电子设备的显示屏显示n倍超分视频数据。

一些实施例中，n倍超分可以指代为2倍超分，即超分处理后的视频数据中的图像的分辨率为原始图像的分辨率的2倍。当然，n倍超分并不限制于2倍超分，n可以理解成为大于1的整数。

图9展示了本申请实施例提供的一种视频数据的处理方法的信令图。图9以视频通话应用为示例，对视频数据的处理方法进行介绍。当然，电子设备的其他支持视频业务的应用程序也可实现本申请实施例提供的视频数据的处理方法。

参见图9，本申请实施例提供的一种视频数据的处理方法，包括下述步骤：

S701、视频通话应用获取视频数据。

如前述电子设备的软件框架的内容，视频通话是指支持视频通话的应用程序。本地用户可利用视频通话应用与对端用户进行视频通话。

本地用户与对端用户进行视频通话时，本地用户的电子设备的视频通话应用接收视频通话服务器发送的网络视频流，该网络视频流被称为视频数据。

S702、视频通话应用通过媒体编解码器调用解码器运行。

视频通话应用接收到视频数据之后，需要对视频数据进行解码处理。因此，视频通话应用通过媒体编解码器调用电子设备的解码器运行，以对视频数据进行解码处理。

一些实施例中，视频通话应用通过应用程序框架层提供的接口，向媒体编解码器发送指令，以控制媒体编解码器调用解码器运行。当然，媒体编解码器也可采用向解码器发送控制指令的方式，调用解码器运行。

S703、解码器解码视频数据，得到YUV格式的视频数据。

解码器运行，可获取视频数据，并对其进行解码处理，得到YUV格式的视频数据。

其中，YUV格式的视频数据，可以理解成视频数据中的图像帧为YUV格式。

解码器解码得到YUV格式的视频数据之后，可将YUV格式的视频数据上传到视频通话应用。

S704、视频解码后处理模块判断YUV格式的视频数据的分辨率是否低于第一阈值。

如前述电子设备的软件框架的内容，视频解码后处理模块设置于硬件抽象层。解码器解码出的YUV格式的视频数据之后，视频解码后处理模块会判断YUV格式的视频数据中的每一帧图像的分辨率是否低于第一阈值。示例性的，第一阈值可为720*1280，当然并不限制于此。

其中，视频解码后处理模块判断YUV格式的视频数据的一帧图像的分辨率不低于第一阈值，则电子设备执行步骤S707至步骤S709。

视频解码后处理模块判断YUV格式的视频数据的一帧图像的分辨率低于第一阈值，则电子设备结合步骤S706的判断结果，来执行步骤S710至步骤S717。

S705、媒体编解码器获取温度传感器检测的温度值。

如前述电子设备的软件框架的内容，媒体编解码器设置于系统库的媒体库。同样，如前述电子设备的结构的内容，电子设备可设置多个温度传感器。温度传感器检测的温度值，可传输到媒体编解码器，媒体编解码器接收温度传感器的温度值。

S706、媒体编解码器判断温度值是否小于第二阈值。

媒体编解码器接收到温度传感器检测的温度值，媒体编解码器可选择一个温度值，将其与第二阈值进行比对，也可计算各个温度传感器检测的温度值的平均值，将平均值与第二阈值进行比对。示例性的，第二阈值可为37°，当然并不限于此。

其中，媒体编解码器判断温度值不小于第二阈值，则电子设备执行步骤S707至步骤S709。媒体编解码器判断温度值小于第二阈值，且前述步骤S704的执行结果是：视频解码后处理模块判断YUV格式的视频数据的分辨率低于第一阈值，则执行步骤S710至步骤S717。

需要说明的是，步骤S704，与步骤S705和步骤S706这两个步骤，可以理解成是并行运行，或先执行步骤S704，后执行步骤S705和步骤S706这两个步骤，或先执行步骤S705和步骤S706这两个步骤，后执行步骤S704。图9并未限制步骤S704，与步骤S705和步骤S706这两个步骤的执行顺序。

S707、向视频通话应用发送通知消息以通知视频通话应用控制显示屏显示YUV格式的视频数据。

其中，媒体编解码器判断温度值不小于第二阈值，媒体编解码器向视频通话应用发送通知消息以通知视频通话应用控制显示屏显示YUV格式的视频数据。

视频解码后处理模块判断YUV格式的视频数据的一帧图像的分辨率不低于第一阈值，媒体编解码器向视频通话应用发送通知消息以通知视频通话应用控制显示屏显示YUV格式的视频数据。

需要说明的是，一些实施例中，步骤S707可以是选择性执行的步骤。在一些实施例中，步骤S707可不执行。即解码器在判断出温度值不小于第二阈值时，可不向视频通话应用发送通知消息。并且，视频解码后处理模块判断YUV格式的视频数据的分辨率不低于第一阈值时，视频解码后处理模块也可不向视频通话应用发送通知消息。

S708、视频通话应用控制显示屏显示YUV格式的视频数据。

视频通话应用接收到通知消息之后，可控制显示屏显示YUV格式的视频数据。

在一些实施例中，视频通话应用可向显示驱动发送控制指令，以控制显示驱动控制显示屏显示YUV格式的视频数据。该控制指令可以包括YUV格式的视频数据。

视频通话应用可接收解码器上报的YUV格式的视频数据。视频通话接收到解码器上报的YUV格式的视频数据，可通过显示驱动向显示屏发送YUV格式的视频数据，因此，若步骤S707不执行时，视频通话应用可向显示屏发送YUV格式的视频数据的方式，控制显示屏显示YUV格式的视频数据。

S709、显示屏显示YUV格式的视频数据。

显示屏响应于视频通话应用的控制，显示YUV格式的视频数据。

S710、视频解码后处理模块发送控制指令以控制NPU运行。

如前述电子设备结构的内容，NPU为神经网络处理器，其运行时可调用超分模型处理YUV格式的视频数据。

S711、视频解码后处理模块发送控制指令以控制CPU运行。

如前述电子设备的软件框架的内容，CPU运行时可处理YUV格式的视频数据。

其中，图9展示了步骤S710和步骤S711的一种执行顺序，但步骤S710和步骤S711并不限制于图9所示。一些实施例中，步骤S710和步骤S711可并行处理，或先执行步骤S711再执行步骤S710。

S712、NPU调用超分模型处理Y通道数据，得到超分处理后的Y通道数据。

超分模型配置于电子设备中，其构建过程可如前述内容。

示例性的，超分模型用于将输入图像处理成输出图像，输出图像的分辨率为输入图像的分辨率的2倍。

本步骤中，Y通道数据为YUV格式的视频数据中图像的Y通道数据。该Y通道数据也可以理解成图像，属于灰度图像。并且，受限于步骤S704的判断结果，NPU调用超分模型处理YUV格式的视频数据中图像的Y通道数据是指：分辨率小于第一阈值的YUV视频数据中的图像的Y通道数据。

续接示例，NPU得到的超分处理后的Y通道数据的分辨率，为输入到超分模型的YUV格式的视频数据中图像的Y通道数据的2倍。

NPU调用超分模型仅处理YUV格式的视频数据中的Y通道数据，而不处于YUV格式的视频数据，可以降低超分模型的运行功耗。

S713、CPU采用插值法处理UV通道数据，得到超分处理后的UV通道数据。

UV通道数据是YUV格式的视频数据中的UV通道数据，UV通道数据也可以理解成图像。同样，受限于步骤S704的判断结果，NPU调用超分模型处理YUV格式的视频数据中图像的UV通道数据是指：分辨率小于第一阈值的YUV视频数据中的图像的UV通道数据。

示例性的，超分处理后的UV通道数据的分辨率，为输入到超分模型的YUV格式的视频数据中图像的UV通道数据的2倍。

一些实施例中，插值法包括双线性、三线性、最近邻等上采样方法。

采用上采样方法处理UV通道数据，可以理解成将UV通道数据指示的图像放大。即在UV通道数据指示的图像的像素点之间插入新的元素。

需要说明的是，CPU执行步骤S713，NPU执行步骤S712，可以是并行执行，也可以CPU先执行步骤S713，NPU再执行步骤S712，不限制于图9所示。

S714、CPU组合超分处理后的UV通道数据和超分处理后的Y通道数据，得到超分视频数据。

CPU获取超分处理后的Y通道数据，组合超分处理后的Y通道数据和超分处理后的UV通道数据，得到超分视频数据。其中，CPU组合超分处理后的Y通道数据和超分处理后的UV通道数据，可以理解成将超分处理后的Y通道数据和超分处理后的UV通道数据，组合YUV格式的视频数据。

需要说明的是，步骤S704，与步骤S705和步骤S706这两个步骤，可以理解成是并行运行，或先执行步骤S704，后执行步骤S705和步骤S706这两个步骤，或先执行步骤S705和步骤S706这两个步骤，后执行步骤S704。图9并未限制步骤S704，与步骤S705和步骤S706这两个步骤的执行顺序。

由前述步骤S704、步骤S705、以及步骤S710至步骤S714的内容可以看出：电子设备判断出温度传感器的温度小于第二阈值，且判断出YUV格式的视频数据中的一帧图像的分辨率低于第一阈值。针对YUV格式的视频数据中属于分辨率低于第一阈值的图像，电子设备调用超分模型处理该图像的Y通道数据，得到超分处理后的Y通道数据。并且，电子设备采用插值法处理UV通道数据，得到超分处理后的UV通道数据。再之后，电子设备组合超分处理后的Y通道数据和超分处理后的UV通道数据，得到超分图像。

S715、CPU通过解码器向视频通话应用发送超分视频数据。

CPU组合得到超分视频数据之后，可向解码器发送超分视频数据，并由解码器向视频通话应用发送该超分视频数据。

其中，CPU通过解码器向视频通话应用发送超分视频数据，可以理解成CPU将YUV格式的视频数据中的图像，经步骤S712至步骤S714之后得到的超分视频数据(也可理解为超分图像)，通过解码器向视频通话应用发送。

S716、视频通话应用控制显示屏显示超分视频数据。

视频通话应用接收到超分视频数据之后，向可控制显示屏显示超分视频数据。其中，视频通话应用可向显示驱动发送控制指令，以控制显示驱动控制显示屏显示超分视频数据。当然，视频通话应用也可通过显示驱动向显示屏发送超分视频数据，以控制显示屏显示超分视频数据。

S717、显示屏显示超分视频数据。

显示屏响应于视频通话应用的控制，显示超分视频数据。

本实施例中，视频解码后处理模块判断YUV格式的视频数据中的图像的分辨率小于第一阈值，电子设备可通过步骤S712至步骤S714处理该图像，因超分模型可处理低清图像为高清图像，并且，插值法处理图像可以放大图像，如此可以保证步骤S714得到的超分视频数据对应的图像的分辨率高于原始图像的分辨率。进一步的，电子设备的显示屏显示的视频通话的画面为清晰画面，避免出现画面模糊和画面块状模糊的问题。

电子设备执行步骤S712和步骤S714之前，需要确定温度传感器检测的温度值小于第二阈值，可以避免电子设备的温度较高时，再执行步骤S712至步骤S714，进一步提升电子设备的温度，以影响电子设备的元器件的寿命。另外，还可以避免电子设备的温度被提升，影响用户对电子设备的使用体验。

由前述超分模型的构建过程的内容可知：超分模型仅针对一种或几种固定尺寸的图像，可以将其处理成高清图像，通常处理成n倍分辨率的图像。如此，超分模型仅能处理有限种类的分辨率的图像。示例性的，超分模型能够处理的图像的分辨率包括：640*320、480*240以及320*160。

但是，电子设备实际执行视频业务时，其播放的长、短视频中的图像，直播的视频中的图像或者视频通话中的图像，其尺寸可能多样的，即分辨率是多样的，可能并不属于超分模型能处理的图像的分辨率范围。如此，电子设备则需要将输入到超分模型的图像进行尺寸处理，将输入图像处理成符合超分模型的图像分辨率要求的图像。

以下内容以超分模型按照2倍放大图像分辨率的方式处理输入图像得到输出图像为例进行介绍。

图10和图11绘示了输入到超分模型的图像的尺寸与超分模型要求的尺寸不匹配时的一种处理流程。

如图10和图11所示，超分模型的输入图像尺寸小于超分模型要求的图像尺寸。当然，超分模型的输入图像是指：电子设备的解码器解码出的YUV格式的视频数据中的图像，属于要输入到超分模型的图像。

如前所述的示例，超分模型能够处理的图像的分辨率包括640*320、480*240以及320*160。因此，图10和图11展示的超分模型的输入图像的分辨率小于320*160。

电子设备将超分模型的输入图像进行尺寸处理，将输入图像处理成符合超分模型的图像分辨率要求的图像可以理解成：电子设备对超分模型的输入图像进行周围像素点的像素值填充，使得填充像素值后的图像的分辨率满足超分模型的分辨率要求。图10和图11中的填充后的图像可以理解成为分辨率不小于320*160，即为320*160、480*240或者640*320。示例性的，电子设备可以设置图像的周围像素点的像素值为0，当然并不限制于此。

超分模型处理填充后的图像，可得到输出图像。电子设备再从超分模型的输出图像中截取出超分图像。电子设备按照超分模型的输入图像的分辨率，确定从超分模型的输出图像中截图图像的分辨率，并按照确定的分辨率从超分模型的输出图像中截图，得到超分图像。因超分模型按照2倍放大图像分辨率的方式处理输入图像得到输出图像，因此，电子设备将超分模型的输入图像的2倍分辨率作为截图图像的分辨率。

需要说明的是，图10和图11分别展示了电子设备对图像的周围像素点填充像素值的两种方式。对应的，图10和图11也分别展示了从超分模型的输出图像中截取出超分图像的两种方式。

如图10所示，电子设备确定输入图像的A、B、C和D四条边的所有边缘像素点，采用对图像的边缘像素点的相邻像素点填充像素值的方式，不断放大图像的尺寸，直到图像的尺寸放大到超分模型要求的分辨率。对应的，电子设备利用超分模型得到输出图像之后，电子设备在超分模型的输出图像的中间区域截图超分图像。

如图11所示，电子设备确定输入图像的两个相邻边缘的像素点。示例性的，电子设备确定输入图像的A边和B边的所有边缘像素点。电子设备采用将两个相邻边缘的像素点的相邻像素点填充像素值的方式，不断放大图像的尺寸，直到图像的尺寸放大到超分模型要求的分辨率。对应的，电子设备利用超分模型得到输出图像之后，电子设备在超分模型的输出图像截取图像时，沿着输出图像的C边和D边截取图像，当然截取的图像为超分图像，其分辨率为输入图像的分辨率的2倍。

图12绘示了输入到超分模型的图像的尺寸与超分模型要求的尺寸不匹配时的另一种处理流程。

如图12所示，超分模型的输入图像的宽满足超分模型的分辨率要求，但输入图像的长不满足超分模型的分辨率要求。因此，电子设备需要确定满足超分模型的分辨率要求的边，如图12所示的边A。电子设备采用填充输入图像的A边的所有边缘像素点的填充像素值的方式，不断放大图像的尺寸，直到图像的尺寸放大到超分模型要求的分辨率。对应的，电子设备利用超分模型得到输出图像之后，电子设备从输出图像中截取的超分图像的宽与输出图像相同，超分图像的长为输入图像的长的2倍。

由图10至图11可以看出：超分模型的输入图像的分辨率小于超分模型要求的分辨率包括：超分模型的输入图像的长和宽，均小于超分模型要求的分辨率指示的长和宽；超分模型的输入图像的长等于超分模型要求的分辨率指示的长，但超分模型的输入图像的宽，小于超分模型要求的分辨率指示的长；以及超分模型的输入图像的宽等于超分模型要求的分辨率指示的宽，但超分模型的输入图像的长，小于超分模型要求的分辨率指示的长。

并且，在超分模型的输入图像，小于超分模型要求的分辨率时，需要放大输入图像到超分模型要求的分辨率。

实际应用中，电子设备会针对超分模型要求的分辨率，配置该分辨率的内存空间(称呼为第一内存空间)，该空间用于保存输入到超分模型、且由超分模型处理的图像，即用于保存输入图像的图像数据。电子设备的解码器解码出的YUV格式的视频数据中的图像，因分辨率小于超分模型要求的分辨率，因此将输入图像的图像数据保存到电子设备配置的第一内存空间之后，第一内存空间并没有被全部占用，因此，需要将未被占用的内存空间填充数值，示例性的，可以填充0。

如此，可以实现将超分模型的输入图像，放大到超分模型要求的分辨率。

可以理解的是：输入图像的图像数据占用电子设备配置的第一内存空间之后，第一内存空间未被占用的空间，基本位于输入图像的图像数据占用的内存空间之后。也就是说，电子设备被配置的第一内存空间，先写入输入图像的图像数据，在输入图像的图像数据被写完之后，再写入0或其他数值。

超分模型处理放大后的输入图像之后，可得到输出图像。超分模型的处理操作可以理解成放大图像的分辨率，如放大两倍。因超分模型的输入图像经放大之后再输入到超分模型，因此电子设备还需要从超分模型的输出图像进行裁剪，得到超分模型的输入图像对应的超分图像。

由于电子设备还配置有用于保存超分模型的输出图像的内存空间(称呼为第二内存空间)。因此，电子设备从超分模型的输出图像裁剪出超分图像的方式可以为：

电子设备将超分模型的输出图像的图像数据存储于第二内存空间。电子设备按照2倍放大超分模型的输入图像的分辨率的方式，确定2倍放大分辨率之后的图像的图像数据在超分模型的第二内存空间的区域，并截取出该区域保存的图像数据，截取得到的图像数据则为超分图像的图像数据。

图13绘示了输入到超分模型的图像的尺寸与超分模型要求的尺寸不匹配时的另一种处理流程。

图13展示的示例中，超分模型的输入图像的长大于超分模型要求的分辨率指示的图像的长，输入图像的宽与超分模型要求分辨率指示的图像的宽相等。

电子设备对输入图像执行图像切割操作，从图像中切割出超分模型要求的分辨率对应的图像。并且，在对输入图像进行图像切割操作时，切割出的图像数量一般为多个，且要求切割出的图像的组合图像要包含被切割图像的全部像素点。图13所示的示例中，电子设备分别切割出第一图像(由图13展示的输入图像内的虚线框来指示)和第二图像(由图13展示的输入图像内的虚线框来指示)。第一图像和第二图像的组合图像，要包含输入图像的全部像素点。

切割出的第一图像和第二图像，会作为超分模型的输入图像，由超分模型对其进行分辨率放大，得到分辨率被放大2倍的输出图像。图13展示的示例中，第一图像输入到超分模型之后，得到超分模型的输出图像1，第二图像输入到超分模型之后，得到超分模型的输出图像2。

如前述内容，电子设备配置的第一内存空间用于保存满足超分模型的分辨率要求的超分模型的输入图像的图像数据。但图13展示的示例中，超分模型的输入图像的分辨率大于超分模型的分辨率要求，因此需要对超分模型的输入图像进行裁剪，该裁剪的方式可以为：

电子设备按照第一内存空间的要求，从超分模型的输入图像中截取图像数据，以保证截图的图像数据能够占满第一内存空间。

若两个超分模型的分辨率指示的图像组合后的长，等于超分模型的输入图像的长，且两个超分模型的分辨率指示的图像组合后的宽，等于超分模型的输入图像的宽，从超分模型的输入图像截取图像数据要保证每次截取的图像数据不包含重复的图像数据。

若两个超分模型的分辨率指示的图像组合后的长，大于超分模型的输入图像的长，两个超分模型的分辨率指示的图像组合后的宽，等于超分模型的输入图像的宽；或者，若两个超分模型的分辨率指示的图像组合后的宽，大于超分模型的输入图像的宽，且两个超分模型的分辨率指示的图像组合后的长，等于超分模型的输入图像的长；从超分模型的输入图像截取图像数据包含重复的图像数据。

当然，也可以采用将超分模型的输入图像的图像数据写入第一内存空间，直到第一内存空间被占满的方式，实现对超分模型的输入图像的图像数据的截取。由于超分模型的输入图像的分辨率大于超分模型的分辨率要求，因此，超分模型的输入图像不能被一次完全写入第一内存空间，如此可以理解成对输入图像进行了裁剪。

并且，还需要保证将超分模型的输入图像的图像数据写入第一内存空间时，采用连续读取图像数据、将其写入第一内存空间的方式。即保证下一次开始读取输入图像的图像数据的位置，紧邻上一次被读取、且写入第一内存空间的图像数据的位置。

电子设备对超分模型的多个输出图像进行拼接组合操作，得到超分图像。该超分图像的分辨率应为超分模型的输入图像的分辨率的2倍。

需要说明的是，若电子设备切割出的多个图像具备公共区域，电子设备拼接超分模型的输出图像时，需要在超分模型的输出图像中去除公共区域，仅保证超分模型的一张输出图像具备与其他输出图像的公共区域，再组合得到超分图像。

图13展示的示例中，输入图像可被切割出第一图像和第二图像，且第一图像和第二图像有公共区域。输入图像的中线也可将输入图像分割为左半边区域和右半边区域，第一图像比左半边区域多出阴影区域11，同理，第二图像比右半边区域多出阴影区域12。阴影区域11被超分模型进行分辨率放大之后为阴影区域21，阴影区域12被超分模型进行分辨率放大之后为阴影区域22。电子设备在超模模型的输出图像1中去除阴影区域21，且在超分模型的输出图像2中去除阴影区域22，再将去除阴影区域21的输出图像1和去除阴影区域22的输出图像2进行组合，即可得到超分图像。该超分图像的分辨率即为输入图像的分辨率的2倍。

结合图13的示例可以看出：在本申请的一些实施例中，电子设备在超分模型的输出图像中去除公共区域，仅保证超分模型的一张输出图像具备与其他输出图像的公共区域的实施方式可以为：

电子设备按照输入图像被切割出的图像的数量，对输入图像进行对应数量的均分，得到多个分区。电子设备针对切割出的每一个图像，在输入图像中确定其对应的分区，其中，切割出的一个图像对应的分区与该图像的图像信息的相似度较高。

电子设备确定切割出的每一个图像与该图像所对应的分区的差异区域，即切割出的每一个图像比其对应的分区多出的区域，也可以理解成切割出的每一个图像包含、但该图像对应的分区所不包含的区域。

电子设备在切割出的每一个图像对应的超分模型的输出图像中，定位出差异区域的对应区域。其中，因超分模型对输入图像的分辨率进行2倍放大，因此，差异区域的分辨率也被2倍放大，电子设备可利用2倍分辨率指示的图像尺寸，在每一个图像对应的超分模型的输出图像中定位差异区域的对应区域。

电子设备在切割出的每一个图像对应的超分模型的输出图像中，去除差异区域的对应区域，并将切割出的每一个图像对应的超分模型的输出图像执行去除操作之后的剩余区域进行组合拼接，得到超分图像。

当然，该组合拼接的顺序符合输入图像被切割出的多个图像的排列顺序。

需要说明的是，如前述内容，超分模型的输出图像，也会被保存于第二内存空间。

电子设备可按照等分切割输入图像的方式切割图像，将每一个切割出图像分辨率进行2倍放大之后的图像，确定其在第二内存空间的占用区域。在第二内存空间截取确定好的占用区域的图像数据，作为待组合拼接的图像。在电子设备切割出的每一个图像，电子设备均采用该方法，得到其对应的待组合拼接的图像之后，将全部的待组合拼接的图像进行组合拼接，得到超分图像。

图14绘示了输入到超分模型的图像的尺寸与超分模型要求的尺寸不匹配时的另一种处理流程。

图14展示的示例中，超分模型的输入图像的长大于超分模型要求的分辨率指示的图像的长，但输入图像的宽小于超分模型要求分辨率指示的图像的宽。因此，需要先对输入图像进行周围像素点的像素值填充，再从填充像素值之后的图像中截取出满足超分模型的图像分辨率要求的图像，输入到超分模型。

其中，电子设备先将输入图像按照超分模型要求的分辨率进行像素点的像素值填充，使得填充像素值之后的图像的分辨率与超分模型要求的分辨率相同。图14展示的示例中，因输入图像的宽小于超分模型要求的分辨率指示的图像的宽，因此需要将输入图像的宽拉长，即采用对输入图像的一条长边(可以是输入图像上面的长边，也可以是输入图像下面的长边，图14以输入图像下面的长边为例展示)的边缘像素点的相邻像素点填充像素值的方式，不断拉长输入图像的宽，直到输入图像的宽与超分模型要求的分辨率指示的图像的宽相同。

电子设备对像素值填充后的输入图像执行图像切割操作，从图像中切割出超分模型要求的分辨率对应的图像。并且，在对像素值填充后的输入图像进行图像切割操作时，切割出的图像数量一般也为多个，且要求切割出的图像的组合图像要包含被切割图像的全部像素点。图14所示的示例中，像素值填充后的输入图像被切割出第一图像和第二图像。第一图像和第二图像的组合图像，要包含像素值填充之后的输入图像的全部像素点。

切割出的第一图像和第二图像，会作为超分模型的输入图像，由超分模型对其进行分辨率放大，得到分辨率被放大2倍的输出图像。图14展示的示例中，第一图像输入到超分模型之后，得到超分模型的输出图像1，第二图像输入到超分模型之后，得到超分模型的输出图像2。

电子设备从超分模型的输出图像进行截取，截取出图像。当然，截取出的图像的分辨率为第一图像或第二图像未包含被填充像素值的图像的分辨率的2倍。电子设备对超分模型的多个输出图像的截取图像进行拼接组合操作，得到超分图像。该超分图像的分辨率应为超分模型的输入图像的分辨率的2倍。

与图13对应的内容相同，若电子设备切割出的多个图像具备公共区域，电子设备拼接超分模型的输出图像的截取图像时，需要在超分模型的输出图像的截取图像中去除公共区域，仅保证超分模型的一张输出图像的截取图像具备与其他图像的公共区域，再组合得到超分图像。

图14展示的示例中，像素值填充后的输入图像可被切割出第一图像和第二图像，且第一图像和第二图像有公共区域。像素值填充后的输入图像的中线，也可将像素值填充后的输入图像分割为左半边区域和右半边区域，第一图像比左半边区域多出阴影区域11，同理，第二图像比右半边区域多出阴影区域12。阴影区域11被超分模型进行分辨率放大之后为阴影区域21，阴影区域12被超分模型进行分辨率放大之后为阴影区域22。电子设备在超模模型的输出图像1中的截取图像1中去除阴影区域21，且在超分模型的输出图像2中的截取图像2中去除阴影区域22，再将去除阴影区域21的截取图像1和去除阴影区域22的截取图像2进行组合，即可得到超分图像。该超分图像的分辨率即为输入图像的分辨率的2倍。

在实际应用中，针对超分模型的输入图像，若两个超分模型的分辨率指示的图像组合后的长，大于超分模型的输入图像的长，且两个超分模型的分辨率指示的图像组合后的宽，大于超分模型的输入图像的宽。电子设备按照截取超分模型的输入图像的一半图像数据，写入第一内存空间，并在第一内存空间未被占满的区域填充数值的方式，例如0，得到两个填充数值之后的图像，再将其输入到超分模型。

针对输入到超分模型的两个图像，超分模型分别得到两个输出图像，并保存于两个第二内存空间。电子设备从第二内存空间保存的图像数据中，截取出输入图像的一半图像经2倍放大分辨率的图像对应的图像数据，作为超分图像的图像数据。

若两个超分模型的分辨率指示的图像组合后的宽，小于超分模型的输入图像的宽，或者两个超分模型的分辨率指示的图像组合后的长，小于超分模型的输入图像的长。电子设备可以对输入图像进行三等分，截取出三分之一的图像数据，写入第一内存空间，并第一内存空间未被占满的区域填充数值的方式，例如0。

同理，对超分模型的输出图像进行截取时，电子设备从第二内存空间保存的图像数据中，截取出输入图像的三分之一的图像经2倍放大分辨率的图像对应的图像数据。

图15展示了本申请另一实施例提供的一种视频数据的处理方法的信令图。

参见图15，本申请另一实施例提供的一种视频数据的处理方法，包括下述步骤：

S801、视频通话应用获取视频数据。

步骤S801的具体实现过程，可参见前述实施例中步骤S701的内容，此处不再赘述。

S802、视频通话应用通过媒体编解码器调用解码器运行。

步骤S802的具体实现过程，可参见前述实施例中步骤S702的内容，此处不再赘述。

S803、解码器解码视频数据，得到YUV格式的视频数据。

步骤S803的具体实现过程，可参见前述实施例中步骤S703的内容，此处不再赘述。

S804、视频解码后处理模块判断YUV格式的视频数据的分辨率是否低于第一阈值。

步骤S804的具体实现过程，可参见前述实施例中步骤S704的内容，此处不再赘述。

其中，视频解码后处理模块判断YUV格式的视频数据的一帧图像的分辨率不低于第一阈值，则电子设备执行步骤S807至步骤S809。视频解码后处理模块判断YUV格式的视频数据的一帧图像的分辨率低于第一阈值，则电子设备结合步骤S806的判断结果，来执行步骤S810至步骤S827。

S805、媒体编解码器获取温度传感器检测的温度值。

步骤S805的具体实现过程，可参见前述实施例中步骤S705的内容，此处不再赘述。

S806、媒体编解码器判断温度值是否小于第二阈值。

步骤S806的具体实现过程，可参见前述实施例中步骤S706的内容，此处不再赘述。

其中，媒体编解码器判断温度值不小于第二阈值，则电子设备执行步骤S807至步骤S809。媒体编解码器判断温度值小于第二阈值，且前述步骤S804的执行结果是：视频解码后处理模块判断YUV格式的视频数据的分辨率低于第一阈值，则执行步骤S810至步骤S827。

需要说明的是，步骤S804，与步骤S805和步骤S806这两个步骤，可以理解成是并行运行，或先执行步骤S804，后执行步骤S805和步骤S806这两个步骤，或先执行步骤S805和步骤S806这两个步骤，后执行步骤S804。图15并未限制步骤S804，与步骤S805和步骤S806这两个步骤的执行顺序。

S807、视频解码后处理模块发送通知消息以通知视频通话控制显示屏显示YUV格式的视频数据。

步骤S807的具体实现过程，可参见前述实施例中步骤S707的内容，此处不再赘述。

步骤S807也可以是选择性执行的步骤，在一些实施例中，步骤S807也可不执行。

S808、视频通话应用控制显示屏显示YUV格式的视频数据。

步骤S808的具体实现过程，可参见前述实施例中步骤S708的内容，此处不再赘述。

S809、显示屏显示YUV格式的视频数据。

步骤S809的具体实现过程，可参见前述实施例中步骤S709的内容，此处不再赘述。

S810、视频解码后处理模块判断YUV格式的视频数据的分辨率，是否满足超分模型的分辨率要求。

其中，视频解码后处理模块判断YUV格式的视频数据的分辨率满足超分模型的分辨率要求，电子设备则执行步骤S811至步骤S818。视频解码后处理模块判断YUV格式的视频数据的分辨率不满足超分模型的分辨率要求，电子设备则执行步骤S819至步骤S827。

一些实施例中，超分模型支持的分辨率为一个，视频解码后处理模块将YUV格式的视频数据的分辨率，与超分模型支持的分辨率进行比对。若视频解码后处理模块判断YUV格式的视频数据的分辨率，与超分模型支持的分辨率相同，则判断出YUV格式的视频数据的分辨率满足超分模型的分辨率要求；若视频解码后处理模块判断YUV格式的视频数据的分辨率不满足超分模型的分辨率要求。

一些实施例中，超分模型支持的分辨率包括多个。示例性的，超分模型支持的分辨率如前所述，包括640*320、480*240以及320*160。因此，视频解码后处理模块会将YUV格式的视频数据的分辨率，分别与每一个超分模型支持的分辨率进行比对。

若YUV格式的视频数据的分辨率与每一个超分模型支持的分辨率均不相同，视频解码后处理模块则可确定YUV格式的视频数据的分辨率不满足超分模型的分辨率要求。一些实施例中，视频解码后处理模块将YUV格式的视频数据，按照分辨率由小到大的顺序，与超分模型支持的多个分辨进行比对。示例性的，视频解码后处理模块将YUV格式的视频数据的分辨率，先与320*160进行比对，在两者不相同时，再将其与480*240进行比对。再比对结果还是不相同时，再将其与640*320进行比对。

若YUV格式的视频数据的分辨率与超分模型支持的一个分辨率相同，视频解码后处理模块则可确定YUV格式的视频数据的分辨率满足超分模型的分辨率要求。

若YUV格式的视频数据的分辨率与超分模型支持的每一个分辨率均不相同，视频解码后处理模块还需要将YUV格式的视频数据进行处理，其处理的具体内容可参见下述步骤S819的内容。

S811、视频解码后处理模块发送控制指令以控制NPU运行。

步骤S811的具体实现过程，可参见前述实施例中步骤S710的内容，此处不再赘述。

S812、视频解码后处理模块发送控制指令以控制CPU运行。

步骤S812的具体实现过程，可参见前述实施例中步骤S711的内容，此处不再赘述。

S813、NPU调用超分模型处理Y通道数据，得到超分处理后的Y通道数据。

步骤S813的具体实现过程，可参见前述实施例中步骤S712的内容，此处不再赘述。

S814、CPU采用插值法处理UV通道数据，得到超分处理后的UV通道数据。

步骤S814的具体实现过程，可参见前述实施例中步骤S713的内容，此处不再赘述。

S815、CPU组合超分处理后的UV通道数据和超分处理后的Y通道数据，得到超分视频数据。

步骤S815的具体实现过程，可参见前述实施例中步骤S714的内容，此处不再赘述。

S816、CPU通过解码器向视频通话应用发送超分视频数据。

步骤S816的具体实现过程，可参见前述实施例中步骤S715的内容，此处不再赘述。

S817、视频通话应用控制显示屏显示超分视频数据。

步骤S817的具体实现过程，可参见前述实施例中步骤S716的内容，此处不再赘述。

S818、显示屏显示超分视频数据。

步骤S818的具体实现过程，可参见前述实施例中步骤S717的内容，此处不再赘述。

S819、视频解码后处理模块处理YUV格式的视频数据的分辨率，使视频数据处理后的分辨率满足超分模型的分辨率要求。

如前述步骤S810的内容，视频解码后处理模块判断YUV格式的视频数据的分辨率，不满足超分模型的分辨率要求，则需要对YUV格式的视频数据的分辨率进行处理，使得处理后的视频数据的分辨率满足超分模型的分辨率要求。其中，处理分辨率可以理解为对YUV格式的视频数据对应的图像进行尺寸缩放。

在一些实施例中，超分模型支持的分辨率为一个。视频解码后处理模块处理YUV格式的视频数据的分辨率的方式，可包括下述步骤：

步骤101、视频解码后处理模块确定YUV格式的视频数据的分辨率与超分模型支持的分辨率的大小关系。

步骤102、若视频解码后处理模块确定YUV格式的视频数据的分辨率，小于超分模型支持的分辨率，视频解码后处理模块对YUV格式的视频数据进行周围像素点填充像素值处理，使得填充后的视频数据的分辨率，与超分模型支持的分辨率相同。

其中，视频解码后处理模型对YUV格式的视频数据进行周围像素点填充像素值的实现方式，可如图10至图12对应的内容，此处不再赘述。

步骤103、若视频解码后处理模块确定YUV格式的视频数据的分辨率，大于超分模型支持的分辨率，视频解码后处理模块对YUV格式的视频数据进行图像切割，当然，视频解码后处理模块根据超分模型支持的分辨率进行图像切割，即切割出的图像的分辨率为超分模型支持的分辨率。

其中，视频解码后处理模型对YUV格式的视频数据进行图像切割的实现方式，可如图13和图14对应的内容，此处不再赘述。

需要说明的是，YUV格式的视频数据的分辨率大于超分模型支持的分辨率，可以包括：YUV格式的视频数据对应的图像的长大于超分模型支持的分辨率指示的图像的长，但YUV格式的视频数据对应的图像的宽不大于超分模型支持的分辨率指示的图像的宽；YUV格式的视频数据对应的图像的宽大于超分模型支持的分辨率指示的图像的宽，但YUV格式的视频数据对应的图像的长不大于超分模型支持的分辨率指示的图像的长；以及YUV格式的视频数据对应的图像的长和宽，大于超分模型支持的分辨率指示的图像的长和宽。

并且，若YUV格式的视频数据对应的图像的长大于超分模型支持的分辨率指示的图像的长，但YUV格式的视频数据对应的图像的宽不大于超分模型支持的分辨率指示的图像的宽，视频解码后处理模块在进行图像切割之前，需要先对YUV格式的视频数据对应的图像进行像素值填充，以使得填充像素值后的YUV格式的视频数据对应的图像的宽，与超分模型支持的分辨率指示的图像的宽相同。

同理，若YUV格式的视频数据对应的图像的宽大于超分模型支持的分辨率指示的图像的宽，但YUV格式的视频数据对应的图像的长不大于超分模型支持的分辨率指示的图像的长，视频解码后处理模块在进行图像切割之前，需要先对YUV格式的视频数据对应的图像进行像素值填充，以使得填充像素值后的YUV格式的视频数据对应的图像的长，与超分模型支持的分辨率指示的图像的长相同。

在另一些实施例中，超分模型支持的分辨率为多个。视频解码后处理模块处理YUV格式的视频数据的分辨率的方式，可包括下述步骤：

步骤201、视频解码后处理模块确定YUV格式的视频数据对应的目标分辨率。

超分模型支持的分辨率为多个，因此，在对YUV格式的视频数据的分辨率进行处理之前，视频解码后处理模块需要先明确YUV格式的视频数据的分辨率处理目标。

一些实施例中，视频解码后处理模块按照从小到大的顺序，依次比对YUV格式的视频数据的分辨率和每一个超分模型支持的分辨率。视频解码后处理模块将超分模型支持的多个分辨率中，与YUV格式的视频数据的分辨率最接近的分辨率，作为分辨率处理目标，即对应的目标分辨率。

另一些实施例中，视频解码后处理模块按照从小到大的顺序，依次比对YUV格式的视频数据的分辨率和每一个超分模型支持的分辨率。视频解码后处理模块将超分模型支持的多个分辨率中，比YUV格式的视频数据的分辨率大、且与YUV格式的视频数据的分辨率最近接的分辨率，作为分辨率处理目标。

示例性的，超分模型支持的分辨率包括：640*320、480*240以及320*160。若YUV格式的视频数据的分辨率小于320*160，则选择320*160作为YUV格式的视频数据的分辨率处理目标，若YUV格式的视频数据的分辨率大于320*160，但小于480*240，则将480*240作为YUV格式的视频数据的分辨率处理目标，若YUV格式的视频数据的分辨率大于480*240，但小于640*320，则将640*320作为YUV格式的视频数据的分辨率处理目标。

步骤202、视频解码后处理模块确定YUV格式的视频数据的分辨率与目标分辨率的大小关系。

步骤203、若视频解码后处理模块确定YUV格式的视频数据的分辨率，小于目标分辨率，视频解码后处理模块对YUV格式的视频数据进行周围像素点填充像素值处理，使得填充后的视频数据的分辨率，与目标分辨率相同。

其中，视频解码后处理模型对YUV格式的视频数据进行周围像素点填充像素值的实现方式，也可参考图10至图12对应的内容，此处不再赘述。

步骤204、若视频解码后处理模块确定YUV格式的视频数据的分辨率，大于目标分辨率，视频解码后处理模块对YUV格式的视频数据进行图像切割，当然，视频解码后处理模块根据超分模型支持的分辨率进行图像切割，即切割出的图像的分辨率为目标分辨率。

其中，视频解码后处理模型对YUV格式的视频数据进行图像切割的实现方式，也可参见图13和图14对应的内容，此处不再赘述。

同样需要说明的是，YUV格式的视频数据的分辨率大于目标分辨率，可以包括：YUV格式的视频数据对应的图像的长大于目标分辨率指示的图像的长，但YUV格式的视频数据对应的图像的宽不大于目标分辨率指示的图像的宽；YUV格式的视频数据对应的图像的宽大于目标分辨率指示的图像的宽，但YUV格式的视频数据对应的图像的长不大于目标分辨率指示的图像的长；以及YUV格式的视频数据对应的图像的长和宽，大于目标分辨率指示的图像的长和宽。

并且，若YUV格式的视频数据对应的图像的长大于目标分辨率指示的图像的长，但YUV格式的视频数据对应的图像的宽不大于目标分辨率指示的图像的宽，视频解码后处理模块在进行图像切割之前，需要先对YUV格式的视频数据对应的图像进行像素值填充，以使得填充像素值后的YUV格式的视频数据对应的图像的宽，与目标分辨率指示的图像的宽相同。

同理，若YUV格式的视频数据对应的图像的宽大于目标分辨率指示的图像的宽，但YUV格式的视频数据对应的图像的长不大于目标分辨率指示的图像的长，视频解码后处理模块在进行图像切割之前，需要先对YUV格式的视频数据对应的图像进行像素值填充，以使得填充像素值后的YUV格式的视频数据对应的图像的长，与目标分辨率指示的图像的长相同。

S820、视频解码后处理模块发送控制指令以控制NPU运行。

如前述电子设备结构的内容，NPU为神经网络处理器，其运行时可调用超分模型处理YUV格式的视频数据。

S821、视频解码后处理模块发送控制指令以控制CPU运行。

如前述电子设备的软件框架的内容，CPU运行时可处理YUV格式的视频数据。

其中，图15展示了步骤S820和步骤S821的一种执行顺序，但步骤S820和步骤S821并不限制于图15所示。一些实施例中，步骤S820和步骤S821可并行处理，或先执行步骤S821再执行步骤S820。

S822、NPU调用超分模型处理处理后的Y通道数据，得到超分处理后的Y通道数据。NPU再对超分处理后的Y通道数据进行拼接和/或截取操作。

其中，NPU再对超分处理后的Y通道数据进行拼接和/或截取操作，可参见图10至图14对应的内容，此处不再赘述。

S823、CPU采用插值法处理处理后的UV通道数据，得到超分处理后的UV通道数据。

步骤S823的具体实现过程，可参见前述实施例中步骤S713的内容，此处不再赘述。

S824、CPU组合超分处理后的UV通道数据和超分处理后的Y通道数据，得到超分视频数据。

步骤S823的具体实现过程，可参见前述实施例中步骤S714的内容，此处不再赘述。

S825、CPU通过解码器向视频通话应用发送超分视频数据。

CPU组合得到超分视频数据之后，可向视频通话应用发送该超分视频数据。

其中，CPU向视频通话应用发送超分视频数据，可以理解成CPU将YUV格式的视频数据中的图像，经步骤S819、步骤S822至步骤S824之后得到的超分视频数据(也可理解为超分图像)，向视频通话应用发送。

S826、视频通话应用控制显示屏显示超分视频数据。

视频通话应用接收到超分视频数据之后，向可控制显示屏显示超分视频数据。其中，视频通话应用可向显示驱动发送控制指令，以控制显示驱动控制显示屏显示超分视频数据。

S827、显示屏显示超分视频数据。

显示屏响应于视频通话应用的控制，显示超分视频数据。

本申请另一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

计算机可读存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (13)

1.一种视频数据的处理方法，其特征在于，应用于电子设备，所述电子设备包括显示屏和解码器，所述视频数据的处理方法，包括：

响应于视频业务的启动指令，获取视频流，其中，所述视频业务包括播放视频、执行视频通话或直播；

利用所述解码器解码所述视频流，得到第一视频数据；

若所述第一视频数据中图像的分辨率小于第一阈值，且所述电子设备的温度小于第二阈值，确定所述第一视频数据中图像的Y通道数据的分辨率是否符合超分模型的分辨率要求；其中，所述超分模型用于将输入图像的分辨率放大n倍，得到输出图像，n为大于2的整数；

若所述第一视频数据中图像的Y通道数据的分辨率不符合所述超分模型的分辨率要求，处理所述第一视频数据中图像的Y通道数据的分辨率；在所述第一视频数据中图像的Y通道数据的分辨率大于所述超分模型的分辨率要求时，所述处理所述第一视频数据中图像的Y通道数据的分辨率，包括：对所述第一视频数据中图像的Y通道数据执行图像切割操作，切割出符合所述超分模型要求的分辨率对应的多个图像，切割出的多个图像的组合图像包含所述第一视频数据中图像的Y通道数据的全部像素点；

调用所述超分模型，处理所述第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据；其中，在所述第一视频数据中图像的Y通道数据的分辨率大于所述超分模型的分辨率要求时，所述调用所述超分模型，处理所述第一视频数据中图像的Y通道数据的分辨率，得到放大分辨率之后的Y通道数据，包括：调用所述超分模型，处理所述切割出的多个图像的分辨率，得到所述切割出的多个图像的分辨率放大之后的图像；在所述切割出的多个图像具备公共区域时，去除所述切割出的多个图像的分辨率放大之后的图像中的公共区域，并组合去除公共区域后的图像，得到放大分辨率之后的Y通道数据；

放大所述第一视频数据中图像的UV通道数据的分辨率，得到放大分辨率之后的UV通道数据；

合成所述放大分辨率之后的Y通道数据和所述放大分辨率之后的UV通道数据，得到第二视频数据中图像的图像数据；

控制所述显示屏显示第二视频数据，其中，所述第二视频数据中图像的分辨率大于所述第一视频数据中图像的分辨率；

若所述电子设备的温度不小于所述第二阈值，控制所述显示屏显示所述第一视频数据。

2.根据权利要求1所述的视频数据的处理方法，其特征在于，所述放大所述第一视频数据中图像的UV通道数据的分辨率，得到放大分辨率之后的UV通道数据，包括：

采用插值法处理所述第一视频数据中图像的UV通道数据，得到放大分辨率之后的UV通道数据。

3.根据权利要求1所述的视频数据的处理方法，其特征在于，还包括：若所述第一视频数据中图像的分辨率不小于第一阈值，所述第二视频数据中图像的分辨率与所述第一视频数据中图像的分辨率相同。

4.根据权利要求1所述的视频数据的处理方法，其特征在于，所述超分模型支持的分辨率包括多个，所述处理所述第一视频数据中图像的Y通道数据的分辨率之前，还包括：

在所述超分模型支持的多个分辨率中，确定所述第一视频数据中图像对应的目标分辨率，所述目标分辨率大于所述第一视频数据中图像的分辨率，且与所述第一视频数据中图像的分辨率最接近，所述处理后的图像中的Y通道数据的分辨率符合所述目标分辨率的要求。

5.根据权利要求1所述的视频数据的处理方法，其特征在于，所述处理所述第一视频数据中图像的Y通道数据的分辨率，包括：

在所述第一视频数据中图像的Y通道数据的分辨率小于所述超分模型的分辨率要求时，放大所述第一视频数据中图像的Y通道数据的分辨率，放大后的图像的Y通道数据的分辨率与所述超分模型要求的分辨率相同。

6.根据权利要求4所述的视频数据的处理方法，其特征在于，所述处理所述第一视频数据中图像的Y通道数据的分辨率，包括：

在所述第一视频数据中图像的Y通道数据的分辨率小于所述超分模型的分辨率要求时，放大所述第一视频数据中图像的Y通道数据的分辨率，放大后的图像的Y通道数据的分辨率与所述超分模型要求的分辨率相同。

7.根据权利要求5或6所述的视频数据的处理方法，其特征在于，还包括：

从所述放大分辨率之后的Y通道数据，截取出第一Y通道数据，所述第一Y通道数据的分辨率为所述第一视频数据中图像的Y通道数据的分辨率的n倍，所述n为所述超分模型放大输入图像的倍数；

其中，所述合成所述放大分辨率之后的Y通道数据和所述放大分辨率之后的UV通道数据，得到所述第二视频数据中图像的图像数据，包括：

合成所述第一Y通道数据和所述放大分辨率之后的UV通道数据，得到所述第二视频数据中图像的图像数据。

8.根据权利要求1至6中任意一项所述的视频数据的处理方法，其特征在于，所述电子设备的温度小于第二阈值的判断方式包括：

获取所述电子设备的至少一个温度传感器检测的温度值；

利用所述温度传感器检测的温度值中的任意一个，或所述温度传感器检测的温度值的平均值，确定所述电子设备的温度小于第二阈值。

9.根据权利要求7所述的视频数据的处理方法，其特征在于，所述电子设备的温度小于第二阈值的判断方式包括：

获取所述电子设备的至少一个温度传感器检测的温度值；

利用所述温度传感器检测的温度值中的任意一个，或所述温度传感器检测的温度值的平均值，确定所述电子设备的温度小于第二阈值。

10.根据权利要求1至6中任意一项所述的视频数据的处理方法，其特征在于，所述控制所述显示屏显示第二视频数据过程中，还包括：

控制所述显示屏在所述第二视频数据的显示界面显示第一对话框，所述第一对话框包括用于提示用户提升视频数据的分辨率的文字。

11.根据权利要求7所述的视频数据的处理方法，其特征在于，所述控制所述显示屏显示第二视频数据过程中，还包括：

控制所述显示屏在所述第二视频数据的显示界面显示第一对话框，所述第一对话框包括用于提示用户提升视频数据的分辨率的文字。

12.一种电子设备，其特征在于，包括：

一个或多个处理器、存储器，解码器，显示屏；

所述存储器、所述解码器、所述显示屏与所述一个或多个所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，所述电子设备执行如权利要求1至11任意一项所述的视频数据的处理方法。

13.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序被电子设备执行时，使得所述电子设备实现如权利要求1至11任意一项所述的视频数据的处理方法。