CN111580765B - 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 - Google Patents

Abstract

本公开提供了投屏方法、投屏装置、计算机可读存储介质、被投屏设备与投屏设备，涉及图像处理技术领域。该投屏方法包括：对待投屏图像进行超分辨率重建，得到目标图像；将所述目标图像发送至投屏设备，使所述投屏设备显示所述目标图像。本公开可以提高图像的分辨率，使投屏设备显示较为清晰的目标图像，从而解决相关技术中投屏显示内容容易出现模糊不清的问题，提高投屏效果以及用户的观看体验。

Description

投屏方法、投屏装置、存储介质、被投屏设备与投屏设备

技术领域

本公开涉及图像处理技术领域，尤其涉及投屏方法、投屏装置、计算机可读存储介质、被投屏设备与投屏设备。

背景技术

投屏是指将一台设备中的内容投放到另一台设备上进行显示的技术。在投屏的场景中，大多数都是“小屏”投“大屏”的情况，如智能手机、平板电脑投屏到电脑、电视上等。

相关技术中，在将图像(或视频)投屏到显示设备上进行显示时，通常根据显示设备的屏幕尺寸对图像的尺寸进行适应性调整，如果图像本身的分辨率不高，则拉伸到显示设备的屏幕尺寸后，容易出现显示内容模糊不清的情况，影响投屏效果与观看体验。

发明内容

本公开提供了一种投屏方法、投屏装置、计算机可读存储介质、被投屏设备与投屏设备，进而一定程度上，解决相关技术中投屏显示内容容易出现模糊不清的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种投屏方法，应用于被投屏设备，所述方法包括：对待投屏图像进行超分辨率重建，得到目标图像；将所述目标图像发送至投屏设备，使所述投屏设备显示所述目标图像。

根据本公开的第二方面，提供一种投屏方法，应用于投屏设备，所述方法包括：从被投屏设备接收第一子码流对应的目标码流数据和第二子码流，所述第一子码流和所述第二子码流由待投屏视频的原始码流数据经过分割后得到，所述目标码流数据由所述被投屏设备对所述第一子码流逐帧进行解码、超分辨率重建与编码后得到；解码所述目标码流数据，得到第一视频；对所述第二子码流逐帧进行解码与超分辨率重建，得到第二视频；播放所述第一视频和所述第二视频。

根据本公开的第三方面，提供一种投屏装置，应用于被投屏设备，所述装置包括：超分辨率模块，用于对待投屏图像进行超分辨率重建，得到目标图像；通信模块，用于将所述目标图像发送至投屏设备，使所述投屏设备显示所述目标图像。

根据本公开的第四方面，提供一种投屏装置，应用于投屏设备，所述装置包括：通信模块，用于从被投屏设备接收第一子码流对应的目标码流数据和第二子码流，所述第一子码流和所述第二子码流由待投屏视频的原始码流数据经过分割后得到，所述目标码流数据由所述被投屏设备对所述第一子码流逐帧进行解码、超分辨率重建与编码后得到；第一处理模块，用于解码所述目标码流数据，得到第一视频；第二处理模块，用于对所述第二子码流逐帧进行解码与超分辨率重建，得到第二视频；显示模块，用于播放所述第一视频和所述第二视频。

根据本公开的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一或第二方面的投屏方法及其可能的实施方式。

根据本公开的第六方面，提供一种被投屏设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；以及通信模块，用于和投屏设备形成连接；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的投屏方法及其可能的实施方式。

根据本公开的第七方面，提供一种投屏设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；通信模块，用于和被投屏设备形成连接；以及显示器，用于显示图像或视频；其中，所述处理器配置为经由执行所述可执行指令来执行上述第二方面的投屏方法及其可能的实施方式。

本公开的技术方案具有以下有益效果：

根据上述投屏方法、投屏装置、计算机可读存储介质、被投屏设备与投屏设备，一方面，通过被投屏设备的超分辨率重建，提高图像的分辨率，使投屏设备显示较为清晰的目标图像，从而解决相关技术中投屏显示内容容易出现模糊不清的问题，提高投屏效果以及用户的观看体验。另一方面，由被投屏设备执行超分辨率重建的处理过程，缓解了投屏设备的压力，特别适用于投屏设备硬件条件较低或者不具有处理能力的情况，从而拓宽了投屏技术的应用场景。

在一些实施方式中，被投屏设备对待投屏视频的第一子码流进行处理，投屏设备对待投屏视频的第二子码流进行处理，最后由投屏设备进行整理播放，从而实现了被投屏设备与投屏设备联合处理，充分利用了被投屏设备和投屏设备的性能，提高视频处理的效率，缩短视频播放的响应时间。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式运行环境的系统架构图；

图2示出本示例性实施方式中移动终端的示意图；

图3示出本示例性实施方式中一种投屏方法的流程图；

图4示出本示例性实施方式中一种超分辨率重建的流程图；

图5示出本示例性实施方式中一种视频投屏方法的流程图；

图6示出本示例性实施方式中视频数据的流转示意图；

图7示出本示例性实施方式中由被投屏设备执行的一种视频投屏方法的流程图；

图8示出本示例性实施方式中由投屏设备执行的一种视频投屏方法的流程图；

图9示出本示例性实施方式中一种投屏装置的结构框图；

图10示出本示例性实施方式中另一种投屏装置的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式提供投屏方法和投屏装置。图1示出了该方法和装置运行环境的系统架构图。如图1所示，该系统架构100可以包括被投屏设备110和投屏设备120。其中，被投屏设备110和投屏设备120之间可以通过有线或无线的方式形成连接，被投屏设备110是发送投屏内容的一侧，投屏设备120是接收并显示投屏内容的一侧。被投屏设备110一般包括处理器、存储器和通信模块，存储器用于存储处理器的可执行指令，也可以存储待投屏的内容数据，如图像、视频等；通信模块用于与投屏设备120形成连接，包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信解决方案，或者通用串行总线(UniversalSerial Bus，USB)USB、高清多媒体接口(High Definition Multimedia Interface，HDMI)、数字视频接口(Digital Visual Interface，DVI)、视频图形阵列(Video Graphics Array，VGA)等有线通信解决方案；处理器用于执行可执行指令，以对待投屏的内容数据进行处理并发送至投屏设备120。被投屏设备110具体可以是智能手机、平板电脑、游戏机、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、导航装置、可穿戴设备、无人机等终端电子设备。投屏设备120一般包括处理器、存储器、通信模块和显示器，存储器用于存储处理器的可执行指令，也可以存储待显示的内容数据，如图像、视频等；通信模块用于与被投屏设备110形成连接，可以包括上述各种无线或有线通信解决方案；显示器用于显示图像或视频；处理器用于执行可执行指令，以对被投屏设备110发送的数据进行解析处理，得到待显示的内容数据。投屏设备120具体可以是个人电脑(Personal Computer，PC)、电视、电子相框、投影仪等具备显示功能的设备。

下面以图2中的移动终端200为例，对被投屏设备110或投屏设备120的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber Identification Module，SIM)卡接口295等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、编码器、解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。编码器可以对图像或视频数据进行编码(即压缩)，形成码流数据；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端200可以支持一种或多种编码器和解码器。这样，移动终端200可以播放或录制多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、MPEG3、MPEG4、H.263、H.264、H.265、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。

在一些实施方式中，处理器210可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、通用输入输出(General-PurposeInput/Output，GPIO)接口、用户标识模块(Subscriber Identity Module，SIM)接口和/或通用串行总线(Universal Serial Bus，USB)接口等。通过不同的接口和移动终端200的其他部件形成连接。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为移动终端200充电，也可以连接耳机，通过耳机播放音频，还可以用于移动终端200连接其他电子设备，例如连接电脑、外围设备等。

充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为设备供电。

电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为移动终端200的各个部分供电，还可以用于监测电池的状态。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。移动终端200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在移动终端200上的包括WLAN、BT、GNSS、FM、NFC、IR技术等无线通信解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施方式中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(Global System for Mobilecommunications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(Code Division Multiple Access，CDMA)，宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)，时分码分多址(Time Division-Synchronous CodeDivision Multiple Access，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，新空口(New Radio，NR)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU用于执行数学和几何计算，以实现图形渲染，并连接显示屏290和应用处理器。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。移动终端200可以包括一个或多个显示屏290，用于显示图像，视频等。

移动终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏290及应用处理器等实现拍摄功能。

摄像模组291用于捕获静态图像或视频，通过感光元件采集光信号，转换为电信号。ISP用于处理摄像模组291反馈的数据，将电信号转换成数字图像信号。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如图像，视频)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。扬声器271，用于将音频电信号转换为声音信号。受话器272，用于将音频电信号转换成声音信号。麦克风273，用于将声音信号转换为电信号。耳机接口274用于连接有线耳机。

传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等。深度传感器2801用于获取景物的深度信息。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号，用于实现压力触控等功能。陀螺仪传感器2803可以用于确定移动终端200的运动姿态，可用于拍摄防抖、导航、体感游戏等场景。气压传感器2804用于测量气压，可通过计算海拔高度，辅助定位和导航。此外，根据实际需要，还可以在传感器模块280中设置其他功能的传感器，例如磁传感器、加速度传感器、距离传感器等。

指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

马达293可以产生振动提示，例如来电、闹钟、接收信息等的振动提示，也可以用于触摸振动反馈等。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。移动终端200可以接收按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。

移动终端200可以支持一个或多个SIM卡接口295，用于连接SIM卡，使移动终端200通过SIM卡和网络交互，实现通话以及数据通信等功能。

下面对本公开示例性实施方式的投屏方法和投屏装置进行具体说明。

图3示出了由被投屏设备所执行的投屏方法的示意性流程，可以包括以下步骤S310和S320：

步骤S310，对待投屏图像进行超分辨率重建，得到目标图像。

其中，待投屏图像可以是被投屏设备本地或外部存储器所存储的图像，或者从网络上实时获取的图像，或者被投屏设备当前屏幕显示内容的截图等。

本示例性实施方式对待投屏图像进行超分辨率重建，得到分辨率更高的目标图像，当目标图像被投屏到投屏设备上显示时，更加清晰。在一种可选的实施方式中，可以根据投屏设备所需的分辨率，对待投屏图像进行超分辨率重建，得到目标图像。投屏设备所需的分辨率可以是其屏幕显示的分辨率，系统设置的分辨率等。被投屏设备可以直接与投屏设备通信以获取其所需的分辨率，或者通过投屏设备的型号参数等确定其所需的分辨率。

超分辨率重建可以采用插值或神经网络实现。例如，对待投屏图像计算像素值梯度，根据像素值梯度在原有的像素点之间插入新的像素点，从而得到像素数更高(即分辨率更高)的目标图像。也可以采用SRCNN(Super-Resolution Convolutional NeuralNetwork，超分辨率神经网络)或SRCNN的改进版本，通过大量的样本图像对进行训练，每个样本图像对包括一张样本图像(sample)和对应的一张高清图像(ground truth)，从而通过调整网络参数，直到达到一定的准确率；在应用时将待投屏图像输入经过训练的网络，输出对应的目标图像。

在一种可选的实施方式中，在对待投屏图像进行超分辨率重建前，可以对待投屏图像进行预处理，包括但不限于以下方式：

图像增强，主要指增强图像中的感兴趣区域(Region Of Interest，ROI)，抑制不感兴趣区域；

图像锐化，通过补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰；

图像去噪，通过滤波、图像平滑等手段，减少图像中的噪声干扰去噪是指减少数字图像中噪声；

图像去模糊，是指修复图像中的模糊部分；

图像去雾，由于大气中的灰尘、雾霾等影响，图像中一般存在雾现象，通过雾图模型等算法降低或去除图像中的雾成本。

通过预处理可以提高待投屏图像的质量，进而提高目标图像的质量。

步骤S320，将目标图像发送至投屏设备，使投屏设备显示目标图像。

投屏设备在接收到目标图像后，一般可以同步进行显示。需要说明的是，投屏设备也可以根据实际显示需求(如全屏显示或窗口显示)对目标图像进行缩放，或者目标图像与当前设置的显示参数不匹配时，也可以对其分辨率进行调整，然后再进行显示。

由此，提高了图像的分辨率，使投屏设备显示较为清晰的目标图像，从而解决相关技术中投屏显示内容容易出现模糊不清的问题，提高投屏效果以及用户的观看体验。并且，由被投屏设备执行超分辨率重建的处理过程，缓解了投屏设备的压力，特别适用于投屏设备硬件条件较低或者不具有处理能力的情况，从而拓宽了投屏技术的应用场景。

在一种可选的实施方式中，待投屏图像可以是待投屏视频中的至少一帧图像，即步骤S310可以包括：

对待投屏视频中的至少一帧图像进行超分辨率重建，得到该至少一帧图像对应的目标图像。

其中，待投屏视频可以是被投屏设备本地或外部存储器所存储的视频，或者从网络上(如视频或直播平台)实时获取的视频，或者将被投屏设备的屏幕显示内容生成为实时的视频流等。

在进行超分辨率重建时，可以对待投屏视频中比较重要的图像帧进行超分辨率重建，这样在投屏显示时，这些图像帧可以得到更加清晰的呈现。举例来说，在进行屏幕镜像或投影时，被投屏设备将屏幕显示内容实时发送到投屏设备上进行显示，当被投屏设备检测到屏幕显示内容静止时(如显示内容超过一段时间未变化，则判断为静止)，可以将当前屏幕的截图进行超分辨率重建。这样在进行幻灯片展示等场景中，可以对幻灯片的图像进行超分辨率重建，而对翻页、动画演示等其他内容不做特别处理，从而使比较重要的幻灯片内容得到更为清楚的显示。

在一种可选的实施方式中，上述对待投屏视频中的待投屏图像进行超分辨率重建，可以参考图4中的步骤S410至S430实现：

步骤S410，在待投屏视频中，以上述待投屏图像为当前帧图像，选取参考帧图像。

需要说明的是，如果对多帧图像进行超分辨率重建，则分别以其中每一帧图像为当前帧图像，逐帧进行处理。参考帧图像可以是当前帧图像的相邻帧，或者与当前帧图像之间间隔了两帧、三帧等，保证参考帧图像与当前帧图像的内容基本相同，同时存在微小的差异。

步骤S420，对当前帧图像和参考帧图像进行匹配，根据匹配结果确定插值参数。

匹配是指对当前帧图像中的像素点，在参考帧图像中找到对应的像素点，例如可以采用梯度图像的模板匹配对齐算法、运动估计中的块匹配算法、基于特征算子的对齐算法等实现；然后将当前帧图像与参考帧图像之间的互补非冗余信息进行处理，确定插值参数。考虑到可能存在无法配对的像素点，也可以先对当前帧图像进行分割，分割出前景区域，然后将前景区域与参考帧图像中的局部区域进行匹配。

在一种实施方式中，通过匹配可以将像素点两两配对，然后基于每一对像素点之间的差异，确定插值参数，例如可以在当前帧像素点与参考帧像素点的像素值之间，根据所需的分辨率采样得到一个或多个像素值，即插值参数；插值参数可以是待插入的新像素值，也可以是新像素值与当前帧像素点的差值。最终得到的插值参数可以是与当前帧图像对应的矩阵，例如当前帧图像的宽和高分别为W、H，在进行2倍超分辨率重建时(即得到2W*2H的目标图像)，当前帧图像的每个像素点计算3个插值参数，和像素点本身(或者0，表示与像素点的差值为0)组成2*2矩阵，将每个像素点的2*2矩阵拼接起来，得到2W*2H的插值参数矩阵。对于RGB三通道的当前帧图像，其插值参数包括每个通道的插值参数矩阵。

由于当前帧图像与参考帧图像之间存在细节方面的差异，通过上述匹配像素点与计算差值参数，可以提取并综合两图像的细节信息。

步骤S430，采用上述插值参数对当前帧图像进行插值，得到目标图像。

采用上述插值参数，可以在当前帧图像的像素点之间插入新的像素点，属于像素级别的插值，由此增加了当前帧图像的像素数量，实现分辨率的提高。

一般的，视频的存储与传输均是在编码(或压缩)的情况下，以码流数据的形式进行的，例如被投屏设备本地存储的视频、从视频平台获取的视频均是经过编码的码流数据。基于此，待投屏图像可以通过以下方式得到：

获取原始码流数据，原始码流数据为待投屏视频经过编码后得到的码流数据，例如可以是采用H.263、H.264、H.265、MPEG1、MPEG2、MPEG3、MPEG4、HEVC等视频编码方式对待投屏视频进行编码所得到的码流数据；

解码原始码流数据，得到待投屏视频中的任一帧图像，包括待投屏图像。

因而根据实际需求，可以选择性解码，得到一部分需要重点呈现的帧图像，对其进行超分辨率重建，对于视频中的其他部分，则可以直接向投屏设备发送对应的原始码流数据。

进一步的，被投屏设备在对待投屏图像进行超分辨率重建，得到目标图像后，可以将其编码为对应的码流数据，以发送至投屏设备。例如，可以采用JPEG、PNG、BMP等图像编码方式对单帧的目标图像进行编码，也可以采用视频编码方式对连续多帧的目标图像(即目标图像形成的视频流)进行编码。

在一种可选的实施方式中，待投屏图像可以包括待投屏视频中的每一帧图像，即对待投屏视频的每一帧图像均做超分辨率重建，这样相当于对待投屏视频进行了超分辨率重建，得到分辨率更高的视频。具体的，参考图5所示，视频的投屏方法可以包括以下步骤S510至S540：

步骤S510，分别对待投屏视频的每一帧图像进行超分辨率重建，得到每一帧图像对应的目标图像；

步骤S520，排列每一帧图像对应的目标图像，生成待投屏视频对应的目标视频；

步骤S530，对目标视频进行编码，得到对应的目标码流数据；

步骤S540，将目标码流数据发送至投屏设备，使投屏设备通过解码目标码流数据显示目标视频。

其中，每一帧图像对应的目标图像，可以按照待投屏视频的图像帧序列进行排列，这样得到的目标视频实际上是高清版的待投屏视频。

图6示出了上述过程中待投屏视频的数据流向。被投屏设备110从信号源1101获取待投屏视频的原始码流数据；原始码流数据依次进入解码器1102进行解码，得到待投屏视频；然后由超分辨率模块1103依次对待投屏视频的每一帧图像进行超分辨率重建，得到对应的目标图像；编码器1104再将连续帧目标图像形成的视频流数据(即目标视频)按照视频编码方式进行编码，得到对应的目标码流数据；通过通信链路将目标码流数据发送至投屏设备120。投屏设备120从被投屏设备110处接收目标码流数据，先由解码器1201解码得到目标视频，再由自适应模块1202根据显示器1203的屏幕尺寸等进行自适应的调整(目标视频也可能无需调整，则自适应模块1202不做处理)，最后由显示器1203播放目标视频。

在图6的过程中，视频数据实际上经过了两次编码与解码，由信号源1101获取的待投屏视频，是经过第一次编码的原始码流数据，解码器1102进行第一次解码，以还原待投屏视频；编码器1104对目标视频进行第二次编码，得到目标码流数据；解码器1201对目标码流数据进行第二次解码，以还原目标视频。

上述第一次编码与第二次编码所采用的编码方式可以相同，也可以不同，实际应用中可以根据需求采用合适的编码方式。举例来说：

场景一、被投屏设备110是智能手机，投屏设备120是电视。智能手机向电视投屏的场景中，待投屏视频的分辨率较低时，第一次编码可以采用H.264编码方式，得到原始码流数据；原始码流数据经过解码与超分辨率重建后，得到分辨率较高的目标视频；第二次编码可以采用HEVC编码方式，得到目标码流数据。解码器1201处进行HEVC解码，最终在电视上显示目标视频。

场景二、被投屏设备110是机顶盒，投屏设备120是显示器。机顶盒向显示器投屏的场景中，机顶盒从网络接收到H.264编码(第一次编码)的高分辨率待投屏视频；投屏到低分辨率显示器时，先进行H.264解码得到每一帧图像；然后对图像进行超分辨率重建处理，得到与显示器分辨率对应的目标图像，形成目标视频；再对目标视频进行H.263的编码(第二次编码)；传输目标码流数据到显示器，在显示器上采用H.263解码后显示目标视频。

场景三、分体电视中，被投屏设备110是处理端，如电视主机，投屏设备120是显示端，如4K显示屏(分辨率为3840×2160及以上的超高清显示屏)。处理端向显示端投屏的场景中，处理端从网络接收到1080P(1080逐行扫描的视频显示格式)分辨率的JPEG编码(第一次编码)视频流图像；先进行JPEG解码得到像素级的图像数据，然后对该图像数据进行超分辨率重建，得到与显示端分辨率相对应的4K图像；再对4K图像进行JPEG编码(第二次编码)；传输目标码流数据到显示端，在显示端采用JPEG解码后直接显示4K图像。

在上述场景三中，JPEG编码是一种图像编码方式，采用JPEG编码对目标视频中的每一帧图像进行编码，有利于视频的高清显示。应当理解，被投屏设备也可以采用其他图像编码方式，如PNG、BMP等，对目标视频中的每一帧图像进行编码，得到目标视频对应的目标码流数据。在投屏设备上采用相对应的图像解码方式解码目标码流数据，可以还原出高质量的目标视频。

在一种可选的实施方式中，如果被投屏设备与投屏设备均具有超分辨率重建的处理能力，则可以联合进行待投屏视频的处理。参考图7与图8所示，被投屏设备执行以下步骤S710至S730：

步骤S710，获取原始码流数据，根据被投屏设备的视频处理速度和投屏设备的视频处理速度，将原始码流数据分割为至少一个第一子码流和至少一个第二子码流；

步骤S720，对第一子码流逐帧进行解码、超分辨率重建与编码，得到对应的目标码流数据；

步骤S730，将第一子码流对应的目标码流数据和第二子码流发送至投屏设备。

投屏设备执行以下步骤S810至S840：

步骤S810，从被投屏设备接收第一子码流对应的目标码流数据和第二子码流；

步骤S820，解码目标码流数据，得到第一视频；

步骤S830，对第二子码流逐帧进行解码与超分辨率重建，得到第二视频；

步骤S840，播放第一视频和第二视频。

其中，视频处理速度是指设备进行视频解码、超分辨率重建、编码等一系列处理过程的速度。假设被投屏设备的视频处理速度和投屏设备的视频处理速度之比为6:4，则可以将原始码流数据按照4:6分割为第一子码流和第二子码流，或者先将原始码流数据分割为多个片段(如一部电影的码流数据，可以按照时间戳将每10分钟的内容分割为一个片段)，然后将每个片段按照4:6分割为第一子码流和第二子码流。第一子码流由被投屏设备处理，第二子码流由投屏设备处理。最后由投屏设备将第一子码流对应的第一视频和第二子码流对应的第二视频进行排列后逐帧播放。这样充分利用了被投屏设备和投屏设备的性能，能够提高视频处理的效率，缩短视频播放的响应时间。

由上可知，投屏设备需要对两类码流数据(即目标码流数据和第二子码流)进行处理并同步显示。实际应用中，在得到第一视频中的任一帧图像或第二视频中的任一帧图像时，可以将其插入视频数据队列，即视频数据队列包括第一视频和第二视频的数据。投屏设备可以按照时间戳排列视频数据队列中的每一帧图像，即第一视频和第二视频可以穿插排列在一起，形成完整的视频流。这样可以按照视频数据队列中的排列顺序播放视频数据队列中的每一帧图像，由此将第一视频和第二视频有效地整合，保证视频帧的有序性。

图9示出了本公开示例性实施方式中的一种投屏装置，可以应用于被投屏设备，如图1中的被投屏设备110。如图9所示，该投屏装置900可以包括：

超分辨率模块910，用于对待投屏图像进行超分辨率重建，得到目标图像；

通信模块920，用于将目标图像发送至投屏设备，使投屏设备显示目标图像。

在一种可选的实施方式中，待投屏图像包括待投屏视频中的至少一帧图像。

在一种可选的实施方式中，待投屏图像包括待投屏视频中的每一帧图像。超分辨率模块910，被配置为：

分别对上述每一帧图像进行超分辨率重建，得到每一帧图像对应的目标图像；

排列上述每一帧图像对应的目标图像，生成待投屏视频对应的目标视频，目标视频的分辨率高于待投屏视频。

投屏装置900还可以包括：

编码器，用于对目标视频进行编码，得到对应的目标码流数据。

进一步的，通信模块920，用于将目标码流数据发送至投屏设备，使投屏设备通过解码目标码流数据显示目标视频。

在一种可选的实施方式中，上述编码器用于采用图像编码方式对目标视频中的每一帧图像进行编码，得到目标视频对应的目标码流数据。

在一种可选的实施方式中，投屏装置900还可以包括：

图像获取模块，用于获取原始码流数据，原始码流数据为待投屏视频经过编码后得到的码流数据；

解码器，用于通过解码原始码流数据，得到待投屏视频的待投屏图像。

在一种可选的实施方式中，图像获取模块，还用于在获取原始码流数据后，根据被投屏设备的视频处理速度和投屏设备的视频处理速度，将原始码流数据分割为至少一个第一子码流和至少一个第二子码流。

上述解码器、超分辨率模块910与编码器，分别用于对第一子码流逐帧进行解码、超分辨率重建与编码，得到对应的目标码流数据。

进一步的，通信模块920，用于将第一子码流对应的目标码流数据和第二子码流发送至投屏设备，使投屏设备通过解码第一子码流对应的目标码流数据得到第一视频，通过对第二子码流逐帧进行解码与超分辨率重建得到第二视频，以及播放第一视频和第二视频。

在一种可选的实施方式中，超分辨率模块910，被配置为：

在待投屏视频中，以待投屏图像为当前帧图像，选取参考帧图像；

对当前帧图像和参考帧图像进行匹配，根据匹配结果确定插值参数；

采用插值参数对当前帧图像进行插值，得到目标图像。

在一种可选的实施方式中，超分辨率模块910，被配置为：

根据投屏设备所需的分辨率，对待投屏图像进行超分辨率重建，得到目标图像。

在一种可选的实施方式中，投屏装置900还可以包括：

预处理模块，用于通过以下任意一种或多种方式对待投屏图像进行预处理：图像增强、图像锐化、图像去噪、图像去模糊、图像去雾。

图10示出了本公开示例性实施方式中的另一种投屏装置，可以应用于投屏设备，如图1中的被投屏设备120。如图10所示，该投屏装置1000可以包括：

通信模块1010，用于从被投屏设备接收第一子码流对应的目标码流数据和第二子码流；其中，第一子码流和第二子码流由待投屏视频的原始码流数据经过分割后得到，目标码流数据由被投屏设备对第一子码流逐帧进行解码、超分辨率重建与编码后得到；

第一处理模块1020，用于解码目标码流数据，得到第一视频；

第二处理模块1030，用于对第二子码流逐帧进行解码与超分辨率重建，得到第二视频；

显示模块1040，用于播放第一视频和第二视频。

在一种可选的实施方式中，第一处理模块1020，还用于在得到第一视频中的任一帧图像时，将其插入视频数据队列；第二处理模块1030，还用于在得到第二视频中的任一帧图像时，也将其插入视频数据队列；该视频数据队列中，按照时间戳排列每一帧图像。

显示模块1040，还用于按照视频数据队列中的排列顺序播放视频数据队列中的每一帧图像。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图5中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种投屏方法，其特征在于，应用于被投屏设备，所述方法包括：

获取原始码流数据，所述原始码流数据为待投屏视频经过编码后得到的码流数据；

根据所述被投屏设备的视频处理速度和投屏设备的视频处理速度，将所述原始码流数据分割为至少一个第一子码流和至少一个第二子码流；

对所述第一子码流逐帧进行解码、超分辨率重建与编码，得到对应的目标码流数据；

将所述第一子码流对应的目标码流数据和所述第二子码流发送至所述投屏设备，使所述投屏设备通过解码所述目标码流数据得到第一视频，通过对所述第二子码流逐帧进行解码与超分辨率重建得到第二视频，以及播放所述第一视频和所述第二视频。

2.根据权利要求1所述的方法，其特征在于，所述根据所述被投屏设备的视频处理速度和投屏设备的视频处理速度，将所述原始码流数据分割为至少一个第一子码流和至少一个第二子码流，包括：

将所述原始码流数据分割为多个片段，根据所述被投屏设备的视频处理速度和投屏设备的视频处理速度，将每个片段分割为第一子码流和第二子码流。

3.根据权利要求1所述的方法，其特征在于，所述待投屏视频为所述被投屏设备的屏幕显示内容生成的视频。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一子码流逐帧进行解码、超分辨率重建与编码，得到对应的目标码流数据，包括：

对所述第一子码流逐帧进行解码、超分辨率重建后，采用图像编码方式对每一帧图像进行编码，得到所述第一子码流对应的目标码流数据。

5.根据权利要求1所述的方法，其特征在于，待投屏图像包括所述第一子码流中的每一帧图像；通过以下方式对所述待投屏图像进行超分辨率重建：

在所述待投屏视频中，以所述待投屏图像为当前帧图像，选取参考帧图像；

对所述当前帧图像和所述参考帧图像进行匹配，根据匹配结果确定插值参数；

采用所述插值参数对所述当前帧图像进行插值，得到所述待投屏图像对应的目标图像。

6.根据权利要求1所述的方法，其特征在于，待投屏图像包括所述第一子码流中的每一帧图像；通过以下方式对所述待投屏图像进行超分辨率重建：

根据所述投屏设备所需的分辨率，对所述待投屏图像进行超分辨率重建，得到所述待投屏图像对应的目标图像。

7.根据权利要求1所述的方法，其特征在于，待投屏图像包括所述第一子码流中的每一帧图像；在对所述待投屏图像进行超分辨率重建前，通过以下任意一种或多种方式对所述待投屏图像进行预处理：

图像增强、图像锐化、图像去噪、图像去模糊、图像去雾。

8.一种投屏方法，其特征在于，应用于投屏设备，所述方法包括：

从被投屏设备接收第一子码流对应的目标码流数据和第二子码流，所述第一子码流和所述第二子码流由所述被投屏设备根据所述被投屏设备的视频处理速度和所述投屏设备的视频处理速度对待投屏视频的原始码流数据经过分割后得到，所述目标码流数据由所述被投屏设备对所述第一子码流逐帧进行解码、超分辨率重建与编码后得到；

解码所述目标码流数据，得到第一视频；

对所述第二子码流逐帧进行解码与超分辨率重建，得到第二视频；

播放所述第一视频和所述第二视频。

9.根据权利要求8所述的方法，其特征在于，在得到所述第一视频中的任一帧图像或所述第二视频中的任一帧图像时，将其插入视频数据队列，并按照时间戳排列所述视频数据队列中的每一帧图像；

所述播放所述第一视频和所述第二视频，包括：

按照所述视频数据队列中的排列顺序播放所述视频数据队列中的每一帧图像。

10.一种投屏装置，其特征在于，应用于被投屏设备，所述装置包括：

图像获取模块，用于获取原始码流数据，所述原始码流数据为待投屏视频经过编码后得到的码流数据；根据所述被投屏设备的视频处理速度和投屏设备的视频处理速度，将所述原始码流数据分割为至少一个第一子码流和至少一个第二子码流；

解码器、超分辨率模块与编码器，分别用于对所述第一子码流逐帧进行解码、超分辨率重建与编码，得到对应的目标码流数据；

通信模块，用于将所述第一子码流对应的目标码流数据和所述第二子码流发送至所述投屏设备，使所述投屏设备通过解码所述目标码流数据得到第一视频，通过对所述第二子码流逐帧进行解码与超分辨率重建得到第二视频，以及播放所述第一视频和所述第二视频。

11.一种投屏装置，其特征在于，应用于投屏设备，所述装置包括：

通信模块，用于从被投屏设备接收第一子码流对应的目标码流数据和第二子码流，所述第一子码流和所述第二子码流由所述被投屏设备根据所述被投屏设备的视频处理速度和所述投屏设备的视频处理速度对待投屏视频的原始码流数据经过分割后得到，所述目标码流数据由所述被投屏设备对所述第一子码流逐帧进行解码、超分辨率重建与编码后得到；

第一处理模块，用于解码所述目标码流数据，得到第一视频；

第二处理模块，用于对所述第二子码流逐帧进行解码与超分辨率重建，得到第二视频；

显示模块，用于播放所述第一视频和所述第二视频。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

13.一种被投屏设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；以及

通信模块，用于和投屏设备形成连接；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。

14.一种投屏设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

通信模块，用于和被投屏设备形成连接；以及

显示器，用于显示图像或视频；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求8或9所述的方法。