CN116737097B - 一种投屏图像处理方法及电子设备 - Google Patents

Abstract

本申请提供一种投屏图像处理方法及电子设备，涉及投屏技术领域，可以实现投屏双端并行进行图像处理。该方案包括：第一电子设备获取待投屏图像，并进行分块处理，得到m个第一待投屏图像块与n个第二待投屏图像块；该第一电子设备对n个第二待投屏图像块进行第二图像处理，得到n个第二处理后图像块，向第二电子设备发送m个第一待投屏图像块与n个第二处理后图像块；第二电子设备接收m个第一待投屏图像块，并进行第一图像处理，得到m个第一处理后图像块；该第二电子设备还接收n个第二处理后图像块，对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像；该第二电子设备显示已处理投屏图像。

Description

一种投屏图像处理方法及电子设备

技术领域

本申请涉及投屏技术领域，尤其涉及一种投屏图像处理方法及电子设备。

背景技术

镜像投屏是在两个设备之间进行协同时经常用到的功能，但是由于投屏数据源质量(分辨率、清晰度)不一，投屏中的sink端屏幕尺寸大小也不同，导致sink端最终的显示效果较差。

随着人工智能技术的发展，基于人工智能的图像处理可以大幅度提升投屏的视频流的质量和效果，但是在镜像投屏场景中用户对投屏时延很敏感。如果对投屏的视频流的每一帧进行图像处理，会成倍的增加投屏时延，降低用户的投屏体验。

发明内容

本申请实施例提供一种投屏图像处理方法及电子设备及存储介质，用于解决投屏过程中对待投屏图像进行图像处理导致投屏时延成倍增加的问题，可以实现投屏双端并行进行图像处理，降低了投屏时延。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种投屏图像处理方法，该方法应用于投屏系统，该投屏系统包括第一电子设备和第二电子设备，第一电子设备获取待投屏图像，对该待投屏图像进行分块处理，得到至少一个第一待投屏图像块与至少一个第二待投屏图像块；第一电子设备向第二电子设备发送该第一待投屏图像块；第二电子设备接收该第一待投屏图像块，并对其进行第一图像处理，得到对应个数的第一处理后图像块；第一电子设备对该第二待投屏图像块进行第二图像处理，得到对应个数的第二处理后图像块，并向第二电子设备发送该第二处理后图像块；第二电子设备接收该第二处理后图像块，对接收到的第一处理后图像块与第二处理后图像块进行拼接处理，得到已处理投屏图像；第二电子设备显示该已处理投屏图像。

通过采用该技术方案，在投屏过程中，第一电子设备可以与第二电子设备对待投屏图像并行处理，降低投屏过程中的投屏时延，提高用户的投屏体验。

在一种可能的实现方式中，在第一电子设备获取待投屏图像之前，还包括：第一电子设备与第二电子设备响应于投屏指令，建立通信连接，投屏指令用于指示第一电子设备投屏至第二电子设备；第一电子设备与第二电子设备需要确定均支持在投屏过程中，并行处理投屏图像。若有电子设备不支持并行处理投屏图像，则不可以进行上述投屏图像处理方法。

在一种可能的实现方式中，该方法还包括：确定第一电子设备与第二电子设备均具备的图像处理能力；其中，第一图像处理和第二图像处理相同；或者，对同一个图像进行第一图像处理和第二图像处理得到的图像效果相同。这样可以保证不同图像块处理后的效果一致，与对整个图像帧直接进行处理相比只是计算量小，处理时延变低。

在一种可能的实现方式中，第一电子设备向第二电子设备发送第一待投屏图像块，包括：第一电子设备对第一待投屏图像进行图像编码处理，得到第一编码后图像，然后对第一编码后图像进行打包处理，得到第一打包图像数据，并向第二电子设备发送第一打包图像数据；第二电子设备接收第一待投屏图像块，对第一待投屏图像块进行第一图像处理，得到第一处理后图像块，包括：第二电子设备接收第一打包图像数据，并对其进行解包处理，得到第一编码后图像，然后对第一编码后图像进行图像解码处理，得到第一待投屏图像块，接着，对第一待投屏图像块进行第一图像处理，得到第一处理后图像块。

在一种可能的实现方式中，在向第二电子设备发送第一打包图像数据之前，该方法还包括：第一电子设备在第一打包图像数据中添加第一标记信息，用于指示第一打包图像数据中的图像块为未处理图像块；其中，对第一待投屏图像块进行第一图像处理，得到第一处理后图像块，包括：若第一打包图像数据中包括第一标记信息，则第二电子设备对第一待投屏图像块进行第一图像处理，得到第一处理后图像块。通过第一电子设备在打包数据中添加标记信息，第二电子设备可以根据接收到的打包数据中是否包含标记信息确定是否需要进行图像处理。

在一种可能的实现方式中，向第二电子设备发送第二处理后图像块，包括：第一电子设备对第二处理后图像块进行图像编码处理，得到第二编码后图像，然后对第二编码后图像进行打包处理，得到第二打包图像数据，并向第二电子设备发送第二打包图像数据；其中，第二电子设备接收第二处理后图像块，包括：第二电子设备接收第二打包图像数据，并进行解包处理，得到第二编码后图像，然后对第二编码后图像进行图像解码处理，得到第二处理后图像块。

在一种可能的实现方式中，在向第二电子设备发送第二打包图像数据之前，该方法还包括：第一电子设备在第二打包图像数据中添加第二标记信息，用于指示第二打包图像数据中的图像块为已处理图像块；其中，第二电子设备接收第二处理后图像块，对第一处理后图像块与第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：若第二打包图像数据中包括第二标记信息，则第二电子设备不处理第二处理后图像块，直接对第一处理后图像块与第二处理后图像块进行拼接处理，得到已处理投屏图像。

在一种可能的实现方式中，该方法还包括：第一电子设备对待投屏图像进行分块处理后，在第一待投屏图像块中的每个第一待投屏图像块中添加第一标号信息，指示对应第一待投屏图像块在待投屏图像中的位置，以及在第二待投屏图像块中的每个第二待投屏图像块中添加第二标号信息，指示对应第二待投屏图像块在待投屏图像中的位置；其中，对第一处理后图像块与第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：第二电子设备根据第一处理后图像块的第一标号信息与第二处理后图像块的第二标号信息，对第一处理后图像块与第二处理后图像块进行拼接处理，得到已处理投屏图像。第一电子设备通过在分块时进行标号处理，可以使得第二电子设备在最终的拼接时根据标号信息得到图像块在投屏图像中的位置，便于按位置顺序进行拼接。

在一种可能的实现方式中，对待投屏图像进行分块处理，得到至少一个第一待投屏图像块与至少一个第二待投屏图像块，包括：第一电子设备对待投屏图像进行平均分块处理，得到至少一个第一待投屏图像块与至少一个第二待投屏图像块。通过分均分块处理，在双端的图像处理能力相同时，可以提高图像处理的效率，进一步减少投屏时延。

第二方面，提供了一种投屏图像处理方法，该方法应用于第一电子设备，第一电子设备用于向第二电子设备投屏，包括：第一电子设备获取待投屏图像，对待投屏图像进行分块处理，得到m个第一待投屏图像块与n个第二待投屏图像块；其中，m≥1，n≥1，m和n均为整数；第一电子设备向第二电子设备发送m个第一待投屏图像块，以及对n个第二待投屏图像块进行第二图像处理，得到n个第二处理后图像块，并向第二电子设备发送n个第二处理后图像块；其中，m个第一待投屏图像块由第二电子设备进行第一图像处理得到m个第一处理后图像块，m个第一处理后图像块与n个第二处理后图像块拼接成用于第二电子设备显示的已处理投屏图像。由此，在第一电子设备只进行部分图像块的图像处理，另一部分图像块在第二电子设备中进行图像处理，降低了投屏时延。在获取待投屏图像之前，第一电子设备需要与第二电子设备建立通信连接，然后进行图像处理能力协商，确定第一电子设备和第二电子设备均具备并行处理的能力，以及具备的图像处理能力相同，或者对同一个图像进行第一图像处理和第二图像处理得到的图像效果相同。

在一种可能的实现方式中，第一电子设备向第二电子设备发送m个第一待投屏图像块，包括：第一电子设备对m个第一待投屏图像进行图像编码处理，得到m个第一编码后图像，然后对m个第一编码后图像进行打包处理，得到第一打包图像数据，并向第二电子设备发送第一打包图像数据；其中，第一打包图像数据由第二电子设备进行解包处理得到m个第一编码后图像，m个第一编码后图像由第二电子设备进行图像解码处理得到m个第一待投屏图像块，m个第一待投屏图像块由第二电子设备进行第一图像处理得到m个第一处理后图像块。

在一种可能的实现方式中，向第二电子设备发送n个第二处理后图像块，包括：第一电子设备对n个第二处理后图像块进行图像编码处理，得到n个第二编码后图像，然后对n个第二编码后图像进行打包处理，得到第二打包图像数据，并向第二电子设备发送第二打包图像数据；其中，由第二电子设备对第二打包图像数据进行解包处理得到n个第二编码后图像，由第二电子设备对n个第二编码后图像进行图像解码处理得到n个第二处理后图像块。

在一种可能的实现方式中，该方法还包括：第一电子设备对待投屏图像进行分块处理后，在m个第一待投屏图像块中的每个第一待投屏图像块中添加第一标号信息，指示对应第一待投屏图像块在待投屏图像中的位置，在n个第二待投屏图像块中的每个第二待投屏图像块中添加第二标号信息，指示对应第二待投屏图像块在待投屏图像中的位置；其中，第二电子设备可以根据第一标号信息与第二标号信息确定m个第一处理后图像块与n个第二处理后图像块的拼接位置，对m个第一处理后图像块与n个第二处理后图像块由进行拼接处理，得到已处理投屏图像。

第三方面，提供了一种投屏图像处理方法，应用于第二电子设备，第二电子设备用于显示第一电子设备的投屏图像，包括：第二电子设备接收来自第一电子设备的m个第一待投屏图像块，对m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块；第二电子设备接收来自第一电子设备的n个第二处理后图像块；其中，n个第二处理后图像块是第一电子设备对n个第二待投屏图像块进行第二图像处理得到的，m个第一待投屏图像块和n个第二待投屏图像块是对第一电子设备的待投屏图像进行分块处理得到的；第二电子设备对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像；第二电子设备显示已处理投屏图像。由此，在第一电子设备只进行部分图像块的图像处理，另一部分图像块在第二电子设备中进行图像处理，降低了投屏时延。

在接收第一电子设备的m个第一待投屏图像块之前，第一电子设备先获取待投屏图像，在第一电子设备获取待投屏图像之前，第一电子设备需要与第二电子设备建立通信连接，然后进行图像处理能力协商，确定第一电子设备和第二电子设备均具备并行处理的能力，以及具备的图像处理能力相同，或者对同一个图像进行第一图像处理和第二图像处理得到的图像效果相同。

在一种可能的实现方式中，第二电子设备接收来自第一电子设备的m个第一待投屏图像块，包括：第二电子设备接收第一打包图像数据，并对第一打包图像数据进行解包处理，得到m个第一编码后图像，然后对m个第一编码后图像进行图像解码处理，得到m个第一待投屏图像块，对m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块；其中，第一电子设备对m个第一待投屏图像块进行图像编码处理得到m个第一编码后图像，第一电子设备对m个第一编码后图像进行打包处理得到第一打包图像数据。

在一种可能的实现方式中，对m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块，包括：若第一打包图像数据中包括第一标记信息，则第二电子设备对m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块；其中，第一标记信息是由第一电子设备在第一打包图像数据中添加的，用于指示第一打包图像数据中的图像块为未处理图像块。第二电子设备可以直接根据打包图像数据中的标记信息确定是否需要进行图像处理，减少判断时长。

在一种可能的实现方式中，第二电子设备接收来自第一电子设备的n个第二处理后图像块，包括：第二电子设备接收第二打包图像数据，并对第二打包图像数据进行解包处理，得到n个第二编码后图像，然后对n个第二编码后图像进行图像解码处理，得到n个第二处理后图像块；其中，第二打包图像数据是第一电子设备对n个第二编码后图像进行打包处理得到的，n个第一编码后图像是第一电子设备对n个第二处理后图像块进行图像编码处理得到的。

在一种可能的实现方式中，第二电子设备对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：若第二打包图像数据中包括第二标记信息，则第二电子设备不处理n个第二处理后图像块，直接对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像；其中，第二标记信息是由第一电子设备在第二打包图像数据中添加的，用于指示第二打包图像数据中的图像块为已处理图像块。第二电子设备可以直接根据打包图像数据中的标记信息确定是否需要进行图像处理，减少判断时长。

在一种可能的实现方式中，对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：第二电子设备根据m个第一处理后图像块的第一标号信息与n个第二处理后图像块的第二标号信息，对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像；其中，第一电子设备对待投屏图像进行分块处理后，在m个第一待投屏图像块中的每个第一待投屏图像块中添加第一标号信息，指示对应第一待投屏图像块在待投屏图像中的位置，第一电子设备对待投屏图像进行分块处理后，在n个第二待投屏图像块中的每个第二待投屏图像块中添加第二标号信息，指示对应第二待投屏图像块在待投屏图像中的位置。由此，第二电子设备可以直接根据标号信息确定图像块在拼接时的位置，不会造成拼接图像的错误。

第四方面，提供了一种电子设备，该电子设备可以为第一电子设备或第二电子设备，该电子设备包括：通信模块、显示屏、存储器和一个或多个处理器；通信模块、显示屏、存储器和处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被电子设备执行时，使得电子设备执行如上述的投屏图像处理方法。

第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的投屏图像处理方法。

第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的投屏图像处理方法。

第七方面，提供了一种装置(例如，该装置可以是芯片系统)，该装置包括处理器，用于支持第一设备实现上述第一方面中所涉及的功能。在一种可能的设计中，该装置还包括存储器，该存储器，用于保存第一设备必要的程序指令和数据。该装置是芯片系统时，可以由芯片构成，也可以包含芯片和其他分立器件。

其中，第二方面至第七方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。

附图说明

图1A为本申请实施例提供的一种投屏系统的示意图；

图1B为本申请实施例提供的另一种投屏系统的示意图；

图2为本申请实施例提供的一种投屏单端图像处理的示意图；

图3为本申请实施例提供的一种电子设备的硬件结构示意图；

图4为本申请实施例提供的一种电子设备的软件示意图；

图5为本申请实施例提供的一种投屏图像处理方法的流程示意图

图6为本申请实施例提供的一种投屏系统能力交互的示意图；

图7为本申请实施例提供的一种图像分块方法的示意图；

图8为本申请实施例提供的一种投屏过程的流程示意图；

图9为本申请实施例提供的一种投屏图像处理方法的实现流程示意图；

图10为本申请实施例提供的一种芯片系统的示意图。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例提供一种投屏图像处理方法，该方法可以应用于具备投屏功能的电子设备。可以将电子设备分为Source端和Sink端。其中，将用户选择为发起音频或视频的设备为Source端，即视频流数据产生或主动发送端为Source端。接收的一个或多个设备均为Sink端。本申请实施例中的第一电子设备即为Source端，第二电子设备即为Sink端。其中，Source端与Sink端可以通过有线或无线的方式建立连接。基于建立的连接，Source端与Sink端可配合一起使用。具体的，Source端也即投屏设备，Sink端是被投屏设备；Source端可以通过投屏应用，将该Source端的屏幕内容投射到Sink端上显示。

例如，如图1A所示，本申请实施例提供一种投屏系统，该投屏系统包括手机102和平板101。手机102作为Source端，平板101作为Sink端，手机102向平板101进行投屏，手机102的显示图像作为待投屏图像投屏到平板101上，平板101上显示的投屏窗口103中的显示图像即为手机102投屏到平板101上的显示图像。图1A中，平板以小窗口显示手机102的投屏窗口103，投屏窗口103的显示内容与手机102的显示界面的内容相同。

其中，Source端在横屏状态下向Sink端投屏，Sink端可以以全窗口显示Source端的投屏窗口。例如，如图1B所示，本申请实施例提供一种投屏系统，该投屏系统包括手机202和平板201，手机202处于横屏状态，手机向平板投屏。图1B中，平板以全窗口显示手机的投屏窗口203，投屏窗口203的显示内容与手机的显示界面的内容相同。应注意，Sink端以全窗口显示Source端的投屏窗口，具体是指：投屏窗口占据Sink端的整个屏幕。例如，如图1B所示，平板的整个屏幕用于显示投屏窗口203。

在具体实现时，上述Source端可以为手机、平板电脑、手持计算机，PC，蜂窝电话，个人数字助理(personal digital assistant，PDA)，可穿戴式设备(如智能手表)，智能家居设备(如电视机)，车载电脑，游戏机，以及增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等包括显示屏的设备。上述Sink端可以为平板电脑、笔记本电脑、PC、智能电视机，以及投影仪等包括显示屏的设备。

一般而言，Sink端是大屏设备，而Source端的屏幕尺寸则较小。例如，图1A所示的Sink端(如平板)的屏幕尺寸大于Source端(如手机)的屏幕尺寸。这样，Source端将屏幕内容投射到Sink上显示，不仅可以减少由于Source端屏幕尺寸的限制对用户视觉体验的影响，还可以体现出大屏的优势。

在本实施例中，Sink端和Source端采用无线方式建立连接时，采用的无线通信协议可以为Wi-Fi协议、蓝牙(Bluetooth)协议、ZigBee协议、近距离无线通信(Near FieldCommunication，NFC)协议，各种蜂窝网协议等，在此不做具体限制。Sink端和Source端的有线连接可以包括：通用串行总线(Universal Serial Bus，USB)连接和高清多媒体接口(high definition multimedia interface，HDMI)。以下实施例中，以Sink端和Source端采用无线方式建立连接为例，介绍本申请实施例的方法。

上述Sink端和Source端可以是触屏设备，也可以是非触屏设备。在本实施例中，Sink端和Source端均是可以运行操作系统，安装应用，具有显示器(或者说显示屏)的终端。其中，远端设备和本端设备的操作系统可以是Android系统、ios系统、windows系统、mac系统、Linux系统等，本实施例在此不做具体限制。Sink端和Source端的操作系统可以相同，也可以不同。

目前，在Source端向Sink端投屏的过程中，由于投屏数据源质量(分辨率、清晰度)不一，投屏中的Sink端屏幕尺寸大小也不同，导致Sink端最终的显示效果较差。因此，如何使投屏的显示效果更好是亟待解决的问题。

在现有的一些方案中，可以通过单端进行图像处理的方法解决上述问题：如图2所示，图2中的(a)方案中，通过在sink端进行图像处理，例如大屏作为sink端本身有画质增强芯片和MEMC插帧芯片。图2中的(b)方案中，通过在source端进行图像处理，再传输数据。但是上述方法都是将图像处理的过程与编码、传输和解码过程串行起来进行，使投屏时延(主要由编码、传输、解码组成)在原有的基础上增加了图像处理的耗时，影响用户的投屏体验。

本申请实施例提供一种投屏图像处理方法及电子设备，可以通过将投屏的图像帧进行切片，实现了编码、传输和解码过程与图像处理过程并行进行，最大程度地降低了投屏中图像处理对投屏时延的影响。

在本申请实施例提供的投屏图像处理方法中，通过source端对获取的待投屏图像进行分块处理，得到两部分图像块，一部分图像块先发送给sink端，在sink端解码后做图像处理，另一部分图像块在source端做图像处理再发送给sink端，达到并行处理图像。

下面将结合附图对本申请实施例的实施方式进行详细描述。以上述source端是手机为例，介绍source端(如电子设备300)的硬件结构。其中，sink端的硬件结构可以参考本申请实施例对电子设备300的详细描述，本申请实施例这里不予赘述。

如图3所示，电子设备300可以包括：处理器310，外部存储器接口320，内部存储器321，通用串行总线(universal serial bus，USB)接口330，充电管理模块340，电源管理模块341，电池342，天线1，天线2，移动通信模块350，无线通信模块360，音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，传感器模块380，按键390，马达391，指示器392，摄像头393，显示屏394，以及用户标识模块(subscriber identification module，SIM)卡接口395等。

其中，上述传感器模块380可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。

可以理解的是，本实施例示意的结构并不构成对电子设备300的具体限定。在另一些实施例中，电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以是电子设备300的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器310的等待时间，因而提高了系统的效率。

在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备300的结构限定。在另一些实施例中，电子设备300也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块340用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块340可以通过USB接口330接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块340可以通过电子设备300的无线充电线圈接收无线充电输入。充电管理模块340为电池342充电的同时，还可以通过电源管理模块341为电子设备供电。

电源管理模块341用于连接电池342，充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入，为处理器310，内部存储器321，外部存储器，显示屏394，摄像头393，和无线通信模块360等供电。电源管理模块341还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块341也可以设置于处理器310中。在另一些实施例中，电源管理模块341和充电管理模块340也可以设置于同一个器件中。

电子设备300的无线通信功能可以通过天线1，天线2，移动通信模块350，无线通信模块360，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块350可以提供应用在电子设备300上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块350可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块350可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

移动通信模块350还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块350的至少部分功能模块可以被设置于处理器310中。在一些实施例中，移动通信模块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器370A，受话器370B等)输出声音信号，或通过显示屏394显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器310，与移动通信模块350或其他功能模块设置在同一个器件中。

无线通信模块360可以提供应用在电子设备300上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备300的天线1和移动通信模块350耦合，天线2和无线通信模块360耦合，使得电子设备300可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备300通过GPU，显示屏394，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏394和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏394用于显示图像，视频等。该显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。

电子设备300可以通过ISP，摄像头393，视频编解码器，GPU，显示屏394以及应用处理器等实现拍摄功能。

ISP用于处理摄像头393反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头393中。

摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备300可以包括1个或N个摄像头393，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备300在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备300可以支持一种或多种视频编解码器。这样，电子设备300可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备300的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口320可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备300的存储能力。外部存储卡通过外部存储器接口320与处理器310通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令，从而执行电子设备300的各种功能应用以及数据处理。例如，在本申请实施例中，处理器310可以通过执行存储在内部存储器321中的指令，内部存储器321可以包括存储程序区和存储数据区。

其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备300使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器321可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflash storage，UFS)等。

电子设备300可以通过音频模块370，扬声器370A，受话器370B，麦克风370C，耳机接口370D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏394，由触摸传感器与显示屏394组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏394提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备300的表面，与显示屏394所处的位置不同。

本申请实施例中，电子设备300可以通过触摸传感器检测到用户在触摸屏输入的触摸操作，并采集该触摸操作在触摸屏上的触控位置，触控面积，触控方向，以及触控时间等中的一项或多项。在一些实施例中，电子设备300可以通过触摸传感器和压力传感器结合起来，确定触摸操作在触摸屏的触控位置。

按键390包括开机键，音量键等。按键390可以是机械按键。也可以是触摸式按键。电子设备300可以接收按键输入，产生与电子设备300的用户设置以及功能控制有关的键信号输入。

马达391可以产生振动提示。马达391可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏394不同区域的触摸操作，马达391也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器392可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口395用于连接SIM卡。SIM卡可以通过插入SIM卡接口395，或从SIM卡接口395拔出，实现和电子设备300的接触和分离。电子设备300可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口395可以支持Nano SIM卡，Micro SIM卡，SIM卡等。

以下实施例中的方法均可以在具有上述硬件结构的电子设备300中实现。

其中，电子设备300(如Source端或者Sink端)的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明Source端或者Sink端的软件结构。

图4是本申请实施例提供的Source端和Sink端的软件结构框图。分层架构可将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为三层，从上至下分别为应用程序层(简称应用层，Application)，应用程序框架层(简称框架层，Framework)，安卓运行时(Android runtime)和系统库，以及内核层(Kernel，也称为驱动层)。例如，如图4所示，Source端可以包括应用层400、框架层401、系统库402和驱动层403；Sink端可以包括应用层410、框架层411、系统库412和驱动层413。

应用层：可以包括一系列应用程序包。例如，图4所示的应用层400和应用层410可以包括：普通应用、投屏管理相关的应用和系统(System)UI的应用。

普通应用可以为相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息以及桌面启动(Launcher)等应用程序。System UI的应用可以包括电子设备300(如Source端和Sink端)的导航栏和状态栏等。投屏管理相关的应用可以包括设备连接应用和投屏显示应用。其中，设备连接应用用于管理跨设备(如Source端和Sink端)之间用于实现投屏的有线或无线连接。投屏显示应用用于显示Source端向Sink端投射的投屏内容或投屏界面。

框架层(Framework)为应用层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。如图4所示，框架层可以提供基础框架、跨设备管理框架和数据管理模块。

其中，基础框架负责系统的窗口显示模块、图层管理模块等基础能力。

跨设备连接管理框架用于管理跨设备(如Source端和Sink端)之间的连接协议(如Wi-Fi连接协议或蓝牙连接协议等)。数据管理模块用于管理跨设备场景(如多屏协同场景)下，Source端向Sink端的数据通信。例如，如图4所示，数据管理模块可用于管理Source端向Sink端传输的投屏数据。投屏数据可以包括投屏的音视频数据和图层数据，该音视频数据和图层数据也可以称为屏幕图像数据。

系统库可以包括多个功能模块，例如，图像处理模块，Source端可以通过图像处理模块进行图像的分块、图像处理等，Sink端图像处理模块进行图像处理。

驱动层可提供Source端和Sink端之间的设备发现、设备认证、设备连接和设备能力协商等能力。例如，如图4所示，Source端和Sink端可执行设备发现和认证连接，以建立Source端和Sink端之间的连接(如有线或无线连接)。上述投屏数据可通过驱动层所建立的连接传输。

综上所述，如图4所示，本申请实施例Source端和Sink端可通过驱动层，执行上述设备发现、认证、连接和能力协商流程。Source端和Sink端中的投屏管理相关的应用、框架层的数据管理模块和驱动层，可支持Source端和Sink端执行上述投屏流程。Source端和Sink端可以通过系统层的图像处理模块实现图像的渲染，合成，分块处理，图像处理等。Source端和Sink端可以通过驱动层建立的连接，传输上述投屏数据。

本申请实施例提供一种投屏图像处理方法，请参阅图5，图5是本申请实施例提供的一种投屏图像处理实现流程图。如图5所示，该投屏图像处理方法可以包括S501-S507。其中，本申请实施例中的第一电子设备即为上述Source端，第二电子设备即为上述Sink端。

S501、第一电子设备获取待投屏图像，对待投屏图像进行分块处理，得到m个第一待投屏图像块与n个第二待投屏图像块。

本申请实施例中，在执行S501之前，第一电子设备与第二电子设备需要先建立通信连接。具体的，在第一电子设备和第二电子设备在接收到投屏指令后，第一电子设备与第二电子设备响应于该投屏指令，建立通信连接，其中，投屏指令指示第一电子设备投屏至第二电子设备。例如，第一电子设备接收根据用户的投屏触发操作生成的投屏指令，确定要投屏的目标电子设备作为第二电子设备，并向第二电子设备发送投屏请求，第二电子设备接收到投屏请求后，与第一电子设备建立通信连接。

其中，在第一电子设备与第二电子设备建立通信连接后，二者需要进行协商，确定是否进行并行处理投屏图像。也即，需要第一电子设备与第二电子设备之间进行能力交互，判断二者是否都具备并行处理的能力。若第一电子设备与第二电子设备都具备并行处理的能力，则第一电子设备与第二电子设备可以继续进行本申请实施例所述投屏图像处理方法；若两者都不具备并行处理的能力或有一方不具备并行处理的能力，则都不能再继续本申请实施例所述投屏图像处理方法，而是使用其他投屏方法。

其中，图6为本申请实施例提供的一种能力交互示意图。如图6所示，在第一电子设备与第二电子设备建立通信连接后，第一电子设备与第二电子设备进行图像处理能力协商，也即，确定第一电子设备与第二电子设备均支持在第一电子设备向第二电子设备投屏过程中，并行处理投屏图像。比如，第一电子设备查询自身的能力信息，向第二电子设备发送该能力信息，第二电子设备通过接收到的第一电子设备的能力信息中确定第一电子设备是否支持并行处理投屏图像。第二电子设备同时也查询自身的能力信息，然后将该能力信息发送给第一电子设备，第一电子设备同样通过接收到的第二电子设备的能力信息中确定第二电子设备是否支持并行处理投屏图像。若第一电子设备和第二电子设备均支持并行处理，则可以继续进行并行处理方法。例如，能力信息中包括并行处理字段，若并行处理字段为IsSupportParallelProc，则表示对应电子设备支持并行处理投屏图像；也即，若第一电子设备和第二电子设备的能力信息中均包含有上述字段，则表示第一电子设备和第二电子设备支持并行处理投屏图像。

在确定第一电子设备和第二电子设备均支持并行处理后，第一电子设备可以获取待投屏图像。其中，待投屏图像是第一电子设备在本地合成的。在获取待投屏图像后，第一电子设备可以对待投屏图像进行分块处理。可以理解的是，投屏过程是实时进行的，那么待投屏图像也是实时获取的带有时序标记的图像帧。其中，在第一电子设备对待投屏图像进行分块处理后，得到至少一个第一待投屏图像块与至少一个第二待投屏图像块。其中，第一待投屏图像块与第二待投屏图像块的数量是整数，本申请中设第一待投屏图像块的个数为m个，第二待投屏图像块的个数为n个。其中，m≥1，n≥1，m和n均为整数。

在本申请实施例中，第一待投屏图像块与第二待投屏图像块的数量可以是相同的，即m等于n。例如，请参阅图7，图7为本申请实施例提供的一种图像分块处理的示意图。如图7所示，对图像帧700进行分块处理，也称为切片处理，得到4个图像块，得到2个第一待投屏图像块701和2个第二待投屏图像块702。分块后的图像块分辨率长宽均为原图像帧的1/2。可以理解的是，图7中的分块数量仅为示例，也可以分为2块，6块，8块等，使得图像块可以均分即可。

在一些实施例中，第一待投屏图像块与第二待投屏图像块的数量也可以是不相同的，具体可以根据第一电子设备和第二电子设备的图像处理速度来决定。比如，若第一电子设备的图像处理速度比第二电子设备更快，则可以让第一待投屏图像块的数量大于第二待投屏图像块的数量。

第一电子设备对图像帧进行分块处理之后，可以对得到的图像块进行标号处理。其中，该标号处理用于标记每个图像块在图像帧中的位置。

具体的，第一电子设备可以在m个第一待投屏图像块中的每个第一待投屏图像块中添加第一标号信息，在n个第二待投屏图像块中的每个第二待投屏图像块中添加第二标号信息；第一标号信息用于指示对应第一待投屏图像块在待投屏图像中的位置，第二标号信息用于指示对应第二待投屏图像块在待投屏图像中的位置。如图7所示，标号顺序按从左到右、从上到下标为1、2、3、4，将标号为1和标号为2的图像块作为第一待投屏图像块701，将标号为3和标号为4的图像块作为第二待投屏图像块702。可以理解的是，图7中的标号方法和形式仅为示例，也不一定按照顺序进行标号，也不一定以阿拉伯数字作为标号形式；本申请对此不作限制，只需要对图像块进行区分即可。

由此，在第二电子设备对图像块进行拼接时，可以根据标号信息得到图像块在图像帧中的位置，便于拼接。

S502、第一电子设备向第二电子设备发送m个第一待投屏图像块。

具体的，第一电子设备对m个第一待投屏图像块进行图像编码处理，即把第一待投屏图像块送入第一电子设备的编码器进行编码，得到m个第一编码后图像块。然后对m个第一编码后图像块进行打包处理，得到第一打包图像数据，并向第二电子设备发送该第一打包图像数据。

其中，在数据打包时，需要对打包图像数据进行标记，比如在第一打包图像数据中添加标记信息，指示第一打包图像数据中的图像块是未进行图像处理的图像块，将该标记信息作为第一标记信息，与后续已经进行图像处理的图像块的标记信息形成区分。这样的话，在第二电子设备接收到打包图像数据后，可以根据其中的标记信息对图像块进行区分，确定是否需要第二电子设备对其进行图像处理。例如，标记信息可以是在数据打包中增加一个携带是否已进行图像处理的字段，用于第二电子设备进行区分。

S503、第二电子设备接收m个第一待投屏图像块，对m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块。

具体的，第二电子设备接收第一电子设备发送的第一打包数据，然后将第一打包数据进行解包，可以得到m个第一编码后图像块，接着将第一编码后图像块进行图像解码处理，即把第一编码后图像块送入第二电子设备的解码器中进行解码，可以得到m个第一待投屏图像块。

其中，第二电子设备确定第一打包数据中是否包含有第一标记信息。若有，则表示第一打包图像数据中的图像块是未处理的图像块，则第二电子设备需要对得到的m个第一待投屏图像进行图像处理，也即把m个第一待投屏图像送入第二电子设备的图像处理模块中进行图像处理，得到m个第一处理后图像块。其中，将上述第二电子设备进行的图像处理作为第一图像处理。

S504、第一电子设备对n个第二待投屏图像块进行第二图像处理，得到n个第二处理后图像块。

在第一电子设备向第二电子设备发送第一待投屏图像块的同时，第一电子设备对分块得到的n个第二待投屏图像块进行图像处理，即把第二待投屏图像块送入第一电子设备的图像处理模块中进行处理，得到n个第二处理后图像块。其中，将上述第一电子设备进行的图像处理作为第二图像处理。

可以理解的是，第一电子设备向第二电子设备发送第一待投屏图像块，与第一电子设备对第二待投屏图像块进行图像处理，在第一电子设备中是并行处理的过程。

S505、第一电子设备向第二电子设备发送n个第二处理后图像块。

在第一电子设备处理第二待投屏图像块得到第二处理后图像块后，向向第二电子设备发送n个第二处理后图像块。具体的，第一电子设备对n个第二处理后图像块进行图像编码处理，即把第二处理后图像块送入第一电子设备的编码器进行编码，得到n个第二编码后图像块。然后对n个第二编码后图像块进行打包处理，得到第二打包图像数据，并向第二电子设备发送该第二打包图像数据。

其中，在数据打包时，需要对打包图像数据进行标记，比如在第二打包图像数据中添加标记信息，指示第二打包图像数据中的图像块是已进行图像处理的图像块，将该标记信息作为第二标记信息，与未进行图像处理的图像块的标记信息形成区分。例如，标记信息可以是在数据打包中增加一个携带已进行图像处理的字段，用于第二电子设备进行区分。

其中，为了保证不同图像块处理后的效果一致，与对整个图像直接进行处理相比只是计算量小，处理时延变低，本申请实施例在进行上述的图像处理能力协商时，还包括确定第一电子设备与第二电子设备均具备的图像处理能力。具体的，第一图像处理和第二图像处理相同；或者，对同一个图像进行第一图像处理和第二图像处理得到的图像效果相同。其中，第一图像处理和第二图像处理相同即表示在第一电子设备和第二电子设备的图像处理模块中使用完全相同的图像处理算法；对同一个图像进行第一图像处理和第二图像处理得到的图像效果相同，也即表示在第一电子设备和第二电子设备的图像处理模块中使用的图像处理算法可以不相同，但需要保证最终的图像处理效果是相同的。

其中，图像处理是指基于人工智能(Artificial Intelligence，AI)的图像处理，包括但不限于降噪、超分辨率、插帧、美颜等，这些都有成熟的算法模型，本申请在此不作赘述。

S506、第二电子设备接收n个第二处理后图像块，对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像。

具体的，第二电子设备接收第一电子设备发送的第二打包数据，然后将第二打包数据进行解包，可以得到n个第二编码后图像块，接着将第二编码后图像块进行图像解码处理，即把第二编码后图像块送入第二电子设备的解码器中进行解码，可以得到n个第二处理后图像块。

其中，第二电子设备确定第二打包数据中是否包含有第一标记信息。若有，则表示第二打包图像数据中的图像块是已进行图像处理的图像块，则第二电子设备不需要对得到的n个图像进行图像处理，可以直接对其进行拼接操作。具体的，第二电子设备将接收到的n个第二已处理图像块与处理完成的m个第一已处理图像块进行拼接处理，得到完整的已处理投屏图像。

其中，由于分块之后的图像块中带有标号信息，第二电子设备可以根据m个第一处理后图像块的标号信息与n个第二处理后图像块的标号信息，确定m个第一处理后图像块与n个第二处理后图像块的拼接位置，然后根据拼接位置对m个第一处理后图像块与n个第二处理后图像块进行拼接处理，得到已处理投屏图像。

S507、第二电子设备显示已处理投屏图像。

本申请实施例中，在第二电子设备拼接得到完整的已处理图像后，将已处理投屏图像送显，即在第二电子设备显示已处理投屏图像。

由此，在投屏过程中通过上述将投屏的图像帧切片，实现了编码、传输和解码过程与图像处理过程并行进行，最大程度地降低了投屏中图像处理对投屏时延的影响。本申请实施例所述的投屏图像处理方法在理论上支持镜像投屏且双端都可以运行图像处理方法的场景均可使用。

请参阅图8，图8为本申请实施例提供的一种投屏过程的流程示意图。如图8所示，在开始投屏后，投屏双端建立连接，并协商是否对图像帧进行双端并行图像处理流程。若确定进行，则Source端获取在本地合成的图像帧，将图像帧进行切片/分块，并按顺序对切分得到的图像块进行标号。Source端将标号靠前的一部分图像块先直接送入编码器进行编码处理，得到编码后的图像块，在打包时标记为未处理的图像块，然后向Sink端发送打包后的图像数据。同时，Source端将标号靠后的一部分图像块先送入Source端的图像处理模块进行图像处理，得到处理后的图像块，然后将该处理后的图像块送入编码器进行编码处理，得到编码后的图像块，在打包时标记为已处理的图像块，然后向Sink端发送打包后的图像数据。Sink端接收打包后的图像数据，对打包后的图像数据进行解包操作，再将解包后得到图像块送入解码器进行解码处理。若根据标记确定是未处理的图像块，则Sink端将该部分图像块送入Sink端的图像处理模块进行图像处理，得到处理后的图像块。若根据标记确定是已处理的图像块，则Sink端不对该部分图像块进行图像处理，将这两部分已处理的图像块按标号顺序进行重新拼接，得到完整的已处理图像帧。然后将已处理的图像帧送显。由此，通过将图像帧分为两部分图像块，在Source和Sink端进行并行图像处理，可以使用户看到质量更高的投屏画面的同时，降低投屏时延，提升用户的投屏体验。

请参阅图9，图9为本申请实施例提供的一种投屏图像处理方法的实现流程示意图。如图9所示，在source端获取待投屏的图像帧901，对图像帧901进行分块处理，如图分成4块，并用a,b,c,d对得到图像块进行标号处理，得到a图像块，b图像块，c图像块和d图像块。将a图像块和b图像块作为第一待投屏图像块902，直接进行编码与传输，传输给sink端，在sink端进行解码得到第一待投屏图像块902。然后，sink端对第一待投屏图像块902进行图像处理，得到第一处理后图像块904，也即A图像块和B图像块。可以理解的是，A和B标号指示的位置与对应的a，b标号指示的位置相同。

source端将c图像块和d图像块作为第二待投屏图像块903，直接对其进行图像处理，得到第二处理后图像块905，也即C图像块和D图像块。可以理解的是，C和D标号指示的位置与对应的c，d标号指示的位置相同。然后source端对C图像块和D图像块进行编码与传输，传输给sink端，在sink端进行解码得到第二处理后图像块905。

最后，第二电子设备将第一处理后图像块904和第二处理后图像块905按对应的标号位置进行拼接处理，得到完整的处理后图像帧。上述的投屏图像处理方法实现了编码、传输和解码过程与图像处理过程并行进行，降低了投屏中图像处理对投屏时延的影响。

本申请实施例还提供一种芯片系统，如图10所示，该芯片系统1000包括至少一个处理器1001和至少一个接口电路1002。处理器1001和接口电路1002可通过线路互联。例如，接口电路1002可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路1002可用于向其它装置(例如处理器1001)发送信号。示例性的，接口电路1002可读取存储器中存储的指令，并将该指令发送给处理器1001。当所述指令被处理器1001执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种投屏图像处理方法，其特征在于，应用于投屏系统，所述投屏系统包括第一电子设备和第二电子设备，包括：

所述第一电子设备获取待投屏图像，对所述待投屏图像进行分块处理，得到m个第一待投屏图像块与n个第二待投屏图像块；其中，m≥1，n≥1，m和n均为整数；

所述第一电子设备向所述第二电子设备发送所述m个第一待投屏图像块；

所述第二电子设备接收所述m个第一待投屏图像块，对所述m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块；

所述第一电子设备对所述n个第二待投屏图像块进行第二图像处理，得到n个第二处理后图像块，并向所述第二电子设备发送所述n个第二处理后图像块；其中，所述第一电子设备向所述第二电子设备发送所述m个第一待投屏图像块，与所述第一电子设备对所述n个第二待投屏图像块进行所述第二图像处理是并行处理的；所述第一图像处理与所述第二图像处理是基于人工智能的图像处理；

所述第二电子设备接收所述n个第二处理后图像块，对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到已处理投屏图像；

所述第二电子设备显示所述已处理投屏图像。

2.根据权利要求1所述的投屏图像处理方法，其特征在于，在所述第一电子设备获取待投屏图像之前，还包括：

所述第一电子设备与所述第二电子设备响应于投屏指令，建立通信连接，所述投屏指令用于指示所述第一电子设备投屏至所述第二电子设备；

所述第一电子设备与所述第二电子设备进行图像处理能力协商；

其中，所述图像处理能力协商包括：确定所述第一电子设备与所述第二电子设备均支持在所述第一电子设备向所述第二电子设备投屏过程中，并行处理投屏图像。

3.根据权利要求2所述的投屏图像处理方法，其特征在于，所述图像处理能力协商还包括：确定所述第一电子设备与所述第二电子设备均具备的图像处理能力；

其中，所述第一图像处理和所述第二图像处理相同。

4.根据权利要求2所述的投屏图像处理方法，其特征在于，所述图像处理能力协商还包括：确定所述第一电子设备与所述第二电子设备均具备的图像处理能力；

其中，对同一个图像进行所述第一图像处理和所述第二图像处理得到的图像效果相同。

5.根据权利要求1-4中任一项所述的投屏图像处理方法，其特征在于，所述第一电子设备向所述第二电子设备发送所述m个第一待投屏图像块，包括：

所述第一电子设备对所述m个第一待投屏图像进行图像编码处理，得到m个第一编码后图像；

所述第一电子设备对所述m个第一编码后图像进行打包处理，得到第一打包图像数据，并向所述第二电子设备发送所述第一打包图像数据；

所述第二电子设备接收所述m个第一待投屏图像块，对所述m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块，包括：

所述第二电子设备接收所述第一打包图像数据，并对所述第一打包图像数据进行解包处理，得到所述m个第一编码后图像；

所述第二电子设备对所述m个第一编码后图像进行图像解码处理，得到所述m个第一待投屏图像块，对所述m个第一待投屏图像块进行所述第一图像处理，得到所述m个第一处理后图像块。

6.根据权利要求5所述的投屏图像处理方法，其特征在于，在所述向所述第二电子设备发送所述第一打包图像数据之前，所述方法还包括：

所述第一电子设备在所述第一打包图像数据中添加第一标记信息，所述第一标记信息用于指示所述第一打包图像数据中的图像块为未处理图像块；

其中，所述对所述m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块，包括：

若所述第一打包图像数据中包括所述第一标记信息，则所述第二电子设备对所述m个第一待投屏图像块进行第一图像处理，得到所述m个第一处理后图像块。

7.根据权利要求1-4、6中任一项所述的投屏图像处理方法，其特征在于，所述向所述第二电子设备发送所述n个第二处理后图像块，包括：

所述第一电子设备对所述n个第二处理后图像块进行图像编码处理，得到n个第二编码后图像；

所述第一电子设备对所述n个第二编码后图像进行打包处理，得到第二打包图像数据，并向所述第二电子设备发送所述第二打包图像数据；

其中，所述第二电子设备接收所述n个第二处理后图像块，包括：

所述第二电子设备接收所述第二打包图像数据，并对所述第二打包图像数据进行解包处理，得到所述n个第二编码后图像；

所述第二电子设备对所述n个第二编码后图像进行图像解码处理，得到所述n个第二处理后图像块。

8.根据权利要求7所述的投屏图像处理方法，其特征在于，在所述向所述第二电子设备发送所述第二打包图像数据之前，所述方法还包括：

所述第一电子设备在所述第二打包图像数据中添加第二标记信息，所述第二标记信息用于指示所述第二打包图像数据中的图像块为已处理图像块；

其中，所述第二电子设备接收所述n个第二处理后图像块，对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：

若所述第二打包图像数据中包括所述第二标记信息，则所述第二电子设备不处理所述n个第二处理后图像块，直接对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到所述已处理投屏图像。

9.根据权利要求1-4、6、8中任一项所述的投屏图像处理方法，其特征在于，所述方法还包括：

所述第一电子设备对所述待投屏图像进行分块处理后，在所述m个第一待投屏图像块中的每个第一待投屏图像块中添加第一标号信息，在所述n个第二待投屏图像块中的每个第二待投屏图像块中添加第二标号信息；其中，所述第一标号信息用于指示对应第一待投屏图像块在所述待投屏图像中的位置，所述第二标号信息用于指示对应第二待投屏图像块在所述待投屏图像中的位置；

其中，所述对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：

所述第二电子设备根据所述m个第一处理后图像块的第一标号信息与所述n个第二处理后图像块的第二标号信息，对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到所述已处理投屏图像。

10.根据权利要求1-4、6、8中任一项所述的投屏图像处理方法，其特征在于，所述对所述待投屏图像进行分块处理，得到m个第一待投屏图像块与n个第二待投屏图像块，包括：

所述第一电子设备对所述待投屏图像进行平均分块处理，得到所述m个第一待投屏图像块与所述n个第二待投屏图像块。

11.一种投屏图像处理方法，其特征在于，应用于第一电子设备，所述第一电子设备用于向第二电子设备投屏，包括：

所述第一电子设备获取待投屏图像，对所述待投屏图像进行分块处理，得到m个第一待投屏图像块与n个第二待投屏图像块；其中，m≥1，n≥1，m和n均为整数；

所述第一电子设备向所述第二电子设备发送所述m个第一待投屏图像块；

所述第一电子设备对所述n个第二待投屏图像块进行第二图像处理，得到n个第二处理后图像块，并向所述第二电子设备发送所述n个第二处理后图像块；其中，所述第一电子设备向所述第二电子设备发送所述m个第一待投屏图像块，与所述第一电子设备对所述n个第二待投屏图像块进行所述第二图像处理是并行处理的；

其中，所述m个第一待投屏图像块由所述第二电子设备进行第一图像处理得到m个第一处理后图像块，所述m个第一处理后图像块与所述n个第二处理后图像块拼接成用于所述第二电子设备显示的已处理投屏图像；所述第一图像处理与所述第二图像处理是基于人工智能的图像处理。

12.根据权利要求11所述的投屏图像处理方法，其特征在于，所述第一电子设备向所述第二电子设备发送所述m个第一待投屏图像块，包括：

所述第一电子设备对所述m个第一待投屏图像进行图像编码处理，得到m个第一编码后图像；

所述第一电子设备对所述m个第一编码后图像进行打包处理，得到第一打包图像数据，并向所述第二电子设备发送所述第一打包图像数据；

其中，所述第一打包图像数据由所述第二电子设备进行解包处理得到所述m个第一编码后图像，所述m个第一编码后图像由所述第二电子设备进行图像解码处理得到所述m个第一待投屏图像块，所述m个第一待投屏图像块由所述第二电子设备进行第一图像处理得到m个第一处理后图像块。

13.根据权利要求11或12所述的投屏图像处理方法，其特征在于，所述向所述第二电子设备发送所述n个第二处理后图像块，包括：

所述第一电子设备对所述n个第二处理后图像块进行图像编码处理，得到n个第二编码后图像；

所述第一电子设备对所述n个第二编码后图像进行打包处理，得到第二打包图像数据，并向所述第二电子设备发送所述第二打包图像数据；

其中，所述第二打包图像数据由所述第二电子设备进行解包处理得到所述n个第二编码后图像，所述n个第二编码后图像由所述第二电子设备进行图像解码处理得到所述n个第二处理后图像块。

14.根据权利要求11或12所述的投屏图像处理方法，其特征在于，所述方法还包括：

所述第一电子设备对所述待投屏图像进行分块处理后，在所述m个第一待投屏图像块中的每个第一待投屏图像块中添加第一标号信息，在所述n个第二待投屏图像块中的每个第二待投屏图像块中添加第二标号信息；其中，所述第一标号信息用于指示对应第一待投屏图像块在所述待投屏图像中的位置，所述第二标号信息用于指示对应第二待投屏图像块在所述待投屏图像中的位置；

其中，所述m个第一处理后图像块与所述n个第二处理后图像块由所述第二电子设备根据所述第一标号信息与所述第二标号信息进行拼接处理得到所述已处理投屏图像。

15.一种投屏图像处理方法，其特征在于，应用于第二电子设备，所述第二电子设备用于显示第一电子设备的投屏图像，包括：所述第二电子设备接收来自所述第一电子设备的m个第一待投屏图像块，对所述m个第一待投屏图像块进行第一图像处理，得到m个第一处理后图像块；

所述第二电子设备接收来自所述第一电子设备的n个第二处理后图像块；其中，所述n个第二处理后图像块是所述第一电子设备对n个第二待投屏图像块进行第二图像处理得到的，所述m个第一待投屏图像块和所述n个第二待投屏图像块是对所述第一电子设备的待投屏图像进行分块处理得到的；其中，所述第一电子设备向所述第二电子设备发送所述m个第一待投屏图像块，与所述第一电子设备对所述n个第二待投屏图像块进行所述第二图像处理是并行处理的；所述第一图像处理与所述第二图像处理是基于人工智能的图像处理；

所述第二电子设备对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到已处理投屏图像；

所述第二电子设备显示所述已处理投屏图像。

16.根据权利要求15所述的投屏图像处理方法，其特征在于，所述第二电子设备接收来自所述第一电子设备的m个第一待投屏图像块，包括：

所述第二电子设备接收第一打包图像数据，并对所述第一打包图像数据进行解包处理，得到m个第一编码后图像；

所述第二电子设备对所述m个第一编码后图像进行图像解码处理，得到所述m个第一待投屏图像块，对所述m个第一待投屏图像块进行所述第一图像处理，得到所述m个第一处理后图像块；

其中，所述第一打包图像数据是所述第一电子设备对m个第一编码后图像进行打包处理得到的，所述m个第一编码后图像是所述第一电子设备对所述m个第一待投屏图像块进行图像编码处理得到的。

17.根据权利要求16所述的投屏图像处理方法，其特征在于，所述对所述m个第一待投屏图像块进行所述第一图像处理，得到所述m个第一处理后图像块，包括：

若所述第一打包图像数据中包括第一标记信息，则所述第二电子设备对所述m个第一待投屏图像块进行第一图像处理，得到所述m个第一处理后图像块；

其中，所述第一标记信息是由所述第一电子设备在所述第一打包图像数据中添加的，所述第一标记信息用于指示所述第一打包图像数据中的图像块为未处理图像块。

18.根据权利要求15-17任一项所述的投屏图像处理方法，其特征在于，所述第二电子设备接收来自所述第一电子设备的n个第二处理后图像块，包括：

所述第二电子设备接收第二打包图像数据，并对所述第二打包图像数据进行解包处理，得到n个第二编码后图像；

所述第二电子设备对所述n个第二编码后图像进行图像解码处理，得到所述n个第二处理后图像块；

其中，所述第二打包图像数据是所述第一电子设备对n个第二编码后图像进行打包处理得到的，所述n个第二编码后图像是所述第一电子设备对所述n个第二处理后图像块进行图像编码处理得到的。

19.根据权利要求18所述的投屏图像处理方法，其特征在于，所述第二电子设备对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：

若所述第二打包图像数据中包括第二标记信息，则所述第二电子设备不处理所述n个第二处理后图像块，直接对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到所述已处理投屏图像；

其中，所述第二标记信息是由所述第一电子设备在所述第二打包图像数据中添加的，所述第二标记信息用于指示所述第二打包图像数据中的图像块为已处理图像块。

20.根据权利要求15-17中任一项所述的投屏图像处理方法，其特征在于，所述对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到已处理投屏图像，包括：

所述第二电子设备根据所述m个第一处理后图像块的第一标号信息与所述n个第二处理后图像块的第二标号信息，对所述m个第一处理后图像块与所述n个第二处理后图像块进行拼接处理，得到所述已处理投屏图像；

其中，所述第一标号信息是由所述第一电子设备对所述待投屏图像进行分块处理后，在所述m个第一待投屏图像块中的每个第一待投屏图像块中添加的，所述第二标号信息是由所述第一电子设备对所述待投屏图像进行分块处理后，在所述n个第二待投屏图像块中的每个第二待投屏图像块中添加的；其中，所述第一标号信息用于指示对应第一待投屏图像块在所述待投屏图像中的位置，所述第二标号信息用于指示对应第二待投屏图像块在所述待投屏图像中的位置。

21.一种电子设备，其特征在于，所述电子设备为第一电子设备或第二电子设备，所述电子设备包括：通信模块、显示屏、存储器和一个或多个处理器；所述通信模块、所述显示屏、所述存储器和所述处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-20任一项所述的方法。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在移动终端中运行时，使得所述移动终端执行如权利要求1至20中任一项所述的方法。