CN113687803A - 投屏方法、投屏源端、投屏目的端、投屏系统及存储介质 - Google Patents

Abstract

本文提供一种投屏方法、投屏源端、投屏目的端、投屏系统及存储介质。投屏方法应用于具有视频通话功能的投屏源端，方法包括：在视频通话状态下，接收投屏目的端发送的用户第一通话图像；生成用于投屏源端显示的视频通话界面，视频通话界面包括用户第一通话图像以及界面元素；向投屏目的端发送界面元素的图像数据，以使得投屏目的端将界面元素以及用户第二通话图像进行合成，以生成用于投屏目的端显示的界面；其中，用户第二通话图像为投屏目的端接收到界面元素的图像数据时，投屏目的端的摄像头采集的图像。本申请能够降低视频通话过程中的用户感知时延。

Description

投屏方法、投屏源端、投屏目的端、投屏系统及存储介质

技术领域

本申请涉及终端技术领域，尤其涉及一种投屏方法、投屏源端、投屏目的端、投屏系统以及计算机可读存储介质。

背景技术

随着终端设备的普及，用户往往会拥有多台终端设备(例如，可穿戴设备、手机、平板电脑等)，多屏互动技术可以为用户带来良好的使用体验。多屏互动技术是在不同的终端设备之间共享屏幕显示内容的技术，其中，视频通话(例如，视频聊天、多人视频会议等)界面的多屏共享是多屏互动技术的一个重要应用。

现有技术中，当用户通过多屏互动技术进行视频通话时，有可能感觉到视频通话界面显示的通话时延较为严重，这会影响用户体验。

发明内容

本申请的一些实施方式提供了一种投屏方法、投屏源端、投屏目的端和投屏系统，以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。

第一方面，本申请实施方式提供了一种投屏方法，应用于具有视频通话功能的投屏源端，投屏方法包括：在视频通话状态下，接收投屏目的端发送的用户第一通话图像；生成用于投屏源端显示的视频通话界面，视频通话界面包括用户第一通话图像以及界面元素；向投屏目的端发送界面元素的图像数据，以使得投屏目的端将界面元素以及用户第二通话图像进行合成，以生成用于投屏目的端显示的界面；其中，用户第二通话图像为投屏目的端接收到界面元素的图像数据时，投屏目的端的摄像头采集的图像。

根据本申请的实施方式，投屏目的端将投屏源端的视频通话界面的界面元素与本地摄像头实时采集的用户通话图像进行合成，以生成用于投屏目的端显示的视频通话界面，这样，投屏目的端显示的视频通话界面上，用户通话图像的采集时间与显示时间仅相隔投屏目的端对图像数据进行处理的时间，从而可以显著降低用户感知时延。

在一些实施方式中，视频通话界面的界面元素包括下述至少一种：用于对通话状态和/或界面显示状态进行控制的控件、通话状态信息、用户标识、参与视频通话的其他用户的通话图像。

在一些实施方式中，界面元素的图像数据包括：界面元素中各个元素的图像信息，以及各个元素在视频通话界面上的位置信息。根据本申请的实施方式，可以减少界面元素的图像数据的数据量。

在一些实施方式中，投屏方法的启动条件为：投屏源端与投屏目的端之间的通信时延超过设定阈值；和/或，投屏源端与投屏目的端之间的通信信道中的数据缓冲量超过设定阈值。

第二方面，本申请实施方式提供了一种投屏方法，应用于投屏目的端，投屏方法包括：当投屏源端处于视频通话状态时，向投屏源端发送用户第一通话图像，以使得投屏源端生成用于投屏源端显示的视频通话界面，视频通话界面包括用户第一通话图像以及界面元素；接收投屏源端发送的界面元素的图像数据；将界面元素以及用户第二通话图像进行合成，以生成用于投屏目的端显示的界面；其中，用户第二通话图像为投屏目的端接收到界面元素的图像数据时，投屏目的端的摄像头采集的图像。

根据本申请的实施方式，投屏目的端将投屏源端的视频通话界面的界面元素与本地摄像头实时采集的用户通话图像进行合成，以生成用于投屏目的端显示的视频通话界面，这样，投屏目的端显示的视频通话界面上，用户通话图像的采集时间与显示时间仅相隔投屏目的端对图像数据进行处理的时间，从而可以显著降低用户感知时延。

在一些实施方式中，视频通话界面的界面元素包括下述至少一种元素：用于对通话状态和/或界面显示状态进行控制的控件、通话状态信息、用户标识、参与视频通话的其他用户的通话图像。

在一些实施方式中，界面元素的图像数据包括：界面元素中各个元素的图像信息，以及各个元素在视频通话界面上的位置信息。根据本申请的实施方式，可以减少界面元素的图像数据的数据量。

在一些实施方式中，投屏方法的启动条件为：投屏源端与投屏目的端之间的通信时延超过设定阈值；和/或，投屏源端与投屏目的端之间的通信信道中的数据缓冲量超过设定阈值。

第三方面，本申请实施方式提供了一种投屏源端，投屏源端具有视频通话功能，投屏源端包括：存储器，用于存储由投屏源端的一个或多个处理器执行的指令；处理器，当处理器执行存储器中的指令时，可使得投屏源端执行本申请第一方面任一实施方式提供的投屏方法。第三方面能达到的有益效果可参考第一方面任一实施方式所提供的方法的有益效果，此处不再赘述。

第四方面，本申请实施方式提供了一种投屏目的端，投屏目的端具有视频通话功能，投屏目的端包括：存储器，用于存储由投屏目的端的一个或多个处理器执行的指令；处理器，当处理器执行存储器中的指令时，可使得投屏目的端执行本申请第二方面任一实施方式提供的投屏方法。第四方面能达到的有益效果可参考第二方面任一实施方式所提供的方法的有益效果，此处不再赘述。

第五方面，本申请实施方式提供了一种投屏系统，投屏系统包括投屏源端和投屏目的端，投屏源端具有视频通话功能，其中，投屏源端用于执行本申请第一方面任一实施方式提供的投屏方法，投屏目的端用于执行本申请第二方面任一实施方式提供的投屏方法。第五方面能达到的有益效果可参考第一方面任一实施方式或第二方面任一实施方式所提供的方法的有益效果，此处不再赘述。

第六方面，本申请实施方式提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，该指令在计算机上执行时，可使计算机执行本申请第一方面任一实施方式提供的投屏方法，或者使计算机执行本申请第二方面任一实施方式提供的投屏方法。第六方面能达到的有益效果可参考第一方面任一实施方式或第二方面任一实施方式所提供的方法的有益效果，此处不再赘述。

附图说明

图1为本申请实施方式提供的投屏方法的示例性应用场景；

图2为本申请实施方式提供的图像数据传输过程示意图；

图3为现有技术中图像数据传输过程示意图；

图4为本申请实施方式提供的电子设备的构造示意图；

图5a为本申请实施方式提供的投屏源端的软件架构图；

图5b为本申请实施方式提供的投屏目的端的软件架构图；

图6a为本申请实施方式提供的多屏互动场景示意图(投屏源端)；

图6b为本申请实施方式提供的多屏互动场景示意图(投屏目的端)；

图7为本申请实施方式提供的投屏方法的流程示意图；

图8为本申请实施方式提供的手机侧界面示意图；

图9a为本申请实施方式提供的手机侧界面的界面元素图像数据示意图；

图9b为本申请实施方式提供的手机侧界面的界面元素图像数据另一个示意图；

图9c为本申请实施方式提供的平板侧界面示意图；

图10为本申请实施方式提供的投屏系统的示例性结构图；

图11示出了本申请实施方式提供的电子设备的框图；

图12示出了本申请实施方式提供的片上系统(SoC，System on Chip)的结构示意图。

具体实施方式

下面将结合附图对本实施例的实施方式进行详细描述。

图1示出了用户甲与用户乙进行视频通话的场景。

用户甲拥有设备A1和设备A2，其中，设备A1上安装有视频通话应用(例如，微信、skype等)，这样，在视频通话过程中，设备A1可通过视频通话应用生成视频通话界面。利用多屏互动技术，在视频通话过程中，设备A1可将视频通话界面的界面图像传输到设备A2上(例如，通过投屏技术进行传输，或者，基于分布式系统进行传输)，这样，设备A2可以显示设备A1生成的视频通话界面。通常情况下，视频通话界面包括用户甲的通话图像、用户乙的通话图像、界面控件、通话状态信息等。

有时，在视频通话过程中，设备A2为用户甲当前正在操作的设备(例如，用户甲正在使用设备A2上的某个应用(例如，图片处理应用)，或者，用户甲在驾驶车辆时需要通过设备A2(例如，车机)进行视频通话等)，此时，视频通话界面上用户甲的通话图像是由设备A2的摄像头采集的，设备A2的摄像头在采集到用户甲的通话图像后，将该通话图像传输到设备A1，设备A1基于设备A2传输过来的通话图像生成视频通话界面。之后，设备A1再将生成的视频通话界面的界面图像传输到设备A2上，使得正在操作设备A2的用户甲可以看到该视频通话界面。

本申请实施方式用于提供应用于图1所示的场景的一种投屏方法，用于降低用户感知时延。概述性地，本申请实施方式中，设备A2并非直接显示设备A1上的视频通话界面，而是将A1的视频通话界面中的界面元素图像与本地摄像头实时采集的用户通话图像进行合成，以生成用于设备A2显示的视频通话界面。这样，设备A2显示的视频通话界面中，用户通话图像是用户甲的实时图像，其与用户甲的当前状态基本是一致的，从而可以显著降低用户感知时延，提高用户体验。

本申请实施方式中，设备A1为投屏源端，设备A2为投屏目的端。为描述清楚，在下文中，将手机作为投屏源端的示例，将平板作为投屏目的端的示例，因此，将手机生成的视频通话界面称为“手机侧界面”，将平板生成的视频通话界面称为“平板侧界面”。

但可以理解，本申请不限于此，在其他示例中，投屏源端可以是其他具有视频通话功能的设备，例如，平板、笔记本电脑等；投屏目的端可以是其他具有显示功能的设备，例如，电视、车机等。需要说明的是，投屏源端和投屏目的端可以是相同类型的设备(例如，投屏源端和投屏目的端都是手机)，也可以是不同类型的设备(例如，投屏源端为手机，投屏目的端为车机)。

另外，本申请实施方式中，对参与视频通话的用户的数量不作限定，可以是一对一的视频通话，例如图1示出的用户甲与用户乙的视频通话场景；也可以是多对多的视频通话，例如，多方视频会议场景，线上教学场景等。

图2示出了本申请实施方式中视频通话过程中图像数据的传输过程。具体地，T1时刻，设备A2采集并向设备A1发送用户甲的通话图像P1；T2时刻，设备A1接收到设备A2发送的用户甲的通话图像P1，以及设备B发送的用户乙的通话图像；在T3时刻，设备A1向设备A2发送设备A1生成的视频通话界面(即，手机侧界面)的界面元素图像(其中不包含用户甲的通话图像P1)；T4’时刻，设备A2接收到设备A1发送的界面元素图像，并通过设备A2的摄像头实时采集用户甲的通话图像P2，然后将界面元素图像和用户甲的通话图像P2进行合成以生成用于设备A2显示的视频通话界面(即，平板侧界面)；T5’时刻，设备A2显示平板侧界面，平板侧界面上包括用户甲的通话图像P2。

图3示出了现有技术中已有的技术方案，图3与图2的主要区别是，T3时刻，设备A1基于用户甲的通话图像P1和用户乙的通话图像生成视频通话界面(即，手机侧界面)，并向设备A2发送手机侧界面的界面图像；T4时刻，设备A2接收到手机侧界面的界面图像；T5时刻，设备A2显示手机侧界面，该界面上包括设备A2在T1时刻采集的用户甲的通话图像P1。

假定，在T1时刻(即，设备A2采集用户甲的通话图像的时刻)，用户甲正在做抬手动作，经过时间间隔ΔT＝T5-T1之后，即在T5时刻，设备A2上会显示该抬手动作。当设备A2显示视频通话界面的时间相较于设备A2采集用户甲的通话图像的时间有较长的时延时，即，时间间隔ΔT较长时，用户甲会感知到设备A2显示的内容明显滞后于用户甲的当前状态，即，用户甲会感知到较为严重的通话时延(本文称为“用户感知时延”)，这样会影响用户甲的使用体验。

引起用户感知时延的原因主要是图像数据在通信网络中的传输时延，以及终端设备对图像数据进行处理的处理时延，其中，前者为引起用户感知时延的主要原因。在网络质量一般时，用户感知时延可能超过300ms，在网络比较拥堵时，用户感知时延可能会大于500ms，这样会降低用户的使用体验。

参考图2，本申请实施方式中，因为设备A2将设备A1的视频通话界面的界面元素与本地摄像头实时采集的用户通话图像进行合成以生成用于设备A2显示的视频通话界面，即，设备A2显示的视频通话界面上，用户甲的通话图像P2为设备A2的摄像头在T4’时刻采集到的图像，由于通话图像P2的采集时间(即，T4’)与显示时间(即，T5’)之间仅相隔设备A2对图像数据进行处理的时间，从而可以显著降低用户感知时延。

下文以图1示出的用户甲与用户乙的视频通话场景为例对本申请的技术方案进行介绍。

图4示出了电子设备100的结构示意图。其中，该电子设备100可以实现为手机，也可实现为平板。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接头130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，通用异步收发传输器(universal asynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processorinterface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serialbus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过I2C总线接口耦合摄像头193。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170等。GPIO接口还可以被配置为I2C接口，UART接口，MIPI接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。内部存储器121和/或设置于处理器中的存储器存储有指令。当电子设备100被实现为手机时，内部存储器121和/或设置于处理器中的存储器存储的指令由处理器110执行时，可使手机执行本申请实施方式提供的投屏方法中由手机执行的步骤；当电子设备100被实现为平板时，内部存储器121和/或设置于处理器中的存储器存储的指令由处理器110执行时，可使平板执行本申请实施方式提供的投屏方法中由平板执行的步骤。

应理解，在实际应用中，电子设备100可以包括比图4所示的更多或更少的部件，本申请实施例不作限定。图示电子设备100仅是一个范例，并且设备100可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

以下介绍手机的软件系统。手机的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明手机系统架构的软件结构。

图5a示出了手机的系统架构。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓系统运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。如图5a所示，手机上的应用程序包可以包括视频通话应用、手机投屏应用、相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

视频通话应用用于在视频通话过程中生成手机侧界面。具体地，在视频通话过程中，视频通话应用获取用户甲的通话图像以及用户乙的通话图像，并生成通话控件(例如，对通话状态进行控制的控件，对界面显示状态进行控制的控件)、用户标识等，之后，视频通话应用将用户甲的通话图像、用户乙的通话图像、通话控件、用户标识等进行合成，以形成手机侧界面。本申请实施方式中，将手机侧界面上除用户甲的通话图像之外的其他元素(例如，用户乙的通话图像，通话控件等)称为界面元素。

视频通话应用还将手机侧界面的界面元素的图像数据传输至手机投屏应用。手机投屏应用在接收到界面元素的图像数据之后，对界面元素的图像数据进行处理，例如，编码、封装等，然后手机将处理后的图像数据发送至平板。

如图5a所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供手机的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动等。

图5b示出了平板的系统架构。平板的系统架构与手机的系统架构基本相同，下面仅介绍平板系统架构中与手机系统架构相区别的部分，对于两者的相同部分不再赘述。

平板的应用程序层包括平板投屏应用和手机分身应用。

平板接收到手机发送的手机侧界面的界面元素图像数据后，平板投屏应用对接收到的图像数据进行解码，以还原出手机侧界面的界面元素图像。平板侧投屏还可以获取平板摄像头采集的用户通话图像P2，并将平板侧界面的界面元素图像与用户通话图像P2进行合成，以生成叠加图像。

手机分身应用可以获取平板投屏应用生成的叠加图像，并对叠加图像进行处理，例如，对叠加图像的分辨率进行调整，在叠加图像上添加投屏源端(即，手机)的标识信息等，以生成平板侧界面。

以下结合图1示出的多屏互动场景对本申请的具体实施例进行介绍。

在本实施例的方法开始之前，用户甲的手机和平板处于多屏互动状态，即，手机通过多屏互动技术将其屏幕显示内容共享至平板上，平板通过其安装的手机分身应用显示手机屏幕的内容。示例性地，参考图6a和图6b，平板上的手机分身应用显示手机上的应用程序列表。在该状态下，视频通话的一方向另一方发起通话视频通话请求。

以用户甲向用户乙发起视频通话请求为例。参考图6b，用户甲在平板上点击视频通话应用的图标之后，平板将用户甲的操作信息(例如，操作位置、操作类型等)发送至手机，手机根据平板发送的操作信息，确定用户的指令为开启视频通话应用。响应于接收到的用户指令，手机开启视频通话应用，并显示可建立视频通话连接的联系人界面。

平板同步显示视频通话应用的联系人界面。用户甲点击用户乙头像后，可使得手机向用户乙的设备(即，设备B)发送视频通话请求。用户乙在向其视频通话设备发出接受视频通话请求的指令后，用户甲的手机与用户乙的设备之间建立视频通话连接。

为降低视频通话状态下的用户感知时延，参考图7，本实施例用于提供一种视频通话状态下的投屏方法，包括以下步骤：

S10：在视频通话状态下，手机获取用户甲的通话图像P1(作为用户第一通话图像)以及用户乙的通话图像，其中，用户甲的通话图像是平板摄像头采集的图像，用户乙的通话图像为用户乙的设备采集的图像。

当手机与用户乙的设备建立视频通话连接后，手机向平板发送通话图像获取请求(例如，手机向平板发送视频通话连接建立的信号)。响应于手机发送的通话图像获取请求，平板启动摄像头，并以一定的帧率(例如，40fps)拍摄用户甲的通话图像。在当前步骤中，平板将摄像头拍摄到的用户甲的通话图像P1发送至手机。

同时，用户乙的设备采集用户乙的通话图像，并将用户乙的通话图像发送至手机。

需要说明的是，本实施例中，用户的通话图像为设备的摄像头拍摄到的图像，并不一定是用户本人的图像。例如，当用户甲进行线上教学时，平板的摄像头朝向演示板的位置，此时，用户甲的通话图像为演示板的画面。

另外，平板还可以采集用户甲的语音信号，并将用户甲的语音信号发送至手机，手机通过视频通话应用将用户甲的语音信号发送至用户乙的设备，以使得用户乙可以听到用户甲的声音。同样地，用户乙的设备采集用户乙的语音信号，并将用户乙的语音信号发送至手机，手机将用户乙的语音信号发送还平板，以使得用户甲可以听到用户乙的声音。

S20：手机生成手机侧界面(作为用于投屏源端显示的视频通话界面)，本实施例中，手机通过视频通话应用生成手机侧界面。具体地，手机视频应用确定用于手机显示的视频通话界面上的通话控件、通话信息等，并将通话控件、通话信息等与用户甲的通话图像P1、用户乙的通话图像进行合成，以生成手机侧界面。本申请中，将手机侧界面上除用户甲的通话图像之外的元素称为手机侧界面的“界面元素”。

参考图8，本实施例中，手机侧界面的界面元素包括下述一个或多个：用于对通话状态进行控制的控件，例如，挂断按钮10；语音通话/视频通话切换按钮20等；用于对界面显示状态进行控制的控件，例如，前置摄像头/后置摄像头切换按钮30，通话图像切换按钮(用于切换用户甲通话图像与用户乙通话图像的显示位置)等；通话状态信息，例如，通话时长40等；用户乙的通话图像50(作为参与视频通话的其他用户的通话图像)等。应理解，在其他实施例中，界面元素可以包括比本实施例更多或更少的元素，例如，在一些实施例中，界面元素还可以包括用户标识(例如，用户甲和/或用户乙的头像和昵称等)、界面边框等。

本实施例中，用户甲的通话图像P1显示于手机侧界面的右上角，用户乙的通话图像则分布于整个手机侧界面上。可以理解，在其他实施例中，用户的通话图像和用户乙的通话图像可以有不同的分布方式，例如，用户甲的通话图像和用户乙的通话图像按照图8的设置对换位置，或者，用户甲的通话图像和用户乙的通话图像并排显示于手机侧界面上。

S30：手机将界面元素的图像数据发送至平板。本实施例中，手机的视频通话应用确定手机侧界面的界面元素之后，将界面元素的图像数据传输至手机投屏应用，手机投屏应用对界面元素的图像数据进行处理后，再将处理后的图像数据发送至平板。

本实施例中，界面元素的图像数据包括各界面元素的图像信息以及各界面元素在手机侧界面上的位置信息。参考图9a，为便于表述，对视频通话界面上的界面元素进行编号，具体地，界面元素被分别编号为元素1、元素2，……，元素6。以元素2(即，用于控制视频通话通断状态的开关控件)为例，元素2的图像信息为形成元素2的各像素的像素值，元素2的位置信息为元素2在手机侧界面上的坐标。例如，在以图9a所示方式建立的坐标系xOy中，元素2的位置信息是其中心点的坐标(35mm，10mm)。

本实施例中，界面元素的图像数据包括各界面元素的图像信息和位置信息，这样，界面元素的图像数据的数据量相对较少。但本申请不限于此，例如，在其他实施例中，参考图9b，界面元素的图像数据为虚框区域中各像素的像素值。

手机视频通话应用确定界面元素的图像数据后，将图像数据发送至手机投屏应用，手机投屏应用对图像数据进行处理，例如，对图像数据进行编码、按照投屏协议(例如，miracast协议、airplay镜像协议等)进行封装等，之后将处理后的界面元素图像数据发送至平板。

S40：平板生成用户甲的通话图像P2(作为用户第二通话图像)与界面元素图像的叠加图像。本实施例中，步骤S40具体包括：

S41：平板投屏应用还原出界面元素图像。平板在接收到手机发送的界面元素的图像数据后，通过平板投屏应用对图像数据进行解封装、解码之后，还原出各界面元素的图像数据，并根据界面元素的图像数据还原出界面元素图像(即，手机侧界面中除用户通话图像P1之外的其他部分的图像)。

S42：平板投屏应用获取用户甲的通话图像P2。平板在接收到手机发送的界面元素的图像数据后，平板摄像头实时采集用户甲的通话图像P2，平板投屏应用通过平板底层系统获取用户甲的通话图像P2。

S43：平板投屏应用将用户甲的通话图像P2与界面元素图像进行叠加，以生成叠加图像。本实施例中，平板根据手机侧界面上用户甲的通话图像P1的大小和位置(该信息可以是手机发送给平板的)，确定用户甲的通话图像P2在叠加图像上的大小和位置，以使得叠加图像与手机侧界面尽可能接近。但本申请不限于此，例如，在其他实施例中，用户甲的通话图像P2的大小及其在叠加图像上的位置是用户设定的。

S50：平板根据叠加图像生成平板侧界面(作为用于投屏目的端显示的界面)。本实施例中，平板投屏应用将生成的叠加图像传输至平板上的手机分身应用，手机分身应用对叠加图像进行处理，例如，对叠加图像的分辨率进行调整，以使平板侧界面的面积与平板显示屏的面积相匹配；和/或，在叠加图像上添加投屏源端的标识信息(例如，在叠加图像上添加文字“来自Mate40的投屏”)等，以生成平板侧界面。之后，手机分身应用将平板侧界面的界面图像传送至平板底层系统，以使得平板底层系统控制平板显示屏显示平板侧界面(如图9c所示)。

需要说明的是，本实施例的技术方案仅为本申请实施方式的示例性说明，本申请可以有其他的变形方式。

例如，可以对本实施例中的各应用进行合并、分拆或重新组合。例如，可以将手机上的视频通话应用和手机投屏应用可以合并为一个应用；或者，将平板投屏应用的部分功能(例如，步骤S43中的图像叠加功能)合并到平板上的手机分身应用。

再如，还可以省去本实施例中的某些步骤，或在本实施例的基础上增加步骤。例如，省去步骤S30中手机投屏模块对界面元素的图像数据进行处理的步骤，手机直接将视频通话应用确定的界面元素的图像数据发送至平板；或者，省去步骤S50中手机分身应用对叠加图像进行处理的步骤，平板直接将平板投屏应用生成的叠加图像作为平板侧界面进行显示等。

另外，还可以对本申请提供的投屏方法设置启动条件。当手机和平板所在的通信网络畅通时，可采用现有技术中的方法(例如，图3所示的方法)进行多屏互动。当通信网络较为拥堵时，可启动本申请提供的投屏方法，以降低用户感知时延。

在一些实施例中，根据平板与手机之间的通信时延确定是否启动本申请提供的投屏方法。示例性地，通信时延可以根据平板与手机之间的图像传输时间进行确定。例如，参考图2，平板向手机发送的用户甲的通话图像P1中带有时间戳，手机通过读取时间戳可获取通话图像P1的发送时间T1，手机在接收到通话图像P2时，获取手机上的系统时间T2，如果T2与T1的差值小于设定值(例如，100ms)，则继续通过图3所示的方法与平板进行多屏互动，否则，手机启动本申请提供的投屏方法，并向平板发送启动本申请投屏方法的指令。

在另一些实施例中，根据手机与平板之间的通信信道中的数据缓冲量确定是否启动本申请的投屏方法。示例性地，通信信道中数据缓冲量可以是图像数据发送端的无线通信模块(例如，图4所示的无线通信模块160)中的数据缓冲量。例如，继续参考图3，当平板向手机发送用户甲的通话图像P1时，检测平板无线通信模块中的数据缓冲量，如果缓冲量小于设定值时，则继续通过图2所示的方法与平板进行多屏互动，否则，平板启动本申请提供的投屏方法，并向手机发送启动本申请投屏方法的指令。

在又一些实施例中，根据平板与手机之间的通信时延，以及平板与手机之间通信信道中的数据缓冲量综合判断是否启动本申请的投屏方法。例如，当平板与手机之间的通信时延超过设定值，或手机与平板之间的通信信道中的数据缓冲量超过设定值时，启动本申请提供的投屏方法。

以下结合图10说明根据本申请实施例提供的投屏系统200的结构示意图。参考图10，投屏系统200包括投屏源端210(例如，手机)和投屏目的端220(例如，平板)。

其中，投屏源端210包括：

(1)设备虚拟化模块211，设备虚拟化模块211包括Display子模块211a。

Display子模块211a用于接收投屏目的端220发送的用户第一通话图像(例如，步骤S10中的通话图像P1)，并将接收到的用户第一通话图像传输至视频通话应用模块212；

Display子模块211a还用于从视频通话应用模块212中获取界面元素的图像数据；以及，向投屏目的端220发送界面元素的图像数据。其中，界面元素包括用于对通话状态和/或界面显示状态进行控制的控件(例如，图9a中的元素1、元素2、元素3)，通话状态信息(例如，图9a中的元素4)，用户标识，和/或参与视频通话的其他用户的通话图像(例如，图9a中的元素5)。界面元素的图像数据包括各界面元素的图像信息以及各界面元素在投屏源端210显示的视频通话界面上的位置信息。

设备虚拟化模块211还可以根据投屏源端210和投屏目的端220之间的通信状态，判断是否启动本申请实施例一提供的投屏方法。例如，设备虚拟化模块211根据投屏源端210与投屏目的端220之间的通信时延，和/或投屏源端210与投屏目的端220之间的通信信道中的数据缓冲量，判断是否启动本申请提供的投屏方法。具体地，当投屏源端210与投屏目的端220之间的通信时延大于设定阈值，或者，投屏源端210与投屏目的端220之间的通信信道中的数据缓冲量大于设定阈值时，设备虚拟化模块211确定启动本申请提供的投屏方法，并向投屏目的端220发送启动本申请提供的投屏方法的指令。

(2)视频通话应用模块212，包括一个或多个视频通话应用，例如，微信^TM，Facetime^TM，系统电话应用等。视频通话应用模块212用于从Display子模块211a接收来自投屏目的端220的用户第一通话图像；以及，确定用于投屏源端210显示的视频通话界面的界面元素(例如，图9a中的元素1～元素6)；以及，根据接收到的用户第一通话图像和确定的界面元素生成用于投屏源端210显示的视频通话界面(例如，步骤S20所述的手机侧界面)；

(3)显示模块213，用于显示视频通话应用模块212生成的视频通话界面。

投屏目的端220包括：

(1)设备虚拟化模块221，包括Display子模块221a。

Display子模块221a将图像采集模块222采集到的用户第一通话图像(例如，步骤S10中的通话图像P1)发送至投屏源端220；

Display子模块221a还用于接收投屏源端210发送的界面元素的图像数据；以及，接收图像采集模块222实时采集的用户第二通话图像(例如，步骤S40中的通话图像P2)；以及，根据接收到的界面元素和图像采集模块222实时采集的用户第二通话图像，生成用于投屏目的端220显示的视频通话界面(例如，步骤S50所述的平板侧界面)。

设备虚拟化模块221还可以用于获取投屏目的端220的图像采集模块222和显示模块223的当前工作状态，例如，图像采集模块222中的摄像头是否正在使用，显示模块223的当前工作状态是否是投屏状态；

(2)图像采集模块222，包括摄像头，用于采集用户第一通话图像；以及，在投屏目的端220接收到来自投屏源端210的界面元素的图像数据时，实时采集用户第二通话图像；

(3)显示模块223，包括显示屏，用于显示Display子模块221a生成的视频通话界面。

现在参考图11，所示为根据本申请的一个实施例的电子设备400的框图。电子设备400可以包括耦合到控制器中枢403的一个或多个处理器401。对于至少一个实施例，控制器中枢403经由诸如前端总线(Front Side Bus，FSB)之类的多分支总线、诸如快速通道互连(QuickPath Interconnect，QPI)之类的点对点接口、或者类似的连接406与处理器401进行通信。处理器401执行控制一般类型的数据处理操作的指令。在一实施例中，控制器中枢403包括，但不局限于，图形存储器控制器中枢(Graphics&Memory Controller Hub，GMCH)(未示出)和输入/输出中枢(Input Output Hub，IOH)(其可以在分开的芯片上)(未示出)，其中GMCH包括存储器和图形控制器并与IOH耦合。

电子设备400还可包括耦合到控制器中枢403的协处理器402和存储器404。或者，存储器和GMCH中的一个或两者可以被集成在处理器内(如本申请中所描述的)，存储器404和协处理器402直接耦合到处理器401以及控制器中枢403，控制器中枢403与IOH处于单个芯片中。

存储器404可以是例如动态随机存取存储器(Dynamic Random Access Memory，DRAM)、相变存储器(Phase Change Memory，PCM)或这两者的组合。存储器404中可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令，具体而言，存储有该指令的暂时和永久副本。

如图11所示的电子设备400可以被分别被实现为投屏源端和投屏目的端。当电子设备400被实现为投屏源端时，存储器404中存储的指令可以包括：由处理器中的至少一个执行时导致投屏源端实施如图7所示的方法中由投屏源端实施的步骤的指令。当电子设备400被实现为投屏目的端时，存储器404中存储的指令可以包括：由处理器中的至少一个执行时致使投屏目的端实施如图7所示的方法中由投屏目的端实施的步骤的指令。

在一个实施例中，协处理器402是专用处理器，诸如例如高吞吐量集成众核(ManyIntegrated Core，MIC)处理器、网络或通信处理器、压缩引擎、图形处理器、图形处理单元上的通用计算(General-purpose computing on graphics processing units，GPGPU)、或嵌入式处理器等等。协处理器402的任选性质用虚线表示在图11中。

在一个实施例中，电子设备400可以进一步包括网络接口(Network InterfaceController，NIC)406。网络接口406可以包括收发器，用于为电子设备400提供无线电接口，进而与任何其他合适的设备(如前端模块，天线等)进行通信。在各种实施例中，网络接口406可以与电子设备400的其他组件集成。网络接口406可以实现上述实施例中的通信单元的功能。

电子设备400可以进一步包括输入/输出(Input/Output，I/O)设备405。I/O405可以包括：用户界面，该设计使得用户能够与电子设备400进行交互；外围组件接口的设计使得外围组件也能够与电子设备400交互；和/或传感器设计用于确定与电子设备400相关的环境条件和/或位置信息。

值得注意的是，图11仅是示例性的。即虽然图11中示出了电子设备400包括处理器401、控制器中枢403、存储器404等多个器件，但是，在实际的应用中，使用本申请各方法的设备，可以仅包括电子设备400各器件中的一部分器件，例如，可以仅包含处理器401和网络接口406。图11中可选器件的性质用虚线示出。

现在参考图12，所示为根据本申请的一实施例的片上系统(System on Chip，SoC)500的框图。在图12中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SoC的可选特征。在图12中，SoC500包括：互连单元550，其被耦合至处理器510；系统代理单元580；总线控制器单元590；集成存储器控制器单元540；一组或一个或多个协处理器520，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(StaticRandom-Access Memory，SRAM)单元530；直接存储器存取(Direct Memory Access，DMA)单元560。在一个实施例中，协处理器520包括专用处理器，诸如例如网络或通信处理器、压缩引擎、图形处理单元上的通用计算(General-purpose computing on graphicsprocessing units，GPGPU)、高吞吐量MIC处理器、或嵌入式处理器等。

静态随机存取存储器(SRAM)单元530可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令，具体而言，存储有该指令的暂时和永久副本。

如图12所示的SoC可以被分别设置在投屏目的端和投屏源端中。当SoC被设置在投屏目的端中时，静态随机存取存储器(SRAM)单元530中存储有指令，该指令可以包括：由处理器中的至少一个执行时导致可穿戴设备实施如图7所示的方法中由投屏目的端实施的步骤的指令。当SoC被设置在投屏源端中时，静态随机存取存储器(SRAM)单元530中存储有指令，该指令可以包括：由处理器中的至少一个执行时致使投屏源端实施如图7所示的方法中由投屏源端实施的步骤的指令。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请的各方法实施方式均可以以软件、磁件、固件等方式实现。

可将程序代码应用于输入指令，以执行本文描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor，DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在计算机可读存储介质上的表示性指令来实现，指令表示处理器中的各种逻辑，指令在被机器读取时使得该机器制作用于执行本文所述的技术的逻辑。被称为“知识产权(Intellectual Property，IP)核”的这些表示可以被存储在有形的计算机可读存储介质上，并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。

在一些情况下，指令转换器可用来将指令从源指令集转换至目标指令集。例如，指令转换器可以变换(例如使用静态二进制变换、包括动态编译的动态二进制变换)、变形、仿真或以其它方式将指令转换成将由核来处理的一个或多个其它指令。指令转换器可以用软件、硬件、固件、或其组合实现。指令转换器可以在处理器上、在处理器外、或者部分在处理器上且部分在处理器外。

Claims (12)

1.一种投屏方法，其特征在于，应用于具有视频通话功能的投屏源端，所述投屏方法包括：

在视频通话状态下，接收投屏目的端发送的用户第一通话图像；

生成用于所述投屏源端显示的视频通话界面，所述视频通话界面包括所述用户第一通话图像以及界面元素；

向所述投屏目的端发送所述界面元素的图像数据，以使得所述投屏目的端将所述界面元素以及用户第二通话图像进行合成，以生成用于所述投屏目的端显示的界面；其中，所述用户第二通话图像为所述投屏目的端接收到所述界面元素的图像数据时，所述投屏目的端的摄像头采集的图像。

2.根据权利要求1所述的投屏方法，其特征在于，所述视频通话界面的界面元素包括下述至少一种：用于对通话状态和/或界面显示状态进行控制的控件、通话状态信息、用户标识、参与视频通话的其他用户的通话图像。

3.根据权利要求2所述的投屏方法，其特征在于，所述界面元素的图像数据包括：所述界面元素中各个元素的图像信息，以及各个元素在所述视频通话界面上的位置信息。

4.根据权利要求1所述的投屏方法，其特征在于，所述投屏方法的启动条件为：

所述投屏源端与所述投屏目的端之间的通信时延超过设定阈值；和/或，

所述投屏源端与所述投屏目的端之间的通信信道中的数据缓冲量超过设定阈值。

5.一种投屏方法，其特征在于，应用于投屏目的端，所述投屏方法包括：

当投屏源端处于视频通话状态时，向所述投屏源端发送用户第一通话图像，以使得所述投屏源端生成用于所述投屏源端显示的视频通话界面，所述视频通话界面包括所述用户第一通话图像以及界面元素；

接收所述投屏源端发送的所述界面元素的图像数据；

将所述界面元素以及用户第二通话图像进行合成，以生成用于所述投屏目的端显示的界面；其中，所述用户第二通话图像为所述投屏目的端接收到所述界面元素的图像数据时，所述投屏目的端的摄像头采集的图像。

6.根据权利要求5所述的投屏方法，其特征在于，所述视频通话界面的界面元素包括下述至少一种元素：用于对通话状态和/或界面显示状态进行控制的控件、通话状态信息、用户标识、参与视频通话的其他用户的通话图像。

7.根据权利要求6所述的投屏方法，其特征在于，所述界面元素的图像数据包括：所述界面元素中各个元素的图像信息，以及各个元素在所述视频通话界面上的位置信息。

8.根据权利要求5所述的投屏方法，其特征在于，所述投屏方法的启动条件为：

所述投屏源端与所述投屏目的端之间的通信时延超过设定阈值；和/或，

所述投屏源端与所述投屏目的端之间的通信信道中的数据缓冲量超过设定阈值。

9.一种投屏源端，其特征在于，所述投屏源端具有视频通话功能，所述投屏源端包括：

存储器，用于存储由所述投屏源端的一个或多个处理器执行的指令；

处理器，当所述处理器执行所述存储器中的所述指令时，可使得所述投屏源端执行权利要求1～4任一项所述的投屏方法。

10.一种投屏目的端，其特征在于，包括：

存储器，用于存储由所述投屏目的端的一个或多个处理器执行的指令；

处理器，当所述处理器执行所述存储器中的所述指令时，可使得所述投屏目的端执行权利要求5～8任一所述的投屏方法。

11.一种投屏系统，其特征在于，所述投屏系统包括投屏源端和投屏目的端，所述投屏源端具有视频通话功能，其中，所述投屏源端用于执行如权利要求1～4任一所述的投屏方法，所述投屏目的端用于执行如权利要求5～8任一所述的投屏方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，该指令在计算机上执行时，可使所述计算机执行权利要求1～4任一所述的投屏方法，或者使所述计算机执行权利要求5～8任一所述的投屏方法。

Images