CN116055773A - 一种多屏协同方法、系统及电子设备 - Google Patents

一种多屏协同方法、系统及电子设备 Download PDF

Info

Publication number
CN116055773A
CN116055773A CN202310024742.7A CN202310024742A CN116055773A CN 116055773 A CN116055773 A CN 116055773A CN 202310024742 A CN202310024742 A CN 202310024742A CN 116055773 A CN116055773 A CN 116055773A
Authority
CN
China
Prior art keywords
application
display
display data
destination
destination device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310024742.7A
Other languages
English (en)
Inventor
李晓敏
罗朴良
雷亮
胡迁乔
郭睿帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310024742.7A priority Critical patent/CN116055773A/zh
Publication of CN116055773A publication Critical patent/CN116055773A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/04—Details of telephonic subscriber devices including near field communication means, e.g. RFID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请提供一种多屏协同方法、系统及电子设备，涉及终端领域，可在目的设备中融合源设备提供的各个应用的应用功能，实现多屏协同功能。该方法包括：源设备将已安装的至少一个源设备应用的应用信息发送给目的设备；目的设备在第一界面中显示上述至少一个源设备应用的图标，并在第一界面中显示目的设备已安装的至少一个目的设备应用的图标；响应于用户对源设备应用中第一应用的图标的操作，目的设备获取第一应用在源设备中运行时产生的第一显示数据；目的设备根据第一显示数据显示第一应用的应用窗口；响应于用户对目的设备应用中第二应用的图标的操作，目的设备启动第二应用，并显示第二应用的应用窗口。

Description

一种多屏协同方法、系统及电子设备
本申请是分案申请，原申请的申请号是201911303934.1，原申请日是2019年12月17日，原申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端领域，尤其涉及一种多屏协同方法、系统及电子设备。
背景技术
随着智能终端技术的发展，一个用户或家庭中往往具备多个能够互相通信的电子设备。各类电子设备一般具有各自的设备特点，例如，手机的便携性更好，电视屏幕的显示效果更好，而音箱的音质效果更好。为了充分发挥不同电子设备的设备特点，电子设备可以通过投屏等方式将显示数据在多个设备之间切换和显示。
以手机为源设备举例，手机可将正在运行的应用界面或任务(例如视频播放任务)投射至目的设备(例如，电视、PC等)中显示。例如，手机在运行视频APP时，如果用户开启手机的投屏功能选中PC这一目的设备，则手机可作为源设备可将视频APP的应用界面投射至PC中显示。
也就是说，在手机向PC投屏时，PC可作为手机的另一个显示屏显示手机中的内容。此时，用户虽然可以操作PC控制手机中的相关应用，却无法操作PC实现原本PC中提供的相关功能。也就是说，源设备向目的设备投屏后，无法在目的设备上有效融合源设备和目的设备提供的各项能力，实现多屏协同的功能，使得用户无法在目的设备上既享受源设备投射的各项功能，同时可以使用目的设备提供的各项功能。
发明内容
本申请提供一种多屏协同方法、系统及电子设备，可在目的设备中融合源设备提供的各个应用的应用功能，方便用户在目的设备中操作源设备和目的设备上安装的不同应用，实现多屏协同功能。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种多屏协同方法，包括：源设备可将已安装的至少一个应用(可称为源设备应用)的应用信息发送给目的设备；进而，目的设备根据上述应用信息可在第一界面中显示上述至少一个源设备应用的图标，同时，目的设备可在第一界面中显示目的设备自身已安装的至少一个应用(可称为目的设备应用)的图标；如果检测到用户在目的设备中对第一应用(第一应用为上述源设备应用中的一个应用)的图标的操作，目的设备可获取第一应用在源设备中运行时产生的第一显示数据；进而，目的设备根据第一显示数据可在第一界面中显示第一应用的应用窗口；如果检测到用户在目的设备中对第二应用(第二应用为上述目的设备应用中的一个应用)的图标的操作，目的设备可启动自身的第二应用，并在第一界面中显示第二应用的应用窗口。
也就是说，源设备的全部设备能力通过其应用图标可呈现在目的设备上，同时，目的设备的全部设备能力通过其应用图标也可呈现在目的设备上，这样，用户可以无差别的在目的设备上使用目的设备提供的应用以及源设备提供的应用，从而在不影响目的设备正常运行的同时，可以在目的设备上有效融合源设备提供的应用功能，提高了多屏交互和协同时用户的使用体验。
示例性的，源设备中可搭载第一操作系统，目的设备中可搭载第二操作系统。第一操作系统与第二操作系统可以相同或不同。例如，第一操作系统可以为安卓操作系统，第二操作系统可以为Windows操作系统。
在一种可能的实现方式中，上述应用信息中可包括上述至少一个源设备应用的标识；此时，响应于用户在目的设备中对第一应用的图标的操作，目的设备获取第一应用在源设备中运行时产生的第一显示数据，具体包括：响应于用户在目的设备中对第一应用的图标的操作，目的设备可向源设备发送第一启动消息，第一启动消息包括第一应用的标识；响应于第一启动消息，源设备可根据第一应用的标识启动第一应用，并将第一应用运行时产生的第一显示数据发送至目的设备。
除了应用的标识外，上述应用信息中还可以包括上述至少一个源设备应用的图标。这样，目的设备接收到应用信息后，可将应用信息中的图标显示在第一界面中，向用户呈现源设备的设备能力。
在一种可能的实现方式中，上述第一显示数据可以为：第一应用运行时在对应的缓存队列中产生的第一应用界面的绘图指令；或者，第一显示数据可以为：第一应用运行时，源设备的SurfaceFlinger根据该绘图指令生成的第一应用界面的帧数据(也可称为图形数据)；或者，第一显示数据可以为：第一应用运行时，源设备的Hwcomposer根据该帧数据生成的第一应用界面的像素数据(例如RGB数据)。
示例性的，源设备在向目的设备发送上述第一显示数据前，可先使用视频编码器对第一显示数据进行编码，从而压缩向目的设备发送上述显示数据时的数据量。
在一种可能的实现方式中，第一应用的应用窗口可以包括第一应用的第一应用界面和标题栏，该标题栏包括第一应用的最小化按钮、最大化按钮以及关闭按钮。或者，标题栏中还可以包括应用的名称等信息。当然，第一应用的应用窗口也可以不包括上述标题栏。
类似的，第二应用的应用窗口包括可以包括第二应用的第二应用界面和标题栏，这样，用户可以在目的设备中无差别的打开源设备或目的设备自身的应用。
在一种可能的实现方式中，在目的设备显示第一应用的应用窗口时，还包括：源设备显示第一应用的第一应用界面；或者，源设备显示第三应用的应用界面，第三应用为源设备中与第一应用不同的应用。也就是说，源设备可以在前台或后台启动上述第一应用，将第一应用跨屏显示在目的设备中，源设备自身运行的应用不受影响。
在一种可能的实现方式中，源设备包括第一显示模块(例如display模块1)和第二显示模块(例如display模块2)，即源设备支持多display模块的显示模式；第一显示模块用于向源设备提供显示数据，第二显示模块用于向目的设备提供显示数据；那么，在目的设备中显示的第一显示数据可存储在第二显示模块中；此时，目的设备获取第一应用在源设备中运行时产生的第一显示数据，包括：目的设备从源设备的第二显示模块中获取第一应用运行时产生的第一显示数据。
在一种可能的实现方式中，与跨屏显示第一应用的应用窗口类似的，在目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口之后，还包括：源设备接收目的设备发送的第二启动消息，第二启动消息中包括第四应用的标识，第四应用为源设备中与第一应用不同的应用；响应于第二启动消息，源设备启动第四应用，并将第四应用运行时产生的第二显示数据也存储在第二显示模块中；目的设备从第二显示模块中获取第二显示数据，并根据第二显示数据在第一界面中显示第四应用的应用窗口，从而实现源设备中多应用的跨屏显示功能。
示例性的，源设备中的每个显示模块均与一个大小一定的物理屏幕对应，那么，在源设备接收目的设备发送的第二启动消息之后，还包括：源设备将第二显示数据的位置信息发送给目的设备；该位置信息用于指示第四应用的应用窗口在第二显示模块所对应的屏幕中的具体位置。此时，目的设备从第二显示模块中获取第二显示数据，包括：目的设备根据上述位置信息从第二显示模块中获取第二显示数据。这样，当第二显示模块中存储有多个应用的显示数据时，目的设备可根据对应的位置信息获取到当前用户操作的应用的显示数据，从而以应用为粒度实现多应用窗口的跨屏显示。
或者，上述第二显示模块包括第一显示空间和第二显示空间，即在运行多个应用时预先将第二显示模块划分为多个现实空间；例如，第一显示空间用于存储第一显示数据，第二显示空间用于存储第二显示数据；此时，目的设备从第二显示模块中获取第二显示数据，包括：目的设备从第二显示空间中获取第二显示数据，无需再获取第二显示数据相对于第二显示模块的位置信息。
在一种可能的实现方式中，源设备中还可以还包括第三显示模块，第三显示模块也可用于向目的设备提供显示数据；在目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口之后，还包括：源设备接收目的设备发送的第二启动消息，第二启动消息中包括第四应用的标识，第四应用为源设备中与第一应用不同的应用；响应于第二启动消息，源设备启动第四应用，并将第四应用运行时产生的第二显示数据存储在第三显示模块中；目的设备从第三显示模块中获取第二显示数据，并根据第三显示数据在第一界面中显示第四应用的应用窗口。也就是说，源设备上每个需要在目的设备中运行的应用均可对应一个显示模块，这样，各个应用在其对应的显示模块中不会发生交叠，目的设备可从对应的显示模块中获取相关应用的显示数据进行显示。
在一种可能的实现方式中，在目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口之后，还包括：响应于用户在源设备中打开第一应用的操作，源设备将第一应用运行时产生的第一显示数据存储在第一显示模块中，继续使用第一显示模块向源设备提供显示数据；或者，响应于用户在源设备中打开第一应用的操作，源设备读取并显示第二显示模块中存储的第一显示数据。也就是说，源设备中的第一应用跨屏显示在目的设备之后，用户还可以在源设备中打开并显示第一应用，例如，用户可以在源设备的多任务窗口中打开正在运行的第一应用。此时，源设备可将第一应用的显示数据存储在对应的第一显示模块中，使用第一显示模块向其显示屏提供显示数据，或者，源设备可使用第二显示模块向其显示屏提供显示数据。
在一种可能的实现方式中，在目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口之后，还包括：响应于用户对第一应用的应用窗口输入的第一操作，目的设备向源设备发送与第一操作对应的第一控制消息，第一控制消息包括第一应用的标识；响应于第一控制消息，源设备对第一应用执行与第一控制消息对应的操作指令。这样，用户通过操作目的设备上投射的显示内容，可在目的设备上实现源设备中相关应用的各项功能。
在一种可能的实现方式中，在源设备将已安装的至少一个源设备应用的应用信息发送给目的设备之后，还包括：目的设备在第一界面中显示第一按钮；此时，目的设备根据上述应用信息在第一界面中显示至少一个源设备应用的图标，包括：当检测到用户选中第一按钮时，目的设备按照上述应用信息在第一界面中显示上述至少一个源设备应用的图标。
示例性的，第一按钮位于预设的展示栏中，上述应用信息还可以包括应用的使用频率或运行状态；上述方法还包括：目的设备根据该应用信息，在上述展示栏中显示使用频率大于预设值的一个或多个应用的图标；或者；目的设备根据该应用信息，在上述展示栏中显示正在源设备中运行的一个或多个应用的图标。
上述预设的展示栏可以为dock栏或悬浮窗等，其位置可由用户设置或拖动。
在一种可能的实现方式中，上述第一按钮位于预设的展示栏中，上述方法还包括：响应于用户添加新应用的操作，目的设备可在该展示栏中添加新应用的图标。
在一种可能的实现方式中，目的设备可将上述至少一个源设备应用的图标位显示在目的设备的桌面、开始菜单、任务栏或直贴中，本申请实施例对此不做任何限制。
在一种可能的实现方式中，目的设备可包括电子标签或NFC芯片，源设备中也可包括电子标签或NFC芯片；那么，在源设备将已安装的至少一个源设备应用的应用信息发送给目的设备之前，还包括：当源设备接近或触碰目的设备中的电子标签或NFC芯片时，源设备与目的设备建立通信连接。这样，源设备与目的设备通过“碰一碰”的方式，可触发源设备将其一个或多个应用跨屏显示在目的设备中。
第二方面，本申请提供一种多屏协同方法，包括：目的设备接收源设备发送的至少一个源设备应用的应用信息，源设备中搭载有第一操作系统，目的设备中搭载有第二操作系统；目的设备根据上述应用信息在第一界面中显示该至少一个源设备应用的图标，并且，目的设备在第一界面中显示目的设备已安装的至少一个目的设备应用的图标；响应于用户在目的设备中对第一应用(第一应用为上述源设备应用中的一个应用)的图标的操作，目的设备获取第一应用在源设备中运行时产生的第一显示数据；目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口；响应于用户在目的设备中对第二应用(第二应用为上述目的设备应用中的一个应用)的图标的操作，目的设备可启动第二应用，并在第一界面中显示第二应用的应用窗口。
也就是说，源设备的全部设备能力通过其应用图标可呈现在目的设备上，同时，目的设备的全部设备能力通过其应用图标也可呈现在目的设备上，这样，用户可以无差别的在目的设备上使用目的设备提供的应用以及源设备提供的应用，从而在不影响目的设备正常运行的同时，可以在目的设备上有效融合源设备提供的应用功能，提高了多屏交互和协同时用户的使用体验。
在一种可能的实现方式中，该应用信息包括上述至少一个源设备应用的标识；其中，响应于用户在目的设备中对第一应用的图标的操作，目的设备获取第一应用在源设备中运行时产生的第一显示数据，包括：响应于用户在目的设备中对第一应用的图标的操作，目的设备向源设备发送第一启动消息，第一启动消息包括第一应用的标识；目的设备从源设备获取第一应用运行时产生的第一显示数据。
在一种可能的实现方式中，第一应用的应用窗口包括第一应用的第一应用界面和标题栏，该标题栏包括第一应用的最小化按钮、最大化按钮以及关闭按钮。
类似的，第二应用的应用窗口也包括第二应用的第二应用界面和标题栏。当然，标题栏中还可以包括应用的名称等信息。
在一种可能的实现方式中，源设备包括第一显示模块和第二显示模块；第一显示模块用于向源设备提供显示数据，第二显示模块用于向目的设备提供显示数据；第一显示数据存储在第二显示模块中；其中，目的设备获取第一应用在源设备中运行时产生的第一显示数据，包括：目的设备从第二显示模块中获取第一应用运行时产生的第一显示数据。
在一种可能的实现方式中，在目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口之后，还包括：响应于用户在目的设备中对第三应用的图标的操作，目的设备向源设备发送第二启动消息，第二启动消息包括第三应用的标识，第三应用为源设备中与第一应用不同的应用；目的设备从第二显示模块中获取第三应用运行时产生的第二显示数据，并根据第二显示数据在第一界面中显示第三应用的应用窗口。
在一种可能的实现方式中，在目的设备向源设备发送第二启动消息之后，还包括：目的设备接收源设备发送的第二显示数据的位置信息；其中，目的设备从第二显示模块中获取第三应用运行时产生的第二显示数据，包括：目的设备根据该位置信息从第二显示模块中获取第三应用运行时产生的第二显示数据。
在一种可能的实现方式中，第二显示模块包括第一显示空间和第二显示空间；第一显示空间用于存储第一显示数据，第二显示空间用于存储第二显示数据；其中，目的设备从第二显示模块中获取第三应用运行时产生的第二显示数据，包括：目的设备从第二显示空间中获取第三应用运行时产生的第二显示数据。
在一种可能的实现方式中，源设备还包括第三显示模块，第三显示模块也用于向目的设备提供显示数据；在目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口之后，还包括：响应于用户在目的设备中对第三应用的图标的操作，目的设备向源设备发送第二启动消息，第二启动消息包括第三应用的标识，第三应用为源设备中与第一应用不同的应用；目的设备从第三显示模块中获取第三应用运行时产生的第二显示数据，并根据第二显示数据在第一界面中显示第三应用的应用窗口。
在一种可能的实现方式中，在目的设备根据第一显示数据在第一界面中显示第一应用的应用窗口之后，还包括：响应于用户对第一应用的应用窗口输入的第一操作，目的设备向源设备发送与第一操作对应的第一控制消息，以使得源设备对第一应用执行与第一控制消息对应的操作指令，第一控制消息包括第一应用的标识。这样，用户通过操作目的设备上投射的显示内容，可在目的设备上实现源设备中相关应用的各项功能。
在一种可能的实现方式中，目的设备还可以在第一界面中显示第一按钮；此时，目的设备根据上述应用信息在第一界面中显示至少一个源设备应用的图标，包括：当检测到用户选中第一按钮时，目的设备按照上述应用信息在第一界面中显示上述至少一个源设备应用的图标。
示例性的，第一按钮位于预设的展示栏中，上述应用信息还可以包括应用的使用频率或运行状态；上述方法还包括：目的设备根据该应用信息，在上述展示栏中显示使用频率大于预设值的一个或多个应用的图标；或者；目的设备根据该应用信息，在上述展示栏中显示正在源设备中运行的一个或多个应用的图标。
上述预设的展示栏可以为dock栏或悬浮窗等，其位置可由用户设置或拖动。
在一种可能的实现方式中，上述第一按钮位于预设的展示栏中，上述方法还包括：响应于用户添加新应用的操作，目的设备可在该展示栏中添加新应用的图标。
在一种可能的实现方式中，源设备上应用的图标可显示在目的设备的桌面、开始菜单、任务栏或直贴中。也就是说，源设备投射至目的设备上显示的应用列表不会影响目的设备原本显示的应用列表，这样，用户可以在目的设备上既可以操作目的设备自身的图标使用相关功能，还可以操作源设备上应用的图标使用源设备的相关功能，实现多屏协同功能。
第三方面，本申请提供一种多屏协同方法，包括：源设备向目的设备发送安装在源设备中的至少一个源设备应用的应用信息，以使得目的设备根据该应用信息显示该至少一个源设备应用的图标，源设备中搭载有第一操作系统，目的设备中搭载有第二操作系统；源设备接收目的设备发送的第一启动消息，第一启动消息包括第一应用(第一应用为上述源设备应用中的一个应用)的标识；响应于第一启动消息，源设备根据第一应用的标识启动第一应用，并将第一应用运行时产生的第一显示数据发送至目的设备。
可以看出，源设备可将安装的一个或多个应用的应用信息发送给目的设备，使得目的设备可以向用户呈现出源设备上安装的应用列表。这样一来，源设备的全部设备能力通过该应用列表可呈现在目的设备上，用户可按照自己的需求在目的设备上打开并显示源设备上安装的一个或多个应用，实现一个或多个应用在不同设备上的跨屏显示功能，提高用户的使用体验。
在一种可能的实现方式中，上述第一显示数据可以为：第一应用运行时在对应的缓存队列中产生的第一应用界面的绘图指令；或者，第一显示数据可以为：第一应用运行时，源设备的SurfaceFlinger根据该绘图指令生成的第一应用界面的帧数据(也可称为图形数据)；或者，第一显示数据可以为：第一应用运行时，源设备的Hwcomposer根据该帧数据生成的第一应用界面的像素数据(例如RGB数据)。
在一种可能的实现方式中，在源设备将第一应用运行时产生的第一显示数据发送至目的设备之前，还包括：源设备使用视频编码器对第一显示数据进行编码，从而压缩向目的设备发送上述显示数据时的数据量。
在一种可能的实现方式中，源设备根据第一应用的标识启动第一应用，包括：源设备根据第一应用的标识在前台或后台启动第一应用。
在一种可能的实现方式中，源设备包括第一显示模块和第二显示模块；第一显示模块用于向源设备提供显示数据，第二显示模块用于向目的设备提供显示数据；第一显示数据存储在第二显示模块中。
在一种可能的实现方式中，在源设备将第一应用运行时产生的第一显示数据发送至目的设备之后，还包括：源设备接收目的设备发送的第二启动消息，第二启动消息包括第二应用的标识，第二应用也为上述至少一个源设备应用中的一个，且第二应用与第一应用不同；响应于第二启动消息，源设备启动第二应用，并将第二应用运行时产生的第二显示数据发送至第二显示模块。
在一种可能的实现方式中，响应于第二启动消息，该方法还包括：源设备将第二显示数据的位置信息发送给目的设备。
在一种可能的实现方式中，第二显示模块包括第一显示空间和第二显示空间；第一显示空间用于存储第一显示数据，第二显示空间用于存储第二显示数据；其中，源设备将第二应用运行时产生的第二显示数据发送至第二显示模块，包括：源设备将第二应用运行时产生的第二显示数据发送至第二显示空间。
在一种可能的实现方式中，源设备还包括第三显示模块，第三显示模块也用于向目的设备提供显示数据；在源设备将第一应用运行时产生的第一显示数据发送至目的设备之后，还包括：源设备接收目的设备发送的第二启动消息，第二启动消息包括第二应用的标识，第二应用为上述至少一个源设备应用中的一个，且第二应用与第一应用不同；响应于第二启动消息，源设备启动第二应用，并将第二应用运行时产生的第二显示数据发送至第三显示模块。
在一种可能的实现方式中，在源设备将第一应用运行时产生的第一显示数据发送至目的设备之后，还包括：源设备接收目的设备发送的第一控制消息，第一控制消息包括第一应用的标识；响应于第一控制消息，源设备对第一应用执行与第一控制消息对应的操作指令。
第四方面，本申请提供一种目的设备，包括：显示屏、通信模块、一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与通信模块、通信模块以及存储器均耦合，上述一个或多个计算机程序被存储在存储器中，当目的设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使目的设备执行上述第二方面中任一项所述的多屏协同方法。
第五方面，本申请提供一种源设备，包括：显示屏、通信模块、一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与通信模块、通信模块以及存储器均耦合，上述一个或多个计算机程序被存储在存储器中，当源设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使源设备执行上述第三方面中任一项所述的多屏协同方法。
第六方面，本申请提供一种多屏协同系统，包括上述目的设备和源设备，目的设备和源设备通过交互可执行上述第一方面中任一项所述的多屏协同方法。
第七方面，本申请提供一种计算机可读存储介质，包括计算机指令，当计算机指令在上述目的设备或源设备上运行时，使得目的设备或源设备执行上述任一项所述的多屏协同方法。
第八方面，本申请提供一种计算机程序产品，当计算机程序产品在上述目的设备或源设备上运行时，使得目的设备或源设备执行上述任一项所述的多屏协同方法。
可以理解地，上述各个方面所提供的目的设备、源设备、多屏协同系统、计算机可读存储介质以及计算机程序产品均应用于上文所提供的对应方法，因此，其所能达到的有益效果可参考上文所提供的对应的系统或方法中的有益效果，此处不再赘述。
附图说明
图1为本申请实施例提供的一种多屏协同系统的架构示意图；
图2为本申请实施例提供的一种多屏协同方法的应用场景示意图一；
图3A为本申请实施例提供的一种多屏协同方法的应用场景示意图二；
图3B为本申请实施例提供的一种多屏协同方法的应用场景示意图三；
图3C为本申请实施例提供的一种多屏协同方法的应用场景示意图四；
图4为本申请实施例提供的一种多屏协同方法的应用场景示意图五；
图5为本申请实施例提供的一种电子设备的结构示意图一；
图6为本申请实施例提供的一种电子设备中操作系统的架构示意图；
图7为本申请实施例提供的一种多屏协同方法中显示数据的处理流程示意图；
图8为本申请实施例提供的一种多屏协同方法的交互示意图；
图9为本申请实施例提供的一种多屏协同方法的应用场景示意图六；
图10为本申请实施例提供的一种多屏协同方法的应用场景示意图七；
图11为本申请实施例提供的一种多屏协同方法的应用场景示意图八；
图12为本申请实施例提供的一种多屏协同方法的应用场景示意图九；
图13为本申请实施例提供的一种多屏协同方法的应用场景示意图十；
图14为本申请实施例提供的一种多屏协同方法的应用场景示意图十一；
图15为本申请实施例提供的一种多屏协同方法的应用场景示意图十二；
图16为本申请实施例提供的一种多屏协同方法的应用场景示意图十三；
图17为本申请实施例提供的一种多屏协同方法的应用场景示意图十四；
图18为本申请实施例提供的一种多屏协同方法的应用场景示意图十五；
图19为本申请实施例提供的一种多屏协同方法的应用场景示意图十六；
图20为本申请实施例提供的一种多屏协同方法的应用场景示意图十七；
图21为本申请实施例提供的一种笔记本电脑的结构示意图；
图22为本申请实施例提供的一种电子设备的结构示意图二；
图23为本申请实施例提供的一种电子设备的结构示意图三。
具体实施方式
下面将结合附图对本实施例的实施方式进行详细描述。
本申请实施例提供的一种多屏协同方法，可应用于图1所示的多屏协同系统200中。如图1所示，该多屏协同系统200中可包括第一电子设备101和第二电子设备102。
第一电子设备101和第二电子设备102具体可以为手机、平板电脑、智能电视、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、车载设备、虚拟现实设备等具有显示功能的设备，本申请实施例对此不做任何限制。
例如，第一电子设备101和第二电子设备102可以均为手机，或者，第一电子设备101和第二电子设备102可以均为笔记本电脑，或者，第一电子设备101可以为手机或平板电脑、第二电子设备102可以为笔记本电脑或智能电视等。
在一些实施例中，第一电子设备101可作为源设备，第二电子设备102可作为第一电子设备101的目的设备。第一电子设备101可将第一电子设备101中的内容(例如应用、图片、视频、音频或文档等)投射至电子设备102的显示屏中进行显示，实现跨屏显示功能。
以第一电子设备101为手机、第二电子设备102为笔记本电脑举例，在一些场景下，用户可将手机作为源设备，将手机中的一个或多个应用投射至笔记本电脑(即目的设备)中显示。
示例性的，如图2所示，可在笔记本电脑(即第二电子设备102)上设置电子标签201，电子标签也可称为NFC(near field communication，近场通信)标签。电子标签201中一般设置有线圈，在笔记本电脑出厂时可预先向电子标签201的线圈中写入该笔记本电脑的设备信息。例如，该设备信息可包括笔记本电脑的名称、蓝牙MAC(media accesscontrol，媒体访问控制)地址等。或者，还可以在可在笔记本电脑中设置NFC芯片，NFC芯片中存储有笔记本电脑的设备信息。
那么，当用户需要将手机中的应用投射至笔记本电脑中显示时，可开启手机的NFC功能，将手机靠近或接触笔记本电脑上的电子标签201(或NFC芯片)。这样，手机在与电子标签201(或NFC芯片)彼此靠近的情况下，可通过发射近场信号从电子标签201(或NFC芯片)中读取笔记本电脑的设备信息。进而，手机可根据笔记本电脑的设备信息与笔记本电脑建立无线通信连接。例如，该无线通信连接具体可以为蓝牙连接、Wi-Fi连接或Wi-Fi P2P(peerto peer，点对点)连接等，本申请实施例对此不做任何限制。
当然，手机除了通过触碰笔记本电脑上电子标签201的方式与笔记本电脑建立无线通信连接外，本领域技术人员还可以设计其他方式建立手机与笔记本电脑之间的通信连接本申请实施例对此不做任何限制。例如，用户可使用数据线连接手机与笔记本电脑，从而建立手机与笔记本电脑之间的通信连接。又例如，手机可通过扫描笔记本电脑上显示的二维码或条形码获取笔记本电脑的设备信息，并与笔记本电脑建立无线通信连接。
手机与笔记本电脑建立通信连接后，如图3A所示，手机可将手机内安装的N(N为大于0的整数)个应用的应用信息发送给笔记本电脑。其中，该应用信息可以包括应用的图标和标识，其中，应用的标识可以为应用包名(packgename)或ID等，应用的图标也可称为应用的快捷方式。或者，该应用信息还可以包括应用的运行状态(例如正在前台运行或正在后台运行)、使用频率等参数。进而，仍如图3A所示，笔记本电脑可根据接收到的应用信息，在笔记本电脑的桌面301中显示出上述N个应用的图标302，从而将手机中的应用列表显示在笔记本电脑中。
或者，如图3B所示，笔记本电脑在桌面301中显示手机中N个应用的图标302时，还可以在桌面301中显示原本安装在笔记本电脑上的一个或多个应用或文件的图标303。也就是说，手机投射至笔记本电脑上显示的应用列表不会影响笔记本电脑原本显示的应用列表，这样，用户可以在笔记本电脑上既可以操作图标303使用笔记本电脑的相关功能，还可以操作图标302使用手机的相关功能，实现多屏协同功能。其中，当手机为源设备时，安装在手机中的应用可称为源设备应用；当笔记本电脑为目的设备时，安装在笔记本电脑中的应用可称为目的应用。
又或者，如图3C所示，笔记本电脑也可以将上述图标302显示在笔记本电脑的开始菜单304中。用户打开笔记本电脑的开始菜单304后，笔记本电脑可以在所有应用的选项305中同时显示安装在笔记本电脑上的一个或多个应用或文件的图标303，以及手机中N个应用的图标302。这样，用户可以无差别的在笔记本电脑上使用笔记本电脑提供的应用以及手机提供的应用，实现多设备功能统一在目的设备上的无差别融合。
当然，笔记本电脑也可以将上述图标302显示在笔记本电脑的任务栏、直贴、工具栏或状态栏等位置，本申请实施例对此不做任何限制。
又或者，如图4中的(a)所示，笔记本电脑接收到手机发来的应用信息后，可在桌面301中显示按钮401。如果检测到用户选中该按钮401，则如图4中的(b)所示，笔记本电脑可根据上述N个应用的应用信息显示出对应的应用列表402，应用列表402中可以包括上述N个应用的图标。其中，本申请实施例对上述应用列表402以及按钮401的具体显示形态和显示位置不做任何限制。例如，可在笔记本电脑的桌面301中增设展示栏(例如dock栏)显示上述按钮401，也可以在笔记本电脑的桌面301原有的任务栏、工具栏或开始菜单中显示上述按钮401。
另外，在手机向笔记本电脑发送上述应用信息，以及笔记本电脑显示上述图标302的同时，手机可以正常运行原本正在运行的应用，或者，手机也可以处于黑屏或锁屏状态。
后续，如果用户需要在笔记本电脑上使用手机中应用1的相关功能，则用户可在笔记本电脑显示出的N个应用的图标302中选中应用1的图标。进而，笔记本电脑可将用户选中的图标对应的应用1的标识发送给手机，触发手机开始运行该应用1，并将运行应用1时产生的应用界面的显示数据发送给笔记本电脑进行显示，从而以应用为粒度将手机(即源设备)中的应用1跨屏显示在笔记本电脑(即目的设备)中，方便用户在目的设备中使用源设备中的应用，实现多屏协同的功能。
当然，如果用户还需要在在笔记本电脑上继续打开手机中的应用2，则用户可继续在桌面301中选中应用2的图标，触发手机按照上述方法继续将应用2跨屏显示在笔记本电脑中。这样，用户可在笔记本电脑(即目的设备)中打开手机(即源设备)上的多个应用，实现多应用的跨屏显示功能。
可以看出，在本申请提供的多屏协同方法中，并不是将源设备(例如上述手机)正在显示的应用界面投射至目的设备(例如上述笔记本电脑)中显示，而是将源设备中安装的N个应用的应用信息发送给目的设备，使得目的设备可以向用户呈现出源设备上安装的应用列表。这样一来，源设备的全部设备能力通过该应用列表可呈现在目的设备上，用户可按照自己的需求在目的设备上打开并显示源设备上安装的一个或多个应用，实现一个或多个应用在不同设备上的跨屏显示功能，提高用户的使用体验。
同时，目的设备在显示源设备的应用列表时，仍然可以显示目的设备自身的应用和文件。也就是说，源设备和目的设备的设备能力均可呈现在目的设备上，用户可以无差别的在目的设备上使用目的设备提供的应用以及源设备提供的应用，从而在不影响目的设备正常运行的同时，可以在目的设备上有效融合源设备提供的应用功能，提高多屏交互和协同时用户的使用体验。
后续实施例中将结合具体示例阐述源设备将其一个或多个应用跨屏显示在目的设备中的具体方法，故此处不予赘述。
以手机作为上述多屏协同系统200中的第一电子设备101举例，图5示出了手机的结构示意图。
手机可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180等。
可以理解的是，本发明实施例示意的结构并不构成对手机的具体限定。在本申请另一些实施例中，手机可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
手机的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。手机中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，手机的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
手机通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机可以包括1个或N个显示屏194，N为大于1的正整数。
手机可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，手机可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机可以支持一种或多种视频编解码器。这样，手机可以播放或录制多种编码格式的视频，例如：动态图像专家组(movingpicture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
手机可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。手机可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当手机接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。手机可以设置至少一个麦克风170C。在另一些实施例中，手机可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，手机还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
传感器模块180中可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
当然，手机还可以包括充电管理模块、电源管理模块、电池、按键、指示器以及1个或多个SIM卡接口等，本申请实施例对此不做任何限制。
上述手机的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明手机的软件结构。
图6是本申请实施例的手机的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图6所示，应用程序层中可以安装通话，备忘录，浏览器，联系人，相机，图库，日历，地图，蓝牙，音乐，视频，短信息等APP(应用，application)。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图6所示，应用程序框架层可以包括NFC服务，窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
手机打开NFC功能后可开始运行NFC服务，当手机与另一电子设备(例如笔记本电脑)的电子标签或NFC芯片靠近或接触时，NFC服务可调用内核层的NFC驱动读取电子标签中的信息，并基于该信息与另一电子设备建立无线通信连接。
上述窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
上述内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
上述视图系统可用于构建应用程序的显示界面。每个显示界面可以由一个或多个控件组成。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Widget)等界面元素。
上述电话管理器用于提供手机的通信功能。例如通话状态的管理(包括接通，挂断等)。
上述资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
上述通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，振动，指示灯闪烁等。
如图6所示，系统库可以包括多个功能模块。例如：图层整合器(SurfaceFlinger)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
SurfaceFlinger用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
内核层是硬件和软件之间的层。内核层至少包含HWcomposer(硬件组合抽象层)，摄像头驱动，音频驱动，传感器驱动等，本申请实施例对此不做任何限制。
在本申请实施例中，如图7所示，当应用程序层开始运行某一应用(例如音乐APP701)后，手机可为音乐APP 701分配一个对应的缓存队列(buffer queue)，例如，缓存队列1。缓存队列1用于缓存音乐APP 701运行时产生的绘图指令，例如openGL指令等。示例性的，音乐APP 701运行时可调用应用程序框架层中的窗口管理器和视图系统生成音乐APP 701的应用界面中各个控件和图层的绘图指令。通过执行这些绘图指令可绘制出音乐APP 701的应用界面。那么，音乐APP 701实时的生成这些绘图指令后，可将这些绘图指令压入对应的缓存队列1中保存。类似的，手机可在应用程序层中运行多个应用(例如图7中所示的应用2、应用3等)，每个应用在运行时均可将产生的绘图指令存储在对应的缓存队列中。
仍如图7所示，缓存队列中的绘图指令可被发送至系统库的SurfaceFlinger中，SurfaceFlinger通过执行各个缓存队列中的绘图指令可绘制出对应的图层和控件。并且，SurfaceFlinger可对这些图层和控件进行合成，得到每一帧应用界面的帧数据(也可称为图形数据)。例如，该帧数据的格式可以为RGB(R表示红色，G表示绿色，B表示蓝色)格式。示例性的，SurfaceFlinger可以调用GPU等硬件合成应用界面的帧数据，也可以使用具有图形合成能力的软件模块合成应用界面的帧数据。SurfaceFlinger可将生成的每一帧帧数据存储在帧缓存区(frame buffer)，等待输出或显示。
仍如图7所示，帧缓存区中的帧数据可被发送至内核层的HWcomposer中。HWcomposer中的显示控制器(display controller)可将应用界面的帧数据转换为能够直接在显示屏上显示的像素数据。该像素数据的格式也可以为RGB格式。如果上述像素数据所属的应用为正在前台运行的应用，则HWcomposer可将生成的像素数据发送至手机的显示屏，使得显示屏可按照该像素数据显示出应用的应用界面。
在一些实施例中，仍如图7所示，手机中还可以包括视频编码器(Media Encoder)，视频编码器可获取SurfaceFlinger输出的帧数据，也可以获取HWcomposer输出的像素数据。视频编码器可用于对上述SurfaceFlinger输出的帧数据或HWcomposer输出的像素数据进行编码和压缩。后续实施例中可将经过视频编码器编码和压缩后的数据称为编码数据，其数据量相比于未经过编码和压缩的帧数据和像素数据相比可大大降低。示例性的，上述编码数据的格式可以为YUV(Y表示亮度，U和V表示色度)格式。
在本申请实施例中，仍以手机(即源设备)将安装的N个应用投射至笔记本电脑(即目的设备)中举例，如果检测到用户在笔记本电脑中打开上述N个应用中的某一个应用(例如音乐APP 701)，则笔记本电脑可将音乐APP 701的标识发送给手机，指示手机将音乐APP701的应用界面投射至笔记本电脑中显示。
此时，手机可在应用程序层中开始运行音乐APP 701。在运行音乐APP 701的过程中，如图7所示，音乐APP 701可将运行时产生的应用界面的一系列绘图指令存储在音乐APP701的缓存队列1中。那么，手机可将缓存队列1中实时存储的一系列绘图指令发送给笔记本电脑。这样，笔记本电脑可按照该绘图指令在笔记本电脑的桌面中绘制出音乐APP 701的应用界面，使得手机将音乐APP 701投射至笔记本电脑中显示。
或者，手机在向笔记本电脑投射音乐APP 701时，仍如图7所示，手机可将音乐APP701运行时在SurfaceFlinger中产生的应用界面的帧数据发送给笔记本电脑。这样，笔记本电脑可按照该帧数据在笔记本电脑的桌面中绘制出音乐APP 701的应用界面，使得手机将音乐APP701投射至笔记本电脑中显示。
又或者，手机在向笔记本电脑投射音乐APP 701时，仍如图7所示，手机可将音乐APP 701运行时在HWcomposer中产生的应用界面的像素数据发送给笔记本电脑。这样，笔记本电脑可按照该像素数据在笔记本电脑的桌面中绘制出音乐APP 701的应用界面，使得手机将音乐APP 701投射至笔记本电脑中显示。
又或者，手机在向笔记本电脑投射音乐APP 701时，仍如图7所示，手机可将音乐APP 701运行时视频编码器输出的编码数据发送给笔记本电脑。这样，笔记本电脑对该编码数据进行解码后，可按照解码后的数据在笔记本电脑的桌面中绘制出音乐APP 701的应用界面，使得手机将音乐APP 701投射至笔记本电脑中显示。
类似的，如果用户在笔记本电脑中打开手机上安装的多个应用，则手机可按照上述方法运行每一个应用，并将每个应用运行时产生的应用界面的显示数据(该显示数据可以为上述绘图指令、帧数据、像素数据或编码数据)发送给笔记本电脑进行显示，实现多应用的跨屏显示功能。
另外，手机作为源设备在向目的设备(例如上述笔记本电脑)投射应用时，手机可将该应用运行在手机的前台，与目的设备同步显示该应用的应用界面。或者，手机也可以将该应用运行在手机的后台，此时，手机可在前台显示其他应用的应用界面或处于黑屏状态。也就是说，手机在向目的设备投射应用的应用界面时，不需要在手机中也同步显示该应用的应用界面，用户可正常使用手机实现手机提供的相关功能。
以下将结合附图详细阐述本申请实施例提供的一种多屏协同方法。
如图8所示，以用户将手机(即源设备)中的应用投射至笔记本电脑(即目的设备)中显示为例，本申请实施例提供的一种多屏协同方法可以包括以下步骤：
S801、手机与笔记本电脑建立通信连接。
其中，上述通信连接可以为无线通信连接，例如，Wi-Fi连接、蓝牙连接、P2P连接、NFC连接或基于蜂窝网络的数据连接等，或者，上述通信连接也可以为有线连接，例如，可使用数据线或dock设备连接手机与笔记本电脑，本申请实施例对此不做任何限制。
示例性的，可在笔记本电脑上设置NFC芯片或电子标签，并在该NFC芯片或电子标签中存储笔记本电脑的设备信息，例如笔记本电脑的MAC地址等。进而，手机开启NFC功能后，通过接近或触碰笔记本电脑上的NFC芯片或电子标签，可获取到笔记本电脑的设备信息。这样，手机按照该设备信息可与笔记本电脑建立蓝牙连接、Wi-Fi连接或P2P连接等通信连接。
又例如，笔记本电脑上可显示预设的二维码，该二维码中包括笔记本电脑的设备信息。那么，手机通过扫描笔记本电脑上的二维码也可获取到笔记本电脑的设备信息。这样，手机按照该设备信息可与笔记本电脑建立蓝牙连接、Wi-Fi连接或P2P连接等通信连接。
当然，用户也可以使用手机创建Wi-Fi热点，并将笔记本电脑接入手机创建的Wi-Fi热点中，从而建立手机与笔记本电脑之间的通信连接，本申请实施例对手机与笔记本电脑建立通信连接的具体方式不做任何限制。
S802、手机将手机中安装的N个应用的应用信息发送给笔记本电脑。
其中，上述N个应用可以是手机中安装的全部或部分应用。例如，这N个应用可以是手机中安装的所有应用，或者，这N个应用可以是用户在手机中安装的所有第三方应用，或者，这N个应用可以是用户最近一周使用频率大于预设值的应用，本申请实施例对此不做任何限制。
示例性的，手机检测到与其他设备(例如笔记本电脑)建立了通信连接后，可触发手机获取当前已安装的N个应用中每个应用的标识(例如应用的包名)和图标。进而，手机可将这些应用的标识和图标作为应用信息通过上述通信连接发送给笔记本电脑。
又或者，手机内可定期维护一份已安装的应用列表。例如，当用户在手机中安装新应用或卸载已安装应用时，手机可更新该应用列表中应用的标识和图标。那么，当手机与笔记本电脑建立了通信连接后，手机可将最新的应用列表中每个应用的标识和图标作为应用信息通过上述通信连接发送给笔记本电脑。
另外，上述应用信息中除了包括上述N个应用中每个应用的标识和图标外，还可以包括应用的运行状态或使用频率等与该应用相关的参数。例如，当手机中的微信APP正在手机中运行时，微信APP的运行状态可以为01；当手机中的音乐APP没有在手机中运行时，音乐APP的运行状态可以为00。又例如，当微信APP在手机中最近一周的启动频率或运行时间大于预设值时，微信APP的使用频率可以设置为：高；当运动APP在手机中最近一周的启动频率或运行时间小于预设值时，运动APP的使用频率可以设置为：低。
需要说明的是，手机可以在首次检测到与笔记本电脑建立通信连接后，将上述N个应用的应用信息发送给笔记本电脑，笔记本电脑可保存该应用信息。后续，当手机再次与笔记本电脑建立通信连接后，手机可不再向笔记本电脑发送该应用信息。或者，当手机再次与笔记本电脑建立通信连接后，手机可将除上述N个应用之外还需要在笔记本电脑上跨屏显示的一个或多个应用的应用信息发送给笔记本电脑。例如，手机可将在上述N个应用的基础上安装的新应用的应用信息发送给笔记本电脑。
S803、笔记本电脑按照上述应用信息显示N个应用的应用列表。
在步骤S803中，笔记本电脑接收到手机发来的N个应用的应用信息后，可按照该应用信息在笔记本电脑的显示屏中显示出手机上安装的N个应用组成的应用列表，从而将手机中安装的应用列表投射至笔记本电脑中显示。
示例性的，如图9中的(a)所示，笔记本电脑接收到手机发来的应用信息后，可在其桌面901中显示出预设的展示栏，例如dock栏902。dock栏902内设置有用于打开手机中应用列表的按钮903。那么，如果检测到用户选中按钮903，例如，检测到用户通过操作笔记本电脑的鼠标移动光标并点击该按钮903，则如图9中的(b)所示，笔记本电脑可将上述N个应用的应用信息中携带的每个应用的图标显示在桌面901中，形成上述N个应用的应用列表904。这样，笔记本电脑通过应用列表904可将手机(即源设备)的各项设备能力呈现给用户，用户可从应用列表904中选择需要在笔记本电脑上投射的具体应用。笔记本电脑在显示应用列表904的同时还可以正常显示笔记本电脑中的文件或应用，用户也可以在笔记本电脑中打开笔记本电脑中的文件或应用，即手机向笔记本电脑投射应用列表904时不会干扰笔记本电脑的正常运行。
在一些实施例中，如果手机发来的应用信息中还包括应用的运行状态，例如，正在手机中运行的应用包括微信APP和音乐APP，则如图10所示，笔记本电脑还可以在上述dock栏902中显示手机中正在运行的微信APP的图标1001和音乐APP的图标1002。也就是说，笔记本电脑(即目的设备)可将手机(即源设备)中正在运行的应用的图标投射在笔记本电脑显示的界面中，方便用户在笔记本电脑上快速打开手机上正在运行的应用。
在一些实施例中，如果手机发来的应用信息中还包括应用的使用频率，例如，使用频率大于预设值的应用包括计算器APP和天气APP，则如图11中的(a)所示，笔记本电脑还可以在上述dock栏902中显示这些使用频率较高的应用的图标，即计算器APP的图标1101和天气APP的图标1102。这样，用户可在笔记本电脑上方便、快速的找到和打开在手机上经常使用的应用。
或者，用户还可以手动的在上述dock栏902中添加需要展示的手机上的一个或多个应用的图标。如图11中的(b)所示，用户选中上述按钮903在笔记本电脑上打开应用列表904后，用户可使用光标将应用列表904中一个或多个应用的图标拖动至dock栏902内，手机可响应用户的拖动操作将相应应用的图标添加至dock栏902中显示。当然，笔记本电脑也可以在dock栏902中设置添加按钮1103，用户通过添加按钮1103可手动向dock栏902中添加应用的图标。
另外，上述dock栏902可悬浮显示在笔记本电脑的桌面901中，用户可以手动调整dock栏902在桌面901中的位置或大小。或者，如果在一定时间内没有检测到用户对dock栏902输入任何操作，则笔记本电脑可在桌面901中隐藏dock栏902。
可以理解的是，本领域技术人员可以根据实际经验或实际应用场景在上述dock栏902中设置其他按钮，例如，可以在dock栏902中显示设置按钮，用于设置手机向笔记本电脑跨屏显示时的各项参数，又例如，还可以在dock栏902中显示退出按钮，用于退出本次手机与笔记本电脑之间的跨屏显示任务，本申请实施例对此不做任何限制。
当然，除了通过上述dock栏902在笔记本电脑中显示手机投射来的N个应用外，笔记本电脑还可以在桌面或任务栏等其他位置显示上述N个应用组成的应用列表，本申请实施例对此不做任何限制。
可以看出，通过执行上述步骤S801-S803，手机可将安装的N个应用组成的应用列表投射至笔记本电脑中显示，使得用户在跨屏显示过程中可以按照自身的需要操作应用列表中的应用实现相应的功能。在执行上述步骤S801-S803的过程中，手机可以显示原本在前台运行的应用，也可以处于黑屏或锁屏状态。也就是说，手机向笔记本电脑投射应用列表的过程不会干扰手机原本的运行状态，用户仍可正常操作手机中的各项应用和功能。
S804、响应于用户在上述应用列表中选中第一应用的操作，笔记本电脑向手机发送第一启动消息，第一启动消息中包含第一应用的标识。
示例性的，笔记本电脑在桌面901中显示出应用列表904后，用户可操作笔记本电脑上的光标选择本次需要投射至笔记本电脑上显示的具体应用。例如，仍如图9中的(b)所示，如果用户希望将手机上的相册APP投射至笔记本电脑上显示，则用户可操作笔记本电脑上的光标点击相册APP的图标905。笔记本电脑检测到用户点击应用列表904中相册APP的图标905后，可将相册APP的标识(例如包名)携带在第一启动消息中发送给手机，以指示手机将相册APP投射至笔记本电脑中显示。
当然，如果用户希望打开的应用图标位于上述dock栏902中，用户也可以操作光标点击dock栏902中相应应用的图标。同样，笔记本电脑可响应用户点击应用图标的操作向手机发送对应的启动消息，启动消息中包含用户点击的具体应用的标识。
S805、响应于上述第一启动消息，手机将运行第一应用时产生的应用界面的显示数据发送给笔记本电脑。
手机接收到笔记本电脑发送的第一启动消息后，手机可根据第一启动消息中第一应用(例如相册APP)的标识，查询手机正在运行的应用中是否包含相册APP。
如果手机正在运行相册APP，如图12所示，相册APP运行时产生的应用界面的绘图指令存储在对应的缓存队列(buffer queue)1中。例如，上述绘图指令具体可以为GPU渲染指令、openGL指令等。通过执行这些绘图指令可绘制出相册APP对应的应用界面。那么，在步骤S805中，手机可将缓存队列1中实时存储的绘图指令作为相册APP的显示数据发送给笔记本电脑，使得笔记本电脑可以按照该绘图指令绘制出相册APP的应用界面。
或者，仍如图12所示，相册APP在运行时通过调用SurfaceFlinger可执行缓存队列1中的绘图指令，进而合成相册APP中每一帧应用界面的帧数据。例如，该帧数据具体可以为RGB格式的显示数据。该帧数据一般存储在SurfaceFlinger的帧缓存区(frame buffer)内。那么，在步骤S805中，手机可将帧缓存区中相册APP的帧数据作为相册APP的显示数据发送给笔记本电脑，使得笔记本电脑可以按照该帧数据绘制出相册APP的应用界面。
又或者，仍如图12所示，相册APP在运行时通过SurfaceFlinger输出的帧数据最终被发送至HWcomposer中，由HWcomposer将该帧数据转换为能够在显示屏上显示的像素数据，例如RGB格式的像素数据。那么，在步骤S805中，手机可将HWcomposer实时输出的相册APP的像素数据作为相册APP的显示数据发送给笔记本电脑，使得笔记本电脑可以按照该像素数据绘制出相册APP的应用界面。
又或者，仍如图12所示，相册APP在运行时通过SurfaceFlinger输出的帧数据(或者通过HWcomposer输出的像素数据)可通过视频编码器进行编码和压缩，生成与相册APP的应用界面对应的编码数据，例如，YUV格式的显示数据。那么，在步骤S805中，手机可将视频编码器实时输出的相册APP的编码数据作为相册APP的显示数据发送给笔记本电脑，使得笔记本电脑可以按照该编码数据解码后绘制出相册APP的应用界面，同时可降低数据传输时的数据传输量。
相应的，如果手机还没有开始运行相册APP，则手机接收到上述第一启动消息后可先创建相册APP的应用进程启动相册APP。例如，手机可以在前台启动相册APP，也可以在后台启动相册APP。进而，相册APP启动后在运行的过程中，仍如图12所示，手机可实时的将相册APP产生的绘图指令、帧数据、编码数据或像素数据作为相册APP的显示数据发送给笔记本电脑，使得笔记本电脑可按照该显示数据绘制出相册APP的应用界面。
S806、笔记本电脑按照上述显示数据显示第一应用的第一应用窗口。
仍以手机向笔记本电脑投射相册APP举例，如果手机发来的显示数据为相册APP运行时产生的绘图指令，则笔记本电脑接收到该绘图指令后，可通过笔记本电脑中的GPU、显卡等显示模块执行该绘图指令。此时，仍如图12所示，笔记本电脑通过执行上述绘图指令可在桌面901中绘制出相册APP的应用界面1301(也可称为相册APP的应用窗口)。由于手机运行相册APP时的应用界面可以实时更新，因此，手机可实时向笔记本电脑发送新的绘图指令，使得笔记本电脑可在桌面901中不断绘制相册APP实时显示的应用界面。
或者，如果手机发来的显示数据为相册APP运行时产生的帧数据，则笔记本电脑接收到该帧数据后，笔记本电脑同样可根据该帧数据利用其显示模块绘制相册APP的应用界面，得到如图12所示的应用界面1301。
又或者，如果手机发来的显示数据为相册APP运行时产生的像素数据，则笔记本电脑接收到该像素数据后，笔记本电脑同样可根据该像素数据利用其显示模块绘制相册APP的应用界面，得到如图12所示的应用界面1301。
又或者，如果手机发来的显示数据为相册APP运行时产生的编码数据，则笔记本电脑接收到该编码数据后，可先使用视频解码器(Media Decoder)对接收到的编码数据进行解码，进而，笔记本电脑可根据解码后的数据利用其显示模块绘制相册APP的应用界面，得到如图12所示的应用界面1301。
在另一些实施例中，笔记本电脑根据手机发来的显示数据绘制出相册APP的应用界面1301后，如图13所示，笔记本电脑可在应用界面1301上增加标题栏1401，从而以窗口的形式显示相册APP的应用界面。标题栏1401与应用界面1301共同组成了相册APP的应用窗口。该标题栏1401中可以包括应用的名称1402、最小化按钮1403、最大化按钮1404以及关闭按钮1405等，本申请实施例对此不做任何限制。这样，投射至笔记本电脑上的应用可沿用笔记本电脑中操作系统的显示方式进行显示，从而提高用户的使用体验。
至此，通过执行上述步骤S801-S806，手机通过向笔记本电脑投射手机上的应用列表，使用户可以有选择的将需要的应用从手机投射至笔记本电脑上显示，实现应用在不同设备上的跨屏显示功能，增加在跨屏显示场景下用户的使用体验。
S807、响应于用户对第一应用窗口输入的第一操作，笔记本电脑向手机发送对应的第一控制消息。
仍以手机向笔记本电脑投射相册APP举例，笔记本电脑在桌面901中显示出相册APP的应用窗口后，用户可通过操作笔记本电脑上显示的应用窗口控制手机中运行的相册APP，从而在笔记本电脑(即目的设备)上实现源设备中相关应用的各项功能。
示例性的，笔记本电脑在按照上述显示数据绘制相机APP的应用界面1301时，可建立在笔记本电脑中显示的应用界面1301与手机运行相机APP时对应的应用界面之间的对应关系。例如，手机发来的相机APP的应用界面的大小为300*400，则笔记本电脑可按照300*400的大小绘制出上述应用界面1301；或者，笔记本电脑可按照一定缩放比例绘制上述应用界面1301，例如，笔记本电脑可按照600*800的大小绘制出上述应用界面1301。
如图14所示，笔记本电脑可以应用界面1301的左上角为原点O建立直角坐标系。由于笔记本电脑中显示的应用界面1301与手机运行相机APP时的应用界面是对应的，因此，笔记本电脑可根据该对应关系，将应用界面1301中的任意坐标转换为在手机中运行相机APP的应用界面时对应的坐标。当笔记本电脑检测到用户在应用界面1301中输入单击、双击、拖拽、鼠标滚动或键盘输入等操作时，笔记本电脑可生成对应的控制消息发送给手机。
其中，上述控制消息中可以包括应用界面1301所属的应用的标识，例如相册APP的包名，以便手机获知本次控制消息是针对相册APP的控制消息。并且，上述控制消息中还可以包括用户输入的操作类型，例如，单击操作、双击操作、拖拽操作、鼠标滚动操作或键盘输入操作等。
当操作类型为单击操作或双击操作时，笔记本电脑可在对应的控制消息中携带该单击操作在其应用窗口中的坐标。当操作类型为拖拽操作时，笔记本电脑可在对应的控制消息中携带该拖拽操作在其应用窗口中的起始坐标和结束坐标。如果笔记本电脑显示的相册APP的应用界面1301的大小与手机运行相册APP时的应用界面大小相同，则上述坐标可以是本次操作在上述直角坐标系中的坐标。或者，如果笔记本电脑显示的相册APP的应用界面1301的大小与手机运行相册APP时的应用界面大小不同，笔记本电脑可将本次操作在上述直角坐标系中的坐标转换为手机运行相册APP时对应的坐标，并将转换后的坐标携带在控制消息中。
当操作类型为鼠标滚动操作时，笔记本电脑可在对应的控制消息中携带具体的鼠标滚动量；当操作类型为键盘输入操作时，笔记本电脑可在对应的控制消息中携带用户输入的具体字符串。
或者，当操作类型为拖拽操作时，笔记本电脑可按照一定检测频率将实时检测到的光标在其应用窗口中的坐标携带在一系列控制消息中发送给手机。这样，手机可根据这一系列控制消息中的坐标实时响应用户在应用界面1301上的操作控制相册APP实现相应的功能。
类似的，当操作类型为鼠标滚动操作时，笔记本电脑在检测到鼠标滚轮每滚动1个单位时，便可向手机发送一次控制消息，从而实时的向手机上报本次鼠标滚动操作。同样，手机可根据接收到的一系列控制消息实时响应用户滚动鼠标对相册APP执行相应的操作。另外，为了避免短时间内向手机发送大量控制消息对手机的处理性能产生影响，笔记本电脑可设置单位时间内向手机发送控制消息数目的上限值(例如，每秒10条)，当发送的控制消息的数目超过该上限值时，笔记本电脑可停止生成对应的控制消息或丢弃多余的控制消息。
示例性的，仍如图14所示，如果检测到用户控制光标点击应用界面1301中照片1501上的A点，则笔记本电脑可将A点的坐标(x，y)转换为手机运行相机APP时对应的坐标A’。进而，笔记本电脑可将本次操作的操作类型：单击操作，A’点的坐标以及相册APP的包名携带在第一控制消息中发送给手机。手机后续可根据第一控制消息向相册APP上报对应的输入事件，从而触发相册APP执行对应的操作指令。
用户除了可以在应用界面1301中输入相应的操作外，还可以操作应用界面1301的标题栏1401。例如，如果检测到用户点击标题栏1401中的最小化按钮1403，则笔记本电脑可在桌面901的dock栏902或任务栏中显示相册APP的最小化窗口，并隐藏应用界面1301。如果检测到用户点击标题栏1401中的最大化按钮1404，则笔记本电脑可将应用界面1301平铺在桌面901上显示。如果检测到用户点击标题栏1401中的关闭按钮1405，则笔记本电脑可向手机发送关闭消息，触发手机结束正在运行的相册APP，此时，手机也不会再向笔记本电脑发送相册APP产生的显示数据，那么，笔记本电脑也不会再继续显示上述标题栏1401和应用界面1301。
另外，用户还可以手动调整相册APP的应用界面1301在桌面901中的位置和大小。示例性的，如果用户将应用界面1301在桌面901中放大两倍，则笔记本电脑可更新应用界面1301在桌面901中的具体位置。并且，当后续检测到用户在应用界面1301中输入相应操作时，笔记本电脑可将该操作在直角坐标系中的坐标值缩小两倍，从而将该操作还原为应用界面1301在没有放大前的操作。后续，笔记本电脑可将缩小两倍后的坐标值携带在控制消息中发送给手机。
S808、响应于上述第一控制消息，手机对第一应用执行与第一控制消息对应的操作指令。
仍以用户单击上述应用界面1301中照片1501上的A点举例，笔记本电脑发来的第一控制消息中可以包括相册APP的标识，本次操作的操作类型为单击操作，单击位置对应于手机显示屏的A’点。进而，手机可将上述第一控制消息转化为用户在A’点的触摸事件，并将该触摸事件上报给相册APP。对相册APP而言，相册APP接收到该触摸事件后可理解为用户点击了正在运行的相册APP上的A’点，说明用户希望打开与A’点(即笔记本电脑上对应的A点)对应的照片1501，则相册APP可调用相应的函数执行打开照片1501的操作指令。
相册APP在执行打开照片1501的操作指令时会产生新的显示数据(例如上述绘图指令、帧数据或像素数据)，那么，手机可继续按照步骤S805-S806所述的方法，将新的显示数据发送给笔记本电脑，触发笔记本电脑在桌面901中更新相册APP的应用界面。这样，用户通过操作笔记本电脑(即目的设备)上投射的显示内容，可在目的设备上实现手机(即源设备)中相关应用的各项功能。
在一些实施例中，手机接收到笔记本电脑发来的上述第一控制消息后，可以在前台触发相册APP执行对应的操作指令，也可以在后台触发相册APP执行对应的操作指令。如图15所示，手机在运行桌面1601时接收到上述第一控制消息后，手机正在后台运行相册APP并在前台显示桌面1601。那么，手机将上述第一控制消息转化为用户在A点的触摸事件后，可向正在后台运行的相册APP上报该触摸事件。进而，相册APP可在后台响应该触摸事件执行打开照片1501的操作指令。此时，仍如图15所示，手机在前台显示桌面1601的同时，可将相册APP在后台产生的新的显示数据发送给笔记本电脑，触发笔记本电脑显示相册APP打开照片1501后的应用界面1602。也就是说，用户在笔记本电脑上操作手机中的APP实现相关功能时，不会干扰手机原本的运行状态，用户仍可正常操作手机中的各项应用和功能。
在一些实施例中，手机将其应用列表投射至笔记本电脑后，用户可以在笔记本电脑上打开该应用列表中的多个应用，实现多应用的跨屏显示功能。示例性的，在笔记本电脑显示出第一应用的第一应用窗口(即步骤S806)后，用户还可以继续在笔记本电脑中打开上述应用列表中的第二应用，此时，手机与笔记本电脑还可以继续执行下述步骤S809-S813。
S809、响应于用户在上述应用列表中选中第二应用的操作，笔记本电脑向手机发送第二启动消息，第二启动消息中包含第二应用的标识。
与步骤S804类似的，用户通过上述应用列表904在笔记本电脑上打开手机中的相册APP后，用户还可以继续打开应用列表904，并在应用列表904中选择需要打开的应用。例如，如图16所示，如果用户还希望将手机上的音乐APP投射至笔记本电脑上显示，则用户可操作笔记本电脑上的光标点击音乐APP的图标1701。笔记本电脑检测到用户点击音乐APP的图标1701后，可将音乐APP的标识携带在第二启动消息中发送给手机，以指示手机将音乐APP投射至笔记本电脑中显示。
S810、响应于上述第二启动消息，手机将运行第二应用时产生的应用界面的显示数据发送给笔记本电脑。
S811、笔记本电脑按照上述显示数据显示第二应用的第二应用窗口。
与步骤S805-S806类似的，在步骤S810-S811中，手机接收到笔记本电脑发送的音乐APP的第二启动消息后，如果手机中没有运行音乐APP，则手机可先启动音乐APP。
手机启动音乐APP后，在运行音乐APP的过程中，与图12所示的手机运行相册APP的过程类似的，如图17所示，手机可将运行音乐APP时对应缓存队列2中产生的绘图指令作为音乐APP的显示数据发送给笔记本电脑。或者，手机可将运行音乐APP时SurfaceFlinger的帧缓存区内音乐APP的帧数据作为音乐APP的显示数据发送给笔记本电脑。或者，手机可将运行音乐APP时HWcomposer实时输出的音乐APP的像素数据作为音乐APP的显示数据发送给笔记本电脑。或者，手机可将运行音乐APP时视频编码器实时输出的音乐APP的编码数据作为音乐APP的显示数据发送给笔记本电脑。
笔记本电脑接收到手机发来的音乐APP的显示数据后，仍如图17所示，笔记本电脑可根据该显示数据通过其显示模块绘制出音乐APP的应用界面1801。当然，笔记本电脑还可以在应用界面1801上增加标题栏1802，从而以窗口的形式显示音乐APP的应用界面。此时，笔记本电脑可在桌面901中同时显示音乐APP的应用窗口以及相册APP的应用窗口，实现多应用的跨屏显示功能。
S812、响应于用户对第二应用窗口输入的第二操作，笔记本电脑向手机发送对应的第二控制消息。
S813、响应于上述第二控制消息，手机对第二应用执行与第二控制消息对应的操作指令。
与步骤S807-S808类似的，在步骤S812-S813中，笔记本电脑在桌面901中显示出音乐APP的应用窗口后，用户可通过在笔记本电脑上操作音乐APP的应用窗口控制手机中运行的音乐APP，从而在笔记本电脑(即目的设备)上实现源设备中相关应用的各项功能。
例如，如果检测到用户在音乐APP的应用窗口中输入第二操作，则笔记本电脑可将音乐APP的标识、第二操作的操作类型以及第二操作在应用窗口中的坐标携带在第二控制消息中发送给手机。进而，手机可将上述第二控制消息转化为对应的触摸事件，并将该触摸事件上报给音乐APP，使得音乐APP可调用相应的函数执行对应的操作指令。这样，用户通过操作笔记本电脑(即目的设备)上投射的显示内容，可在目的设备上实现手机(即源设备)中相关应用的各项功能。
在本申请的一些实施例中，手机在运行时可支持多display的显示模式。在多display的显示模式下，手机可向一个或多个外接显示设备输出不同的显示数据进行多屏显示。
示例性的，手机开启多display的显示模式后可以开始运行显示管理服务(DisplayManagerService)。显示管理服务支持多种显示类型的多个显示器的镜像显示，包括手机本地显示类型、HDMI显示类型以及支持WIFI Display协议的显示类型等，从而根据当前连接的外接显示设备控制其逻辑显示。也就是说，DisplayManagerService可以创建并管理一个或多个逻辑显示器(后续可称为display模块)。其中，一个display模块可存储手机或外接显示设备上的显示数据。
例如，DisplayManagerService可以创建大小与手机显示屏大小相同的display模块1，并将需要在手机上手机显示屏上显示的显示数据发送至display模块1。手机显示屏可固定从display模块1中获取相应的显示数据从而显示相应的界面。
又例如，除了display模块1外，DisplayManagerService还可以创建一定大小的display模块2，并将需要在外接显示设备1上显示的一个或多个应用的显示数据均发送至display模块2。外接显示设备1可固定从display模块2中获取相应的显示数据从而显示相应的界面。
又例如，除了display模块1外，DisplayManagerService还可以创建display模块2和display模块3。display模块2和display模块3均与外接显示设备1对应，其中，display模块2可用于存储应用1的显示数据，display模块3可用于存储应用2的显示数据。那么，外接显示设备1从display模块2中可以获取应用1的显示数据进行显示，并且，外接显示设备1从display模块2中可以获取应用2的显示数据进行显示。
如图18所示，手机在运行各个应用时，手机中的HWcomposer可将SurfaceFlinger输出的帧数据转换为像素数据。进而，HWcomposer可将各个应用的像素数据作为显示数据存储在对应的display模块中。或者，除了HWcomposer之外，手机中其他具有图形处理能力的硬件(例如GPU)或软件模块也可以将SurfaceFlinger输出的帧数据转换为像素数据，进而存储在对应的display模块中。并且，在每个display模块中存储的显示数据可以是经过视频编码器(图中未示出)编码后的编码数据，也可以是未经过视频编码器编码的数据，本申请实施例对此不做任何限制。
仍如图18所示，可以设置手机中的display模块1用于存储手机需要显示一个或多个应用的显示数据。也就是说，当用户在手机中打开一个或多个应用(例如应用1)时，手机可将应用1运行时产生的显示数据(例如像素数据)存储在display模块1中。手机的显示屏可固定从display模块1中获取应用1的像素数据从而显示相应的应用界面。
并且，还可以设置手机中除display模块1之外的每个display模块(例如display模块2和display模块3)分别用于存储需要在外接显示设备1中显示的每个应用。也就是说，手机可将需要在外接显示设备1中显示的一个或多个应用的显示数据分别存储在对应的display模块中。例如，当应用2需要在外接显示设备1中显示时，手机可将应用2产生的显示数据存储在display模块2中；如果应用3也需要在外接显示设备1中显示时，手机可将应用3产生的显示数据存储在display模块3中。外接显示设备1可分别从display模块2和display模块3中获取各个APP的显示数据，从而在外接显示设备1中显示相应的应用界面。
那么，在本申请的一些实施例中，可将上述笔记本电脑(即目的设备)作为手机的一个外接显示设备(例如上述外接显示设备1)。当手机接收到笔记本电脑发来的一个或多个应用的启动消息后，手机可进入多display的显示模式运行DisplayManagerService。此时，仍如图18所示，手机可将需要向自身的显示屏上输出的应用1的相关显示数据存储在display模块1中。并且，如果接收到笔记本电脑发来的应用2的启动消息，则手机可开始运行应用2，并将运行应用2时产生的显示数据存储在display模块2中。
后续，如图21所示，笔记本电脑中可以包括通信模块2101、视频解码模块2102、截取模块2103以及显示模块2104。通信模块2101可从手机的display模块2中获取应用2实时产生的显示数据。如果该显示数据为经过视频编码器编码后的数据，则视频解码模块2102可对该显示数据进行解码。手机在display模块2中存储应用2的显示数据时，可将应用2的显示数据按照全屏模式存储在display模块2，也可以按照一定的窗口大小将应用2的显示数据存储在display模块2中的某一具体位置。那么，手机还可以向笔记本电脑的通信模块2101发送应用2的显示数据的位置信息。例如，如果display模块2对应于一块大小为400*600的显示屏，手机运行应用2产生的显示数据对应的应用窗口大小为100*200，应用窗口左上角相对于上述400*600的显示屏的坐标为(0，0)，那么，手机在运行应用2时，可将应用2对应的应用窗口大小(100*200)以及该应用窗口左上角的坐标(0，0)作为显示数据的位置信息发送给笔记本电脑。
这样，笔记本电脑的截取模块2103可以根据上述位置信息从display模块2中截取出与应用2的应用窗口对应的显示数据，进而，由显示模块2104按照该显示数据在笔记本电脑中绘制应用2的应用窗口，实现应用在不同设备上的跨屏显示功能。
另外，当笔记本电脑显示应用2的应用界面时，用户还可以在笔记本电脑中继续打开手机上的其他应用(例如应用3)。如果手机接收到笔记本电脑发来的应用3的启动消息，则手机可开始运行应用3，并将运行应用3时产生的显示数据存储在display模块3中。同样，笔记本电脑的通信模块2101可从display模块3中获取应用3实时产生的显示数据，经过视频解码模块2102和截取模块2103分别对display模块3中的显示数据进行解码和截取，最终由显示模块2104按照截取到的显示数据在笔记本电脑中绘制应用3的应用界面。此时，笔记本电脑可同时显示应用1的应用界面以及应用2的应用界面，实现多应用的跨屏显示功能。
在另一些实施例中，如图19所示，可以设置手机中除display模块1之外的每个display模块(例如display模块2和display模块3)分别与一个外接显示设备对应。此时，以display模块2举例，display模块2中可存储需要在外接显示设备(例如外接显示设备1)中显示的一个或多个应用的显示数据。
仍如图19所示，仍以笔记本电脑(即目的设备)作为手机的外接显示设备1举例。手机可将需要向自身的显示屏上输出的应用1的相关显示数据存储在display模块1中。并且，如果接收到笔记本电脑发来的应用2的启动消息，则手机可开始运行应用2，并将运行应用2时产生的显示数据存储在display模块2中。后续，笔记本电脑可从display模块2中获取应用2实时产生的显示数据，并按照该显示数据在笔记本电脑中绘制应用2的应用界面，实现应用在不同设备上的跨屏显示功能。
不同的是，当笔记本电脑显示应用2的应用界面时，如果手机接收到笔记本电脑发来的应用3的启动消息，则手机可开始运行应用3，并将运行应用3时产生的显示数据也存储在display模块2中，即所有在笔记本电脑上需要显示的应用的显示数据均存储在对应的display模块2中。
当display模块2中既包含应用2的应用界面的显示数据，又包括应用3的应用界面的显示数据时，应用2的应用界面与应用3的应用界面在display模块2中可能会发生交叠，因此，手机还可以将用户本次操作的应用3的应用界面相对于display模块2的位置信息，发送给笔记本电脑。这样，笔记本电脑获取到display模块2中的显示数据后，其截取模块2103可按照上述位置信息截取与应用3的应用界面对应的显示数据。进而，笔记本电脑可根据截取到的显示数据绘制出应用3的应用界面，实现多个应用的跨屏显示功能。
或者，也可以预先在display模块2中为笔记本电脑需要显示的不同应用设置不同的显示模板。例如，当笔记本电脑中只需要显示手机中的一个应用时，可设置使用display模块2中的全部显示空间存储该应用的显示数据。当笔记本电脑中需要同时显示手机中应用1和应用2时，可将display模块2的显示空间划分为大小相等的空间1和空间2，空间1用于存储应用1的显示数据，空间2用于存储应用2的显示数据。
这样一来，如图20所示，当笔记本电脑显示应用2的应用界面时，如果手机接收到笔记本电脑发来的应用3的启动消息，则手机可将运行应用2时产生的显示数据存储在display模块2的空间1中，并将运行应用3时产生的显示数据存储在display模块2的空间2中。这样，在display模块2中不同应用的显示数据不会产生遮挡。后续，笔记本电脑可从display模块2的空间1中获取应用2实时产生的显示数据，并按照该显示数据在笔记本电脑中绘制应用2的应用界面，并且，笔记本电脑可从display模块2的空间2中获取应用3实时产生的显示数据，并按照该显示数据在笔记本电脑中绘制应用3的应用界面，实现多个应用的跨屏显示功能。
当然，在笔记本电脑显示出应用1的应用界面或应用2的应用界面后，用户还可以按照上述实施例中的相关描述向应用界面中输入相关的操作，例如，移动窗口、最大化、最小化或点击某一控件等操作，从而在笔记本电脑(即目的设备)上实现对手机中相关应用的控制功能，本申请实施例对此不做任何限制。
如图22所示，本申请实施例公开了一种源设备，例如上述手机。源设备具体可以包括：触摸屏2201，所述触摸屏2201包括触摸传感器2206和显示屏2207；一个或多个处理器2202；存储器2203；通信模块2208；一个或多个应用程序(未示出)；以及一个或多个计算机程序2204，上述各器件可以通过一个或多个通信总线2205连接。其中该一个或多个计算机程序2204被存储在上述存储器2203中并被配置为被该一个或多个处理器2202执行，该一个或多个计算机程序2204包括指令，该指令可以用于执行上述实施例中源设备执行的相关步骤。
可选的，源设备中还可以包括NFC芯片或电子标签等其他部件，本申请实施例对此不做任何限制。
如图23所示，本申请实施例公开了一种目的设备，例如上述笔记本电脑。目的设备具体可以包括：显示屏2301；一个或多个处理器2302；存储器2303；通信模块2306；一个或多个应用程序(未示出)；以及一个或多个计算机程序2304，上述各器件可以通过一个或多个通信总线2305连接。其中该一个或多个计算机程序2304被存储在上述存储器2303中并被配置为被该一个或多个处理器2302执行，该一个或多个计算机程序2304包括指令，该指令可以用于执行上述实施例中目的设备执行的相关步骤。
可选的，目的设备中还可以包括键盘、触摸传感器、NFC芯片或电子标签等其他部件，本申请实施例对此不做任何限制。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (43)

1.一种多屏协同方法，其特征在于，包括：
源设备将已安装的至少一个源设备应用的应用信息发送给目的设备，所述源设备中搭载有第一操作系统，所述目的设备中搭载有第二操作系统；
所述目的设备根据所述应用信息在第一界面中显示所述至少一个源设备应用的图标，并且，所述目的设备在所述第一界面中显示所述目的设备已安装的至少一个目的设备应用的图标；
响应于用户在所述目的设备中对第一应用的图标的操作，所述目的设备获取所述第一应用在所述源设备中运行时产生的第一显示数据，所述至少一个源设备应用包括所述第一应用；所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口；
响应于用户在所述目的设备中对第二应用的图标的操作，所述目的设备启动所述第二应用，并在所述第一界面中显示所述第二应用的应用窗口，所述至少一个目的设备应用包括所述第二应用。
2.根据权利要求1所述的方法，其特征在于，所述应用信息包括所述至少一个源设备应用的标识；
其中，响应于用户在所述目的设备中对第一应用的图标的操作，所述目的设备获取所述第一应用在所述源设备中运行时产生的第一显示数据，包括：
响应于用户在所述目的设备中对所述第一应用的图标的操作，所述目的设备向所述源设备发送第一启动消息，所述第一启动消息包括所述第一应用的标识；
响应于所述第一启动消息，所述源设备根据所述第一应用的标识启动所述第一应用，并将所述第一应用运行时产生的第一显示数据发送至所述目的设备。
3.根据权利要求1或2所述的方法，其特征在于，
所述第一显示数据为：所述第一应用运行时产生的第一应用界面的绘图指令；或者，
所述第一显示数据为：所述第一应用运行时，所述源设备的图层整合器SurfaceFlinger根据所述绘图指令生成的第一应用界面的帧数据；或者，
所述第一显示数据为：所述第一应用运行时，所述源设备的硬件组合抽象层Hwcomposer根据所述帧数据生成的第一应用界面的像素数据。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
所述源设备使用视频编码器对所述第一显示数据进行编码。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一应用的应用窗口包括所述第一应用的第一应用界面和第一标题栏，所述第一标题栏包括所述第一应用的最小化按钮、最大化按钮以及关闭按钮。
6.根据权利要求5所述的方法，其特征在于，所述第二应用的应用窗口包括所述第二应用的第二应用界面和第二标题栏，所述第二标题栏包括所述第二应用的最小化按钮、最大化按钮以及关闭按钮。
7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述目的设备显示所述第一应用的应用窗口时，还包括：
所述源设备显示所述第一应用的第一应用界面；或者，
所述源设备显示第三应用的应用界面，所述第三应用为所述源设备中与所述第一应用不同的应用。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述源设备包括第一显示模块和第二显示模块；所述第一显示模块用于向所述源设备提供显示数据，所述第二显示模块用于向所述目的设备提供显示数据；所述第一显示数据存储在所述第二显示模块中；
其中，所述目的设备获取所述第一应用在所述源设备中运行时产生的第一显示数据，包括：
所述目的设备从所述第二显示模块中获取所述第一应用运行时产生的所述第一显示数据。
9.根据权利要求8所述的方法，其特征在于，在所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口之后，还包括：
所述源设备接收所述目的设备发送的第二启动消息，所述第二启动消息中包括第四应用的标识，所述至少一个源设备应用包括所述第四应用，所述第四应用与所述第一应用不同；
响应于所述第二启动消息，所述源设备启动所述第四应用，并将所述第四应用运行时产生的第二显示数据也存储在所述第二显示模块中；
所述目的设备从所述第二显示模块中获取所述第二显示数据，并根据所述第二显示数据在所述第一界面中显示所述第四应用的应用窗口。
10.根据权利要求9所述的方法，其特征在于，在所述源设备接收所述目的设备发送的第二启动消息之后，还包括：
所述源设备将所述第二显示数据的位置信息发送给所述目的设备；
其中，所述目的设备从所述第二显示模块中获取所述第二显示数据，包括：
所述目的设备根据所述位置信息从所述第二显示模块中获取所述第二显示数据。
11.根据权利要求9所述的方法，其特征在于，所述第二显示模块包括第一显示空间和第二显示空间；所述第一显示空间用于存储所述第一显示数据，所述第二显示空间用于存储所述第二显示数据；
其中，所述目的设备从所述第二显示模块中获取所述第二显示数据，包括：
所述目的设备从所述第二显示空间中获取所述第二显示数据。
12.根据权利要求8所述的方法，其特征在于，所述源设备还包括第三显示模块，所述第三显示模块也用于向所述目的设备提供显示数据；
在所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口之后，还包括：
所述源设备接收所述目的设备发送的第二启动消息，所述第二启动消息中包括第四应用的标识，所述至少一个源设备应用包括所述第四应用，所述第四应用与所述第一应用不同；
响应于所述第二启动消息，所述源设备启动所述第四应用，并将所述第四应用运行时产生的第二显示数据存储在所述第三显示模块中；
所述目的设备从所述第三显示模块中获取所述第二显示数据，并根据所述第二显示数据在所述第一界面中显示所述第四应用的应用窗口。
13.根据权利要求8-12中任一项所述的方法，其特征在于，在所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口之后，还包括：
响应于用户在所述源设备中打开所述第一应用的操作，所述源设备将所述第一应用运行时产生的所述第一显示数据存储在所述第一显示模块中，继续使用所述第一显示模块向所述源设备提供显示数据；或者，
响应于用户在所述源设备中打开所述第一应用的操作，所述源设备读取并显示所述第二显示模块中存储的所述第一显示数据。
14.根据权利要求1-13中任一项所述的方法，其特征在于，在所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口之后，还包括：
响应于用户对所述第一应用的应用窗口输入的第一操作，所述目的设备向所述源设备发送与所述第一操作对应的第一控制消息，所述第一控制消息包括所述第一应用的标识；
响应于所述第一控制消息，所述源设备对所述第一应用执行与所述第一控制消息对应的操作指令。
15.根据权利要求1-14中任一项所述的方法，其特征在于，在源设备将已安装的至少一个源设备应用的应用信息发送给目的设备之后，还包括：
所述目的设备在所述第一界面中显示第一按钮；
其中，所述目的设备根据所述应用信息在第一界面中显示所述至少一个源设备应用的图标，包括：
当检测到用户选中所述第一按钮时，所述目的设备按照所述应用信息在所述第一界面中显示所述至少一个源设备应用的图标。
16.根据权利要求15所述的方法，其特征在于，所述第一按钮位于预设的展示栏中，所述应用信息还包括所述至少一个源设备应用的使用频率或运行状态；所述方法还包括：
所述目的设备根据所述应用信息，在所述展示栏中显示所述至少一个源设备应用中使用频率大于预设值的一个或多个应用的图标；或者；
所述目的设备根据所述应用信息，在所述展示栏中显示所述至少一个源设备应用中正在所述源设备中运行的一个或多个应用的图标。
17.根据权利要求15所述的方法，其特征在于，所述第一按钮位于预设的展示栏中，所述方法还包括：
响应于用户添加新应用的操作，所述目的设备在所述展示栏中添加新应用的图标。
18.根据权利要求1-17中任一项所述的方法，其特征在于，所述至少一个源设备应用的图标位于所述目的设备的桌面、开始菜单、任务栏或直贴中。
19.根据权利要求1-18中任一项所述的方法，其特征在于，所述目的设备包括电子标签或近场通信NFC芯片；在源设备将已安装的至少一个源设备应用的应用信息发送给目的设备之前，还包括：
当所述源设备接近或触碰所述目的设备中的电子标签或NFC芯片时，所述源设备与所述目的设备建立通信连接。
20.一种多屏协同方法，其特征在于，包括：
目的设备接收源设备发送的至少一个源设备应用的应用信息，所述至少一个源设备应用安装在所述源设备中，所述源设备中搭载有第一操作系统，所述目的设备中搭载有第二操作系统；
所述目的设备根据所述应用信息在第一界面中显示所述至少一个源设备应用的图标，并且，所述目的设备在所述第一界面中显示所述目的设备已安装的至少一个目的设备应用的图标；
响应于用户在所述目的设备中对第一应用的图标的操作，所述目的设备获取所述第一应用在所述源设备中运行时产生的第一显示数据，所述至少一个源设备应用包括所述第一应用；所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口；
响应于用户在所述目的设备中对第二应用的图标的操作，所述目的设备启动所述第二应用，并在所述第一界面中显示所述第二应用的应用窗口，所述至少一个目的设备应用包括所述第二应用。
21.根据权利要求20所述的方法，其特征在于，所述应用信息包括所述至少一个源设备应用的标识；
其中，响应于用户在所述目的设备中对第一应用的图标的操作，所述目的设备获取所述第一应用在所述源设备中运行时产生的第一显示数据，包括：
响应于用户在所述目的设备中对所述第一应用的图标的操作，所述目的设备向所述源设备发送第一启动消息，所述第一启动消息包括所述第一应用的标识；
所述目的设备从所述源设备获取所述第一应用运行时产生的第一显示数据。
22.根据权利要求20或21所述的方法，其特征在于，所述第一应用的应用窗口包括所述第一应用的第一应用界面和第一标题栏，所述第一标题栏包括所述第一应用的最小化按钮、最大化按钮以及关闭按钮。
23.根据权利要求22所述的方法，其特征在于，所述第二应用的应用窗口包括所述第二应用的第二应用界面和第二标题栏，所述第二标题栏包括所述第二应用的最小化按钮、最大化按钮以及关闭按钮。
24.根据权利要求20-23中任一项所述的方法，其特征在于，所述源设备包括第一显示模块和第二显示模块；所述第一显示模块用于向所述源设备提供显示数据，所述第二显示模块用于向所述目的设备提供显示数据；所述第一显示数据存储在所述第二显示模块中；
其中，所述目的设备获取所述第一应用在所述源设备中运行时产生的第一显示数据，包括：
所述目的设备从所述第二显示模块中获取所述第一应用运行时产生的所述第一显示数据。
25.根据权利要求24所述的方法，其特征在于，在所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口之后，还包括：
响应于用户在所述目的设备中对第三应用的图标的操作，所述目的设备向所述源设备发送第二启动消息，所述第二启动消息包括所述第三应用的标识，所述至少一个源设备应用包括所述第三应用，所述第三应用与所述第一应用不同；
所述目的设备从所述第二显示模块中获取所述第三应用运行时产生的第二显示数据，并根据所述第二显示数据在所述第一界面中显示所述第三应用的应用窗口。
26.根据权利要求25所述的方法，其特征在于，在所述目的设备向所述源设备发送第二启动消息之后，还包括：
所述目的设备接收所述源设备发送的所述第二显示数据的位置信息；
其中，所述目的设备从所述第二显示模块中获取所述第三应用运行时产生的第二显示数据，包括：
所述目的设备根据所述位置信息从所述第二显示模块中获取所述第三应用运行时产生的第二显示数据。
27.根据权利要求25所述的方法，其特征在于，所述第二显示模块包括第一显示空间和第二显示空间；所述第一显示空间用于存储所述第一显示数据，所述第二显示空间用于存储所述第二显示数据；
其中，所述目的设备从所述第二显示模块中获取所述第三应用运行时产生的第二显示数据，包括：
所述目的设备从所述第二显示空间中获取所述第三应用运行时产生的第二显示数据。
28.根据权利要求24所述的方法，其特征在于，所述源设备还包括第三显示模块，所述第三显示模块也用于向所述目的设备提供显示数据；
在所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口之后，还包括：
响应于用户在所述目的设备中对第三应用的图标的操作，所述目的设备向所述源设备发送第二启动消息，所述第二启动消息包括所述第三应用的标识，所述至少一个源设备应用包括所述第三应用，所述第三应用与所述第一应用不同；
所述目的设备从所述第三显示模块中获取所述第三应用运行时产生的第二显示数据，并根据所述第二显示数据在所述第一界面中显示所述第三应用的应用窗口。
29.根据权利要求20-28中任一项所述的方法，其特征在于，在所述目的设备根据所述第一显示数据在所述第一界面中显示所述第一应用的应用窗口之后，还包括：
响应于用户对所述第一应用的应用窗口输入的第一操作，所述目的设备向所述源设备发送与所述第一操作对应的第一控制消息，以使得所述源设备对所述第一应用执行与所述第一控制消息对应的操作指令，所述第一控制消息包括所述第一应用的标识。
30.根据权利要求20-29中任一项所述的方法，其特征在于，所述至少一个源设备应用的图标位于所述目的设备的桌面、开始菜单、任务栏或直贴中。
31.一种多屏协同方法，其特征在于，包括：
源设备向目的设备发送安装在所述源设备中的至少一个源设备应用的应用信息，以使得所述目的设备根据所述应用信息显示所述至少一个源设备应用的图标，所述源设备中搭载有第一操作系统，所述目的设备中搭载有第二操作系统；
所述源设备接收所述目的设备发送的第一启动消息，所述第一启动消息包括第一应用的标识，所述至少一个源设备应用中包括所述第一应用为；
响应于所述第一启动消息，所述源设备根据所述第一应用的标识启动所述第一应用，并将所述第一应用运行时产生的第一显示数据发送至所述目的设备。
32.根据权利要求31所述的方法，其特征在于，
所述第一显示数据为：所述第一应用运行时产生的第一应用界面的绘图指令；或者，
所述第一显示数据为：所述第一应用运行时，所述源设备的图层整合器SurfaceFlinger根据所述绘图指令生成的第一应用界面的帧数据；或者，
所述第一显示数据为：所述第一应用运行时，所述源设备的硬件组合抽象层Hwcomposer根据所述帧数据生成的第一应用界面的像素数据。
33.根据权利要求31或32所述的方法，其特征在于，在所述源设备将所述第一应用运行时产生的第一显示数据发送至所述目的设备之前，还包括：
所述源设备使用视频编码器对所述第一显示数据进行编码。
34.根据权利要求31-33中任一项所述的方法，其特征在于，所述源设备根据所述第一应用的标识启动所述第一应用，包括：
所述源设备根据所述第一应用的标识在前台或后台启动所述第一应用。
35.根据权利要求31-34中任一项所述的方法，其特征在于，所述源设备包括第一显示模块和第二显示模块；所述第一显示模块用于向所述源设备提供显示数据，所述第二显示模块用于向所述目的设备提供显示数据；所述第一显示数据存储在所述第二显示模块中。
36.根据权利要求35所述的方法，其特征在于，在所述源设备将所述第一应用运行时产生的第一显示数据发送至所述目的设备之后，还包括：
所述源设备接收所述目的设备发送的第二启动消息，所述第二启动消息包括第二应用的标识，所述至少一个源设备应用包括所述第二应用；
响应于所述第二启动消息，所述源设备启动所述第二应用，并将所述第二应用运行时产生的第二显示数据发送至所述第二显示模块。
37.根据权利要求36所述的方法，其特征在于，响应于所述第二启动消息，所述方法还包括：
所述源设备将所述第二显示数据的位置信息发送给所述目的设备。
38.根据权利要求36所述的方法，其特征在于，所述第二显示模块包括第一显示空间和第二显示空间；所述第一显示空间用于存储所述第一显示数据，所述第二显示空间用于存储所述第二显示数据；
其中，所述源设备将所述第二应用运行时产生的第二显示数据发送至所述第二显示模块，包括：
所述源设备将所述第二应用运行时产生的第二显示数据发送至所述第二显示空间。
39.根据权利要求35所述的方法，其特征在于，所述源设备还包括第三显示模块，所述第三显示模块也用于向所述目的设备提供显示数据；
在所述源设备将所述第一应用运行时产生的第一显示数据发送至所述目的设备之后，还包括：
所述源设备接收所述目的设备发送的第二启动消息，所述第二启动消息包括第二应用的标识，所述至少一个源设备应用包括所述第二应用；
响应于所述第二启动消息，所述源设备启动所述第二应用，并将所述第二应用运行时产生的第二显示数据发送至所述第三显示模块。
40.根据权利要求31-39中任一项所述的方法，其特征在于，在所述源设备将所述第一应用运行时产生的第一显示数据发送至所述目的设备之后，还包括：
所述源设备接收所述目的设备发送的第一控制消息，所述第一控制消息包括所述第一应用的标识；
响应于所述第一控制消息，所述源设备对所述第一应用执行与所述第一控制消息对应的操作指令。
41.一种目的设备，其特征在于，所述目的设备包括：
显示屏；
一个或多个处理器；
存储器；
通信模块；
其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述目的设备执行时，使得所述目的设备执行如权利要求20-30中任一项所述的多屏协同方法。
42.一种源设备，其特征在于，所述源设备包括：
显示屏；
一个或多个处理器；
存储器；
通信模块；
其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述源设备执行时，使得所述源设备执行如权利要求31-40中任一项所述的多屏协同方法。
43.一种多屏协同系统，其特征在于，所述系统包括如权利要求41所述的目的设备，以及如权利要求42所述的源设备。
CN202310024742.7A 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备 Pending CN116055773A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310024742.7A CN116055773A (zh) 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310024742.7A CN116055773A (zh) 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备
CN201911303934.1A CN112995727A (zh) 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911303934.1A Division CN112995727A (zh) 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN116055773A true CN116055773A (zh) 2023-05-02

Family

ID=76342518

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911303934.1A Pending CN112995727A (zh) 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备
CN202310024742.7A Pending CN116055773A (zh) 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911303934.1A Pending CN112995727A (zh) 2019-12-17 2019-12-17 一种多屏协同方法、系统及电子设备

Country Status (5)

Country Link
US (1) US20230359424A1 (zh)
EP (1) EP4060475A4 (zh)
JP (1) JP2023506936A (zh)
CN (2) CN112995727A (zh)
WO (1) WO2021121052A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115543163A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 一种投屏显示方法及电子设备
CN113641279A (zh) * 2021-07-08 2021-11-12 瑞芯微电子股份有限公司 Android的电纸书屏快速显示方法及存储介质
CN115617427A (zh) * 2021-07-13 2023-01-17 华为技术有限公司 应用的跨平台显示方法、可读介质和电子设备
CN115835409A (zh) * 2021-09-17 2023-03-21 荣耀终端有限公司 协同窗口处理方法、系统及电子设备
CN115022570B (zh) * 2021-12-24 2023-04-14 荣耀终端有限公司 获取视频帧的方法、电子设备及可读存储介质
CN116367214A (zh) * 2021-12-28 2023-06-30 荣耀终端有限公司 通话状态监听方法、设备、存储介质
CN115525453B (zh) * 2022-01-19 2023-08-04 荣耀终端有限公司 多屏协同中断的处理方法及电子设备
CN114584615A (zh) * 2022-03-01 2022-06-03 阿里巴巴（中国）有限公司 云服务协同交互方法、装置以及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790917A (zh) * 2011-05-19 2012-11-21 上海贝尔股份有限公司 交互式多屏业务内容传输方法和设备
CN106095237A (zh) * 2016-06-08 2016-11-09 联想(北京)有限公司 信息处理方法及电子设备
CN106507007A (zh) * 2016-11-29 2017-03-15 深圳Tcl新技术有限公司 移动终端与电视互动控制方法及装置
WO2018120533A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种多屏显示的方法和设备
CN109508162A (zh) * 2018-10-12 2019-03-22 福建星网视易信息系统有限公司 一种投屏显示方法、系统及存储介质
CN110312160A (zh) * 2019-06-17 2019-10-08 广州视源电子科技股份有限公司 无线投屏方法、装置、智能平板、终端及系统
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110381195A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备
CN110389736A (zh) * 2019-06-05 2019-10-29 华为技术有限公司 一种投屏显示方法及电子设备
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置
WO2019233241A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 应用程序启动方法、装置、存储介质及终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405459B2 (en) * 2011-08-24 2016-08-02 Z124 Unified desktop laptop dock software operation
US8909296B2 (en) * 2007-05-14 2014-12-09 Kopin Corporation Mobile wireless display software platform for controlling other systems and devices
US8866701B2 (en) * 2011-03-03 2014-10-21 Citrix Systems, Inc. Transparent user interface integration between local and remote computing environments
KR101286358B1 (ko) * 2011-08-11 2013-07-15 엘지전자 주식회사 영상표시방법 및 장치
US9250854B2 (en) * 2011-08-25 2016-02-02 Vmware, Inc. User interface virtualization for remote devices
US11416131B2 (en) * 2011-09-27 2022-08-16 Z124 Unified desktop input segregation in an application manager
US9916122B2 (en) * 2014-12-18 2018-03-13 Google Llc Methods, systems, and media for launching a mobile application using a public display device
KR102364620B1 (ko) * 2015-01-26 2022-02-17 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US10009933B2 (en) * 2016-09-02 2018-06-26 Brent Foster Morgan Systems and methods for a supplemental display screen
US9720639B1 (en) * 2016-09-02 2017-08-01 Brent Foster Morgan Systems and methods for a supplemental display screen
CN109076125B (zh) * 2017-06-16 2020-09-18 华为技术有限公司 一种显示方法及设备
CN110430463A (zh) * 2018-10-11 2019-11-08 彩云之端文化传媒(北京)有限公司 跨屏智能算法及基于跨屏智能算法的个人电视
CN110381345B (zh) * 2019-07-05 2020-12-15 华为技术有限公司 一种投屏显示方法及电子设备
CN110515579A (zh) * 2019-08-28 2019-11-29 北京小米移动软件有限公司 投屏方法、装置、终端及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790917A (zh) * 2011-05-19 2012-11-21 上海贝尔股份有限公司 交互式多屏业务内容传输方法和设备
CN106095237A (zh) * 2016-06-08 2016-11-09 联想(北京)有限公司 信息处理方法及电子设备
CN106507007A (zh) * 2016-11-29 2017-03-15 深圳Tcl新技术有限公司 移动终端与电视互动控制方法及装置
WO2018120533A1 (zh) * 2016-12-27 2018-07-05 华为技术有限公司 一种多屏显示的方法和设备
WO2019233241A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 应用程序启动方法、装置、存储介质及终端
CN109508162A (zh) * 2018-10-12 2019-03-22 福建星网视易信息系统有限公司 一种投屏显示方法、系统及存储介质
CN110377250A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏场景下的触控方法及电子设备
CN110381195A (zh) * 2019-06-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备
CN110389736A (zh) * 2019-06-05 2019-10-29 华为技术有限公司 一种投屏显示方法及电子设备
CN110312160A (zh) * 2019-06-17 2019-10-08 广州视源电子科技股份有限公司 无线投屏方法、装置、智能平板、终端及系统
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置

Also Published As

Publication number Publication date
EP4060475A1 (en) 2022-09-21
EP4060475A4 (en) 2023-05-10
CN112995727A (zh) 2021-06-18
US20230359424A1 (en) 2023-11-09
WO2021121052A1 (zh) 2021-06-24
JP2023506936A (ja) 2023-02-20

Similar Documents

Publication Publication Date Title
CN112291764B (zh) 一种内容接续系统
WO2020244492A1 (zh) 一种投屏显示方法及电子设备
US20230115868A1 (en) Displaying Interfaces in Different Display Areas Based on Activities
US20220224665A1 (en) Notification Message Preview Method and Electronic Device
WO2021121052A1 (zh) 一种多屏协同方法、系统及电子设备
US11669242B2 (en) Screenshot method and electronic device
CN112394895B (zh) 画面跨设备显示方法与装置、电子设备
US20210263564A1 (en) Display Method for Flexible Display, and Terminal
CN114040242B (zh) 投屏方法、电子设备和存储介质
US20240134591A1 (en) Projection display method and electronic device
CN116360725B (zh) 显示交互系统、显示方法及设备
CN116095881A (zh) 一种多设备协同方法、电子设备及相关产品
CN114489529A (zh) 电子设备的投屏方法及其介质和电子设备
CN116405773A (zh) 一种拍摄方法、系统及电子设备
CN114201128A (zh) 一种显示方法及设备
CN115756268A (zh) 跨设备交互的方法、装置、投屏系统及终端
CN114063951B (zh) 投屏异常处理方法及电子设备
CN113391743B (zh) 一种显示方法及电子设备
CN114185503B (zh) 多屏交互的系统、方法、装置和介质
WO2021042881A1 (zh) 消息通知方法及电子设备
CN115119048B (zh) 一种视频流处理方法及电子设备
WO2023005711A1 (zh) 一种服务的推荐方法及电子设备
WO2020014900A1 (zh) 一种消息的显示方法及终端
CN113835802A (zh) 设备交互方法、系统、设备及计算机可读存储介质
CN116991302B (zh) 应用与手势导航栏兼容运行方法、图形界面及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination