CN115793916A - 显示多窗口的方法、电子设备和系统 - Google Patents

显示多窗口的方法、电子设备和系统 Download PDF

Info

Publication number
CN115793916A
CN115793916A CN202211341877.8A CN202211341877A CN115793916A CN 115793916 A CN115793916 A CN 115793916A CN 202211341877 A CN202211341877 A CN 202211341877A CN 115793916 A CN115793916 A CN 115793916A
Authority
CN
China
Prior art keywords
window
application
interface
mobile phone
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211341877.8A
Other languages
English (en)
Inventor
朱登奎
陈晨
徐辉
曹文砚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211341877.8A priority Critical patent/CN115793916A/zh
Publication of CN115793916A publication Critical patent/CN115793916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Abstract

本申请实施例提供了一种显示多窗口的方法、第一电子设备和第二电子设备,该方法应用于相互通信的第一电子设备和第二电子设备,当手机上运行多个应用时,在PC上可以显示手机的多个窗口,每个窗口对应显示不同的应用。其中,用户可以通过PC上显示的每个手机应用对应的窗口,执行对该手机应用的操作。此外,用户在PC上对手机应用的操作不影响用户对手机的其他功能的使用,提高了文件共享等办公效率,提高了用户体验。

Description

显示多窗口的方法、电子设备和系统
技术领域
本申请实施例涉及电子技术领域,尤其涉及一种显示多窗口的方法、电子设备和系统。
背景技术
移动办公在办公场景的占比越来越大,随着手机的广泛使用,手机已经成为移动办公的主要设备之一,因此,手机和个人电脑(personal computer,PC)之间的互连的需求越来越多,例如,手机和PC文件的互通,手机投屏在PC的显示屏等。
现有的一种将手机界面显示到PC的方案中,在手机和PC之间建立连接之后,通过屏幕共享软件,可以实现PC与手机之间轻松共享屏幕内容与数据,用户可以通过PC接收手机上的通知事件,并在PC上使用手机的多种功能。例如,用户使用该屏幕共享软件连接PC和手机后,可以通过PC接收手机的通知,例如通过PC拨打电话,通过弹出式窗口轻松接听来电,或者收发信息;或者,用户可以查看来电警报;又或者,用户可以在PC和手机之间实现文件共享。可选地,用户通过拖放操作,即可在PC和手机之间快速分享文件和文本内容。示例性的,用户在PC的Word文档中插入手机中的照片,或者,在发送文本信息或电子邮件的同时,在手机上插入PC上的文件。该屏幕共享软件主要通过镜像的方式,将手机屏幕显示的所有内容(例如应用界面)均显示在PC的一个窗口中,无法实现多窗口的显示。
发明内容
本申请提供一种显示多窗口的方法、电子设备和系统,该方法能够在PC上可以显示手机的多个窗口,用户可以通过PC上显示的每个手机应用对应的窗口,执行对该手机应用的操作,从而提高文件共享等办公效率,提高了用户体验。
第一方面,提供了一种显示多窗口的方法,应用于包括相互通信的第一电子设备和第二电子设备的系统中,该方法包括:第一电子设备接收第二电子设备的显示区域的尺寸信息;第一电子设备运行第一应用并显示该第一应用的第一界面;第一电子设备根据第二电子设备的显示区域的尺寸信息和该第一界面对应的尺寸信息,确定该第一界面在第二电子设备的显示区域中的第一窗口的位置信息;第一电子设备将该第一窗口的位置信息和该第一界面的显示内容信息发送给第二电子设备;第二电子设备根据接收的该第一窗口的位置信息和该第一界面的显示内容信息,在该第一窗口显示该第一界面;若第二电子设备检测到第一操作,响应于该第一操作,向第一电子设备发送启动第二应用的指令;第一电子设备根据接收的启动该第二应用的指令,启动该第二应用;第一电子设备根据第二电子设备的显示区域的尺寸信息和该第二应用的第二界面对应的尺寸信息,确定该第二界面在第二电子设备的显示区域中的第二窗口的位置信息;第一电子设备将该第二窗口的位置信息和该第二界面的显示内容信息发送给第二电子设备;第二电子设备根据接收的该第二窗口的位置信息和该第二界面的显示内容信息,在该第二窗口显示该第二界面,该第一窗口与该第二窗口为不同的窗口。
应理解,在本申请实施例中,“显示多窗口”可以理解为“显示多界面”,每个窗口显示不同的界面。例如,PC通过不同的窗口显示手机的多个界面,如第一界面和第二界面,每个界面都是可以独立控制的界面,如用户对第一界面的操作和第二界面的操作相互独立。
还应理解,第一电子设备和第二电子设备相互通信可以可以有多种不同的方式,例如通过连接的方式或者借助于未来通信技术的方式进行通信以传输数据。其中,连接的方式可以包括有线连接或者无线连接等多种不同连接方式。示例性的,第一电子设备和第二电子设备之间可以是通过USB数据线连接;第一电子设备和第二电子设备之间的无线连接可以是通过建立Wi-Fi连接、近场通信的靠近连接、蓝牙扫码连接等。第一电子设备和第二电子设备还可以借助于未来通信技术的方式,例如通过在手机和PC上安装不同或相同的应用,借助于5G通信网络传输数据,本申请实施例对手机和PC之间的连接方式不做限定。
还应理解,本申请实施例对第一电子设备接收第二电子设备的显示区域的尺寸信息的动作和第一电子设备运行第一应用并显示该第一应用的第一界面的动作的先后顺序不做限定。例如,第一电子设备可以先运行第一应用并显示该第一应用的第一界面,当用户将通过第二电子设备显示第一电子设备的第一界面时,再触发第一电子设备从第二电子设备获取第二电子设备的显示区域的尺寸信息的动作;或者,第二电子设备先将第二电子设备的显示区域的尺寸信息发送给第一电子设备,第一电子设备再运行第一应用并显示该第一应用的第一界面,并执行之后的其他动作。
还应理解,第一电子设备根据接收第二电子设备发送的启动该第二应用的指令,启动该第二应用时,可以显示该第二应用的第二界面,即第一电子设备为前台运行该第二应用;或者不显示该第二应用的第二界面,即第一电子设备为后台运行该第二应用,本申请实施例对此不做限定。
此外,第一应用和第二应用可以是安装于第一电子设备的应用,或者可以即时运行的快应用,本申请实施例对此不做限定。
以手机作为第一电子设备,PC作为第二电子设备为例,通过上述方案,对于相互通信的手机和PC,可以通过PC显示手机的界面。当用户在手机上运行多个应用时,在PC上可以通过显示多个窗口,每个窗口用于显示不同的应用;或者,用户可以在PC上启动手机的应用,并通过独立的窗口显示该手机的应用,该方法可以提高文件共享等办公效率,且可以实现在PC上使用手机的应用,提高了用户体验。结合第一方面,在第一方面的某些实现方式中,该方法还包括:第一电子设备向第二电子设备发送该第一应用的第一信息和该第二应用的第二信息,该第一应用的第一信息包括该第一应用的名称、标识ID、图标的信息中的至少一个,该第二应用的第二信息包括该第二应用的名称、标识ID、图标的信息中的至少一个;第二电子设备接收该第一应用的第一信息和该第二应用的第二信息之后,自动显示第三界面,该第三界面包括该第一应用的第一信息和该第二应用的第二信息;或者第二电子设备在检测到用户的第二操作后,根据该第一应用的第一信息和该第二应用的第二信息显示该第三界面。
应理解,以手机和PC建立连接为例,当手机和PC建立连接之后,手机可以将已安装所有应用的信息发送给PC,PC直接自动显示手机的应用。
或者,也可以当用户在PC上点击菜单窗口的EMUJI桌面菜单时,触发PC向手机发送获取应用的请求,用于请求获取手机的应用的信息,例如第一应用的第一信息和第二应用的第二信息。
这里手机的应用的信息可以包括手机所有应用的名称、标识(identification,ID)、图标等信息中的至少一种信息。PC接收到应用的信息之后,根据每一个应用的名称、ID、图标在PC的手机窗口显示该应用,进而显示手机的所有应用。
通过上述方案,可以实现在第二电子设备上显示第一电子设备的所有应用。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一窗口靠近第二电子设备的显示区域的右侧边缘。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第二窗口位于该第一窗口的左侧,且与该第一窗口没有重叠。
通过上述方案,可以避免手机窗口遮挡PC的界面上显示的PC的原有应用程序(例如我的电脑、回收站等),且避免手机窗口遮挡PC的界面上右下角区域显示的PC的输入法控制菜单、时间与日期设置菜单、电源管理等快捷菜单选项。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第二窗口位于该第一窗口的上层。
可选地,在某些可能的实现方式中,该第一窗口的位置信息还可以包括该第一窗口的显示层级信息,该第二窗口的位置信息还包括该第二窗口的显示层级信息,且该第二窗口的显示位于该第一窗口的上一层级。换言之,该第一窗口的显示层级信息由第一电子设备发送给第二电子设备,第二电子设备根据该第一窗口的显示层级信息确定第一窗口应该显示在哪一层。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一窗口的位置信息包括:该第一窗口的第一顶点的坐标信息,该第一窗口的长度信息和该第一窗口的宽度信息;或者该第一窗口的位置信息包括:该第一窗口的四个顶点的坐标信息。同理,第二窗口的位置信息类似于第一窗口的位置信息。具体地,第二窗口的位置信息包括:该第二窗口的第二顶点的坐标信息,该第二窗口的长度信息和该第二窗口的宽度信息;或者该第二窗口的位置信息包括:该第二窗口的四个顶点的坐标信息。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一窗口的尺寸信息是第一电子设备根据该第一界面对应的尺寸信息确定;以及第一电子设备根据第二电子设备的显示区域的尺寸信息和该第一界面对应的尺寸信息,确定该第一界面在第二电子设备的显示区域中的第一窗口的位置信息之前,该方法还包括:第一电子设备获取第一电子设备的显示区域的尺寸信息,确定第一电子设备的显示区域的尺寸信息为该第一界面对应的尺寸信息,或者该第一界面对应的尺寸信息为第一电子设备的显示区域的尺寸信息和第一倍数的乘积,该第一倍数大于0且不等于1。
示例性的,第一电子设备在确定第一窗口的尺寸信息的过程中,可以根据自身显示第一界面的尺寸确定第一窗口的尺寸信息。例如第一窗口的尺寸大小和自身显示第一界面的尺寸大小相同;或者按照一定的比例对自身显示第一界面的尺寸大小进行放大或者缩小,进而得到第一窗口的尺寸信息,该方法可以保证第一界面的内容显示到第二电子设备的第一窗口时,为用户提供如同使用第一电子设备时的显示效果,显示更自然,提高用户体验。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第一窗口的尺寸信息是第一电子设备根据该第一界面对应的尺寸信息确定;以及第一电子设备根据第二电子设备的显示区域的尺寸信息和该第一界面对应的尺寸信息,确定该第一界面在第二电子设备的显示区域中的第一窗口的位置信息之前,该方法还包括:第一电子设备从该第一应用的配置信息中获取该第一界面在第一电子设备上显示时的尺寸信息,将该第一界面在第一电子设备上显示时的尺寸信息确定为该第一界面对应的尺寸信息;或者第一电子设备从网络设备获取该第一界面在第二电子设备上显示的尺寸信息,将该第一界面在第二电子设备上显示的尺寸信息确定为该第一界面对应的尺寸信息。
示例性的,第一电子设备可以通过不同的方式获取自身显示第一界面的尺寸信息。例如通过安装第一应用时,从第一应用的配置信息中获取,换言之,可以本地查询第一电子设备端第一应用的界面信息;或者,向网络设备请求查询第二电子设备端的界面信息,进而获取自身显示第一界面的尺寸信息。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,第一窗口包括该第一界面和第一菜单栏;和/或第二窗口包括该第二界面和第二菜单栏。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,第二菜单栏包括关闭按钮,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第二电子设备检测到用户对该关闭按钮的操作,第二电子设备关闭该第二窗口,并向第一电子设备发送关闭该第二应用的指令;第一电子设备根据该关闭该第二应用的指令,关闭该第二应用。结合第一方面和上述实现方式,在第一方面的某些实现方式中,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第二电子设备检测到用户选中该第一窗口的操作,第二电子设备将该第一窗口切换到最上层显示。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该第二菜单栏包括最大化按钮,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第二电子设备检测到用户对该最大化按钮的操作,第二电子设备将该第二窗口全屏显示。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第一电子设备检测到用户关闭该第二应用的指令;第一电子设备关闭该第二应用,并通知第二电子设备关闭该第二窗口;第二电子设备根据第一电子设备的通知关闭该第二窗口。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,该方法还包括:第二电子设备检测到对该第二窗口的选中并拖动操作,该第二窗口由第一位置移动到第二位置;第二电子设备向第一电子设备发送该第二位置的信息和该第二应用的信息;第一电子设备接收第二电子设备发送的该第二位置的信息和该第二应用的信息,根据该第二应用的信息确定该第二应用,并根据该第二位置的信息,确定该第二界面的显示内容的显示位置。
通过上述技术方案,PC上显示的每个应用的窗口都可以接收用户的操作,例如对窗口的关闭、移动、缩放、窗口最大化、窗口最小化等操作;且用户可以在PC上显示的每个手机应用对应的窗口中,执行对该手机应用的操作,例如用户在PC的音乐应用的窗口中点击播放音乐、下一曲等控件,控制音乐的播放过程。此外,用户在PC上对手机应用的操作不影响用户对手机的其他功能的使用,例如前述的用户使用手机播放音乐,同时使用PC观看视频的场景。用户在PC显示的手机应用的窗口中,可以执行对该应用的任意控件的操作,该操作可以回传到手机,并由手机执行该操作的结果,并将执行的结果再传递给PC,使得PC上该应用的窗口中可以同步手机执行的该操作的结果,提高了手机应用的使用效率和使用体验。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,若该第一应用为音频播放应用,并且该第二应用也为音频播放应用,第一电子设备启动该第二应用之后,该方法还包括:第一电子设备将该第二应用的音频数据发送给第二电子设备;第二电子设备播放该第二应用的音频数据。
在一种可能的情况中,用户通过在手机端播放音乐,PC上可以显示音乐应用的窗口。同时,手机将音频数据发送给PC,由PC播放该音频数据。
可选地,音乐音频的实际播放可以按照“谁开启谁播放”原则,具体地,用户在手机上点击的音乐应用,则实际播放音乐音频的设备为手机。用户在PC的手机窗口通过音乐应用播放音乐,此时实际播放音乐音频的设备为PC。
结合第一方面和上述实现方式,在第一方面的某些实现方式中,第一电子设备将该第一窗口的位置信息和该第一界面的显示内容信息发送给第二电子设备,包括:第一电子设备将该第一窗口的位置信息和该第一界面的显示内容信息编码生成第一视频流,将该第一视频流发送给第二电子设备;第二电子设备接收第一电子设备发送的第一视频流,解码该第一视频流获取该第一窗口的位置信息和该第一界面的显示内容信息;以及,第一电子设备将该第二窗口的位置信息和该第二界面的显示内容信息发送给第二电子设备,包括:第一电子设备将该第二窗口的位置信息和该第二界面的显示内容信息编码生成第二视频流,发送给第二电子设备;第二电子设备接收第一电子设备发送的第二视频流,解码该第二视频流获取该第二窗口的位置信息和该第二界面的显示内容信息。
具体的实现过程中,可以借助于视频流的传输过程,手机将发送给PC的所有信息,通过编码形成视频流,例如将音乐应用的界面内容信息、PC上显示音乐应用的窗口的位置信息等,编码在视频流中,将该视频流发送给PC,PC收到视频流进行解码之后,准确地将音乐应用的界面内容显示在音乐应用的窗口中。
综上所述,本申请实施例提供的显示多窗口的方法,可以将手机的应用程序显示在PC的手机窗口中,或者显示在PC的菜单列表中,在PC不安装手机的应用的情况下,就可以在PC上被点击运行手机的应用,并使用该应用的功能,用户可以借助于PC的大屏体验使用手机的应用。该方法可以实现手机和PC的系统的融合,使得用户可以从PC的系统菜单调用手机安装的应用。
此外,该方法可以在PC上,实现多个手机应用同时独立并行,每一个应用可以在PC显示一个独立窗口,多个应用对应的多个窗口同时显示在PC的界面上,且运行手机的多个应用不影响用户使用手机的其他功能。例如用户在PC上使用手机的视频应用、音乐应用,可以同时使用手机收发短信或者拨打电话等;或者,用户使用鼠标、键盘等外设输入设备即可以操作手机,完全保留用户使用习惯,不用频繁在两个设备之间切换;通过PC的手机窗口运行手机的应用,提高了文件查阅、分享、办公的效率,提高了用户体验。
第二方面,提供了一种显示多窗口的方法,应用于包括相互通信的第一电子设备和第二电子设备的系统中,该方法包括:第一电子设备接收第二电子设备的显示区域的尺寸信息;第一电子设备运行第一应用并显示该第一应用的第一界面;第一电子设备根据第二电子设备的显示区域的尺寸信息和该第一界面对应的尺寸信息,确定该第一界面在第二电子设备的显示区域中的第一窗口的位置信息;第一电子设备将该第一窗口的位置信息和该第一界面的显示内容信息发送给第二电子设备;第一电子设备接收第二电子设备发送的启动第二应用的指令,启动该第二应用;第一电子设备根据第二电子设备的显示区域的尺寸信息和该第二应用的第二界面对应的尺寸信息,确定该第二界面在第二电子设备的显示区域中的第二窗口的位置信息,该第一窗口与该第二窗口为不同的窗口;第一电子设备将该第二窗口的位置信息和该第二界面的显示内容信息发送给第二电子设备。
结合第二方面,在第二方面的某些实现方式中,该方法还包括:第一电子设备向第二电子设备发送该第一应用的第一信息和该第二应用的第二信息,该第一应用的第一信息包括该第一应用的名称、标识ID、图标的信息中的至少一个,该第二应用的第二信息包括该第二应用的名称、标识ID、图标的信息中的至少一个。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一窗口靠近第二电子设备的显示区域的右侧边缘。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第二窗口位于该第一窗口的左侧,且与该第一窗口没有重叠。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第二窗口位于该第一窗口的上层。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一窗口的位置信息包括:该第一窗口的第一顶点的坐标信息,该第一窗口的长度信息和该第一窗口的宽度信息;或者该第一窗口的位置信息包括:该第一窗口的四个顶点的坐标信息。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一窗口的尺寸信息是第一电子设备根据该第一界面对应的尺寸信息确定;以及第一电子设备根据第二电子设备的显示区域的尺寸信息和该第一界面对应的尺寸信息,确定该第一界面在第二电子设备的显示区域中的第一窗口的位置信息之前,该方法还包括:第一电子设备获取第一电子设备的显示区域的尺寸信息,确定第一电子设备的显示区域的尺寸信息为该第一界面对应的尺寸信息,或者该第一界面对应的尺寸信息为第一电子设备的显示区域的尺寸信息和第一倍数的乘积,该第一倍数大于0且不等于1。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一窗口的尺寸信息是第一电子设备根据该第一界面对应的尺寸信息确定;以及第一电子设备根据第二电子设备的显示区域的尺寸信息和该第一界面对应的尺寸信息,确定该第一界面在第二电子设备的显示区域中的第一窗口的位置信息之前,该方法还包括:第一电子设备从该第一应用的配置信息中获取该第一界面在第一电子设备上显示时的尺寸信息,将该第一界面在第一电子设备上显示时的尺寸信息确定为该第一界面对应的尺寸信息;或者第一电子设备从网络设备获取该第一界面在第二电子设备上显示的尺寸信息,将该第一界面在第二电子设备上显示的尺寸信息确定为该第一界面对应的尺寸信息。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第一窗口包括该第一界面和第一菜单栏;和/或该第二窗口包括该第二界面和第二菜单栏。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该第二菜单栏包括关闭按钮,该方法还包括:第一电子设备接收第二电子设备发送的关闭该第二应用的指令;检测到用户对该关闭按钮的操作,第二电子设备关闭该第二窗口,并向第一电子设备响应于该关闭该第二应用的指令,第一电子设备关闭该第二应用。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,该方法还包括:若第一电子设备检测到用户关闭该第二应用的指令;第一电子设备关闭该第二应用,并向第二电子设备发送关闭该第二窗口的指令。
结合第二方面和上述实现方式,在第二方面的某些实现方式中,若该第一应用为音频播放应用,并且该第二应用也为音频播放应用,第一电子设备启动该第二应用之后,该方法还包括:第一电子设备将该第二应用的音频数据发送给第二电子设备。
第三方面,提供了一种显示多窗口的方法,应用于包括相互通信的第一电子设备和第二电子设备的系统中,该方法包括:第二电子设备接收第一电子设备发送的第一窗口的位置信息和第一界面的显示内容信息,该第一界面是第一电子设备运行第一应用并显示的界面;第二电子设备根据该第一窗口的位置信息和该第一界面的显示内容信息,在第二电子设备的显示区域的该第一窗口显示该第一界面;若第二电子设备检测到第一操作,响应于该第一操作,向第一电子设备发送启动第二应用的指令;第二电子设备接收第一电子设备发送的第二窗口的位置信息和第二界面的显示内容信息,该第二界面是该第二应用的界面,该第一窗口与该第二窗口为不同的窗口;第二电子设备根据该第二窗口的位置信息和该第二界面的显示内容信息,在第二电子设备的显示区域的该第二窗口显示该第二界面。
结合第三方面,在第三方面的某些实现方式中,该方法还包括:第二电子设备接收第一电子设备发送的该第一应用的第一信息和该第二应用的第二信息,该第一应用的第一信息包括该第一应用的名称、标识ID、图标的信息中的至少一个,该第二应用的第二信息包括该第二应用的名称、标识ID、图标的信息中的至少一个;第二电子设备自动显示第三界面,该第三界面包括该第一应用的第一信息和该第二应用的第二信息;或者第二电子设备在检测到用户的第二操作后,根据该第一应用的第一信息和该第二应用的第二信息显示该第三界面。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第一窗口靠近第二电子设备的显示区域的右侧边缘。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第二窗口位于该第一窗口的左侧,且与该第一窗口没有重叠。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第二窗口位于该第一窗口的上层。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第一窗口的位置信息包括:该第一窗口的第一顶点的坐标信息,该第一窗口的长度信息和该第一窗口的宽度信息;或者该第一窗口的位置信息包括:该第一窗口的四个顶点的坐标信息。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第一窗口的尺寸信息是第一电子设备根据该第一界面对应的尺寸信息确定的;以及该第一界面对应的尺寸信息为第一电子设备的显示区域的尺寸信息,或者该第一界面对应的尺寸信息为第一电子设备的显示区域的尺寸信息和第一倍数的乘积,该第一倍数大于0且不等于1。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第一窗口的尺寸信息是第一电子设备根据该第一界面对应的尺寸信息确定的;以及该第一界面对应的尺寸信息为该第一界面在第一电子设备上显示时的尺寸信息,或者该第一界面对应的尺寸信息为第一电子设备从网络设备获取该第一界面在第二电子设备上显示的尺寸信息。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第一窗口包括该第一界面和第一菜单栏;和/或该第二窗口包括该第二界面和第二菜单栏。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第二菜单栏包括关闭按钮,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第二电子设备检测到用户对该关闭按钮的操作,第二电子设备关闭该第二窗口,并向第一电子设备发送关闭该第二应用的指令。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第二电子设备检测到用户选中该第一窗口的操作,第二电子设备将该第一窗口切换到最上层显示。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,该第二菜单栏包括最大化按钮,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第二电子设备检测到用户对该最大化按钮的操作,第二电子设备将该第二窗口全屏显示。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,第二电子设备在该第二窗口显示该第二界面之后,该方法还包括:若第二电子设备接收到第一电子设备发送的关闭该第二窗口的指令;响应于该关闭该第二窗口的指令,第二电子设备关闭该第二窗口。
结合第三方面和上述实现方式,在第三方面的某些实现方式中,若该第一应用为音频播放应用,并且该第二应用也为音频播放应用,该方法还包括:第二电子设备接收第一电子设备发送的该第二应用的音频数据,播放该第二应用的音频数据。
第四方面,提供了一种显示多窗口的方法,应用于包括相互通信的第一电子设备和第二电子设备的系统中,该方法包括:第一电子设备运行第一应用并显示该第一应用的第一界面;第一电子设备将第一界面对应的尺寸信息和该第一界面的显示内容信息发送给第二电子设备;第二电子设备根据第二电子设备的显示区域的尺寸信息和该第一界面对应的尺寸信息,确定第一窗口的位置信息,并根据该第一窗口的位置信息和第一界面的显示内容信息,在该第一窗口显示该第一界面;若第二电子设备检测到第一操作,响应于该第一操作,向第一电子设备发送启动第二应用的指令;第一电子设备根据启动该第二应用的指令,启动该第二应用;第一电子设备将该第二应用的第二界面对应的尺寸信息和该第二界面的显示内容信息发送给第二电子设备;第二电子设备根据第二电子设备的显示区域的尺寸信息和该第二界面对应的尺寸信息,确定第二窗口的位置信息,并根据该第二窗口的位置信息和第二界面的显示内容信息,在该第二窗口显示该第二界面,该第一窗口与该第二窗口为不同的窗口。
应理解,前述各个方面介绍了第一电子设备将第一窗口的位置信息和第一界面的显示内容信息发送给第二电子设备,由第二电子设备根据第一电子设备的指示显示第一窗口。可选地,第一电子设备可以不获取第二电子设备的显示区域的尺寸信息,而仅发送第一电子设备的第一界面的显示内容信息,由第二电子设备决定第一窗口的位置信息,并显示第一窗口。同理,第二窗口的显示也可以由第二电子设备决定,此处不再赘述。
通过上述方案,第二电子设备可以根据自身的应用使用情况、界面内容等决定第一窗口、第二窗口的显示位置,可以更好的适应第二电子设备的使用进程,降低对第二电子设备的使用影响,提高用户体验。
第五方面,本申请提供了一种装置,该装置包含在电子设备中,该装置具有实现上述方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,显示模块或单元、检测模块或单元、处理模块或单元等。
第六方面,本申请提供了一种电子设备,包括:触摸显示屏,其中,触摸显示屏包括触敏表面和显示器;摄像头;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序。其中,一个或多个计算机程序被存储在存储器中,一个或多个计算机程序包括指令。当指令被电子设备执行时,使得电子设备执行上述任一方面任一项可能的实现中的显示多窗口的方法。
第七方面,本申请提供了一种电子设备,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述任一方面任一项可能的实现中的显示多窗口的方法。
第八方面,提供了一种系统,该系统包括:执行上述任一方面任一项可能的实现中的显示多窗口的方法的第一电子设备和第二电子设备。
第九方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的显示多窗口的方法。
第十方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的显示多窗口的方法。
附图说明
图1是本申请实施例提供的一例第一电子设备的结构示意图。
图2本申请实施例提供的一例第二电子设备的结构示意图。
图3是本申请实施例的一例手机和PC的软件结构框图。
图4是本申请实施例提供的一例PC显示手机界面的示意图。
图5是本申请实施例提供的又一例PC显示手机界面的示意图。
图6是本申请实施例提供的又一例PC显示手机界面的示意图。
图7是本申请实施例提供的又一例PC显示手机界面的示意图。
图8是本申请实施例提供的显示多窗口的方法的示意性流程图。
图9是本申请实施例提供的手机创建虚拟区域的示意图。
图10是本申请实施例提供的又一例显示多窗口的方法的示意性流程图。
图11是本申请实施例提供的又一例手机创建虚拟区域的示意图。
图12是本申请实施例提供的又一例显示多窗口的方法的示意性流程图。
图13是本申请实施例提供的又一例显示多窗口的方法的示意性流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于区分,例如“第一电子设备”和“第二电子设备”仅用于指示不同的电子设备,“第一窗口”和“第二窗口”仅用于指示不同的显示窗口,“第一操作”和“第二操作”仅用于指示不同时刻或者不同目的操作。
本申请实施例提供了一种显示多窗口的方法,该方法可以应用于包括两个相互通信的电子设备的系统中。在本申请中,为了区分,将两个电子设备分别称为第一电子设备和第二电子设备,其中,第二电子设备可以显示该第一电子设备的界面。例如,第二电子设备通过一个窗口显示第一电子设备的主界面,或者第二电子设备通过多个窗口显示第一电子设备的多个应用的界面。
应理解,该方法也可以是通过应用程序实现在第二电子设备上显示该第一电子设备的多个窗口。例如,该应用程序可以仅安装在第二电子设备上;或者该应用程序同时安装在第一电子设备和第二电子设备上;又或者,该应用程序在第一电子设备上体现为第一应用程序,在第二电子设备上体现为第二应用程序,其中,第一应用程序适配第一电子设备,第二应用程序适配第二电子设备;又或者,该第一应用程序为第一电子设备上预置的程序代码,可以没有对应的桌面应用图标,该第二应用程序在第二电子设备上可以体现为桌面应用图标的形式等多种可能的情况,以实现在第二电子设备上,通过一个窗口显示第一电子设备的主界面,或者通过多个窗口显示第一电子设备的多个应用的界面。
本申请实施例中,该第一电子设备可以是手机、智能终端、可穿戴设备等电子设备,该第二电子设备可以是PC、平板电脑、手机、智能终端、车载设备、增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)、显示器或者电视等具有显示功能的电子设备,本申请实施例对第一电子设备和第二电子设备的具体类型不作任何限制。
可选地,第一电子设备和第二电子设备可以为相同类型的电子设备或不同类型的电子设备。在本申请实施例中,将以手机作为第一电子设备,PC作为第二电子设备,在PC上显示手机的多窗口为例进行介绍。
示例性的,图1是本申请实施例提供的一例手机100的结构示意图。手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serialbus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请实施例另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现手机100的触摸功能。
I2S接口可以用于音频通信。PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serialinterface,CSI),显示屏串行接口(display serial interface,DSI)等。GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接其他电子设备,例如可以通过该USB接口连接PC等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在本申请实施例另一些实施例中,手机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless local areanetworks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Mini-LED,Micro-LED,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机100可以包括1个或N个显示屏194,N为大于1的正整数。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。其中,ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。在一些实施例中,手机100可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
此外,手机100还包括多个传感器。例如,图1中示出的多个传感器,其中,压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。陀螺仪传感器180B可以用于确定手机100的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。加速度传感器180E可检测手机100在各个方向上(一般为三轴)加速度的大小。当手机100静止时可检测出重力的大小及方向,还可以用于识别手机100的姿态,应用于横竖屏切换,计步器等应用。距离传感器180F,用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于手机100的表面,与显示屏194所处的位置不同。骨传导传感器180M可以获取振动信号。按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入,产生与手机100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
以上介绍了手机100作为第一电子设备时可能的硬件结构示意图。示例性的,图2是本申请实施例提供的一例PC 200的结构示意图。PC 200作为第二电子设备,可以是包括处理器210、存储器220、通信模块230、显示屏240等。
可以理解的是,本申请实施例示意的PC 200的结构并不构成对PC 200的具体限定。在本申请实施例另一些实施例中,PC 200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
其中,处理器210可以包括一个或多个处理单元,处理器210可以用于对PC 200的动作进行控制管理。存储器220用于存储程序代码和数据。通信模块230可以用于PC 200的各个内部模块之间的通信、或者PC 200和其他外部设备之间的通信等。示例性的,如果PC200通过有线连接的方式和其他电子设备通信,通信模块230可以包括接口等,例如USB接口,该USB接口可以参照图1中对USB接口130的描述。或者,通信模块230可以包括音频器件、射频电路、蓝牙芯片、无线保真(wireless fidelity,Wi-Fi)芯片、近距离无线通讯技术(near-field communication,NFC)模块等,可以实现PC 200与其他电子设备之间的交互。显示屏240用于显示图像、视频等。可选地,PC 200还可以包括外设设备250,例如鼠标、键盘、扬声器、麦克风等。
在本申请实施例中,处理器210可执行存储器220存储的计算机执行指令,以使PC200可以和手机100组成相互通信的电子设备系统,进一步通过PC 200的显示屏240显示手机100的多个窗口。
图3是本申请实施例提供的一例手机100和PC 200的软件结构框图,其中,该框图包括手机100的软件结构和PC 200的显示手机窗口模块的软件结构。
手机100的软件结构可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明手机100的软件结构。对于手机100的软件结构,以Android系统为例,分层的结构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统从上至下分别包括应用程序(application,APP)层,应用程序框架(framework)层,系统库以及内核层。应用程序层可以包括一系列应用程序包。例如图3所示的手机100,应用程序层可以包括短信、音乐、视频、导航等应用程序,本申请实施例对此不做限定。
应用程序框架层可以包括多种服务程序或者一些预先定义的函数。应用程序框架层可以为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。
在本申请实施例中,如图3所示,应用程序框架层可以包括发现链接服务的安卓安装包(Android package,APK)、多屏框架服务APK和组播发现协议(multicast sourcediscovery protocol,MSDP)服务APK。
其中,发现链接服务APK用于发现PC 200,并与PC 200进行连接,发现链接服务APK中可以包括实现该功能的软件开发工具包(software development kit,SDK),SDK可以为某个程序设计语言提供应用程序接口(application programming interface,API)的一些文件,也可以实现硬件模块之间的通信。例如图3中示出的MSDP-SDK可以为MSDP服务提供接口,用于告知进行数据传输的通路,以实现MSDP服务传输视频流的过程。
在本申请实施例中,手机100和PC 200之间的通信可以有多种不同的方式,例如通过连接的方式或者借助于未来通信技术的方式进行通信以传输数据。其中,手机100和PC200之间连接可以包括有线连接或者无线连接等多种不同连接方式。示例性的,手机100和PC 200之间的有线连接可以是通过USB数据线连接;手机100和PC 200之间的无线连接可以是通过建立Wi-Fi连接的方式,或者,借助于手机100和PC 200支持近场通信(near fieldcommunication,NFC)的功能,通过“碰一碰”功能进行靠近连接,又或者,通过手机100和PC200通过蓝牙扫码连接等。借助于未来通信技术的方式,可以通过在手机100和PC 200上安装不同或相同的应用,借助于5G通信网络传输数据。本申请实施例将以手机100和PC 200之间建立NFC连接为例进行详细的介绍,本申请实施例对手机100和PC 200之间的连接方式不做限定。
示例性的,以手机100和PC 200之间通过NFC建立连接为例,手机100具有NFC功能并先开启手机100的NFC功能,手机100的发现链接服务APK可以用于扫描并发现一定范围内的其他开启了NFC功能的设备。如果PC 200也开启了NFC功能,当手机100靠近PC 200时,手机100的发现链接服务APK可以向PC 200的NFC功能模块发送连接请求,PC 200的NFC功能模块接受连接请求并和手机100建立通路,即完成手机100和PC 200建立连接的过程。应理解,电子设备具有NFC功能可以通过该电子设备包括的NFC芯片来实现,或者给电子设备外接一个NFC设备,通过在电子设备上预置与NFC功能相关的应用程序来实现该NFC功能,本申请实施例对此不做限定。
在一种可能的实现方式中,随着通信技术的发展,通信带宽和速率逐渐提高,手机100和PC 200之间可能在不建立近场通信连接的情况下也可以传输数据。示例性的,未来的第五代(5th generation,5G)移动通信系统等高速率通信方式的普及,手机100和PC 200可能通过5G通信就可以实现在PC 200上显示手机100的窗口,例如,通过在手机100和PC 200上安装不同或相同的应用,借助于5G通信网络传输数据。在该种实现方式中,手机100的发现链接服务APK可以不提供发现,并和PC 200建立连接的功能等。应理解,本申请实施例对手机100和PC 200之间的通信方式不做限定,在后续实施例中,将以手机100和PC 200之间建立NFC连接为例进行详细的介绍。
在手机100和PC 200建立连接之后,多屏框架服务APK中的多窗口管理器用于管理手机100的窗口程序。示例性的,多窗口管理器可以获取手机100上待显示窗口的大小,判断该待显示窗口的内容等。应理解,手机100的待显示窗口可以包括手机100的界面上正在显示的窗口,还可以包括手机100后台运行的一个或多个应用程序的窗口。消息通知管理器可以使应用程序在手机100的状态栏中显示通知信息,可以用于传达告知类型的消息,该状态栏显示的消息可以短暂停留后自动消失,无需用户交互。该状态栏显示的消息可以用于告知用户下载完成,以及进行其他的消息内容提醒等。消息通知管理器还可以提供以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以提供以对话窗口形式出现在手机100的屏幕上的通知。消息通知管理器还可以提供例如提示音,手机100的振动,指示灯闪烁等不同类型的通知。
MSDP服务APK用于在手机100和PC 200建立连接(例如NFC连接)之后的数据传输,例如手机100和PC 200之间视频流的传输。MSDP服务APK可以实现包括视频流编码、音频流编码、窗口坐标同步、音频设备虚拟、反向控制等功能。
示例性的,视频流编码可以实现将待传输的视频数据封装成符合手机100和PC200之间的数据传输协议的报文,该视频流报文可以包括传输媒体的类型、格式、序列号、时间戳以及是否有附加数据等信息,进而实现视频流的实时传输。同理,音频流编码可以实现将待传输的音频数据封装成符合手机100和PC 200之间的数据传输协议的报文,进而实现音频流的实时传输。窗口坐标同步可以确定手机100的待显示窗口在PC 200显示屏上的坐标。音频设备虚拟可以将手机100中的音频创建虚拟的音频,再将其发送给PC 200,以实现在PC 200上播放该音频。反向控制可以根据手机100和PC 200之间传输的操作指令,同步地在手机100和PC 200执行相应的操作。例如PC 200显示手机100的视频应用的播放窗口,用户在PC 200上暂停播放时,该暂停操作可以被回传到手机100,由手机100的该反向控制模块控制手机100上也暂停播放。相应地,反向控制还可以用于将手机100上的操作传到PC200。应理解,针对不同的系统,手机100和PC 200之间具有不同的通信方式,以上介绍的各个软件模块可以部分或者全部的参与本申请实施例的PC 200显示多窗口的过程。
综上所述,应用程序框架层可以实现PC 200和手机100的发现连接、调用MSDP服务等功能。此外,应用程序框架层的多屏框架服务还可以实现PC 200和手机100之间文件的拖拽与共享、单窗口模式的显示、应用协同的生命周期管理等功能。PC 200和手机100之间文件的拖拽与共享、PC 200显示手机100的一个窗口可以参照现有的方案,这里不再赘述。应用协同的生命周期管理是用于配置管理应用程序的软件工具,规定应用程序的生命周期等。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。其中,表面管理器用于对手机100的显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
安卓运行时(Android runtime)包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
内核层是硬件和软件之间的层。内核层至少包含显示驱动、音频驱动等。在本申请实施例中,当手机100和PC 200之间为无线连接时,手机100的内核层可以包括用于手机100连接无线保真(wireless fidelity,WIFI)模块,用于进行无线连接;当手机100和PC200之间为NFC连接时,内核层还可以包括近距离无线通讯技术(near-field communication,NFC)模块,用于通过NFC实现手机100和PC 200的连接;当手机100和PC 200之间通过5G等通信网络传输数据时,内核层可以不包括WIFI模块、NFC模块等,或者内核层可以包括WIFI模块、NFC模块等,但是不参与本申请实施例的PC 200显示多窗口的过程。
应理解,手机100除了图3中示出的多个层以及包括的多个功能模块之外,还可以有不同的划分方式或者包括更多的功能模块,本申请实施例对此不做限定。
图3中还示出了PC 200的显示手机窗口模块,PC 200和手机100连接之后,该显示手机窗口模块用于显示手机100的界面内容。应理解,PC 200可以包括多层架构,例如预研层、PC软件层、操作系统(operating system,OS)层以及基础只读存储器(read onlymemory,ROM)多屏框架层等,其中,PC软件层可以运行可执行文件(executable file,exe)。例如在本申请中,PC 200可以预置用于显示手机窗口的exe程序,该显示手机窗口的exe程序可以在PC 200上体现为App的形式,或者通过运行该显示手机窗口的exe程序使得PC 200具有显示手机100的窗口的功能。本申请将PC 200的提供显示手机100的窗口的功能模块称为“显示手机窗口模块”,下面将重点介绍用于PC 200上用于显示手机100的窗口的显示手机窗口模块。
PC 200的显示手机窗口模块可以提供对应于手机100的应用程序框架层的相关服务的功能,例如提供多屏框架服务和MSDP服务。其中,MSDP服务APK对应于手机100的MSDP服务,用于在PC 200和手机100建立连接之后的数据传输。PC 200的MSDP服务可以实现包括视频流解码、音频流解码、窗口坐标同步、音频设备虚拟、反向控制等功能。
例如,在本申请中,PC 200的MSDP服务APK可以接收到手机100的发送的视频流,并对该视频流进行解码,视频流解码可以实现将PC 200接收的封装报文解封装,获取解码后的完整视频数据。音频流解码可以将PC 200接收的报文解封装,获取音频数据。窗口坐标同步可以根据视频流中包含的信息,确定PC 200的显示屏上用于显示手机窗口的坐标和区域。音频设备虚拟根据接收手机100发送的虚拟音频,将该虚拟音频由PC 200的音频设备播放,以实现在PC 200上播放该音频。反向控制可以根据手机100和PC 200之间传输的操作指令,同步地在手机100和PC 200执行相应的操作。例如PC 200显示手机100的视频应用的播放窗口,用户在手机100上暂停播放时,该暂停操作可以被传到PC 200,由PC 200的该反向控制模块获取指令,控制PC 200上也暂停播放。相应地,反向控制还可以用于将PC 200上的操作传到手机100。
MSDP服务APK获取并解析视频帧,将视频帧中包含的手机窗口的信息传递到多屏框架服务APK,该手机窗口的信息可以包括手机窗口的坐标信息、手机窗口的显示内容信息等。多屏框架服务APK可以包括多窗口管理器、消息通知管理器、手机窗口显示器、应用生命周期管理器等。其中,多窗口管理器可以根据手机窗口的坐标信息,确定在PC 200的显示屏上显示手机100的一个或多个窗口。手机窗口显示器根据手机窗口的显示内容信息,在PC200的显示屏进行显示,手机窗口显示器可以用于显示手机100的一个或者多个窗口。消息通知管理器可以用于在PC 200显示通知信息,例如以消息弹窗的方式、提示音等方式显示通知信息。应用生命周期管理器用于向应用程序开发人员提供方便地访问应用程序信息的界面,通过调用单个应用程序接口(application programmers interface,API)启动一个应用程序,以及为每个运行中的应用程序处理各种运行时状态,它还为安装在系统中的应用程序维护程序列表,在受监控的应用程序发生变化时随时更新该列表。
应理解,对于PC 200和手机100之间建立链路之后,可以进行数据传输过程,该传输的数据可以包括前述介绍的视频流数据,还可以包括意图类指令传输,例如“touchevent”等操作指令(例如启动、关闭、移动、缩放应用等事件的指令)的传输;该传输的数据还可以包括PC 200和手机100之间定义的可解析的数据格式等,本申请实施例对此不做限定。
还应理解,上述图3中以将手机100的多个窗口显示到PC 200为例,介绍了参与该显示多窗口的过程的模块和软件架构。此外,手机100也可以作为第二电子设备,手机100的MSDP服务APK也可以提供视频流的解码功能;或者PC 200也可以作为第一电子设备,PC 200的MSDP服务APK也可以提供视频流的编码功能,本申请实施例对此不做限定。
现有的显示手机窗口的过程中,除了背景技术介绍通过屏幕共享软件,实现PC与手机之间轻松共享屏幕内容与数据之外,在另一种方案中,可以通过数据线将手机和PC、显示器或者电视等大屏设备进行连接,使得大屏设备可以轻松访问手机。用户可以同时使用两个屏幕处理多件任务,例如用户可以在较大的显示屏上查看视频、图片和文档等内容,同时可以继续使用手机收发短信、接听电话等。该显示手机界面的方法需要借助于数据线的连接,将手机的界面投射到大屏设备上。而且该方法无法实现手机和PC的系统的融合,且无法实现从PC的系统菜单调用手机安装的应用。
为了便于理解,以下实施例将以具有图1所示硬件结构和图3所示软件架构的手机100,以及具有图2和图3所示软件结构的PC 200为例,介绍本申请实施例提供的显示多窗口的方法,下面结合附图和应用场景,进行具体阐述。
图4是本申请实施例提供的一例PC显示手机界面的示意图。如图4中(a)图所示,手机和PC在连接之后,PC 200的手机窗口可以和手机100显示相同的界面。
应理解,在本申请实施例中,手机100和PC 200之间传输数据可以采用前述介绍的通信方式,此处不再赘述。图4中(a)图示出了在解锁之后的手机100的主界面401,该主界面401显示了多款应用程序(application,App),例如相册、设置、视频、音乐等,应理解,主界面401还可以包括其他更多的应用程序,本申请实施例对此不做限定。
图4中(a)图还示出了PC 200的主界面402,该主界面402包括多款PC 200的App(例如我的电脑、回收站等)和手机窗口10。该手机窗口10可以用于显示手机100的界面内容。此外,该手机窗口10还可以包括如图所示的灰色菜单栏11,该灰色菜单栏11可以包括隐藏到侧边框按键11-1、隐藏到菜单栏按键11-2、窗口最大化按键11-3、关闭窗口按键11-4等。可选地,点击隐藏到侧边框按键11-1可以用于将手机窗口10隐藏到PC 200显示屏的右边框,隐藏到菜单栏按键11-2可以用于将手机窗口10隐藏到菜单区域12。
应理解,该灰色菜单栏11可以包括以上列举的部分或者全部按键,还可以包括更多的功能按键,本申请实施例对此不做限定。还应理解,窗口最大化按键11-3可以根据用户的操作显示不同的形态,从而功能可以发生变化。示例性的,当该手机窗口10为小窗口显示时,用户通过点击窗口最大化按键11-3,响应于用户的点击操作,手机窗口10最大化,此时该最大化按键11-3可以变化为窗口最小化按键,如图7的(b)图示出的窗口最小化按键11-5。用户可以通过点击最小化按键11-5,响应于用户的点击操作,手机窗口10缩小到原小窗口显示。
在本申请实施例中,将包括灰色菜单栏11在内的区域可以统一称为“手机窗口10”。在图4中,该主界面402还可以包括菜单区域12,该菜单区域12可以包括PC 200的开始菜单13、文件管理快捷菜单、浏览器、输入法控制菜单、时间与日期设置菜单、电源管理等,本申请实施例对此不做限定。
当手机100和PC 200建立连接之后,可以在PC 200的手机窗口10显示手机100当前显示的界面。如图4中(a)图所示,用户点击了手机主界面401的音乐应用,手机100和PC 200的界面可以如图4中的(b)图所示。其中,手机100的界面401显示音乐应用的界面,PC 200的手机窗口10也显示该音乐应用的界面,保持手机100的界面401和PC200的手机窗口10的显示内容一致,此处不再赘述。
应理解,对于该手机窗口10的在PC 200上的显示,可以是当手机100和PC 200之间建立连接之后,自动弹出显示在PC的主界面402上;或者,该手机窗口10可以是根据用户的操作之后,显示在PC的主界面402上,本申请实施例对手机窗口10的显示时机和方式不做限定。
图5是本申请实施例提供的又一例PC显示手机界面的示意图。在一种可能的实现方式中,当手机100和PC 200之间建立连接之后,用户可以在PC 200上执行一定的操作,响应于用户的操作,该手机窗口10显示在PC的主界面502上。
示例性的,如图5中的(a)图所示,当手机100和PC 200之间建立连接之后,用户可以在PC 200点击开始菜单13,响应于用户的点击操作,PC 200的主界面502上显示菜单窗口20。该菜单窗口20上包括该PC的多款应用列表,例如Word、Power Point、画图、计算器等办公软件,或者浏览器等其他应用。此外,如果PC 200安装了用于显示手机100的多窗口相关的应用,该菜单窗口20还可以包括该应用的快捷方式,例如该应用可以是“EMUJI桌面(EMUJI desktop)”,该菜单窗口20可以包括的EMUJI桌面的图标。
应理解,用于显示手机100的多窗口相关的应用可以从应用商店下载并安装在PC200上,本申请实施例对安装该应用的方法和过程不再赘述。
如图5中的(b)图所示,用户可以点击该菜单窗口20的EMUJI桌面菜单栏,响应于用户的点击操作,PC 200的主界面502上显示手机应用窗口30,该手机应用窗口30可以显示手机100的所有应用。可选地,该手机应用窗口30可以如图5中(c)图所示,手机100的应用程序显示在EMUJI桌面的窗口中;或者,该手机应用窗口30可以显示如手机窗口10,在手机窗口10中显示手机100的应用列表,本申请实施例对此不做限定。
应理解,手机100和PC 200建立连接之后,手机100可以将已安装所有应用的信息发送给PC 200,也可以是当用户点击菜单窗口20的EMUJI桌面菜单时,触发PC 200向手机100发送获取应用的请求,用于请求获取手机100的应用的信息。
这里应用的信息可以包括该应用程序层的所有应用的名称、标识(identification,ID)、图标等信息。PC 200接收到应用的信息之后,根据每一个应用的名称、ID、图标在手机应用窗口30显示该应用,进而显示手机100的所有应用,显示可以如图5中(c)图所示。还应理解,应用的标识可以为包名,包名中包含字符串,PC 200根据该包名就可以确定时音乐应用。
可选地,当用户点击EMUJI桌面菜单栏之后,可以如图5中(a)图所示,弹出手机窗口10,该手机窗口10与手机100的界面501保持显示一致。
或者,在一种可能的情况中,如图5中的(c)图所示,当用户点击EMUJI桌面菜单栏之后,可以在PC 200的主界面502上弹出EMUJI桌面的窗口30,该EMUJI桌面的窗口30上可以显示手机上安装的所有应用程序,用户可以对该EMUJI桌面的窗口30的任意一款应用程序执行点击运行的操作。
应理解,在本申请实施例中,在PC 200的界面上显示手机100的界面,可以通过图5中所示的手机窗口10,也可以通过图5介绍的操作方法,从PC 200的开始菜单13中调用某款应用(例如EMUJI桌面),再通过该应用显示手机窗口10或者显示包括手机100的所有应用程序的EMUJI桌面的窗口30,本申请实施例对此不做限定。
在本申请实施例中,在PC 200的界面上显示手机100的界面,可以根据用户的需求,当用户运行手机100的多个应用时,在PC 200的主界面402上可以显示多个对应于不同应用的窗口。
图5是本申请实施例提供的又一例PC显示手机界面的示意图。应理解,用户可以通过在手机上的点击操作以启动该应用,或者通过在PC的手机窗口10的点击操作以启动该应用,本申请实施例对此不做限定。
还应理解,本申请实施例中介绍的用户执行的“点击操作”可以是针对不同设备的不同操作。示例性的,对于手机,用户可以通过触摸点击操作运行该音乐应用;对于PC,用户可以是通过鼠标、键盘等外设输入设备执行单击操作或者双击操作,运行该音乐应用;或者,如果PC为具有触摸屏的设备时,用户的可以通过触摸点击运行该音乐应用,本申请实施例对此不做限定。
当手机100和PC 200之间建立连接之后,用户可以在手机100的主界面401上点击音乐应用,响应于用户的点击操作,如图6中的(a)图所示,PC 200上可以自动弹出音乐应用的窗口40。
可选地,该音乐应用的窗口40可以用于显示音乐应用的主界面。
或者,用户可以点击PC 200的手机窗口10上的音乐应用14,响应于用户的点击操作,PC 200的主界面402上可以自动弹出音乐应用的窗口40,本申请实施例对此不做限定。
在一种可能的实现方式中,当用户在PC 200的手机窗口10上点击并运行音乐应用14,响应于用户的点击操作,PC 200的手机窗口10上可以直接弹出音乐应用的窗口40,原手机窗口10可以保持为手机100的主界面。
应理解,用户通过在PC 200的手机窗口10中点击操作音乐应用的过程中,本申请实施例对手机100的界面的显示内容不做限定,例如,手机100可以为灭屏状态,或者显示解锁后的主界面,又或者和PC 200的手机窗口10的显示内容保持一致等。
在另一种可能的实现方式中,当用户在手机100的主界面401上点击并运行音乐应用,或者,用户可以点击PC 200的手机窗口10上的音乐应用14,响应于用户的点击操作,PC200的手机窗口10上可以直接跳转显示该音乐应用的主界面。如图6中的(b)图所示,用户可以通过选中并拖动该音乐应用的主界面,从而在PC 200上重新出现音乐应用的窗口40。
示例性的,如图6中的(b)图所示的操作,用户可以在手机窗口10显示该音乐应用的主界面之后,点击选中手机窗口10的任意位置,并沿着虚线所示方向,向手机窗口10之外的任意区域拖动,从而PC 200的界面显示如图6中的(a)图所示,即单独显示音乐应用的窗口40,手机窗口10恢复显示手机的主界面401。
图7是本申请实施例提供的又一例PC显示手机界面的示意图,当用户运行多个应用时,PC 200上可以为每一个应用显示对应的窗口。
如图7中的(a)图所示,用户已经在PC 200上运行了音乐应用,在PC 200的主界面402上显示音乐应用的窗口40。例如,用户在手机100上点击运行音乐应用之后,可以返回到手机100的主界面401,音乐应用可以处于手机100的后台运行状态。此时,用户还可以点击手机100的主界面401的其他任意应用。可选地,例如用户可以在手机100的主界面401上点击视频应用15,响应于用户的点击操作,PC 200上还可以自动弹出视频应用的窗口50,手机100的界面显示为视频应用的界面,用户可以返回到手机100的主界面401,视频应用可以处于手机100的后台运行状态。
或者,如图7中(a)图所示的操作,用户可以点击PC 200的手机窗口10上的视频应用15,响应于用户的点击操作,PC 200上可以自动弹出视频应用的窗口50,手机100的界面可以显示主界面401,即不受用户操作的影响,显示手机100的任一可能的界面。这里任一可能的界面可以是锁屏界面、用户使用手机任一一个应用的界面等。
应理解,用户可以对PC 200上出现的每一个应用的窗口执行相关操作。例如,视频应用的窗口50可以是视频应用的主界面,包括多个视频列表,用户可以点击某个视频,例如用户点击《当幸福来敲门》,该视频应用的窗口50可以显示如图7中(a)图所示的界面,通过该视频应用的窗口50播放该视频。
还应理解,本申请实施例对PC 200上显示的多个应用的窗口的大小和位置不做限定,例如,PC 200上显示的应用的窗口的大小和位置的确定过程可以参考后续步骤804的相关描述。
在一种可能的实现方式中,用户可以通过选中某个应用的窗口并拖动该窗口,将该窗口拖动到PC 200显示屏幕的任意位置。此外,用户可以通过灰色菜单栏11包括的隐藏到侧边框按键11-1、隐藏到菜单栏按键11-2、窗口最大化按键11-3、关闭窗口按键11-4等按键,对每个应用的窗口执行相应的操作,或者,用户可以通过拖动视频应用的窗口50的边框,对该视频应用的窗口50进行缩小或者放大,此处不再赘述。
可选地,当用户在PC 200上点击灰色菜单栏11的关闭按键11-4时,响应于用户的关闭操作,PC 200上可以关闭该窗口,该窗口对应的手机100的应用可以后台运行,或者该窗口对应的应用退出运行转为关闭状态,本申请对此不做限定。
示例性的,如图7中的(a)图所示,当用户在PC 200上打开视频应用显示视频应用的窗口50时,用户点击视频应用的窗口50的灰色菜单栏的关闭按键,响应于用户的关闭操作,PC 200上可以关闭该窗口,手机100的视频应用可以后台运行,或者退出运行。
在另一种可能的实现方式中,用户可以通过不同的方式实现窗口最大化。示例性的,如图7中的(a)图所示,用户通过点击视频应用的窗口50的灰色菜单栏11包括的窗口最大化按键11-3将视频应用的窗口50最大化到如图7中的(b)图所示的全屏显示;或者,用户通过单击该视频应用的窗口50包括的全屏控件16将视频应用的窗口50最大化到如图7中的(b)图所示,本申请实施例对此不做限定。
相应地,当视频应用的窗口50最大化如图7中的(b)图所示,用户可以单击灰色菜单栏11包括的窗口缩小控件17将视频应用的窗口50恢复到如图7中的(a)图所示的非全屏显示;或者用户通过单击该视频应用的窗口50包括的窗口最小化按键11-5将视频应用的窗口50恢复到如图7中的(a)图所示的非全屏显示,本申请实施例对此不做限定。
综上所述,本申请实施例提供的显示多窗口的方法,可以将手机100的应用程序显示在PC 200的手机窗口中,或者显示在PC 200的菜单列表中,在PC 200不安装手机的应用的情况下,就可以在PC 200上被点击运行手机100的应用,并使用该应用的功能,用户可以借助于PC 200的大屏体验使用手机100的应用。该方法可以实现手机和PC的系统的融合,使得用户可以从PC的系统菜单调用手机安装的应用。
此外,该方法可以在PC 200上,实现多个手机应用同时独立并行,每一个应用可以在PC 200显示一个独立窗口,多个应用对应的多个窗口同时显示在PC 200的界面上,且运行手机100的多个应用不影响用户使用手机的其他功能。例如用户在PC 200上使用手机的视频应用、音乐应用,可以同时使用手机收发短信或者拨打电话等;或者,用户使用鼠标、键盘等外设输入设备即可以操作手机,完全保留用户使用习惯,不用频繁在两个设备之间切换;通过PC 200的手机窗口运行手机100的应用,提高了文件查阅、分享、办公的效率,提高了用户体验。
结合上述实施例及相关附图,本申请实施例提供的显示多窗口的方法,可以应用在包括两个相互通信的电子设备的系统中,例如该系统包括第一电子设备和用于显示第一电子设备界面的第二电子设备。本申请实施例中,手机100作为第一电子设备,PC 200作为第二电子设备的,PC 200可以显示手机100的多个窗口。下面结合图8至图12介绍PC 200显示手机100的多个窗口的具体实现过程。
图8是本申请实施例提供的显示多窗口的方法的示意性流程图,如图8所示,该方法800可以包括以下步骤:
801,手机100和PC 200建立连接。
应理解,在本申请实施例中,手机100和PC 200需要相互通信,通信方式可以参照前述介绍,此处不再赘述。具体以手机100和PC 200之间通过NFC建立连接为例,手机100和PC 200建立连接的过程可以由图3中手机100的发现链接服务APK来参与,此处不再赘述。
802,手机100获取PC 200的显示屏的尺寸信息。
应理解,本申请实施例对手机100获取PC 200的显示屏的尺寸信息的时机和方式不做限定。在一种可能的实现方式中,手机100和PC 200建立连接的时候,PC 200可以将显示屏的尺寸等信息发送给手机,手机100可以获取该PC 200的显示屏的尺寸等信息。
在另一种可能的实现方式中,手机100和PC 200建立连接之后,可以根据用户的操作触发PC 200将显示屏的尺寸等信息发送给手机,手机100可以获取该PC 200的显示屏的尺寸等信息。示例性的,如图4所示的操作过程,当用户操作“EMUJI桌面”时,PC 200可以将显示屏的尺寸等信息发送给手机。
还应理解,手机100和PC 200之间的数据交互可以根据双方建立连接的过程,通过不同的通道进行传输。例如,手机100和PC 200之间的数据可以通过发现并建立WiFi p2p通路进行传输;或者,如果手机100和PC 200之间通过蓝牙建立连接,PC 200的显示屏的尺寸等信息可以通过蓝牙通道传输给手机100,本申请实施例对此不做限定。
具体地,对应于图3中介绍的手机100,该步骤801可以由手机100的应用程序框架层的多屏框架服务APK来参与。
803,手机100根据获取的PC 200的显示屏的尺寸信息,创建虚拟区域。
804,手机100在该虚拟区域中,确定手机窗口10的第一区域。
可选地,手机100可以在和PC 200建立连接的时候即创建一个虚拟区域,该虚拟区域的大小和PC 200的显示屏的尺寸大小相同。
图9是本申请实施例提供的手机100创建虚拟区域的示意图。本申请实施例中,对于PC 200的显示屏,以显示屏的左上角的起点为坐标原点,分别用水平方向(X轴方向)和垂直方向(Y轴方向)的像素来表征显示屏的尺寸大小,在后续的描述中,数字都为像素的位置坐标。应理解,在某个方向上占据的像素个数越多,显示效果就越精细和细腻。
步骤803-804可以对应于图9中的(a)图所示的手机100执行的过程。
示例性的,本申请实施例中,手机100获取PC 200的显示屏的大小可以是3000×2000,换言之,该PC 200的显示屏在水平方向上(X轴)包含3000个像素,垂直方向上(Y轴)包含2000个像素。手机100根据PC 200的显示屏的尺寸(3000×2000)信息,如图9中的(a)图所示,手机100创建虚拟区域(虚线示出的区域),该虚拟区域的坐标原点O(0,0),X轴方向包含3000个像素,Y轴方向包含2000个像素。
手机100创建虚拟区域之后,在该虚拟区域中,确定手机窗口10所在的第一区域,换言之,手机100确定该第一区域的顶点O1的坐标、X轴方向包含的像素和Y轴方向包含的像素。可选地,该第一区域的顶点坐标、X轴方向包含的像素数和Y轴方向包含的像素数可以是系统预设的,或者,该第一区域是手机100根据预设规则和PC 200的显示屏的尺寸大小确定的,本申请实施例对此不做限定。
一种可能的实现方式中,手机100可以为每个待显示的窗口指定初始顶点坐标、X轴方向包含的像素数和Y轴方向包含的像素数。例如手机100为手机窗口10设置的初始顶点坐标、X轴方向包含的像素数和Y轴方向包含的像素数之后,可以使得手机窗口10显示在靠近PC 200的显示屏的右边框处位置,如图7中(a)图所示,该手机窗口10显示在PC 200的显示屏靠近右边框处,且该手机窗口10位于PC 200的显示屏的上边框界和下边框的中部。该初始坐标的设置可以避免手机窗口10遮挡PC 200的界面402上显示的PC的原有应用程序(例如我的电脑、回收站等),且避免手机窗口10遮挡PC 200的界面402上右下角区域显示的PC的输入法控制菜单、时间与日期设置菜单、电源管理等快捷菜单选项。
可选地,手机100可以根据手机的显示区域为每个待显示的窗口指定X轴方向包含的像素数和Y轴方向包含的像素数,以确定在PC 200上显示的窗口的尺寸大小。应理解,这里手机的显示区域为手机100的显示屏上可以用于显示手机界面的最大区域,如图9中的(a)图所示,手机100的显示区域为n×m。
示例性的,PC 200上的手机窗口10可以和手机的显示区域(n×m)具有相同的尺寸大小。换言之,手机窗口10的尺寸在X轴方向包含n个像素数,在Y轴方向包含m个像素数。
或者,手机100可以按照一定比例放大或者缩小手机的显示区域(n×m)之后,将该尺寸大小指定为在PC 200上显示的手机窗口10的尺寸大小。
示例性的,PC 200上的手机窗口10用于显示手机100的主界面,该手机窗口10可以是将手机的显示区域(n×m)按照1.5倍放大后的尺寸大小。换言之,手机100指定手机窗口10在X轴方向包含1.5×n个像素数,在Y轴方向包含1.5×m个像素数。
示例性的,如图9中的(a)图所示,该第一区域的顶点O1的坐标为(2500,500),X轴方向上包括400个像素,在Y轴方向上包括1000个像素。
应理解,以上介绍的手机100创建虚拟区域和第一区域的过程可以由图1中手机100的处理器110来执行,或者对应由图3中软件架构中手机100的多屏框架服务APK对应的模块来完成。此外,手机100创建虚拟区域的过程可以理解为确定该虚拟区域的信息,手机100确定第一区域的过程可以理解为确定该第一区域的信息,该过程为手机100的内部执行过程,不需要在手机100上显示,且该过程由手机100完成,在PC 200也没有任何显示。
手机100确定该第一区域的信息O1(2500,500),X轴方向上包括400个像素,在Y轴方向上包括1000个像素。
805,手机100将第一区域的信息和第一区域的显示内容信息,编码生成第一视频流。
806,手机100向PC 200发送该第一视频流。
应理解,该第一视频流中包含第一区域的信息,具体可以包括第一区域在PC 200的显示屏区域内的顶点坐标、长度、宽度信息。
可选地,该第一区域的信息还可以包括手机窗口10的显示层级信息。应理解,这里显示层级用于表示该窗口在当前的显示方法中显示在PC 200的哪一层,例如,PC 200上包括3个手机窗口,最上层显示的窗口为第一层显示,最底层显示的窗口为第三层显示。
可选地,层级信息可以不是手机100发送给PC 200的,而由PC 200根据接收每一个窗口信息的时间以及用户在PC 200上的操作,统一管理每一个窗口的层级显示。例如当音乐应用的窗口40显示在视频应用的窗口50上层,当用户在PC上选中视频应用的窗口50时,PC 200确定视频应用的窗口50为最上层显示。
一种可能的实现方式中,该手机窗口10可以默认为PC 200最上层显示,由于手机窗口10的显示内容可以对应于手机100的主界面401,或者包括手机100的应用程序,所以手机窗口10在PC 200最上层显示,方便于用户的使用,且该手机窗口10位于PC 200的显示屏靠近右边框的位置,不会遮挡用户使用原PC 200的应用。
应理解,第一视频流中包括的第一区域的显示内容信息用于PC 200在手机窗口10中显示手机100的内容,换言之,PC 200可以根据第一区域的显示内容信息填充该第一区域,使得PC 200的显示屏的第一区域显示的内容为手机100的某界面。
示例性的,如图4中的(a)图所示,当手机窗口10显示手机100的主界面时,第一区域的显示内容信息包括手机100的主界面的壁纸、所有应用程序的图标、时间、日期和天气的窗口、以及手机100的界面顶端的通知栏的运营商名称、网络信号标识、电量显示信息等。或者,示例性的,如图4中的(b)图所示,当手机窗口10显示手机100的音乐应用的界面时,第一区域的显示内容信息包括音乐应用的界面的壁纸、音乐应用的界面上的每一个控件、歌名、播放进度、歌手图片等。
一种可能的情况中,在使用PC 200显示手机100的窗口的过程中,PC 200还可能显示自身当前运行的应用相关窗口,例如PC 200的显示屏显示着用户在PC200上打开的网页窗口。可选地,在手机100和PC 200连接之后,手机窗口10初次在PC 200的显示屏上出现时,显示在最上层,方便于用户的操作。用户如果此时不使用手机窗口10中的应用,继续使用PC200的打开的网页窗口,可以点击该网页窗口的任意位置,将网页窗口显示在PC 200的最上层,手机窗口10下移一层(第二层显示)。或者,用户还可以通过点击手机窗口10的灰色菜单栏11的隐藏到侧边框按键11-1或者隐藏到菜单栏按键11-2,对手机窗口10进行隐藏,此时手机窗口10暂时不显示在PC 200的显示屏上。此外,还应理解,以上第一视频流的编码过程可以由图3中介绍的手机100的MSDP服务APK来参与,MSDP服务APK可以实现包括视频流编码等功能。具体地,手机100的多屏框架服务APK可以将确定的第一区域的信息和第一区域的显示内容信息发送给MSDP服务APK,由MSDP服务APK将第一区域的信息和第一区域的显示内容信息编码成第一视频流。这里对视频流的编码过程不再赘述。
可选地,该第一视频流可以通过MSDP服务提供的视频流专用通道进行传输,或者通过手机100和PC 200在步骤701中建立连接过程建立的通道进行传输,本申请实施例对此不做限定。应理解,该第一视频流具有手机100和PC 200都可以解析的数据格式,此处不再赘述。
步骤805可以对应于图9中的(b)图所示的手机100执行的过程,该过程也为手机100内部编码视频流的过程。
807,PC 200接收并解码该第一视频流,获取第一区域的信息和第一区域的显示内容信息。
808,PC 200根据第一区域的信息,在对应的区域显示手机窗口10,根据第一区域的显示内容信息,在手机窗口10内显示对应的内容。
PC 200接收手机100发送的第一视频流,对第一视频流进行解码。应理解,该解码方式对应于手机100的编码方式。该过程可以由PC 200的MSDP服务APK来执行,并将解码第一视频流后获取第一区域的信息,发送给多屏框架服务APK,由多屏框架服务APK根据第一区域的信息,确定手机窗口10在PC 200的显示屏的顶点坐标、长度、宽度信息,以确定手机窗口10的显示区域。
此外,PC 200还从第一视频流中获取第一区域的显示内容信息,PC 200可以根据第一区域的显示内容信息填充该手机窗口10,使得PC 200的显示屏的手机窗口10显示的内容为手机100的某界面,该界面可以是手机100的主界面,或者为手机100任意一个应用的界面时,第一区域的显示内容信息包括音乐应用的界面的壁纸、音乐应用的界面上的每一个控件、歌名、播放进度、歌手图片等。
对应于图3中的PC 200的显示手机模块,MSDP服务APK将获取的第一区域的显示内容信息发送给多屏框架服务APK,最后由多屏框架服务APK模块的手机窗口显示器根据第一区域的显示内容信息显示相应的界面内容。
通过以上步骤801-808的过程,PC 200的显示屏上就可以显示手机窗口10,且该手机窗口10中可以显示手机100的主界面,或者同步显示手机100在用户使用过程中的任意界面。示例性的,如图4中的(a)图所示,PC 200可以在主界面402上显示手机窗口10,该手机窗口10的显示内容可以一直持续显示手机100的主界面,或者,如图4中的(b)图所示,PC 200的手机窗口10的显示内容可以和手机100同步,为音乐应用的界面。
步骤807-808可以对应于图9中的(c)图所示的手机100执行的过程。具体地,PC200将第一区域在虚拟区域的顶点坐标、长度、宽度等对应到PC 200的显示屏的相应位置,该第一区域对应的位置就是手机窗口10的显示区域,换言之,手机窗口10在PC 200的显示屏的坐标即为第一区域在虚拟区域的坐标。
一种可能的实现方式中,手机100在步骤805中可以连同虚拟区域的信息和第一区域的信息、第一区域的显示内容信息,一起经过编码生成第一视频流,发送给PC 200,由PC200根据第一区域在虚拟区域中的位置,直接确定手机窗口10在PC 200的显示屏上的位置,并在该手机窗口10显示第一区域的显示内容。
在一种可能的实现方式中,手机100在步骤805只将手机的显示区域(n×m)的信息编码生成第一视频流,发送给PC 200。由PC 200根据手机的显示区域(n×m)的信息,确定用于显示手机主界面的手机窗口10的位置和尺寸大小。可选地,PC 200确定手机窗口10的位置和尺寸大小的方式可以参照前述手机100确定第一区域的顶点坐标、X轴方向上的像素数和Y轴方向上的像素数的过程,此处不再赘述。同理,对于音乐应用的窗口40,也可以由PC200根据手机100发送的手机显示音乐应用的界面的信息,确定用于显示音乐应用的窗口40的位置和尺寸大小。
应理解,当用户在PC 200上移动了音乐应用的窗口40,该音乐应用的窗口40的坐标可以被PC 200发送给手机100,手机100就可以更新音乐应用的窗口40的坐标信息。换言之,手机100和PC 200之间的信息交互是实时的,当PC 200上的窗口位置、大小等发生该变化时,PC 200可以将变化后的窗口位置、大小等信息告知手机100,手机100可以随时准确获取音乐应用的窗口的信息,该过程可以由图3中介绍的手机100的MSDP服务APK的窗口坐标同步模块来参与,进而手机100可以实时获知PC 200上显示的每一个应用窗口的位置、每一个应用包括的功能控件的位置等,进一步实现用户可以在PC 200上使用并操作手机100的应用。
图10是本申请实施例提供的又一例显示多窗口的方法的示意性流程图,图10示出的过程可以在图8所示的过程之后执行,换言之,当PC 200的显示屏已经显示了手机窗口10之后,可以继续执行图10所示的过程。应理解,该过程1000可以对应于图6中的(a)所示的过程,用户通过在手机100侧执行对手机音乐应用的操作,响应于用户在手机100的操作,PC200上除了原手机窗口10之外,也可以显示音乐应用的窗口40。
如图10所示,该方法1000可以包括以下步骤:
1001,PC 200的显示屏上显示手机窗口10。
1002,手机100接收用户的第一操作,运行音乐应用。
本申请实施例中以用户点击并运行音乐应用为例进行说明。应理解,第一操作可以是用户在手机100上对音乐应用的点击操作,响应于用户的点击操作,手机100上打开并进入音乐应用,即手机100可以显示音乐应用的界面。因此这里运行音乐应用可以为前台运行,即手机100的显示屏显示的是音乐应用的界面。1003,手机100在步骤803中虚拟区域中,确定第二区域,并获取第二区域的显示内容信息。
应理解,在步骤803中,手机100创建的虚拟区域的大小和PC 200的显示屏的尺寸大小相同,且手机100已经在虚拟区域中为手机窗口10确定了第一区域。在该步骤1003中,手机100在创建的虚拟区域中确定音乐应用的窗口40的第二区域。图11是本申请实施例提供的又一例手机100创建虚拟区域的示意图。步骤1003-1004可以对应于图11中的(a)图所示的手机100执行的过程。
示例性的,如图11中的(a)图所示,手机100在步骤803中创建了虚线示出的虚拟区域,该虚拟区域的坐标原点O(0,0),X轴方向包含3000个像素,Y轴方向包含2000个像素。
在图8的步骤804中,手机100根据各种可能的方式,确定了手机窗口10的位置和尺寸。同样地,手机100还可以为每个应用确定显示该应用的窗口的位置和尺寸。
一种可能的实现方式中,PC 200上显示每个应用的窗口的初始顶点坐标可以由手机100设定,X轴方向包含的像素数和Y轴方向包含的像素数也可以由手机100设定。
可选地,手机100可以根据手机100的显示区域(n×m)的信息为待显示的音乐应用的窗口40指定初始顶点坐标、X轴方向包含的像素数和Y轴方向包含的像素数。
示例性的,PC 200上的音乐应用的窗口40用于显示手机的音乐应用的界面,该音乐应用的窗口40可以和手机的显示区域(n×m)具有相同的尺寸大小,换言之,音乐应用的窗口40在X轴方向包含的像素数为n,在Y轴方向包含的像素数为m。此时,要保证该音乐应用的窗口40紧靠手机窗口10且不遮挡手机窗口10的内容,则音乐应用的窗口40的顶点O2的X轴坐标为:O1的X轴坐标减去n。顶点O2的Y轴坐标可以和O1的Y轴坐标相同,或者Y轴坐标为:O1的Y轴坐标加上手机窗口10的Y轴尺寸,再减去m。
如图11中的(a)图所示,当n=400,m=1000时,在该虚拟区域中,手机100确定音乐应用的窗口40的第二区域,该第二区域在X轴方向上包括400个像素,在Y轴方向上包括500个像素,其中400等于n,500个像素为0.5×m。手机100确定了该第二区域的尺寸大小后,可以进一步确定顶点O2的坐标为(2100,1000),从而保证音乐应用的窗口40紧靠手机窗口10。
或者,示例性的,PC 200上的视频应用的窗口50用于显示手机的视频应用的界面,该视频应用的窗口50可以和手机的显示区域(n×m)具有相同的尺寸大小,且将手机的显示区域(n×m)中m作为X轴方向包含的像素数,n作为Y轴方向包含的像素数。该视频应用的窗口50的尺寸大小可以更好地适应用户观看视频的过程,提高用户的观看体验。
可选地,手机100可以根据手机100的显示区域(n×m)的信息和预设的比例关系为待显示的音乐应用的窗口40指定X轴方向包含的像素数和Y轴方向包含的像素数。例如,手机100指定音乐应用的窗口40在X轴方向包含1.5×n个像素数,在Y轴方向包含1.5×m个像素数。
另一种可能的实现方式中,手机100可以根据手机运行该音乐应用时显示音乐应用的界面,为待显示的音乐应用的窗口40确定X轴方向包含的像素数和Y轴方向包含的像素数,以确定在PC 200上显示的窗口的尺寸大小。应理解,这里手机运行该音乐应用时显示音乐应用的界面可以小于手机100的显示区域为n×m,例如手机运行该音乐应用时显示音乐应用的界面尺寸为p×q。应理解,本申请实施例中,n和m的数值可以由手机100根据显示屏的信息获取,p和q的数值可以是手机100安装音乐应用的安装包时获取的信息,或者由手机100为音乐应用配置的信息,本申请实施例对此不做限定。
可选地,音乐应用的窗口40的尺寸大小可以和手机100显示音乐应用的界面(p×q)的尺寸大小相同。换言之,音乐应用的窗口40在X轴方向包含的像素数为p,在Y轴方向包含的像素数为q。此时,要保证该音乐应用的窗口40紧靠手机窗口10且不遮挡手机窗口10的内容,则音乐应用的窗口40的顶点O2的X轴坐标为:O1的X轴坐标减去p。顶点O2的Y轴坐标可以和O1的Y轴坐标相同,或者Y轴坐标为:O1的Y轴坐标加上手机窗口10的Y轴尺寸,再减去q。
另一种可能的实现方式中,手机100根据预设的规则确定X轴方向包含的像素数和Y轴方向包含的像素数。例如,手机100如果确定了初始顶点坐标,根据预设的规则,X轴方向包含的像素数和Y轴方向包含的像素数就可以被确定。示例性的,第一个启动并运行的音乐应用的窗口40的初始坐标的设置原则可以是:音乐应用的窗口40的右边框紧靠该手机窗口10的左边框,且不遮挡手机窗口10的内容。第二个启动并运行的视频应用的窗口50的初始坐标的设置原则可以是:视频应用的窗口50的右边框紧靠音乐应用的窗口40的左边框,且不遮挡音乐应用的窗口40的内容。或者,第二个启动并运行的视频应用的窗口50的右边框仍紧靠该手机窗口10的左边框,且第二个启动并运行的视频应用的窗口50位于第一个启动并运行的音乐应用的窗口40的上层。应理解,由于用户当前点击的是视频应用,所以视频应用的窗口50如果和音乐应用的窗口40有重叠区域,将视频应用的窗口50位于音乐应用的窗口40的上层显示,如果用户点击了音乐应用的窗口50,则音乐应用的窗口50再在视频应用的窗口50的上层显示。
示例性的,如图6中(a)图所示,该音乐应用的窗口40的显示紧靠手机窗口10的左边框处,且该音乐应用的窗口40位于PC 200的显示屏的上边框界和下边框的中部。该初始坐标的设置可以避免音乐应用的窗口40遮挡手机窗口10,方便用户继续使用手机窗口10中的应用程序。
还应理解,手机100确定了第二区域的信息,还可以获取第二区域的显示内容信息,用于PC 200在音乐应用的窗口40中显示手机100的音乐应用的界面内容,换言之,PC200可以根据第二区域的显示内容信息填充该第二区域,使得PC 200的显示屏的第二区域显示的内容为手机100的音乐应用的界面内容。
可选地,第二区域的信息还可以包括音乐应用的标识信息。具体地,该音乐应用的标识信息用于标识该窗口是针对音乐应用的窗口,PC 200和手机100都可以确定该窗口是音乐应用的窗口。当用户在PC 200上对该窗口执行操作时,PC 200可以确定是针对音乐应用的操作,从而实现后续将该操作准确地传递回手机100。应理解,手机100和PC 200也可以通过其他方式确定每一个窗口对应的应用,或者确定用户在该窗口执行的操作所对应的应用,进而准确地将提供服务。
可选地,第二区域的信息还包括显示层级信息。具体地,这里显示层级用于表示该音乐应用的窗口40在当前的显示方法中显示在PC 200的哪一层,例如用户当前运行的是音乐应用,音乐应用就为第一层显示,即在PC 200的显示屏的最上层显示。同理,当用户依次点击运行了手机100的音乐应用、视频应用、聊天应用时,PC 200显示屏的聊天应用的窗口为第一层显示,视频应用的窗口为第二层显示,音乐应用的窗口为第三层显示。此外,当用户又点击音乐应用的窗口,此时,音乐应用的窗口到最上层显示,本申请实施例不再赘述。
1004,手机100将音乐应用的标识信息、第二区域的信息和第二区域的显示内容信息,编码生成第二视频流。
应理解,步骤1005可以对应于图11中的(b)图所示的手机100执行的过程,该过程也为手机100内部编码视频流的过程,具体可以参照步骤805的过程,由手机100的多屏框架服务APK将确定的音乐应用的标识信息、第二区域的信息和第二区域的显示内容信息发送给MSDP服务APK,由MSDP服务APK将第二区域的信息和第二区域的显示内容信息编码成第二视频流。
1005,手机100向PC 200发送该第二视频流。
1006,PC 200接收并解码该第二视频流,获取音乐应用的标识信息、第二区域的信息和第二区域的显示内容信息。
1007,PC 200根据第二区域的信息和第二区域的显示内容信息,在对应的区域显示音乐应用的窗口40。
步骤10061007可以对应于图11中的(c)图所示的手机100执行的过程。通过以上步骤1001-1007的过程,PC 200的显示屏上就可以显示手机窗口10和音乐应用的窗口40。示例性的,如图6中的(a)图所示,PC 200可以在主界面402上显示手机窗口10和音乐应用的窗口40,该手机窗口10的显示内容可以是手机100的主界面,音乐应用的窗口40的显示内容可以是手机100的音乐应用的界面。
应理解,用户在手机100上启动并在前台运行了音乐应用,到执行完步骤1007之后,在PC 200上显示了音乐应用的窗口40。在用户启动并在前台运行了音乐应用到执行完步骤1007的过程中,即使用户在手机100上退出到主界面或者切换到其他应用,此时音乐应用为后台运行状态,并不会影响在PC 200上显示音乐应用的窗口40的进程。
在另一种可能的情况中,用户通过在手机100的主界面401点击音乐应用的图标,并播放音乐,如图4中的(a)和(b)图所示,PC 200上显示的手机窗口10可以显示为音乐应用的界面或者PC 200上可以显示音乐应用的窗口40。此时关于音乐音频的实际播放可以按照“谁开启谁播放”原则,具体地,用户在手机100上点击的音乐应用,则实际播放音乐音频的设备为手机100。
或者,用户通过点击PC 200的手机窗口10的音乐应用14播放音乐,如图6中的(a)图所示,且PC 200上显示音乐应用的窗口40,手机窗口10也可以显示为音乐应用的界面,此时实际播放音乐音频的设备为PC 200。
同理,在另一种可能的情况中,当用户正在通过手机100播放音乐,如图4中的(a)和(b)图所示,音乐应用运行时实际播放音乐音频的设备为手机100,如果用户又在PC 200的手机窗口10中点击视频应用15,并通过视频应用的窗口50播放视频,PC 200可以显示如图7中的(a)图所示界面402。此时,视频(包括音频和画面)的实际播放设备为PC 200。换言之,通过即使手机100通过视频流发送视频应用的窗口50中的视频内容信息,但是该视频内容信息被PC 200获取后,由PC 200的显示器、喇叭等播放设备进行播放,该视频应用对于手机100来说为后台运行状态,因此可以不影响原手机100的正在播放的音乐。
此外,如果运行音乐应用和视频应用的操作都是用户在PC 200的手机窗口10中完成,则播放音乐、播放视频的设备都为PC 200。此时音频的抢占原则可以参照现有技术的方案,例如后运行的视频应用的优先级较高,则自动暂停音乐的音频播放,本申请实施例对此不做限定。
应理解,以上介绍了PC 200显示2个窗口(手机窗口10和音乐应用的窗口40)的过程,按照上述介绍的方法,用户还可已运行给更多的手机100的应用,例如视频应用、聊天应用、办公软件应用等,PC 200上可以显示多个窗口,每个窗口对应不同的手机应用,此处不再赘述。
通过上述本申请实施例提供的显示多窗口的方法,对于相互通信的手机100和PC200,可以通过PC 200显示手机100的内容。当用户在手机100上运行多个应用时,在PC200上可以通过显示多个窗口,每个窗口用于显示不同的应用。其中,每个窗口都可以接收用户的操作,例如对窗口的关闭、移动、缩放、窗口最大化、窗口最小化等操作;且用户可以在PC 200上显示的每个手机应用对应的窗口中,执行对该手机应用的操作,例如用户在PC200的音乐应用的窗口中点击播放音乐、下一曲等控件,控制音乐的播放过程。此外,用户在PC 200上对手机应用的操作不影响用户对手机100的其他功能的使用,例如前述的用户使用手机100播放音乐,同时使用PC 200观看视频的场景。该方法可以提高文件共享等办公效率,提高了用户体验。
具体的实现过程中,借助于视频流的传输过程,手机100将运行的不同的应用的标识信息、PC 200上显示该应用的窗口的顶点坐标、长度、宽度等信息,通过编码形成视频流,例如将音乐应用的标识信息、PC 200上显示音乐应用的窗口40的顶点坐标、长度、宽度等信息,以及视频应用的标识信息、PC 200上显示视频应用的窗口50的顶点坐标、长度、宽度等信息,编码在一路视频流中,将该视频流发送给PC 200,PC 200收到视频流进行解码之后,分别将不同的信息进行区分,以准确地将音乐应用的界面内容显示在音乐应用的窗口40中,将视频应用的界面内容显示在视频应用的窗口50中。
应理解,该一路视频流是通过一条视频流传输通道发送的视频流。如果在视频传输通道满足传输条件的情况下,也可以多路编码,例如音乐应用的标识信息、PC 200上显示音乐应用的窗口40的顶点坐标、长度、宽度等信息为一路编码成一路视频流,通过一个视频流传输通道发送;视频应用的标识信息、PC 200上显示视频应用的窗口50的顶点坐标、长度、宽度等信息,编码成另一路视频流,通过另一个视频流传输通道发送。该方案相比于目前现有的视频流编码和传输过程,该一路编码的方法可以节省手机功耗,且不限制PC 200上显示的手机应用的窗口的数量。
应理解,前述各个实施例中介绍了手机100将第一窗口的位置信息和第一界面的显示内容信息发送给PC 200,由PC 200根据手机100备的指示显示第一窗口。可选地,手机100可以不获取PC 200的显示区域的尺寸信息,而仅发送手机100的第一界面的显示内容信息,由PC 200决定第一窗口的位置信息,并显示第一窗口。同理,第二窗口的显示也可以由PC 200决定。
通过上述方案,PC 200可以根据自身的应用使用情况、界面内容等决定第一窗口、第二窗口的显示位置,可以更好的适应PC 200的使用进程,降低对PC 200的使用影响,提高用户体验。以上结合图10和图11介绍了当PC 200的显示屏上已经显示了手机窗口10之后,用户可以在手机100的界面点击音乐应用,并可以在PC 200上显示音乐应用的窗口40。此外,用户可以在PC 200的手机窗口10点击音乐应用14,也可以在PC 200上显示音乐应用的窗口40。
图12是本申请实施例提供的又一例显示多窗口的方法的示意性流程图。如图12所示,该方法1200可以包括以下步骤:
1201,PC 200的显示屏上显示手机窗口10。
1202,PC 200接收用户的第二操作,确定第二操作的操作信息。
本申请实施例中以用户在PC 200的手机窗口10中点击并运行音乐应用14为例进行说明。应理解,该第二操作可以是作用于某个应用用于启动该应用的操作。本申请实施例中第一操作、第二操作可以是针对不同设备的不同操作。示例性的,对于PC 200,用户可以是通过鼠标、键盘等外设输入设备执行单击操作或者双击操作,运行该音乐应用;或者,如果PC 200为具有触摸屏的设备时,用户的可以通过触摸点击运行该音乐应用,本申请实施例对第二操作的操作类型不做限定。
可选地,该第二操作的操作信息包括针对手机窗口10中某个应用的操作事件,该第二操作的操作信息还可以包括音乐应用的名称、ID、图标等至少一种信息。
具体地,对于PC 200,第二操作是一个操作事件(“touch event”)。PC 200接收该“touch event”后,确定该“touch event”发生的音乐应用的名称、ID、图标和在PC上的坐标,即确定前述的第二操作的操作信息。
1203,PC 200向手机100发送该第二操作的操作信息。
1204,手机100根据接收的第二操作的操作信息,确定运行音乐应用。
PC 200将该“touch event”传递给手机100,由手机100的系统确定该“touchevent”,并将该“touch event”发送给对应的音乐应用,由手机100的音乐应用确定该“touch event”用于点击并运行音乐应用。应理解,对于手机100来说,运行音乐应用可以为前台运行,例如手机100的主界面401直接显示音乐应用的界面;或者运行音乐应用可以为后台运行,例如音乐应用的界面不在手机100的界面显示,仅为后台运行状态。
1205,在虚拟区域中,确定第二区域,并获取第二区域的显示内容信息。
1206,将音乐应用的标识、第二区域的信息和第二区域的显示内容信息,编码生成第二视频流。
1207,手机100向PC 200发送该第二视频流。
1208,PC 200接收并解码该第二视频流,获取音乐应用的标识信息、第二区域的信息和第二区域的显示内容信息。
1209,PC 200根据第二区域的信息和第二区域的显示内容信息,在对应的区域显示音乐应用的窗口40。
应理解,以上介绍的步骤1205-1209过程可以参考图10中的步骤1003-10007,以及图11介绍的手机100编码第二视频流并向PC 200发送该第二视频流,并在PC 200的显示屏上显示音乐应用的窗口40的过程,此处不再赘述。至此,PC 200上可以根据用户的操作运行手机100的音乐应用。
通过上述方法,PC 200不需要安装手机100的应用,可以通过不同的窗口显示手机100的不同应用,用户可以在PC 200上运行手机100的应用,并针对每一个应用显示一个窗口,PC 200可以同时显示多个窗口。
在另一种可能的实现方式中,当手机100和PC 200之间建立连接之后,如图5中(a)、(b)、(c)图所示的过程,PC 200的主界面402上可以显示手机应用窗口30,该手机应用窗口30可以包括手机100的所有应用。下面结合图13介绍该实现方式中的流程
图13是本申请实施例提供的又一例显示多窗口的方法的示意性流程图,如图13所示,该方法1300可以包括以下步骤:
1301,手机100向PC 200发送应用的信息。
1302,PC 200根据获取的应用的信息,显示手机100的所有应用。
应理解,在该种实现方式中,手机100和PC 200建立连接之后,手机100可以自动将图3中示出的应用程序层的所有应用的信息发送给PC 200。或者,如图4中(b)图所示,当用户点击菜单窗口20的“EMUJI桌面”菜单时,触发PC 200向手机100发送获取应用的请求,用于请求获取手机100的应用的信息。
还应理解,这里应用的信息可以包括该应用程序层的所有应用的名称、标识(identification,ID)、图标等信息。PC 200接收到应用的信息之后,根据每一个应用的名称、ID、图标在手机应用窗口30显示该应用,进而显示手机100的所有应用,显示可以如图5中(c)图所示。还应理解,应用的标识可以体现为包名,包名中包含字符串,PC 200根据该包名就可以确定时音乐应用。还应理解,PC 200通过在手机应用窗口30显示手机100的应用列表,该应用列表中的所有应用程序为安装在手机100的应用程序,PC200上可以不安装手机100的应用程序,仅通过手机应用窗口30显示手机100的应用列表的图标。
1303,PC 200接收用户的第三操作,确定第三操作的操作信息。
1304,PC 200向手机100发送该第三操作的操作信息。
具体地,用户可以通过鼠标、键盘等外设输入设备等,在PC的主界面402上的EMUJI桌面呈现的应用列表中,点击任意一个应用,响应于用户的点击操作,PC上可以自动弹出该被点击的应用的窗口,运行该应用。
应理解,该第三操作可以是用户对PC 200上某应用窗口中的某个控件的点击操作,用于执行该控件的功能。
可选地,该第三操作的操作信息还包括音乐应用的界面的某个控件的名称、ID、图标等至少一种信息。
可选地,该第三操作的操作信息可以包括第三操作的事件类型和该第三操作作用的功能控件的标识(identification,ID)信息。
示例性的,当用户在PC 200的音乐应用的窗口40上点击播放控件,PC 200可以将点击播放控件的“touch event”事件发送给手机100,例如该“touch event”发生的音乐应用的窗口40的坐标、音乐应用的窗口40的播放控件名称、ID、图标和在PC 200上的坐标等。PC 200将该“touch event”传递给手机100,由手机100的系统根据音乐应用的窗口40的坐标确定该“touch event”发生在音乐应用,并将该“touch event”发送给对应的音乐应用,由该音乐应用根据播放控件名称、ID、图标和在PC 200上的坐标等确定该“touch event”用于点击播放控件。应理解,该过程可以为手机100的后台运行过程。
还应理解,本申请实施例中第一操作、第二操作、第三操作可以是针对不同设备的不同操作。示例性的,以运行音乐应用为例,对于手机,用户可以通过触摸点击操作运行该音乐应用;对于PC,用户可以是通过鼠标、键盘等外设输入设备执行单击操作或者双击操作,运行该音乐应用;或者,如果PC为具有触摸屏的设备时,用户的可以通过触摸点击运行该音乐应用,本申请实施例对第一操作、第二操作、第三操作的操作类型不做限定。
1305,手机100的音乐应用根据该第三操作的操作信息确定操作结果,执行操作结果。
1306,手机100向PC 200发送操作结果。
1307,PC 200接收手机100发送的操作结果,并同步该操作结果。
可选地,步骤1306中手机100向PC 200发送操作结果的过程,可以对应于图9和图11中手机100创建虚拟区域,并向PC 200发送第一视频流的过程,换言之,发送该操作结果的过程可以也借助于视频流的发送过程。具体地,手机100执行了点击音乐播放控件的操作之后,再根据当前手机100运行(后台运行或者当前手机界面运行)的音乐应用,重新确定第一视频流,用于PC 200显示音乐应用的窗口40,即在PC 200的音乐应用的窗口40中,完成点击音乐播放控件的操作,如暂停音乐播放,PC 200上的音乐应用的窗口40中,音乐播放控件变化为暂停状态。
应理解,以上介绍了从PC 200侧将用户的操作回传到手机100,同理,用户也可以在手机100执行的操作直接传给PC 200,此处不再赘述。该操作回传的过程可以由手机100和PC 200的MSDP服务APK的反向控制模块来参与,并保证同步地在手机100和PC 200执行相应的操作。
通过上述方案,用户在PC 200显示的手机应用的窗口中,可以执行对该应用的任意控件的操作,该操作可以回传到手机100,并由手机100执行该操作的结果,并将执行的结果再传递给PC 200,使得PC 200上该应用的窗口中可以同步手机100执行的该操作的结果,提高了手机应用的使用效率和使用体验。
可以理解的是,手机和PC等电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的显示多窗口的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的显示多窗口的方法。
另外,本申请实施例的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的显示多窗口的方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请实施例各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种显示多窗口的方法,其特征在于,所述方法包括:
第一电子设备建立与第二电子设备的连接;
所述第一电子设备接收所述第二电子设备发送的第一界面信息;
所述第一电子设备显示第一窗口,根据所述第一界面信息在所述第一窗口显示第一界面,所述第一界面包括第一应用的应用图标;
所述第一电子设备接收对所述第一应用的应用图标的第一操作;
响应于所述第一操作,所述第一电子设备向所述第二电子设备发送第一操作指令,所述第一操作指令用于令所述第二电子设备启动所述第一应用;所述第一电子设备接收所述第二电子设备发送的所述第一应用的第二界面信息;
所述第一电子设备显示第二窗口,根据所述第二界面信息在所述第二窗口显示第二界面。
2.根据权利要求1所述的方法,其特征在于,所述第一电子设备在接收第二界面信息之后,显示所述第二窗口之前,所述方法还包括:
根据所述第二界面信息,所述第一电子设备在所述第一窗口显示所述第二界面;
所述第一电子设备接收第二操作;
所述第一电子设备显示第二窗口,根据所述第二界面信息在所述第二窗口显示第二界面包括:
响应于所述第二操作,在所述第一窗口显示所述第一界面,显示所述第二窗口,根据所述第二界面信息在所述第二窗口显示所述第二界面。
3.根据权利要求2所述的方法,其特征在于,当所述第一电子设备在所述第一窗口显示所述第二界面时,所述电子设备在所述第一窗口不显示所述第一界面。
4.根据权利要求1所述的方法,其特征在于,所述第一窗口和所述第二窗口的尺寸大小相同或不同。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一应用为视频应用,所述第二界面为视频播放界面,则所述第二窗口的宽度大于所述第二窗口的高度。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述第一窗口还包括第一菜单栏,所述第二窗口还包括第二菜单栏。
7.根据权利要求6所述的方法,其特征在于,所述第二菜单栏包括最大化按钮,所述第一电子设备显示第二窗口之后,所述方法还包括:
所述第一电子设备接收对所述最大化按钮的第三操作;
响应于所述第三操作,所述第一电子设备全屏显示所述第二窗口。
8.根据权利要求6所述的方法,其特征在于,所述第二菜单栏包括关闭按钮,在所述第一电子设备显示第二窗口之后,所述方法还包括:
所述第一电子设备接收对所述关闭按钮的第四操作;
响应于所述第四操作,所述第一电子设备关闭所述第二窗口,向所述第二电子设备发送第二操作指令,所述第二操作指令用于令所述第二电子设备关闭所述第一应用。
9.根据权利要求6所述的方法,其特征在于,所述第二菜单栏包括隐藏按钮,所述第一电子设备显示第二窗口之后,所述方法还包括:
所述第一电子设备接收对所述第二窗口的隐藏按钮的第五操作;
响应于所述第五操作,所述第一电子设备不再显示所述第二窗口。
10.根据权利要求1-4任一项所述的方法,其特征在于,所述第一界面为所述第二电子设备正在显示的界面,或者所述第二界面为所述第二电子设备正在显示的界面。
11.根据权利要求1-4任一项所述的方法,其特征在于,所述第一窗口和所述第二窗口的显示区域的尺寸为所述第二电子设备的显示区域的N倍,所述N大于0。
12.根据权利要求1-4任一项所述的方法,其特征在于,所述第一电子设备显示第二窗口包括:
所述第一电子设备在最上层显示所述第二窗口。
13.根据权利要求12所述的方法,其特征在于,所述第一电子设备显示第二窗口之后,所述方法还包括:
所述第一电子设备接收用户选中所述第一窗口的第六操作;
响应于所述第六操作,所述第一电子设备将所述第一窗口切换至最上层显示。
14.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备接收用户移动所述第一窗口的第七操作;响应于所述第七操作,所述第一电子设备改变所述第一窗口的显示位置;和/或
所述第一电子设备接收用户移动所述第二窗口的第七操作;响应于所述第七操作,所述第一电子设备改变所述第二窗口的显示位置。
15.根据权利要求1-6任一项所述的方法,其特征在于,所述第一电子设备和所述二电子设备通过Wi-Fi建立连接,通过蓝牙建立连接,或者通过扫码建立连接。
16.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,当所述一个或者多个程序被所述处理器执行时,使得所述电子设备执行如权利要求1至15中任一项所述的显示多窗口的方法。
17.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述第一电子设备执行如权利要求1至15中任一项所述的显示多窗口的方法。
CN202211341877.8A 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统 Pending CN115793916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211341877.8A CN115793916A (zh) 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211341877.8A CN115793916A (zh) 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统
CN201911366233.2A CN113050841A (zh) 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911366233.2A Division CN113050841A (zh) 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统

Publications (1)

Publication Number Publication Date
CN115793916A true CN115793916A (zh) 2023-03-14

Family

ID=76505339

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211341877.8A Pending CN115793916A (zh) 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统
CN201911366233.2A Pending CN113050841A (zh) 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911366233.2A Pending CN113050841A (zh) 2019-12-26 2019-12-26 显示多窗口的方法、电子设备和系统

Country Status (5)

Country Link
US (1) US20220398059A1 (zh)
EP (1) EP4040277A4 (zh)
JP (1) JP2023503679A (zh)
CN (2) CN115793916A (zh)
WO (1) WO2021129253A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022099487A (ja) * 2020-12-23 2022-07-05 セイコーエプソン株式会社 画像表示システム、画像表示システムの制御方法、及び、表示装置の制御方法
CN115543163A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 一种投屏显示方法及电子设备
CN113391782A (zh) * 2021-06-30 2021-09-14 深圳市斯博科技有限公司 计算机控制移动终端的方法、系统、电子设备及存储介质
CN115617427A (zh) * 2021-07-13 2023-01-17 华为技术有限公司 应用的跨平台显示方法、可读介质和电子设备
CN115835409A (zh) * 2021-09-17 2023-03-21 荣耀终端有限公司 协同窗口处理方法、系统及电子设备
CN116069224A (zh) * 2021-10-29 2023-05-05 华为终端有限公司 输入控制方法及电子设备
US20230393890A1 (en) * 2022-06-03 2023-12-07 Snap Inc. Auto-recovery for ar wearable devices
CN115146192B (zh) * 2022-09-02 2023-01-24 荣耀终端有限公司 内容接续方法和相关装置
CN117873735A (zh) * 2024-03-11 2024-04-12 湖南马栏山视频先进技术研究院有限公司 一种虚拟化环境下gpu调度系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173793A1 (zh) * 2016-04-06 2017-10-12 乐视控股(北京)有限公司 一种视频投屏方法及装置
CN110086938A (zh) * 2019-04-29 2019-08-02 百度在线网络技术(北京)有限公司 投屏显示的控制方法、系统、电子设备及计算机可读介质
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置
CN110515576A (zh) * 2019-07-08 2019-11-29 华为技术有限公司 显示控制方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2605611B1 (en) * 2010-08-13 2020-12-23 LG Electronics Inc. Mobile/portable terminal device for displaying and method for controlling same
US20160054757A1 (en) * 2012-02-29 2016-02-25 Z124 Unified desktop docking flow
KR101198271B1 (ko) * 2012-01-10 2012-11-07 알서포트 주식회사 컴퓨터를 통한 터치스크린식 이동통신단말기의 제어에 있어서 컴퓨터 및 피제어 이동통신단말기의 화면상태 관리방법
KR101952682B1 (ko) * 2012-04-23 2019-02-27 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN103677711B (zh) * 2012-09-10 2018-07-20 三星电子株式会社 连接移动终端和外部显示器的方法和实现该方法的装置
KR102043049B1 (ko) * 2013-04-01 2019-11-11 삼성전자 주식회사 앱 운용 방법 및 앱 운용 장치와, 이를 지원하는 앱 출력 장치
JP2015012512A (ja) * 2013-06-28 2015-01-19 株式会社東芝 情報処理装置および情報処理方法
KR102144553B1 (ko) * 2013-08-30 2020-08-13 삼성전자주식회사 다중 디스플레이 방법, 저장 매체 및 전자 장치
CN104376090B (zh) * 2014-11-20 2017-11-07 北京安奇智联科技有限公司 计算设备的浏览器与移动终端的屏幕同步
KR101594105B1 (ko) * 2015-03-06 2016-02-16 주식회사 와이젯 사용자 장치 간에 여러 화면을 분배하고 입력 인터페이스를 공유하는 멀티 스크린 구현 방법 및 장치
US11360997B2 (en) * 2015-12-21 2022-06-14 Sap Se Data synchronization error resolution based on UI manipulation actions
KR102597036B1 (ko) * 2016-10-11 2023-11-02 삼성전자주식회사 듀얼 디스플레이를 가지는 전자 장치 및 이의 운용 방법
KR102661703B1 (ko) * 2016-12-23 2024-04-29 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10796412B2 (en) * 2017-07-07 2020-10-06 Intelligent Waves Llc System, method and computer program product for remoting orientation changes
US20190296930A1 (en) * 2018-03-20 2019-09-26 Essential Products, Inc. Remote control of an assistant device using an adaptable user interface
KR20210016936A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 데이터 공유 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173793A1 (zh) * 2016-04-06 2017-10-12 乐视控股(北京)有限公司 一种视频投屏方法及装置
CN110086938A (zh) * 2019-04-29 2019-08-02 百度在线网络技术(北京)有限公司 投屏显示的控制方法、系统、电子设备及计算机可读介质
CN110515576A (zh) * 2019-07-08 2019-11-29 华为技术有限公司 显示控制方法及装置
CN110471639A (zh) * 2019-07-23 2019-11-19 华为技术有限公司 显示方法及相关装置

Also Published As

Publication number Publication date
EP4040277A1 (en) 2022-08-10
JP2023503679A (ja) 2023-01-31
WO2021129253A1 (zh) 2021-07-01
US20220398059A1 (en) 2022-12-15
EP4040277A4 (en) 2022-12-21
CN113050841A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN115793916A (zh) 显示多窗口的方法、电子设备和系统
WO2021227770A1 (zh) 应用窗口显示方法和电子设备
US20220342850A1 (en) Data transmission method and related device
WO2022100305A1 (zh) 画面跨设备显示方法与装置、电子设备
CN112558825A (zh) 一种信息处理方法及电子设备
WO2022100237A1 (zh) 投屏显示方法及相关产品
WO2021121052A1 (zh) 一种多屏协同方法、系统及电子设备
CN115486087A (zh) 多窗口投屏场景下的应用界面显示方法及电子设备
CN114237779A (zh) 一种显示窗口的方法、切换窗口的方法、电子设备和系统
CN112527174B (zh) 一种信息处理方法及电子设备
WO2022083296A1 (zh) 一种显示方法及电子设备
WO2022105445A1 (zh) 基于浏览器的应用投屏方法及相关装置
WO2022052662A1 (zh) 显示方法及电子设备
CN114040242A (zh) 投屏方法和电子设备
CN113961157A (zh) 显示交互系统、显示方法及设备
CN114489529A (zh) 电子设备的投屏方法及其介质和电子设备
CN114442969A (zh) 一种设备间屏幕协同方法及设备
WO2022088974A1 (zh) 一种遥控方法、电子设备及系统
US20230236714A1 (en) Cross-Device Desktop Management Method, First Electronic Device, and Second Electronic Device
CN115016697A (zh) 投屏方法、计算机设备、可读存储介质和程序产品
CN114356195B (zh) 一种文件传输的方法及相关设备
CN115480670A (zh) 一种导航栏显示方法、显示方法与第一电子设备
US20230362782A1 (en) Data Sharing Method, Electronic Device, and System
CN115113832A (zh) 一种跨设备同步显示的控制方法及系统
WO2023217142A1 (zh) 窗口尺寸调整方法、相关装置及通信系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination