CN110673782B - 一种应用于投屏场景的控制方法以及相关设备 - Google Patents

一种应用于投屏场景的控制方法以及相关设备 Download PDF

Info

Publication number
CN110673782B
CN110673782B CN201910809113.9A CN201910809113A CN110673782B CN 110673782 B CN110673782 B CN 110673782B CN 201910809113 A CN201910809113 A CN 201910809113A CN 110673782 B CN110673782 B CN 110673782B
Authority
CN
China
Prior art keywords
mobile phone
navigation
screen
key
navigation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910809113.9A
Other languages
English (en)
Other versions
CN110673782A (zh
Inventor
谷贺瑾
牛思月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN201910809113.9A priority Critical patent/CN110673782B/zh
Priority to CN202210824567.5A priority patent/CN115357178B/zh
Priority to CN202211459307.9A priority patent/CN115793950A/zh
Publication of CN110673782A publication Critical patent/CN110673782A/zh
Priority to EP20858332.8A priority patent/EP4016272A4/en
Priority to MX2022002472A priority patent/MX2022002472A/es
Priority to US17/638,567 priority patent/US11809704B2/en
Priority to PCT/CN2020/103440 priority patent/WO2021036594A1/zh
Application granted granted Critical
Publication of CN110673782B publication Critical patent/CN110673782B/zh
Priority to US18/473,483 priority patent/US20240012562A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

一种应用于投屏场景的控制方法包括：接收手机发送的第一屏幕内容和目标导航功能标识；根据目标导航功能标识生成包括投屏区域和导航栏的协同窗口，导航栏包括三个虚拟导航按键，在投屏区域显示第一屏幕内容；接收作用于虚拟导航按键上的键鼠操作；根据键鼠操作生成按键指令，将按键指令发送给手机，使得手机根据按键指令执行导航功能，手机通过导航功能可以将第一屏幕内容调整为第二屏幕内容；显示设备接收手机发送的第二屏幕内容，在投屏区域显示第二屏幕内容。本申请还提供一种能实现以上控制方法的相关设备。

Description

一种应用于投屏场景的控制方法以及相关设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种应用于投屏场景的控制方法以及相关设备。
背景技术
随着计算机技术的发展，不同类型的设备(例如使用不同操作系统的设备)之间可以进行投屏，这样可以实现屏幕共享。
以包括手机和电脑的投屏场景为例，当手机投屏到电脑时，电脑可以呈现一个协同窗口。在协同窗口内可以显示手机屏幕内容，即在电脑上呈现手机镜像。用户在电脑的协同窗口中使用键鼠操作，可以控制手机。
但是，手机通常采用触摸屏作为输入设备，电脑采用键盘和鼠标作为输入设备。通过鼠标或键盘模拟触摸操作存在不足，影响用户通过电脑控制手机的体验。
发明内容
本申请提供一种应用于投屏场景的控制方法以及相关设备，在投屏场景下使用键鼠操作实现功能，以替代键鼠操作难以模拟实现的功能，提高用户的操作体验。
第一方面，本申请提供一种应用于投屏场景的控制方法。投屏场景可以包括手机和显示设备。当手机与显示设备建立连接之后，显示设备接收手机发送的第一屏幕内容和目标导航功能标识；根据目标导航功能标识生成包括投屏区域和导航栏的协同窗口，在投屏区域显示第一屏幕内容；接收作用于在导航栏上虚拟导航按键上的键鼠操作；根据键鼠操作生成按键指令，将按键指令发送给手机，使得手机根据按键指令执行导航功能，手机通过导航功能可以将第一屏幕内容调整为第二屏幕内容；显示设备接收手机发送的第二屏幕内容，在投屏区域显示第二屏幕内容。
其中，第一屏幕内容是指在手机与显示设备建立连接时在手机的屏幕上显示的内容。目标导航功能包括除了三键导航功能之外的手机导航功能。导航栏包括三个虚拟导航按键，三个虚拟导航按键分别对应不同的导航功能，例如三个虚拟导航按键分别为菜单键、桌面键和返回键，菜单键用于进入任务菜单，桌面键用于回到桌面，返回键用于返回上一级。可以理解的是，以上示出的功能是常用的导航功能，在实际应用中还可以将三个虚拟导航按键的功能设置为其他类型的导航功能，本申请不作限定。
本申请中，在手机使用除了三键导航方式之外的其他导航方式的情况下，显示设备在协同窗口设置导航栏，用户通过导航栏中的三个虚拟导航键能够对手机执行系统导航功能，使得手机屏幕内容和协同窗口内容能够同步更新，从而减少了用户使用其他导航方式控制手机时容易发生误触的问题，由此改善了用户使用显示设备控制手机的体验。
在一种可能的实现方式中，当前导航功能包括手势导航功能和/或屏幕外物理导航功能，屏幕外物理导航功能由一个物理按键实现。
在另一种可能的实现方式中，上述方法还包括：当协同窗口的模式为最大化窗口模式且指针位置不处于第一目标区域时，隐藏导航栏，第一目标区域是在投屏区域的边缘区域中与导航栏对应的部分；当协同窗口的模式为最大化窗口模式且指针位置处于第一目标区域时，在第一目标区域显示导航栏。
在另一种可能的实现方式中，协同窗口还包括标题栏；当协同窗口的模式为最大化窗口模式且指针位置不处于第二目标区域时，隐藏标题栏，第二目标区域是在投屏区域的边缘区域中与标题栏对应的部分；当协同窗口的模式为最大化窗口模式且指针位置处于第二目标区域时，在第二目标区域显示标题栏。
在另一种可能的实现方式中，当协同窗口为竖屏窗口时，导航栏位于投屏区域的下方或上方，导航栏与投屏区域相邻；当协同窗口为横屏窗口时，导航栏位于投屏区域的右侧或左侧，导航栏与投屏区域相邻。
在另一种可能的实现方式中，上述方法还包括：在协同窗口中禁用键鼠操作模拟与目标导航功能标识对应的导航功能。
第二方面，本申请提供一种应用于投屏场景的控制方法。该方法包括：向显示设备发送第一屏幕内容和目标导航功能标识；接收显示设备发送的按键指令；根据预设对应关系执行与按键指令对应的导航功能，导航功能用于将第一屏幕内容调整为第二屏幕内容；手机将第二屏幕内容发送给显示设备，使得显示设备在协同窗口的投屏区域显示第二屏幕内容。
其中，按键指令是显示设备根据键鼠操作生成的。目标导航功能标识用于标识在手机上除了三键导航功能之外的当前导航功能。在一种可能的实现方式中，当前导航功能包括手势导航功能和/或屏幕外物理导航功能，屏幕外物理导航功能由一个物理按键实现。
第三方面，本申请提供一种显示装置，其具有的功能可以实现第一方面或任意一种实现方式中的控制方法。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面，本申请提供一种手机，其具有的功能可以实现第二方面或任意一种实现方式中的控制方法。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，本申请提供一种投屏系统。该投屏系统包括如第三方面或其中任意一种实现方式提供的显示设备，和第四方面或其中任意一种实现方式提供的手机。
第六方面，本申请提供一种计算机可读存储介质，其存储有指令，当指令在计算机上运行时，使得计算机执行第一方面或第二方面的方法。
第七方面，本申请提供一种计算机程序产品，该计算机程序产品在计算机上运行时，使得计算机执行第一方面或第二方面的方法。
附图说明
图1为本申请中投屏场景的一个示意图；
图2为本申请中应用于投屏场景的控制方法的一个信令交互图；
图3A为本申请中协同窗口的一个示意图；
图3B为本申请中协同窗口为最大化竖屏窗口的一个示意图；
图3C为本申请中协同窗口为最大化横屏窗口的一个示意图；
图3D为本申请中协同窗口为最大化横屏窗口的另一个示意图；
图3E为本申请中协同窗口的另一个示意图；
图3F为本申请中协同窗口的另一个示意图；
图4为本申请中显示设备的一个结构示意图；
图5为本申请中手机的一个结构示意图；
图6为本申请中投屏系统的一个示意图；
图7为本申请中显示设备的另一个结构示意图；
图8为本申请中手机的另一个结构示意图。
具体实施方式
本申请涉及一种应用于投屏场景的控制方法。
图1为投屏场景的一个示意图。投屏场景包括手机10和显示设备20。手机10和显示设备20可以通过无线链路30连接。手机10和显示设备20也可以有线连接，例如数据线。在手机10和显示设备20建立连接之后，显示设备20可以根据手机10的屏幕显示内容生成协同窗口40。用户在协同窗口40的操作，可以同步更新手机10的屏幕内容和协同窗口40的内容。
显示设备20是指通过键盘和/或鼠标执行输入操作并且具有显示器的计算设备，例如台式电脑、笔记本电脑等。手机10也称为移动电话。在手机上的系统导航功能也称为系统导航方式。系统导航功能包括手势导航、屏幕外物理导航和三键导航等。
显示设备20以电脑为例，当手机10投屏到电脑之后，在手机10上使用手势导航的情况下，用户通过键鼠操作在电脑上难以准确模拟手机导航操作。例如，从手机屏幕的左下端向上滑动，则返回桌面。从手机屏幕的左下端向上滑动并停留一段时间，则进入任务菜单。从手机屏幕的最左侧向右滑动，则返回上一级。这样，用户在电脑上使用键鼠操作移动时，很容易错误启动导航功能。例如，用户想要进入任务菜单，将鼠标指针从协同窗口的左下端向上滑动时错误启动了返回桌面的功能。
或者，在手机10上使用屏幕外物理导航的情况下，按压物理按键一次，表示返回上一级，快速按压物理按键两次，表示返回桌面。在电脑上通过键鼠操作容易引发误触，例如用户想要启动返回桌面功能时，点击三次启动了返回上一级的导航功能。
以上可以看出，在手机使用手势导航，或者屏幕外物理导航的情况下，用户通过键鼠操作模拟上述导航方式时容易引发误触，由此难以准确控制手机进行系统导航，导致用户操作体验不佳。
对于上述场景下存在的问题，本申请通过在电脑上提供三键导航虚拟按键来代替手势导航操作，这样对导航栏的三个虚拟导航按键执行键鼠操作，能够减少误触导航功能的情况，具有更好的准确性，从而提高用户通过其他设备控制手机的操作体验。
下面对上述投屏场景下的控制方法进行介绍。参阅图2，本申请提供的控制方法的一个实施例包括：
步骤201、显示设备接收手机发送的第一屏幕内容和目标导航功能标识。
本实施例中，手机可以将目标导航功能标识发送给显示设备。目标导航功能标识用于标识除了三键导航功能之外的当前导航功能。具体的，目标导航功能标识可以是用于标识当前导航功能的字符串，或者数字编号。在实际应用中，目标导航功能标识还可以通过其他方式进行表示，例如图片、符号、文字等等。当手机发送目标导航功能标识时，可以将目标导航功能标识携带于一个消息中。
当前导航功能包括但不限于：手势导航功能和/或屏幕外物理导航功能，屏幕外物理导航功能由一个物理按键实现。三键导航功能是指屏幕内三键导航功能或者屏幕外三键导航功能。
可选的，显示设备向手机发送查询指令，手机根据查询指令获取目标导航功能标识，然后将目标导航功能标识发送给显示设备。
需要说明的是，显示设备接收手机发送的第一屏幕内容和目标导航功能标识可以一起执行，也可以分开执行。
步骤202、显示设备根据目标导航功能标识生成包括投屏区域和导航栏的协同窗口，在投屏区域显示第一屏幕内容。
当显示设备收到手机发送的目标导航功能标识时，显示设备可以确定目标导航功能标识对应的当前导航功能不是三键导航功能，即表明在电脑上通过键鼠操作模拟在手机上正在使用的导航功能可能引发误触。可选的，手机可以将全部导航功能的使用状态发送给显示设备，显示设备根据各导航功能的使用状态也可以确定手机上正在使用的导航功能。
投屏区域用于根据手机屏幕的内容进行显示。
导航栏包括三个虚拟导航按键。三个虚拟导航按键分别对应不同的导航功能，例如三个虚拟导航按键分别为菜单键、桌面键和返回键。菜单键用于进入任务菜单，桌面键用于回到桌面，返回键用于返回上一级。可以理解的是，以上示出的功能是常用的导航功能，在实际应用中还可以将三个虚拟导航按键的功能设置为其他类型的导航功能，本申请不作限定。
需要说明的是，显示设备在协同窗口中配置投屏区域和导航栏可以在一起执行，也可以分开执行。例如，当显示设备收到手机发送的第一屏幕内容时，显示设备在协同窗口中生成投屏区域。当显示设备收到目标导航功能标识时，显示设备在协同窗口中生成导航栏。
步骤203、显示设备接收作用于虚拟导航按键上的键鼠操作。
键鼠操作是指使用键盘输入的操作，和/或，使用鼠标输入的操作。例如，当鼠标指针选中虚拟按键时，单击虚拟导航按键。键鼠操作不限于以上举例。
步骤204、显示设备根据键鼠操作生成按键指令。
对虚拟导航按键执行键鼠操作时，显示设备可以生成与虚拟导航按键对应的按键指令。例如，若虚拟导航按键为菜单键，则生成与菜单键对应的按键指令。若虚拟导航按键为桌面键，则生成与桌面键对应的按键指令。若虚拟导航按键为返回键，则生成与返回键对应的按键指令。
步骤205、显示设备将按键指令发送给手机。
步骤206、手机根据预设对应关系执行与按键指令对应的导航功能，将第一屏幕内容调整为第二屏幕内容。
预设对应关系是指来自显示设备的按键指令与手机导航功能之间的对应关系。当按键指令与菜单键对应时，在手机上执行导航功能为进入任务菜单。当按键指令与桌面键对应时，在手机上执行导航功能为回到桌面。当按键指令与返回键对应时，在手机上执行导航功能为返回上一级。可以理解，电脑上的虚拟导航按键的功能与手机的系统导航功能是一一对应的。
步骤207、显示设备接收手机发送的第二屏幕内容。
步骤208、显示设备在投屏区域显示第二屏幕内容。
本实施例中，在手机使用除了三键导航功能之外的其他导航功能的情况下，显示设备在协同窗口设置导航栏，用户通过导航栏中的三个虚拟导航键对手机执行系统导航功能，使得手机屏幕内容和协同窗口内容能够同步更新，从而减少了用户使用其他导航方式控制手机时容易发生误触的问题，由此改善了用户使用显示设备控制手机的体验。
参阅图3A，本申请的协同窗口40可以包括投屏区域301、导航栏302和标题栏303。导航栏302和标题栏303根据实际需要可以隐藏。
导航栏302包括三个虚拟导航按键，分别为第一虚拟导航按键3021、第二虚拟导航按键3022和第三虚拟导航按键3023。可选的，第一虚拟导航按键3021、第二虚拟导航按键3022和第三虚拟导航按键3023分别为：返回键、桌面键和菜单键。虚拟导航按键的功能和虚拟导航按键之间的顺序可以根据实际需要进行调整。
导航栏302可以设置在投屏区域301之外，也可以设置在投屏区域301之内。可选的，当协同窗口40为最大化窗口时，导航栏302设置在投屏区域301之内；当协同窗口40不是最大化窗口时，导航栏302设置在投屏区域301之外。
标题栏303包括最小化窗口按钮、最大化窗口按钮和关闭窗口按钮。另外，标题栏303还可以包括窗口名称、方向锁定按钮等，在此不作限定。
下面对协同窗口40为最大化窗口且导航栏302设置在投屏区域301之内进行介绍：
在另一个可选实施例中，当协同窗口40的模式为最大化窗口模式且指针位置不处于第一目标区域时，隐藏导航栏302，第一目标区域是在投屏区域301的边缘区域中与导航栏302对应的部分；当协同窗口40的模式为最大化窗口模式且指针位置处于第一目标区域时，在第一目标区域显示导航栏302。
其中，第一目标区域具体可以是投屏区域301的上侧边缘区域、下侧边缘区域、左侧边缘区域或右侧边缘区域中的一个或组合，也可以是以上任意一个边缘区域的部分，本申请不作限定。
参阅图3B，一种情况下，协同窗口40为最大化的竖屏窗口，第一目标区域为投屏区域301的下侧边缘。当指针处于投屏区域301的下侧边缘时，在投屏区域301的下侧边缘显示导航栏302。当指针不处于投屏区域301的下侧边缘时，隐藏导航栏302。隐藏导航栏302方式可以是但不限于：导航栏302从投屏区域301的下侧边缘向下移出消失，或者导航栏302直接消失。
参阅图3C，在另一种情况下，协同窗口40为最大化的横屏窗口，第一目标区域为投屏区域301的右侧边缘。在协同窗口40为最大化的横屏窗口的情况下，投屏区域301可以为全屏区域。当指针处于投屏区域301的右侧边缘时，在投屏区域301的右侧边缘显示导航栏302。当指针不处于投屏区域301的右侧边缘时，隐藏导航栏302。隐藏导航栏302方式可以是但不限于：导航栏302从投屏区域301的右侧边缘向右移出消失，或者导航栏302直接消失。
当导航栏302在投屏区域301之内的第一目标区域内显示时，导航栏302会遮挡一部分投屏区域301的显示内容。导航栏302的背景可以设置为透明，这样减少对投屏区域301的遮挡。
当协同窗口40的模式为最大化窗口模式且指针位置不处于第一目标区域时，隐藏导航栏302可以全屏显示手机屏幕内容。这样提供了一种在电脑上全屏显示手机屏幕内容的方式，能够提高用户观看投屏的体验。并且提供了一种可隐藏或展开的导航栏，当用户想要进行系统导航时，能够快速唤出导航栏，具有方便快捷的优点。
参阅图3D，在另一个可选实施例中，上述方法还包括：当协同窗口40的模式为最大化窗口模式且指针位置不处于第二目标区域时，隐藏标题栏303，第二目标区域是在投屏区域301的边缘区域中与标题栏303对应的部分；当协同窗口40的模式为最大化窗口模式且指针位置处于第二目标区域时，在第二目标区域显示标题栏303。
本实施例中，协同窗口40还包括标题栏303。一种情况下，协同窗口40为最大化的竖屏窗口。另一种情况下，协同窗口40为最大化的横屏窗口，此时投屏区域301为全屏区域。第二目标区域具体可以是投屏区域301的上侧边缘区域、下侧边缘区域、左侧边缘区域或右侧边缘区域中的一个或组合，也可以是以上任意一个边缘区域的部分，本申请不作限定。可以理解的是，第二目标区域与第一目标区域通常设置为两个独立的区域。
当协同窗口40的模式为最大化窗口模式且指针位置不处于第二目标区域时，隐藏标题栏303可以全屏显示手机屏幕内容。这样提供了一种在电脑上全屏显示手机屏幕内容的方式，能够提高用户观看投屏的体验。当用户想要进行查看标题栏303或者调整协同窗口40时，能够快速唤出标题栏303，具有方便快捷的优点。
下面对导航栏302设置在投屏区域301之外的情况进行介绍：
参阅图3E，在另一个可选实施例中，当协同窗口40为竖屏窗口时，导航栏302位于投屏区域301的下方，导航栏302与投屏区域301相邻。这样设置符合用户在竖屏模式下使用三键导航功能的习惯，能够提高用户体验。当协同窗口40为竖屏窗口时，导航栏302还可以设置在投屏区域301的其他方位，例如投屏区域301的上方。
参阅图3F，在另一个可选实施例中，当协同窗口40为横屏窗口时，导航栏302位于投屏区域301的右侧，导航栏302与投屏区域301相邻。这样设置符合用户在横屏模式下使用三键导航功能的习惯，能够提高用户体验。当协同窗口40为横屏窗口时，导航栏302还可以设置在投屏区域301的其他方位，例如投屏区域301的左侧。
需要说明的是，对协同窗口40进行缩放操作时，显示设备根据缩放操作可以按照相同的比例将投屏区域301和导航栏302进行缩放。
在本申请的协同窗口40中，显示设备可以同时启用多种导航功能，也可以只启用一种导航功能且禁止其他导航功能。
在一个可选实施例中，在协同窗口中的每个导航功能可以通过多种类型的键鼠操作实现。
例如，对于返回桌面的导航功能通过两种键鼠操作实现。一种键鼠操作是单击桌面键，该桌面键为虚拟导航按键。另一种键鼠操作是从协同窗口的左下端向上滑动。依此类推，可以根据实际情况设置用于实现其他导航功能的键鼠操作。
当显示设备启用多种导航功能时，用户可以根据需求选择键鼠操作实现导航功能，提供了实施的灵活性。
在另一个可选实施例中，上述方法还包括：在协同窗口中禁用键鼠操作模拟与目标导航功能标识对应的导航功能。
本实施例中，当手机采用手势导航或屏幕外物理导航时，显示设备可以在协同窗口中禁用键鼠操作模拟上述导航功能。显示设备仅提供三键导航功能，这样在协同窗口中能够避免使用键鼠操作模拟手势导航或模拟屏幕外物理导航引发的误触。
在另一个可选实施例中，上述方法还包括：显示设备根据目标导航功能标识向手机发送修改导航功能指令，手机根据该修改导航功能指令将当前导航功能修改为屏幕内三键导航功能。本实施例中，当手机使用其他导航功能的情况下，将手机的导航功能修改为屏幕内三键导航功能。在投屏时，手机和显示设备上都显示屏幕内三键导航栏，在显示设备上通过屏幕内三键导航栏可以对手机进行控制。
需要说明的是，除了手机之外，上述控制方法还可以应用于其他通过手势导航或者屏幕外物理导航的电子设备。
以上对本申请的控制方法进行了介绍，下面对本申请用于实现以上控制方法的相关装置进行介绍。参阅图4，本申请提供的显示装置的一个实施例包括：
接收模块401，用于接收手机发送的第一屏幕内容和目标导航功能标识，目标导航功能标识用于标识在手机上除了三键导航功能之外的当前导航功能；
显示模块402，用于根据目标导航功能标识生成包括投屏区域和导航栏的协同窗口，导航栏包括三个虚拟导航按键；在投屏区域显示第一屏幕内容；
输入模块403，用于接收作用于虚拟导航按键上的键鼠操作；
处理模块404，用于根据键鼠操作生成按键指令；
发送模块405，用于将按键指令发送给手机，使得手机根据按键指令执行导航功能，导航功能用于将第一屏幕内容调整为第二屏幕内容；
接收模块401，还用于接收手机发送的第二屏幕内容；
显示模块402，还用于在协同窗口显示第二屏幕内容。
在一个可选实施例中，当前导航功能包括手势导航功能和/或屏幕外物理导航功能，屏幕外物理导航功能由一个物理按键实现。
在另一个可选实施例中，
显示模块402，还用于当协同窗口的模式为最大化窗口模式且指针位置不处于第一目标区域时，隐藏导航栏，第一目标区域是在投屏区域的边缘区域中与导航栏对应的部分；当协同窗口的模式为最大化窗口模式且指针位置处于第一目标区域时，在第一目标区域显示导航栏。
在另一个可选实施例中，协同窗口还包括标题栏；
显示模块402，还用于当协同窗口的模式为最大化窗口模式且指针位置不处于第二目标区域时，隐藏标题栏，第二目标区域是在投屏区域的边缘区域中与标题栏对应的部分；当协同窗口的模式为最大化窗口模式且指针位置处于第二目标区域时，在第二目标区域显示标题栏。
在另一个可选实施例中，处理模块404，还用于在协同窗口中禁用键鼠操作模拟与目标导航功能标识对应的导航功能。
参阅图5，本申请提供的手机的一个实施例包括：
发送模块501，用于向显示设备发送第一屏幕内容和目标导航功能标识，目标导航功能标识用于标识在手机上除了三键导航功能之外的当前导航功能；
接收模块502，用于接收显示设备发送的按键指令，按键指令是显示设备根据键鼠操作生成的；
处理模块503，用于根据预设对应关系执行与按键指令对应的导航功能，导航功能用于将第一屏幕内容调整为第二屏幕内容；
发送模块501，还用于将第二屏幕内容发送给显示设备，使得显示设备在协同窗口的投屏区域中显示第二屏幕内容。
在一个可选实施例中，当前导航功能包括手势导航功能和/或屏幕外物理导航功能，屏幕外物理导航功能由一个物理按键实现。
参阅图6，本申请提供的投屏系统的一个实施例包括：
显示设备20和手机10,手机10与显示设备20通过无线链路30连接；
显示设备20，用于接收手机10发送的第一屏幕内容和目标导航功能的状态，目标导航功能包括除了三键导航功能之外的手机导航功能；当目标导航功能的状态为开启状态时，生成包括投屏区域和导航栏的协同窗口，在投屏区域显示第一屏幕内容；导航栏包括三个虚拟导航按键；接收作用于虚拟导航按键上的键鼠操作；根据键鼠操作生成按键指令，将按键指令发送给手机，使得手机根据按键指令执行导航功能；接收手机发送的第二屏幕内容，在投屏区域显示第二屏幕内容；
手机10，用于向显示设备20发送第一屏幕内容和目标导航功能的状态；当目标导航功能的状态处于开启状态时，接收显示设备发送的按键指令；根据按键指令执行导航功能，导航功能用于将第一屏幕内容调整为第二屏幕内容；将第二屏幕内容发送给显示设备。
具体的，无线链路可以是无线保真(wireless fidelity，WiFi)链路或蓝牙链路等。显示设备20的功能与图4所示实施例或可选实施例中的显示设备相同。手机10的功能与图5所示实施例或可选实施例中的手机相同。
参阅图7，本申请提供的显示设备20的另一个实施例包括：
输入装置701、显示装置702、存储器703、处理器704、收发器705和数据接口706；输入装置701、显示装置702、存储器703、处理器704、收发器705和数据接口706可以通过总线连接。
输入装置701可以是键盘或鼠标。
显示装置702可以是显示器，投影仪或其他用于显示的设备。
存储器703可以是易失性存储器或非易失性存储器，或包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
处理器704可以是通用处理器，包括中央处理器(central processing unit，CPU)、网络处理器(network processor，NP)等；还可以是数字信号处理器(digital signalprocessing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field－programmable gate array，FPGA)或者其他可编程逻辑器件等。处理器704通过调用存储器703中的程序代码，用于实现以上实施例中显示设备的功能。
收发器705用于在无线通信中接收和发送数据。可以将收发器705中用于实现接收功能的器件视为接收器，将收发器705中用于实现发送功能的器件视为发送器，即收发器701包括接收器和发送器。收发器705也可以称为收发机或收发电路等。接收器有时也可以称为接收机或接收电路等。发送器有时也可以称为发射机或者发射电路等。
数据接口706通过有线方式与手机进行连接。
本实施例中给出的结构图仅示出了显示设备20的简化设计。在实际应用中，显示设备20可以包含任意数量的输入装置701、显示装置702、存储器703、处理器704、收发器705和数据接口706等，以实现本申请各装置实施例中显示设备20所执行的功能或操作，而所有可以实现本申请的装置都在本申请的保护范围之内。尽管未示出，显示设备20还可以包括电源等。电源用于为各组件供电，其可以通过电源管理系统与处理器704逻辑连接，通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
参阅图8，本申请提供的手机的另一个实施例包括：
射频(Radio Frequency，RF)电路810、存储器820、输入单元830、显示单元840、蓝牙模块850、音频电路860、WiFi模块870、处理器880以及电源890等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍：
RF电路810可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器880处理；另外，将设计上行的数据发送给基站。通常，RF电路810包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路810还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元830可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元830可包括触控面板831以及其他输入设备832。触控面板831，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于功能键(比如音量控制按键、开关按键等)、轨迹球、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板841。进一步的，触控面板831可覆盖显示面板841，当触控面板831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中，触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。
手机还可以包括蓝牙模块850。
音频电路860、扬声器861，传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路810以发送给比如另一手机，或者将音频数据输出至存储器820以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块870，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器880可包括一个或多个处理单元；优选的，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。
手机还包括给各个部件供电的电源890(比如电池)，优选的，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、传感器等，在此不再赘述。
在本发明实施例中，通过调用存储器820存储的程序，该手机所包括的处理器880能够实现图2所示实施例或可选实施例中手机的功能。
在本申请中，“多个”是指两个或两个以上，其他量词与之类似。“和/或”表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本申请提供一种计算机存储介质，包括指令，当指令在计算设备上运行时，使得计算设备执行以上任意一个实施例中显示设备所实施的步骤。
本申请还提供一种计算机存储介质，包括指令，当指令在计算设备上运行时，使得计算设备执行以上任意一个实施例中手机所实施的步骤。
本申请还提供一种计算机程序产品，当其在计算设备上运行时，使得计算设备执行以上任意一个实施例中显示设备所实施的步骤。
本申请还提供一种计算机程序产品，当其在计算设备上运行时，使得计算设备执行以上任意一个实施例中手机所实施的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在显示设备或手机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (37)

1.一种应用于投屏场景的控制方法，其特征在于，包括：
手机处于第一导航功能的情况下，所述手机显示第一屏幕内容并与显示设备建立连接，所述第一导航功能不同于三键导航功能，所述第一屏幕内容不包括三个虚拟导航按键；
当所述手机与所述显示设备建立连接之后，所述显示设备显示投屏区域和导航栏，其中，所述投屏区域包括所述第一屏幕内容，所述导航栏包括三个虚拟导航按键；
接收作用于所述虚拟导航按键上的键鼠操作，所述键鼠操作对应所述三个虚拟导航按键之一；
所述手机显示第二屏幕内容，其中，所述第二屏幕内容为所述手机执行所述键鼠操作对应的导航功能之后显示的内容；
所述显示设备在所述投屏区域显示所述第二屏幕内容。
2.根据权利要求1所述的方法，其特征在于，所述三个虚拟导航按键包括菜单键、桌面键和返回键，其中，所述菜单键对应进入任务菜单的导航功能，所述桌面键对应回到桌面的导航功能，所述返回键对应返回上一级的导航功能。
3.根据权利要求1所述的方法，其特征在于，所述连接包括有线连接或者无线连接。
4.根据权利要求1所述的方法，其特征在于，所述三个虚拟导航按键用于在所述显示设备上代替所述第一导航功能。
5.根据权利要求1所述的方法，其特征在于，所述键鼠操作包括单击操作。
6.根据权利要求1所述的方法，其特征在于，所述导航栏在所述投屏区域之外。
7.根据权利要求1所述的方法，其特征在于，所述导航栏在所述投屏区域的下方。
8.根据权利要求1所述的方法，其特征在于，所述第一导航功能包括手势导航或者屏幕外物理导航。
9.根据权利要求1所述的方法，其特征在于，所述显示设备包括笔记本电脑。
10.根据权利要求1所述的方法，其特征在于，
所述键鼠操作是指使用键盘输入的操作或使用鼠标输入的操作。
11.根据权利要求8所述的方法，其特征在于，所述手势导航包括：
所述手机接收到从屏幕的左下端向上滑动的操作；或者
所述手机接收到从屏幕的左下端向上滑动并停留预设时间的操作；或者
所述手机接收到从手机屏幕的最左侧向右侧滑动的操作。
12.根据权利要求8所述的方法，其特征在于，所述屏幕外物理导航包括：
所述手机接收到按压屏幕外物理键次数大于阈值。
13.根据权利要求8所述的方法，其特征在于，所述显示设备同时开启多种导航功能。
14.根据权利要求13所述的方法，其特征在于，所述投屏区域和所述导航栏位于同一协同窗口内，所述协同窗口中的导航功能通过两种类型的键鼠操作实现，一种是单击虚拟导航按键的键鼠操作，另一种是从所述协同窗口边缘向内部滑动的键鼠操作。
15.根据权利要求14所述的方法，其特征在于，
响应作用于所述协同窗口的单击桌面键的键鼠操作，所述手机返回桌面；以及
响应于从所述协同窗口的左下端向上滑动的键鼠操作，所述手机返回所述桌面。
16.根据权利要求8所述的方法，其特征在于，所述显示设备开启一种导航功能且禁止其他导航功能。
17.根据权利要求1所述的方法，其特征在于，所述投屏区域和所述导航栏位于同一协同窗口内。
18.根据权利要求17所述的方法，其特征在于，所述协同窗口位于所述显示设备的屏幕右侧。
19.根据权利要求18所述的方法，其特征在于，所述协同窗口还包括标题栏，所述标题栏至少包括最小化窗口按钮、最大化窗口按钮和关闭窗口按钮。
20.根据权利要求19所述的方法，其特征在于，所述标题栏位于所述投屏区域的上方。
21.根据权利要求1所述的方法，其特征在于，所述方法包括：
当所述键鼠操作为作用于菜单键的操作，所述第二屏幕内容为任务菜单；或
当所述键鼠操作为作用于桌面键的操作，所述第二屏幕内容为桌面；或
当所述键鼠操作为作用于返回键的操作，所述第二屏幕内容为上一级内容。
22.根据权利要求1所述的方法，其特征在于，在所述显示设备显示所述第一屏幕内容和所述导航栏之前，所述方法还包括：
所述显示设备接收所述手机发送的所述第一屏幕内容和第一导航功能标识，所述第一导航功能标识为所述第一导航功能的标识。
23.根据权利要求22所述的方法，其特征在于，在所述显示设备接收所述手机发送的所述第一屏幕内容和第一导航功能标识之前，所述方法还包括：
所述显示设备向所述手机发送查询指令；
所述手机根据所述查询指令获取所述第一导航功能标识；
所述手机发送所述第一导航功能标识至所述显示设备。
24.根据权利要求22所述的方法，其特征在于，所述显示设备同时接收所述手机发送的所述第一屏幕内容和所述第一导航功能标识，或者所述显示设备分开接收所述手机发送的所述第一屏幕内容和所述第一导航功能标识。
25.根据权利要求22所述的方法，其特征在于，所述方法进一步包括：
所述显示设备根据所述第一导航功能标识显示协同窗口，所述协同窗口包括投屏区域和导航栏。
26.根据权利要求22所述的方法，其特征在于，所述第一导航功能标识包括字符串、数字编号、图片、符号、文字中任意一个。
27.根据权利要求1所述的方法，其特征在于，在所述手机显示所述第二屏幕内容之前，所述方法还包括：
所述显示设备根据所述键鼠操作生成按键指令；
所述显示设备发送所述按键指令至所述手机，其中所述按键指令与接收所述键鼠操作的所述虚拟导航按键的功能对应。
28.根据权利要求1所述的方法，其特征在于，在所述显示设备在所述投屏区域显示所述第二屏幕内容之前，所述方法还包括：
所述显示设备接收所述手机发送的第二屏幕内容。
29.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述手机处于三键导航功能的情况下，显示第三屏幕内容；
当所述手机与所述显示设备建立连接之后，所述显示设备在所述投屏区域上显示所述第三屏幕内容，并且不显示所述导航栏。
30.根据权利要求22所述的方法，其特征在于，所述方法还包括：
所述显示设备根据所述第一导航功能标识向所述手机发送修改导航功能指令；
所述手机根据所述修改导航功能指令将所述第一导航功能修改为所述三键导航功能。
31.根据权利要求30所述的方法，其特征在于，所述方法还包括：
所述手机显示所述导航栏；
所述显示设备显示所述导航栏，所述导航栏用于在所述显示设备上控制所述手机。
32.根据权利要求1所述的方法，其特征在于，所述手机显示所述第二屏幕内容以及所述显示设备显示所述第二屏幕内容是同步显示的。
33.根据权利要求1所述的方法，其特征在于，所述方法包括：
当所述手机接收到从屏幕的左下端向上滑动的操作，所述手机返回桌面；或者
当所述手机接收到从屏幕的左下端向上滑动并停留预设时间的操作，所述手机进入任务菜单；或者
当所述手机接收到从手机屏幕的最左侧向右侧滑动的操作，所述手机返回上一级；或
当所述手机接收到按压屏幕外物理键次数大于第一阈值，所述手机返回上一级；或
当所述手机接收到按压屏幕外物理键次数大于第二阈值，所述手机返回桌面。
34.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至33中任一项所述的方法中的手机执行的步骤。
35.一种显示设备，其特征在于，所述显示设备包括：处理器，存储器；所述处理器、所述存储器通过总线相互的通信；
所述存储器用于存储程序、指令和数据；
所述处理器，调用所述存储器中的程序、指令和数据，用于执行如权利要求1至33中任一项所述的方法中的显示设备执行的步骤。
36.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至33中任一项所述的方法中的显示设备执行的步骤。
37.一种手机，其特征在于，所述手机包括：
触摸屏，其中，所述触摸屏包括触控面板和显示屏；
一个或多个处理器；
存储器；
多个应用程序；
以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述手机执行时，使得所述手机执行如权利要求1至33中任意一项所述的方法中的手机执行的步骤。
CN201910809113.9A 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备 Active CN110673782B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201910809113.9A CN110673782B (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备
CN202210824567.5A CN115357178B (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备
CN202211459307.9A CN115793950A (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备
MX2022002472A MX2022002472A (es) 2019-08-29 2020-07-22 Método de control aplicado a escenario de proyección en pantalla y dispositivo relacionado.
EP20858332.8A EP4016272A4 (en) 2019-08-29 2020-07-22 CONTROL METHOD FOR A SCREEN PROJECTION SCENARIO AND ASSOCIATED DEVICE
US17/638,567 US11809704B2 (en) 2019-08-29 2020-07-22 Control method applied to screen projection scenario and related device
PCT/CN2020/103440 WO2021036594A1 (zh) 2019-08-29 2020-07-22 一种应用于投屏场景的控制方法以及相关设备
US18/473,483 US20240012562A1 (en) 2019-08-29 2023-09-25 Control method applied to screen projection scenario and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910809113.9A CN110673782B (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202211459307.9A Division CN115793950A (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备
CN202210824567.5A Division CN115357178B (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备

Publications (2)

Publication Number Publication Date
CN110673782A CN110673782A (zh) 2020-01-10
CN110673782B true CN110673782B (zh) 2022-11-29

Family

ID=69075691

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910809113.9A Active CN110673782B (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备
CN202211459307.9A Pending CN115793950A (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备
CN202210824567.5A Active CN115357178B (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202211459307.9A Pending CN115793950A (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备
CN202210824567.5A Active CN115357178B (zh) 2019-08-29 2019-08-29 一种应用于投屏场景的控制方法以及相关设备

Country Status (5)

Country Link
US (2) US11809704B2 (zh)
EP (1) EP4016272A4 (zh)
CN (3) CN110673782B (zh)
MX (1) MX2022002472A (zh)
WO (1) WO2021036594A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673782B (zh) 2019-08-29 2022-11-29 荣耀终端有限公司 一种应用于投屏场景的控制方法以及相关设备
CN111327769B (zh) * 2020-02-25 2022-04-08 北京小米移动软件有限公司 多屏互动方法及装置、存储介质
CN111596875B (zh) * 2020-04-17 2022-09-13 维沃移动通信有限公司 屏幕扩展方法及电子设备
CN111562896B (zh) * 2020-04-26 2023-05-19 维沃移动通信（杭州）有限公司 投屏方法及电子设备
CN111597000B (zh) * 2020-05-14 2023-08-01 青岛海信移动通信技术有限公司 一种小窗口管理方法及终端
CN111913628B (zh) * 2020-06-22 2022-05-06 维沃移动通信有限公司 分享方法、装置和电子设备
CN114237529A (zh) * 2020-09-07 2022-03-25 华为技术有限公司 一种导航栏显示方法、显示方法与第一电子设备
CN114253496A (zh) * 2020-09-10 2022-03-29 华为技术有限公司 一种显示方法及电子设备
CN113553014B (zh) * 2020-09-10 2023-01-06 华为技术有限公司 多窗口投屏场景下的应用界面显示方法及电子设备
US20230376264A1 (en) * 2020-09-10 2023-11-23 Huawei Technologies Co., Ltd. Display Method and Electronic Device
CN114442969A (zh) * 2020-10-30 2022-05-06 华为技术有限公司 一种设备间屏幕协同方法及设备
CN114741039B (zh) * 2020-12-24 2023-09-08 华为技术有限公司 设备控制方法和终端设备
CN114691059B (zh) * 2020-12-25 2024-03-26 华为技术有限公司 一种投屏显示方法及电子设备
CN114756158A (zh) * 2020-12-29 2022-07-15 广州视源电子科技股份有限公司 应用窗口投屏切换方法、装置、系统、介质以及电子设备
CN112631538A (zh) * 2020-12-30 2021-04-09 安徽鸿程光电有限公司 显示方法、装置、设备及计算机存储介质
CN115442509B (zh) * 2021-06-01 2023-10-13 荣耀终端有限公司 拍摄方法、用户界面及电子设备
CN113507694B (zh) * 2021-06-18 2024-02-23 厦门亿联网络技术股份有限公司 一种基于无线辅流设备的投屏方法及装置
CN116774870A (zh) * 2022-03-15 2023-09-19 荣耀终端有限公司 截屏方法及装置
CN114860143A (zh) * 2022-05-20 2022-08-05 Oppo广东移动通信有限公司 导航控制方法及装置、终端设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123408A (ja) * 2006-11-15 2008-05-29 Brother Ind Ltd 投影装置、プログラム、投影方法、並びに投影システム
CN104281408A (zh) * 2013-07-10 2015-01-14 Lg电子株式会社 移动终端及其控制方法
CN108459836A (zh) * 2018-01-19 2018-08-28 广州视源电子科技股份有限公司 批注显示方法、装置、设备及存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050091359A1 (en) 2003-10-24 2005-04-28 Microsoft Corporation Systems and methods for projecting content from computing devices
KR100714707B1 (ko) * 2006-01-06 2007-05-04 삼성전자주식회사 3차원 그래픽 유저 인터페이스를 위한 네비게이션 장치 및방법
US8850052B2 (en) * 2008-09-30 2014-09-30 Apple Inc. System and method for simplified resource sharing
US8698845B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
KR101763593B1 (ko) * 2010-08-24 2017-08-01 엘지전자 주식회사 컨텐츠 동기화 방법 및 그 방법을 채용한 사용자 단말기
WO2012046890A1 (ko) * 2010-10-06 2012-04-12 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2012133981A1 (ko) * 2011-03-25 2012-10-04 엘지전자 주식회사 영상표시장치 및 그 영상표시장치의 동작 방법
KR101788060B1 (ko) * 2011-04-13 2017-11-15 엘지전자 주식회사 영상표시장치 및 이를 이용한 콘텐츠 관리방법
KR101857563B1 (ko) 2011-05-11 2018-05-15 삼성전자 주식회사 네트워크 전자기기들 간 데이터 공유 방법 및 장치
US8806369B2 (en) * 2011-08-26 2014-08-12 Apple Inc. Device, method, and graphical user interface for managing and interacting with concurrently open software applications
EP2602730B1 (en) * 2011-12-07 2018-02-14 BlackBerry Limited Presenting context information in a computing device
KR101522399B1 (ko) * 2011-12-23 2015-05-22 주식회사 케이티 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말
JP5999452B2 (ja) 2012-01-26 2016-09-28 パナソニックＩｐマネジメント株式会社 携帯端末及び機器連携方法
US20130219303A1 (en) * 2012-02-21 2013-08-22 Research In Motion Tat Ab Method, apparatus, and system for providing a shared user interface
US9513793B2 (en) * 2012-02-24 2016-12-06 Blackberry Limited Method and apparatus for interconnected devices
US9360997B2 (en) * 2012-08-29 2016-06-07 Apple Inc. Content presentation and interaction across multiple displays
US9619128B2 (en) * 2013-07-01 2017-04-11 Microsoft Technology Licensing, Llc Dynamic presentation prototyping and generation
KR102144553B1 (ko) * 2013-08-30 2020-08-13 삼성전자주식회사 다중 디스플레이 방법, 저장 매체 및 전자 장치
US9507482B2 (en) * 2013-10-07 2016-11-29 Narsys, LLC Electronic slide presentation controller
CN103713847A (zh) * 2013-12-25 2014-04-09 华为终端有限公司 用户设备的系统栏的控制方法和用户设备
US9870058B2 (en) * 2014-04-23 2018-01-16 Sony Corporation Control of a real world object user interface
KR102219861B1 (ko) * 2014-05-23 2021-02-24 삼성전자주식회사 화면 공유 방법 및 그 전자 장치
KR102269481B1 (ko) * 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
CN106155614B (zh) * 2015-04-24 2020-04-24 联想(北京)有限公司 一种操作信息传输方法及电子设备
CN104967886B (zh) 2015-05-28 2018-09-25 深圳市创易联合科技有限公司 无线投影方法和系统
US10459675B2 (en) * 2015-09-04 2019-10-29 Fives Cinetic Corp. System and method for controlling a process line using a PLC and scalable HMI control template
CN107870754A (zh) * 2016-09-28 2018-04-03 法乐第(北京)网络科技有限公司 一种控制设备上展示的内容的方法及装置
CN106873846A (zh) * 2016-12-29 2017-06-20 北京奇虎科技有限公司 一种pc端控制移动设备的方法及系统
CN108702414B (zh) * 2017-06-16 2021-04-09 华为技术有限公司 一种屏幕锁定方法、装置及计算机可读存储介质
CN109218731B (zh) * 2017-06-30 2021-06-01 腾讯科技（深圳）有限公司 移动设备的投屏方法、装置及系统
KR20190021016A (ko) * 2017-08-22 2019-03-05 삼성전자주식회사 전자 장치 및 그 제어 방법
CN107547750B (zh) * 2017-09-11 2019-01-25 Oppo广东移动通信有限公司 终端的控制方法、装置和存储介质
CN107682724B (zh) 2017-09-29 2020-05-01 北京盛世辉科技有限公司 显示方法、装置、智能遥控器及计算机可读存储介质
CN107743220A (zh) 2017-10-24 2018-02-27 西安万像电子科技有限公司 状态提示的方法、装置和中转投屏系统
CN109753256A (zh) 2018-03-29 2019-05-14 北京字节跳动网络技术有限公司 一种窗口控制栏的布局方法、装置及设备
CN108595137B (zh) * 2018-04-25 2021-05-04 广州视源电子科技股份有限公司 无线投屏方法、装置和投屏器
CN110673782B (zh) 2019-08-29 2022-11-29 荣耀终端有限公司 一种应用于投屏场景的控制方法以及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123408A (ja) * 2006-11-15 2008-05-29 Brother Ind Ltd 投影装置、プログラム、投影方法、並びに投影システム
CN104281408A (zh) * 2013-07-10 2015-01-14 Lg电子株式会社 移动终端及其控制方法
CN108459836A (zh) * 2018-01-19 2018-08-28 广州视源电子科技股份有限公司 批注显示方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-Resolution Multi-View Projection Display With a Quantized-Diffusion-Angle Screen;Tohru Kawakami;《 Journal of Display Technology》;20120930;第496-504页 *
投屏软件轻松实现手机电脑互投;周敏;《计算机与网络》;20171231;第41页 *

Also Published As

Publication number Publication date
US20220300153A1 (en) 2022-09-22
US11809704B2 (en) 2023-11-07
EP4016272A1 (en) 2022-06-22
CN115357178B (zh) 2023-08-08
US20240012562A1 (en) 2024-01-11
MX2022002472A (es) 2022-06-08
WO2021036594A1 (zh) 2021-03-04
EP4016272A4 (en) 2022-11-09
CN110673782A (zh) 2020-01-10
CN115793950A (zh) 2023-03-14
CN115357178A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN110673782B (zh) 一种应用于投屏场景的控制方法以及相关设备
US11861161B2 (en) Display method and apparatus
CN111061574B (zh) 一种对象分享方法及电子设备
US11579946B2 (en) Method for managing multiple operating systems in a terminal
CN113360238A (zh) 消息处理方法、装置、电子设备和存储介质
US20220300302A1 (en) Application sharing method and electronic device
CN110196668B (zh) 信息处理方法和终端设备
CN110225180B (zh) 一种内容输入方法及终端设备
EP4123437A1 (en) Screen projection display method and system, terminal device, and storage medium
CN112749074B (zh) 一种测试用例推荐方法以及装置
CN109284146B (zh) 一种轻应用开启方法及移动终端
CN104238931B (zh) 信息输入方法、装置及电子设备
CN108811177B (zh) 一种通信方法及终端
CN111026454A (zh) 功能启动方法及终端设备
US10110720B2 (en) Dialing method for user terminal and user terminal
CN114126083A (zh) 跨网段的无线投屏方法、装置、电子设备及存储介质
RU2791547C1 (ru) Способ управления, применяемый к сценарию проецирования экрана, и соответствующее устройство
RU2816127C2 (ru) Способ управления, применяемый к сценарию проецирования экрана, и соответствующее устройство
CN111399718B (zh) 图标管理方法及电子设备
US10241634B2 (en) Method and apparatus for processing email in electronic device
CN110109582B (zh) 移动终端的显示方法、装置及存储介质
CN112492576B (zh) 长途语音拨号方法、装置、存储介质及移动终端
EP4130983A1 (en) Method and apparatus for installing application program, and terminal device and storage medium
CN111918014B (zh) 一种显示视频图像的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210429

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Applicant after: Honor Device Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd.

GR01 Patent grant
GR01 Patent grant