CN112513803A - 在多个输出屏幕的环境中控制虚拟输入界面的显示的电子设备及其操作方法 - Google Patents

在多个输出屏幕的环境中控制虚拟输入界面的显示的电子设备及其操作方法 Download PDF

Info

Publication number
CN112513803A
CN112513803A CN201980051297.5A CN201980051297A CN112513803A CN 112513803 A CN112513803 A CN 112513803A CN 201980051297 A CN201980051297 A CN 201980051297A CN 112513803 A CN112513803 A CN 112513803A
Authority
CN
China
Prior art keywords
display
input interface
virtual input
electronic device
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980051297.5A
Other languages
English (en)
Inventor
金载烨
方妙珍
李真永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112513803A publication Critical patent/CN112513803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation

Abstract

提供了电子装置及其操作方法。该方法包括：基于电子装置的上下文信息，将虚拟输入界面的显示方案确定为第一显示方案；响应于在基于第一显示方案显示虚拟输入界面的同时检测到的电子装置的上下文变化，将虚拟输入界面的显示方案从第一显示方案改变为不同于第一显示方案的第二显示方案；以及基于第二显示方案显示虚拟输入界面。

Description

在多个输出屏幕的环境中控制虚拟输入界面的显示的电子设 备及其操作方法
技术领域
本公开涉及一种电子装置及其操作方法，用于在多个输出屏幕的环境中控制虚拟输入界面(诸如软键盘)的显示和操作，该电子装置及其操作方法在多个输出屏幕上输出一个电子装置的执行屏幕。
背景技术
便携式电子装置(诸如智能手机)表现出更高的性能，以平稳地执行更复杂的功能或服务，诸如游戏、信使、文档编辑、图像/视频回放和编辑，除了基本服务(诸如电话呼叫和消息传递)之外，这些功能或服务大多在个人计算机(personal computer，PC)上进行。因此，主要在PC上执行的功能通常在便携式电子装置上执行。
然而，如果需要更宽屏幕的任务(诸如文档编写、高质量视频回放)和需要多次引用的文档编辑在便携式电子装置上执行，仍然会给用户带来不便。
为了减轻这种不便，提出了通过使用连接到便携式电子装置的外部装置的输出装置来类似于PC环境地输出便携式电子装置的屏幕来提高用户的便利性的技术。
根据这种技术，包括电子装置的输出屏幕和外部装置的输出屏幕的输出屏幕中的至少一个可以显示用于接收用户的输入的虚拟输入界面(例如，虚拟键盘)。这种虚拟输入界面可以基于在电子装置上运行的应用来显示。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于上述任何一项是否可以作为本公开的现有技术来应用，还没有做出确定，并且也没有做出断言。
发明内容
技术问题
本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一方面是提供用于在多个输出屏幕的环境中控制虚拟输入界面(诸如软键盘)的显示和操作的装置和方法，该装置和方法在所述多个输出屏幕上输出一个电子装置的执行屏幕。
附加的方面将在下面的描述中部分阐述，并且部分将从描述中变得明显，或者可以通过所呈现的实施例的实践来获知。
如果在包括电子装置的输出屏幕和外部装置的输出屏幕的多个输出屏幕的环境中显示虚拟输入界面，则根据输入焦点(例如，鼠标光标)的位置和显示内容的输出屏幕的数量可以开发各种情况和场景。为了覆盖这些各种的情况，相关技术应该安装各自的应用。也就是说，如果电子装置的情况改变，对应于虚拟输入界面的特定输出的应用可以不响应于电子装置的改变的情况来改变虚拟输入界面的输出。
结果，如果虚拟输入界面显示在所述多个输出屏幕的环境中，则响应于检测到需要改变所显示的虚拟输入界面的输出的事件，需要用于改变虚拟输入界面的输出的一个应用包(application package，APK)。
根据本公开的一方面，提供了电子装置。该电子装置包括第一显示器、通信接口和与第一显示器和通信接口电耦合的处理器。该处理器被配置为，在包括第二显示器的第一外部装置被连接的同时，基于电子装置的上下文信息，将虚拟输入界面的显示方案确定为第一显示方案，响应于在基于第一显示方案显示虚拟输入界面的同时检测到的电子装置的上下文的变化，将虚拟输入界面的显示方案从第一显示方案改变为不同于第一显示方案的第二显示方案，并且基于第二显示方案控制第一显示器或第一外部装置中的至少一个来显示虚拟输入界面。
根据本公开的另一方面，提供了电子装置的操作方法，该电子装置包括第一显示器，并且连接到包括第二显示器的第一外部装置。该方法包括：基于电子装置的上下文信息，将虚拟输入界面的显示方案确定为第一显示方案，响应于在基于第一显示方案显示虚拟输入界面的同时检测到的电子装置的上下文的变化，将虚拟输入界面的显示方案从第一显示方案改变为不同于第一显示方案的第二显示方案，以及基于第二显示方案显示虚拟输入界面。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员来说将变得明显。
附图说明
从以下结合附图的描述中，本公开的特定实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1示出了根据本公开的实施例的网络环境；
图2示出了根据本公开的实施例的电子装置的操作环境；
图3示出了根据本公开的实施例的电子装置和外部装置之间的连接；
图4示出了根据本公开的实施例的电子装置的硬件配置；
图5示出了根据本公开的实施例的电子装置的软件结构；
图6A示出了根据本公开的实施例的分别对应于移动环境和个人计算机(PC)环境的输出屏幕；
图6B示出了根据本公开的实施例的分别对应于移动环境和PC环境的输出屏幕；
图7A示出了根据本公开的实施例的双视图模式的输出屏幕；
图7B示出了根据本公开的实施例的双视图模式的输出屏幕；
图8A示出了根据本公开的实施例的双重模式的输出屏幕；
图8B示出了根据本公开的实施例的双重模式的输出屏幕；
图8C示出了根据本公开的实施例的双重模式的输出屏幕；
图9示出了根据本公开的实施例的独立模式的输出屏幕；
图10A示出了根据本公开的实施例的在双视图模式下根据与虚拟输入界面相关联的设置值的改变来改变输出屏幕；
图10B示出了根据本公开的实施例的在双视图模式下根据与虚拟输入界面相关联的设置值的改变来改变输出屏幕；
图11A示出了根据本公开的实施例的在双重模式下根据与虚拟输入界面相关联的设置值的改变来改变输出屏幕；
图11B示出了根据本公开的实施例的在双重模式下根据与虚拟输入界面相关联的设置值的改变来改变输出屏幕；
图11C示出了根据本公开的实施例的在双重模式下根据与虚拟输入界面相关联的设置值的改变来改变输出屏幕；
图12A示出了根据本公开的实施例的根据在独立模式下进入或释放模式来改变输出屏幕；
图12B示出了根据本公开的实施例的根据在独立模式下进入或释放模式来改变输出屏幕；
图13示出了根据本公开的实施例的用于在包括多个输出装置的多个输出屏幕的环境中改变虚拟输入界面的显示的操作的流程图；
图14示出了根据本公开的实施例的在包括多个输出装置的多个输出屏幕的环境中确定虚拟输入界面的显示方案的详细操作的流程图；
图15示出了根据本公开的实施例的状态图；
图16示出了根据本公开的实施例的类图；
图17A示出了根据本公开的实施例的根据输入焦点的移动来改变虚拟输入界面的显示的示例；
图17B示出了根据本公开的实施例的根据输入焦点的移动来改变虚拟输入界面的显示的示例；
图17C示出了根据本公开的实施例的根据输入焦点的移动来改变虚拟输入界面的显示的示例；
图18示出了根据本公开的实施例的用于在多个输出屏幕上显示虚拟输入界面的输出装置；
图19A示出了根据本公开的实施例的如果连接了外部输入装置，则不显示虚拟输入界面的输出屏幕；并且
图19B示出了根据本公开的实施例的如果连接了外部输入装置，则不显示输入界面的输出屏幕。
在所有附图中，相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
参考附图的以下描述被提供来帮助全面理解由权利要求及其等同物所定义的本公开的各种实施例。它包括有助于理解的各种具体细节，但是这些仅仅被认为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书目意义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域的技术人员来说明显的是，以下对本公开的各种实施例的描述仅仅是为了说明的目的而提供的，而不是为了限制由所附权利要求及其等同物所限定的本公开。
应当理解，单数形式“一”、“一个”和“该”包括复数指代物，除非环境另有明确规定。因此，例如，提及“部件表面”包括提及一个或多个这种表面。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关环境另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123可实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101供应的电力。根据一个实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在SIM 196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印制电路板(printed circuit board，PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在子装置102、电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中术语“非暂时性存储介质”仅意味着存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。例如，“非暂时性存储介质”可以包括临时存储数据的缓存器。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2示出了根据本公开的实施例的电子装置的操作环境。
参照图2，根据本公开的实施例的操作环境200中的电子装置210可以连接到中介(mediation)装置230和外部输出装置220。电子装置210可以是移动装置，例如智能手机、平板个人计算机(PC)或可穿戴装置(例如，智能手表)。电子装置210可以包括显示器(例如，图1的显示装置160)。值得注意的是，电子装置210的尺寸可能由于其便携性而受到限制，因此电子装置210的显示器的尺寸也可能受到限制。
电子装置210可以经由中介装置230连接到外部输出装置220。中介装置230可以是例如坞或坞站。电子装置210可以放置在中介装置230上。电子装置210可以通过例如输入/输出接口(诸如通用串行总线(universal serial bus，USB)端口)通过导线连接到中介装置230。例如，电子装置210可以使用短距离无线通信(诸如蓝牙)无线连接到中介装置230。中介装置230可以中转(mediate)电子装置210和外部输出装置220之间的连接。虽然电子装置210经由但不限于中介装置230与外部输出装置220间接连接，但是电子装置210可以通过电缆或无线连接直接连接到外部输出装置220(即，没有中介装置230)。
如果电子装置210连接到外部输出装置220，则电子装置210可以通过外部输出装置220输出屏幕。电子装置210可以重构在其显示器上显示的屏幕，并通过外部输出装置220输出(或显示)重构后的屏幕。例如，电子装置210可以向外部输出装置220发送重构后的屏幕的信息，以在外部输出装置220输出重构后的屏幕。在这种情况下，电子装置210可以通过外部输出装置220向用户提供类似于使用桌上型计算机或PC的用户界面(user interface，UI)或用户体验(user experience，UX)。
如果电子装置210连接到外部输出装置220，则电子装置210可以在电子装置210或外部输出装置220中的至少一个上输出(或显示)虚拟输入界面，诸如虚拟键盘。基于所连接的外部输出装置220的装置信息、电子装置210的装置信息、设置值或输入焦点(例如，鼠标光标)位置或用户输入，电子装置210可以确定与虚拟输入界面的显示特征或显示方案(例如，用于显示虚拟输入界面的装置、用于显示虚拟输入界面的装置的数量、所显示的虚拟输入界面的显示类型、显示位置等)相关联的虚拟输入界面的状态模式，并且基于所确定的状态模式显示虚拟输入界面。虚拟输入界面的状态模式可以被双重定义，也就是说，可以定义第一状态模式和第二状态模式。第一状态模式可以基于外部输出装置220的装置信息和/或电子装置210的装置信息来确定，并且第二状态模式可以基于设置值或输入焦点位置来确定。第一状态模式可以对应于虚拟输入界面的显示模式，并且第二状态模式可以对应于虚拟输入界面的特定操作方案。也就是说，电子装置210可以获得其当前上下文信息(例如，所连接的外部输出装置220的装置信息、设置值或输入焦点位置信息)，并针对电子装置210的当前上下文以适当的形式配置(或显示)虚拟输入界面。
如果检测到电子装置210的上下文的改变或由上下文改变引起的状态模式的改变，则电子装置210可以针对改变后的上下文或改变后的状态模式以适当的形式重新配置虚拟输入界面。当基于第一状态模式和第二状态模式显示虚拟输入界面时，如果检测到第一状态模式和第二状态模式中的至少一个的改变，则电子装置210可以基于改变后的状态模式信息改变虚拟输入界面的显示。也就是说，电子装置210可以根据电子装置210的上下文变化在包括多个输出屏幕的输出环境中动态控制(或改变)虚拟输入界面的显示。
电子装置210可以通过有线或无线方式连接到外部输入装置，诸如键盘240或鼠标250。电子装置210可以通过键盘240或鼠标250接收用户输入。用户可以通过使用键盘240或鼠标250来控制电子装置210。电子装置210的显示器可以是触摸屏显示器，并且电子装置210可以通过触摸屏显示器接收用户输入。
图3示出了根据本公开的实施例的电子装置和外部装置之间的连接。
参照图3，根据实施例的电子装置210可以与外部输出装置220、中介装置230、外部输入装置310或服务器320中的至少一个进行通信。
电子装置210可以是用于通过使用外部输出装置220向用户提供类似于桌上型计算机的UI和/或UX的移动装置，诸如智能电话、平板电脑或可穿戴装置。电子装置210可以经由中介装置230(诸如坞)连接到外部输出装置220。电子装置210可以通过电缆(例如，HDMI电缆)或无线方式连接到外部输出装置。例如，电子装置210可以使用USB电缆连接到中介装置230，并且中介装置230可以使用HDMI电缆连接到外部输出装置220。
如果外部输出装置220连接到电子装置210，则外部输出装置220可以输出(或显示)由电子装置210处理(或呈现)的屏幕。外部输出装置220可以是包括显示器的各种装置中的一种，例如监视器或电视机(television，TV)。外部输出装置220可以经由中介装置230连接到电子装置210，或者可以直接连接到电子装置210。
如果电子装置210连接到外部输出装置220，则电子装置210可以向外部输出装置220提供类似于使用桌上型计算机或PC的UI或UX。使用电子装置210的触摸屏显示器、在电子装置210和/或外部输出装置220处显示的虚拟输入界面、或外部输入装置310，用户可以控制在外部输出装置220处显示的UI或UX(或与在外部输出装置220处显示的UI或UX交互)。
外部输入装置310可以将用户输入转发给电子装置210。例如，外部输入装置310可以采用用于接收用户输入的各种装置(诸如键盘240、鼠标250、轨迹球、跟踪板和操纵杆)之一。外部输入装置310可以经由中介装置230间接连接到电子装置210，或者可以直接连接到电子装置210。如果外部输入装置310连接到电子装置210，则电子装置210可以响应于对外部输入装置310的输入来控制在外部输出装置220处显示的UI或UX。例如，电子装置210可以响应于对鼠标250的左键的输入，向外部输出装置220提供虚拟键盘。
服务器320可以与电子装置210无线通信。服务器320可以存储安装在电子装置210上的应用当中的支持呈现(render)应用执行屏幕的应用的列表(例如，白名单)。具体地，如果电子装置210连接到外部输出装置220，则服务器320可以存储支持用于将应用执行屏幕从移动环境呈现到桌上型计算机环境，并且在外部输出装置220输出所呈现的屏幕的功能的应用的列表。如果电子装置210连接到外部输出装置220，则服务器320可以存储不支持上述功能的应用的列表(例如，黑名单)。存储在服务器320中的列表可以定期或如果发生事件时更新。服务器320可以向电子装置210发送存储在服务器320中的列表中的安装在电子装置210上的应用的列表。
图4示出了根据本公开的实施例的电子装置的硬件配置。
参照图4，根据实施例的电子装置210可以包括显示器410、通信接口420、输入/输出接口430、存储器440和处理器450。
显示器410可以输出屏幕。例如，显示器410可以输出在电子装置210上运行的至少一个应用的执行屏幕。从显示器410输出的应用执行屏幕可以针对移动环境进行优化。显示器410可以是触摸屏显示器，并且可以检测用户的触摸输入。例如，显示器410可以包括用于检测触摸输入的触摸面板和用于输出屏幕的显示面板。
如果电子装置210连接到外部输出装置220，则显示器410可以显示或不显示屏幕。即使电子装置210连接到外部输出装置220，显示器410也可以检测触摸输入。例如，如果电子装置210连接到外部输出装置220，则显示器410可以仅用作用于接收触摸输入的触摸输入手段或触摸输入装置，而不输出屏幕(例如，黑屏)。
通信接口420可以是用于使用有线或无线通信来互连电子装置210和外部装置的接口。在实施例中，外部装置可以是中介装置230、外部输出装置220或服务器320中的至少一个。例如，电子装置210可以使用通信接口420向外部输出装置220发送呈现在桌上型计算机或PC环境中的应用执行屏幕的信息。
输入/输出接口430可以是用于互连电子装置210和外部装置的接口。在实施例中，外部装置可以是中介装置230、外部输出装置220或服务器320中的至少一个。输入/输出接口430可以采用各种接口(诸如USB、HDMI、D-超小型(D-subminiature，D-SUB)或光学接口)之一。
存储器440可以包括易失性存储器和/或非易失性存储器。例如，存储器440可以存储一个或多个应用或程序。例如，存储器440可以存储用于为不同环境(例如，移动环境、桌上型计算机或PC环境)生成特定应用的执行屏幕的程序。例如，存储器440可以包括用于移动环境(或显示器410)的第一启动器和用于桌上型计算机或PC环境(或外部输出装置220)的第二启动器。存储器440可以存储电子装置210的操作系统，并且存储操作系统的框架。存储在存储器440中的程序模块将参照图5进行说明。
处理器450可以与显示器410、通信接口420、输入/输出接口430和存储器440电耦合或可操作地耦合。处理器450可以控制显示器410、通信接口420、输入/输出接口430和存储器440。
根据实施例，当电子装置210与外部输出装置220断开连接时，处理器450可以执行移动环境(或显示器410)的第一启动器。第一启动器可以是用于生成或呈现移动环境的特定应用执行屏幕的程序。处理器450可以控制显示器410显示特定应用的移动环境的适当的执行屏幕(或第一启动器的执行屏幕)。在实施例中，当显示器410显示特定应用的移动环境的执行屏幕时，处理器450可以显示虚拟输入界面。响应于检测到用于显示虚拟输入界面的用户输入，处理器450可以确定虚拟输入界面的状态模式，并且基于所确定的状态模式显示虚拟输入界面。处理器450可以基于所确定的状态模式来确定要显示的虚拟输入界面的显示装置、显示类型和显示位置。例如，如果检测到触摸显示器410上显示的网页的搜索窗口的用户输入，则处理器450可以在显示器410的至少一部分上显示普通类型或悬浮类型的虚拟键盘。
根据实施例，处理器450可以识别出电子装置210连接到外部输出装置220。处理器450可以通过连接到输入/输出接口430的电缆来识别外部输出装置220的连接。即使连接到外部输出装置220的中介装置230被连接，处理器450也可以识别出电子装置210与外部输出装置220连接。
根据实施例，如果电子装置210与外部输出装置220连接，则可以执行桌上型计算机或PC环境(或外部输出装置220)的第二启动器。第二启动器可以是用于生成或呈现桌上型计算机(或PC)环境的特定应用执行屏幕的程序。处理器450可以向外部输出装置220发送相关数据，以在外部输出装置220处显示特定应用的桌上型计算机环境的适当的执行屏幕(或第二启动器的执行屏幕)。在实施例中，当外部输出装置220显示特定应用的桌上型计算机环境的执行屏幕时，处理器450可以在电子装置210或外部输出装置220处显示虚拟输入界面。处理器450可以响应于识别到电子装置210的当前上下文来确定虚拟输入界面的状态模式，并且基于所确定的状态模式来显示虚拟输入界面。例如，如果检测到触摸在外部输出装置220处显示的网页的搜索窗口的用户输入，则处理器450可以在外部输出装置220处显示悬浮类型的虚拟键盘。例如，响应于识别到外部输出装置220的连接，处理器450可以在外部输出装置220处显示悬浮类型的虚拟键盘。
根据实施例，如果检测到电子装置210的上下文的改变，则处理器450可以针对改变后的环境以适当的形式重新配置虚拟输入界面，或者改变虚拟输入界面的显示方案。具体地，如果检测到根据上下文改变的第一状态模式或第二状态模式的改变，则处理器450可以基于改变后的状态模式信息来改变虚拟输入界面的显示方案。
在实施例中，环境改变可以是外部装置(以下称为第一外部装置)与电子装置210的断开连接、与第一外部装置不同的第二外部装置的连接、输入焦点的移动、虚拟输入界面的第一状态模式的改变或者与虚拟输入界面相关联的设置值的改变中的至少一个。例如，处理器450可以检测键盘(例如，键盘240)的新连接。例如，处理器450可以检测将输入焦点从外部输出装置220移动到显示器410的用户输入。例如，处理器450可以检测用于将虚拟输入界面的显示模式从第一显示模式切换到第二显示模式的用户输入。
在实施例中，虚拟输入界面的显示方案可以与用于显示虚拟输入界面的显示器、用于显示虚拟输入界面的装置的数量、所显示的虚拟输入界面的显示类型和显示位置中的至少一个相关。
例如，当普通类型的虚拟键盘显示在显示器410的一部分上并且外部输出装置220不显示虚拟键盘时，响应于改变与虚拟输入界面的显示相关联的设置值的用户输入，处理器450可以控制显示器410不显示虚拟键盘，并且控制外部输出装置220在外部输出装置220的屏幕的至少一部分上显示悬浮类型的虚拟键盘。
根据本公开的各种实施例的电子装置可以包括第一显示器、通信接口和与第一显示器和通信接口电耦合的处理器，并且处理器可以被配置为，当包括第二显示器的第一外部装置被连接时，基于电子装置的上下文信息，将虚拟输入界面的显示方案确定为第一显示方案，响应于在基于第一显示方案显示虚拟输入界面时检测到的电子装置的上下文的改变，将虚拟输入界面的显示方案从第一显示方案改变为不同于第一显示方案的第二显示方案，并且控制第一显示器或第一外部装置中的至少一个基于第二显示方案来显示虚拟输入界面。
在各种实施例中，虚拟输入界面可以是虚拟软键盘。
在各种实施例中，电子装置的环境的改变可以是与第一外部装置的断开连接、第二外部装置的连接、设置值的改变、输入焦点的移动或当前平台的版本信息的改变中的至少一个。
在各种实施例中，虚拟输入界面的显示方案可以定义用于显示虚拟输入界面的装置、用于显示虚拟输入界面的装置的数量、虚拟输入界面的显示类型或虚拟输入界面的显示位置中的至少一个。
在各种实施例中，虚拟输入界面的显示方案可以基于与显示模式相关联的第一状态模式和与操作方案相关联的第二状态模式来确定。
在各种实施例中，虚拟输入界面的显示类型可以是普通类型、悬浮类型或分离类型之一。
在各种实施例中，显示模式可以包括双视图模式，并且双视图模式可以是根据设置值在第一显示器上显示第一显示类型的虚拟输入界面并且在第二显示器上不显示虚拟输入界面，或者在第二显示器上显示第二显示类型的虚拟输入界面并且在第一显示器上不显示虚拟输入界面的模式。
在各种实施例中，显示模式可以包括双重模式，并且双重模式可以是根据设置值在第一显示器上显示第一显示类型的虚拟输入界面并且在第二显示器上不显示虚拟输入界面的模式，或者在放置输入焦点的显示器上显示指定显示类型的虚拟输入界面并且在剩余显示器上不显示虚拟输入界面的模式。
在各种实施例中，显示模式可以包括独立模式，并且独立模式可以是在第一显示器上显示对应于桌上型计算机环境的至少一个应用执行屏幕或悬浮类型的虚拟输入界面的模式。
在各种实施例中，处理器可以被配置为使用安装在电子装置上的应用，将虚拟输入界面的显示方案从第一显示方案改变为不同于第一显示方案的第二显示方案，并且可以基于安装文件版本将应用安装在电子装置上。
图5示出了根据本公开的实施例的电子装置的软件结构。
参照图5，根据实施例的电子装置210可以存储第一应用510、第二应用520、第三应用530、第一启动器540、第二启动器550、框架560、资源570、配置580和显示信息590。图5的程序模块可以存储在图4的存储器440中。并且由图4的处理器450执行。
电子装置210可以存储应用510、520和530。而电子装置210存储但不限于图5中的三个应用510、520和530，电子装置210可以存储任意数量的应用。
应用530可以是用于控制虚拟输入界面的应用。应用530可以基于安装文件版本安装在电子装置210上。应用530可以存储多个虚拟输入界面531、532和533的信息。例如，第一虚拟输入界面531、第二虚拟输入界面532和第三虚拟输入界面533的信息各自可以包括关于虚拟输入界面(例如，虚拟键盘)如何在每个装置上显示的信息。第一虚拟输入界面531、第二虚拟输入界面532和第三虚拟输入界面533的信息可以对应于指定值的第一状态模式和指定值的第二状态模式。例如，第一虚拟输入界面531可以对应于被确定为“双重”的第一状态模式和被确定为“Phonestate(电话状态)”的第二状态模式。例如，第二虚拟输入界面532可以对应于被确定为“DualView(双重视图)”的第一状态模式和被确定为“DesktopState(桌上型计算机状态)”的第二状态模式。在实施例中，第一状态模式可以基于电子装置210和/或外部输出装置220的装置信息来确定，并且第二状态模式可以基于电子装置210的上下文(或上下文的改变)来确定。因此，电子装置210可以使用安装在电子装置210上的应用530，显示适用于在多个输出屏幕的环境中可能出现的各种场景的虚拟输入界面。
如果电子装置210没有与外部输出装置220连接，则可以执行第一启动器540。第一启动器540可以提供在触摸屏显示器上显示的UI和UX，诸如主屏幕。
如果电子装置210与外部输出装置220连接，则可以执行第二启动器550。如果电子装置210与外部输出装置220连接，则第二启动器550可以提供桌上型计算机模式的介绍，并且提供桌上型计算机模式执行或镜像连接选项。第二启动器550可以提供类似于在外部输出装置220处显示的桌面(desktop)的UI或UX。第二启动器550可以包括白名单更新服务551和白名单数据库(database，DB)552。
框架560可以包括桌上型计算机模式服务561、桌上型计算机模式策略管理器562、策略管理器563、窗口管理器565和活动管理器566。
如果应用被执行，桌上型计算机模式服务561可以获得与所执行的应用的大小调整相关联的信息。
桌上型计算机模式策略管理器562可以接收由桌上型计算机模式服务561获得的信息。
桌上型计算机模式策略管理器562可以将确定结果转发给桌上型计算机模式服务561，并且桌上型计算机模式服务561可以基于接收到的结果提供服务。
窗口管理器565可以改变配置580。窗口管理器565可以基于改变后的配置580生成窗口。
如果配置被改变，活动管理器566可以从窗口管理器565获得改变的配置580。
资源570可以包括应用的活动资源571。活动资源571可以包括例如基于配置580修改的活动的执行屏幕中的图像和布局的信息。
配置580可以包括由电子装置210生成的屏幕的像素密度(例如，每英寸点数(dotsper inch，dpi))、方向(例如，横向或纵向)、全屏尺寸和应用执行屏幕尺寸的信息。配置580可以对应于应用中包括的每个活动。
显示信息590可以包括显示的物理尺寸(例如，宽度和高度)的信息。
图6A和6B示出了根据本公开的各种实施例的分别对应于移动环境和PC环境的输出屏幕。
参照图6A，描绘了为移动环境生成或呈现的主屏幕应用的执行屏幕。图6A的主屏幕应用的执行屏幕610可以显示在电子装置210的显示器410上。
在实施例中，为移动环境呈现的应用执行屏幕610可以显示图标显示区域612、基本图标显示区域614和显示栏616。图标显示区域612可以显示至少一个应用执行图标611。基本图标显示区域614可以显示至少一个基本应用执行图标613。显示栏616可以显示诸如通信提供商、当前时间和剩余电池电量的信息。图标显示区域612可以对应于至少一个页面，并且所显示的页面可以响应于用户的页面滑动输入(例如，页面滚动输入)，从当前页面切换到之前或之后页面。指示当前页面的指示器615可以显示在图标显示区域612的底部。
尽管未示出，但是虚拟输入界面可以显示在显示器410的至少一部分上。例如，普通类型的虚拟键盘可以显示在图标显示区域612或基本图标显示区域614中的至少一个的至少一部分中。
参照图6B，描绘了为桌上型计算机环境生成或呈现的主屏幕应用的执行屏幕。图6B的主屏幕应用的执行屏幕可以显示在外部输出装置220上。
在实施例中，为桌上型计算机环境生成或呈现的主屏幕应用执行屏幕可以显示图标显示区域622和托盘区域625，与普通桌上型计算机的背景屏幕相同或相似。
图标显示区域622可以显示至少一个图标621。与图标显示区域612不同，图标显示区域622不仅可以显示程序执行图标，还可以显示对应于内容(诸如图像、视频和文本)的文件图标。
托盘区域625可以包括快速执行区域624和功能图标区域623。尽管未示出，托盘区域625可以包括搜索窗口。快速执行区域624可以显示用于快速执行应用的至少一个快捷图标，并且功能图标区域623可以显示用于执行特定功能(诸如音量控制、蓝牙连接和Wi-Fi激活)的至少一个快捷图标。
输入焦点627可以显示在图标显示区域622或托盘区域625中的至少一个的至少一部分中。输入焦点627可以指示响应于用户输入在屏幕上移动的指示器。例如，输入焦点627可以指示鼠标250的光标。用户可以通过使用连接到电子装置210的鼠标250来移动输入焦点627。
程序执行窗口626可以显示在图标显示区域622或托盘区域625中的至少一个的至少一部分中。程序执行窗口626可以显示当前运行的程序的执行窗口。例如，程序执行窗口626可以显示互联网网络浏览器程序的执行屏幕。
尽管未示出，图标显示区域622或托盘区域625中的至少一个的至少一部分可以显示虚拟输入界面。例如，如果检测到对程序执行窗口626的搜索窗口(未示出)的用户输入，则虚拟键盘可以显示在图标显示区域622的至少一部分中。
图7A和7B示出了根据本公开的各种实施例的双视图模式的输出屏幕。
在实施例中，双视图模式是虚拟输入界面的显示模式，并且可以对应于第一状态模式。
在实施例中，根据虚拟输入界面的设置值，双视图模式可以在显示器410和外部输出装置220中的任何一个输出虚拟输入界面。例如，如果值touch_keyboard(触摸_键盘)当前被设置为on(开启)，则显示器410的至少一部分可以显示普通类型的虚拟键盘720，并且外部输出装置220可以不显示虚拟键盘。如果值touch_keyboard当前被设置为off(关闭)，则显示器410的至少一部分可以不显示虚拟键盘720，并且外部输出装置220的至少一些区域可以显示悬浮类型的虚拟键盘750。
在实施例中，虚拟输入界面的显示类型可以采用普通类型、悬浮类型或分离类型之一。普通类型可以在一个区域安全地显示虚拟输入界面，而不需要移动。悬浮类型可以根据用户输入(例如，拖)改变虚拟输入界面的显示位置。分割类型可以通过将其分成至少两个来显示虚拟输入界面。
处理器450可以根据显示虚拟输入界面的装置来确定虚拟输入界面的显示类型。例如，如果虚拟输入界面显示在显示器410上，则处理器450可以将显示类型确定为普通类型。如果虚拟输入界面显示在外部输出装置220处，则处理器450可以将显示类型确定为悬浮类型。
在实施例中，处理器450可以在双视图模式中控制显示器410使用显示器410的至少一部分作为触摸板区域。触摸板区域可以允许用户在鼠标250断开连接的情况下通过用手指拖动触摸板区域来控制输入焦点(例如，鼠标指针、鼠标光标)。例如，处理器450可以检测外部输出装置220的连接，响应于检测到值touch_keyboard被设置为on，在显示器410的至少一部分上显示普通类型的键盘，并且在显示器410的剩余区域中显示触摸板区域710。例如，处理器450可以检测外部输出装置220的连接，并且响应于检测到值touch_keyboard被设置为on并且鼠标250没有连接，执行上述操作。例如，处理器450可以检测外部输出装置220的连接，并且响应于检测到值touch_keyboard被设置为off，在显示器410的整个区域上显示触摸板区域740。例如，处理器450可以检测外部输出装置220的连接，并且响应于检测到值touch_keyboard被设置为off并且鼠标250没有连接，在显示器410的整个区域上显示触摸板区域740。
在实施例中，处理器450可以在外部输出装置220的至少一些区域中显示输入焦点730。
图8A、8B和8C示出了根据本公开的各种实施例的双重模式的输出屏幕。
在实施例中，双重模式是虚拟输入界面的一种显示模式，并且可以对应于第一状态模式。
在实施例中，双重模式可以向显示器410和外部输出装置220提供相应环境的屏幕，并且根据输入焦点830的当前位置(例如，鼠标光标)来区别显示虚拟输入界面。例如，在双重模式中，可以向显示器410提供用于移动环境的屏幕，可以向外部输出装置220提供用于桌上型计算机环境的屏幕，并且可以基于输入焦点830的当前位置来显示虚拟输入界面。
参照图8B，显示器410的至少一些区域可以基于移动环境显示应用执行屏幕810，并且基于桌上型计算机环境的背景屏幕可以被提供给外部输出装置220。如果检测到对应用执行屏幕810的搜索窗口840的用户输入845，则处理器450可以在显示器410的至少一部分中显示普通类型的虚拟键盘820，并且外部输出装置220可以不显示虚拟键盘。例如，搜索窗口840的用户输入845可以是显示器410上的触摸输入。如果检测到对搜索窗口840的用户输入845，则外部输出装置220可以不显示鼠标光标，并且输入焦点830可以放置在显示器410上。
参照图8C，显示器410的至少一部分可以基于如图10B-1中的移动环境显示应用执行屏幕810，并且外部输出装置220可以显示对应于桌上型计算机环境的至少一个应用执行屏幕850。如果检测到对应用执行屏幕850的搜索窗口855的用户输入(例如，鼠标点击)，处理器450可以在显示器410上不显示虚拟键盘，并且在外部输出装置220上显示悬浮类型的虚拟键盘860。
在实施例中，类似于图7的双视图模式，双重模式可以根据虚拟输入界面的设置值执行不同的操作。例如，如果值touch_keyboard设置为off，则图10B-1和图10B-2中描述的操作可以执行。例如，如果值touch_keyboard设置为on，则图8A中描述的操作可以执行。
参照图8A，如果值touch_keyboard被设置为on，则虚拟输入界面可以仅显示在显示器410上，而不管输入焦点830的位置如何。例如，显示器410的一些区域可以显示普通类型的虚拟键盘820。处理器450可以检测显示在显示器410的一些区域或外部输出装置220的一些区域中的搜索窗口(或需要虚拟键盘的输出的各种用户界面)的用户输入，并且响应于识别出touch_keyboard的值被设置为on，在显示器410的某个区域中显示普通类型的虚拟键盘820。
图9示出了根据本公开的实施例的独立模式的输出屏幕。
在实施例中，独立模式是虚拟输入界面的一种显示模式，并且可以对应于第一状态模式。
在实施例中，如果外部输出装置220未连接，则独立模式可以在显示器410上显示对应于桌上型计算机环境的至少一个应用执行屏幕。
在实施例中，有利的是，在具有相对较大尺寸的显示器410的电子装置210例如但不限于在平板PC处执行独立模式，但是如果电子装置210是智能电话，也可以执行独立模式。
参照图9，在独立模式中，电子装置210的显示器410可以显示用于显示至少一个图标921的图标显示区域，以及包括快速执行区域924和功能图标区域923的托盘区域925。显示器410可以在图标显示区域或托盘区域925中的至少一个的至少一些区域中显示指定显示类型的虚拟输入界面。显示器410可以显示输入焦点928(例如，鼠标光标)。显示器410可以默认显示悬浮类型的虚拟输入界面，并且可以根据用户的选项改变显示正常或分离类型的虚拟输入界面。
在实施例中，如果检测到电子装置210的上下文改变，则处理器450可以将虚拟输入界面重新配置为适合于改变后的环境。如果在以不同于独立模式的模式显示虚拟输入界面时检测到上下文变化，则处理器450可以以独立模式显示虚拟输入界面。例如，如果在显示对应于移动环境的应用执行屏幕和普通类型的虚拟键盘时检测到用于进入独立模式(或用于切换到桌上型计算机环境)的用户输入，则处理器450可以显示对应于桌上型计算机环境的应用执行屏幕和悬浮类型的虚拟键盘。例如，如果以双视图模式或双重模式之一显示虚拟输入界面，则响应于检测到外部输出装置220的断开连接，处理器450可以基于独立模式重新显示虚拟输入界面。处理器450可以询问(例如，经由弹出界面)用户是否在独立模式下显示虚拟输入界面，或者可以询问用户的预期模式，并且可以在独立模式下显示虚拟输入界面而无需询问用户。
在图7至图9中，已经描述了对应于第一状态模式的虚拟输入界面的各种模式。下面描述用于响应于由环境改变引起的第二状态模式的改变来改变模式的虚拟输入界面的显示的实施例。
图10A和10B示出了根据本公开的各种实施例在双视图模式下根据与虚拟输入界面相关联的设置值的改变来改变输出屏幕。
参照图10A，处理器450可以检测外部输出装置220的连接，并确定第一状态模式。处理器450可以基于外部输出装置220的装置信息和/或电子装置210的装置信息来确定第一状态模式。响应于识别出虚拟输入界面的显示器的设置值(例如，设置值touch_keyboard)被设置为on，处理器450可以确定第二状态模式，并且基于所确定的第一状态模式和/或第二状态模式来显示虚拟输入界面。例如，处理器450可以将第一状态模式确定为DualView(即，对应于双视图模式)，并将第二状态模式确定为PhoneState(即，用于处理在电子装置210上显示的普通类型的虚拟输入界面的第二状态模式)。处理器450可以以类似于图7A中公开的实施例的方式显示虚拟输入界面。例如，处理器450可以在显示器410的至少一部分上显示普通类型的虚拟键盘920，并且控制外部输出装置220不显示虚拟键盘。
如果检测到电子装置210的上下文的改变，则处理器450可以针对改变后的上下文以适当的形式重新配置虚拟输入界面。例如，响应于检测到改变虚拟输入界面的显示的设置值的用户输入(例如，从on到off)，处理器450可以改变第二状态模式(例如，PhoneState到DesktopState)，并且基于改变后的第二状态模式改变虚拟输入界面的显示。对应于DesktopState的第二状态模式可以在第一外部装置处处理悬浮类型的虚拟输入界面的显示状态。处理器450可以类似于图7B中公开的实施例显示虚拟输入界面。
参照图10B，处理器450可以控制显示器410不显示虚拟键盘，并且控制外部输出装置220在外部输出装置220的至少一些区域中显示悬浮类型的虚拟键盘750。处理器450可以控制显示器410使用显示器410的整个区域作为触摸板区域740。虽然没有详细示出，但是响应于检测到改变虚拟输入界面的显示的设置值的用户输入(例如，off到on)，处理器450也可以改变虚拟输入界面的显示。
在实施例中，当虚拟输入界面的显示的设置值改变时，输入焦点(例如，鼠标光标751)可以放置在外部输出装置220上。
图11A、11B和11C示出了根据本公开的各种实施例在双重模式下根据虚拟输入界面的设置值的改变来改变输出屏幕。
参照图11A，处理器450可以检测外部输出装置220的连接，并且确定第一状态模式。响应于识别出虚拟输入界面的显示器的设置值(例如，设置值touch_keyboard)被设置为“on”，处理器450可以确定第二状态模式，并且基于所确定的第一状态模式和/或第二状态模式来显示虚拟输入界面。例如，处理器450可以将第一状态模式确定为Dual(对应于双重模式)，并将第二状态模式确定为PhoneState。处理器450可以以类似于图8A中公开的实施例的方式显示虚拟输入界面。例如，处理器450可以在显示器410的至少一部分上显示普通类型的虚拟键盘820，并且可以在外部输出装置220上不显示虚拟键盘。
响应于检测到改变虚拟输入界面的显示的设置值的用户输入(例如，从on到off)，处理器450可以改变第二状态模式(例如，PhoneState到DesktopState)，并基于改变后的第二状态模式改变虚拟输入界面的显示。处理器450可以类似于图10B中公开的实施例显示虚拟输入界面。例如，处理器450可以识别输入焦点830(例如，鼠标光标)的当前位置，并且基于识别出的输入焦点的当前位置显示虚拟输入界面。具体地，如果输入焦点被放置在显示器410上(例如，如果在显示器410上的搜索窗口840中检测到用户输入845)，则处理器450可以在显示器410的至少一部分上保持普通类型的虚拟键盘1020的显示(参见图13B-1)。如果输入焦点830(例如，鼠标光标)放置在外部输出装置220处，处理器450可以控制显示器410不显示虚拟键盘，并且控制外部输出装置220在外部输出装置220的至少一些区域中显示悬浮类型的虚拟键盘860。
图12A和12B示出了根据本公开的各种实施例的在独立模式下根据进入或释放模式来改变输出屏幕。
在实施例中，虚拟输入界面的特定模式可以是独立模式。
图12A示出了在独立模式下显示的虚拟输入界面，并且图12B示出了如果独立模式被释放时显示的虚拟输入界面。在图12A中，第一状态模式可以被确定为StandAlone(独立)，并且第二状态模式可以被确定为StandAloneDesktopState(独立桌上型计算机状态)。在图12B中，第一状态模式可以被确定为StandAlone，第二状态模式可以被确定为StandAlonePhoneState(独立电话状态)。
参照图12A，处理器450可以在电子装置210的显示器410上显示用于桌上型计算机环境的至少一个应用执行屏幕1210。例如，处理器450可以执行主屏幕应用执行屏幕和互联网网络浏览器应用执行屏幕1210。此外，处理器450可以在显示器410的至少一部分上显示指定类型的虚拟键盘927(例如，悬浮类型)。
参照图12B，处理器450可以在电子装置210的显示器410上显示用于移动环境的至少一个应用执行屏幕1210。例如，响应于检测到释放独立模式的用户输入，处理器450可以执行为移动环境呈现的互联网网络浏览器应用执行屏幕1230。此外，处理器450可以改变虚拟键盘的显示位置和显示类型。例如，处理器450可以控制显示器410显示普通类型的虚拟键盘1220，而不显示悬浮类型的虚拟键盘。
图13示出了根据本公开的实施例的用于在包括多个输出装置的多个输出屏幕的环境中改变虚拟输入界面的显示的操作的流程图。
参照图13，操作可以由包括第一显示器410的电子装置210的处理器450来执行。
在操作1310中，处理器450可以检测包括第二显示器的第一外部装置的连接。第一外部装置可以是外部输出装置220。
在操作1320中，处理器450可以将虚拟输入界面的显示方案确定为第一显示方案。虚拟输入界面的显示方案可以基于第一状态模式和/或第二状态模式来确定。第一显示方案可以对应于指定值的第一状态模式和/或指定值的第二状态模式。
在实施例中，处理器450可以基于电子装置210上当前运行的应用(或应用包)的类型、当前运行的应用(或应用包)的版本、电子装置210的装置信息(例如，硬件/软件规格等)、第一外部装置的装置信息或当前驱动的平台(例如，操作系统)的版本信息中的至少一个来确定第一状态模式。例如，处理器450可以基于当前在电子装置210中驱动的应用的类型、电子装置210的装置信息和第一外部装置的装置信息中的至少一个来将第一状态模式确定为DualView(对应于双视图模式)。
在实施例中，处理器450可以基于虚拟输入界面的设置值或输入焦点(例如，鼠标光标)的位置来确定第二状态模式。例如，响应于识别出虚拟输入界面的设置值被设置为off，处理器450可以将第二状态模式确定为DesktopState。
在操作1330中，处理器450可以检测电子装置210的上下文的变化。在实施例中，当基于第一显示方案显示虚拟输入界面时，处理器450可以检测电子装置210的上下文的变化。在实施例中，上下文的改变可以是第一外部装置与电子装置210的断开连接、不同于第一外部装置的第二外部装置的连接、用户的输入焦点的移动、虚拟输入界面的当前模式的改变或虚拟输入界面的显示的设置值的改变(例如，设置值touch_keyboard)中的至少一个。例如，处理器450可以检测将当前模式从双重模式改变为双视图模式的用户输入(或者检测将第一状态模式从Dual改变为DualView的用户输入)。例如，处理器450可以检测将设置值touch_keyboard从on改变为off的用户输入。例如，处理器450可以检测将输入焦点从外部输出装置220移动到显示器410的用户输入。
在操作1340中，处理器450可以将虚拟输入界面的显示方案从第一显示方案改变为第二显示方案。使用电子装置210的改变后的上下文信息，处理器450可以新确定第一状态模式或第二状态模式中的至少一个的值，并且基于新确定的值来确定第二显示方案。
在操作1350中，处理器450可以基于第二显示方案显示虚拟输入界面。
例如，如果检测到将当前模式从双重模式改变为双视图模式的用户输入，则处理器450可以识别设置值touch_keyboard，并且基于识别出的设置值显示虚拟输入界面。如果设置值touch_keyboard是on，则处理器450可以在显示器410的一部分上保持普通类型的虚拟键盘的显示，并且在显示器410的剩余区域上新显示触摸板区域。
例如，如果检测到将设置值touch_keyboard从on改变为off的用户输入，则处理器450可以识别当前模式(或识别第一状态模式)，并且根据识别出的当前模式来改变虚拟输入界面的显示。如果当前模式是双视图模式，则处理器450可以不在显示器410的一部分上进一步显示普通类型的虚拟键盘，并且可以控制显示器410使用显示器410的整个区域作为触摸板区域。此外，处理器450可以控制外部输出装置220在外部输出装置220的至少一些区域上显示悬浮类型的虚拟键盘。
例如，如果检测到用于将输入焦点从外部输出装置220移动到显示器410的用户输入，则处理器450可以确定第二显示方案以在显示器410上显示虚拟输入界面。具体地，在设置值为off的双视图模式中，如果检测到用于将输入焦点从外部输出装置220移动到显示器410的用户输入，则处理器450可以将设置值touch_keyboard改变为on(或者将第二状态模式从DesktopState改变为PhoneState)，并且在显示器410的一部分上显示普通类型的虚拟键盘。
图14示出了根据本公开的实施例的在包括多个输出装置的多个输出屏幕的环境中确定虚拟输入界面的显示模式的详细操作的流程图。
参照图14，该操作可以是图13的操作1320的详细流程图。
在操作1410中，处理器450可以获得包括第二显示器的第一外部装置的装置信息。处理器450可以获得第一外部装置的输出性能(例如，分辨率支持范围、屏幕尺寸、纵横比、光源、功耗等)信息。
在操作1420中，处理器450可以获得输入焦点的位置信息和/或虚拟输入界面的设置值信息。例如，处理器450可以获得touch_keyboard被设置为off的信息。
在操作1430中，处理器450可以基于在操作1410中获得的第一外部装置的装置信息来确定第一状态模式。处理器450可以通过进一步使用电子装置210的至少一个当前上下文(例如，当前运行的应用类型、资源使用量、剩余电池电量等)来确定第一状态模式。
在实施例中，状态模式指示通过根据一组规则改变对象的状态来改变对象动作或对象行为的模式，并且是一种设计模式。使用状态模式，如果添加了新的状态，源代码中的修改可以被最小化，并且代码的维护可以被简化。
在实施例中，第一状态模式可以对应于双视图模式(DualView)、双重模式(Dual)或独立模式(StandAlone)中的至少一个。例如，响应于检测到第一外部装置的屏幕尺寸超过预设尺寸，处理器450可以确定对应于双视图模式的第一状态模式。例如，响应于检测到电子装置210的剩余电池电量超过预设值，处理器450可以确定对应于双重模式的第一状态模式。
在操作1440中，处理器450可以基于在操作1420中获得的输入焦点的位置信息和/或虚拟输入界面的设置值信息来确定第二状态模式。也就是说，根据本公开的实施例的处理器450可以使用双状态模式容易地处理要添加的新模式和新操作方案。
在实施例中，对应于第二状态模式的值可以包括用于在电子装置210处处理普通类型的虚拟输入界面的显示状态的PhoneState、用于在第一外部装置处处理悬浮类型的虚拟输入界面的显示状态的DesktopState、用于在电子装置210处在释放独立模式的情况下处理虚拟输入界面的显示状态的StandAlonePhoneState，以及用于在电子装置210处在进入独立模式的情况下处理虚拟输入界面的显示状态的StandAloneDesktopState。
在实施例中，对应于第二状态模式的值中的至少一些值可以对应于与第一状态模式相对应的值中的至少一些值。换句话说，对应于第二状态模式的值中的至少一些值可以依赖于对应于第一状态模式的值中的至少一些值。例如，PhoneState或DesktopState之一可以对应于Dual或DualView之一。例如，StandAlonePhoneState或StandAloneDesktopState之一可能对应于独立模式(StandAlone)。
例如，如果第一状态模式对应于双视图模式(DualView)，则处理器450可以基于虚拟输入界面的设置值信息将第二状态模式确定为PhoneState或DesktopState之一。例如，如果虚拟输入界面的设置值信息被设置为on，则处理器450可以将第二状态模式确定为PhoneState。如果虚拟输入界面的设置值信息被设置为off，则处理器450可以将第二状态模式确定为DesktopState。
图15示出了根据本公开的实施例的状态图。
参照图15，根据本公开的实施例的处理器450可以响应于检测到外部输出装置220来确定第一状态模式。例如，响应于检测到包括第二显示器的第一外部装置的连接，处理器450可以将第一状态模式确定为双重模式(Dual)或双视图模式(DualView)。
根据本公开的实施例的处理器450可以响应于检测到用户输入来确定第一状态模式。例如，响应于检测到指示独立模式条目的用户输入，处理器450可以将第一状态模式确定为独立模式(StandAlone)。
根据本公开的实施例的处理器450可以响应于识别出输入焦点的当前位置来确定第二状态模式。例如，如果第一状态模式被确定为双重模式(Dual)，则处理器450可以响应于识别出放置在电子装置210处的输入焦点，将第二状态模式确定为PhoneState。例如，如果第一状态模式被确定为双视图模式(DualView)，则处理器450可以响应于识别出放置在电子装置210处的输入焦点，将第二状态模式确定为PhoneState。例如，如果第一状态模式被确定为独立模式(StandAlone)，则处理器450可以响应于识别出放置在电子装置210处的输入焦点，将第二状态模式确定为StandAloneDesktopState。
在实施例中，如果第一状态模式被确定为特定模式，则处理器450可以省略识别输入焦点。例如，如果第一状态模式被确定为双视图模式，则输入焦点驻留在外部输出装置220上，因此处理器450可以识别虚拟输入界面的设置值，而不识别输入焦点的位置。
在实施例中，处理器450可以响应于识别出输入焦点的当前位置或虚拟输入界面的设置值来确定第二状态模式。例如，如果第一状态模式被确定为Dual(对应于双重模式)，并且输入焦点被置于外部输出装置220，则处理器450可以响应于被设置为off的虚拟输入界面的设置值来确定第二状态模式为DesktopState，并且响应于on来确定为PhoneState。
图16示出了根据本公开的实施例的类图。
参照图16，可以定义ModeManager(模式管理器)类来管理在多个输出屏幕的环境中虚拟输入界面的显示。ModeManager类可以定义setCurrentMode()(设置当前模式())方法来设置虚拟输入界面的显示模式。
在实施例中，可以定义模式类(mode class)来区分和管理虚拟输入界面的显示模式和由界面模式(interface mode)定义的id，界面模式定义了每个模式类需要实现的方法和属性。该界面可以定义如果多个输出屏幕的环境开始，则要求显示虚拟输入界面的onStartMode()(开启开始模式())方法，如果多个输出屏幕的环境结束，则要求不再显示虚拟输入界面的onFinishMode()(开启结束模式())方法，用于改变虚拟输入界面的设置值的onTouchKeyboardSettingChanged()(开启触摸键盘设置改变())方法等。此外，Dualmode(双重模式)类、DualView mode(双视图模式)类和StandAlone mode(独立模式)类可以是实现模式界面的示例类。
在实施例中，Dual mode类、DualView mode类和StandAlone mode类可以与StateContext(状态上下文)类相关联，并且StateContext类可以是AbstractContext(抽象上下文)类的具体实现。AbstractContext类可以由PhoneState类、DesktopState类、StandAlonePhone类和StandAloneDesktop类继承。
图17A、17B和17C示出了根据本公开的各种实施例的根据输入焦点的移动来改变虚拟输入界面的显示的示例。
参照图17A，显示器410的整个区域可以显示触摸板区域740，并且外部输出装置220的一部分可以显示悬浮类型的虚拟键盘750。也就是说，第一状态模式可以对应于双视图模式(即，DualView)，并且第二状态模式可以对应于DesktopState。
参照图17B，处理器450可以检测将输入焦点730(例如，鼠标光标)的位置从外部输出装置220移动到电子装置210的用户输入。例如，处理器450可以基于输入焦点730的移动方向和移动速度来检测用于将输入焦点730的位置移动到电子装置210的用户输入。
参照图17C，处理器450可以通过改变第二状态模式来改变虚拟输入界面的显示。处理器450可以通过将第二状态模式从DesktopState改变为PhoneState来改变虚拟输入界面的显示。例如，处理器450可以在显示器410的至少一部分上显示普通类型的虚拟键盘720，并且控制外部输出装置220不再显示虚拟键盘。
图18示出了根据本公开的实施例的用于在多个输出屏幕上显示虚拟输入界面的输出装置。
根据上述实施例，虚拟输入界面可以基于其设置值或输入焦点位置显示在显示器410或外部输出装置220之一上。
为了实现在显示器410和外部输出装置220两者上显示虚拟输入界面的显示方案，可以定义对应于第二状态模式的新状态模式。例如，处理器450可以定义新状态模式BothDesktopAndPhone(桌上型计算机和电话两者)。
在实施例中，如果第二状态模式被改变为BothDesktopAndPhone，则处理器450可以在显示器410和外部输出装置220两者上显示虚拟输入界面。例如，处理器450可以在显示器410的至少一部分上显示普通类型的虚拟键盘820，并且可以在外部输出装置220的至少一些区域中显示悬浮类型的虚拟键盘860。
图19A和19B示出了根据本公开的各种实施例的如果连接了外部输入装置则不显示虚拟输入界面的输出屏幕。
参照图19A，电子装置210可以与外部输出装置220连接，并且可以不与物理输入界面连接(例如，键盘240)。处理器450可以将第一状态模式确定为双重模式(Dual)，并且将第二状态模式确定为DesktopState。也就是说，处理器450可以在显示器410上显示对应于移动环境的至少一个应用执行屏幕810，在外部输出装置220上显示对应于桌上型计算机环境的至少一个应用执行屏幕850，并且在外部输出装置220的至少一些区域上显示悬浮类型的虚拟键盘860。
参考图19B，电子装置210可以与物理输入界面(例如，键盘240)连接。响应于物理输入界面的连接，处理器450可以改变虚拟输入界面的显示。例如，处理器450可以控制外部输出装置220不进一步显示在外部输出装置220处显示的虚拟输入界面，而是在外部输出装置220的至少一些区域中显示候选词显示区域1910。候选词显示区域1910可以使用户能够更容易地输入词(例如，自动完成)到搜索窗口855。例如，如果用户使用键盘240输入“ha”，处理器450可以在候选词显示区域1910中显示“ha”的候选词，例如，‘have’、‘having’、‘has’等。
在实施例中，为了实现在显示器410和外部输出装置220都不显示虚拟输入界面的显示方案，可以定义对应于第二状态模式的新状态模式。例如，处理器450可以定义新状态模式NoneDesktopAndPhone(非桌上型计算机和电话)。如果第二状态模式被改变为NoneDesktopAndPhone，则处理器450可以显示在第二状态模式改变之前显示虚拟输入界面的装置(例如，外部输出装置220)，以显示候选单词显示区域1910。
根据本公开的各种实施例，连接到包括第二显示器的第一外部装置并且包括第一显示器的电子装置的操作方法可以包括：响应于在基于第一显示方案显示虚拟输入界面时检测到的电子装置的上下文的变化，基于电子装置的上下文信息，将虚拟输入界面的显示方案确定为第一显示方案，将虚拟输入界面的显示方案从第一显示方案改变为不同于第一显示方案的第二显示方案，以及基于第二显示方案显示虚拟输入界面。
在各种实施例中，虚拟输入界面可以是虚拟软键盘。
在各种实施例中，电子装置的上下文的改变可以是与第一外部装置的断开连接、第二外部装置的连接、设置值的改变、显示模式的改变或输入焦点的移动中的至少一个。
在各种实施例中，虚拟输入界面的显示方案可以定义用于显示虚拟输入界面的装置、用于显示虚拟输入界面的装置的数量、虚拟输入界面的显示类型和虚拟输入界面的显示位置中的至少一个。
在各种实施例中，虚拟输入界面的显示方案可以基于与显示模式相关联的第一状态模式和与操作方案相关联的第二状态模式来确定。
在各种实施例中，虚拟输入界面的类型可以是普通类型、悬浮类型和分离类型中的任何一种。
在各种实施例中，显示模式可以包括双视图模式，并且双视图模式可以是根据设置值在第一显示器上显示第一显示类型的虚拟输入界面并且在第二显示器上不显示虚拟输入界面，或者在第二显示器上显示第二显示类型的虚拟输入界面并且在第一显示器上不显示虚拟输入界面的模式。
在各种实施例中，显示模式可以包括双重模式，并且双重模式可以是根据设置值在第一显示器上显示第一显示类型的虚拟输入界面并且在第二显示器上不显示虚拟输入界面，或者在用户的输入焦点被置于其上的显示器上显示指定显示类型的虚拟输入界面并且在剩余显示器上不显示虚拟输入界面的模式。
在各种实施例中，显示模式可以包括独立模式，并且独立模式可以包括在第一显示器上显示对应于桌上型计算机环境的至少一个应用执行屏幕或悬浮类型的虚拟输入界面的模式。
在各种实施例中，在基于第一显示模式显示虚拟输入界面的同时，将虚拟输入界面的显示方案改变为第二显示方案可以基于安装在电子装置上的应用的执行来执行，并且该应用可以基于安装文件版本安装在电子装置上。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学存储介质(例如，CD-ROM或数字多功能光盘(digital versatile disc，DVD))、磁光介质(例如，光盘)和内部存储器。指令可以包括由编译器创建的代码或由解释器执行的代码。根据各种实施例的模块或程序模块还可以包括前述组件当中的至少一个或多个组件，或者可以省略其中的一些，或者还可以包括附加的其他组件。根据本公开的各种实施例的由模块、程序模块或其他组件执行的操作可以以顺序、并行、重复或启发式的方式执行。一些操作可以以不同的顺序执行，或者可以省略，或者可以添加其他操作。
如果虚拟输入界面显示在多个输出屏幕的环境中，并且检测到用于改变所显示的虚拟输入界面的输出的事件，则一个应用包(application package，APK)可以处理虚拟输入界面的改变后的输出。
虽然已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子装置，包括：
第一显示器；
通信接口；和
处理器，与所述第一显示器和所述通信接口电耦合，
其中所述处理器被配置为：
在包括第二显示器的第一外部装置被连接的同时，基于所述电子装置的上下文信息将虚拟输入界面的显示方案确定为第一显示方案，
响应于在基于所述第一显示方案显示所述虚拟输入界面的同时检测到的所述电子装置的上下文的改变，将所述虚拟输入界面的显示方案从所述第一显示方案改变为不同于所述第一显示方案的第二显示方案，以及
基于所述第二显示方案控制所述第一显示器或所述第一外部装置中的至少一个来显示所述虚拟输入界面。
2.根据权利要求1所述的电子装置，其中所述虚拟输入界面包括虚拟软键盘。
3.根据权利要求2所述的电子装置，其中所述电子装置的上下文的改变包括与所述第一外部装置的断开连接、第二外部装置的连接、设置值的改变、输入焦点的移动或当前平台的版本信息的改变中的至少一个。
4.根据权利要求3所述的电子装置，其中所述虚拟输入界面的显示方案确定用于显示所述虚拟输入界面的装置、用于显示所述虚拟输入界面的装置的数量、所述虚拟输入界面的显示类型或所述虚拟输入界面的显示位置中的至少一个。
5.根据权利要求4所述的电子装置，其中所述虚拟输入界面的显示方案基于与显示模式相关联的第一状态模式和与操作方案相关联的第二状态模式来确定。
6.根据权利要求5所述的电子装置，其中所述虚拟输入界面的显示类型包括普通类型、悬浮类型或分离类型之一。
7.根据权利要求5所述的电子装置，
其中所述显示模式包括双视图模式，并且
其中所述双视图模式包括根据设置值在所述第一显示器上显示第一显示类型的虚拟输入界面并且在所述第二显示器上不显示虚拟输入界面，或者在所述第二显示器上显示第二显示类型的虚拟输入界面并且在所述第一显示器上不显示虚拟输入界面的模式。
8.根据权利要求5所述的电子装置，
其中所述显示模式包括双重模式，并且
其中所述双重模式包括根据设置值在所述第一显示器上显示第一显示类型的虚拟输入界面并且在所述第二显示器上不显示虚拟输入界面，或者在输入焦点在其上的显示器上显示指定显示类型的虚拟输入界面并且在剩余显示器上不显示虚拟输入界面的模式。
9.根据权利要求5所述的电子装置，
其中所述显示模式包括独立模式，并且
其中所述独立模式包括在所述第一显示器上显示对应于桌上型计算机环境的至少一个应用执行屏幕或悬浮类型的虚拟输入界面的模式。
10.根据权利要求1所述的电子装置，其中所述处理器还被配置为使用安装在所述电子装置上的应用，将所述虚拟输入界面的显示方案从所述第一显示方案改变为不同于所述第一显示方案的第二显示方案，
其中基于安装文件版本将所述应用安装在所述电子装置上。
11.一种电子装置的操作方法，所述电子装置包括第一显示器，并且连接到包括第二显示器的第一外部装置，所述方法包括：
基于所述电子装置的环境信息，将虚拟输入界面的显示方案确定为第一显示方案；
响应于在基于所述第一显示方案显示所述虚拟输入界面的同时检测到的所述电子装置的上下文的改变，将所述虚拟输入界面的显示方案从所述第一显示方案改变为不同于所述第一显示方案的第二显示方案；以及
基于所述第二显示方案显示所述虚拟输入界面。
12.根据权利要求11所述的方法，其中所述电子装置的上下文的改变包括与所述第一外部装置的断开连接、第二外部装置的连接、设置值的改变、显示模式的改变或输入焦点的移动中的至少一个。
13.根据权利要求12所述的方法，其中所述虚拟输入界面的显示方案确定用于显示所述虚拟输入界面的装置、用于显示所述虚拟输入界面的装置的数量、所述虚拟输入界面的显示类型或所述虚拟输入界面的显示位置中的至少一个。
14.根据权利要求13所述的方法，其中所述虚拟输入界面的显示方案基于与所述显示模式相关联的第一状态模式和与操作方案相关联的第二状态模式来确定，并且
其中所述虚拟输入界面的显示类型包括普通类型、悬浮类型或分离类型之一。
15.一种用指令编码的非暂时性计算机可读存储介质，当由所述电子装置的处理器执行时，所述指令使得所述电子装置执行根据权利要求11所述的方法。
CN201980051297.5A 2018-07-31 2019-07-31 在多个输出屏幕的环境中控制虚拟输入界面的显示的电子设备及其操作方法 Pending CN112513803A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180089340A KR102527824B1 (ko) 2018-07-31 2018-07-31 복수의 출력 화면 환경에서 가상 입력 인터페이스의 표시를 제어하기 위한 전자 장치 및 그의 동작 방법
KR10-2018-0089340 2018-07-31
PCT/KR2019/009511 WO2020027562A1 (en) 2018-07-31 2019-07-31 Electronic apparatus for controlling display of virtual input interface in environment of a plurality of output screens and operating method thereof

Publications (1)

Publication Number Publication Date
CN112513803A true CN112513803A (zh) 2021-03-16

Family

ID=69228684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051297.5A Pending CN112513803A (zh) 2018-07-31 2019-07-31 在多个输出屏幕的环境中控制虚拟输入界面的显示的电子设备及其操作方法

Country Status (5)

Country Link
US (1) US10929085B2 (zh)
EP (1) EP3803564A4 (zh)
KR (1) KR102527824B1 (zh)
CN (1) CN112513803A (zh)
WO (1) WO2020027562A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769320B (zh) * 2019-11-19 2021-10-15 三星电子（中国）研发中心 一种智能设备分享内容的方法、系统及装置
KR20220017193A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 전자 장치 및 전자 장치가 외부 장치 디스플레이 상에 어플리케이션 화면을 제공하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120251A1 (en) * 2011-11-15 2013-05-16 Samsung Electronics Co. Ltd. System and method for mutually controlling electronic devices
US20140136986A1 (en) * 2011-12-28 2014-05-15 Nokia Corporation Provision of an Open Instance of an Application
US20140267074A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated System and method for virtual user interface controls in multi-display configurations
WO2016032501A1 (en) * 2014-08-29 2016-03-03 Hewlett-Packard Development Company, L.P. Multi-device collaboration

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7614011B2 (en) * 2004-10-21 2009-11-03 International Business Machines Corporation Apparatus and method for display power saving
KR20130007811A (ko) * 2011-07-11 2013-01-21 삼성전자주식회사 외부 장치와 연결된 휴대 단말기의 화면 표시 방법 및 장치
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
CN103677711B (zh) * 2012-09-10 2018-07-20 三星电子株式会社 连接移动终端和外部显示器的方法和实现该方法的装置
EP2994806A1 (de) * 2013-09-20 2016-03-16 Siemens Aktiengesellschaft Gerät, system mit solchen geräten, verfahren zum realisieren des systems und computerprogrammprodukt zum realisieren des verfahrens
KR102310130B1 (ko) * 2014-09-01 2021-10-08 삼성전자주식회사 착용 가능한 전자 장치
KR102264806B1 (ko) * 2015-02-17 2021-06-14 삼성전자주식회사 스크린 미러링 서비스 제공방법 및 장치
US10043487B2 (en) * 2015-06-24 2018-08-07 Samsung Electronics Co., Ltd. Apparatus and method for split screen display on mobile device
US10067656B2 (en) * 2015-07-01 2018-09-04 Samsung Electronics Co., Ltd. Method and apparatus for context based application grouping in virtual reality
GB2545957B (en) * 2015-10-26 2019-09-18 Active Knowledge Ltd Shock-absorbing energy dissipation padding placed at eye level in an autonomous vehicle
US10019583B2 (en) * 2016-04-01 2018-07-10 Samsung Electronics Co., Ltd. Method and apparatus for performing protected walk-based shadow paging using multiple stages of page tables

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120251A1 (en) * 2011-11-15 2013-05-16 Samsung Electronics Co. Ltd. System and method for mutually controlling electronic devices
US20140136986A1 (en) * 2011-12-28 2014-05-15 Nokia Corporation Provision of an Open Instance of an Application
US20140267074A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated System and method for virtual user interface controls in multi-display configurations
WO2016032501A1 (en) * 2014-08-29 2016-03-03 Hewlett-Packard Development Company, L.P. Multi-device collaboration

Also Published As

Publication number Publication date
US20200042268A1 (en) 2020-02-06
KR20200014003A (ko) 2020-02-10
EP3803564A1 (en) 2021-04-14
KR102527824B1 (ko) 2023-05-02
US10929085B2 (en) 2021-02-23
EP3803564A4 (en) 2021-08-11
WO2020027562A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
KR20200067567A (ko) 전자 장치의 상태 정보에 기반하여 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
KR102599383B1 (ko) 분할된 화면 상에서 실행 가능한 어플리케이션 리스트를 디스플레이하는 전자 장치 및 전자 장치의 동작 방법
US11076037B2 (en) Electronic device for synchronizing modification among screens and operation method thereof
US20220122514A1 (en) Foldable electronic device and operation method for same
US20220004225A1 (en) Electronic device and method for performing fast transition between screens
KR102456456B1 (ko) 복수 개의 디스플레이를 가지는 전자 장치 및 제어 방법
EP3772681A1 (en) Electronic device and method for sharing data thereof
US20230343305A1 (en) Electronic device and method for operating high speed screen of electronic device
AU2014312541B2 (en) Method, apparatus, and recording medium for interworking with external terminal
US20220303379A1 (en) Electronic device including flexible display, and operating method thereof
US10929085B2 (en) Electronic apparatus for controlling display of virtual input interface in environment of a plurality of output screens and operating method thereof
CN111788819B (zh) 根据输入装置向应用转发用户输入的移动电子装置和方法
KR20190021568A (ko) 사용자 인터페이스의 입력 검출 영역을 설정하기 위한 방법 및 그 전자 장치
KR20160096645A (ko) 컴퓨팅 디바이스에 대한 장치의 결합
US20200341629A1 (en) Electronic device including display device including touch sensor
US11755171B2 (en) Electronic device and screenshot operation method for electronic device
US11169695B2 (en) Method for processing dynamic image and electronic device thereof
CN115379274B (zh) 基于图片的互动方法、装置、电子设备及存储介质
US20220156026A1 (en) Foldable electronic device for displaying user interface and method therefor
US20220214850A1 (en) Electronic device for seamlessly displaying images, and operating method therefor
KR20200133945A (ko) 전자 장치 및 페이지를 고속 스크롤하는 방법
KR20210121923A (ko) 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치
KR20200099306A (ko) 전자 장치 및 상기 전자 장치에서 실행되는 복수의 어플리케이션의 라이프 사이클을 관리하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination