CN115291780A - 一种辅助输入方法、电子设备及系统 - Google Patents

Abstract

本申请实施例提供一种辅助输入方法、电子设备及系统，能够简化向电子设备输入信息的复杂度。该系统包括：第一电子设备，用于接收用户输入的第一指令；响应于第一指令，显示第一界面；向第二电子设备发送第一输入控件集合的信息；第一界面包括第一输入控件集合的信息；第二电子设备，用于响应于接收到第一输入控件集合的信息，绘制并显示第二界面；获取用户通过第二输入控件集合中的第二输入控件输入的第一信息；向第一电子设备发送第一信息；第二界面包括第二输入控件集合，其中，第二输入控件集合与第一输入控件集合对应；第一电子设备，还用于从第二电子设备接收第一信息。

Description

一种辅助输入方法、电子设备及系统

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种辅助输入方法、电子设备及系统。

背景技术

目前，越来越多的用户选择使用大屏设备。用户可以通过与大屏设备进行交互，以满足不同的视听感受。

在用户与大屏设备交互的过程中，存在用户需要向大屏设备输入文本的场景。目前，针对文本输入场景，用户主要使用遥控器向大屏设备进行输入，输入效率较低。

针对遥控器输入文本效率较低的问题，目前，业界提出了分布式输入技术。在分布式输入技术中，可以借助输入体验友好的设备如手机，平板等，来辅助向大屏设备输入文本。图1示出了利用手机辅助向大屏设备输入文本的方案。在注册账号的场景下，如图1中(1)所示，用户通过遥控器向大屏设备输入指令，用于选中账号输入框，响应于选中账号的操作，大屏设备可以将账号输入框的信息发送给手机，进而手机显示图1中(2)所示包括账号输入框的界面，用户可以在该界面上输入账号信息。手机还可以将账号信息发送给大屏，以完成借助手机向大屏设备输入账号的目的。之后，用户继续使用遥控器向大屏设备输入指令，用于选中大屏设备的其他输入框，比如，选中图1中(3)所示密码输入框。响应于对密码输入框的选中操作，大屏设备可以将密码输入框的信息发送给手机，使得手机显示诸如图1中(4)所示包括密码输入框的界面，以便于用户使用手机输入密码。

可见，在目前的分布式输入方式中，虽然可借助手机输入文本，但仍需要频繁使用遥控器进行输入框之间的切换，操作复杂，输入体验仍然较差。

发明内容

本申请实施例提供一种辅助输入方法、电子设备及系统，能够简化向电子设备输入信息的复杂度。

为实现上述技术目的，本申请实施例采用如下技术方案：

第一方面，本申请实施例提供了一种辅助输入系统，该系统包括：

第一电子设备，用于接收用户输入的第一指令；响应于第一指令，显示第一界面；向第二电子设备发送第一输入控件集合的信息；第一界面包括第一输入控件集合的信息；

第二电子设备，用于响应于接收到第一输入控件集合的信息，绘制并显示第二界面；获取用户通过第二输入控件集合中的第二输入控件输入的第一信息；向第一电子设备发送第一信息；第二界面包括第二输入控件集合，其中，第二输入控件集合与第一输入控件集合对应；

第一电子设备，还用于从第二电子设备接收第一信息。

本申请实施例的技术方案中，第一电子设备能够将操作输入控件所需的信息发送给第二电子设备，使得后续的一系列针对输入控件的操作(比如选择输入框、切换输入框等)均可在第二电子设备侧执行，进而能够降低遥控器的使用频率，简化向第一电子设备输入信息的操作流程。

作为一种可能的设计，第二电子设备，还用于将第一输入控件集合的信息与第二输入控件集合的信息进行关联。

输入控件集合的信息包括但不限于输入控件的标识、名称等。

示例性的，以手机为第二电子设备、智慧屏为第一电子设备、输入控件为输入框为例，手机将映射到手机上的输入框的标识与智慧屏上的输入框的标识进行关联，并获取关联关系。

手机还可以将映射到手机上的输入框的其他一个或多个信息(比如名称)与智慧屏上的输入框的其他一个或多个信息进行关联。

作为一种可能的设计，第二电子设备，还用于向第一电子设备发送第一信息对应的如下一项或多项信息：第二输入控件对应的第一输入控件的标识、第二输入控件对应的第一输入控件的名称。

示例性的，以用户通过手机辅助向智慧屏的输入框输入文本为例，手机向智慧屏发送用户在输入框中输入的文本信息以及该输入框的标识。如此，智慧屏能够确定用户是在哪个输入框中输入的文本以及确定用户具体输入的文本。

再比如，手机向智慧屏发送用户在输入框中输入的文本信息以及该输入框的名称。再比如，手机向智慧屏发送用户在输入框中输入的文本信息、该输入框在智慧屏中的名称以及该输入框在智慧屏中的标识等。还可以有其他实现方式，只要能够让智慧屏确定用户是对哪个输入框进行的操作以及进行了哪种操作。

作为一种可能的设计，第二电子设备，还用于向第一电子设备发送第一信息对应的如下一项或多项信息：第二输入控件的标识、第二输入控件的名称。

这种实现方式中，智慧屏可以先对智慧屏中的输入控件信息与手机中的输入控件信息进行关联。

示例性的，以用户通过手机辅助向智慧屏的输入框输入文本为例，手机向智慧屏发送用户在输入框中输入的文本信息以及该输入框在手机中的标识(与输入框在智慧屏中的标识具有关联关系)。如此，智慧屏能够确定用户是在哪个输入框中输入的文本以及确定用户具体输入的文本。

再比如，手机向智慧屏发送用户在输入框中输入的文本信息以及该输入框的名称。再比如，手机向智慧屏发送用户在输入框中输入的文本信息、该输入框在手机中的名称以及该输入框在手机中的标识等。还可以有其他实现方式，只要能够让智慧屏确定用户是对哪个输入框进行的操作以及进行了哪种操作。

作为一种可能的设计，第一电子设备，还用于将第一信息显示在第一输入控件中，第一输入控件与第二输入控件对应。

作为一种可能的设计，第一电子设备，用于向第二电子设备发送第一输入控件集合的信息，包括：

接收用户输入的第二指令；

响应于第二指令，向第二电子设备发送第一输入控件集合的信息。

作为一种可能的设计，第一电子设备，还用于在向第二电子设备发送第一输入控件集合的信息之前，显示第三界面，第三界面用于提示用户是否使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，第一电子设备，用于向第二电子设备发送第一输入控件集合的信息，包括：

在检测到用户在第三界面输入的第三指令的情况下，向第二电子设备发送第一输入控件集合的信息，第三指令用于指示使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，第二电子设备，还用于在绘制并显示第二界面之前，显示第四界面，第四界面用于提示用户是否使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，第二电子设备，用于绘制并显示第二界面，包括：

在检测到用户在第四界面输入的第一指令的情况下，绘制并显示第二界面，第一指令用于指示使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，方法还包括：

接收用户输入的设置指令，设置指令用于设置如下任一种或多种类型的第一输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一界面中第一输入控件的布局与第二界面中第二输入控件的布局相同或不同。

作为一种可能的设计，第一输入控件集合中的输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一输入控件集合的信息包括如下任一项或多项信息：第一输入控件集合中第一输入控件的名称、标识、布局。

第二方面，提供一种辅助输入方法，应用于第一电子设备，方法包括：

接收用户输入的第一指令；

响应于第一指令，显示第一界面，第一界面包括第一输入控件集合的信息；

向第二电子设备发送第一输入控件集合的信息；第一输入控件集合的信息用于第二电子设备绘制并呈现包括第二输入控件集合的第二界面；其中，第二输入控件集合与第一输入控件集合对应；

从第二电子设备接收用户通过第二输入控件集合中的第二输入控件输入的第一信息。

作为一种可能的设计，方法还包括：从第一电子设备接收第一信息对应的如下一项或多项信息：第二输入控件的标识、第二输入控件的名称；

或者，从第一电子设备接收第一信息对应的如下一项或多项信息：第二输入控件对应的第一输入控件的标识、第一输入控件的名称。

作为一种可能的设计，方法还包括：将第一信息显示在第一输入控件中，第一输入控件与第二输入控件对应。

作为一种可能的设计，向第二电子设备发送第一输入控件集合的信息，包括：

接收用户输入的第二指令；

响应于第二指令，向第二电子设备发送第一输入控件集合的信息。

作为一种可能的设计，在向第二电子设备发送第一输入控件集合的信息之前，方法还包括：

显示第三界面，第三界面用于提示用户是否使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，向第二电子设备发送第一输入控件集合的信息，包括：

在检测到用户在第三界面输入的第三指令的情况下，向第二电子设备发送第一输入控件集合的信息，第三指令用于指示使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，第一界面中输入控件的布局与第二界面中输入控件的布局相同或不同。

作为一种可能的设计，方法还包括：

接收用户输入的设置指令，设置指令用于设置如下任一种或多种类型的第一输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一输入控件集合的第一输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一输入控件集合的信息包括如下任一项或多项信息：第一输入控件的名称、标识、布局。

第三方面，提供一种辅助输入方法，应用于第二电子设备，方法包括：

从第一电子设备接收第一输入控件集合的信息；

响应于接收到第一输入控件集合的信息，绘制并显示第二界面，第二界面包括第二输入控件集合，其中，第二输入控件集合与第一输入控件集合对应；

获取用户通过第二输入控件集合中的第二输入控件输入的第一信息；

向第一电子设备发送第一信息。

作为一种可能的设计，将第一输入控件集合的信息与第二输入控件集合的信息进行关联。

作为一种可能的设计，方法还包括：向第一电子设备发送第一信息对应的如下一项或多项信息：第二输入控件对应的第一输入控件的标识、第一输入控件的名称；

或者，向第一电子设备发送第一信息对应的如下一项或多项信息：第二输入控件的标识、第二输入控件的名称。

作为一种可能的设计，在绘制并显示第二界面之前，方法还包括：

显示第四界面，第四界面用于提示用户是否使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，绘制并显示第二界面，包括：

在检测到用户在第四界面输入的第一指令的情况下，绘制并显示第二界面，第一指令用于指示使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，第二输入控件集合中第二输入控件的布局与第一输入控件集合中第一输入控件的布局相同或不同。

作为一种可能的设计，第一输入控件集合中的第一输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一输入控件集合的信息包括如下任一项或多项信息：第一输入控件集合中第一输入控件的名称、标识、布局。

第四方面，提供一种第一电子设备，包括：

输入模块，用于接收用户输入的第一指令；

显示模块，用于响应于第一指令，显示第一界面，第一界面包括第一输入控件集合的信息；

通信模块，用于向第二电子设备发送第一输入控件集合的信息；第一输入控件集合的信息用于第二电子设备绘制并呈现包括第二输入控件集合的第二界面；其中，第二输入控件集合与第一输入控件集合对应；

通信模块，还用于从第二电子设备接收用户通过第二输入控件集合中的第二输入控件输入的第一信息。

作为一种可能的设计，通信模块，还用于从第一电子设备接收第一信息对应的如下一项或多项信息：第二输入控件的标识、第二输入控件的名称；

或者，通信模块，还用于从第一电子设备接收第一信息对应的如下一项或多项信息：第二输入控件对应的第一输入控件的标识、第一输入控件的名称。

作为一种可能的设计，显示模块，还用于将第一信息显示在第一输入控件中，第一输入控件与第二输入控件对应。

作为一种可能的设计，向第二电子设备发送第一输入控件集合的信息，包括：

接收用户输入的第二指令；

响应于第二指令，向第二电子设备发送第一输入控件集合的信息。

作为一种可能的设计，显示模块，还用于在向第二电子设备发送第一输入控件集合的信息之前，显示第三界面，第三界面用于提示用户是否使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，向第二电子设备发送第一输入控件集合的信息，包括：

在检测到用户在第三界面输入的第三指令的情况下，向第二电子设备发送第一输入控件集合的信息，第三指令用于指示使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，第一界面中输入控件的布局与第二界面中输入控件的布局相同或不同。

作为一种可能的设计，输入模块，还用于接收用户输入的设置指令，设置指令用于设置如下任一种或多种类型的第一输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一输入控件集合的第一输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一输入控件集合的信息包括如下任一项或多项信息：第一输入控件的名称、标识、布局。

第五方面，提供一种第二电子设备，包括：

通信模块，用于从第一电子设备接收第一输入控件集合的信息；

处理模块，用于响应于接收到第一输入控件集合的信息，绘制第二界面；

显示模块，用于显示第二界面，第二界面包括第二输入控件集合，其中，第二输入控件集合与第一输入控件集合对应；

处理模块，还用于获取用户通过第二输入控件集合中的第二输入控件输入的第一信息；

通信模块，还用于向第一电子设备发送第一信息。

作为一种可能的设计，处理模块，还用于将第一输入控件集合的信息与第二输入控件集合的信息进行关联。

作为一种可能的设计，通信模块，还用于向第一电子设备发送第一信息对应的如下一项或多项信息：第二输入控件对应的第一输入控件的标识、第一输入控件的名称；

或者，通信模块，还用于向第一电子设备发送第一信息对应的如下一项或多项信息：第二输入控件的标识、第二输入控件的名称。

作为一种可能的设计，显示模块，还用于在绘制并显示第二界面之前，显示第四界面，第四界面用于提示用户是否使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，绘制并显示第二界面，包括：

在检测到用户在第四界面输入的第一指令的情况下，绘制并显示第二界面，第一指令用于指示使用第二电子设备向第一电子设备输入信息。

作为一种可能的设计，第二输入控件集合中第二输入控件的布局与第一输入控件集合中第一输入控件的布局相同或不同。

作为一种可能的设计，第一输入控件集合中的第一输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

作为一种可能的设计，第一输入控件集合的信息包括如下任一项或多项信息：第一输入控件集合中第一输入控件的名称、标识、布局。

第六方面，本申请实施例提供一种芯片系统，该芯片系统应用于包括上述触摸屏的电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。该接口电路用于从电子设备的存储器接收信号，并向处理器发送该信号，该信号包括存储器中存储的计算机指令。当处理器执行计算机指令时，电子设备执行上述任意方面及其任一种可能的实施方式的方法。

第七方面，本申请实施例提供一种计算机存储介质，该计算机存储介质包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行任意方面任一种可能的实施方式的方法。

第八方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任意方面及其任一种可能的实施方式的方法。

附图说明

图1为本申请背景技术中向智慧屏输入信息的示意图；

图2为本申请实施例提供的系统架构示意图；

图3为本申请实施例提供的一种电子设备的结构示意图；

图4为本申请实施例提供的一种电子设备的软件架构实例示意图；

图5-1为本申请实施例提供的另一种电子设备的结构示意图；

图5-2为本申请实施例提供的另一种电子设备的软件架构实例示意图；

图6为本申请实施例提供的辅助输入方法的场景示意图；

图7-图9为本申请实施例提供的辅助输入方法的方法流程示意图；

图10-图17为本申请实施例提供的辅助输入方法的场景示意图；

图18为本申请实施例提供的辅助输入方法涉及的界面示意图；

图19为本申请实施例提供的一种电子设备的结构示意图；

图20为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例提供一种分布式场景下操作输入框的方法。以手机辅助向智慧屏输入为例，智慧屏可以将包括多个输入控件(比如输入框)的界面映射到手机，进而用户可以通过手机上的映射界面方便的操作输入控件。提升了用户与智慧屏的交互效率，简化了向智慧屏输入场景的操作复杂度。

本申请实施例提供的方法可以应用于分布式输入系统中。如图2示出了本申请实施例所适用的分布式输入系统的一种示例性架构，该分布式输入系统包括第二电子设备100和第一电子设备110。

其中，第二电子设备100可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、上网本，个人数字助理(personal digital assistant，PDA)等设备，本申请实施例对该电子设备的具体形态不作特殊限制。在一些示例中，第二电子设备100可以为用户提供便捷的输入体验。比如，当第二电子设备100为手机，用户可以通过手机的输入法软键盘输入相应字符。再比如，当第二电子设备100为电脑，用户可以通过外接键盘等方式方便的向电脑输入文字等信息。

第一电子设备110可以是但不限于是智慧屏等大屏设备。在不采用外接设备的情况下，第一电子设备110的文本输入操作较为繁杂。

在本申请实施例中，第二电子设备100和第一电子设备110之间可以建立连接。该连接可以是基于蓝牙协议的连接，也可以是无线保真(wireless fidelity，Wi-Fi)连接。本申请实施例并不限制该连接的协议标准类型。

在第二电子设备100和第一电子设备110建立连接的基础上，可以借助第二电子设备100的输入能力向第一电子设备110输入文本。

可选的，分布式输入系统还可包括遥控器。用户可通过遥控器向第一电子设备110输入指令。可选的，响应于该指令，第一电子设备110可初始选中某个输入框。

可选的，遥控器通过诸如蓝牙与第一电子设备110连接。或者，遥控器也可以通过其他短距离通信方式与第一电子设备110之间建立连接，以便进行通信。

可选的，本申请实施例的第二电子设备100、第一电子设备110可以处于同一局域网内。在另一些实施例中，第二电子设备100、第一电子设备110也可以分别处于不同局域网。

以第二电子设备100为手机为例，请参考图3，为本申请实施例提供的手机的一种示例性结构示意图。如图3所示，第二电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentification module，SIM)卡接口195等。

其中，上述传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L和骨传导传感器180M等传感器。

可以理解的是，本发明实施例示意的结构并不构成对第二电子设备100的具体限定。在本申请另一些实施例中，第二电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，比如在拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

以下实施例中的方法均可以在具有上述硬件结构的电子设备100中实现。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层系统架构(比如安卓或者鸿蒙系统等系统)为例，示例性说明电子设备100的软件结构。

图4是本申请实施例提供的电子设备100的软件结构框图。分层架构可将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，分层系统可包括三层，从上至下分别为应用程序层(简称应用层)，应用程序框架层(简称框架层)，以及内核层(也称为驱动层)。

其中，应用层可以包括一系列应用程序包。例如，应用程序包可以为相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息以及桌面启动(Launcher)等应用程序。在本申请实施例中，应用程序包括涉及输入框的应用。比如，浏览器，微信等应用。

框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。如图4所示，框架层可以包括窗口管理器(window manager service，WMS)和活动管理器(activity managerservice，AMS)等。可选的，框架层还可以包括内容提供器，视图(view)系统，电话管理器，资源管理器，通知管理器等(附图未示出)。

其中，窗口管理器WMS用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。活动管理器AMS用于负责管理Activity，负责系统中各组件的启动、切换、调度及应用程序的管理和调度等工作。

在本申请的一些实施例中，应用程序框架层的视图系统中可包括text view(文本视图)控件。text view控件可用于构建应用中的输入框，使得应用程序层中各个应用的输入框可基于text view控件实现信息输入过程。

示例性的，应用程序层中的各个应用中可以包含一个或多个输入框。例如，微信应用中包含与联系人聊天时使用的输入框以及用于搜索的输入框。包含输入框的应用可预先在text view控件中注册其所包含的输入框的ID。例如，注册时应用可将应用自身的包名(pack name)以及其输入框在应用中的标识等属性信息发送给text view控件。text view控件可为被注册的输入框生成一个能够唯一标识该输入框的ID。例如，text view控件可根据应用的包名以及该输入框在应用中的标识使用哈希算法(hash)生成该输入框的ID。这样，电子设备100中的每个输入框均可在text view控件中注册有一个唯一的ID，电子设备100可设置相应的数据库维护各个输入框的ID。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。内核层是硬件和软件之间的层。内核层可以包含显示驱动，输入/输出设备驱动(例如，键盘、触摸屏、耳机、扬声器、麦克风等)，摄像头驱动，音频驱动以及传感器驱动等。

其中，用户对电子设备100进行输入操作(如在输入框中输入文本的操作)，内核层可以根据输入操作产生响应的输入事件(如文本输入事件)并向应用程序框架层上报该事件。由应用程序框架层的活动管理器AMS设置界面显示。应用程序框架层的窗口管理器WMS根据AMS的设置绘制界面，然后将界面数据发送给内核层的显示驱动，由显示驱动在屏幕显示对应的界面。

上述图4仅为第二电子设备100的软件架构的一种可能示例，并不构成对第二电子设备100软件架构的限制。可以理解，第二电子设备100的软件架构还可以为其他。比如，在分层软件架构中，还可划分为更多层或更少层，并且每个层的具体功能不做限定。

示例性的，图5-1示出了第一电子设备110的一种示例性结构。如图5-1所示，第一电子设备110包括：处理器501、存储器502、收发器503。处理器501、存储器502的实现可参见第二电子设备100的处理器、存储器的实现。收发器503，用于第一电子设备110与其他设备(比如第二电子设备100)交互。收发器503可以是基于诸如Wi-Fi、蓝牙或其他通信协议的器件。上述图5-1仅为第一电子设备110的结构的一种可能示例，并不构成对第一电子设备110结构的限制。

第一电子设备110的软件架构可以与第二电子设备100的软件架构相同或不同。比如，第二电子设备100、第一电子设备110均采用安卓架构。再比如，第二电子设备100采用安卓架构，第一电子设备110采用鸿蒙架构。本申请实施例并不限制第二电子设备100和第一电子设备110的软件架构的具体实现。

示例性的，图5-2示出了第一电子设备110的一种示例性系统架构。该系统可包括四层，从上至下分别为应用程序层(简称应用层)，应用程序框架层(简称框架层)，系统服务层，以及内核层(也称为驱动层)。

其中，应用层可以包括一系列应用程序包。在本申请的一些实施例中，应用可以被原子化，具体的，应用可以由一个或多个能力(ability，又可称为原子能力等)组成。能力包括但不限于特征能力(feature ability，FA，又可称为元程序)和元能力(atomic ability，AA，又可称为元服务)。FA有UI界面，提供与用户交互的能力；AA无UI界面，提供后台运行任务的能力以及统一的数据访问抽象。FA、AA还可以有其他名称，本申请实施例对此不进行限制。

应用程序框架层可为应用程序层的应用程序提供API和编程框架。比如，提供用户界面(UI)框架，能力(ability)框架，用户程序框架。

可选的，应用程序框架层可以从应用程序获取当前界面中的元素的信息，并将这些元素信息发送给其他设备。其他设备可以根据这些元素信息绘制并显示界面。

其中，界面中的元素(可简称界面元素(interface element))是指可满足交互需求的软件或系统界面所包含的满足用户交互要求的一系列元素。元素包括但不限于如下一项或多项：输入框、表单、菜单、滚动条、按钮等。以输入框为例，输入框的信息包括但不限于输入框的标识(identity，ID)、名称。

本申请实施例中，将具有输入功能的元素称为输入控件。用户可以通过电子设备显示的输入控件向该电子设备输入信息。比如，输入框、表单等可用于用户输入文本，因此，可称为输入控件。再比如，通过拖动滑动条可以刷新电子设备显示的界面，滑动条也可称为输入控件。以第一电子设备为智慧屏，第二电子设备为手机为例，智慧屏可向手机发送多个输入控件(比如多个输入框)的信息，手机可根据多个输入框的信息绘制并在显示屏上显示该多个输入框。如此，用户可通过操作手机来操作该多个输入控件，比如，用户通过操作手机来向输入框中输入文本，并可通过操作手机切换输入框。

并且，手机可将用户对输入框的操作传递给智慧屏，以便间接控制操作智慧屏上的输入框。即，用户可借助手机操作智慧屏上的输入框。

本申请实施例中，将包括输入控件的界面统称为输入界面。比如，包括文本框的界面可称为输入界面。

系统服务层是系统的核心能力集合，通过框架层对应用程序提供服务。该层包含以下几个部分：

系统基本能力子系统集：为分布式应用在多设备上的运行、调度、迁移等操作提供了基础能力，由分布式软总线、分布式数据管理、分布式任务调度、方舟多语言运行时、公共基础库、多模输入、图形、安全、AI等子系统组成。

其中，分布式软总线是可以用于设备之间通信的逻辑通道。

基本软件服务子系统集：为系统提供公共的、通用的软件服务，由事件通知、电话、多媒体、DFX、MSDP&DV等子系统组成。

增强软件服务子系统集：为系统提供针对不同设备的、差异化的能力增强型软件服务，由智慧屏专有业务、穿戴专有业务、IoT专有业务等子系统组成。

硬件服务子系统集：提供硬件服务，由位置服务、生物特征识别、穿戴专有硬件服务、IoT专有硬件服务等子系统组成。

根据不同设备形态的部署环境，基本软件服务子系统集、增强软件服务子系统集、硬件服务子系统集内部可以按子系统粒度裁剪，每个子系统内部又可以按功能粒度裁剪。

内核层分为内核子系统和驱动子系统。

内核子系统：采用多内核设计。内核抽象层(kernel abstract layer，KAL)通过屏蔽多内核差异，对上层提供基础的内核能力，包括进程/线程管理、内存管理、文件系统、网络管理和外设管理等。

驱动子系统：提供统一外设访问能力和驱动开发、管理框架。

上述图5-2仅为第一电子设备110的软件架构的一种可能示例，并不构成对第一电子设备110的软件架构的限制。

以下以手机作为上述第二电子设备，智慧屏作为上述第一电子设备为例，结合附图详细阐述本申请实施例提供的一种操作输入框的方法。

需要说明的是，本申请实施例中涉及的输入框可以是具有搜索功能的输入框，例如，浏览器应用中的输入框，也可以是单纯用于交互信息的输入框，例如，短信应用中的短消息输入框、微信应用中与联系人的聊天输入框等。用户可以向输入框中输入文字、字母、数字、符号、图片以及表情等信息，本申请实施例对此不做任何限制。

如图6中(1)所示，遥控器与智慧屏之间已建立连接，该连接比如可以是蓝牙连接。用户操作遥控器，响应于用户的操作，触发遥控器向智慧屏发送蓝牙信号，智慧屏接收并解析蓝牙信号，确定该蓝牙信号用于指示智慧屏打开注册界面，则显示图6中(1)所示的注册界面1(第一界面的一种示例)。

之后，智慧屏可以向手机发送注册界面1的信息，注册界面1的信息包括注册界面1中多个输入框的信息(第一输入控件集合的信息的一种示例)。如此一来，手机可以根据注册界面1的信息绘制并显示如图6中(2)所示注册界面2。其中，注册界面2包括上述多个输入框。

需要说明的是，在智慧屏向手机发送注册界面1之前，智慧屏与手机之间可以进行安全认证。作为一种可能的实现方式，智慧屏可以验证与手机是否登录同一账号，当确定手机与智慧屏登录同一账号，则确定智慧屏与手机之间可以形成安全连接。或者，智慧屏与手机之间还可以通过其他方式进行安全认证，本申请实施例对安全认证的具体实现方式不做限制。

本申请实施例中，用户可以通过手机的注册界面2来操作输入框。

比如，如图6中(2)所示，响应于用户在注册界面2上进行的诸如触摸账号输入框的操作，手机选中账号输入框。之后，如图6中(3)所示，手机检测用户在账号输入框中输入的文本“Jack1”，并将输入的文本显示在账号输入框中。手机还可以将检测到的输入账号发送给智慧屏，以便在智慧屏上显示用户输入的账号。

再比如，如图6中(4)所示，在对账号输入框完成输入之后，用户还可以通过操作手机切换至密码输入框，以便完成密码录入。相应的，在切换至密码输入框之后，手机检测用户在密码输入框中输入的密码，并可以将检测到的输入密码发送给智慧屏，以便在智慧屏上显示用户输入的密码。可选的，为降低隐私泄露风险，智慧屏可以隐藏显示该密码，比如，将密码显示为******。

可见，本申请实施例的技术方案中，用户可以借助输入能力较强的手机等设备，向输入能力较弱的智慧屏等设备输入文本。并且，由于智慧屏能够将操作输入框所需的全部或大部分信息发送给手机，因此，后续的一系列针对输入框的操作(包括但不限于选择输入框、切换输入框等)均可在手机侧执行，进而能够降低遥控器的使用频率，简化输入文本的操作流程。

如下以用户打开智慧屏中浏览器的注册界面，并通过手机辅助对该注册界面进行操作为例对本申请实施例的操作输入框的方法进行说明。该方法可包括如下流程：智慧屏通过与手机之间的连接将注册界面映射到手机、用户通过手机选择或切换输入框、用户通过手机输入或删除文本。

首先，介绍智慧屏向手机映射注册界面的过程，如图7所示，该方法包括如下步骤：

1、检测到用户输入的指令1，智慧屏显示浏览器的注册界面1。

在一些实施例中，本申请实施例中手机辅助智慧屏输入方案的前提条件是手机和智慧屏处于同一局域网，且手机和智慧屏登录同一账号(比如登录同一个华为账号)。在另一些实施例中，手机和智慧屏还可以处于不同局域网。本申请实施例中手机辅助智慧屏输入方案的前提条件还可以是其他，本申请实施例不做限定。

本申请实施例中，用户可以通过各种方式向智慧屏输入指令1，智慧屏检测到指令1后，可显示相应的输入界面(比如包括输入框的注册界面)。比如，用户可以通过遥控器向智慧屏发送蓝牙指令，智慧屏的蓝牙模块接收到蓝牙指令后，通过内核层向浏览器应用传递该蓝牙指令，浏览器应用识别该蓝牙指令为用于打开注册界面1的指令，并调用框架层的诸如SurfaceFlinger服务，将经过测量、布局和绘制后的Surface送显。如此，显示屏能够显示图6中(1)所示的浏览器的注册界面1。

再比如，智慧屏检测到用户通过隔空手势向智慧屏输入的一个或多个指令，并确定用户想打开浏览器的注册界面1，那么，智慧屏可显示相应注册界面1。

本申请实施例并不限制用户向智慧屏输入指令的方式。

2、浏览器向输入管理服务1传递注册界面1中界面元素的信息。

在一些实施例中，在检测到用户输入的上述指令1后，浏览器向输入管理服务1传递注册界面1的界面元素信息。

可选的，浏览器可以向输入管理服务1传递注册界面1中全部界面元素的信息。或者，可选的，浏览器可以向输入管理服务1传递注册界面1中预设类型界面元素的信息。界面元素的信息包括但不限于界面元素的ID、名称(也可成标题等)、布局(layout)等。界面元素的布局用于表示界面元素的尺寸，界面元素在界面中的位置、界面元素之间的位置关系等。

可选的，预设类型的界面元素可以是具有输入功能的输入控件。具有输入功能的输入控件包括但不限于如下一项或多项控件：输入框(或文本框)、表单、按钮、滑块进度条、复选框、缩放按钮和开关按钮。

示例性的，浏览器向输入管理服务1传递多类输入控件的信息。比如，浏览器向输入管理服务1传递如图6中(1)所示注册界面1中的账号输入框的ID、名称(即账号)、布局，邮件输入框的ID、名称(邮件)、布局，密码输入框的ID、名称(密码)、布局，姓输入框的ID、名称(姓)、布局，名输入框的ID、名称(名)、布局，“立即注册”按钮的D、名称、布局。

再示例性的，浏览器向输入管理服务1传递单一类型输入控件的信息。比如，智慧屏的浏览器向输入管理服务1传递如图13-1中(1)所示注册界面1中的账号输入框的ID、名称(即账号)、布局，邮件输入框的ID、名称(邮件)、布局，密码输入框的ID、名称(密码)、布局，姓输入框的ID、名称(姓)、布局，名输入框的ID、名称(名)、布局。后续，输入管理服务1向手机传递这些界面元素的信息，手机可显示诸如图13-1中(2)所示注册界面2。

在另一些实施例中，在检测到用户输入指令1后的预设时段内，智慧屏仍未退出注册界面(换言之，智慧屏的界面仍停留在输入界面)，说明用户的意图很可能或大概率是在输入界面进行输入，那么，浏览器向输入管理服务1传递注册界面1的界面元素信息。

在另一些实施例中，在检测到用户通过注册界面1输入的用于选中输入框1的指令2之后，浏览器向输入管理服务1传递注册界面1的界面元素信息。比如，如图10中(1)所示，响应于用户输入的指令1，智慧屏打开浏览器的注册界面。如图10中(2)所示，用户通过遥控器向智慧屏发送指令2，用于选中注册界面1中的账号输入框。那么，检测到该指令2后，浏览器向输入管理服务1传递注册界面1的界面元素信息。后续，输入管理服务1可以将界面元素信息发给手机，手机可显示图10中(3)所示的注册界面2。

可选的，在检测到用户通过注册界面1输入的用于选中输入框1的指令2(第二指令的一种示例)之后，浏览器还可以调用SurfaceFlinger服务将输入框的UI效果相关的Surface送显，这样一来，智慧屏可以以特定UI效果呈现输入框，以便用户得知已选中该输入框。比如，如图10中(2)所示，将账号输入框加粗显示。再比如，改变输入框的边框颜色。可选的，智慧屏还可以在输入框中显示光标。可选的，智慧屏还可以显示输入法的虚拟键盘。

需要说明的是，上述仅示例性列举出几种浏览器向输入管理服务1传递注册界面1的界面元素信息的时机，本申请实施例对浏览器向输入管理服务1传递界面元素信息的时机、条件等不做限制。

此外，用户可以通过遥控器向智慧屏输入上述指令2或指令1，或者通过隔空手势向智慧屏输入指令2或指令1。本申请实施例不限制用户输入指令2、指令1(以及其他指令)的具体方式。

可选的，输入管理服务可以位于框架层。或者，输入管理服务可以位于其他层，本申请实施例对此不限制。

3、输入管理服务1将注册界面1中界面元素的信息打包为结构体。

作为一种可能的实现方式，可以构造struct stu{}这一数据结构体，将注册界面1中界面元素的信息，比如，以界面元素为图6中(1)所示的“账号”输入框、“邮件”输入框、“密码”输入框、“姓”输入框、“名”输入框、“立即注册”按钮为例，输入管理服务1可以将这些界面元素的信息作为结构体struct stu{}中的成员。

本步骤3可以为可选步骤，即不需执行步骤3。比如，在一些实现方式中，输入管理服务1可以不将各个界面元素的信息打包进数据结构体。

4、智慧屏通过输入管理服务1与手机的输入管理服务2进行连接。

作为一种可能的实现方式，步骤4可以实现为：步骤4-1、输入管理服务1通过驱动调用通信模块(比如Wi-Fi芯片)向手机的输入管理服务2发送连接请求，并可以在该连接请求中携带用于与手机进行通信的跨进程接口信息(还可携带其他信息)。步骤4-2、输入管理服务2接收到连接请求后，可以通过驱动调用通信模块向输入管理服务1发送连接响应，该连接响应可携带用于与输入管理服务1进行通信的跨进程接口信息(还可以携带其他信息)。这样一来，通信的双方，即手机和智慧屏均知晓与对方通信所使用的跨进程通信接口，便可以建立之间的通信通道。后续，手机和智慧屏之间可以通过相应跨进程接口通信。

需要说明的是，输入管理服务1与输入管理服务2之间建立连接的执行时机可以是在输入管理服务1打包界面元素的结构体之后。也可以是在输入管理服务1打包结构体之前。比如，智慧屏可以监听自己感兴趣的设备(比如手机)，这样一来，在手机上线(比如开机连接至同一Wi-Fi)后，智慧屏可自动发现和连接手机。本申请实施例并不限制连接的具体时机。

5、输入管理服务1向输入管理服务2发送包括界面元素信息的结构体。

可以理解，在手机与智慧屏建立连接之后，智慧屏可以向手机发送输入控件的信息。示例性的，智慧屏可以在显示注册界面1之后，立即向手机发送输入控件的信息。或者，在显示注册界面1的预设时段后，向手机发送输入控件的信息。或者，在接收到用户输入的第二指令(比如图10所示指令2)的情况下，向所述第二电子设备发送所述多个输入控件的信息。

在获取到与手机之间的跨进程接口之后，输入管理服务1通过分布式软总线(即手机与智慧屏之间的逻辑通道)向输入管理服务2传递结构体。

如上文所提及的，本申请实施例中，可以在用户打开包括输入控件的界面后，触发智慧屏向手机传递包括界面元素信息(比如包括输入框ID、名称等信息)的结构体。也可以是用户通过智慧屏选中某一输入控件后，触发智慧屏向手机传递包括界面元素信息的结构体。或者，其他时机或条件触发智慧屏向手机传递该结构体，以便将智慧屏上显示的界面映射到手机。本申请实施例对智慧屏向手机传递结构体的时机或触发条件不做限制。

6、输入管理服务2解析该结构体，获取注册界面1中界面元素的信息。

仍以图6中(1)所示注册界面为例，各界面元素的信息包括账号输入框的ID、名称(即账号)、布局，邮件输入框的ID、名称(邮件)、布局，密码输入框的ID、名称(密码)、布局，姓输入框的ID、名称(姓)、布局，名输入框的ID、名称(名)、布局，“立即注册”按钮的ID、名称、布局。

可选的，输入管理服务2可以根据界面元素的信息以及手机的特性，对界面元素进行重新布局，以便适应手机特性。比如，根据手机屏幕尺寸自适应调整各界面元素的位置、尺寸，更改一些界面元素的UI效果等。

本申请实施例中，涉及的全部或部分界面元素，或者在输入控件中的输入信息，可以进行适配显示。

可选的，适配显示方式可以有多种，例如只显示输入框，或者，在输入框中显示待输入的内容等。

步骤6可以为可选步骤。作为一种可能的实现方式，若上述步骤3中，输入管理服务1并未将各界面元素的信息打包进数据结构体，则输入管理服务2可以不执行步骤6，而是直接向辅助输入能力透传注册界面1中界面元素的信息。

7、输入管理服务2向辅助输入能力传递注册界面1中界面元素的信息。

8、辅助输入能力基于注册界面1中界面元素的信息，调用界面合成服务合成注册界面2。

其中，界面合成服务用于合成界面，并将合成的界面传递至显示屏，以便显示屏呈现界面。可选的，界面合成服务可以为SurfaceFlinger服务。或者，还可以为其他，本申请实施例对用于合成界面的服务不做限制。

作为一种可能的实现方式，辅助输入能力向SurfaceFlinger传递注册界面1中界面元素的信息，SurfaceFlinger据此合成注册界面2。

可选的，界面合成服务可以位于框架层，或者位于其他层，本申请实施例对此不限制。

9、界面合成服务将注册界面2传递到显示屏显示。

示例性的，SurfaceFlinger通过显示驱动将注册界面2传递到显示屏。

这样一来，手机显示屏可以基于Surface显示诸如图6中(2)所示注册界面2(即第二界面)。注册界面2包括多个输入框(第二输入控件集合)。也就是说，本申请实施例中，可以将显示在智慧屏上的界面映射到手机上。后续，用户可以方便的通过手机上的映射界面进行输入操作，降低使用遥控器对智慧屏进行输入的概率，进而降低向智慧屏进行输入的操作复杂度。

可以理解，用户通过手机上的映射界面方便的对输入框进行操作。用户对输入框的操作包括但不限于选择输入框、切换输入框、在输入框中输入文本、删除输入框中的部分文本。

第二输入控件的布局与第一输入控件的布局可以相同或不同。

图7示出了手机、智慧屏之间的交互流程，也示出了智慧屏以及手机内部一些模块之间的交互过程。在另一些实施例中，设备内部的模块还可以有其他划分方式，比如拆分某些模块，组合某些模块，或有其他模块布局等。相应的，设备内部一些模块之间的交互可能发生变化。比如，可以将图7所示输入管理服务2同时集成有界面合成服务的功能，相应的，图7所示步骤8，可以替换为：辅助输入能力基于注册界面1中界面元素的信息，调用输入管理服务2合成注册界面2。类似的，图7所示步骤9可以替换为：输入管理服务2将注册界面2传递到显示屏显示。

首先，结合图8介绍用户通过手机辅助选择或切换智慧屏上的输入框的场景中，手机与智慧屏之间的交互流程。如图8所示，该流程包括：

10、辅助输入能力检测用户输入的用于选择账号输入框的操作。

用于选择输入框的操作比如可以但不限于为点击、双击、长按、重压输入框。

比如，如图6中(2)所示，用户通过诸如点击账号输入框的方式向手机输入触摸操作，触摸传感器180K将接收的触摸操作(比如可包括触摸操作的坐标、触摸操作的时间戳等)，通过内核层的传感器驱动传至上层的辅助输入能力，由辅助输入能力检测识别出该触摸操作为选中账号输入框的操作。

11、辅助输入能力向输入管理服务1传递输入框选定信息。

其中，输入框选定信息用于指示用户选择的输入框。

可以理解，在辅助输入能力检测到用户输入的用于选择输入框的操作后，可以向手机传递该操作信息，以便手机获知用户对输入框的操作。

作为一种可能的实现方式，辅助输入能力先向输入管理服务2发送输入框选定信息，输入管理服务2再调用通信模块向输入管理服务1传递输入框选定信息。

12、辅助输入能力调用输入法应用。

可以理解，通常，用户在选择输入框之后，往往会在输入框中输入文本。基于用户的该行为特征，本申请实施例中，如图6中(2)所示，在辅助输入能力检测到用户输入的用于选择输入框的操作后，可以调用输入法应用，还可显示虚拟键盘。

可选的，在辅助输入能力检测到用户输入的用于选择输入框的操作后，还可以调用在输入框中显示光标。

13、输入管理服务1向浏览器传递选择的输入框信息。

14、浏览器调用界面合成服务合成界面。

示例性的，SurfaceFlinger服务合成界面(Surface)。

15、界面合成服务将合成的界面传递至显示屏。

示例性的，SurfaceFlinger服务将合成的Surface传递至显示屏。

可以理解，浏览器接收输入框选定信息之后，能够获知用户选定了账号输入框，那么，为了在智慧屏侧提示用户已选中账号输入框，智慧屏可以以预设UI效果呈现账号输入框。作为一种可能的实现方式，浏览器调用SurfaceFlinger服务合成Surface，SurfaceFlinger合成的Surface可以具有预设UI效果。之后，SurfaceFlinger将合成的Surface传递该显示屏，如此一来，显示屏显示可以以预设UI效果呈现账号输入框。比如，显示屏以高亮效果显示账号输入框。再比如，如图6中(2)所示，智慧屏以加粗边框的效果显示账号输入框。本申请实施例对智慧屏用于呈现选定输入框的UI效果不做限定。

如上文描述，设备内部的一些模块可以有其他划分方式，基于此，图8所示流程可能发生变化。比如，图8所示的输入管理服务1集成有界面合成服务的功能。那么，图8所示步骤14可以替换为：浏览器调用输入管理服务1合成界面，类似的，步骤15可以替换为：输入管理服务1将合成的界面传递至显示屏。

需要说明的是，图8所示流程中，各步骤之间的顺序可以为其他。本申请实施例对各步骤之间的执行先后顺序不进行限制。比如，步骤11可以在步骤12之前执行，或在步骤12之后执行，或与步骤12同时执行。再比如，步骤12与步骤13之间的执行顺序也可以是先执行步骤12，再执行步骤13，或者，先执行步骤13再执行步骤12，或同时执行步骤12、步骤13。

接下来，以在输入框中输入文本为例，介绍用户通过手机的虚拟键盘辅助向智慧屏输入文本的场景下，手机与智慧屏之间的交互流程。如图9所示，该流程包括：

16、输入法应用检测用户通过虚拟键盘(输入控件)输入的信息(即输入的文本信息)。

17、输入法应用向辅助输入能力传递用户输入文本的信息。

示例性的，如图6中(3)所示，用户通过虚拟键盘在账号输入框中输入文本“Jack1”，输入法应用检测到用户输入的操作信息(比如虚拟键盘的编码值，或通过虚拟键盘的编码值获知用户输入了“Jack1”)，并向辅助输入能力传递该操作信息。

18、辅助输入能力调用与输入管理服务1之间的跨进程接口，向输入管理服务1传递用户输入文本的信息。

19、输入管理服务1向浏览器传递用户输入文本的信息。

20、浏览器基于用户输入文本的信息，调用界面合成服务合成界面。

其中，界面合成服务比如可以但不限于是SurfaceFlinger。合成的界面包括输入文本的信息，仍如图6中(3)所示，在用户在输入框中输入文本“Jack1”的情况下，合成的界面包括用户输入文本的信息“Jack1”。

21、界面合成服务将合成的界面传递至显示屏。

仍如图6中(3)所示，用户在手机侧的账号输入框中输入文本“Jack1”，则手机可以将该文本的信息发送给智慧屏，如此，智慧屏可在账号输入框显示该输入文本“Jack1”(第一信息的一种示例)。可见，用户可以通过手机方便的向智慧屏的输入框中输入文本。

可选的，图9所示的界面合成服务的功能和输入管理服务1的功能可以集成到同一模块(比如集成到输入管理服务1)，相应的，图9所示流程发生变化。比如，步骤20可以替换为：浏览器基于用户输入文本的信息，调用输入管理服务1合成界面。步骤21可以替换为：输入管理服务1将合成的界面传递至显示屏。

在一些实施例中，在检测到用户打开包括输入控件的界面，或检测到用户在该界面选中了某个输入控件等场景中，智慧屏可以确定用户需要向智慧屏输入文本等信息，那么，智慧屏可以提示用户使用手机进行辅助输入，或者，智慧屏可以向手机发送辅助输入通知提醒，以便提示用户是否使用手机辅助向智慧屏输入。

比如，以智慧屏可以向手机发送辅助输入通知提醒为例，如图11(1)和(2)所示，智慧屏打开包括输入框的注册界面1后，向手机发送弹窗信息，以使得手机显示弹窗101(第四界面的一种示例)。在检测到用户的诸如点击“是”的操作(第一指令的一种示例)后，手机可显示如图11中(3)所示注册界面2。

可选的，智慧屏可以在用户点击“是”之前将注册界面1中界面元素的信息发给手机，手机缓存界面元素的信息，在用户点击“是”之后，手机根据缓存的界面元素的信息绘制并显示注册界面2。或者，手机可以将用户点击“是”的操作发送给智慧屏，以触发智慧屏向手机发送注册界面1中界面元素的信息。这样一来，手机在接收到界面元素的信息之后，可绘制并显示注册界面2。本申请实施例并不限制智慧屏向手机发送界面元素信息的时机或触发条件。

再比如，以智慧屏提示用户使用手机辅助输入为例，如图12中(1)所示，在检测到用户输入的打开注册界面1的指令1后，智慧屏弹出图12中(2)所示的提示框(第三界面的一种示例)，用于提示用户是否使用是否辅助向智慧屏输入。当检测到用户点击“是”(第三指令的一种示例)，智慧屏可向手机发送注册界面中的界面元素的信息，手机可根据界面元素的信息显示如图12中(3)所示的注册界面2。

在另一些实施例中，还可以是智慧屏和手机均向用户提示是否使用手机辅助输入。并且，智慧屏、手机提示用户的方式可以是通过界面通知，也可以是通过其他诸如语音方式提示。本申请实施例并不限制向用户提示的具体设备以及方式。

在一些实施例中，手机向智慧屏发送输入框的输入结果，可以是如图6所示，实时向智慧屏发送输入框的输入结果。在另一些实施例中，还可以是手机在检测到输入框中输入的部分文本后，向智慧屏发送该部分文本的输入结果。如图13-2中(1)-(4)所示，手机在账号输入框输入完成后，向智慧屏发送账号输入框的输入结果。

上述主要以输入框为输入控件为例，来说明本申请实施例的技术方案，在另一些实施例中，输入控件还可以为其他。比如，可以为图14中(1)所示的视频控件、文字控件。通常，在视频搜索界面1，用户可以通过诸如点击视频控件或文字控件选择所需观看的视频资源。具体的，作为一种方案，现有技术中，用户通常通过遥控器在图14中(1)所示的视频搜索界面1中选择所需观看的视频。在一些情况下，如果用户想观看的视频在视频搜索界面1中位置靠下，则用户需频繁操控遥控器，以便选中目标视频，导致用户找到目标视频的效率较低。

其中，视频控件、文字控件可视为用于选中视频资源的按钮，也是一种输入控件。

为了提升用户找到目标视频的效率，在本申请的一些实施例中，如图14中(2)所示，可以将智慧屏的视频搜索界面1的界面元素信息发送到手机，手机根据这些界面元素信息显示图14中(3)所示视频搜索界面2。如此，用户可通过手机的视频搜索界面2来选择目标视频，比如选择电影5，也就是用户可通过手机辅助向智慧屏输入视频搜索结果，以便简化选择目标视频的操作复杂度。

可选的，智慧屏映射到手机上的视频搜索界面2可以与智慧屏上的视频搜索界面1相同或不同。或者说，手机可以对智慧屏上的视频搜索界面1进行适配，并显示相应的视频搜索界面2。

作为一种可能的设计，手机上的视频搜索界面2可以为对视频搜索界面1进行简化后的界面。比如，如图15的(1)-(2)所示，视频搜索界面2中的视频控件可以是默认UI效果的图标，而并不绘制具体视频资源对应的图标。或者，手机上的视频搜索界面2还可以有其他实现方式，比如，不显示图14或图15所示视频控件。

再比如，图16示出了视频搜索界面2的又一示例，映射到手机上的视频搜索界面2可以仅包括搜索框。本申请实施例对映射到手机上的视频搜索界面2不进行限制。

可以理解，当手机上映射有视频搜索界面2后，如图15中(2)所示，用户可以通过手机选择诸如电影5，以触发手机向智慧屏发送用户的视频搜索结果。智慧屏在获知用户选择了电影5之后，可以播放电影5，以供用户观看。

再比如，如图17中(1)和图17中(2)所示，当手机上映射有搜索框后，如图17中(3)所示，用户在搜索框中输入文字“电影”，并点击搜索控件

手机可显示搜索到的多个电影。手机可向智慧屏发送用户在搜索框中输入的文字信息，如此，智慧屏也可以显示搜索到的多个电影。如图17中(4)所示，手机界面中还可以包括滑动条，用户可以通过操作滑动条来刷新搜索的电影。可选的，手机可以在检测到用户拖动滑动条的操作后，向智慧屏发送用户的操作信息，以便智慧屏同步显刷新搜索的电影。

可选的，用户通过手机辅助向智慧屏输入视频搜索结果，还可以参考用户通过手机向智慧屏的输入框输入文本的相关技术方案。比如，在智慧屏检测到用户打开视频搜索界面1后，向用户提示是否使用手机辅助输入。再比如，在智慧屏检测到用户打开视频搜索界面1后，向手机发送提示通知，以便手机提示用户是否使用手机辅助输入。再比如，在智慧屏检测到用户打开视频搜索界面1后，响应于用户向智慧屏输入的特定操作(比如预设的手势操作)，触发智慧屏向手机映射视频搜索界面2以及后续流程。

在一些实施例中，智慧屏可以默认设置需映射到手机上的输入控件(即手机辅助输入的对象)，或者，用户也可以预先设置手机辅助场景下需映射到手机上的输入控件。示例性的，如图18所示，用户可以通过开关102开启手机辅助输入功能，以便在智慧屏检测到需要手机辅助输入的场景下，指示通过手机辅助输入。用户还可以设置或添加需开启手机辅助输入功能的应用程序(比如浏览器)。以用户开启浏览器的手机辅助输入功能为例，用户还可对手机辅助输入的对象进行设置(用户可以通过设置指令进行设置)。后续，当智慧屏检测到满足手机辅助输入的条件(比如用户打开了预设应用)时，可将输入框等输入控件映射到手机上，从而可通过手机方便的向智慧屏输入信息，简化向智慧屏输入信息的过程，提高智慧屏与用户之间的交互效率。

本申请实施例中，不限制各步骤之间的执行顺序。

本申请另一些实施例提供了一种装置，该装置可以是上述第一电子设备或第二电子设备。该装置可以包括：显示屏、存储器和一个或多个处理器。该显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图3所示的电子设备100的结构或图5-1所示的电子设备。

其中，该电子设备的核心结构可以表示为图19所示的结构，电子设备包括：处理模块1301、输入模块1302、存储模块1303、显示模块1304和通信模块1305。

处理模块1301，可包括中央处理器(CPU)、应用处理器(Application Processor，AP)或通信处理器(Communication Processor，CP)中的至少一个。处理模块1301可执行与用户电子设备的其他元件中的至少一个的控制和/或通信相关的操作或数据处理。具体地，处理模块1301可用于根据一定的触发条件，控制主屏上显示的内容。或者根据预设规则确定屏幕上显示的内容。处理模块1301还用于将输入的指令或数据进行处理，并根据处理后的数据确定显示样式。处理模块1301还包括渲染引擎等，以用于渲染界面元素UI。

输入模块1302，用于获取用户输入的指令或数据，并将获取到的指令或数据传输到电子设备的其他模块。具体地说，输入模块1302的输入方式可以包括触摸、手势、接近屏幕等，也可以是语音输入。例如，输入模块可以是电子设备的屏幕，获取用户的输入操作并根据获取到的输入操作生成输入信号，将输入信号传输至处理模块1301。

存储模块1303，可包括易失性存储器和/或非易失性存储器。存储模块用于存储用户终端设备的其他模块中的至少一个相关的指令或数据，具体地说，存储模块可记录终端界面元素UI所在界面的位置。

显示模块1304，可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。用于显示用户可观看的内容(例如，文本、图像、视频、图标、符号等)。

通信模块1305，用于支持个人终端(通过通信网络)与其他个人终端通信。例如，通信模块可经由无线通信或有线通信连接到网络，以与其他个人终端或网络服务器进行通信。无线通信可采用蜂窝通信协议中的至少一个，诸如，长期演进(LTE)、高级长期演进(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。无线通信可包括例如短距通信。短距通信可包括无线保真(Wi-Fi)、蓝牙、近场通信(NFC)、磁条传输(MST)或GNSS中的至少一个。

本申请实施例还提供一种芯片系统，如图20所示，该芯片系统包括至少一个处理器1401和至少一个接口电路1402。处理器1401和接口电路1402可通过线路互联。例如，接口电路1402可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路1402可用于向其它装置(例如处理器1401)发送信号。示例性的，接口电路1402可读取存储器中存储的指令，并将该指令发送给处理器1401。当所述指令被处理器1401执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (32)

1.一种辅助输入系统，其特征在于，包括：

第一电子设备，用于接收用户输入的第一指令；响应于所述第一指令，显示第一界面；向第二电子设备发送第一输入控件集合的信息；所述第一界面包括所述第一输入控件集合的信息；

所述第二电子设备，用于响应于接收到所述第一输入控件集合的信息，绘制并显示第二界面；获取用户通过第二输入控件集合中的第二输入控件输入的第一信息；向所述第一电子设备发送所述第一信息；所述第二界面包括所述第二输入控件集合，其中，所述第二输入控件集合与所述第一输入控件集合对应；

所述第一电子设备，还用于从所述第二电子设备接收所述第一信息。

2.根据权利要求1所述的辅助输入系统，其特征在于，所述第二电子设备，还用于将所述第一输入控件集合的信息与所述第二输入控件集合的信息进行关联。

3.根据权利要求1或2所述的辅助输入系统，其特征在于，所述第二电子设备，还用于向所述第一电子设备发送所述第一信息对应的如下一项或多项信息：所述第二输入控件的标识、所述第二输入控件的名称；

或者，用于向所述第一电子设备发送所述第一信息对应的如下一项或多项信息：所述第二输入控件对应的第一输入控件的标识、所述第二输入控件对应的第一输入控件的名称。

4.根据权利要求1-3中任一项所述的辅助输入系统，其特征在于，所述第一电子设备，还用于将所述第一信息显示在第一输入控件中，所述第一输入控件与所述第二输入控件对应。

5.根据权利要求1-4中任一项所述的辅助输入系统，其特征在于，所述第一电子设备，用于向所述第二电子设备发送所述第一输入控件集合的信息，包括：

接收用户输入的第二指令；

响应于所述第二指令，向所述第二电子设备发送所述第一输入控件集合的信息。

6.根据权利要求1-5中任一项所述的辅助输入系统，其特征在于，所述第一电子设备，还用于在向所述第二电子设备发送所述第一输入控件集合的信息之前，显示第三界面，所述第三界面用于提示用户是否使用所述第二电子设备向所述第一电子设备输入信息。

7.根据权利要求6所述的辅助输入系统，其特征在于，所述第一电子设备，用于向所述第二电子设备发送所述第一输入控件集合的信息，包括：

在检测到用户在所述第三界面输入的第三指令的情况下，向所述第二电子设备发送所述第一输入控件集合的信息，所述第三指令用于指示使用所述第二电子设备向所述第一电子设备输入信息。

8.根据权利要求1-5中任一项所述的辅助输入系统，其特征在于，

所述第二电子设备，还用于在绘制并显示第二界面之前，显示第四界面，所述第四界面用于提示用户是否使用所述第二电子设备向所述第一电子设备输入信息。

9.根据权利要求8所述的辅助输入系统，其特征在于，所述第二电子设备，用于绘制并显示第二界面，包括：

在检测到用户在所述第四界面输入的第一指令的情况下，绘制并显示所述第二界面，所述第一指令用于指示使用所述第二电子设备向所述第一电子设备输入信息。

10.根据权利要求1-9中任一项所述的辅助输入系统，其特征在于，所述方法还包括：

接收用户输入的设置指令，所述设置指令用于设置如下任一种或多种类型的第一输入控件：输入框、表单、菜单、滑动条、按钮。

11.根据权利要求1-10中任一项所述的辅助输入系统，其特征在于，所述第一界面中第一输入控件的布局与所述第二界面中第二输入控件的布局相同或不同。

12.根据权利要求1-11中任一项所述的辅助输入系统，其特征在于，所述第一输入控件集合中的输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

13.根据权利要求1-12中任一项所述的辅助输入系统，其特征在于，所述第一输入控件集合的信息包括如下任一项或多项信息：所述第一输入控件集合中第一输入控件的名称、标识、布局。

14.一种辅助输入方法，其特征在于，应用于第一电子设备，所述方法包括：

接收用户输入的第一指令；

响应于所述第一指令，显示第一界面，所述第一界面包括第一输入控件集合的信息；

向第二电子设备发送所述第一输入控件集合的信息；所述第一输入控件集合的信息用于所述第二电子设备绘制并呈现包括第二输入控件集合的第二界面；其中，所述第二输入控件集合与所述第一输入控件集合对应；

从所述第二电子设备接收用户通过所述第二输入控件集合中的第二输入控件输入的第一信息。

15.根据权利要求14所述的辅助输入系统，其特征在于，所述方法还包括：从所述第一电子设备接收所述第一信息对应的如下一项或多项信息：所述第二输入控件的标识、所述第二输入控件的名称；

或者，从所述第一电子设备接收所述第一信息对应的如下一项或多项信息：所述第二输入控件对应的第一输入控件的标识、所述第一输入控件的名称。

16.根据权利要求14或15所述的辅助输入系统，其特征在于，所述方法还包括：将所述第一信息显示在第一输入控件中，所述第一输入控件与所述第二输入控件对应。

17.根据权利要求14-16中任一项所述的辅助输入方法，其特征在于，向所述第二电子设备发送所述第一输入控件集合的信息，包括：

接收用户输入的第二指令；

响应于所述第二指令，向所述第二电子设备发送所述第一输入控件集合的信息。

18.根据权利要求14或15所述的辅助输入方法，其特征在于，在向所述第二电子设备发送所述第一输入控件集合的信息之前，所述方法还包括：

显示第三界面，所述第三界面用于提示用户是否使用所述第二电子设备向所述第一电子设备输入信息。

19.根据权利要求16所述的辅助输入方法，其特征在于，向所述第二电子设备发送所述第一输入控件集合的信息，包括：

在检测到用户在所述第三界面输入的第三指令的情况下，向所述第二电子设备发送所述第一输入控件集合的信息，所述第三指令用于指示使用所述第二电子设备向所述第一电子设备输入信息。

20.根据权利要求14-19中任一项所述的辅助输入方法，其特征在于，所述第一界面中输入控件的布局与所述第二界面中输入控件的布局相同或不同。

21.根据权利要求14-20中任一项所述的辅助输入方法，其特征在于，所述方法还包括：

接收用户输入的设置指令，所述设置指令用于设置如下任一种或多种类型的第一输入控件：输入框、表单、菜单、滑动条、按钮。

22.根据权利要求14-21中任一项所述的辅助输入方法，其特征在于，所述第一输入控件集合的第一输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

23.根据权利要求14-22中任一项所述的辅助输入方法，其特征在于，第一输入控件集合的信息包括如下任一项或多项信息：第一输入控件的名称、标识、布局。

24.一种辅助输入方法，其特征在于，应用于第二电子设备，所述方法包括：

从第一电子设备接收第一输入控件集合的信息；

响应于接收到所述第一输入控件集合的信息，绘制并显示第二界面，所述第二界面包括第二输入控件集合，其中，所述第二输入控件集合与所述第一输入控件集合对应；

获取用户通过所述第二输入控件集合中的第二输入控件输入的第一信息；

向所述第一电子设备发送所述第一信息。

25.根据权利要求24所述的辅助输入方法，其特征在于，将所述第一输入控件集合的信息与所述第二输入控件集合的信息进行关联。

26.根据权利要求24或25所述的辅助输入方法，其特征在于，所述方法还包括：向所述第一电子设备发送所述第一信息对应的如下一项或多项信息：所述第二输入控件对应的第一输入控件的标识、所述第一输入控件的名称；

或者，向所述第一电子设备发送所述第一信息对应的如下一项或多项信息：所述第二输入控件的标识、所述第二输入控件的名称。

27.根据权利要求24-26中任一项所述的辅助输入方法，其特征在于，在绘制并显示第二界面之前，所述方法还包括：

显示第四界面，所述第四界面用于提示用户是否使用所述第二电子设备向所述第一电子设备输入信息。

28.根据权利要求27所述的辅助输入方法，其特征在于，所述绘制并显示第二界面，包括：

在检测到用户在所述第四界面输入的第一指令的情况下，绘制并显示所述第二界面，所述第一指令用于指示使用所述第二电子设备向所述第一电子设备输入信息。

29.根据权利要求24-28中任一项所述的辅助输入方法，其特征在于，所述第二输入控件集合中第二输入控件的布局与所述第一输入控件集合中第一输入控件的布局相同或不同。

30.根据权利要求24-29中任一项所述的辅助输入方法，其特征在于，所述第一输入控件集合中的第一输入控件包括如下任一种或多种类型的输入控件：输入框、表单、菜单、滑动条、按钮。

31.根据权利要求24-30中任一项所述的辅助输入方法，其特征在于，所述第一输入控件集合的信息包括如下任一项或多项信息：所述第一输入控件集合中第一输入控件的名称、标识、布局。

32.一种电子设备，其特征在于，所述电子设备包括存储器和一个或多个处理器；所述存储器和所述处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，使所述一个或多个所述处理器执行如权利要求14-23任一项所述的方法，或，使所述一个或多个所述处理器执行如权利要求24-31任一项所述的方法。

Images