CN110012328B - 一种与智能电视交互的方法及装置 - Google Patents
一种与智能电视交互的方法及装置 Download PDFInfo
- Publication number
- CN110012328B CN110012328B CN201910189929.6A CN201910189929A CN110012328B CN 110012328 B CN110012328 B CN 110012328B CN 201910189929 A CN201910189929 A CN 201910189929A CN 110012328 B CN110012328 B CN 110012328B
- Authority
- CN
- China
- Prior art keywords
- virtual
- mobile terminal
- identifier
- node
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
Abstract
本申请公开了一种与智能电视交互的方法及装置，该方法包括：移动终端被配置为多种虚拟交互设备中的一种，多种虚拟交互设备包括虚拟键盘、虚拟鼠标和虚拟遥控器，移动终端与智能电视之间建立有蓝牙连接。在与智能电视交互的过程中，被配置为虚拟交互设备的移动终端响应于用户在移动终端的用户界面上的用户操作信息，通过蓝牙连接向智能电视发送携带有虚拟交互设备标识以及用户操作信息的通知消息，以使得智能电视能够响应所述用户操作信息，该用户界面为虚拟交互设备的人机交互界面。通过本申请实施例，可实现移动终端与智能电视的多种交互操作。
Description
技术领域
本申请涉及电视技术领域，尤其涉及一种与智能电视交互的方法及装置。
背景技术
智能电视与传统电视相比具有明显的区分度，比如智能电视引入网络服务，用户可以在智能电视上下载应用程序、查阅新闻、浏览网页等进行各种社交行为，为用户提供了更多的便捷功能。
在这些功能中往往需要用户对智能电视进行内容输入、焦点移动等操作，比如需要用户在搜索信息输入框内输入电影名称或关键词进行电影搜索，需要用户在电影列表中的电影图标中移动焦点等。
将蓝牙设备与智能电视连接，可以通过蓝牙设备实现与智能电视的交互操作。但在使用蓝牙设备辅助用户完成对智能电视的内容输入、焦点移动以及频道选择等操作时，智能电视至少需要外接蓝牙遥控器、蓝牙鼠标以及蓝牙键盘，需要外接的蓝牙设备较多，用户体验较差。
发明内容
本申请实施例提供一种与智能电视交互的方法及装置，用以通过移动终端实现多种虚拟交互设备的功能，进而通过移动终端实现与智能电视的多种交互操作。
第一方面，提供一种与智能电视交互的方法，应用于移动终端，所述移动终端与智能电视之间建立有蓝牙连接，所述方法包括：被配置为虚拟交互设备的移动终端响应于用户界面上的用户操作信息，通过所述蓝牙连接向所述智能电视发送通知消息，所述通知消息携带虚拟交互设备标识以及所述用户操作信息，以使所述智能电视根据所述通知消息执行所述用户操作信息对应的交互；其中，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互。
可选地，所述虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器中的一个；所述被配置为虚拟交互设备的移动终端响应于用户界面上的用户操作信息之前，还包括：所述移动终端响应于来自所述智能电视广播的发现信号，向所述智能电视发送蓝牙配对消息，所述蓝牙配对消息携带虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的至少一种，所述蓝牙配对消息用于请求所述智能电视执行以下操作中的至少一种：根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟键盘节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息。
可选地，所述方法还包括：所述移动终端接收所述智能电视发送的蓝牙配对确认消息，所述蓝牙配对确认消息携带所述虚拟键盘节点的标识、所述虚拟鼠标节点的标识以及所述虚拟遥控器节点的标识中的至少一种；所述移动终端响应于所述蓝牙配对确认消息建立以下对应关系中的至少一种：所述虚拟键盘标识与所述虚拟键盘节点的标识之间的对应关系，所述虚拟鼠标标识与所述虚拟鼠标节点的标识之间的对应关系，以及所述虚拟遥控器标识与所述虚拟遥控器节点的标识之间的对应关系。
可选地，所述被配置为虚拟交互设备的移动终端响应于用户界面上的用户操作信息之前，还包括：所述移动终端接收所述智能电视发送的远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与所述虚拟键盘对应的虚拟键盘节点，或者为与所述虚拟鼠标对应的虚拟鼠标节点，或者为与所述虚拟遥控器对应的虚拟遥控器节点；所述移动终端响应于所述远程服务请求消息，配置为与所述目标虚拟交互设备节点对应的虚拟交互设备，被配置为虚拟交互设备的所述移动终端显示有虚拟交互设备人机交互界面。
可选地，若所述移动终端已被配置为第一虚拟交互设备，则所述移动终端响应于所述远程服务请求消息，配置为与所述目标虚拟交互设备节点对应的虚拟交互设备，包括：所述移动终端根据所述远程服务请求消息携带的目标虚拟交互设备节点的标识，确定所述目标虚拟交互设备节点所对应的目标虚拟交互设备不是所述第一虚拟交互设备，则响应于所述远程服务请求消息，配置为所述目标虚拟交互设备。
第二方面，提供一种与智能电视交互的方法，应用于智能电视，所述智能电视与移动终端之间建立有蓝牙连接，所述方法包括：所述智能电视响应于通过所述蓝牙连接接收的通知消息，执行用户操作信息对应的交互，所述通知消息由被配置为虚拟交互设备的所述移动终端发送，所述通知消息携带虚拟交互设备标识以及所述用户操作信息；其中，所述用户操作信息为所述被配置为虚拟交互设备的移动终端获得的所述移动终端的用户界面上的用户操作信息，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互。
可选地，所述虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器中的一个；所述智能电视响应于通过所述蓝牙连接接收的通知消息之前，还包括：所述智能电视向所述移动终端广播发现信号；所述智能电视接收所述移动终端发送的蓝牙配对消息，所述蓝牙配对消息携带虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的至少一种；所述智能电视响应于所述蓝牙配对消息执行以下操作中的至少一种：根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟遥控器节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息。
可选地，所述方法还包括：所述智能电视响应于所述蓝牙配对消息建立以下对应关系中的至少一种：所述虚拟键盘标识与所述虚拟键盘节点的标识之间的对应关系，所述虚拟鼠标标识与所述虚拟鼠标节点的标识之间的对应关系，以及所述虚拟遥控器标识与所述虚拟遥控器节点的标识之间的对应关系；所述智能电视向所述移动终端发送蓝牙配对确认消息，所述蓝牙配对确认消息携带所述虚拟键盘节点的标识、所述虚拟鼠标节点的标识以及所述虚拟遥控器节点的标识中的至少一种。
可选地，所述智能电视响应于通过所述蓝牙连接接收的通知消息之前，还包括：所述智能电视通过所述蓝牙连接发送远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与虚拟键盘对应的虚拟键盘节点，或者为与虚拟鼠标对应的虚拟鼠标节点，或者为与虚拟遥控器对应的虚拟遥控器节点，所述远程服务请求消息用于使得所述移动终端被配置为与所述目标虚拟交互设备节点的标识对应的虚拟交互设备。
可选地，所述智能电视响应于通过所述蓝牙连接接收的通知消息之后，还包括：所述智能电视响应于所述智能电视当前的应用场景为使用第一虚拟交互设备的第一应用场景，但所述通知消息携带的虚拟交互设备标识所对应的应用场景为使用所述虚拟交互设备标识对应的虚拟交互设备的第二应用场景，拒绝响应所述通知消息。
第三方面，提供一种移动终端，所述移动终端与智能电视之间建立有蓝牙连接，且所述移动终端被配置为虚拟交互设备，所述移动终端包括：处理单元和发送单元；所述处理单元，用于响应用户界面上的用户操作信息，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互；所述发送单元，用于通过所述蓝牙连接向所述智能电视发送通知消息，以使所述智能电视根据所述通知消息执行所述用户操作信息对应的交互，其中，所述通知消息携带虚拟交互设备标识以及所述用户操作信息。
可选地，所述虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器中的一个；所述移动终端，还包括：接收单元，用于接收所述智能电视广播的发现信号；所述发送单元，进一步用于：向所述智能电视发送蓝牙配对消息，所述蓝牙配对消息携带虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的至少一种，所述蓝牙配对消息用于请求所述智能电视执行以下操作中的至少一种：根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟键盘节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息。
可选地，所述接收单元，进一步用于：接收所述智能电视发送的蓝牙配对确认消息，所述蓝牙配对确认消息携带所述虚拟键盘节点的标识、所述虚拟鼠标节点的标识以及所述虚拟遥控器节点的标识中的至少一种；所述处理单元，进一步用于：响应所述蓝牙配对确认消息建立以下对应关系中的至少一种：所述虚拟键盘标识与所述虚拟键盘节点的标识之间的对应关系，所述虚拟鼠标标识与所述虚拟鼠标节点的标识之间的对应关系，以及所述虚拟遥控器标识与所述虚拟遥控器节点的标识之间的对应关系。
可选地，所述接收单元，进一步用于：接收所述智能电视发送的远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与所述虚拟键盘对应的虚拟键盘节点，或者为与所述虚拟鼠标对应的虚拟鼠标节点，或者为与所述虚拟遥控器对应的虚拟遥控器节点；所述处理单元，进一步用于：响应于所述远程服务请求消息，配置为与所述目标虚拟交互设备节点对应的虚拟交互设备，被配置为虚拟交互设备的所述移动终端显示有虚拟交互设备人机交互界面。
可选地，若所述移动终端已被配置为第一虚拟交互设备，则所述移动终端响应于所述远程服务请求消息，配置为与所述目标虚拟交互设备节点对应的虚拟交互设备，所述处理单元，进一步用于：根据所述远程服务请求消息携带的目标虚拟交互设备节点的标识，确定所述目标虚拟交互设备节点所对应的目标虚拟交互设备不是所述第一虚拟交互设备，则响应于所述远程服务请求消息，配置为所述目标虚拟交互设备。
第四方面，提供一种智能电视，所述智能电视与移动终端之间建立有蓝牙连接，所述智能电视包括：接收单元和处理单元；所述接收单元，用于通过所述蓝牙连接接收被配置为虚拟交互设备的所述移动终端发送的通知消息，所述通知消息携带虚拟交互设备标识以及用户操作信息；其中，所述用户操作信息为所述被配置为虚拟交互设备的移动终端获得的所述移动终端的用户界面上的用户操作信息，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互；所述处理单元，用于响应所述通知消息执行所述用户操作信息对应的交互。
可选地，所述虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器中的一个；所述智能电视，还包括：发送单元，用于向所述移动终端广播发现信号；所述接收单元，进一步用于：接收所述移动终端发送的蓝牙配对消息，所述蓝牙配对消息携带虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的至少一种；所述处理单元，进一步用于响应所述蓝牙配对消息执行以下操作中的至少一种：根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟遥控器节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息。
可选地，所述处理单元，进一步用于响应所述蓝牙配对消息建立以下对应关系中的至少一种：所述虚拟键盘标识与所述虚拟键盘节点的标识之间的对应关系，所述虚拟鼠标标识与所述虚拟鼠标节点的标识之间的对应关系，以及所述虚拟遥控器标识与所述虚拟遥控器节点的标识之间的对应关系；所述发送单元，进一步用于：向所述移动终端发送蓝牙配对确认消息，所述蓝牙配对确认消息携带所述虚拟键盘节点的标识、所述虚拟鼠标节点的标识以及所述虚拟遥控器节点的标识。
可选地，所述发送单元，进一步用于：通过所述蓝牙连接发送远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与虚拟键盘对应的虚拟键盘节点，或者为与虚拟鼠标对应的虚拟鼠标节点，或者为与虚拟遥控器对应的虚拟遥控器节点，所述远程服务请求消息用于使得所述移动终端被配置为与所述目标虚拟交互设备节点的标识对应的虚拟交互设备。
可选地，所述处理单元，进一步用于：响应所述智能电视当前的应用场景为使用第一虚拟交互设备的第一应用场景，但所述通知消息携带的虚拟交互设备标识所对应的应用场景为使用所述虚拟交互设备标识对应的虚拟交互设备的第二应用场景，拒绝响应所述通知消息。
第五方面，提供一种通信装置，包括：处理器、存储器以及通信接口；所述存储器，用于存储计算机指令；所述处理器，用于运行所述计算机指令以实现第一方面中任一项所述的方法。
第六方面，提供一种通信装置，包括：处理器、存储器以及通信接口；所述存储器，用于存储计算机指令；所述处理器，用于运行所述计算机指令以实现第二方面中任一项所述的方法。
本申请的上述实施例中，移动终端可以被配置为多种虚拟交互设备中的一种，所述多种虚拟交互设备包括虚拟键盘、虚拟鼠标和虚拟遥控器，移动终端与智能电视之间建立有蓝牙连接。在与智能电视交互的过程中，被配置为虚拟交互设备的移动终端响应于用户在移动终端的用户界面上的用户操作信息，通过蓝牙连接向智能电视发送携带有虚拟交互设备标识以及用户操作信息的通知消息，以使得智能电视能够响应所述用户操作信息，该用户界面为虚拟交互设备的人机交互界面。可以看出，由于移动终端可以被配置为多种虚拟交互设备中的一种，比如移动终端可以被配置为虚拟键盘、虚拟鼠标和虚拟遥控器中的一种，因此可以根据需要将移动终端配置为某种虚拟交互设备与智能电视进行交互。以移动终端被配置为虚拟键盘为例，移动终端可以将用户对虚拟键盘的操作信息通过蓝牙连接发送给智能电视，一方面使得智能电视能够响应虚拟键盘的用户操作信息，从而实现基于虚拟键盘与智能电视进行人机交互；另一方面，由于通过蓝牙连接与智能电视进行信息交互，而蓝牙通信协议可以保证较短的时延以及较高的处理效率以及较高的稳定性，从而使得智能电视可以较快地响应虚拟键盘的操作信息，进而提高用户体验。
附图说明
图1为与智能电视进行交互的示意图；
图2为本申请实施例适用的蓝牙连接过程的时序图；
图3为本申请实施例中蓝牙配对界面的示意图；
图4为本申请实施例提供的一种移动终端模拟蓝牙功能实现与智能电视交互的结构示意图；
图5为本申请实施例提供的一种移动终端基于虚拟交互设备服务与智能电视交互的流程图；
图6a为本申请实施例中移动终端显示界面显示虚拟键盘的示意图；
图6b为本申请实施例中移动终端显示界面显示虚拟鼠标的示意图；
图6c为本申请实施例中移动终端显示界面显示虚拟遥控器的示意图；
图7为本申请实施例提供的一种移动终端基于虚拟交互设备服务与智能电视的交互的流程示意图；
图8为本申请实施例提供的一种移动终端基于虚拟交互设备服务与智能电视的交互的流程示意图；
图9为本申请实施例提供的一种移动终端的结构示意图；
图10为本申请实施例提供的一种智能电视的结构示意图；
图11为本申请实施例提供的一种通信装置的结构示意图；
图12为本申请实施例提供的一种通信装置的结构示意图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细的说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。
参见图1为与智能电视进行交互的示意图。
如图所示，该图示出了三种用于实现对智能电视进行遥控操作的方法。如图所示，该三种方法分别为：
方法一：用户操作智能电视101自带的遥控器102上的按键，遥控器102将用户操作的键值信息通过红外信号发送给智能电视101，进而实现对智能电视101的遥控操作。
方法二：使用移动终端103作为遥控器与智能电视101进行交互。具体地，用户操作移动终端103，移动终端103将用户的操作信息通过网络传输协议发送给智能电视101，进而实现对智能电视101的遥控操作。该移动终端103安装有用于实现遥控智能电视101的应用程序，且该移动终端103与智能电视101使用数字网络联盟(Digital Living NetworkAlliance，DLNA)等协议连接至同一网络。
另外，移动终端103也可作为红外发射器，模拟遥控器，通过其存储的红外线码值库，实现简单的遥控器102按键功能。
方法三：使用蓝牙设备与智能电视交互。具体地，用户操作蓝牙设备，蓝牙设备将用户的操作信息通过蓝牙连接发送给智能电视101，进而实现对智能电视101的遥控操作。其中，智能电视101与蓝牙设备之间建立蓝牙连接，该蓝牙设备可以是蓝牙键盘104a、蓝牙鼠标104b或蓝牙遥控器104c，该蓝牙键盘104a可辅助用户完成智能电视的文字输入、方向移动等操作，该蓝牙鼠标104b可辅助用户完成移动、选择等操作，该蓝牙遥控器104c可辅助用户完成频道切换、确定等操作。
需要说明的是，上述移动终端可以是智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、智能穿戴设备等类似设备，本申请对此不作限定。
由于智能电视中涉及的人机交互功能日趋增多，通过智能电视自带的遥控器采用上述方法一或者通过作为红外线发射器的移动终端模拟遥控器与智能电视交互已经不能满足用户对智能电视的遥控操作需求。比如，当用户通过智能电视的网络功能搜索某部电影时，需要用户在智能电视用户界面中的输入框输入该电影的名称或关键词，用户只能通过遥控器上的方向键一点点移动来点击智能电视用户界面所显示的软键盘上的字母来实现文字输入操作，操作不便且用时较长，用户体验差。上述方法二中，操作信息传输过程依据于网络的流畅程度以及信息传输协议，约束条件较多，时延较大，影响用户体验。上述方法三中，用户需要为智能电视配置至少3个蓝牙设备，外接设备较多对用户来讲极不方便。
为了解决与智能电视的交互过程中操作不便的问题，本申请实施例通过一个移动终端实现多种蓝牙设备与智能电视的交互功能，以提高用户体验。所述移动终端可以是智能手机、平板电脑、PDA、智能穿戴设备等类似设备，本申请对此不作限定。
在本申请实施例的一种可能的应用场景中，移动终端与智能电视都具备蓝牙传输功能，其中，移动终端被配置为虚拟交互设备，该虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器中的一个，也可以是其它虚拟交互设备。在本申请实施例中以虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器为例进行详细说明。应当理解的是，虚拟交互设备的类型不限于上述列举的几种类型。
被配置为虚拟交互设备的移动终端可提供多种虚拟交互服务。具体地，移动终端扩展蓝牙协议栈中的通用属性配置文件(generic attribute profile，gatt)服务(service)，具体包括配置4个人机交互设备(Human Interface Devices，HID)服务以及对应的通用唯一识别码(Universally Unique Identifier，UUID)，如表1所示。
表1：移动终端扩展的HID服务与UUID的对应关系
| 通用唯一识别码(UUID) | HID服务 |
| 0x1812 | HID键盘服务 |
| 0x1900 | HID鼠标服务 |
| 0x1901 | HID遥控器服务 |
| 0x1902 | 远程服务 |
其中，HID键盘服务(Keyboard service)，也称虚拟键盘服务，对应的UUID为0x1812，该服务用于辅助用户实现对智能电视的文字输入、方向移动等操作；HID鼠标服务(Mouse service)，也称虚拟鼠标服务，对应的UUID为0x1900，该服务用于辅助用户实现对智能电视的移动、选择等操作；HID遥控器服务(Remote Control service)，也称虚拟遥控器服务，对应的UUID为0x1901，该服务用于辅助用户实现对智能电视的频道切换、确定等操作；远程服务(Remote service)对应的UUID为0x1902，智能电视可通过服务向用户通知场景需求，以使得移动终端启动与该场景需求相匹配的HID键盘服务、HID鼠标服务或HID遥控器服务，从而实现与智能电视的交互。
需要说明的是，以上UUID的取值仅为示例，本申请实施例对此不作限制，只要能够保证与其他服务的UUID不发生冲突即可。
还需要说明的是，本申请实施例中，以上HID键盘服务、HID鼠标服务、HID遥控器服务仅为虚拟交互设备服务的几个示例，本申请实施例并不仅限于以上几种虚拟交互设备服务。在本申请实施例的一些场景中，虚拟交互设备可以被理解为对应的虚拟交互设备服务，比如在一些场景中，虚拟键盘可以被解释为虚拟键盘服务。
基于上述移动终端扩展的HID服务，被配置为虚拟交互设备的移动终端需要与智能电视建立蓝牙连接，从而可以通过建立的蓝牙连接，并基于上述扩展的HID服务与智能电视进行交互。
参见图2，为本申请实施例适用的蓝牙连接过程的时序图。如图所示，该过程包括：
S201：智能电视向移动终端发送发现信号。
具体地，智能电视开启蓝牙功能后，作为响应在其蓝牙覆盖范围内广播发现信号，该发现信号用于发现智能电视蓝牙覆盖范围内的其它蓝牙设备，其中，该发现信号携带有智能电视的标识信息。
S202：移动终端接收发现信号，进入蓝牙配对模式(pairmode)。
当开启蓝牙功能的移动终端进入智能电视蓝牙覆盖范围时，或者移动终端在智能电视蓝牙覆盖范围内打开蓝牙功能时，移动终端将接收到智能电视广播的发现信号，进而进入蓝牙配对模式。
具体地，当移动终端接收到发现信号后，作为响应移动终端的显示界面会弹出蓝牙配对界面，图3示例性地示出了一种蓝牙配对界面。以图3为例，用户可选中界面开启蓝牙功能选项301，当蓝牙功能打开后移动终端为可被其它蓝牙设备发现的状态，即能够接收其它蓝牙设备发送的发现信号，从而得到多个发现设备并显示与发现设备列表302中，比如接收到了主卧电视以及次卧电视发送的发现信号，用户可根据需求选中发现设备列表302中的设备以便与其进行蓝牙配对。该用户界面中还包括已配对设备列表303，该列表中显示已配对过的蓝牙设备，用户也可以选取已配对设备列表303中的设备以便该设备直接进行蓝牙连接。
S203：移动终端向智能电视发送蓝牙配对消息。
该蓝牙配对消息为低功耗蓝牙广播(blue tooth low energy advertisement，ble adv)包，该低功耗蓝牙广播包用于使得智能电视获取移动终端蓝牙的具体功能。本申请实施例中，由于移动终端被配置为虚拟交互设备，故在该蓝牙配对消息中携带有多个虚拟交互设备标识，比如携带虚拟键盘标识(即HID键盘服务的UUID)、虚拟鼠标标识(即HID鼠标服务的UUID)以及虚拟遥控器标识(即HID遥控器服务的UUID)。
S204：智能电视接收蓝牙配对消息，作为响应，根据该蓝牙配对消息对移动终端进行属性配置文件(gattc profile)的注册，获取对应的客户端口标识(client interfaceid)。
S205：智能电视得到客户端口标识后，发起属性配置扫描(gattc scan)。
在S205中，智能电视通过属性配置扫描获取移动终端的蓝牙功能，本申请实施例中，被配置为虚拟交互设备的移动终端的蓝牙功能包括虚拟键盘、虚拟鼠标以及虚拟遥控器。
S206：智能电视执行以下操作中的至少一种：根据虚拟键盘标识建立虚拟键盘节点、根据虚拟鼠标标识建立虚拟鼠标节点以及根据虚拟遥控器标识建立虚拟遥控器节点。
具体地，智能电视在获取到移动终端的蓝牙功能后，作为响应根据蓝牙配对消息建立远程服务节点(characteristic)以及其对应的UUID，该远程服务节点包括以下独立节点中的至少一种：虚拟键盘节点、虚拟鼠标节点以及虚拟遥控器节点，独立节点拥有唯一的UUID。智能电视可根据虚拟键盘、虚拟鼠标以及虚拟遥控器所实现的具体功能，在其对应的独立节点下建立对应的子节点，每个子节点同样拥有唯一的UUID，比如移动终端虚拟鼠标标识为UUID＝0x1900，智能电视为虚拟鼠标建立虚拟鼠标节点，其UUID为0x3a00，进一步地，智能电视可在虚拟鼠标节点下建立2个对应的子节点用于分别处理单击虚拟鼠标左键的操作信息和单击虚拟鼠标右键的操作信息，该2个子节点的UUID可分别为0x3a01、0x3a02。
其中，虚拟键盘节点用于响应来自于移动终端的虚拟键盘人机交互界面上的用户操作信息，虚拟鼠标节点用于响应来自于移动终端的虚拟鼠标人机交互界面上的用户操作信息，虚拟遥控器节点用于响应来自于移动终端的虚拟遥控器人机交互界面上的用户操作信息。
S207：智能电视响应于蓝牙配对消息，建立以下对应关系中的至少一种：虚拟键盘标识与虚拟键盘节点的标识之间的对应关系，虚拟鼠标标识与虚拟鼠标节点的标识之间的对应关系，以及虚拟遥控器标识与虚拟遥控器节点的标识之间的对应关系。
示例性地，智能电视可建立如表2所示的对应关系。如表所示，移动终端中虚拟键盘标识为0x1812，智能电视建立的虚拟键盘节点的标识为0x2a00；移动终端中虚拟鼠标标识为0x1900，智能电视建立的虚拟鼠标节点的标识为0x3a00；移动终端中虚拟遥控器标识为0x1901，智能电视建立的虚拟遥控器节点的标识为0x4a00；移动终端中远程服务标识为0x1902，智能电视建立的远程服务节点的标识为0x4a00。
表2：对应关系表
| 移动终端(UUID) | 智能电视(UUID) | |
| 虚拟键盘 | 0x1812 | 0x2a00 |
| 虚拟鼠标 | 0x1900 | 0x3a00 |
| 虚拟遥控器 | 0x1901 | 0x4a00 |
| 远程服务 | 0x1902 | 0x4a02 |
可选地，智能电视根据虚拟交互设备的具体功能在虚拟交互设备节点下创建多个子节点，一个子节点对应一种交互功能。以虚拟鼠标为例，针对虚拟鼠标节点可建立3个子节点，一个子节点用于实现鼠标左键点击功能，一个子节点用于实现鼠标右键点击功能，另外一个子节点实现鼠标滚轮功能。
S208：智能电视向移动终端发送蓝牙配对确认消息，该蓝牙配对确认消息携带虚拟键盘节点的标识、虚拟鼠标节点的标识以及虚拟遥控器节点的标识中的至少一种。
S209：移动终端接收蓝牙配对确认消息，作为响应，根据该蓝牙配对确认消息建立以下对应关系中的至少一种：虚拟键盘标识与虚拟键盘节点的标识之间的对应关系，虚拟鼠标标识与虚拟鼠标节点之间的对应关系，虚拟遥控器标识与虚拟遥控器节点的标识之间的对应关系。
至此，被配置为虚拟交互设备的移动终端与智能电视蓝牙连接配对过程完成。
被配置为虚拟交互设备的移动终端与智能电视之间建立蓝牙连接之后，当智能电视接收到移动终端基于虚拟交互服务发送的用户的操作信息后，作为响应，将其作为输入事件写入对应虚拟交互设备节点的文件描述，以便有该节点调用智能电视的内核(kernel)中的相关功能完成对该用户操作信息的响应。
如图4所示，为本申请实施例中提供的一种移动终端模拟蓝牙设备实现与智能电视交互的结构示意图，该图仅示出了与本申请相关的模块，图中的数字编号为移动终端模拟蓝牙功能实现与智能电视交互的步骤号。
如图所示，在移动终端侧，在操作系统应用框架层内的蓝牙模块中包括远程服务，该远程服务包括HID键盘服务(虚拟键盘)、HID鼠标服务(虚拟鼠标服务)和HID遥控器服务(虚拟遥控器服务)。其中，HID键盘服务被启动或调用后，移动终端可被配置为虚拟键盘；HID鼠标服务被启动或调用后，移动终端可被配置为虚拟鼠标；HID遥控器服务被启动或调用后，移动终端可被配置为虚拟遥控器。
基于这些服务可以向用户提供相关虚拟设备的人机交互界面，以供用户基于该界面进行操作。这些服务还可以调用硬件及驱动层的相关模块以及从硬件及驱动层接收用户操作事件，以实现基于用户的操作向智能电视发送通知消息。在智能电视侧，在操作系统应用框架层内的蓝牙模块中包括远程服务节点，在内核层包括虚拟键盘节点、虚拟鼠标节点以及虚拟遥控节点，以响应对应的虚拟设备的用户操作信息。
基于上述系统架构，在一种可能的场景中，以虚拟键盘为例，智能电视上的展示页面上的焦点移动到信息输入框后，触发蓝牙模块中的远程服务节点(步骤1)；远程服务节点被触发，表示智能电视需要移动终端提供HID键盘服务，即需要移动终端被配置为虚拟键盘，则远程服务节点基于通用属性配置的人机接口设备协议(HID Over GATT Profile，HOGP)向移动终端发送携带虚拟键盘节点标识的远程服务请求消息(步骤2)；移动终端接收到远程服务请求消息后，作为响应，确定目标HID服务为HID键盘服务，在显示界面中展示该HID键盘服务对应的虚拟键盘；用户基于该界面进行操作，比如按下该界面展示的虚拟键盘中的某一按键，则在硬件及驱动层的协作下获取用户的操作信息，并通过HOGP蓝牙协议将获取的用户操作信息以及HID键盘服务的UUID通过通知消息发送给智能电视(步骤3～步骤4)。智能电视通过蓝牙连接收到该配置为虚拟键盘的移动终端发送的通知消息后，作为响应，蓝牙模块按照USB-HID协议把通知消息携带的信息解析为HID输入数据交由内核中的输入子系统进行处理，再经过内核的人机交互设备的用户态I/O驱动(User-space I/Odriver support for Human Interface Devices subsystem，UHID)模块的处理后发送给输入设备图形库(Direct Frame Buffer，DFB)，转换为智能电视中间件能够识别的按键，再分发给按键接收模块以使显示界面进行同步展示或切换，进而智能电视完成对通知消息的响应(步骤5～步骤6)。
基于上述被配置为虚拟交互设备的移动终端与智能电视之间已建立的蓝牙连接以及移动终端被配置为虚拟交互设备，本申请实施例提供一种与智能电视交互的方法，以解决与智能电视交互过程中操作不便的问题，提高用户体验。
参见图5，为本申请实施例提供的一种移动终端基于虚拟交互设备服务与智能电视交互的流程图，该流程用于描述智能电视主动向被配置为虚拟交互设备的移动终端发送远程服务请求消息，以请求移动终端启动相应的虚拟交互服务，实现与智能终端的交互的过程。
如图所示，该流程包括：
S501：智能电视通过蓝牙连接向移动终端发送远程服务请求消息。
在S501中，智能电视根据当前应用场景确定与当前应用场景对应的目标虚拟交互设备，并获得目标虚拟交互设备对应的目标虚拟交互设备节点的标识，远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识，其中，远程服务为基于虚拟交互设备的人机交互远程服务，目标虚拟交互设备节点为与虚拟键盘对应的虚拟键盘节点，或者为与虚拟鼠标对应的虚拟鼠标节点，或者为与虚拟遥控器对应的虚拟遥控器节点；该远程服务请求消息用于使得移动终端被配置为与目标虚拟交互设备节点的标识对应的虚拟交互设备。
比如，用户观看某电视节目时需要用户登录账号才能继续观看，这时智能电视弹出登录界面，智能电视确定当前应用场景需要移动终端基于虚拟键盘服务完成用户登录信息的输入，则向移动终端发送用于请求虚拟键盘服务的远程服务请求消息。其中，该远程服务请求消息携带有远程服务的标识(UUID)以及虚拟键盘节点的标识(UUID)。
以虚拟键盘为例，基于上述表1以及表2所示的内容，该步骤中，智能电视在远程服务请求消息中的远程服务信息单元中携带远程服务的UUID(即0x1902)，在该远程服务信息单元中的子单元中携带虚拟键盘节点的UUID(即0x4a00)。
S502～S503：移动终端接收远程服务请求消息，作为响应，根据远程服务的标识确定所请求的远程服务为基于虚拟交互设备的人机交互远程服务，并根据目标虚拟交互设备节点的标识确定需要使用该目标虚拟交互设备节点对应的虚拟交互设备与智能电视进行交互。
例如，移动终端解析远程服务的信息单元中的UUID(即UUID＝0x4a02)以及该信息单元中的子单元中的目标虚拟交互设备节点的UUID(即UUID＝0x1812)，从而确定智能电视需要移动终端基于虚拟键盘服务与智能电视进行交互。
S504：若所述移动终端已被配置为第一虚拟交互设备，则根据远程服务请求消息携带的目标虚拟交互设备节点的标识，确定目标虚拟交互设备节点所对应的目标虚拟交互设备是否为第一虚拟交互设备，若否，则执行S505，若是，则当用户在移动终端当前显示的人机交互界面上进行操作时，移动终端基于对应虚拟交互设备将用户操作信息通过蓝牙连接发送给智能电视，以使智能电视响应用户操作，具体可参见图4所示的流程。
该步骤可选。若该步骤可选，则在S503之后执行S505。
S505：移动终端响应于该远程服务请求消息，配置为与目标虚拟交互设备节点对应的虚拟交互设备，并显示被配置为虚拟交互设备的人机交互界面。
比如，当前显示的人机交互界面为虚拟键盘的人机交互界面，而与目标虚拟交互设备节点对应的虚拟交互设备标识为UUID＝0x1900，即智能电视所请求的远程服务为虚拟鼠标服务，那么在S505中移动终端将当前显示的虚拟键盘人机交互界面切换至虚拟鼠标的人机交互界面。
图6a-图6c示例性地示出本申请实施例中虚拟交互设备的人机交互界面，其中，图6a为移动终端显示界面显示的虚拟键盘人机交互界面的示意图，该显示界面包括显示区域601a以及键盘区域602a，显示区域601a用于显示用户操作键盘区域602a得到的输入信息。图6b为移动终端显示界面显示的虚拟鼠标人机交互界面的示意图，该显示界面包括滑动区域601b、虚拟鼠标左键602b以及虚拟鼠标右键603b。图6c为移动终端显示界面显示的虚拟遥控器人机交互界面的示意图，该显示界面上显示的功能按键与智能电视自带的遥控器上的按键类似。
需要说明的是，上述移动终端所显示的虚拟键盘、虚拟鼠标以及虚拟遥控器的人机交互界面中包含的功能项以及布局等的实现方式仅为示例，本申请对此不作限定。
参见图7，为本申请实施例提供的移动终端基于虚拟交互设备服务与智能电视的交互的流程示意图。该流程可适用于智能电视通过蓝牙连接向被配置为虚拟交互设备的移动终端发送远程服务请求，以请求移动终端基于目标虚拟交互设备与智能电视进行交互后，被配置为虚拟交互设备的移动终端与智能电视的交互流程；也可适用于移动终端主动启动虚拟交互服务从而被配置为虚拟交互设备，并与智能电视进行交互的过程；还可适用于已被配置为某种虚拟交互设备的移动终端切换为另一种虚拟交互设备后，与智能电视进行交互的过程。
如图所示，该流程可包括：
S701：被配置为虚拟交互设备的移动终端获得移动终端的用户界面上的用户操作信息，该用户界面为虚拟交互设备人机交互界面。
以图6a所示的虚拟键盘人机交互界面为例，若用户点击虚拟键盘区域602a中的按键后，移动终端获得该按键的键值。进一步地，根据该按键操作，移动终端在该界面中的显示区域601a中进行相应显示。
以图6b所示的虚拟鼠标人机交互界面为例，若用户在滑动区域601b进行滑动操作后，移动终端获得位移信息。若用户单击虚拟鼠标左键602b所在的区域后，移动终端获取该操作的键值。
以图6c所示的虚拟遥控器人机交互界面为例，若用户点击该人机交互界面中的按键后，移动终端获取该按键的键值。
S702：被配置为虚拟交互设备的移动终端通过蓝牙连接向智能电视发送通知消息，以使智能电视根据通知消息执行用户操作信息对应的交互，该通知消息携带虚拟交互设备标识以及用户操作信息。
在S702中，移动终端通过HOGP蓝牙协议向智能电视发送通知消息。
S703：智能电视通过蓝牙连接接收通知消息，作为响应，根据通知消息执行用户操作信息对应的交互。
智能电视对接收到的通知消息进行解析，获取虚拟交互设备的UUID以及用户操作信息，进一步地，基于表1、表2所示的内容确定该虚拟交互设备节点的UUID，以及用户操作信息对应的虚拟交互设备子节点，以使虚拟交互设备子节点对用户操作信息进行处理，比如，用户单击图6b所示虚拟鼠标左键602b，智能电视解析到虚拟交互设备的UUID为0x1900，根据表2确定该虚拟交互设备为虚拟鼠标且虚拟鼠标节点的UUID为0x3a00，并确定单击左键对应键值由虚拟鼠标子节点中UUID为0x3a01的子节点处理，进而虚拟鼠标子节点对键值进行处理以使智能电视进行响应，具体可参见图4所示的流程。
以智能电视发送的远程服务请求消息用于请求虚拟键盘服务为例，则智能电视在接收到通知消息后，作为响应根据用户操作信息进行同步显示或界面切换，比如用户操作图6a所示的键盘区域602a输入字母“S”，显示区域601a显示该字母“S”，智能电视响应于通知消息在文本输入框内同步显示字母“S”。
以智能电视发送的远程服务请求消息用于请求虚拟鼠标服务为例，则智能电视在接收到通知消息后，作为响应根据用户操作信息移动光标(或焦点)或进行界面切换，比如用户操作图6b所示的滑动区域601b进行上移操作，那么智能电视响应于通知消息移动界面上的光标，使得界面上的光标也相应上移，再比如用户针对智能电视显示列表中的某电视节目操作虚拟鼠标左键602b，智能电视在接收到通知消息后，作为响应根据携带的键值信息，针对当前焦点所在的界面元素执行鼠标左键点击的相关操作，如显示该电视节目的播放界面。
以智能电视发送的远程服务请求消息用于请求虚拟遥控器服务为例，则智能电视在接收到通知消息后，作为响应根据携带的键值信息进行显示，比如用户操作移动终端的虚拟遥控器的音量增加键，那么智能电视在接收到通知消息后，作为响应根据携带的键值信息显示音量条并增加音量值。
本申请的另外一些实施例中，在被配置为虚拟交互设备的移动终端与智能电视之间已建立蓝牙连接后，移动终端也可以主动进行虚拟交互设备的切换或者主动启动虚拟交互设备服务，并基于切换后的虚拟交互设备与智能电视进行人机交互，其实现流程可参见图8。
参见图8，为本申请实施例提供的一种移动终端基于虚拟交互设备服务与智能电视交互的流程示意图，该流程用于描述用户操作移动终端配置的虚拟交互设备，并主动向智能电视发送通知消息的过程。
如图所示，该流程包括：
S801：被配置为虚拟交互设备的移动终端获得移动终端的用户界面上的用户操作信息。
具体地，用户启动移动终端配置的虚拟交互设备，移动终端显示该虚拟交互设备人机交互界面，比如用户调出如图6a所示的虚拟键盘人机交互界面，用户在该人机交互界面进行操作以使移动终端获得用户操作信息。
S802：被配置为虚拟交互设备的移动终端通过蓝牙连接向智能电视发送通知消息，以使智能电视根据通知消息执行用户操作信息对应的交互，该通知消息携带虚拟交互设备标识以及用户操作信息。
S803：智能电视通过蓝牙连接接收通知消息，作为响应，根据该通知消息携带的虚拟交互设备标识确定对应的应用场景，并判断该确定的应用场景与当前应用场景是否匹配，若否，则执行S804，若是，则执行S805。
以当前智能电视显示界面正在播放电视节目，用户启动虚拟鼠标为例，用户对虚拟鼠标进行了上移操作，移动终端将虚拟鼠标标识以及用户的上移操作发送给智能电视，智能电视解析到该上移操作后，判断当前的智能电视正在播放电视节目不符合上移操作，则执行S804。若在该应用场景中，用户启动虚拟遥控器，并对音量增加键进行了操作，那么智能电视解析到该音量增加操作后，判断当前的智能电视正在播放电视节目符合音量增加操作，则执行S805。
S804：智能电视拒绝响应移动终端发送的通知消息。
S805：智能电视响应移动终端发送的通知消息，响应过程可参见图4所示的流程，在此不再赘述。
本申请的上述实施例中，移动终端可以被配置为多种虚拟交互设备中的一种，所述多种虚拟交互设备包括虚拟键盘、虚拟鼠标和虚拟遥控器，移动终端与智能电视之间建立有蓝牙连接。在与智能电视交互的过程中，被配置为虚拟交互设备的移动终端响应于用户在移动终端的用户界面上的用户操作信息，通过蓝牙连接向智能电视发送携带有虚拟交互设备标识以及用户操作信息的通知消息，以使得智能电视能够响应所述用户操作信息，该用户界面为虚拟交互设备的人机交互界面。可以看出，由于移动终端可以被配置为多种虚拟交互设备中的一种，比如移动终端可以被配置为虚拟键盘、虚拟鼠标和虚拟遥控器中的一种，因此可以根据需要将移动终端配置为某种虚拟交互设备与智能电视进行交互。以移动终端被配置为虚拟键盘为例，移动终端可以将用户对虚拟键盘的操作信息通过蓝牙连接发送给智能电视，一方面使得智能电视能够响应虚拟键盘的用户操作信息，从而实现基于虚拟键盘与智能电视进行人机交互；另一方面，由于通过蓝牙连接与智能电视进行信息交互，而蓝牙通信协议可以保证较短的时延以及较高的处理效率以及较高的稳定性，从而使得智能电视可以较快地响应虚拟键盘的操作信息，进而提高用户体验。
基于相同的技术构思，本申请实施例还提供了一种移动终端，该移动终端可实现前述实施中图5、图7、图8所执行的流程。
如图9所示，本申请实施例提供的一种移动终端的结构示意图。
如图所示，该移动终端900包括：处理单元902以及发送单元903。
所述处理单元902，用于响应用户界面上的用户操作信息，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互。
所述发送单元903，用于通过所述蓝牙连接向所述智能电视发送通知消息，以使所述智能电视根据所述通知消息执行所述用户操作信息对应的交互，其中，所述通知消息携带虚拟交互设备标识以及所述用户操作信息。
可选地，所述虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器中的一个；所述移动终端，还包括：接收单元901，用于接收所述智能电视广播的发现信号；所述发送单元903，进一步用于：向所述智能电视发送蓝牙配对消息，所述蓝牙配对消息携带虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的至少一种，所述蓝牙配对消息用于请求所述智能电视执行以下操作中的至少一种：根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟键盘节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息。
可选地，所述接收单元901，进一步用于：接收所述智能电视发送的蓝牙配对确认消息，所述蓝牙配对确认消息携带所述虚拟键盘节点的标识、所述虚拟鼠标节点的标识以及所述虚拟遥控器节点的标识中的至少一种；所述处理单元902，进一步用于：响应所述蓝牙配对确认消息建立以下对应关系中的至少一种：所述虚拟键盘标识与所述虚拟键盘节点的标识之间的对应关系，所述虚拟鼠标标识与所述虚拟鼠标节点的标识之间的对应关系，以及所述虚拟遥控器标识与所述虚拟遥控器节点的标识之间的对应关系。
可选地，所述接收单元901，进一步用于：接收所述智能电视发送的远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与所述虚拟键盘对应的虚拟键盘节点，或者为与所述虚拟鼠标对应的虚拟鼠标节点，或者为与所述虚拟遥控器对应的虚拟遥控器节点；所述处理单元902，进一步用于：响应于所述远程服务请求消息，配置为与所述目标虚拟交互设备节点对应的虚拟交互设备，被配置为虚拟交互设备的所述移动终端显示有虚拟交互设备人机交互界面。
可选地，若所述移动终端已被配置为第一虚拟交互设备，则所述移动终端响应于所述远程服务请求消息，配置为与所述目标虚拟交互设备节点对应的虚拟交互设备，所述处理单元902，进一步用于：根据所述远程服务请求消息携带的目标虚拟交互设备节点的标识，确定所述目标虚拟交互设备节点所对应的目标虚拟交互设备不是所述第一虚拟交互设备，则响应于所述远程服务请求消息，配置为所述目标虚拟交互设备。
基于相同的技术构思，本申请实施例还提供了一种智能电视，该智能电视可实现前述实施中图5、图7、图8所执行的流程。
如图10所示，本申请实施例提供的一种智能电视的结构示意图。
如图所示，该智能电视1000包括：接收单元1001、处理单元1002。
所述接收单元1001，用于通过所述蓝牙连接接收被配置为虚拟交互设备的所述移动终端发送的通知消息，所述通知消息携带虚拟交互设备标识以及用户操作信息；其中，所述用户操作信息为所述被配置为虚拟交互设备的移动终端获得的所述移动终端的用户界面上的用户操作信息，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互。
所述处理单元1002，用于响应所述通知消息执行所述用户操作信息对应的交互。
可选地，所述虚拟交互设备为虚拟键盘、虚拟鼠标和虚拟遥控器中的一个；所述智能电视，还包括：发送单元1003，用于向所述移动终端广播发现信号；所述接收单元1001，进一步用于：接收所述移动终端发送的蓝牙配对消息，所述蓝牙配对消息携带虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的至少一种；所述处理单元1002，进一步用于响应所述蓝牙配对消息执行以下操作中的至少一种：根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟遥控器节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息。
可选地，所述处理单元1002，进一步用于响应所述蓝牙配对消息建立以下对应关系中的至少一种：所述虚拟键盘标识与所述虚拟键盘节点的标识之间的对应关系，所述虚拟鼠标标识与所述虚拟鼠标节点的标识之间的对应关系，以及所述虚拟遥控器标识与所述虚拟遥控器节点的标识之间的对应关系；所述发送单元1003，进一步用于：向所述移动终端发送蓝牙配对确认消息，所述蓝牙配对确认消息携带所述虚拟键盘节点的标识、所述虚拟鼠标节点的标识以及所述虚拟遥控器节点的标识。
可选地，所述发送单元1003，进一步用于：通过所述蓝牙连接发送远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与虚拟键盘对应的虚拟键盘节点，或者为与虚拟鼠标对应的虚拟鼠标节点，或者为与虚拟遥控器对应的虚拟遥控器节点，所述远程服务请求消息用于使得所述移动终端被配置为与所述目标虚拟交互设备节点的标识对应的虚拟交互设备。
可选地，所述处理单元1002，进一步用于：响应所述智能电视当前的应用场景为使用第一虚拟交互设备的第一应用场景，但所述通知消息携带的虚拟交互设备标识所对应的应用场景为使用所述虚拟交互设备标识对应的虚拟交互设备的第二应用场景，拒绝响应所述通知消息。
基于相同的技术构思，本申请实施例还提供一种通信装置，该通信装置可实现前述实施例中图9所执行的流程。
图11示出了本申请实施例提供的通信装置1100的结构示意图，即示出了移动终端900的另一结构示意图。参阅图11所示，该通信装置1100包括处理器1101、存储器1102以及通信接口1103。其中，处理器1101也可以为控制器。所述处理器1101被配置为支持终端执行前述流程涉及的功能。存储器1102用于与处理器1101耦合，其保存终端必要的程序指令和数据。其中，处理器1101、和存储器1102相连，该存储器1102用于存储指令，该处理器1101用于执行该存储器1102存储的指令，以完成上述方法中客户端设备执行相应功能的步骤。
本申请实施例中，移动终端900和通信装置1100所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其它步骤请参见前述方法或其它实施例中关于这些内容的描述，此处不做赘述。
需要说明的是，本申请实施例上述涉及的处理器可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
基于相同的技术构思，本申请实施例还提供了一种通信装置，该通信装置可实现前述实施例中图10所执行的流程。
图12示出了本申请实施例提供的通信装置1200的结构示意图，即示出了智能电视1000的另一结构示意图。参阅图12所示，该通信装置1200包括处理器1201、存储器1202以及通信接口1203。其中，处理器1201也可以为控制器。所述处理器1201被配置为支持终端执行前述流程涉及的功能。存储器1202用于与处理器1201耦合，其保存终端必要的程序指令和数据。其中，处理器1201、和存储器1202相连，该存储器1202用于存储指令，该处理器1201用于执行该存储器1202存储的指令，以完成上述方法中客户端设备执行相应功能的步骤。
本申请实施例中，智能电视1000和通信装置1200所涉及的与本申请实施例提供的技术方案相关的概念，解释和详细说明及其它步骤请参见前述方法或其它实施例中关于这些内容的描述，此处不做赘述。
需要说明的是，本申请实施例上述涉及的处理器可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。其中，所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行图7中所执行的流程。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行图8中所执行的流程。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种与智能电视交互的方法，其特征在于，应用于移动终端，所述移动终端与智能电视之间建立有蓝牙连接，所述方法包括：
所述移动终端响应于所述智能电视广播的发现信号，向所述智能电视发送蓝牙配对消息，所述蓝牙配对消息携带虚拟交互设备标识，所述虚拟交互设备标识包括虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的多种；
所述蓝牙配对消息用于请求所述智能电视执行以下操作中的多种：
根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟键盘节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息；
被配置为虚拟交互设备的移动终端响应于用户界面上的用户操作信息，通过所述蓝牙连接向所述智能电视发送通知消息，所述通知消息携带虚拟交互设备标识以及所述用户操作信息，以使所述智能电视根据所述通知消息执行所述用户操作信息对应的交互；其中，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述移动终端接收所述智能电视发送的蓝牙配对确认消息，所述蓝牙配对确认消息携带所述虚拟键盘节点的标识、所述虚拟鼠标节点的标识以及所述虚拟遥控器节点的标识中的至少一种；
所述移动终端响应于所述蓝牙配对确认消息建立以下对应关系中的至少一种：
所述虚拟键盘标识与所述虚拟键盘节点的标识之间的对应关系，所述虚拟鼠标标识与所述虚拟鼠标节点的标识之间的对应关系，以及所述虚拟遥控器标识与所述虚拟遥控器节点的标识之间的对应关系。
3.如权利要求1-2中任一项所述的方法，其特征在于，所述被配置为虚拟交互设备的移动终端响应于用户界面上的用户操作信息之前，还包括：
所述移动终端接收所述智能电视发送的远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与所述虚拟键盘对应的虚拟键盘节点，或者为与所述虚拟鼠标对应的虚拟鼠标节点，或者为与所述虚拟遥控器对应的虚拟遥控器节点；
所述移动终端响应于所述远程服务请求消息，配置为与所述目标虚拟交互设备节点对应的虚拟交互设备，被配置为虚拟交互设备的所述移动终端显示有虚拟交互设备人机交互界面。
4.一种与智能电视交互的方法，其特征在于，应用于智能电视，所述智能电视与移动终端之间建立有蓝牙连接，所述方法包括：
所述智能电视向所述移动终端广播发现信号；
所述智能电视接收所述移动终端发送的蓝牙配对消息，所述蓝牙配对消息携带虚拟设备标识，所述虚拟设备标识包括虚拟键盘标识、虚拟鼠标标识以及虚拟遥控器标识中的多种；
所述智能电视响应于所述蓝牙配对消息执行以下操作中的多种：
根据所述虚拟键盘标识建立虚拟键盘节点，根据所述虚拟鼠标标识建立虚拟鼠标节点，根据所述虚拟遥控器标识建立虚拟遥控器节点；其中，所述虚拟键盘节点用于响应来自于所述移动终端的虚拟键盘人机交互界面上的用户操作信息，所述虚拟鼠标节点用于响应来自于所述移动终端的虚拟鼠标人机交互界面上的用户操作信息，所述虚拟遥控器节点用于响应来自于所述移动终端的虚拟遥控器人机交互界面上的用户操作信息；
所述智能电视响应于通过所述蓝牙连接接收的通知消息，执行用户操作信息对应的交互，所述通知消息由被配置为虚拟交互设备的所述移动终端发送，所述通知消息携带虚拟交互设备标识以及所述用户操作信息；其中，所述用户操作信息为所述被配置为虚拟交互设备的移动终端获得的所述移动终端的用户界面上的用户操作信息，所述用户界面为虚拟交互设备人机交互界面，所述被配置为虚拟交互设备的移动终端用于模拟蓝牙设备与所述智能电视进行交互。
5.如权利要求4所述的方法，其特征在于，所述智能电视响应于通过所述蓝牙连接接收的通知消息之前，还包括：
所述智能电视通过所述蓝牙连接发送远程服务请求消息，所述远程服务请求消息携带远程服务的标识以及目标虚拟交互设备节点的标识；其中，所述远程服务为基于虚拟交互设备的人机交互远程服务，所述目标虚拟交互设备节点为与虚拟键盘对应的虚拟键盘节点，或者为与虚拟鼠标对应的虚拟鼠标节点，或者为与虚拟遥控器对应的虚拟遥控器节点，所述远程服务请求消息用于使得所述移动终端被配置为与所述目标虚拟交互设备节点的标识对应的虚拟交互设备。
6.如权利要求4-5中任一项所述的方法，其特征在于，所述智能电视响应于通过所述蓝牙连接接收的通知消息之后，还包括：
所述智能电视响应于所述智能电视当前的应用场景为使用第一虚拟交互设备的第一应用场景，但所述通知消息携带的虚拟交互设备标识所对应的应用场景为使用所述虚拟交互设备标识对应的虚拟交互设备的第二应用场景，拒绝响应所述通知消息。
7.一种通信装置，其特征在于，包括：处理器、存储器以及通信接口；
所述存储器，用于存储计算机指令；
所述处理器，用于运行所述计算机指令以实现如权利要求1至3中任一项所述的方法。
8.一种通信装置，其特征在于，包括：处理器、存储器以及通信接口；
所述存储器，用于存储计算机指令；
所述处理器，用于运行所述计算机指令以实现如权利要求4至6中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910189929.6A CN110012328B (zh) | 2019-03-13 | 2019-03-13 | 一种与智能电视交互的方法及装置 |
| PCT/CN2020/070320 WO2020181906A1 (zh) | 2019-03-13 | 2020-01-03 | 与智能电视交互的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910189929.6A CN110012328B (zh) | 2019-03-13 | 2019-03-13 | 一种与智能电视交互的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110012328A CN110012328A (zh) | 2019-07-12 |
| CN110012328B true CN110012328B (zh) | 2021-05-07 |
Family
ID=67166980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910189929.6A Active CN110012328B (zh) | 2019-03-13 | 2019-03-13 | 一种与智能电视交互的方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110012328B (zh) |
| WO (1) | WO2020181906A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110012328B (zh) * | 2019-03-13 | 2021-05-07 | 青岛海信传媒网络技术有限公司 | 一种与智能电视交互的方法及装置 |
| CN112804576B (zh) * | 2019-11-13 | 2022-11-11 | 腾讯科技（深圳）有限公司 | 一种操作控制方法、设备及介质 |
| CN111093105A (zh) * | 2019-12-17 | 2020-05-01 | 青岛海信宽带多媒体技术有限公司 | 一种遥控方法与装置 |
| CN111885344A (zh) * | 2020-06-19 | 2020-11-03 | 西安万像电子科技有限公司 | 数据传输方法、设备及系统 |
| CN113284331B (zh) * | 2021-03-16 | 2023-04-11 | 杭州当贝网络科技有限公司 | 投影交互系统 |
| CN113596529A (zh) * | 2021-07-07 | 2021-11-02 | 深圳市雷鸟网络传媒有限公司 | 一种终端控制方法、装置、计算机设备和存储介质 |
| CN114003139A (zh) * | 2021-10-27 | 2022-02-01 | 北京乐驾科技有限公司 | 车载设备操作方法以及装置、存储介质、电子装置 |
| CN114398190B (zh) * | 2021-12-21 | 2024-01-30 | 北方华录文化科技（北京）有限公司 | 基于虚拟交互空间的交互方法、装置、电子设备及介质 |
| CN117289642B (zh) * | 2023-11-27 | 2024-04-16 | 荣耀终端有限公司 | 外部控制的响应方法、控制方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103501453A (zh) * | 2013-09-29 | 2014-01-08 | 中山大学 | 基于Android和Linux智能电视的互动系统 |
| CN103796058A (zh) * | 2014-01-21 | 2014-05-14 | 四川长虹电器股份有限公司 | 一种基于虚拟输入设备实现对Android智能电视操控的方法 |
| CN105513327A (zh) * | 2016-01-11 | 2016-04-20 | 努比亚技术有限公司 | 智能遥控方法、装置及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9380336B2 (en) * | 2011-06-20 | 2016-06-28 | Enseo, Inc. | Set-top box with enhanced content and system and method for use of same |
| CN103167338A (zh) * | 2012-10-09 | 2013-06-19 | 深圳市金立通信设备有限公司 | 一种基于移动终端的智能电视输入控制系统及方法 |
| KR102003978B1 (ko) * | 2012-10-19 | 2019-10-01 | 삼성전자주식회사 | 전자 장치 및 이를 이용한 운용 방법 |
| CN103973889A (zh) * | 2014-04-25 | 2014-08-06 | 方小祥 | 将智能手持设备作为无线usbhid设备的装置及方法 |
| CN104954843A (zh) * | 2015-06-18 | 2015-09-30 | Tcl集团股份有限公司 | 一种智能电视的遥控方法及系统 |
| CN110121092B (zh) * | 2016-05-31 | 2021-04-16 | 海信视像科技股份有限公司 | 一种智能电视控制遥控器麦克风的方法及智能电视 |
| CN110012328B (zh) * | 2019-03-13 | 2021-05-07 | 青岛海信传媒网络技术有限公司 | 一种与智能电视交互的方法及装置 |
-
2019
- 2019-03-13 CN CN201910189929.6A patent/CN110012328B/zh active Active
-
2020
- 2020-01-03 WO PCT/CN2020/070320 patent/WO2020181906A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103501453A (zh) * | 2013-09-29 | 2014-01-08 | 中山大学 | 基于Android和Linux智能电视的互动系统 |
| CN103796058A (zh) * | 2014-01-21 | 2014-05-14 | 四川长虹电器股份有限公司 | 一种基于虚拟输入设备实现对Android智能电视操控的方法 |
| CN105513327A (zh) * | 2016-01-11 | 2016-04-20 | 努比亚技术有限公司 | 智能遥控方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110012328A (zh) | 2019-07-12 |
| WO2020181906A1 (zh) | 2020-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110012328B (zh) | 一种与智能电视交互的方法及装置 | |
| US9226137B2 (en) | Method and apparatus for real-time sharing of multimedia content between wireless devices | |
| CN103024504B (zh) | 基于数字电视机顶盒的智能遥控系统 | |
| CN112350981B (zh) | 一种切换通信协议的方法、装置和系统 | |
| TWI512489B (zh) | Multi-screen interactive method, center equipment, terminal equipment and systems | |
| CN108040091B (zh) | 数据处理方法、装置及存储介质 | |
| WO2022089568A1 (zh) | 文件分享的方法、装置和电子设备 | |
| CN104618793A (zh) | 一种信息处理方法及电子设备 | |
| CN103546575A (zh) | 一种数据传输方法及装置 | |
| CN102821150A (zh) | 基于云服务的应用管理方法及云服务器 | |
| US20240069850A1 (en) | Application Sharing Method, Electronic Device, and Storage Medium | |
| CN112351417A (zh) | 设备发现方法、装置以及计算机设备 | |
| WO2023070993A1 (zh) | 显示控制方法、显示系统、电子设备和可读存储介质 | |
| CN111970546A (zh) | 一种控制终端交互的方法、装置、电子设备和存储介质 | |
| CN114281288A (zh) | 投屏处理方法、装置及电子设备 | |
| CN112511412A (zh) | 信息的发送方法及装置、电子设备和可读存储介质 | |
| CN103686282A (zh) | 启动智能电视中的浏览器的方法和装置 | |
| CN104166527A (zh) | 一种应用程序用户界面的扩展方法 | |
| CN113325980B (zh) | 控制方法、装置、电子设备和可读存储介质 | |
| CN107798008B (zh) | 内容推送系统、方法及装置 | |
| CN113993164A (zh) | 文件传输方法和文件传输装置 | |
| US20170351539A1 (en) | Application interaction method and apparatus, and terminal | |
| CN114064165A (zh) | 一种应用页面处理方法及装置 | |
| CN103941961A (zh) | 一种应用更新的提示方法、装置及设备 | |
| CN111787587B (zh) | 数据传输方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |