CN107172471A - 实现在显示设备上运行触摸屏应用的装置和显示设备 - Google Patents

实现在显示设备上运行触摸屏应用的装置和显示设备 Download PDF

Info

Publication number
CN107172471A
CN107172471A CN201710077083.8A CN201710077083A CN107172471A CN 107172471 A CN107172471 A CN 107172471A CN 201710077083 A CN201710077083 A CN 201710077083A CN 107172471 A CN107172471 A CN 107172471A
Authority
CN
China
Prior art keywords
signal
touch
avdd
touch screen
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710077083.8A
Other languages
English (en)
Inventor
B·坎德洛尔
G·克利夫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107172471A publication Critical patent/CN107172471A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及一种实现在显示设备上运行触摸屏应用的装置和显示设备。没有触摸屏的TV仍然可以通过具有上/下、左/右、选择按钮的“哑”遥控器或者通过具有触摸板的遥控器或者通过在具有与TV通信的触摸屏的移动设备上运行的遥控应用来执行为采用触摸屏用户界面(UI)的移动设备设计的应用。在这全部三种情况下，TV识别出它正以特殊的遥控模式运行，并且相应的遥控应用正在TV上运行，该遥控应用能够截获键按压和手指滑动并将它们翻译成触摸屏命令，触摸屏命令被输入到在TV上运行的启用触摸屏的软件应用。

Description

实现在显示设备上运行触摸屏应用的装置和显示设备
技术领域
本专利申请一般而言涉及在不具有触摸屏能力的显示设备上运行触摸屏软件应用。
背景技术
包括SonyTV在内的许多现代TV是由执行操作系统(诸如但不限于)的内部处理器来操作的。有成千上万的移动安卓应用，但是用于TV的安卓应用相对较少，这主要是因为大多数安卓应用采取对移动设备(诸如智能手机和平板电脑)常用但对高清晰度TV不常用的触摸屏接口，替代地，TV采用“遥控器”或“具有触摸板的遥控器”接口。
发明内容
如本文所理解的，虽然应用开发者可以重写其应用以使用非触摸接口，但出于各种原因，这样做的成本可能不合理。因此，存在使基于安卓的TV能够执行针对移动设备设计的应用的需求，其中该应用未经修改并且可下载到TV，如同对于启用“触摸屏”接口的移动设备。
如本文中进一步理解的，所谓的“镜像”不是优化的，在“镜像”中，从移动设备发送移动设备上的触摸用户界面(UI)的图像以用于在TV上显示。一个原因是因为镜像需要Wi-Fi，并且当移动设备调用镜像时，它可能失去其通过Wi-Fi接入点的互联网连接。如果正在被镜像的应用需要互联网连接并且互联网不再可用，则应用可能会故障。此外，镜像到高清晰度TV(HDTV)的移动图形可能劣于由TV本身生成的图形。还有，镜像占用移动设备并且当镜像进行时它可能阻止或干扰移动设备被用于进入的电话呼叫或短消息。再次，根据如何实现Wi-Fi，在镜像会话要求重新输入接入点信息之后，TV可能丢失关于无线接入点的信息。再次，在一些Wi-Fi实现中，在可以调用镜像之前，TV必须处于待机模式，并且如果TV不处于待机模式，则TV软件有可能锁定并且要求重新开机。并且，在一些实现方式中，在移动设备上进行镜像也可能是困难的，它导致移动设备有时崩溃，导致要求重新启动。出于各种原因，所以可以期望在TV本身而不是在移动设备上运行触摸应用。
相应地，装置包括至少一个计算机存储器，该计算机存储器不是瞬时信号并且进而包括可由至少一个处理器执行以确定音频视频显示设备(AVDD)正在执行软件应用的指令。软件应用包括能够进行触摸屏输入的用户界面(UI)。指令可执行以从不具有触摸敏感显示器并且具有触摸敏感输入表面的遥控器(RC)无线地接收非触摸屏信号，并且将非触摸屏信号翻译成对应的触摸屏信号。然后在AVDD上执行触摸信号。
在示例实施例中，AVDD的显示器不是触摸敏感的。并且AVDD的显示器可以实际上是触摸敏感的但是不使用，以允许遥控在AVDD上执行的启用触摸的UI。这将是设备主要在视觉上使用的情况，例如“谷歌纸盒(Google Cardboard)”，其中移动设备被安装到纸盒支架设备中，纸盒支架设备安装在人的眼睛前面，以示出3D和虚拟现实内容。由于显示器被部署为如此接近人的眼睛，因此使用触摸屏是不切实际的。下面描述的原理同样地适用于这一情况和不期望使用触摸屏以及AVDD显示器不是触摸敏感的其它情况。
在一些示例中，非触摸屏信号包括由触摸敏感输入表面上的第一手势生成的第一信号，并且指令可执行以将第一信号翻译成UI上的选择信号，该选择信号在UI上的一个位置处，该位置至少由通过操纵RC上的方向键生成的第二信号限定。
在至少一个非限制性示例实施例中，非触摸屏信号包括由触摸敏感输入表面上的第一手势生成的第一信号，并且指令可执行以将第一信号翻译成UI上的双击触摸屏信号，该双击触摸屏信号在UI上的一个位置处，该位置至少由通过操纵RC上的方向键生成的第二信号限定。
在至少一个非限制性示例实施例中，非触摸屏信号包括由触摸敏感输入表面上的第一手势生成的第一信号，并且指令可执行以将第一信号翻译成UI上的滑动触摸屏信号，该滑动触摸屏信号在UI上的一个位置处，该位置至少由通过操纵RC上的方向键生成的第二信号限定。
在至少一个非限制性示例实施例中，非触摸屏信号包括由触摸敏感输入表面上的第一手势生成的第一信号和通过操纵RC上的方向键生成的第二信号，并且指令可执行以将第一信号和第二信号翻译成UI上的长按和拖动触摸屏信号，该长按和拖动触摸屏信号在UI上的一个位置处，该位置至少由通过操纵RC上的方向键生成的第三信号限定。
在至少一个非限制性示例实施例中，非触摸屏信号包括由触摸敏感输入表面上的第一手势生成的第一信号，并且指令可执行以将第一信号翻译成UI上的捏开(pinch open)触摸屏信号UI。而且，非触摸屏信号可以包括由触摸敏感输入表面上的与第一手势不同的第二手势生成的第二信号，并且指令可执行以将第二信号翻译成UI上的捏合(pinchclosed)触摸屏信号。
在至少一个非限制性示例实施例中，非触摸屏信号包括由触摸敏感输入表面上的第一单指手势生成的第一信号，并且指令可执行以将第一信号翻译成UI上的双指触摸屏信号。
在至少一个非限制性示例实施例中，非触摸屏信号包括由触摸敏感输入表面上的第一手势生成的第一信号，并且指令可执行以将第一信号翻译成UI上的旋转触摸屏信号。
在另一方面，装置包括至少一个计算机存储器，该计算机存储器不是瞬时信号并且进而包括可由至少一个处理器执行的指令，指令用于执行音频视频显示设备(AVDD)上的应用，其中音频视频显示设备包括为触摸命令启用的用户界面(UI)。AVDD不具有触摸敏感显示器。指令可执行用于响应于确定AVDD处于触摸屏模式而在显示器上呈现光标，并且从具有触摸屏能力的移动计算设备(MCD)接收触摸屏信号。指令还可执行用于根据来自MCD的触摸屏信号移动光标，并且用于根据来自MCD的触摸屏信号执行AVDD上的应用的至少一个功能。
在一些实施例中，UI不被发送到MCD。在其它实施例中，UI可以被发送到MCD，以在MCD的触摸敏感显示器上呈现UI。
在另一方面，音频视频显示设备(AVDD)包括至少一个不是触摸敏感的视频显示器，以及至少一个被配置用于执行至少一个应用的处理器，其中应用用于在视频显示器上呈现为触摸输入启用的应用的至少一个用户界面(UI)。AVDD还包括可由至少一个处理器访问的至少一个计算机存储器，并且包括可执行以用于从具有触摸屏能力的移动计算设备(MCD)接收触摸屏信号的指令。指令可执行用于响应于从MCD接收触摸屏信号而在AVDD的显示器上呈现光标并且根据来自MCD的触摸屏信号执行AVDD上的应用的至少一个功能。指令还可执行用于从AVDD的显示器自动移除光标。
参考附图可以最好地理解关于本发明的结构和操作两者的细节，附图中相似的标号指相似的部分，其中：
附图说明
图1是包括根据本原理的示例的示例系统的框图；
图2是示例“哑”遥控器(RC)的示意图；
图3是可以由AVDD执行以将来自图2的“哑”RC的键按压命令翻译成触摸命令的示例逻辑的流程图；
图4-6是在执行图3的逻辑的AVDD上呈现的UI的示意图，例示了某些类型的命令；
图7是具有触摸板但没有触摸敏感显示器的示例遥控器(RC)的示意图；
图8是示出没有直接从具有触摸敏感显示器的移动计算设备接收触摸命令的触摸敏感显示器的AVDD的示意图；
图9是可以由图8中的AVDD使用的示例逻辑的流程图；以及
图10和11分别示出通用移动计算设备和AVDD，其中设备镜像来自AVDD的UI。
具体实施方式
本公开总体涉及包括可以包括消费者电子(CE)设备的计算机网络的各方面的计算机生态系统。本文的系统可以包括经网络连接的服务器和客户端组件，使得可以在客户端和服务器组件之间交换数据。客户端组件可以包括一个或多个计算设备，包括便携式电视(例如，智能TV，启用互联网的TV)、便携式计算机(诸如膝上型计算机和平板计算机)，以及包括智能电话和下面讨论的附加示例的其它移动设备。这些客户端设备可以在各种操作环境下操作。例如，作为例子，一些客户端计算机可以采用来自微软(Microsoft)的操作系统，或Unix操作系统，或由苹果计算机(Apple Computer)或谷歌(Google)生产的操作系统。这些操作环境可以被用于执行一个或多个浏览程序，诸如由微软或谷歌或谋智(Mozilla)制作的浏览器或者其它可以访问由下面讨论的互联网服务器托管的网站的浏览器程序。
服务器和/或网关可以包括执行指令的一个或多个处理器，其中指令将服务器配置为经网络(诸如互联网)接收和传输数据。或者，可以经本地内联网或虚拟专用网络连接客户端和服务器。服务器或控制器可以由游戏控制台(诸如Sony Playstation(商标))、个人计算机等例示。
可以经网络在客户端和服务器之间交换信息。为此并且为了安全，服务器和/或客户端可以包括防火墙、负载平衡器、临时储存器和代理，以及为了可靠性和安全性的其它网络设施。
如本文所使用的，指令是指用于处理系统中的信息的计算机实现的步骤。指令可以在软件、固件或硬件中实现，并且可以包括由系统的组件承担的任何类型的编程步骤。
处理器可以是可以通过各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器执行逻辑的任何常规通用单芯片或多芯片处理器。
通过本文的流程图和用户界面描述的软件模块可以包括各种子例程、过程等。在不限制本公开的情况下，被表述为由特定模块执行的逻辑可以被重新分配到其它软件模块和/或在单个模块中组合在一起和/或使得在可共享库中可用。
本文描述的本原理可以被实现为硬件、软件、固件或其组合；因此，说明性的组件、块、模块、电路和步骤被针对其功能进行阐述。
除了上面已经提到的内容之外，可以利用被设计为实行本文所述功能的通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其它可编程逻辑器件(诸如专用集成电路(ASIC)、离散门或晶体管逻辑)、离散硬件组件或其任意组合来实现或实行下面描述的逻辑块、模块和电路。可以通过控制器或状态机或计算设备的组合来实现处理器。
当在软件中被实现时，下面描述的功能和方法可以以适当的语言(诸如但不限于C#或C++)编写，并且可以被储存在计算机可读储存介质上或者通过计算机可读存储介质传输，诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、压缩盘只读存储器(CD-ROM)或其它光盘储存器(诸如数字通用盘(DVD))、磁盘储存器或包括可移动拇指驱动器的其它磁储存设备等。连接可以建立计算机可读介质。作为例子，这样的连接可以包括硬连线线缆，包括光纤和同轴线以及数字用户线(DSL)和双绞线。
在一个实施例中包括的组件可以以任何适当的组合用于其它实施例中。例如，本文描述的和/或图中绘出的各种组件中的任何一个可以在其它实施例中被组合、互换或排除。
“具有A、B和C中至少一个的系统”(同样地，“具有A、B或C中至少一个的系统”和“具有A、B、C中至少一个的系统”)包括具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起，和/或A、B和C一起等的系统。
现在具体地参考图1，示出了示例生态系统10，生态系统10可以包括上面提到并且根据本原理在下面进一步描述的一个或多个示例设备。包括在系统10中的第一个示例设备是被配置为示例主显示设备的消费者电子(CE)设备，并且在所示实施例中是音频视频显示设备(AVDD)12，诸如但不限于具有TV调谐器(等效地，控制TV的机顶盒)的启用互联网的TV。AVDD 12可以是基于的系统。替代地，AVDD 12也可以是计算机化的启用互联网的(“智能”)电话、平板计算机、笔记本计算机、可穿戴的计算机化设备(诸如计算机化的启用互联网的手表、计算机化的启用互联网的手环、其它计算机化的启用互联网的设备、计算机化的启用互联网的音乐播放器、计算机化的启用互联网的头戴式耳机、计算机化的启用互联网的可植入设备(诸如可植入皮肤的设备))等。无论如何，应当理解，本文描述的AVDD 12和/或其它计算机被配置为实施本原理(例如，与其它CE设备通信以实施本原理，执行本文描述的逻辑，并且实行本文描述的任何其它功能和/或操作)。
相应地，为了实施这样的原理，可以通过图1中所示的一些或全部组件建立AVDD12。例如，AVDD 12可以包括一个或多个显示器14，一个或多个显示器14可以通过高清晰度的或超高清晰度“4K”或更高的平面屏幕实现，并且可以是或者可以不是为经由显示器上的触摸接收用户输入信号而启用触摸的。本原理对于显示器14不是启用触摸的情况尤其是有用的。AVDD 12可以包括根据本原理用于输出音频的一个或多个扬声器16，以及至少一个附加的输入设备18(诸如音频接收器/麦克风)，用于向AVDD 12输入可听命令以控制AVDD 12。示例AVDD 12还可以包括一个或多个网络接口20，一个或多个网络接口20用于在一个或多个处理器24的控制下经至少一个网络22(诸如互联网、WAN、LAN、PAN等)进行通信。因此，接口20可以是但不限于Wi-Fi收发器，Wi-Fi收发器是无线计算机网络接口(诸如但不限于网状网络收发器)的示例。接口20可以是但不限于蓝牙(Bluetooth)收发器、紫蜂(Zigbee)收发器、IrDA收发器、无线USB收发器、有线USB、有线LAN、电力线或MoCA。应当理解，处理器24控制AVDD 12实施本原理，包括本文所述的AVDD 12的其它元件，诸如控制显示器14以在其上呈现图像并且从其接收输入。此外，应当注意，网络接口20可以是例如有线或无线调制解调器或路由器，或其它适当的接口，诸如上面所提到的无线电话收发器或Wi-Fi收发器等。
除了上述之外，AVDD 12还可以包括一个或多个输入端口26，诸如高清晰度多媒体接口(HDMI)端口或USB端口，以物理地连接(例如，使用有线连接)到另一个CE设备和/或耳机端口，以将耳机连接到AVDD 12，用于通过耳机向用户呈现来自AVDD 12的音频。例如，输入端口26可以经由有线或无线地连接到音频视频内容的有线电视或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是游戏控制台或盘播放器，其包含可能是用户对于下面进一步描述的信道分配目的所喜好的内容。
AVDD 12还可以包括一个或多个计算机存储器28(诸如不是瞬时信号的基于盘的储存器或固态储存器)，一个或多个计算机存储器28在一些情况下在AVDD的机箱中被实施为独立设备，或者被实施为AVDD的机箱内部或外部的用于回放AV节目的个人视频记录设备(PVR)或视频磁盘播放器，或者被实施为可移动存储介质。而且，在一些实施例中，AVDD 12可以包括方位或位置接收器，诸如但不限于手机接收器、GPS接收器和/或高度计30，高度计30被配置为例如从至少一个卫星或手机塔接收地理方位信息并将信息提供给处理器24和/或结合处理器24确定部署AVDD 12的高度。但是，应当理解，可以根据本原理使用除手机接收器、GPS接收器和/或高度计之外的其它合适的方位接收器，从而例如确定AVDD 12在例如全部三个维度中的位置。
继续对AVDD 12的描述，在一些实施例中，AVDD 12可以包括一个或多个相机32，一个或多个相机32可以是例如热成像相机、数码相机(诸如网络摄像头)，和/或集成到AVDD12中并且根据本原理可由处理器24控制以收集图片/图像和/或视频的相机。AVDD 12上还可以包括蓝牙收发器34和其它近场通信(NFC)元件36，用于分别利用蓝牙和/或NFC技术与其它设备通信。示例NFC元件可以是射频识别(RFID)元件。
此外，AVDD 12可以包括向处理器24提供输入的一个或多个辅助传感器37(例如，诸如加速度计、陀螺仪、转数计或磁传感器的运动传感器，用于从遥控器接收IR命令的红外(IR)传感器，光学传感器，速度和/或节奏传感器，手势传感器(例如，用于感测手势命令)等)。AVDD 12可以包括空中(over-the-air)TV广播端口38，用于接收向处理器24提供输入的OTH TV广播。除了上述之外，应当注意，AVDD 12还可以包括红外(IR)发送器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)设备。可以提供电池(未示出)用于为AVDD 12供电。
仍然参考图1，除了AVDD 12之外，系统10可以包括一个或多个其它计算机设备类型，其可以包括针对AVDD 12示出的一些或全部组件。在一个示例中，示出第一设备44和第二设备46，并且第一设备44和第二设备46可以包括与AVDD 12的一些或全部组件类似的组件。可以使用比所示出的更少或更多的设备。
在所示的示例中，为了说明本原理，假设全部三个设备12、44、46都是在例如由虚线例示的住宅48中的本地网络的构件。
示例非限制性第一设备44可以包括一个或多个触摸敏感表面50，诸如启用触摸的视频显示器，用于经由显示器上的触摸来接收用户输入信号。第一设备44可以包括用于根据本原理输出音频的一个或多个扬声器52，以及用于例如将可听命令输入第一设备44以控制设备44的至少一个附加的输入设备54，诸如音频接收器/麦克风。示例第一设备44还可以包括一个或多个网络接口56，用于在一个或多个车辆处理器58(诸如引擎控制模块(ECM))的控制下经网络22进行通信。因此，接口56可以是但不限于Wi-Fi收发器，Wi-Fi收发器是包括网状网络接口的无线计算机网络接口的示例。应当理解，处理器58控制第一设备44(包括本文所述的第一设备44的其它元件)以实施本原理，诸如控制显示器50以在其上呈现图像并从其接收输入。此外，应当注意，网络接口56可以是例如有线或无线调制解调器或路由器，或者其它适当的接口，诸如上面所提到的无线电话收发器或Wi-Fi收发器等。
除了上述之外，第一设备44还可以包括一个或多个输入端口60，诸如HDMI端口或USB端口，以物理地连接(例如，利用有线连接)到另一个计算机设备和/或耳机端口，以将耳机连接到第一设备44，用于通过耳机向用户呈现来自第一设备44的音频。第一设备44还可以包括一个或多个有形计算机可读储存介质62，诸如基于盘的储存器或固态储存器。而且，在一些实施例中，第一设备44可以包括方位或位置接收器，诸如但不限于手机接收器和/或GPS接收器和/或高度计64，高度计64被配置为例如利用三角测量从至少一个卫星和/或手机塔接收地理方位信息，并将信息提供给设备处理器58和/或结合设备处理器58确定部署第一设备44的高度。但是，应当理解，可以根据本原理使用除手机接收器和/或GPS接收器和/或高度计之外的其它合适的方位接收器，从而例如确定第一设备44在例如全部三个维度中的位置。
继续对第一设备44的描述，在一些实施例中，第一设备44可以包括一个或多个相机66，一个或多个相机66可以是例如热成像相机、数码相机(诸如网络摄像头)等。第一设备44上还可以包括用于分别利用蓝牙和/或NFC技术与其它设备通信的蓝牙收发器68和其它近场通信(NFC)元件70。示例NFC元件可以是射频识别(RFID)元件。
此外，第一设备44可以包括向CE设备处理器58提供输入的一个或多个辅助传感器72(例如，诸如加速度计、陀螺仪、转数计或磁传感器的运动传感器，红外(IR)传感器，光学传感器，速度和/或节奏传感器，手势传感器(例如，用于感测手势命令)等)。第一设备44可以包括其它传感器，诸如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或向设备处理器58提供输入的一个或多个生物测定传感器76。除了上述之外，还应当注意，在一些实施例中，第一设备44还可以包括红外(IR)发送器和/或IR接收器和/或IR收发器78，诸如IR数据关联(IRDA)设备。可以提供电池用于为第一设备44供电。设备44可以通过任何上述通信模式和相关组件与AVDD 12通信。
第二设备46可以包括上述组件中的一些或全部。
现在参考前面提到的至少一个服务器80，至少一个服务器80包括至少一个服务器处理器82、至少一个计算机存储器84(诸如基于盘的储存器或固态储存器)以及至少一个网络接口86，至少一个网络接口86在服务器处理器82的控制下允许经网络22与图1的其它设备通信，并且实际上可以促进根据本原理在服务器、控制器和客户端设备之间的通信。应当注意，网络接口86可以是例如有线或无线调制解调器或路由器、Wi-Fi收发器或其它适当的接口，诸如无线电话收发器。
相应地，在一些实施例中，服务器80可以是互联网服务器，并且可以包括并实行“云”功能，使得在示例实施例中，系统10的设备可以经由服务器80访问“云”环境。或者，服务器80可以由游戏控制台或者与图1所示的其它设备在相同房间内或附近的其它计算机实现。
下面描述的TV可以结合上述AVDD 12的一些或全部元件。下面描述的远程命令器可以包括上述CE设备44的一些或全部组件。
图2示出了可以与AVDD 12一起装运的遥控器(RC)200。如图所示，RC 200不具有触摸板，因此不像触摸板那样需要特殊触摸传感器。
如图所示，典型地，示例RC 200包括具有数字键盘204和中心“选择”键206的便携式中空塑料手持壳体202。而且，RC 200可以包括具有上/下和左/右摇杆表面的盘形方向环208，如图所示。RC 200还可以包括快退键210、快进键212以及暂停键214。RC 200上还可以包括动作键216，也可以包括频道向上键218和频道向下键220。以下的公开解释了这些键可以如何被用于将键按压翻译成触摸屏命令，应当理解，它们是供使用的示例键，并且图2中所示的RC 200上的其它键可以替代地用于相同的目的。
图3例示了可以由上面描述的AVDD处理器执行的逻辑，AVDD处理器运行诸如基于的操作系统，在基于安卓的操作系统上可以执行安卓软件应用。在方框300处开始，AVDD检测到已经调用了需要触摸屏UI的应用。AVDD可以通过检查应用的需求来做到这一点。如果需求列出了“触摸屏”，则AVDD将知道将会需要UI适配。替代地，可能已经通过用户操纵RC 200上的键(诸如视频源提供者键或其它键)调用了应用。AVDD 12可以基于AVDD12从应用提供商网站的移动设备软件部分下载了应用来通过推断确定被调用的应用需要触摸屏。或者，RC 200上的键可以被映射为“调用触摸屏模式”的命令。例如，对动作键216的操纵可以命令AVDD 12进入触摸屏模式。
不管是如何确定的，在方框302处调用触摸屏模式，并且在方框304处在显示器14上呈现触摸界面连同屏幕光标(诸如手指图标或手图标)。在方框306处从RC接收通过用户对一个或多个RC键的操纵生成的IR信号，并且在方框308处利用翻译数据结构将IR信号翻译成触摸命令。在方框310处在AVDD 12上运行的软件应用上执行触摸命令。
在这里通过例示的方式给出可以被视为翻译字典的示例翻译数据结构。一般而言，操纵上/下、左/右环208以围绕AVDD显示器14上呈现的UI平移光标。
单触摸
该命令可以被用于在AVDD上呈现的UI上选择屏幕对象。
在利用上/下、左/右环208平移应用用户界面上的光标之后，来自RC的与对选择键206的一次操纵(按下和抬起)相对应的IR信号被AVDD 12翻译成在UI的光标所位于的位置处的触摸。
双触摸
该命令可以被用于在AVDD上呈现的UI上放大。
在利用上/下、左/右环208平移应用用户界面上的光标之后，来自RC的与对选择键206的两次操纵(按下和抬起两次)相对应的IR信号被AVDD 12翻译成在UI的光标所位于的位置处的双触摸。
滑动
该命令可以被用于消除、滚动或倾斜在AVDD上呈现的UI。
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对选择键206的单次操纵接着对摇杆环208的操纵(典型地，在预定的时间段内)相对应的IR信号被翻译成使屏幕光标在摇杆环208被操纵的方向上从光标的初始位置处开始并从那里继续在AVDD 14上的由对摇杆环208的操纵所指示的向上或向下或向左或向右的方向上滑动(例如，滑动默认的屏幕距离)的命令。
长按
该命令可以被用于选择在AVDD上呈现的UI上的列表项。
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对选择键206的双操纵(但是，例如，两次按压彼此分开的时间段长于双按命令所需的时间段)相对应的IR信号被翻译成长按命令。
长按-拖动
该命令可以被用于在AVDD上呈现的UI上挑选和移动屏幕对象。
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对选择键206的双操纵(但是，例如，两次按压彼此分开的时间段长于双按命令所需的时间段)相对应的IR信号如上所述地被翻译成长按命令，并且如果其后接着对摇杆环208的操纵(典型地，在预定的时间段内)，则翻译是使屏幕光标在摇杆环208被操纵的方向上从光标的初始位置处开始并从那里继续在AVDD 14上的由对摇杆环208的操纵所指示的向上或向下或向左或向右的方向上滑动(例如，滑动默认的屏幕距离)。
双触摸-拖动
该命令可以被用于在AVDD上呈现的UI上放大和缩小。
在利用环208在应用用户界面上平移光标之后，按下选择按钮206一次，在为该命令所保留的范围内暂停一段时间，再次按下选择按钮，并且使用上/下、左/右环以“滑动”适当的方向。
捏开
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对快退键210的操纵相对应的IR信号被翻译成如由图4中的箭头400所指示的捏开命令，还将光标402示为手图标。在这里，通过两个手指做出捏离手势，“捏开”导致放大功能，就像对象404被彼此捏离。
捏合
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对快进键212的操纵相对应的IR信号被翻译成如由图5中的箭头500所指示的捏合命令。在这里，通过两个手指做出捏向手势，“捏合”导致在AVDD显示器14上实现缩小功能，就像对象502被捏向彼此。
双指触摸
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键214的操纵相对应的IR信号被翻译成在图6的UI上与光标402邻近或在光标402下方的位置600、602处同时双指触摸。
双指滑动
该命令可以被用于在AVDD上呈现的UI上选择多个屏幕对象、平移和倾斜。
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键214的操纵接着对摇杆环208的操纵相对应的IR信号被翻译成在UI上与光标402邻近或在光标402下方的位置处的同时双指触摸并且屏幕光标在摇杆环208被操纵的方向上从光标的初始位置处开始并从那里继续在AVDD 14上由对摇杆环208的操纵所指示的向上或向下或向左或向右的方向上滑动(例如，滑动默认的屏幕距离)。
双指长按
在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键214的两次操纵相对应的IR信号被翻译成在UI上与光标402邻近或在光标402下方的位置处的同时双指长按。
双指长按并滑动或拖动
该手势可以被用于在AVDD UI上挑选和移动屏幕对象。它使用上面的RC的双指长按命令，接着在期望的滑动或拖动方向上操纵摇杆环208，其中期望的滑动或拖动方向被相应地翻译出。
双指双触摸
该手势可以被用于实现缩小功能。在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键214的两次操纵(尽管操纵之间的时间段与用于上述双指长按的时间段不同)相对应的IR信号被翻译成在UI上与光标402邻近或在光标402下方的位置处的同时双指长触摸。
旋转
该手势可以被用于旋转AVDD显示器14上所呈现的内容(诸如地图)。在利用上/下、左/右环208将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键214的操纵接着对频道向上键218的操纵相对应的IR信号被翻译成顺时针旋转触摸命令。来自RC的与对暂停键214的操纵接着对频道向下键220的操纵相对应的IR信号可以被翻译成逆时针旋转触摸命令。
在上面的示例中，“哑”RC 200不需要具有任何代码以支持AVDD 12上的触摸屏UI输入；AVDD 12处理所有的翻译，并且它是要求应用在其非触摸显示器14上呈现的UI上执行触摸输入的唯一组件。另一方面，在下面的例子中，还用与在AVDD上执行的代码互补的代码补充RC。
图7例示了不是通用移动计算设备(诸如智能电话或平板计算机)但是具有触摸板702的RC 700。因此，RC 700比通用移动计算设备便宜，但是触摸板702可能每次仅能感测单指触摸，并且可能不能感测双触摸。一般而言，当使用RC 700时，AVDD 12执行应用以实施图3中的步骤300-304，其中用户输入经由RC 700，并且被翻译成由RC 700执行的触摸命令并被发送到AVDD以实现，或者RC 700不翻译它接收的输入命令而是仅将它们无线地(诸如通过IR)发送到AVDD以便由AVDD利用上面的原理根据例如下面阐述的示例对应性数据结构来翻译和实现。
如图7中所示，除了触摸板702之外，RC 700包括中心“选择”键704和具有上/下和左/右摇杆表面的盘形方向环706，如图所示。还可以提供快退键708、快进键710以及暂停键712，也可以提供频道向上键716和频道向下键718。下面的公开解释了这些键如何被用于将键按压翻译成触摸屏命令，应当理解，它们是供使用的示例键，并且图7中所示的RC 700上的其它键可以替代地用于相同的目的。
单触摸
该命令可以被用于在AVDD上呈现的UI上选择屏幕对象。
在利用触摸板702平移应用用户界面上的光标之后，来自RC的与对选择键704的一次操纵(按下和抬起)相对应的IR信号被AVDD 12翻译成在UI的光标所位于的位置处的触摸。
双触摸
该命令可以被用于在AVDD上呈现的UI上放大。
在利用触摸板702平移应用用户界面上的光标之后，来自RC的与对选择键704的两次操纵(一个手指按下和抬起两次)相对应的IR信号被AVDD 12翻译成在UI的光标所位于的位置处的双触摸。
滑动
该命令可以被用于消除、滚动或倾斜AVDD上呈现的UI。
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对选择键704的单次操纵接着在触摸板702上的滑动(典型地，在预定的时间段内)相对应的IR信号被翻译成使屏幕光标在触摸板702上滑动的方向上从光标的初始位置处开始并从那里继续在AVDD 14上的由对触摸板702的操纵所指示的向上或向下或向左或向右的方向上滑动(例如，滑动默认的屏幕距离)的命令。
长按
该命令可以被用于选择在AVDD上呈现的UI上的列表项。
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对选择键704的双操纵(但是，例如，两次按压彼此分开的时间段长于双按命令所需的时间段)相对应的IR信号被翻译成长按命令。
长按-拖动
该命令可以被用于在AVDD上呈现的UI上挑选和移动屏幕对象。
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对选择键704的双操纵(但是，例如，两次按压彼此分开的时间段长于双按命令所需的时间段)相对应的IR信号如上所述地被翻译成长按命令，并且如果后面接着在触摸板702上的一个手指滑动(典型地，在预定的时间段内)，则翻译是使屏幕光标在触摸板702上的滑动的方向上从光标的初始位置处开始并从那里继续在AVDD 14上的由对触摸板702的操纵所指示的向上或向下或向左或向右的方向上滑动(例如，滑动默认的屏幕距离)。
双触摸-拖动
该命令可以被用于在AVDD上呈现的UI上放大和缩小。
在利用触摸板702在应用用户界面上的平移之后，按下选择按钮704一次，在为该命令所保留的范围内暂停一段时间，再次按下选择按钮，并且用户在适当的方向上滑动触摸板702。
捏开
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对快退键708的操纵相对应的IR信号被翻译成捏开命令，以导致AVDD显示器14上呈现的UI上的放大功能。
捏合
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对快进键710的操纵相对应的IR信号被翻译成捏合命令，以导致AVDD显示器14上呈现的UI上的缩小功能。
双指触摸
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键712的操纵相对应的IR信号被翻译成在UI上与光标邻近或在光标下方的位置处的同时双指触摸。
双指滑动
该命令可以被用于在AVDD上呈现的UI上选择多个屏幕对象、平移和倾斜。
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键712的操纵接着对触摸板702的操纵相对应的IR信号被翻译成在UI上与光标邻近或在光标下方的位置处的同时双指触摸以及屏幕光标在触摸板702被滑动的方向上从光标的初始位置开始并从那里继续在AVDD 14上的由对触摸板702的操纵所指示的向上或向下或向左或向右的方向滑动(例如，滑动默认的屏幕距离)。
双指长按
在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键712的两次操纵相对应的IR信号被翻译成在UI上与光标邻近或在光标下方的位置处的双指长触摸。
双指长按并滑动或拖动
该手势可以被用于在AVDD UI上挑选和移动屏幕对象。它使用上述的RC的双指长按命令接着在期望的滑动或拖动方向上操纵触摸板702，其中期望的滑动或拖动方向被相应地翻译出。
双指双触摸
该手势可以被用于实现缩小功能。在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键712的两次操纵相对应的IR信号(但是操纵之间的时间段与用于上述双指长按的时间段不同)被翻译成在UI上与光标邻近或在光标下方的位置处的同时双指长触摸。
旋转
该手势可以被用于旋转AVDD显示器14上所呈现的内容(诸如地图)。在利用触摸板702将应用用户界面上的光标平移到初始光标位置之后，来自RC的与对暂停键712的操纵接着对频道向上键716的操纵相对应的IR信号被翻译成顺时针旋转触摸命令。来自RC的与对暂停键712的操纵接着对频道向下键718的操纵相对应的IR信号可以被翻译成逆时针旋转触摸命令。
图8示出了通用移动计算设备800(诸如智能电话或平板计算机)，其具有从用户的手804接收触摸的触摸屏802，如图所示。设备800将来自触摸屏802的触摸信号有线或无线地传送到AVDD 12，AVDD 12在非触摸敏感显示器810上呈现启用触摸的UI 806连同屏幕光标808。观看UI 806上的光标808的用户在显示器802上输入触摸手势，以使设备800从设备800发送触摸信号以移动显示器810上的光标808，并且使得从UI 806进行选择而不需要对触摸信号的任何翻译。
图9例示了可以由运行操作系统(诸如基于的操作系统)的AVDD 800的处理器执行的逻辑，在基于安卓的操作系统上可以执行安卓软件应用。在方框900处开始，AVDD检测到已经调用了需要触摸屏UI的应用。该应用可能已经通过用户操纵设备800上的键被调用。AVDD 800可以基于AVDD 800从应用提供商网站的移动设备软件部分下载了应用通过推断确定被调用的应用需要触摸屏。或者，AVDD可以假设在利用例如通用的即插即用设备发现检测到与设备800的WiFi、NFC、蓝牙或USB连接时，触摸模式被自动激活。
不管是如何确定的，在方框902处调用触摸屏模式，并且在方框904处在显示器810上呈现触摸界面连同屏幕光标808(诸如手指图标或手图标)。AVDD可以向设备通知触摸屏模式已被调用，从而使设备将其接收到的任何触摸命令发送到AVDD。在方框906处接收来自设备800的由触摸敏感显示器802上的用户触摸手势生成的无线信号，并且在方框908处在AVDD 800上运行的软件应用上执行该无线信号。
图10示出在另一个实施例中上面讨论的任何AVDD可以在发现通用移动计算设备1000(诸如先前描述的任何通用移动计算设备)时响应于根据先前描述的任何方法进入触摸输入模式而向设备1000发送正在AVDD上执行的应用的启用触摸的UI，用于在设备1000的触摸敏感屏幕1002上呈现UI。
图11例示了AVDD(诸如上面讨论的任何一个AVDD)的非触摸敏感屏幕1100。发送到设备1000的UI也可以在屏幕1100上呈现。响应于来自设备1000的、指示图10中所示的触摸敏感显示器1002上的任何手势的信号，AVDD在非触摸敏感显示器1100上呈现光标1102。然后可以在设备1000的触摸敏感显示器1002上直接输入任何上述触摸信号并且将其有线或者无线地发送到图11中的AVDD，而无需进一步的翻译。在完成执行接收到的触摸命令时或者在从设备1000接收触摸信号终止时，AVDD从视图中移除屏幕光标1102。
应当注意，即使当AVDD屏幕是触摸敏感的时，也可以应用上述原理，以允许对在AVDD上执行的启用触摸的UI的遥控。
上述方法可以被实现为由处理器、适当配置的专用集成电路(ASIC)或现场可编程门阵列(FPGA)模块执行的软件指令，或者本领域技术人员将认可的任何其它方便的方式。在被实施时，软件指令可以在非瞬时性设备(诸如CD ROM或闪存驱动器)中实施。替代地，可以以瞬时性布置(诸如无线电或光学信号)实施软件代码指令，或者通过经互联网的下载来实施软件代码指令。
应当认可，虽然已经参考一些示例实施例描述了本原理，但是这些并不意在是限制性的，并且可以使用各种替代的布置以实现本文要求保护的主题。

Claims (19)

1.一种装置，包括：
至少一个计算机存储器，所述至少一个计算机存储器不是瞬时信号并且包括指令，所述指令可由至少一个处理器执行，从而：
确定音频视频显示设备AVDD正在执行软件应用，所述软件应用包括为触摸屏输入启用的用户界面UI；
从不具有触摸屏显示器并且具有触摸敏感输入表面的遥控器RC接收非触摸屏信号；
将所述非触摸屏信号翻译成对应的触摸屏信号；以及
在所述AVDD上执行所述触摸屏信号。
2.如权利要求1所述的装置，其中所述AVDD的显示器不是触摸敏感的。
3.如权利要求1所述的装置，包括至少一个处理器。
4.如权利要求1所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上的第一手势生成的第一信号，并且所述指令可执行以将所述第一信号翻译成所述UI上的选择信号，所述选择信号在所述UI上的至少由通过操纵所述RC上的方向键生成的第二信号限定的位置处。
5.如权利要求1所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上的第一手势生成的第一信号，并且所述指令可执行以将所述第一信号翻译成所述UI上的双击触摸屏信号，所述双击触摸屏信号在所述UI上的至少由通过操纵所述RC上的方向键生成的第二信号限定的位置处。
6.如权利要求1所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上的第一手势生成的第一信号，并且所述指令可执行以将所述第一信号翻译成所述UI上的滑动触摸屏信号，所述滑动触摸屏信号在所述UI上的至少由通过操纵所述RC上的方向键生成的第二信号限定的位置处。
7.如权利要求1所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上的第一手势生成的第一信号和通过操纵所述RC上的方向键生成的第二信号，并且所述指令可执行以将所述第一信号和所述第二信号翻译成所述UI上的长按和拖动触摸屏信号，所述长按和拖动触摸屏信号在所述UI上的至少由通过操纵所述RC上的方向键生成的第三信号限定的位置处。
8.如权利要求1所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上的第一手势生成的第一信号，并且所述指令可执行以将所述第一信号翻译成所述UI上的捏开触摸屏信号。
9.如权利要求8所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上与所述第一手势不同的第二手势生成的第二信号，并且所述指令可执行以将所述第二信号翻译成所述UI上的捏合触摸屏信号。
10.如权利要求1所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上的第一单指手势生成的第一信号，并且所述指令可执行以将所述第一信号翻译成所述UI上的双指触摸屏信号。
11.如权利要求1所述的装置，其中所述非触摸屏信号包括由所述触摸敏感输入表面上的第一手势生成的第一信号，并且所述指令可执行以将所述第一信号翻译成所述UI上的旋转触摸屏信号。
12.一种装置，包括：
至少一个计算机存储器，所述至少一个计算机存储器不是瞬时信号并且包括指令，所述指令可由至少一个处理器执行，用于：
执行音频视频显示设备AVDD上的应用，所述AVDD包括为触摸命令启用的用户界面UI并且不具有触摸敏感显示器；
响应于确定所述AVDD处于触摸屏模式而在所述显示器上呈现光标；
从具有触摸屏能力的移动计算设备MCD接收触摸屏信号；
根据来自所述MCD的所述触摸屏信号移动所述光标；以及
根据来自所述MCD的所述触摸屏信号执行所述AVDD上的所述应用的至少一个功能。
13.如权利要求12所述的装置，其中所述UI不被发送到所述MCD。
14.如权利要求12所述的装置，其中所述UI被发送到所述MCD，用于在所述MCD的触摸敏感显示器上呈现所述UI。
15.如权利要求12所述的装置，包括所述至少一个处理器。
16.如权利要求12所述的装置，包括非触摸敏感显示器，用于在所述AVDD上呈现所述UI。
17.一种音频视频显示设备AVDD，包括：
至少一个不是触摸敏感的视频显示器；
至少一个处理器，被配置用于执行至少一个应用，所述至少一个应用用于在所述视频显示器上呈现所述应用的为触摸输入启用的至少一个用户界面UI；以及
至少一个计算机存储器，可由所述至少一个处理器访问并且包括指令，所述指令可执行用于：
从具有触摸屏能力的移动计算设备MCD接收触摸屏信号；
响应于从所述MCD接收触摸屏信号，在所述AVDD的所述显示器上呈现光标；
根据来自所述MCD的所述触摸屏信号执行所述AVDD上的所述应用的至少一个功能。
18.如权利要求17所述的AVDD，其中所述指令可执行用于将所述UI发送到所述MCD，用于在所述MCD上呈现所述UI。
19.如权利要求17所述的AVDD，其中所述指令不可执行用于将所述UI发送到所述MCD，使得所述UI不被发送到所述MCD并且不在所述MCD上呈现。
CN201710077083.8A 2016-03-07 2017-02-14 实现在显示设备上运行触摸屏应用的装置和显示设备 Pending CN107172471A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/063,075 US10785441B2 (en) 2016-03-07 2016-03-07 Running touch screen applications on display device not having touch capability using remote controller having at least a touch sensitive surface
US15/063,075 2016-03-07

Publications (1)

Publication Number Publication Date
CN107172471A true CN107172471A (zh) 2017-09-15

Family

ID=59724479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710077083.8A Pending CN107172471A (zh) 2016-03-07 2017-02-14 实现在显示设备上运行触摸屏应用的装置和显示设备

Country Status (2)

Country Link
US (1) US10785441B2 (zh)
CN (1) CN107172471A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719513A (zh) * 2019-10-09 2020-01-21 中移互联网有限公司 一种智能电视遥控方法、装置和移动终端
CN112351324A (zh) * 2020-10-27 2021-02-09 深圳Tcl新技术有限公司 模拟鼠标控制方法、装置、设备及计算机可读存储介质
CN115086561A (zh) * 2022-06-21 2022-09-20 易兆微电子(杭州)股份有限公司 一种自动变焦方法、装置、自拍器及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102645186B1 (ko) * 2018-11-14 2024-03-08 삼성디스플레이 주식회사 입력감지회로 및 이를 포함하는 표시모듈
KR20220124425A (ko) * 2021-03-03 2022-09-14 경인전자 주식회사 인풋 디바이스
KR20230034656A (ko) * 2021-09-03 2023-03-10 삼성전자주식회사 리모컨 및 그 리모컨의 키를 설정하는 디스플레이 장치와 그 방법들

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150122A (zh) * 2008-09-09 2011-08-10 微软公司 时间上分开的触摸输入
US20110270600A1 (en) * 2010-04-30 2011-11-03 Nokia Corporation Method and apparatus for providing interoperability between devices
CN102411471A (zh) * 2010-06-22 2012-04-11 通用电气公司 与供显示的数据集交互的方法与系统
CN202281975U (zh) * 2011-10-20 2012-06-20 刘运亮 用于遥控的设备
CN102937876A (zh) * 2011-11-23 2013-02-20 微软公司 触摸传感器的动态缩放
CN102968209A (zh) * 2012-10-15 2013-03-13 深圳市万兴软件有限公司 一种智能终端的遥控方法、系统及触摸屏遥控器
CN103106104A (zh) * 2013-02-07 2013-05-15 深圳杰科电器制造有限公司 基于安卓系统的远程控制方法及系统
CN103885707A (zh) * 2014-02-27 2014-06-25 四川长虹电器股份有限公司 基于多点触控技术的人机交互的方法及遥控器

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805165A (en) * 1995-08-31 1998-09-08 Microsoft Corporation Method of selecting a displayed control item
KR100407966B1 (ko) 2001-08-24 2003-12-01 엘지전자 주식회사 티브이를 이용한 휴대폰 제어시스템 및 그 방법
US8531392B2 (en) * 2004-08-04 2013-09-10 Interlink Electronics, Inc. Multifunctional scroll sensor
EP1859616B1 (en) 2005-03-08 2016-05-11 Koninklijke Philips N.V. Multiple user control of a down loadable application
US20120208639A1 (en) * 2006-07-14 2012-08-16 Ailive Inc. Remote control with motion sensitive devices
US20080284726A1 (en) * 2007-05-17 2008-11-20 Marc Boillot System and Method for Sensory Based Media Control
JP5120460B2 (ja) 2008-10-28 2013-01-16 富士通株式会社 携帯端末および入力制御方法
US8370878B2 (en) 2010-03-17 2013-02-05 Verizon Patent And Licensing Inc. Mobile interface for accessing interactive television applications associated with displayed content
JP5408729B2 (ja) 2010-03-30 2014-02-05 カシオ計算機株式会社 制御システム、制御端末、及び制御方法
US8997009B2 (en) 2010-08-13 2015-03-31 Paul L. Bechtel Interactive computing system with persistent themes
KR101286358B1 (ko) 2011-08-11 2013-07-15 엘지전자 주식회사 영상표시방법 및 장치
CN103858083A (zh) * 2011-10-13 2014-06-11 Lg电子株式会社 输入界面控制设备及其方法
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
CN102638716A (zh) 2012-03-21 2012-08-15 华为技术有限公司 实现移动终端遥控电视的方法、装置和系统
US20130324850A1 (en) * 2012-05-31 2013-12-05 Mindray Ds Usa, Inc. Systems and methods for interfacing with an ultrasound system
TW201351215A (zh) 2012-06-06 2013-12-16 Areson Technology Corp 滑鼠模擬觸控螢幕操作的方法
US9060152B2 (en) 2012-08-17 2015-06-16 Flextronics Ap, Llc Remote control having hotkeys with dynamically assigned functions
US9143715B2 (en) * 2013-03-14 2015-09-22 Intel Corporation Remote control with capacitive touchpad
JP2014219867A (ja) 2013-05-09 2014-11-20 コニカミノルタ株式会社 画像形成装置、画像形成装置が操作方法を案内する方法、プログラム、および、システム
US9454251B1 (en) 2013-06-26 2016-09-27 Google Inc. Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state
JP2015014998A (ja) * 2013-07-08 2015-01-22 船井電機株式会社 操作システム
CN103440107A (zh) * 2013-09-04 2013-12-11 北京奇虎科技有限公司 电子设备触摸操作处理的方法和装置
GB2519375A (en) 2013-10-21 2015-04-22 Mastercard International Inc Method and apparatus for interaction via television system
JP6390093B2 (ja) * 2013-12-05 2018-09-19 日本電気株式会社 動的デバイス配分装置、動的デバイス配分システム、動的デバイス配分方法、及び、動的デバイス配分プログラム
US9588677B2 (en) 2014-01-03 2017-03-07 Verizon Patent And Licensing Inc. Systems and methods for touch-screen-based remote interaction with a graphical user interface
WO2015152873A1 (en) * 2014-03-31 2015-10-08 Hewlett-Packard Development Company, L.P. Interaction with surface acoustic wave touchscreens
US8896765B1 (en) 2014-05-16 2014-11-25 Shadowbox Media, Inc. Systems and methods for remote control of a television
US10304163B2 (en) * 2014-09-08 2019-05-28 Apple Inc. Landscape springboard
US10466883B2 (en) * 2015-03-02 2019-11-05 Apple Inc. Screenreader user interface

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150122A (zh) * 2008-09-09 2011-08-10 微软公司 时间上分开的触摸输入
US20110270600A1 (en) * 2010-04-30 2011-11-03 Nokia Corporation Method and apparatus for providing interoperability between devices
CN102411471A (zh) * 2010-06-22 2012-04-11 通用电气公司 与供显示的数据集交互的方法与系统
CN202281975U (zh) * 2011-10-20 2012-06-20 刘运亮 用于遥控的设备
CN102937876A (zh) * 2011-11-23 2013-02-20 微软公司 触摸传感器的动态缩放
CN102968209A (zh) * 2012-10-15 2013-03-13 深圳市万兴软件有限公司 一种智能终端的遥控方法、系统及触摸屏遥控器
CN103106104A (zh) * 2013-02-07 2013-05-15 深圳杰科电器制造有限公司 基于安卓系统的远程控制方法及系统
CN103885707A (zh) * 2014-02-27 2014-06-25 四川长虹电器股份有限公司 基于多点触控技术的人机交互的方法及遥控器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719513A (zh) * 2019-10-09 2020-01-21 中移互联网有限公司 一种智能电视遥控方法、装置和移动终端
CN112351324A (zh) * 2020-10-27 2021-02-09 深圳Tcl新技术有限公司 模拟鼠标控制方法、装置、设备及计算机可读存储介质
CN115086561A (zh) * 2022-06-21 2022-09-20 易兆微电子(杭州)股份有限公司 一种自动变焦方法、装置、自拍器及存储介质

Also Published As

Publication number Publication date
US20170257593A1 (en) 2017-09-07
US10785441B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
CN107172471A (zh) 实现在显示设备上运行触摸屏应用的装置和显示设备
US11604535B2 (en) Device and method for processing user input
EP3037938A1 (en) Application execution method by display device and display device thereof
CA2849616A1 (en) Device and method for generating data for generating or modifying a display object
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
EP2860610A2 (en) Devices and methods for generating tactile feedback
WO2021115103A1 (zh) 显示控制方法和终端设备
WO2020001358A1 (zh) 图标的整理方法及终端设备
US20210096641A1 (en) Input control display based on eye gaze
KR102416421B1 (ko) 터치 패드 입력을 갖는 게임 컨트롤러
CN107172472A (zh) 使用遥控器在无触摸能力的显示设备上运行触摸屏应用
US20160062646A1 (en) Device for Displaying a Received User Interface
US10579732B2 (en) Accessibility menu from remote control
US20170038937A1 (en) Media sharing between devices using drag and drop gesture
US10845954B2 (en) Presenting audio video display options as list or matrix
WO2013164351A1 (en) Device and method for processing user input
US10051331B1 (en) Quick accessibility profiles
EP2660695B1 (en) Device and method for processing user input
JP6815546B1 (ja) プログラムおよび画像制御方法
US12090396B2 (en) Haptics support for UI navigation
WO2023010020A1 (en) Using signing for input to search fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170915