CN102498725B - 自动确定操作模式的移动设备 - Google Patents

自动确定操作模式的移动设备 Download PDF

Info

Publication number
CN102498725B
CN102498725B CN2010800263929A CN201080026392A CN102498725B CN 102498725 B CN102498725 B CN 102498725B CN 2010800263929 A CN2010800263929 A CN 2010800263929A CN 201080026392 A CN201080026392 A CN 201080026392A CN 102498725 B CN102498725 B CN 102498725B
Authority
CN
China
Prior art keywords
mobile device
image
electronic equipment
data
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010800263929A
Other languages
English (en)
Other versions
CN102498725A (zh
Inventor
S·N·巴斯彻
W·J·威斯特瑞恩
M·T·阿贝尔
J·埃斯特拉达
C·J·米戈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102498725A publication Critical patent/CN102498725A/zh
Application granted granted Critical
Publication of CN102498725B publication Critical patent/CN102498725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/16—Circuits
    • H04B1/20—Circuits for coupling gramophone pick-up, recorder output, or microphone to receiver
    • H04B1/202—Circuits for coupling gramophone pick-up, recorder output, or microphone to receiver by remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/10—Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H04M2203/1016—Telecontrol
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices
    • H04N21/42227—Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Digital Computer Display Output (AREA)

Abstract

使用诸如蜂窝电话之类的移动设备来远程控制诸如电视机或个人计算机之类的电子设备。在设置阶段，移动设备捕捉电子设备的图像，并标识和存储图像的比例不变特征。诸如虚拟键区配置之类的用户界面配置，以及通信协议可以与所存储的数据相关联。随后，在实现阶段，捕捉电子设备的另一个图像，并将其与库中的所存储的特征进行比较以标识匹配。作为响应，实现相关联的用户界面配置和通信协议以控制电子设备。在轮询和答复过程中，移动设备捕捉电子设备的显示器的图像，并将它与由电子设备传输的图像数据进行比较。

Description

自动确定操作模式的移动设备
背景
诸如蜂窝电话之类的移动通信设备已经变得无所不在。可以通过诸如全球移动通信系统(GSM)网络之类的蜂窝电话网络来提供语音通信及诸如web浏览之类的其他数据通信。此外，移动设备通常还具有用于其他应用的许多内嵌式组件。例如，内嵌式相机可以用来捕捉静止和视频图像。可以使用红外发射器来来往于个人数字助理(PDA)、膝上型计算机或销售点终端传输数据。RF发射器和接收器可供用来通过诸如Wi-Fi网络之类的无线局域网(WLAN)以及通过诸如Bluetooth网络之类的个人局域网进行无线通信。此外，最近还开发出了可使移动设备充当电视机或视频游戏控制台的手持式遥控器的应用。如此，移动设备可以以各种模式来进行操作。然而，用户具有配置移动设备来识别其当前上下文并以适当的模式进行操作的负担。
概述
提供了通过无线信号进行通信的移动设备，其中，移动设备通过可视地感应其环境来自动确定操作模式，还提供了处理器实现的用于配置这样的移动设备的方法。移动设备可以是诸如蜂窝电话、启用web的智能电话、个人数字助理、掌上电脑、便携式计算机之类的手持式移动设备，或通过无线信号进行通信的类似的设备。移动设备可以被用来使用移动设备中的相机来控制诸如电视机或个人计算机(PC)之类的电子设备。具体而言，用户可以进入移动设备中的设置模式，在该模式，捕捉并存储电子设备以及周围的区域的图像。移动设备将图像与用户界面配置和/或用于控制电子设备的通信协议相关联。例如，用户界面配置可以是移动设备的用户界面屏幕上的软键的排列，而通信协议可包括移动设备(诸如通过选择要在电子设备上显示的内容)发送到电子设备以控制它的命令。
一旦设置了移动设备，当用户以后再者希望控制电子设备时，它就可以自动配置其本身。可以激活相机以捕捉周围的区域的图像，并处理该图像以确定它是否匹配预先存储的图像数据。激活可以基于指示移动设备处于图像拍摄定向的物理传感器来自动地进行。如果移动设备识别它处于与之前相同的环境，则它自动配置其本身以控制与环境相关联的电子设备。移动设备还可以在轮询和答复过程中从电子设备其本身获取用于控制电子设备的信息。
在一个实施例中，手持式移动设备包括图像传感器、用户界面(UI)、存储处理器可读代码的存储器，以及执行处理器可读代码的处理器。处理器配置移动设备以控制电子设备。具体而言，处理器在第一时间使用图像传感器来捕捉电子设备的第一图像，基于第一图像，将第一数据存储在存储器中，并且在第二时间，使用图像传感器捕捉电子设备的第二图像。处理器还基于第二图像来提供第二数据，确定第一数据是否匹配第二数据，并且如果第一数据匹配第二数据，则配置用户界面与电子设备一起使用。
提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图简述
图1a描绘了移动设备的触敏皮肤。
图1b描绘了通过无线信号与不同的电子设备进行通信的移动设备。
图2a描绘了带有显示设备的电子设备的移动设备捕捉到的图像。
图2b描绘了移动设备的第一图像拍摄定向准则。
图2c描绘了移动设备的第二图像拍摄定向准则。
图2d描绘了在移动设备处于图像拍摄定向的情况下自动激活移动设备的轮询过程的过程。
图2e描绘了包括多个带有相关联的显示设备的电子设备的环境的移动设备捕捉到的图像。
图2f描绘了从电子设备传送的图像数据与从移动设备的相机捕捉的图像数据的比较。
图3a描绘了带有被配置成用作蜂窝电话的触摸屏用户界面的移动设备。
图3b描绘了带有被配置成用作TV遥控器的触摸屏用户界面的移动设备。
图3c描绘了带有被配置成用作个人计算机(PC)遥控器的触摸屏用户界面的移动设备。
图4a描绘了其中移动设备通过比较电子设备的移动设备捕捉到的图像与由电子设备传送的图像数据来自动配置其本身以便与电子设备一起使用的方法。
图4b描绘了响应于从移动设备接收到无线信号而在电子设备的显示设备上显示的预定义图像。
图4c描绘了其中移动设备通过比较多个电子设备的移动设备捕捉到的图像与由电子设备传送的图像数据并选择多个电子设备之中的最佳匹配来自动配置其本身以便与电子设备一起使用的方法。
图5描绘了其中在移动设备的用户界面被配置成与电子设备一起使用之后移动设备控制电子设备的方法。
图6a描绘了移动设备感测在电子设备的显示设备上提供的同步图像。
图6b描绘了其中移动设备通过感测在电子设备的显示设备上提供的同步图像来自动配置其本身以便与电子设备一起使用的方法。
图7a描绘了从不同的角度和距离获取的环境的移动设备捕捉到的图像，其中，环境包括带有显示设备的电子设备。
图7b描绘了方法的设置阶段，其中，移动设备通过捕捉包括电子设备的环境的图像并将该图像与从不同的角度和距离获取的环境的前面捕捉到的图像进行比较，来自动配置其本身以便与电子设备一起使用。
图7c描绘了在图7b的方法的设置阶段之后的实现阶段。
图7d描绘了带有被配置成用于在图7b的方法的设置阶段捕捉电子设备的图像的触摸屏用户界面的移动设备。
图7e描绘了用于确定图像的比例不变特征的过程。
图7f描绘了用于基于图像的比例不变特征来匹配图像的过程的第一部分。
图7g描绘了用于基于图像的比例不变特征来匹配图像的过程的第二部分。
图8a描绘了在移动设备被自动配置成与电子设备一起使用之后电子设备显示信息以镜像移动设备的用户界面。
图8b描绘了其中在移动设备被自动配置成与电子设备一起使用之后电子设备向移动设备显示呼叫者的联系人信息的方法。
图8c描绘了其中在移动设备被自动配置成与电子设备一起使用之后电子设备镜像移动设备的用户界面的方法。
图9a描绘了移动设备的示例框图。
图9b描绘了示例移动设备网络。
图10描绘了电视机的示例框图。
图11描绘了个人计算机(PC)的示例框图。
图12描绘了适于实现各实施例的计算机硬件的示例框图。
详细描述
提供了通过无线信号进行通信的移动设备，其中，移动设备通过可视地感测其环境来自动确定操作模式——除了提供处理器实现的用于配置这样的移动设备的方法之外。通常，用户具有配置移动设备以在特定模式下进行操作的负担。配置过程是耗时的，困难的，并且，在很多情况下，超出了用户的能力。此外，还有当移动设备需要在不同的模式之间切换时反复地改变配置的负担。例如，用户可能希望将移动设备作为电视机的遥控器来操作。这可以通过用户按下移动设备上的启动适当的电视机遥控器应用程序的键序列来实现。如果用户希望将移动设备作为PC的遥控器来操作，则需要按下移动设备上的启动适当的PC遥控器应用程序的另一键序列。此外，在任一种情况下，都可能有附加的设置要求，其中，用户按下移动设备上的键序列以标识电视机型号、PC型号、在PC上运行的操作系统和应用程序。
在某些情况下，电视机和PC连接，以使得PC向电视机提供视频信号。移动设备必须被切换到TV模式以，例如，控制电视机来调节由电视机的硬件实现的音频和颜色设置，以及切换到PC模式以，例如，控制PC在电视机上运行媒体中心应用程序，该应用程序播放诸如电影之类的视频，或显示网页，或照片编辑应用程序中的数字照片。这样的情况还可以要求移动设备被在不同的控制模式之间来回切换。要求移动设备的键或其他控制输入的大量的手动协商。
因此，需要提供这样的一种技术：其中，移动设备自动识别用户希望控制的电子设备，并针对该上下文配置其本身，诸如通过配置用户界面设置以控制电子设备。
此处所提供的技术涉及上下文识别。上下文识别具有许多不同的方面。一般而言，可以使用移动设备中的物理传感器来确定各种类型的信息。例如，可以确定移动设备的定向，以使得移动设备的用户界面(UI)显示被垂直地或水平地定向，以便最方便地使用。其他传感器可以确定移动设备的位置，并修改移动设备的配置以适合该位置。例如，移动设备可以确定它是位于用户的家庭还是工作场所，并更改其设置和功能。例如，如果位置传感器(例如，GPS、GSM和/或Wi-Fi网络传感器)指示移动设备位于用户的家庭，或者甚至在诸如起居室之类的特定房间，则移动设备可以更改其功能以当它被拾取时变为TV遥控器。移动设备还可以具有活动的红外传感器，这些红外传感器检测来自游戏控制台的导致移动设备自动进入“游戏模式”以在电视机上玩视频游戏的红外信号。移动设备可以保持在该模式，直到它接收到传入电话呼叫，然后，再次切换回电话模式。类似地，如果移动设备被在家庭外面拾取，则它可以更改功能并进入电话模式。用户还应该具有手动更改移动设备的功能以在不同的模式(如电话、TV远程和游戏控制器模式)之间切换的能力。
移动设备可以具有基于意图的模式切换，该功能导致它基于传感器输入来更改模式。例如，移动设备可以充当当接收到传入呼叫时响铃的蜂窝电话，并基于由运动传感器的确定，当它被拾取时自动停止响铃。作为另一个示例，如果移动设备在没有传入呼叫的空闲状态被拾取，则可以确定用户打算拨出电话呼叫并立即进入呼叫模式。在另一种方法中，移动设备在该移动设备的周边或其他位置具有诸如许多离散传感器之类的传感器，或在移动设备的侧面和背面具有触敏皮肤，该皮肤可以提供触摸移动设备的手的整个部分的电容性图像。触敏皮肤允许移动设备感测它正在被持握的方式，以便确定它是被右手还是左手拾取的，并相应地更改诸如显示定向和/或拨出电话呼叫的方法之类的特征。还可以使用触敏皮肤来确定用户是否正在以图像拍摄定向握住移动设备，并采取如此处所描述的相对应的动作。参见下面的图1a。
一般而言，移动设备可以确定用户何时执行了与移动设备的非功能性交互，或计划的使用交互。非功能性交互是不涉及使用被设计到移动设备中的功能的交互。一个示例是从桌子中拾取移动设备。相比之下，当用户与移动设备进行交互以使用其功能时，发生计划的使用交互。一个示例是在图像-定向握住移动设备，以使用移动设备的相机来拍摄照片。另一个示例是将移动设备置于耳边在电话上讲话。可以例如通过解释用户对移动设备施加的握力，除使用诸如光传感器、接近度传感器和/或加速度计之类的其他传感器之外，还使用移动设备周围的触摸/握力传感器，来检测这些交互。例如，当移动设备被置于用户的耳边，握力传感器可以感测相对应的握力，光传感器可以感测光的变暗，接近度传感器可以感测用户的头的接近度，而加速度计可以感测相对应的定向。如此，移动设备可以使用适当的传感器来检测它正在被握住，以及它正在被握住的方式，并标识和激活移动设备的相对应的功能。
还可以基于诸如几何形状和施加的压力之类的条件来标识特定用户的手的唯一特征。可以使用此信息来标识哪一个用户当前正在使用移动设备，并执行诸如对移动设备进行锁定或解除锁定之类的功能，或修改用户界面以为年长的用户在UI显示上使用更大的数字和符号，还有许多可能。
作为另一个示例，如果移动设备具有带有投射的键盘的大显示器，则它可以感测手的手指的位置，并定位投射的键盘以便通过移动布局以针对手的位置进行调整来使得它最方便用于键入。
另一个可能的方法是让传感器检测移动设备是位于口袋中、抽屉中、钱包还是其他套中。这可以使用温度感测和/或光感测来进行。如果移动设备确定它位于套中，则它可以开始响铃，并在短时间内，开始将其铃声改变为更大声音，和/或以不同频率进行，并持续直到用户抽出移动设备。还可以使用光传感器来检测房间内或建筑物外面的环境光，并改变移动设备的用户界面显示的亮度或对比度设置，以给出最佳的查看质量。
图1a描绘了移动设备的触敏皮肤。触摸传感器通过电阻性的、电容性的表面波、红外线、应变仪、光学成像、耗散的成像技术，以及声学脉冲识别技术，来进行操作。例如，参见描述了电子设备的自适应表层的通过援引并入本文中的美国专利申请出版物no.20070220427。还参见Rosenberg等人的IMPAD-An Inexpensive Multi-Touch Pressure Acquisition Device(廉价多触摸压力获取设备)——第27界有关计算系统中的人为因素的国际会议的会议记录，第3217-3222页，2009年4月4-9日——该文通过援引并入本文中。诸如由Rosenberg等人所描述的移动设备的触敏皮肤使用可以轻松地缩小以安装在便携式设备上的极薄的柔性压力获取设备。这些设备可以以足够高的分辨率感测压力的不同级别，以感测和区别多个指尖、笔或笔尖，及其他对象。示例触敏皮肤在概念上具有五层。第一和第五层是具有允许与外部电子器件接口的平行线路的外层。示例线路120位于第一层，而示例线路124位于第五层。层中的线路彼此平行，而层1中的线路在垂直于层5上的平行线路的方向的方向上布线。第二层121和第四层123包括允许相邻的线路之间的电流滴流并负责设备的双线性特征的电阻材料。第三(中间)层122包括其当被压缩时电阻降低的材料，如此可以感测外力。
在操作期间，沿着层1每次一个线路被通向正电压，而所有其他线路都被设置为地线。然后，在层5上的所有其他线路都被设置为地线时，一次一个地测量层5上的每一个线路上的电压。重复此过程，直到获取了行和列线路之间的每一个交叉的电压读数。为提高扫描速度，还可以同时读取所有偶数号码的线路电压，然后，读取所有奇数号码的线路的电压。这会导致随着传感器的顶层上的线路的数量线性地增长的扫描速率。
当向传感器施加外压力时，产生可使电流从层1流向层5的通路。电流沿着层2流动，然后，穿过层3中的接触点，然后，沿着层4，最后穿过层5中的电极。交叉处的结果电压取决于该电流通路的电阻，该电阻取决于接触点与交叉处的接近度和此时施加的压力。
实验可以揭示移动设备的触敏皮肤的与特定的计划使用交互相关联的触摸模式。
图1b描绘了通过无线信号与不同的电子设备进行通信的移动设备。在诸如用户的家庭中的一个房间之类的环境102中，可以存在许多电子设备，可以由来自移动设备100的无线信号对这些电子设备进行控制。这样的电子设备的示例包括具有显示设备或屏幕105的电视机104，可以与电视机104进行通信的视频游戏控制台106，具有显示设备109的膝上型计算机108，以及包括具有显示设备111的监视器110的PC 112。电子设备的另一个示例是与电视机104进行通信的机顶盒。
尽管移动设备100通常包括蜂窝电话功能，诸如Wi-Fi、Bluetooth和IrDA(红外线数据协会)之类的其他通信技术当前也被合并到许多移动设备中，以进行声音及其他数据通信。移动设备一般可包括蜂窝电话(包括启用web的智能电话)、个人数字助理(PDA)/掌上电脑、便携式媒体播放器(例如，MICROSOFT ZUNE
Figure BPA00001480898800081
APPLE IPOD
Figure BPA00001480898800082
)，以及诸如上网本、图形输入板计算机，及其他设备之类的膝上型计算机。蜂窝电话功能不一定是执行此处所描述的自动配置所必需的。
电子设备包括与移动设备兼容的相对应的无线发射和接收组件。这样的组件可以被嵌入到电子设备中，或作为外围设备来连接。关于电视机104，某种电视机具有嵌入式Wi-Fi功能，以使得可以通过例如家庭网络向电视机无线地流送内容。Wi-Fi是Wi-Fi联盟基于IEEE 802.11标准认证的产品的证书，并确保不同的无线设备之间的互操作性。Wi-Fi是一种类型的无线局域网(WLAN)。电视机所使用的其他无线技术包括基于WiMedia标准的WiMAX、超宽频带(UWB)，WHDI特殊兴趣组的无线家庭数字接口(WHDI)TM、WirelessHD联盟的Wireless HD
Figure BPA00001480898800092
以及来自Monster CableProducts有限公司和Sigma Designs有限公司的无线数字Express HD。这些无线技术是可以提供的RF无线通信的示例。膝上型计算机和PC通常包括嵌入式Wi-Fi功能或接受Wi-Fi卡。此外，还可以使用红外信号来在移动设备100和电子设备104、106、108和112中的任何一个之间提供通信。电子设备也可以彼此无线地进行通信。
添加Wi-Fi功能的示例电视机外围设备包括来自Sling Media的Slingbox、来自Apple有限公司的Apple TV，以及来自MediaGate USA的MediaGate Network Multimedia Center。
在某些情况下，电子设备彼此之间以及与移动设备足够近，以使得多个电子设备从移动设备接收无线信号。在其他情况下，只有一个电子设备从移动设备接收无线信号。此外，电子设备彼此之间以及与移动设备足够近，以使得移动设备的相机或其他图像传感器同时从多个电子设备捕捉图像或光信号。在其他情况下，一次只有一个电子设备被移动设备的相机或其他图像传感器感测到。下面将描述移动设备使用相机或其他图像传感器来标识电子设备。
图2a描绘了包括一种带有显示设备的电子设备的环境的移动显示设备捕捉到的图像。许多移动设备具有嵌入式相机，这些相机检测可见光来使用CMOS多兆像素图像传感器捕捉静止或视频数字图像，并以JPG、GIF、PNG或其他格式存储数字图像。由移动设备的相机捕捉到的一个或多个图像可以被用来标识处于图像中的电子设备。在此方法中，用户瞄准移动设备，以使得它拍摄包括电子设备的图像。为较好地识别电子设备，它在图像中应该是突出的。图像200可以由例如坐在电子设备104前面的沙发上的用户来拍摄的。图像200包括电视机104以及其示出了当前描绘了在公路上行驶的汽车的示例显示的显示设备105。图像200还包括电子设备所在的环境中的诸如桌子206、花瓶204和壁挂202之类的其他组件。这是一个可能的环境的简化示例。
可以激活移动设备以便以不同的方式捕捉图像200。如上文所提及的，在一种方法中，用户可以瞄准移动设备并在进入轮询模式之后手动拍摄照片。图像可以被作为轮询过程的一部分来捕捉，其中，移动设备发射无线信号以确定哪些电子设备在移动设备的范围之内。范围之内的任何电子设备利用它们自己的无线信号来对轮询信号作出响应，该无线信号由移动设备接收。此外，来自电子设备的无线信号还可包括表示当前在它们的相关联的显示设备上显示的图像的图像数据，以及标识电子设备的类型和/或可以被移动设备用来控制电子设备的用户界面(UI)的控制数据。移动设备将它利用其相机捕捉到的图像与从电子设备接收到的经过编码的图像数据进行比较，以确定移动设备是否瞄准特定电子设备。如果有多个匹配，则诸如基于哪一个电子设备位于捕捉到的图像中的最中间，来确定最佳匹配。
在一种可能的方法中，用户使用还触发无线轮询信号的命令来捕捉图像。此命令可以与用于一般性地使用相机而没有轮询的命令区别开来。在另一种可能的方法中，无需由用户手动输入命令即可捕捉图像。例如，移动设备可以使用加速度计和/或其他物理传感器来确定移动设备何时已经移动，诸如被从桌子中拾取，和/或何时移动设备被保持在指示它正在被用作相机的定向，如下面所讨论的。
图2b描绘了移动设备的第一图像拍摄定向准则。图2c描绘了移动设备的第二图像拍摄定向准则。在一种可能的实现中，当移动设备处于一种定向达某一时间段(例如，几秒)时，这被解释为其中正在被瞄准移动设备将用作相机的定向，轮询和图像捕捉过程被激活。在另一种可能的方法中，移动设备确定在它被处于图像拍摄定向之前它已经被固定了达某一时间段。例如，如果移动设备位于桌子上，坐在沙发上的用户拾取移动设备，并将它瞄准在电视机104上，会发生这种情况。可以在轮询和图像捕捉过程中以视频类似地捕捉多个图像。也可以使用接近度传感器来推断移动设备没有被置于用户的头部来用作电话。也可以使用诸如握力传感器和光传感器之类的其他传感器来确定移动设备的定向，或者以别的方式标识计划的使用交互。例如，可以使用如上文结合图1a所提及的移动设备的触敏皮肤。
典型的移动设备101包括后面板上的照相机镜头101，以使得当照相机镜头轴被水平地瞄准，如当拍摄图像时所常见的那样，移动设备被基本上垂直地放置。此定向可以由移动设备中的传感器来确定。例如，如果移动设备的与垂直线208的前到后倾斜角在指定的边界+/-θ1内，则可以满足第一图像拍摄定向准则，而如果移动设备与垂直线208的面对面倾斜角在指定的边界+/-θ2内，则可以满足第二图像拍摄定向准则。
图2d描绘了在移动设备处于图像拍摄定向的情况下自动激活移动设备的轮询过程的过程。在步骤210中，感测移动设备的运动。可另选地，或另外，移动设备上的电容式触摸传感器可以确定用户已经拾取并握住移动设备。在步骤212中，就移动设备是否处于图像拍摄定向达一段时间t1(例如，几秒)作出确定。如果是，则在步骤214中自动激活移动设备的轮询模式。如果移动设备没有处于图像拍摄定向达一段时间t1，则在步骤216中不自动激活移动设备的轮询模式。用户还可以具有诸如通过按下移动设备上的键来手动激活轮询模式的选项。
图2e描绘了包括多个带有相关联的显示设备的电子设备的环境的移动设备捕捉到的图像。在图像202中，电视机104附有第二电子设备：PC 112和带有显示设备111的监视器110。显示设备被描绘成示出了由PC 112中的软件运行的媒体中心应用程序。媒体中心应用程序的示例包括来自微软公司的Windows Media Center、来自Apple有限公司的Front Row、LinuxMedia Center Edition(一种开放源代码平台)、XBMC Media Center界面(也是一种开放源代码平台)。PC 112可以独立于电视机104地操作，或者可以与电视机104进行通信(通过有线或无线)以显示图像。媒体中心应用程序也可以由诸如某些DVD播放器、机顶盒，以及视频游戏控制台之类的提供网络服务的其他设备来提供。媒体中心应用程序可以具有图形用户界面(GUI)，该界面被设计成从几英尺以外观看，以允许用户使用遥控装置与该GUI进行交互。例如，用户可以远程控制诸如照片、音乐、DVD以及视频之类的媒体文件的显示。注意，远程PC控制也可以用于除媒体中心应用程序以外的应用程序，如用于访问文件夹或文档的应用程序。
在此情况下，由移动设备捕捉到的图像202包括一般位于图像的中心的电子设备，以及远离图像的侧面的电视机104的一部分。
图2f描绘了从电子设备发射的图像数据215与从移动设备的相机捕捉的图像数据200在移动设备的比较功能216处的比较。可以产生匹配或不匹配判定。
图3a描绘了带有被配置成用作蜂窝电话的触摸屏用户界面的移动设备。如上文所提及的，移动设备100可以被配置成在不同的模式下进行操作。在一种可能的方法中，移动设备具有用户界面显示300，该显示300可以使用软件来配置，以显示某些键，用户通过将他的或她的指尖放在键上来选择键。显示可以是显示软键的触摸屏。然而，用户界面也可以使用硬键，另选地或另外地，以控制移动设备和电子设备。
这里，用户界面显示300处于电话模式，其中，移动设备充当蜂窝电话。用户界面显示300的区域302提供信号强度指示符、时间、电池强度指示符、读取“电话模式”的模式指示符以及窗口301。区域304提供可以被用来输入例如电话号码的数字键。数字可以出现在窗口301中。区域306包括用于拨出呼叫的呼叫按钮和结束呼叫按钮。可以给硬键308指定用于电话模式的附加功能。电话模式可以是移动设备采取的默认模式。
图3b描绘了带有被配置成用作TV遥控器的触摸屏用户界面的移动设备。用户界面显示300的区域310指示移动设备被配置在“电视模式”。在区域310中还提供了on/off(开/关)按钮。区域312提供可以被用来输入例如频道号的数字键。区域314包括用于选择条目或调用电视机的屏幕菜单的中心按钮(“确定/菜单”)，以及音量增大/减小箭头和频道向前/向后箭头。可以给硬键308指定用于电视模式的附加功能。当移动设备使用此处所描述的技术检测到它已经指向电视机时，移动设备可以自动进入电视模式。
图3c描绘了带有被配置成用作个人计算机(PC)遥控器的触摸屏用户界面的移动设备。用户界面显示300的区域320指示移动设备被配置在“PC模式”，其中移动设备充当PC遥控器，如用于媒体中心应用程序。区域320中的软键命令包括记录(Rec)、播放、暂停和停止。区域322中的命令包括倒退(Rew)、快进(FFwd)、重播和跳过。区域324中的命令包括导致PC显示例如前一页的“后退”按钮，调用帮助屏幕的“信息”按钮，以及启动应用程序和任务的“开始”按钮。区域324还包括用于选择条目的中心按钮(“确定”)，以及音量增大/减小箭头和频道或节目(Pgm)向前/向后箭头。可以给硬键308指定用于PC模式的附加功能。当移动设备使用此处所描述的技术检测到它已经指向PC时，移动设备可以自动进入PC模式。
图4a描绘了其中移动设备通过比较电子设备的移动设备捕捉到的图像与由电子设备发射的图像数据来自动配置其本身以便与电子设备一起使用的方法。注意，在此流程图及其他中所描绘的步骤不一定作为不连续的步骤和/或按所描绘的顺序执行，而是可以同时和/或按不同的顺序进行。在步骤400中，如前面所讨论的，诸如通过用户命令或响应于运动/定向传感器来激活移动设备。在步骤402中，移动设备向一个或多个电子设备，即，具有相关联的显示器的任何支持网络的电子设备，发射诸如RF或红外信号之类的无线信号。在步骤404中，电子设备从移动设备接收无线信号。此时，电子设备可以在将图像显示在其显示设备中的过程中。例如，电视机可以显示现场广播电视节目或来自DVD的记录的电影。PC可以显示来自诸如媒体中心应用程序、网页之类的应用程序，诸如文字处理应用程序或电子表格应用程序等等之类的桌面应用程序的静态或运动图像。
在一种方法中，电子设备可以如在没有从移动设备接收无线信号的情况下执行的那样继续显示图像。或者，在步骤406中，电子设备可以响应于从移动设备接收无线信号来显示新图像。例如，这可以是可以由移动设备的相机轻松地检测到的预定义图像，诸如宽条带的模式，如在图4b中所描绘的。图4b描绘了响应于从移动设备接收到无线信号而在电子设备的显示设备上显示的预定义图像。预定义图像可在短时间内被显示，大约一秒，其足以允许移动设备捕捉图像而不会干扰现有电视节目或其他内容。此外，预定义图像的出现将通知用户，轮询过程已经成功地启动。通知用户轮询过程已经成功地启动的其他方式包括电子设备临时冻结当前图像，或者向当前图像提供某种其他可见的效果，如使图像变黑，或提供诸如“检测到控制请求”之类的图形，或提供诸如鸣叫之类的音频反馈。移动设备也可以提供音频或可视反馈以通知用户，轮询过程已经成功地启动。
由移动设备所提供的无线信号可以利用用于控制电子设备以采取如此处所描述的适当动作的命令来编码。
在图4a中的步骤408中，电子设备从所显示的图像获取图像数据。例如，这可以涉及获取当前在显示设备上显示的像素的帧的图像数据。可以以任何指定格式提供图像数据。可以通过将数据从不兼容格式代码转换为与移动设备兼容的格式来提供图像数据。此外，还可以诸如通过标识图像的某些特征，来处理图像数据，以促进在移动设备上发生的随后的图像关联过程。一个示例将是使用SIFT来处理图像，如下面进一步讨论的，以获取定义图像的比例不变特征的组件子区域描述符，并存储描述符来代替像素数据。
在步骤410中，电子设备向移动设备发射带有图像数据和控制信息的答复无线信号。图像数据可以是或者也可以不是可以被用来重新创建相对应的所显示的图像的格式。答复无线信号可以例如作为RF或红外信号来发射。控制信息可以标识，例如，诸如电视机型号或PC型号之类的电子设备类型，或者只是电子设备是电视机还是PC这一事实，以及当前在PC中处于活动的操作系统和应用程序。控制信息也可以标识提供图像数据所采用的格式，例如，通过编码格式或分辨率。控制信息也可以标识可以被移动设备用来控制电子设备的用户界面配置和通信协议。
例如，不同类型的电子设备可能要求不同的用户界面配置和通信协议。用户界面配置可包括键在用户界面显示中的外观(如所描绘的，例如，在图3b和3c中)，而通信协议可包括对用于控制电子设备的代码字的指定。在某些情况下，常见的UI外观可以用于控制一种类型的电子设备，如电视机，但是，不同的通信协议和不同的电视机型号和/或制造商一起使用。例如，可以使用不同的频率、代码字等等来实现不同的命令。从电子设备接收到的控制信息可以直接标识通信协议，如通过指定频率和代码字，或间接地，如通过指定移动设备可以用来映射到通信协议的标识符。标识符可以指示，例如，“使用通信协议#10”，在这样的情况下，移动设备基于标识符来访问用于实现协议的必要的信息，无论是在移动设备本地还是从远程或本地服务器。控制信息也可以标识电子设备的类型，例如，电视机或PC，在这样的情况下，移动设备实现适用于例如电视机(例如，图3b)或PC(例如，图3c)的用户界面显示。
在步骤412中，移动设备接收带有图像数据和控制信息的答复无线信号。在步骤414中，移动设备使用移动设备的相机来捕捉，例如，拍摄包括电子设备和其所显示的图像的图像的照片。捕捉到的图像被用来提供参考图像数据。如同由电子设备所提供的图像数据，由移动设备所提供的图像数据可以经历促进随后的图像关联过程的某些处理，如获取由SIFT算法所使用的组件子区域描述符的处理。如此，所获取的图像数据可以是或者也可以不是可被用来重新创建相对应的捕捉到的图像的格式。
关于步骤414的定时，在移动设备捕捉图像的情况下，这可以通过不同的前兆事件来触发。例如，图像捕捉可以由移动设备发射无线信号(步骤402)来触发，而无需等待来自电子设备的答复信号(步骤412)。或者，图像捕捉也可以接收到答复信号来触发。
在步骤416中，移动设备将参考图像数据与从电子设备接收到的图像数据进行比较。这可以涉及执行任何类型的图像关联算法。例如，可以将参考图像与跨来自电子设备的图像的连续的像素位置以及为每一个位置确定的关联分数进行比较。带有最高分数的位置可以表示与参考图像的匹配。匹配可以涉及概率性度量，以使得匹配可以以不同的概率或确定性级别发生。被视为可以接受的匹配可以与最小概率相关联。步骤416的比较可以替代地涉及SIFT算法，如下面进一步地讨论的。在判定步骤418，如果确定匹配，则在步骤422中，基于从电子设备接收到的控制信息，来标识用户界面配置和/或通信协议，诸如通过将控制信息的标识符映射到UI显示配置和/或通信协议。步骤424包括利用所标识的用户界面配置和/或通信协议来配置移动设备。可以向用户提供移动设备已经成功地与电子设备相关联的反馈(例如，鸣叫或可视消息)，以使得用户知道他或她可以停止将移动设备瞄准电子设备，并可以开始使用移动设备作为电子设备的遥控器。
如果在判定步骤418中没有匹配，则在步骤420中通过移动设备向用户显示错误消息。例如，消息可以说：“没有标识电子设备，请再试一次”，在这样的情况下，可以在步骤400中重复过程。用户可以尝试改善成功的机会，诸如通过与电子设备站得更靠近些，诸如通过打开灯来改变照明条件，设置相机的放大功能，或以其他方式调整相机设置，或将相机更准确地瞄准用户希望控制的电子设备。
如此，用户可以将移动设备瞄准电子设备，并让移动设备自动将其本身与电子设备相关联。此外，由于使用了移动设备和电子设备的显示设备之间的视线，因此，这避免了移动设备与位于移动设备的邻近区但不在视线内的另一个电子设备相关联的可能性。这可以在其中有许多电子设备在移动设备的范围之内的环境中发生。还避免了在答复电子设备的范围之内的其他移动设备无意地被配置成与答复电子设备一起使用的可能性。
图4c描绘了其中移动设备通过比较多个电子设备的移动设备捕捉到的图像与由电子设备发射的图像数据并选择多个电子设备之中的最佳匹配来自动配置其本身以便与电子设备一起使用的方法。
该方法类似于图4a中的方法，只是涉及了多个电子设备。在步骤430中，激活移动设备。在步骤432中，移动设备向一个或多个电子设备发射无线信号。在步骤434中，多个电子设备接收无线信号。在一种方法中，电子设备可以如在它们没有从移动设备接收无线信号的情况下执行的那样持续显示图像。或者，在步骤436中，电子设备可以显示预定义图像。不同的电子设备也可以显示不同的预定义图像。例如，电视机可以显示一个图像，而PC显示另一个图像。或者，可以由每一个电子设备从一组图像中随机地选择预定义图像，以使得每一个电子设备都显示不同的预定义图像。在此情况下，彼此紧挨着的多个电子将显示不同的预定义图像，以使得它们可以彼此区别开来。
在步骤438中，多个电子设备从它们的相关联的显示的图像获取图像数据。在步骤440中，多个电子设备向移动设备发射带有图像数据和控制信息的答复无线信号。在步骤442中，移动设备接收多个带有图像数据和控制信息的答复无线信号。在步骤444中，移动设备捕捉包括某些或全部电子设备以及它们的所显示的图像的图像，以提供参考图像数据。
在步骤446中，移动设备将参考图像数据与从多个电子设备接收到的图像数据进行比较。根据这些比较，在步骤448中确定匹配的电子设备，并在步骤450中确定最佳匹配。例如，可以基于用户将相机最直接地瞄准他或她希望控制的电子设备的假设，选择位于参考图像数据的最中心的电子设备的图像。在步骤452中，基于从最佳匹配电子设备接收到的控制信息，来标识UI配置和/或通信协议。步骤454包括利用已标识的UI配置和/或通信协议来配置移动设备。
图5描绘了其中在移动设备的用户界面被配置成与电子设备一起使用之后移动设备控制电子设备的方法。一旦标识了控制特定电子设备所需的UI配置和/或通信协议，就可以利用虚拟键区来配置UI显示/触摸屏300，以控制电子设备，如前面结合图3b或3c所讨论的。在步骤502中，用户从虚拟键区选择命令。例如，用户可以从图3b的界面选择“频道向前”按钮以控制电视机。在步骤504中，移动设备根据适用于电子设备的通信协议，向电子设备发射带有标识命令的数据的无线信号。在步骤506中，电子设备接收无线信号并执行命令。有益地，用户能够控制电子设备，好像移动设备是该电子设备的专用遥控设备。移动设备可以充当能够控制许多电子设备的通用遥控器。此外，还可以自动而快速地实现电子设备之间的切换。
图6a描绘了移动设备感应在电子设备的显示设备上提供的同步图像。在此方法中，当电子设备从移动设备接收到无线轮询信号时，它指令其显示设备显示可以由移动设备感测的同步图像。同步图像可以是诸如短的白色或其他亮的闪烁串之类的可视图像。移动设备可以使用可以与相机分开的光传感器，或者也可以是在光感测模式下进行操作的相机。光传感器以指定的重复频率或其他模式来检测指定频率/颜色的光。此方法可以降低成本，因为传感器可以是比相机较低的成本项目，并减少处理，因为不必执行图像关联。然而，也可以使用在处于视频捕捉模式下移动设备中进行操作的或以其他方式使其快门打开达足够的时间长度的现有相机。
在电子设备/电视机104的显示设备105中，使用显示设备105的区域600来发出由移动设备感测的亮的闪光。区域600只占用显示设备的一部分，并与现有显示相组合或被其覆盖，该显示没有响应从移动设备接收到无线信号而显示。响应于从移动设备接收到无线信号，显示区域600。闪烁还可以占用整个显示设备105。此外，闪光可以遵循向移动设备传递信息的模式。即，闪烁可以表示移动设备可以解码的代码字。例如，信息可以标识电子设备的类型，例如，电视机或PC，和/或移动设备可以用来控制电子设备的通信协议。
图6b描绘了其中移动设备通过感测在电子设备的显示设备上提供的同步图像来自动配置其本身以便与电子设备一起使用的方法。在步骤610中，激活移动设备。在步骤612中，移动设备向一个或多个电子设备发射无线信号。在步骤614中，电子设备接收无线信号。在步骤616中，电子设备显示同步图像。在步骤618中，移动设备使用光传感器来感测同步图像。在步骤620中，基于同步图像来标识UI配置和/或通信协议。在步骤622中，利用UI配置和/或通信协议来配置移动设备。
图7a描绘了从不同的角度和距离获取的环境的移动设备捕捉到的图像，其中，环境包括带有显示设备的电子设备。此方法不要求轮询和从电子设备接收到答复，并可以由移动设备单独完成。移动设备100a在第一时间在设置阶段捕捉环境的图像200(与图2a中的相同)。描绘了电子设备104。用户可以利用用于控制电子设备的信息来手动配置移动设备，诸如通过访问电子设备的菜单和型号并选择电子设备104的适当的条目，例如，“Samsung FP-T5894W”——一个示例电视机。菜单可以是，例如，基于web的。然后，图像200被存储在移动设备中，与控制和配置信息交叉引用。
随后，在实现阶段，当用户靠近电子设备104时，移动设备被激活，例如，如前面所讨论的，基于用户命令或运动/定向传感器，以捕捉电子设备的另一个图像。具体而言，同一个移动设备在以后的第二时间，诸如在由移动设备100b所标识的数小时、数天或数周以后，捕捉电子设备的图像700。可以将两个图像彼此进行比较以确定是否有匹配。如果有匹配，则移动设备自动配置其本身以控制电子设备。匹配指示图像是同一个电子设备的。在电子设备的显示设备上所显示的特定图像不是重要的，因为在不同的时间显示不同的图像。
图像不必从相同角度和距离捕捉，因为各种图像处理算法可以检测甚至带有这些变化的匹配。例如，可以使用标题为“Method and apparatus foridentifying scale invariant features in an image and use of same for locating anobject in an image(用于标识图像中的比例不变特征以及使用其来定位图像中的对象的方法安和装置)”的美国专利6,711,293(David G.Lowe，2004年3月23日)中所描述的比例不变特征变换(SIFT)算法来处理第二图像，该专利通过援引全部并入本文中。SIFT算法检测并描述了图像中的局部特征。此外，SIFT特征是局部的，并基于对象在特定兴趣点的外观，并不随图像比例和旋转而变化。如此，电子设备的不同的图像可以被关联，即使它们是，例如，从电子设备的左侧和右侧，以及从不同的距离拍摄的。SIFT特征还不随照明、噪声，以及视点的微小变化而变化。SIFT特征高度与众不同，相对来说容易提取，并允许以低失配的概率进行正确的对象标识，并容易与局部特征的(大型)数据库进行匹配。通过SIFT特征组的对象描述对于部分遮蔽也是稳健的。一个对象的少至三个SIFT特征即可足以计算其位置和姿势。此外，还可以几乎实时地执行识别。也可以使用其他图像处理算法。
注意，环境中的由图像处理算法所标识的特征可以与电子设备和/或环境中的其他特征相关联，以确定移动设备处于与第一图像被捕捉时的相同的位置。例如，电子设备的物理外观，如其形状，以及环境中的其他物品的外观，例如，花瓶204、桌子206和壁挂202，可以被用来标识特征，并确定两个图像是否匹配。
图7b描绘了方法的设置阶段，其中，移动设备通过捕捉包括电子设备的环境的图像并将该图像与从不同的角度和距离获取的环境的前面捕捉到的图像进行比较，来自动配置其本身以便与电子设备一起使用。设置阶段从步骤710开始。在步骤712中，激活移动设备。这可以自动发生，诸如基于移动设备的定向和/或通过使用诸如握力传感器和光传感器之类的其他传感器。或者，用户可以输入导致移动设备呈现适当的用户界面的命令，如结合图7d所讨论的。
在步骤714中，移动设备使用其相机来捕捉包括电子设备的环境的第一图像。在一种可能的实现中，在步骤716中，确定第一图像的比例不变特征。有关附加细节，参见图7e。在步骤718中，移动设备将表示第一图像的比例不变特征的第一数据存储在库中。在步骤720中，用户诸如通过按下结合图7d所讨论的UI中的键，来提供选择电子设备的类型(例如，TV或PC)的命令。在步骤722中，移动设备基于电子设备的类型，存储将用户界面配置和/或通信协议与第一图像相关联的数据。如上文所提及的，这可包括用户手动配置移动设备，诸如通过访问电子设备的菜单和型号，并基于电子设备的类型，来选择电子设备的适当的条目。在某些情况下，一旦知道了电子设备的类型，就可以标识适当的UI配置和/或通信协议，无需用户的其他输入。例如，可以对于电视机使用一种UI配置和/或通信协议，而可以对于PC使用另一种UI配置和/或通信协议。移动设备还可以在设置阶段之后与电子设备进行通信，以获取用于控制电子设备的更进一步的信息。
图7c描绘了在图7b的方法的设置阶段之后的实现阶段。实现阶段在步骤730中开始。在步骤732中，移动设备使用其相机来捕捉包括电子设备的环境的第二图像。在一种可能的实现中，在步骤734中，确定表示第二图像的比例不变特征的第二数据。有关附加细节，参见图7e。在步骤736中，移动设备确定第二数据是否匹配库中的数据，库中的数据可包括诸如不同的电视机和PC之类的电子设备，以及它们的环境的一个或多个参考图像的比例不变特征。有关附加细节，参见图7f和7g。如果在判定步骤738中有匹配，则在步骤742中利用与库中的匹配的参考图像相关联的UI配置和/或通信协议配置移动设备。如果在判定步骤738中没有匹配，则在步骤732中通过移动设备向用户显示错误消息。例如，消息可以说：“没有标识电子设备，请再试一次”，在这样的情况下，可以在步骤720中重复过程。用户可以尝试改善成功的机会，诸如通过与获取第一图像的位置站得更靠近些，诸如通过打开灯来改变照明条件，将相机握得更稳些，或以其他方式调整相机设置，或将相机更准确地瞄准用户希望控制的电子设备。
图7d描绘了带有被配置成用于在图7b的方法的设置阶段捕捉电子设备的图像的触摸屏用户界面的移动设备。移动设备100包括带有虚拟键750的用户界面显示300，用户选择虚拟键750来拍摄电子设备的照片。区域752描绘了结果图像。可以由用户选择虚拟键754和756，以例如，分别将电子设备的类型标识为电视机或PC。用户还可以在菜单中导航以具体地诸如按制造商和型号来标识电子设备的类型。“下一”键758可使用户对于另一个电子设备继续设置阶段。也可以使用硬键308。
图7e描绘了用于确定图像的比例不变特征的过程。可以使用该过程来实现图7b的步骤716和图7c的步骤734。在一种可能的实现中，可以使用比例不变特征变换(SIFT)算法来比较两个图像。也可以使用其他图像比较算法。步骤760是过程的开始。在步骤762中，访问相机中的图像数据。步骤764包括通过连续地使图像模糊以产生模糊图像，并将初始图像减去模糊图像，来产生与初始图像的差异图像。可以使用连续的模糊和减法操作来产生连续的差异图像，其中，连续的模糊步骤中所使用的初始图像包括在前导模糊步骤中所产生的模糊图像。步骤766包括定位差异图像中的像素振幅极值。这可包括将考虑中的图像中的每一个像素的振幅与考虑中的图像中的每一个像素周围的区域的像素的振幅进行比较，以标识局部最大和最小振幅像素。考虑中的像素周围的区域可以涉及同一个图像中的像素的区域，以及至少一个相邻的图像(如前导图像或后继图像，或两者)中的像素的区域。
步骤768包括在给定差异图像中定义振幅极值周围的像素区。区域被定义为在相对应的极值周围的定向排列的多个位置。取决于应用所需的分辨率，区域可以是任何大小。在某些情况下，16x16像素的网格中所定义的区域是合适的。步骤770包括将一个像素区分割为多个子区域。步骤772包括产生从图像产生的多个差异图像中的像素振幅极值周围的像素区的每一个子区域的多个组件子区域描述符。多个组件子区域描述符定义由移动设备的相机捕捉的图像的比例不变特征。
图7f描绘了用于基于图像的比例不变特征来匹配图像的过程的第一部分。步骤774是用于确定考虑中的图像是否匹配库中的数据的过程的开始。步骤776包括检索一组，例如，8个表示考虑中的图像的比例不变特征的组件子区域描述符集合。步骤778包括从库中检索最匹配的一组8个表示比例不变特征的组件子区域描述符集合，比例不变特征被定义为具有每一个集中的每一个描述符的最小差平方和(sum of squared differences)的特征。这又可以通过计算到每一个描述符的距离来求出。这也可以通过应用已知的k-d树算法来执行。
步骤780包括将表示库的比例不变特征和考虑的图像比例不变特征的组应用到霍夫变换。判定步骤782确定是否已经考虑了表示最后的图像比例不变特征的最后的组，如果没有，则步骤784包括寻址(address)表示考虑中的图像的下一比例不变特征的下一组，并在步骤776中恢复处理。如果在判定步骤782中已经考虑了最后的比例不变特征，则步骤786包括读取霍夫变换输出，以标识包含在图像和库之间匹配的三个或更多比例不变特征的可能的对象。有效地，霍夫变换基于与库中的可能的对象相关联的比例不变特征，提供可能的对象的列表，以及考虑中的图像里匹配库中的比例不变特征的比例不变特征的列表。在产生了可能的对象和匹配的特征的列表之后，将列表上的每一对象应用于如图7g所示的过程。
图7g描绘了用于基于图像的比例不变特征来匹配图像的过程的第二部分。霍夫变换可以产生考虑中的图像内对象的参考组件描述符的列表，以及来自比例不变特征的库的匹配的参考组件描述符的列表。这些列表可以适用于最小平方拟合算法，该算法尝试标识多个标识可能的对象中的一个的最佳拟合参考组件描述符。发现了最佳拟合子区域描述符之后，可以轻松地标识从其产生了参考组件描述符的图像，并由此可确定与这样的参考组件描述符相关联的对象的比例和定向以及标识，以准确地标识考虑中的图像中的对象、其定向，其比例以及其位置。
具体而言，该过程的第二部分将最小平方数据拟合算法应用到表示与对象相关联的比例不变特征的组件描述符组，并应用于表示考虑中的图像的比例不变特征的匹配的组件描述符组，以确定匹配/关联度。如果匹配度高，那么，指示对象在图像中存在，如果不，则考虑列表中的其他对象。
步骤788包括从比例不变特征库中的组件描述符组检索表示由霍夫变换所产生的可能的对象的比例不变特征的组件描述符组。步骤790包括从考虑中的图像检索组件描述符的匹配比例不变特征组。步骤792包括将检索到的表示可能的对象的比例不变特征的组件描述符组和检索到的表示考虑中的图像的比例不变特征的匹配的组件描述符组应用到最小平方数据拟合算法，确定对象的位置，对象相对于来自库中的比例不变特征的图像的比例的大小，对象的定向，以及误差残余值或关联度。
在判定步骤794，如果误差残余值或关联度大于预定义阈值，那么，认为对象不太可能是考虑中的图像中所描绘的，且判定步骤796确定是否已经考虑了列表中的最后一个对象。如果已经考虑了列表中的最后一个对象，则过程在步骤797中结束。如果列表中的最后一个对象没有被考虑，则步骤798包括寻址列表中的下一对象，并在步骤788中恢复处理。
如果在判定步骤794中误差残余被确定为小于预定阈值，则步骤795包括指示可能的对象的位置、大小和定向。
以上面的方式，指示了其在参考库中有存储的图像的对象的存在或不存在，以及关于对象的其他物理信息。如此，在发生了其中比例不变特征被标识并存储在一个或多个电子设备的库中的设置阶段之后，可以发生实现阶段，在该阶段，捕捉并处理电子设备中的一个的图像，以便与库中的一个或多个候选进行比较，以标识匹配。基于该匹配，利用相对应的UI配置和/或通信协议来配置移动设备。
图8a描绘了在移动设备被自动配置成与电子设备一起使用之后电子设备显示信息以镜像移动设备的用户界面。一旦移动设备100具有控制电子设备104的能力，它就可以充当该电子设备的常规遥控装置，以控制由电子设备的显示设备105显示什么。在另一方面，移动设备100向电子设备传递数据，供显示在显示设备上。例如，显示设备105的全部或一部分810可以镜像(复制)在移动设备100的用户界面显示300上显示的内容。显示设备105的其余部分812可以继续提供由显示设备所提供的普通的内容。此外，各种触发器还可以导致移动设备指示电子设备显示信息。
例如，当移动设备接收到传入电话呼叫时，移动设备可以控制显示设备以镜像用户界面显示300，该显示300包括带有信号强度计、时间显示和电池强度指示器的区域802。移动设备可以具有使用呼叫者标识特征来访问联系人的能力，其中，呼叫者的电话号码被感测，并用来查找和显示预先存储的记录。例如，区域804提供呼叫者的名称和图像，而区域806提供关于呼叫者的个人信息，包括由用户作出的附注，以及用于结束呼叫的软键。也可以使用硬键308。在用户界面显示300上显示的信息与传入电话呼叫有关。
当用户与移动设备进行交互时发生另一个可能的触发，导致它显示新信息，或者当移动设备显示新信息而用户不与它进行交互时，如当显示日历提醒信号系统上的事件的提醒信号时。例如，用户可以查看存储在移动设备中的照片，在这样的情况下，照片也在显示设备105上显示。
注意，显示设备105的镜像在用户界面显示300上显示的内容的部分810可以在消失之前保持指定的时间段，或者，它可以保持直到用户输入删除它的命令。此外，显示设备105不需要镜像UI显示300，因为可以在显示设备105上以不同的格式提供有关UI显示300的信息。例如，可以在显示设备105的底部显示对联系人的文字描述。在另一个可能的方面，某些类型的联系人，例如，个人、同事、家庭或某些单个联系人，可以由用户来配置，以触发显示810，而其他联系人不触发显示810。此外，除传入电话呼叫之外，还可以触发诸如SMS文本消息和电子邮件之类的其他传入消息。
图8b描绘了其中在移动设备被自动配置成与电子设备一起使用之后电子设备向移动设备显示呼叫者的联系人信息的方法。在步骤820中，移动设备的用户界面(UI)被配置成控制电子设备，例如，使用此处所描述的技术。在步骤822中，由移动设备接收传入电话呼叫。在步骤824中，移动设备使用呼叫者id功能来获取呼叫者的电话号码。在步骤826中，移动设备基于电话号码来访问联系人信息。在步骤828中，移动设备在其UI显示上显示联系人信息(图8a)。请注意，当接收到呼叫并在呼叫被应答之前会发生这种情况。用户可以基于联系人信息来决定不应答呼叫。在步骤830中，移动设备向电子设备发射带有来自UI显示的图像数据的无线信号。这可以使用与电子设备兼容的任何格式的图像数据来实现。在步骤832中，电子设备接收无线信号，并在显示设备上提供UI显示(图8b)。
图8c描绘了其中在移动设备被自动配置成与电子设备一起使用之后电子设备镜像移动设备的用户界面的方法。此方法涉及每当更新UI显示300时向电子设备发射UI数据。在步骤840中，移动设备的UI被配置成控制电子设备。在步骤842中，用户与移动设备进行交互，以使得在步骤844中，移动设备更新其UI显示。作为响应，在步骤846中，移动设备向电子设备发射带有来自UI显示的图像数据的无线信号。在步骤848中，电子设备接收无线信号，并在显示设备上提供UI显示(图8b)。
图9a描绘移动设备的示例框图。描绘了典型的蜂窝电话的示例性电子电路。电路900包括可包含一个或多个微处理器的一个或多个控制电路912，以及存储由控制电路912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器910(例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器)。控制电路912还与RF发射/接收电路906进行通信，该电路906又耦合到天线902，带有红外线发射器/接收器908，并带有诸如加速度计之类的移动/定向传感器914。加速计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用程序，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械设备(微米尺寸)。可以感应加速方向、以及定向、振动和震动。控制电路912进一步与响铃器/振动器916、用户界面键区/屏幕918、扬声器920、话筒922、相机924、光传感器926和温度传感器928进行通信。
控制电路912控制无线信号的发射和接收。在发射模式期间，控制电路912向发射/接收电路906提供来自话筒922的语音信号或其它数据信号。发射/接收电路906将该信号发射到远程站(例如固定站、运营商、其他蜂窝电话等)来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器920，同时所接收到的其它数据信号也被适当地处理。
控制电路912可以实现如此处所讨论的通信，以及图像处理和关联算法。
图9b描绘了示例移动设备网络。如上文所提及的，移动设备可以访问一个或多个服务器以获取用于配置其本身以控制电子设备的信息。移动设备100可以经由网络950，通过移动设备服务器954和诸如数据库服务器952之类的后端服务器来进行通信。移动设备服务器954负责处理往返于移动设备的通信，而数据库服务器952可以存储用于配置移动设备的信息。例如，由移动设备100从电子设备接收到的控制信息可以被转发到数据库服务器952，以获取关于用户界面设置和用来与电子设备一起使用的通信协议的信息。此数据可以另选地或另外地存储在移动设备100处。
图10描绘了电视的示例框图。电路1000包括控制电路1012，该控制电路1012可包括一个或多个微处理器，以及存储处理器可读代码的存储器1010(例如，诸如ROM之类的非易失性存储器和诸如RAM之类的易失性存储器)，处理器可读代码由控制电路1012的一个或多个处理器执行以实现此处所描述的功能。控制电路1012还与RF发射/接收电路1006进行通信，该电路1006又耦合到天线1002，诸如以从移动设备，或WLAN中的其他组件接收RF信号，以及向它们发送RF信号。红外发射器/接收器1008可以类似地用于向移动设备发射信号或从移动设备接收信号。到TV信号源1014的接口可以从地面电视天线、有线广播系统、卫星发射器，以及以太网广播系统接收播放的视频内容，以太网广播系统是使用通过光纤、铜扭绞线对或同轴电缆发送到用户的家庭的以太网因特网协议(IP)广播数据包来组合了因特网、电话，以及电视服务的捆绑式服务。视频输出1016可包括显示设备(例如，图1b中的电视机105的显示设备104)。还可提供音频输出1018，与数字视频记录器(DVR)1020的接口以及与PC 1022的接口。
控制电路1012可以实现如此处所讨论的通信和图像处理。
图11描绘了个人计算机(PC)的示例框图。电路1100包括控制电路1112，该控制电路1112可包括一个或多个微处理器，以及存储处理器可读代码的存储器1110(例如，诸如ROM之类的非易失性存储器和诸如RAM之类的易失性存储器)，代码由控制电路1112的一个或多个处理器执行以实现此处所描述的功能。控制电路1112还与RF发射/接收电路1106进行通信，该电路1106又耦合到天线1102，以便从移动设备，或WLAN中的其他组件接收RF信号，以及向它们发送RF信号。红外发射器/接收器1108可以类似地用于向移动设备发射信号或从移动设备接收信号。视频输出1116可包括显示设备(例如，图1b中的监视器110的显示设备111)。还可提供音频输出1118以及与TV 1122的接口。
控制电路1112可以实现如此处所讨论的通信和图像处理。
图12描绘了适于实现各实施例的计算机硬件的示例框图。计算机硬件可以表示，例如，图4的移动设备。用于实现各个实施例的示例性系统包括通用计算设备1210。计算设备1210的组件可包括处理单元1220、系统存储器1230以及将包括系统存储器的各类系统组件耦合至处理单元1220的系统总线1221。系统总线1221可以是例如存储器总线或存储器控制器、外围总线、以及使用各种总线体系结构中的任一种的局部总线。
计算设备1210可包括各种计算机或处理器可读介质。计算机可读介质可以是可由计算设备1210访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。计算机可读介质可包括计算机存储介质，诸如以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁存储设备、或能用于存储所需信息且可以由计算设备1210访问的任何其他介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
系统存储器1230包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)1231和随机存取存储器(RAM)1232。基本输入/输出系统1233(BIOS)包含有助于诸如启动时在计算设备1210中元件之间传递信息的基本例程，它通常存储在ROM 1231中。RAM 1232通常包含处理单元1220可立即访问和/或目前正在操作的数据和/或程序模块。例如，可提供操作系统1234、应用程序1235、其它程序模块1236和程序数据1237。
计算机系统1210还可包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图12图解了不可移动、非易失性存储器1240，诸如固态存储器，以及从或向可移动、非易失性存储器卡1250读取的存储器卡(例如，SD卡)接口/读取器1252。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。
计算机存储介质提供对计算机可读指令、数据结构、程序模块、和计算设备1210的其它数据的存储。例如，不可移动、非易失性存储器1240被示为存储操作系统1244、应用程序1245、其它程序模块1246和程序数据1247。这些组件可以与系统存储器1234中的操作系统1235、应用程序1236、其他程序模块1230和程序数据1237相同，也可以与它们不同。在此操作系统1244、应用程序1245、其他程序模块1246以及程序数据1247被给予了不同的编号，以说明至少它们是不同的副本。用户可通过诸如键盘/触摸屏1262和话筒1261等输入设备将命令和信息输入到计算设备1210中。其它输入设备(未示出)可以包括操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口1260连接至处理单元1220，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。显示器/监视器1291也经由接口，诸如视频接口1290连接至系统总线1221。相机/光传感器1202通过接口1201连接到系统总线1221。诸如音频输出1297等其它外围输出设备可通过输出外围接口1295来连接。
计算设备1210可使用至诸如远程计算设备1280等一个或多个远程计算设备的逻辑连接在网络化环境中操作。远程计算设备1280可以是另一移动设备、个人计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点，并且一般包括上面就计算设备1210描述的许多或全部元件。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在联网环境中使用时，计算设备1210通过网络接口或适配器1270连接至另一网络。在网络化环境中，相对于计算设备1210描绘的程序模块或其部分可被储存在远程存储器存储设备中。例如，远程应用程序1285可驻留在存储器设备1281上。所示的网络连接是示例性的，并且可以使用在计算设备之间建立通信链路的其它手段。
前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims (15)

1.一种通过无线信号进行通信的手持式移动设备，包括：
图像传感器(924)；
用户界面(918)；
存储处理器可读代码的存储器(910)；以及
执行所述处理器可读代码的至少一个处理器(912)，所述至少一个处理器：在第一时间使用所述图像传感器来捕捉电子设备的至少第一图像，基于所述至少第一图像，将第一数据存储在所述存储器中，在所述第一时间之后的第二时间，使用所述图像传感器捕捉所述电子设备的至少第二图像，基于所述至少第二图像，提供第二数据，确定所述第一数据是否匹配所述第二数据，并且如果所述第一数据匹配所述第二数据，则配置所述用户界面来与所述电子设备一起使用。
2.如权利要求1所述的手持式移动设备，其特征在于：
所述第一数据标识所述至少第一图像的比例不变特征，所述第二数据标识所述至少第二图像的比例不变特征，并且所述确定所述第一数据是否匹配所述第二数据包括确定所述至少第一图像的所述比例不变特征和所述至少第二图像的所述比例不变特征之间的关联是否大于预定义阈值。
3.如权利要求1所述的手持式移动设备，其特征在于：
为配置所述用户界面，所述至少一个处理器访问所述存储器中的将用户界面配置与所述至少第一图像相关联的数据。
4.如权利要求1所述的手持式移动设备，其特征在于：
所述至少一个处理器通过所述用户界面接收标识所述电子设备的类型的用户命令，并基于所标识的所述电子设备的类型来配置所述用户界面。
5.如权利要求4所述的手持式移动设备，其特征在于：
所标识的类型是电视机和个人计算机中的至少一种。
6.如权利要求1所述的手持式移动设备，其特征在于：
所述图像传感器是检测可见光的相机。
7.如权利要求1所述的手持式移动设备，其特征在于：
为配置所述用户界面，所述至少一个处理器提供显示允许用户控制所述电子设备的按钮的触摸屏。
8.如权利要求1所述的手持式移动设备，其特征在于，在所述用户界面被配置成与所述电子设备一起使用之后，所述至少一个处理器激活所述移动设备，以向所述电子设备发射带有要在所述电子设备的显示设备上显示的信息的无线信号。
9.如权利要求8所述的手持式移动设备，其特征在于：
所述至少一个处理器激活所述移动设备以发射响应于由所述移动设备接收到的传入电话呼叫的所述无线信号，而要在所述显示设备上显示的所述信息与所述传入电话呼叫有关。
10.如权利要求8所述的手持式移动设备，其特征在于：
要在所述显示设备上显示的所述信息镜像在所述用户界面上显示的信息。
11.如权利要求8所述的手持式移动设备，其特征在于，还包括：
至少一个传感器，所述至少一个传感器指示何时所述移动设备处于图像拍摄定向，并且所述至少一个处理器响应于所述至少一个传感器激活所述移动设备以发射所述无线信号。
12.一种用于配置通过无线信号进行通信的移动设备的处理器实现的方法，包括：
在第一时间，使用图像传感器(924)捕捉电子设备的至少第一图像(714)；
基于所述至少第一图像存储第一数据(718)；
在所述第一时间之后的第二时间，使用所述图像传感器捕捉所述电子设备的至少第二图像(732)；
基于所述至少第二图像，提供第二数据(734)；
确定所述第一数据是否匹配所述第二数据(736)；以及
如果所述第一数据匹配所述第二数据，则配置所述用户界面来与所述电子设备一起使用(742)。
13.如权利要求12所述的处理器实现的方法，其特征在于：
所述第一数据标识所述至少第一图像的比例不变特征，所述第二数据标识所述至少第二图像的比例不变特征，并且所述确定所述第一数据是否匹配所述第二数据包括确定所述至少第一图像的所述比例不变特征和所述至少第二图像的所述比例不变特征之间的关联是否大于预定义阈值。
14.如权利要求12所述的处理器实现的方法，其特征在于：
通过配置所述用户界面以提供显示允许用户控制所述电子设备的触摸屏，所述用户界面被配置成与所述电子设备一起使用。
15.如权利要求12所述的处理器实现的方法，其特征在于，在所述用户界面与所述电子设备一起使用之后，所述方法还包括：
激活所述移动设备以向所述电子设备发射带有要在所述电子设备的显示设备上显示的信息的无线信号。
CN2010800263929A 2009-06-12 2010-06-09 自动确定操作模式的移动设备 Active CN102498725B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/483,483 2009-06-12
US12/483,483 US9014685B2 (en) 2009-06-12 2009-06-12 Mobile device which automatically determines operating mode
PCT/US2010/037903 WO2010144532A2 (en) 2009-06-12 2010-06-09 Mobile device which automatically determines operating mode

Publications (2)

Publication Number Publication Date
CN102498725A CN102498725A (zh) 2012-06-13
CN102498725B true CN102498725B (zh) 2013-06-19

Family

ID=43306851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800263929A Active CN102498725B (zh) 2009-06-12 2010-06-09 自动确定操作模式的移动设备

Country Status (8)

Country Link
US (1) US9014685B2 (zh)
EP (1) EP2441271B1 (zh)
JP (1) JP2012529866A (zh)
KR (1) KR101668138B1 (zh)
CN (1) CN102498725B (zh)
RU (1) RU2011150243A (zh)
TW (1) TW201103305A (zh)
WO (1) WO2010144532A2 (zh)

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587680B2 (en) * 2008-03-10 2013-11-19 Nec Corporation Communication system, transmission device and reception device
US20100261465A1 (en) * 2009-04-14 2010-10-14 Rhoads Geoffrey B Methods and systems for cell phone interactions
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
KR20100045188A (ko) 2008-10-23 2010-05-03 삼성전자주식회사 원격 조정 장치 및 상기 원격 조정 장치를 이용하여 디바이스를 제어하는 방법
US9014685B2 (en) 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
KR101196410B1 (ko) * 2009-07-07 2012-11-01 삼성전자주식회사 Ｔｖ 설치타입에 기초한 자동 환경 설정방법 및 이를 적용한 ｔｖ
US8626344B2 (en) 2009-08-21 2014-01-07 Allure Energy, Inc. Energy management system and method
KR101584304B1 (ko) * 2009-07-20 2016-01-11 삼성전자주식회사 콘텐츠 요청 장치 및 방법
US8610926B2 (en) * 2009-07-24 2013-12-17 Canon Kabushiki Kaisha Information processing apparatus, information processing method and program for determining suitability of printing content data displayed on a display apparatus
KR101608770B1 (ko) * 2009-08-03 2016-04-04 엘지전자 주식회사 이동단말기 및 그 제어방법
US9571625B2 (en) 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US9209652B2 (en) 2009-08-21 2015-12-08 Allure Energy, Inc. Mobile device with scalable map interface for zone based energy management
US9838255B2 (en) 2009-08-21 2017-12-05 Samsung Electronics Co., Ltd. Mobile demand response energy management system with proximity control
US8498749B2 (en) 2009-08-21 2013-07-30 Allure Energy, Inc. Method for zone based energy management system with scalable map interface
KR101606134B1 (ko) * 2009-08-28 2016-03-25 삼성전자주식회사 휴대용 단말기에서 이미지 인식을 통하여 디바이스 연결을 수행하기 위한 장치 및 방법
KR101686413B1 (ko) * 2009-08-28 2016-12-14 삼성전자주식회사 복수 개의 컨트롤 사용자 인터페이스를 이용한 원격 제어 방법 및 시스템
KR101591525B1 (ko) * 2009-09-11 2016-02-04 삼성전자주식회사 휴대단말기의 안테나 성능 보완 장치
JP5563270B2 (ja) * 2009-10-19 2014-07-30 シャープ株式会社 ネットワークシステム、通信方法、通信機器、および通信プログラム
KR101664430B1 (ko) * 2009-11-13 2016-10-10 삼성전자주식회사 리모트 ｕｉ 서비스 제공 방법 및 장치
KR101670352B1 (ko) * 2009-12-03 2016-10-28 엘지전자 주식회사 이동 단말기, 전자 기기 및 전자 기기의 제어 방법
US20110136442A1 (en) * 2009-12-09 2011-06-09 Echostar Technologies Llc Apparatus and methods for identifying a user of an entertainment device via a mobile communication device
US8692851B2 (en) * 2010-01-06 2014-04-08 Apple Inc. Device, method, and graphical user interface with grid transformations during device rotation
WO2011083571A1 (ja) * 2010-01-06 2011-07-14 株式会社東芝 情報検索装置、情報検索方法、および情報検索プログラム
US10048921B2 (en) * 2010-03-02 2018-08-14 Qualcomm Incorporated Controlling a multimedia device in remote display mode
JP2011193426A (ja) * 2010-03-15 2011-09-29 Shinten Sangyo Co Ltd リモコン機能付き携帯電話端末
US9922354B2 (en) 2010-04-02 2018-03-20 Apple Inc. In application purchasing
US8615432B2 (en) 2010-04-02 2013-12-24 Apple Inc. Background process for providing targeted content within a third-party application
US20110246618A1 (en) 2010-04-02 2011-10-06 Apple Inc. Caching multiple views corresponding to multiple aspect ratios
US8812656B2 (en) * 2010-04-12 2014-08-19 Broadcom Corporation System and method for automatically managing a network of user-selectable devices
US8638222B2 (en) * 2010-04-19 2014-01-28 Microsoft Corporation Controllable device selection based on controller location
US9122735B2 (en) * 2010-04-30 2015-09-01 Lenovo (Singapore) Pte. Ltd. Method and apparatus for modifying a transition to an altered power state of an electronic device based on accelerometer output
US8548449B2 (en) * 2010-05-20 2013-10-01 Microsoft Corporation Mobile contact notes
US9110749B2 (en) 2010-06-01 2015-08-18 Apple Inc. Digital content bundle
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
EP2587792B1 (en) * 2010-06-28 2017-08-30 LG Electronics Inc. Method and apparatus for providing the operation state of an external device
US20120001724A1 (en) * 2010-07-01 2012-01-05 Petros Belimpasakis Interacting with Peer Devices Based on Machine Detection of Physical Characteristics of Objects
KR20120005124A (ko) * 2010-07-08 2012-01-16 삼성전자주식회사 휴대용 단말기에서 움직임에 따른 동작을 수행하기 위한 장치 및 방법
TWI399083B (zh) * 2010-07-28 2013-06-11 Compal Communication Inc 具遙控功能之無線通訊系統及其無線通訊模組
JP4818454B1 (ja) * 2010-08-27 2011-11-16 株式会社東芝 表示装置、及び表示方法
US20120050183A1 (en) * 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
US8331916B2 (en) * 2010-08-31 2012-12-11 Apple Inc. Image selection for an incoming call
US8983978B2 (en) 2010-08-31 2015-03-17 Apple Inc. Location-intention context for content delivery
US20130165180A1 (en) * 2010-09-27 2013-06-27 Adobe Systems Incorporated Integrating Operation Of Consumer Electronic Devices
KR20120053420A (ko) * 2010-11-17 2012-05-25 삼성전자주식회사 디바이스 제어 시스템 및 방법
US8905927B2 (en) * 2010-11-30 2014-12-09 Universal Electronics Inc. System and method for non-intrusive health monitoring in the home
JP5620287B2 (ja) * 2010-12-16 2014-11-05 株式会社オプティム ユーザインターフェースを変更する携帯端末、方法及びプログラム
JP5161328B2 (ja) * 2011-03-04 2013-03-13 株式会社コナミデジタルエンタテインメント ゲームシステム及びそのコンピュータプログラム
US8446364B2 (en) * 2011-03-04 2013-05-21 Interphase Corporation Visual pairing in an interactive display system
US9104415B2 (en) * 2011-03-29 2015-08-11 Qualcomm Incorporated Method for selecting and launching a hybrid mode of operation for a portable device based on received sensor information and a current mode of operation
KR101788060B1 (ko) * 2011-04-13 2017-11-15 엘지전자 주식회사 영상표시장치 및 이를 이용한 콘텐츠 관리방법
ES2395447B1 (es) * 2011-04-14 2013-11-07 Alberto ADARVE LOZANO Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen
KR101764251B1 (ko) * 2011-04-19 2017-08-04 삼성전자주식회사 전력 사용 상태 표시 방법 및 이를 적용한 휴대기기
KR20120127987A (ko) * 2011-05-16 2012-11-26 삼성전자주식회사 통화 모드 전환 방법 및 장치
US9195677B2 (en) * 2011-05-20 2015-11-24 Stephen Ball System and method for decorating a hotel room
JP5764387B2 (ja) * 2011-05-27 2015-08-19 京セラ株式会社 遠隔操作装置、遠隔制御システムおよび制御プログラム
US10564791B2 (en) * 2011-07-21 2020-02-18 Nokia Technologies Oy Method and apparatus for triggering a remote data entry interface
CN102238287B (zh) * 2011-08-05 2014-04-09 宇龙计算机通信科技(深圳)有限公司 移动终端和根据环境数据进行显示的方法
US9008609B2 (en) 2011-08-12 2015-04-14 Empire Technology Development Llc Usage recommendation for mobile device
US10152294B2 (en) * 2011-08-23 2018-12-11 Htc Corporation Mobile device and method of running two platform systems or applications thereon
US9369820B2 (en) * 2011-08-23 2016-06-14 Htc Corporation Mobile communication device and application interface switching method
EP2751955B1 (en) 2011-08-30 2019-11-13 Samsung Electronics Co., Ltd. Resource manager and method for communicating resource management information for smart energy and media resources
CN107979772B (zh) * 2011-09-12 2021-10-29 英特尔公司 共用和个人装置协作提供个性化用户功能的方法和设备
US20130078966A1 (en) * 2011-09-23 2013-03-28 Ting-Mao Chang System and method for notifying the user of a mobile phone the status of an originated phone call
EP2764421A4 (en) * 2011-10-03 2015-05-13 Blackberry Ltd METHOD AND DEVICES FOR ENABLING A COMMON USER INTERFACE MODE BASED ON ORIENTATION
US9014075B2 (en) * 2011-10-13 2015-04-21 Alcatel Lucent Wide area mirroring router
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
US20150194048A1 (en) * 2011-11-14 2015-07-09 Jeremy Haubrich Universal Remote
TW201324180A (zh) * 2011-12-07 2013-06-16 Wistron Corp 整合一行動通訊裝置以及一可攜式電子裝置的方法及其可攜式電腦模組
CN103188334A (zh) * 2011-12-30 2013-07-03 宏碁股份有限公司 同步系统及其方法
CN108388344B (zh) * 2011-12-30 2022-05-17 英特尔公司 电子设备的用户界面
DE102012001583A1 (de) * 2012-01-27 2013-01-24 Daimler Ag Verfahren und System zur Steuerung, Überwachung und/oder Konfiguration einer netzwerkfähigen Anordnung
US10051406B2 (en) 2012-02-15 2018-08-14 Maxlinear, Inc. Method and system for broadband near-field communication (BNC) utilizing full spectrum capture (FSC) supporting concurrent charging and communication
US20140300827A1 (en) * 2012-03-09 2014-10-09 Mediatek Singapore Pte. Ltd. Mobile device and remote control connection for electronic device via near field communication
JPWO2013136702A1 (ja) * 2012-03-12 2015-08-03 パナソニックＩｐマネジメント株式会社 無線通信装置、無線通信方法、および無線通信制御プログラム
CN102638716A (zh) * 2012-03-21 2012-08-15 华为技术有限公司 实现移动终端遥控电视的方法、装置和系统
KR20130115488A (ko) * 2012-04-12 2013-10-22 엘에스산전 주식회사 이동단말의 인버터상태 알림장치와 모터상태 분석장치
US9448813B2 (en) 2012-05-24 2016-09-20 Microsoft Technology Licensing, Llc Entry points to image-related applications in a mobile device
US9170667B2 (en) 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
KR101945812B1 (ko) * 2012-06-08 2019-02-08 엘지전자 주식회사 이동 단말기, 및 그 동작방법
CN103491443A (zh) * 2012-06-13 2014-01-01 腾讯科技（深圳）有限公司 一种将控制器的屏幕图像在客户端显示的方法、系统及装置
CN103491444B (zh) * 2012-06-14 2016-09-21 腾讯科技（深圳）有限公司 图像互动方法和系统以及对应的显示装置
US9377900B1 (en) * 2012-06-18 2016-06-28 Amazon Technologies, Inc. Optical touch sensor
US9142242B1 (en) * 2012-06-20 2015-09-22 Google Inc. Remotely controlling appliances based on lighting patterns
US9141504B2 (en) * 2012-06-28 2015-09-22 Apple Inc. Presenting status data received from multiple devices
US9189030B2 (en) * 2012-07-10 2015-11-17 Htc Corporation Method of handling holding sensors and related mobile device
CN103677702B (zh) * 2012-09-17 2017-06-27 联想(北京)有限公司 一种显示方法和电子设备
US20150264439A1 (en) * 2012-10-28 2015-09-17 Hillcrest Laboratories, Inc. Context awareness for smart televisions
US9251171B2 (en) * 2012-11-30 2016-02-02 Google Inc. Propagating image signals to images
US10250837B2 (en) 2012-12-05 2019-04-02 DISH Technologies L.L.C. User proximity recognition and hands-free control
JP5575960B2 (ja) * 2012-12-25 2014-08-20 シャープ株式会社 放送番組再生システム、放送番組再生装置および端末装置
CN103914969A (zh) * 2013-01-07 2014-07-09 凹凸电子（武汉）有限公司 移动终端装置以及控制电器设备的方法
US9716530B2 (en) 2013-01-07 2017-07-25 Samsung Electronics Co., Ltd. Home automation using near field communication
JP6380408B2 (ja) * 2013-01-09 2018-08-29 ソニー株式会社 モバイルデバイスおよびワイヤレスリンクを確立するための方法
CN107564259A (zh) * 2013-01-21 2018-01-09 上海科斗电子科技有限公司 便携式智能设备
US9741150B2 (en) 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
US10063499B2 (en) 2013-03-07 2018-08-28 Samsung Electronics Co., Ltd. Non-cloud based communication platform for an environment control system
US9513864B2 (en) 2013-03-14 2016-12-06 Apple Inc. Broadcast control and accrued history of media
US9244888B2 (en) 2013-03-15 2016-01-26 Microsoft Technology Licensing, Llc Inferring placement of mobile electronic devices
US9053250B2 (en) 2013-03-26 2015-06-09 Hewlett-Packard Development Company, L.P. Dual-mode tablet input system with primary computer wherein first mode is keyboard input with computer and second mode involves mirroring with computer
US10375342B2 (en) 2013-03-27 2019-08-06 Apple Inc. Browsing remote content using a native user interface
CN104102334B (zh) * 2013-04-10 2017-10-27 宏碁股份有限公司 远端装置的控制方法与远端控制系统
US20140320387A1 (en) * 2013-04-24 2014-10-30 Research In Motion Limited Device, System and Method for Generating Display Data
US9686346B2 (en) * 2013-04-24 2017-06-20 Blackberry Limited Device and method for generating data for generating or modifying a display object
US20150019341A1 (en) * 2013-04-29 2015-01-15 Kiosked Oy Ab System and method for displaying information on mobile devices
KR20140133351A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 이들의 제어 방법
US8971868B2 (en) 2013-05-23 2015-03-03 Elwha Llc Mobile device that activates upon removal from storage
US8971869B2 (en) 2013-05-23 2015-03-03 Elwha Llc Mobile device that activates upon removal from storage
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9933920B2 (en) 2013-09-27 2018-04-03 Sonos, Inc. Multi-household support
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
US9484986B2 (en) 2013-11-09 2016-11-01 Maxlinear, Inc. Method and system for broadband near-field communication
US9628691B2 (en) 2013-11-14 2017-04-18 Qualcomm Incorporated Method and apparatus for identifying a physical IoT device
KR101548228B1 (ko) * 2013-12-27 2015-08-28 주식회사 케이티 사용자 상태에 기반하여 사용자 인터페이스를 동기화하는 동기화 기기 및 동기화 방법
CN106464551A (zh) 2014-01-06 2017-02-22 魅力能源公司 一种使用网络装置和基于遥感的信息来协调环境的系统、装置和设备
CN104765276A (zh) * 2014-01-06 2015-07-08 上海科斗电子科技有限公司 便携式智能设备身份识别交互系统
SG11201605494QA (en) 2014-01-06 2016-08-30 Allure Energy Inc System, device, and apparatus for coordinating environments using network devices and remote sensory information
WO2015108330A1 (en) * 2014-01-20 2015-07-23 Samsung Electronics Co., Ltd. Electronic device for controlling an external device using a number and method thereof
US9706582B2 (en) * 2014-04-01 2017-07-11 Belkin International Inc. Smart local device rediscovery
US9918351B2 (en) 2014-04-01 2018-03-13 Belkin International Inc. Setup of multiple IOT networks devices
US9641222B2 (en) * 2014-05-29 2017-05-02 Symbol Technologies, Llc Apparatus and method for managing device operation using near field communication
US10367950B2 (en) * 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
EP3198845B1 (en) * 2014-09-25 2022-11-16 Universal Electronics Inc. System and method for controlling device location determination
WO2016076759A1 (ru) * 2014-11-10 2016-05-19 Арташес Валерьевич ИКОНОМОВ Мобильный телефон с функцией пульта дистанционного управления
US9329842B1 (en) * 2014-11-25 2016-05-03 Yahoo! Inc. Method and system for providing a user interface
FR3033055B1 (fr) * 2015-02-23 2018-06-22 Somfy Sas Procede de configuration et de commande d’un dispositif de commande d’une installation domotique d’un batiment
US9880695B2 (en) * 2015-05-01 2018-01-30 International Business Machines Corporation Changing a controlling device interface based on device orientation
CN106663367B (zh) * 2015-05-21 2018-07-17 皇家飞利浦有限公司 受遥控的设备和用于控制多个受遥控的设备的遥控器
US20160349602A1 (en) * 2015-06-01 2016-12-01 Ikegps Group Limited Mounting mechanism
GB201513371D0 (en) * 2015-07-29 2015-09-09 Videojet Technologies Inc A machine and method for its operation
CN105323384A (zh) * 2015-11-25 2016-02-10 上海斐讯数据通信技术有限公司 一种多场景模式切换的方法及移动终端
KR102409903B1 (ko) * 2015-12-09 2022-06-16 삼성전자주식회사 사용자 정보를 제공하는 전자 장치 및 방법
JP6686593B2 (ja) 2016-03-23 2020-04-22 日本電気株式会社 データ処理装置、データ処理システム、データ処理方法及びプログラム
US11156375B2 (en) * 2016-07-22 2021-10-26 Ademco Inc. Migration of settings from a non-connected building controller to another building controller
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
CN106710196B (zh) * 2016-12-12 2020-07-07 奇酷互联网络科技（深圳）有限公司 使用图像作为模拟遥控面板的方法和装置
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
KR102346080B1 (ko) * 2017-03-27 2021-12-31 삼성전자주식회사 터치 스크린을 포함하는 전자 장치와 이의 동작 방법
US10602046B2 (en) * 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
CN107317939B (zh) * 2017-08-24 2018-05-15 广东以诺通讯有限公司 基于图像处理的自动提醒系统
US10743081B2 (en) * 2017-09-09 2020-08-11 Opentv, Inc. Parental controls
KR102397886B1 (ko) * 2017-12-06 2022-05-13 삼성전자주식회사 전자 장치, 사용자 단말 장치 및 그 제어 방법
US10559194B2 (en) * 2018-02-23 2020-02-11 Samsung Electronics Co., Ltd. System and method for providing customized connected device functionality and for operating a connected device via an alternate object
CN110415387A (zh) * 2018-04-27 2019-11-05 开利公司 包括设置在由用户携带的容纳件中的移动设备的姿势进入控制系统
CN110415389B (zh) 2018-04-27 2024-02-23 开利公司 姿势进入控制系统和预测移动设备相对于用户所在部位的方法
KR102509071B1 (ko) * 2018-08-29 2023-03-10 삼성전자주식회사 전자 장치 및 이의 외부 장치를 제어하는 방법
CN109947031B (zh) * 2019-04-15 2020-07-28 美的集团股份有限公司 一种智能家居设备控制方法、介质、移动终端和装置
US11210932B2 (en) * 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208588A1 (en) * 2001-12-28 2004-10-21 Koninklijke Philips Electronics N.V. Universal remote control unit with automatic appliance identification and programming
US20070124372A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Using a mobile phone to control a personal computer
CN101310521A (zh) * 2005-11-16 2008-11-19 索尼爱立信移动通讯股份有限公司 远程控制图像捕获设备

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5064582A (en) * 1989-09-15 1991-11-12 The Dow Chemical Company Process and apparatus for recycling aqueous fluid absorbents fines
US5724106A (en) * 1995-07-17 1998-03-03 Gateway 2000, Inc. Hand held remote control device with trigger button
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7760905B2 (en) 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US8391851B2 (en) 1999-11-03 2013-03-05 Digimarc Corporation Gestural techniques with wireless mobile phone devices
GB0007242D0 (en) 2000-03-24 2000-05-17 Tvcompass Com Ltd Remote control devices
US8120625B2 (en) 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7193661B2 (en) * 2001-09-27 2007-03-20 Universal Electronics Inc. Two way communication using light links
US7283846B2 (en) 2002-02-07 2007-10-16 Sap Aktiengesellschaft Integrating geographical contextual information into mobile enterprise applications
US6738631B1 (en) * 2002-05-06 2004-05-18 Nokia, Inc. Vision-guided model-based point-and-click interface for a wireless handheld device
US7653212B2 (en) 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
US6788241B2 (en) * 2002-09-25 2004-09-07 Universal Electronics Inc. System and method for using keystroke data to configure a remote control device
US7319862B1 (en) * 2002-09-26 2008-01-15 Exphand, Inc. Block-based encoding and decoding information transference system and method
US20040095317A1 (en) 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
CN100334531C (zh) * 2002-11-20 2007-08-29 皇家飞利浦电子股份有限公司 基于指示设备的用户接口系统
US20040259536A1 (en) 2003-06-20 2004-12-23 Keskar Dhananjay V. Method, apparatus and system for enabling context aware notification in mobile devices
US20070080845A1 (en) * 2003-11-04 2007-04-12 Koninklijke Philips Electronics N.V. Universal remote control device with touch screen
US7054552B2 (en) * 2004-06-25 2006-05-30 Nokia Corporation Vertical and horizontal pictures taken without camera rotation
KR20060008763A (ko) * 2004-07-24 2006-01-27 주식회사 대우일렉트로닉스 리모콘과 티브이간의 상호 식별 구조
US7138979B2 (en) 2004-08-27 2006-11-21 Motorola, Inc. Device orientation based input signal generation
TWI244310B (en) 2004-09-23 2005-11-21 Inventec Appliances Corp Mobile phone having a step-counting function
US20060204232A1 (en) * 2005-02-01 2006-09-14 Harvey Weinberg Camera with acceleration sensor
US20060287140A1 (en) 2005-06-16 2006-12-21 Brandt Richard A Automated line calling system
CN101213506B (zh) * 2005-06-30 2011-06-22 皇家飞利浦电子股份有限公司 控制方法、控制设备及包括控制设备的娱乐系统和照明系统
KR20070009261A (ko) * 2005-07-15 2007-01-18 삼성전자주식회사 통합 리모콘 및 그 제어기기 선택방법
EP1744290B1 (en) * 2005-07-15 2018-05-30 Samsung Electronics Co., Ltd. Integrated remote controller and method of selecting device controlled thereby
US20070022380A1 (en) 2005-07-20 2007-01-25 Microsoft Corporation Context aware task page
US7907222B2 (en) * 2005-09-08 2011-03-15 Universal Electronics Inc. System and method for simplified setup of a universal remote control
JP2007089056A (ja) * 2005-09-26 2007-04-05 Funai Electric Co Ltd 機器の遠隔制御システムおよび光信号発信装置
WO2007089819A1 (en) 2006-01-30 2007-08-09 Briancon Alain C Skin tone mobile device and service
JP4742394B2 (ja) * 2006-03-24 2011-08-10 富士フイルム株式会社 遠隔制御装置、方法、プログラムおよびシステム
EP1841189A1 (en) 2006-03-31 2007-10-03 T & A Mobile Phones Limited Mobile phone with sensor for detection of user's handling
US20080001773A1 (en) 2006-06-29 2008-01-03 X10 Ltd. Programmable remote control and methods of using same
US7791594B2 (en) 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
US8000692B2 (en) 2006-09-19 2011-08-16 Microsoft Corporation Mobile device manners propagation and compliance
CN100583960C (zh) 2006-11-28 2010-01-20 联詠科技股份有限公司 视讯解交错策略决定方法与系统
US20080155429A1 (en) 2006-12-20 2008-06-26 Microsoft Corporation Sharing, Accessing, and Pooling of Personal Preferences for Transient Environment Customization
US20090011832A1 (en) 2007-01-31 2009-01-08 Broadcom Corporation Mobile communication device with game application for display on a remote monitor and methods for use therewith
JP2008204269A (ja) * 2007-02-21 2008-09-04 Toshiba Corp サーバ装置、クライアント装置、通信方法およびプログラム
US8356035B1 (en) * 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
US20080299905A1 (en) * 2007-05-29 2008-12-04 Himax Technologies Limited System with incoming call display indication and the method for using the same
US9261979B2 (en) 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US8832769B2 (en) 2007-10-16 2014-09-09 Microsoft Corporation Remote control based output selection
US8238612B2 (en) * 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
US8254678B2 (en) * 2008-08-27 2012-08-28 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Image segmentation
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US9014685B2 (en) 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208588A1 (en) * 2001-12-28 2004-10-21 Koninklijke Philips Electronics N.V. Universal remote control unit with automatic appliance identification and programming
CN101310521A (zh) * 2005-11-16 2008-11-19 索尼爱立信移动通讯股份有限公司 远程控制图像捕获设备
US20070124372A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Using a mobile phone to control a personal computer

Also Published As

Publication number Publication date
KR101668138B1 (ko) 2016-10-20
KR20120046112A (ko) 2012-05-09
WO2010144532A3 (en) 2011-04-07
JP2012529866A (ja) 2012-11-22
CN102498725A (zh) 2012-06-13
WO2010144532A2 (en) 2010-12-16
US9014685B2 (en) 2015-04-21
EP2441271A4 (en) 2014-07-02
RU2011150243A (ru) 2013-06-20
US20100317332A1 (en) 2010-12-16
TW201103305A (en) 2011-01-16
EP2441271A2 (en) 2012-04-18
EP2441271B1 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
CN102498725B (zh) 自动确定操作模式的移动设备
CN110443330B (zh) 一种扫码方法、装置、移动终端以及存储介质
CN106209800B (zh) 设备权限共享方法和装置
CN106162369A (zh) 一种实现虚拟场景中互动的方法、装置及系统
CN102223436A (zh) 移动终端及其控制方法
CN101622871A (zh) 视频呼叫设备控制
CN103906010A (zh) 多个终端间同步消息的方法、机器可读存储介质和服务器
CN105610700A (zh) 群组创建方法、装置及电子设备
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
CN108966025A (zh) 视频播放方法、装置及计算机可读存储介质
CN104717293A (zh) 在通话界面展示信息资源的方法及装置
CN106201310A (zh) 通知消息的显示方法、装置及终端
CN109039877A (zh) 一种显示未读消息数量的方法、装置、电子设备及存储介质
CN104202561A (zh) 播放流媒体数据的方法及装置
CN105635795A (zh) 电视用户行为信息采集方法及装置
JP2010231355A (ja) 情報表示装置
KR20110018343A (ko) 송신될 메시지의 생성
CN109587319A (zh) 一种来电处理方法、终端及计算机可读存储介质
CN106453528A (zh) 推送消息的方法及装置
CN105578113A (zh) 一种视频通信的方法、装置和系统
CN107330391A (zh) 产品信息提示方法及装置
CN106453846A (zh) 二维码名片的显示方法及装置
CN104883603B (zh) 播放控制方法、系统及终端设备
CN104811904A (zh) 联系人设置方法及装置
CN105912202A (zh) 应用分享方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.