CN102959597A - 电话的远程控制 - Google Patents

Abstract

一种远程地控制移动电子设备的方法，所述方法包括：发起所述移动电子设备和具有用户界面的远程电子设备之间的通信。将移动设备的第一输出转换为第一HTML文件。从所述移动设备向所述远程设备发送所述第一HTML文件。依赖于所述远程设备所接收的所述第一HTML文件，在所述远程设备上呈现第二输出。从所述远程设备向所述移动设备发送数据。识别所述移动设备中的用于处理来自所述远程设备的所述数据的应用。在所述应用中处理来自所述远程设备的所述数据。基于对来自所述远程设备的所述数据的所述处理在所述移动设备中生成第三输出。将所述移动设备的所述第三输出转换为第二HTML文件。从所述移动设备向所述远程设备发送所述第二HTML文件。

Description

电话的远程控制

技术领域

本发明涉及移动电话，并且更具体地说，涉及通过外部的设备远程地控制移动电话的方法。

背景技术

当前的电话对于远程控制电话提供了非常有限的选择。蓝牙使得从远程设备访问非常特定的功能成为可能。例如，蓝牙免提配置文件使得拨打电话簿中的号码并且接着向例如汽车的免提设备或音频系统之类的远程设备发送语音数据成为可能。如果需要对电话的新功能进行控制，则需要电话以及控制设备提供并支持新的蓝牙配置文件。提供和支持新的蓝牙配置文件的这种要求严重地降低了这种方法的灵活性并且通常不可能对部署在实际应用（例如，汽车）中的设备进行升级。

诺基亚的国际专利公开No.WO2006067541描述了设计用于汽车环境的电话远程控制设备。诺基亚的发明与电话的有限数量的功能是紧密集成的。仅基于这种技术的特定设计的应用能使用远程控制器功能。该发明没有教导如何控制运行在电话上的不限数量的没有使用这种扩展设计的第三方应用。

为了解决上述的限制，一些电话允许它们的显示内容与远程设备共享。这可以通过使用用于视频输出的物理连接器来实现。可替换地，当前的技术，例如X Windows、远程桌面协议和虚拟网络计算，使得将电话的显示内容传送到另一设备并且允许远程控制运行在电话上的任意应用成为可能。虽然这种方法使虚拟地远程控制运行在电话上的每一个功能或应用成为可能，但是在控制设备能与电话提供的内容进行交互的程度方面是非常有限的。这种解决方案将未修改的屏幕内容发送到另一设备的屏幕。在驾驶员导航系统中可能需要的高级的操作，例如重新排列屏幕或应用的布局，或甚至过滤或控制内容，是不可能的。此外，已有技术没有教导如何集成来自被远程控制的设备的应用的输出，以与运行在控制计算机上的应用的图形化表示相匹配。

远程控制的可替换的方法已经被例如网络路由器或通用即插即用（UPnP）媒体服务器之类的设备所使用。这些设备使得使用运行在远程计算机上的网络浏览器来连接到路由器或媒体服务器并且显示和操作该设备而不物理地接触它成为可能。虽然这种方法非常方便之处在于在远程控制计算机上除了网络浏览器之外不需要任何软件，但是该方法是受到限制的方法，这是因为路由器或媒体服务器仅提供少量的并且固定的通过网络浏览器暴露的功能集。与智能电话相比，这些设备不允许添加新的应用。因此，远程控制界面的功能将是静态的。

当前的技术，例如Johnson控制的蓝牙移动设备网关使得从汽车向便携式导航系统发送传感器信息成为可能，该导航系统使用蓝牙或USB来连接。便携式导航系统将处理该信息并且在其自身的屏幕和扬声器上显示输出。

现有技术既没有公开也没有建议的是远程地控制移动电子设备的方法，其中该方法没有上述的现有技术的限制。

发明内容

本发明可以使得能够从外部的设备（例如车载资讯娱乐系统、电视，或在个人住宅中的控制面板）远程控制移动电话和其他移动设备以及运行在这些设备上的应用。本发明可以使调节所述电话输出以与远程控制设备的需求相匹配成为可能；可以允许在运行在所述电话上的应用和运行在所述远程控制设备上的应用之间的交互；可以允许远程控制修改呈现电话内容的方式；可以允许在从所述电话传送的内容被呈现之前修改所述内容，并且不需要用户为了控制在所述电话上的新功能在所述远程控制设备上安装组件。此外，本发明可以向所述控制设备添加使得所述控制设备能够组合从所述电话接收的信息和来自其他数据源（例如第二电话或因特网）的信息的功能。最后，本发明可以使得能够从所述控制设备向所述电话发回信息。与当前的最新技术相比，本发明可以以统一的方法组合所有其提供的功能并且不需要在所述远程控制设备上安装另外的软件。

本发明可以实现移动电话和其他移动设备的通用远程控制。本发明可以使得具有屏幕大于电话屏幕的设备（例如电视、监视器、壁挂的显示设备，或车载资讯娱乐系统）能够用作远程控制器。

类似于网络路由器，本发明的系统可以依赖网络浏览器来远程地控制移动电话。与最先进技术相比，本发明的系统可以增加对运行在所述电话上的所有应用的支持，包括来自第三方的仍需要用户安装应用。此外，本发明可以提供一系列的新颖功能，例如，对被远程控制的设备上的内容进行控制、修改并与之交互以及在所述控制设备和所述被远程控制的设备二者之间共享机器可处理数据。

在本发明的一种形式中，本发明包括一种远程控制移动电子设备的方法，包括：发起在所述移动电子设备和具有用户界面的远程电子设备之间的通信。所述移动设备的第一输出被转换为第一HTML文件。从所述移动设备向所述远程设备发送所述第一HTML文件。根据所述远程设备所接收的所述第一HTML文件在所述远程设备上呈现第二输出。从所述远程设备向所述移动设备发送数据。在所述移动设备中识别用于处理来自所述远程设备的数据的应用。在所述应用中处理来自所述远程设备的所述数据。基于对来自所述远程设备的所述数据的所述处理，在所述移动设备中产生第三输出。将所述移动设备的所述第三输出转换为第二HTML文件。从所述移动设备向所述远程设备发送所述第二HTML文件。

在本发明的另一形式中，本发明包括一种远程控制移动电子设备的方法，包括：发起在所述移动电子设备和具有用户界面的远程电子设备之间的通信。所述远程设备是电视、监视器、家庭控制面板，或车载资讯娱乐系统。向所述远程设备发送所述移动设备的第一输出。从来自所述移动设备的所述第一输出中提取机器可处理数据。根据所提取的机器可处理数据在所述远程设备上呈现第二输出。从所述远程设备向所述移动设备发送数据。在所述移动设备中识别用于处理来自所述远程设备的数据的应用。在所述应用中处理来自所述远程设备的所述数据。基于对来自所述远程设备的所述数据的所述处理在所述移动设备中产生第三输出。从所述移动设备向所述远程设备发送所述第三输出。

在本发明的另一种形式中，本发明包括一种网络装置，包括：具有网络浏览器的远程控制器设备。所述远程控制器设备是车载资讯娱乐系统、电视、家庭自动化面板的形式。移动电子设备包括网络服务器。所述移动设备运行产生内容、用HTML、Javascript和CSS对所述内容进行编码并且向所述远程控制器设备发送已编码的内容的应用。所述远程控制器设备从所述移动设备接收所述已编码的内容，向所述用户呈现所述已编码的内容，在已经向所述用户呈现所述已编码的内容之后接收来自所述用户的输入，并且从所述远程控制器设备向所述移动设备发送来自所述用户的所述输入。

附图说明

通过参考结合附图进行的对本发明实施例的以下描述，本发明的上面提到的和其他的特征和目的以及实现它们的方式，将变得更加显而易见，并且将更好地理解本发明本身，其中：

图1是本发明的网络的一个实施例的框图，其包括无线地和远程地控制移动电话的控制设备。

图2是示出了本发明的用于远程地控制移动电话的方法的一个实施例的流程图。

图3是示出了根据本发明的远程地控制移动电子设备的另一方法的一个实施例的流程图。

贯穿若干个视图，相应的参考字符指示相应的部件。虽然在本文中陈述的范例以若干形式说明了本发明的实施例，但是以下公开的实施例并不旨在是详尽无遗的或旨在被理解为将本发明的范围限制于所公开的精确形式。

具体实施方式

现在参考附图，并且尤其是图1，其示出了本发明的网络10的一个实施例，包括无线地和远程地控制移动电话14的控制设备12。在一些实施例中，移动电话14还可以与控制设备12通信和/或对控制设备12进行控制，如双向箭头16所指示的。在一些实施例中，控制设备12还可能远程地控制其他可选的移动设备（例如，移动电话18）并且与其通信，如由双向箭头20所指示的。在进一步的实施例中，控制设备12可选地与其他组件（例如，组件22）进行通信，如由双向箭头24指示的。在一些实施例中，移动电话14可以通过控制设备12操纵组件22。

在图2中示出的是本发明的用于控制移动电话的方法200。在第一步骤202中，移动电话连接到远程控制设备，在本文中其可以被称为“远程控制”。当用户将远程控制设备与电话连接时，可以发起对移动电话的远程控制。在电话和远程控制器之间的连接可以是无线的或有线的数据连接的形式，例如USB、WiFi或蓝牙。在移动电话和远程控制器二者之间的验证可以用于确保仅已知的设备能彼此访问。因此，当首次建立连接时可以要求两个设备之间的配对。对于配对步骤，本发明可以包括：使用当前的技术或在2010年5月28日提交的、转让给本发明的受让人的、名称为“VISUAL PAIRING AND DATA EXCHANGE BETWEEN DEVICESUSING BARCODES FOR DATA EXCHANGE WITH MOBILENAVIGATION SYSTEMS”的美国专利申请No.12/789,999中描述的方法，该美国专利申请通过引用方式全部并入本文。

在下一步骤204，可以将电话内容转换为HTML。在电话和远程控制器之间的连接已经建立之后，电话可以准备数据交换。因此，可以捕捉电话屏幕、电话扬声器或在其他可用的输出通道（例如触觉显示器或力学反馈设备）上正常输出的数据。

为了捕捉电话的输出，可以捕捉和/或记录所有必要的产生输出的图形和视频指令。这种方法可能需要在电话上存在能记录所有指令的组件，所述指令在电话的图形和视频系统上产生输出，例如像“画线”、“示出文本”、“显示输入栏”或“播放视频样本”。因此，可以登记每一个在电话上发起的图形和视频命令。这些指令接着可以被转换为由标准网页技术HTML、Javascript和CSS（层叠样式表）组成的表示。

创建的HTML文件可以包含已记录的应用内容的结构化表示，例如图形元素的层级和顺序。这种层级和结构随后可以通过例如按钮、列表、图像和输入栏之类的HTML标签来描述。

动画内容可以通过使用视频流来表示。因此，动画的内容可以在电话上被捕捉，即时地被编码为适当的视频格式（例如运动JPEG或运动PNG），并接着被流式传输到远程控制器。随后可以引用视频流来扩展HTML文件。这种方法允许在电话上计算2D和3D图形并且将结果传输到远程控制器，接着显示在远程控制器上。类似地，音频内容可以被捕捉，被编码为例如PCM或MPEG之类的标准音频格式，并且被流式传输到远程控制器。

每一个HTML元素可以得到分配的唯一标识（ID），其用来在用户已执行输入之后在稍后的中骤标识元素。

可以使用由远程控制器执行的程序逻辑来创建Javascript文件。这样做的一个目的可以是在远程控制器上处理用户输入并且将用户输入返回给电话。此外，Javascript可以允许远程控制器执行处理而不用与电话通话，并且更加动态地与用户进行交互。

此外，Javascript可以允许在远程控制器中再现从电话捕捉的2D和3D图形指令。为了这个目的，本发明依赖于HTML5<canvas>标签和WebGL标准（请见网站khronos.org/webgl/）。本发明的系统可以取得在电话上记录的本地2D和3D指令，将这些指令转换成例如WebGL的等价Javascript指令，并且将转换的指令放入到Javascript文件中。当被远程控制执行时，Javascript指令接着可以再现图形输出。

最后，CSS文件可以用于捕捉每一个应用及其可见元素的图形的表示和样式。例如，CSS文件可以记录图形元素所使用的大小和配色方案。

捕捉图形和音频指令可以使得能够支持电话上的应用而不需要修改应用。在一些电话上，该方法不能工作，这是因为电话的操作系统阻止了这些扩展。在这种情况下，可以使用替换的方法，其需要对个别应用进行修改。为了这个目的，可以提供模仿操作系统的常规功能的组件，其中所述操作系统用来执行图形或音频操作。可能需要对电话应用进行修改以便使用这些新功能。当这样做时，应用内容可以再次被捕捉并且被转换为HTML、CSS和Javascript。

虽然这种替换的方法可能不是自动的，但是它可以实现对应用的更好的远程控制，这是因为该方法允许向HTML文件添加另外的内容，其中所述另外的内容是不能单独地从图形或音频指令中提取的。这种另外的内容可以包括电话传感器数据、在电话上的数据库中驻留的内容、或甚至是来自电话摄像头的实时视频流。这种另外的内容的编码可以由众多的方法来执行。来自麦克风的实时视频或音频可以被编码为如上文描述的流格式，并且接着在HTML文件中被引用。可以使用XML或也链接到HTML文档的其他文件来呈现其他的内容。其他的内容也可以被编码为Javascript程序或数据容器（JSON）。作为另一替换，使用微格式可以将其他的内容直接集成到HTML文件中。这些微格式可以将特殊的意义附加到不可见的HTML标签属性，或者可以使用新的标签来对数据进行编码，其中所述新的标签是使用HTML命名空间机制引入的。这使得可以用能够被远程控制理解并自动处理的格式来将地理坐标或地址编码成例如HTML文件。

接下来，在步骤206中，电话网络服务器可以向远程控制发送内容。如果电话操作系统阻止在后台运行组件，则网络服务器可以在操作系统中运行或作为应用的一部分进行运行。HTML、CSS和Javascript内容可以被移交到网络服务器。网络服务器可以接着使这些内容对连接的远程控制可用。远程控制可以有两种访问内容的方法。首先，远程控制可以使用HTTPGET或POST请求主动地请求来自电话网络服务器的内容。可替换地，电话网络服务器可以使用HTML的Websocket技术，所述Websocket技术可以使网络服务器能主动地向远程控制推送内容。

在步骤208，远程控制在它的输出设备上显示内容。远程控制设备可以使用网络浏览器作为显示电话内容和与电话内容交互的方式。网络浏览器使得在不需要在远程控制上安装另外的软件或组件的情况下而在远程控制中显示几乎任意类型的内容成为可能。这可以使远程控制非常灵活并且不会过时，这是因为远程控制能容易地远程控制或下载电话上的新应用。

使用从电话接收的HTML、CSS、Javascript和另外的内容文件，在远程控制中的网络浏览器可以在它的设备上输出内容并且因而再现运行在电话上的应用。HTML文件还能包含对存储在远程控制中的、在电话中的或在其他外部源中的另外的内容的引用。这些源可以是例如在因特网上的网络服务或另外的远程可控制电话。这使得在远程控制上显示内容成为可能，其中所述内容有效地组合了来自若干个源的聚合数据。一个示例是组合两个不同电话的地址簿，其中这些地址簿随后显示在远程控制上。此外，可以向每一个显示的地址添加进一步的信息，例如可以从因特网下载的地图。

如果在HTML内容中引用了流式音频和视频内容，则在远程控制中的浏览器可以打开对流的连接并且接着使用从电话中流出的内容持续地更新浏览器输出。如前面描述的，实时流式传输还可以用于显示来自电话的动画内容的目的，例如在电话上渲染的实时3D图形。

作为实时流式传输预渲染的来自电话的内容的替换，包含用于例如WebGL标准的2D或3D指令的Javascript文件使得直接在浏览器中生成电话输出的再现成为可能。通过使用Javascript，远程控制也能在浏览器中实现大量的应用逻辑并且使得实现等同于在远程控制上本地安装的应用的功能成为可能。

从电话发送的CSS文件可以包含如何布局和图形化地显示HTML内容的描述。可以采用对CSS描述的修改来作为将电话内容的设计与远程控制所使用的总体图形设计和布局相匹配的方式。在基础的方法中，远程控制可以简单地遵从在CSS文件中的指令。在高级的实现中，远程控制可以覆盖一些或全部的与HTML内容附接的CSS定义。通过这样做，可以改变配色方案、图形以及布局。这使得在视觉上集成电话内容和附接到远程控制的其他应用或组件（例如像附接到汽车中的远程控制的导航系统）成为可能。此外，对CSS文件的修改使得如果需要，可以对用户隐瞒部分电话内容成为可能。

接下来，在步骤210中，远程控制与来自电话的内容交互。远程控制可以使用户能与电话内容交互。为了这个目的，用户能通过例如选择元素或在输入栏中输入文字来在远程控制的网络浏览器中进行输入。例如AJAX之类的技术可以用于立即将这些输入传回到电话并且显示响应。当用户执行输入时，Javascript可以被执行，并且输入可以连同接收到该输入的元素的标识一起被发送到电话。

除了被用户有意感知和修改的内容之外，能被远程控制理解并且自动处理的另外的内容也可以从电话被发送到远程控制。如上文描述的，XML、嵌入式HTML微格式标签或其他属性可以用于标记这种特定的内容。远程控制可以识别这种另外的内容并且从其他的内容中提取它。例如，如果位置描述、地址或地理坐标被编码在内容中，则远程控制可以将这种数据转发到远程控制的其他组件。例如，如果远程控制被安装在汽车中，则在选择时，坐标或地址可以被自动地递交给导航系统，并且接着提供给用户用于路线引导目的。类似地，来自电话的其他传感器数据可以被转发到附接到远程控制的组件。

除了检测数据是否已编码并且接着对其作出反应之外，电话还能直接影响远程控制及其附接的组件。为了这个目的，在远程控制中的浏览器可以暴露能被Javascript文件访问的功能。这使得改变附接的组件的行为成为可能。例如，通过调用特定的Javascript功能，可以改变附接到家庭自动化面板的空调的温度配置，其中该家庭自动化面板用作运行在电话上的家庭自动化应用的远程控制。

作为使用新的JavaScript功能扩展浏览器的替换，可以使用将网络服务添加到远程控制的方法。在这种方法中，来自电话的HTML内容可以包含对运行在远程控制中的网络服务的引用。当HTML被显示在浏览器中时，该引用可以引起常规的HTTP GET和POST请求。在该请求中编码的参数可以定义将要修改远程控制设备的什么行为或者将要修改哪些附接组件。

在下一步骤212中，远程控制向电话发送数据。远程控制可以使用常规的HTTP命令（例如GET或POST）向电话发回数据。之前从电话接收的HTML或Javascript文件可以自由地定义将发回什么类型的数据。因此，远程控制的行为可以完全地被电话控制，这可以使本发明的系统非常灵活和不会过时。发回电话的数据可以包括用户输入、从附接到远程控制的组件读取的传感器数据（例如，汽车的当前燃油液面），和/或摄像机图像或音频反馈（例如，来自附接到TV的视频摄像机或麦克风）。

在最后的步骤214中，电话网络服务器处理接收的数据。当运行在电话中的网络服务器接收到来自远程控制的数据时，网络服务器可以确定需要处理数据的应用并且可以将内容转发到该应用。可以从URL中提取这种派遣任务所需的信息，所述URL为GET或POST请求的一部分。如果数据包括对显示在电话中的用户界面元素的输入，则该输入和适当的用户界面元素的标识可以被反馈回电话。这可以触发对显示内容的更新，并且因而可以反映在远程控制设备中进行的输入。例如，在远程控制设备上的输入栏中做出的输入可以被发送回电话并且接着被输入到电话上的相应的输入栏。基于新的输入，应用可以生成新的输出，所述新的输出进而可以被再发送到远程控制，因而开始新的循环。

在可替换的实施例中，远程控制可以不使用网络浏览器来创建用户界面来显示电话内容和与电话内容交互。相反，可以从由电话发送到远程控制的内容中仅提取机器可处理的数据。基于这些数据，远程控制可以接着创建它自己的对内容的可视化，而独立于仍然可以被发送到远程控制的任何HTML/Javascript/CSS用户界面描述。虽然这种方法将远程控制的灵活性限于固定的功能集，但是这种方法在远程控制具有有限的计算资源的情况下可能是理想的。对电话做出的扩展可能是同样的，并且因而电话可以支持基于浏览器的远程控制和具有固定用户界面的远程控制二者。

在本发明的示例性使用实例中，导航系统可以在电话中被运行，但是输出可以被显示在车载系统上。在移动电话上运行的导航系统可以显示地图和音频指令。当电话被连接到在汽车中的远程控制时，地图渲染可以被编码为从电话发送到汽车的实时视频流。此外，HTML文件可以从电话被发送到汽车，其中HTML文件可以引用视频并且还可以包含例如到达时间和当前街道名称之类的另外的内容。此外，对应于下一个驾驶指令的音频指令可以被转换为也被发送到汽车的音频流。HTML内容和引用的音频和视频流可以被汽车网络浏览器输出，因而使驾驶员能使用汽车的屏幕和扬声器用于导航目的，即使在汽车中没有安装导航系统也是如此。

在本发明的另一示例使用实例中，传感器数据从控制面板被发送到电话。例如，用户可能想要控制在他家中的温度和传感器配置。假设他的家具有家庭自动化系统，所述家庭自动化系统具有图形控制显示器和一系列附接的传感器。家庭自动化系统可以允许访问例如温度控制之类的基础配置，但是由于其有限的计算能力可能缺少高级的数据处理。根据本发明的一个实施例，用户可以在他的移动电话上下载控制应用。当启动时，该应用可以无线地连接到家庭控制面板。在家庭控制面板中的浏览器可以显示从电话接收的HTML用户界面。可以发送另外的CSS图形风格描述来确保HTML用户界面与控制面板的视觉设计相匹配。此外，电话可以发送指示家庭面板确定当前的温度配置和其他传感器数据的Javascript命令。在用户选择了用户界面中的选项之后，收集的传感器数据可以被发送回电话应用。该应用可以使用例如强大的CPU或因特网连接之类的所有电话资源来处理数据。结果可以被用于创建更新的HTML内容，其可以被再次发送到家庭控制显示器。

在本发明的另一示例性使用实例中，在汽车中访问电话地址簿。也就是说，可以用来自汽车的具有创造性的远程控制来访问移动电话。在电话中的应用可以使通过使用运行在汽车中的网络浏览器来浏览地址簿成为可能。在这个过程中，每一个地址可以被编码为HTML。此外，HTML微格式可以被用于将语义信息附接到地址。这可以使所有个体的地址元素能被标记，例如街道名称、城市、邮编和国家。当显示在汽车的网络浏览器中时，这种语义标记可以对用户不可见。也就是说，用户可能仅看见常规的地址。但是，汽车的网络浏览器可以识别嵌入的微格式并且向用户提供与嵌入的微格式交互的机会。这可以包括在地图上绘制地址的位置，或将选择的地址移交给导航系统，其中该导航系统被连接到在汽车中的远程控制。导航系统可以接着使用个体地址元素来计算路线。

本发明可以包括若干个在现有技术中没有公开过的新颖特征。第一这个新颖特征可以是用于移动电话的远程控制技术，所述远程控制技术使用在电话中的网络服务器和在远程控制设备中的网络浏览器。内容可以被编码为例如HTML、Javascript或CSS。远程控制可以不限于固定的功能集。相反，远程控制可以支持对电话上的新功能进行控制而不需要修改远程控制。

本发明的第二新颖特征是远程控制设备可以是车载资讯娱乐系统、电视或家庭自动化面板的形式。

本发明的第三新颖特征是可以从电话捕捉屏幕内容，将其转换为HTML、Javascript和/或CSS表示，并且将其发送到远程控制。可以记录对远程控制做出的输入，并且接着可以将该输入发送回电话应用，并且可以更新电话应用的内容。

本发明的第四新颖特征是可以通过以下方式捕捉电话上的二维的和三维的动画内容：即时地将该内容编码为视频流，在HTML文档中创建对流的引用，并且将视频流和HTML文档二者都发送到远程控制。随后可以在远程控制的显示屏幕上显示该内容。

本发明的第五新颖特征是可以通过以下方式捕捉电话上的音频内容：即时地将该内容编码为音频流，在HTML文档中创建对流的引用，并且将音频流和HTML文档二者都发送到远程控制。随后可以在远程控制的音频扬声器上播放该内容。

本发明的第六新颖特征是可以捕捉用于二维和三维动画内容的指令，将其转换为Javascript命令，并且将其发送到远程控制。为了显示结果，可以在远程控制的浏览器中执行Javascript。

本发明的第七新颖特征是可以对从电话发送的CSS内容进行修改以与远程控制中运行的其他应用所使用的布局、配色方案或图形设计相匹配。

本发明的第八新颖特征是电话可以将语义和传感器数据嵌入到HTML中，其中所述语义和传感器数据可以被远程控制识别。可以在远程控制的显示屏幕中对用户隐藏数据。远程控制可以使用数据用于自动处理并且可以将该数据传递到附接的组件。这导致本发明的第九新颖特征，其中嵌入的数据包括地理位置。远程控制可以将该数据发送到基于位置的系统/导航系统，所述基于位置的系统/导航系统可以附接到远程控制。

本发明的第十新颖特征是远程控制可以将从第一电话接收的数据与来自第二电话或来自因特网上的其他数据源的另外信息进行组合。可以在远程控制上显示聚合的结果。

本发明的第十一新颖特征是可以将特定的Javascript功能添加到远程控制的浏览器。如果在从电话发送的Javascript文件中调用这些功能，则电话能操纵附接到远程控制的组件。

本发明的第十二新颖特征是可以将特定网络服务功能添加到远程控制的浏览器。如果在从电话发送的网络服务文件中调用这些功能，则电话能修改附接到远程控制的组件。电话还能从附接的组件向远程控制返回数据。

本发明的第十三新颖特征是可以使用HTTP GET和POST请求从远程控制向电话发送传感器数据。在请求期间调用的URL和附接的POST数据可以对传感器信息进行编码，其中该传感器信息可以被发送到电话。

在图3中示出了本发明的用于远程地控制移动电子设备的方法300的一个实施例。在第一步骤302，发起移动电子设备和具有用户界面的远程电子设备之间的通信。例如，可以在用于将控制设备12连接到移动电话14时发起对电话14的远程控制。连接可以是有线的或无线的，并且可以采用例如USB、WiFi或蓝牙。控制设备12可以是电视、车载资讯娱乐系统，或包括显示屏幕和输入设备的家庭自动化系统。

在下一步骤304，将移动设备的第一输出被转换为第一HTML文件。例如，电话14产生在电话的显示屏幕、音频扬声器或其他输出频道上输出的内容。所有产生输出的图形和音频指令可以被电话14捕捉或记录。电话14可以接着将这些指令转换为HTML、Javascript和CSS。

接下来，在步骤306，从移动设备14向远程设备12发送第一HTML文件。例如，可以将HTML、Javascript和CSS内容传递到可以在电话的操作系统中运行的网络服务器。网络服务器可以接着使该内容对远程控制12可用。具体地说，远程控制12可以使用HTTP GET或POST请求来请求该内容，或者可以使用HTML的Websocket技术。

在步骤308，根据远程设备接收的第一HTML文件，在远程设备上呈现第二输出。例如，通过使用从电话14接收的HTML、CSS、Javascript和另外的内容文件，远程控制12中的网络浏览器可以在它的设备上输出内容，并且因而可以再现运行在电话14上的应用。

在步骤310，从远程设备向移动设备发送数据。例如，远程控制12可以使用例如GET或POST之类的常规HTTP命令将数据发回给电话14。之前从电话14接收的HTML或Javascript文件可以定义向电话14发送哪种类型的数据。

接下来，在步骤312，在移动设备中识别用于处理来自远程设备的数据的应用。也就是说，当运行在电话14中的网络服务器接收到来自远程控制14的数据时，网络服务器识别需要处理该数据的应用并且将该内容转发给所识别的应用。

在下一步骤314，在该应用中处理来自远程设备的数据。例如，如果所识别的应用是地址簿，并且来自远程控制12的数据是进入地址簿中的下一条目的命令，则电话14中的电话簿应用可以处理该命令并且访问与地址簿中的下一条目相关联的内容。

接下来，在步骤316，基于对来自远程设备的数据的处理在移动设备中产生第三输出。例如，电话14可以在它的用户界面上显示在电话簿中的所请求的下一条目。

在步骤318，将移动设备的第三输出转换为第二HTML文件。例如，电话14可以将地址簿中的新访问的条目转换为HTML、Javascript和CSS。

在最终的步骤320中，从移动设备向远程设备发送第二HTML文件。例如，可以向运行在电话操作系统中的网络服务器移交与新访问的电话簿条目相关联的HTML、Javascript和CSS内容。类似于步骤306，网络服务器可以接着使该内容对远程控制12可用。

虽然本发明已经被描述为具有示例性的设计，但是可以在本公开内容的精神和范围内进一步修改本发明。因此本申请旨在覆盖本发明的利用其一般原理的任意变化、使用或修改。

Claims (23)

1.一种远程地控制移动电子设备的方法，所述方法包括以下步骤：

发起所述移动电子设备和具有用户界面的远程电子设备之间的通信；

将所述移动设备的第一输出转换为第一HTML文件；

从所述移动设备向所述远程设备发送所述第一HTML文件；

依赖于所述远程设备所接收的所述第一HTML文件，在所述远程设备上呈现第二输出；

从所述远程设备向所述移动设备发送数据；

识别所述移动设备中的用于处理来自所述远程设备的所述数据的应用；

在所述应用中处理来自所述远程设备的所述数据；

基于对来自所述远程设备的所述数据的所述处理在所述移动设备中产生第三输出；

将所述移动设备的所述第三输出转换为第二HTML文件；以及

从所述移动设备向所述远程设备发送所述第二HTML文件。

2.根据权利要求1所述的方法，包括：通过所述远程设备的所述用户界面接收来自用户的输入的进一步步骤，从所述远程设备向所述移动设备发送的所述数据是依赖于来自所述用户的所述输入的。

3.根据权利要求2所述的方法，其中，所述远程设备的所述用户界面是由位于所述远程设备中的网络浏览器提供的。

4.根据权利要求1所述的方法，其中，从所述远程设备向所述移动设备以及从所述移动设备向所述远程设备发送的数据包括传感器数据、图像数据和/或音频数据。

5.根据权利要求1所述的方法，其中，在所述移动设备中产生的所述第一输出和所述第三输出包括被编码为实时视频流的2D/3D内容和被编码为实时音频流的音频内容，所述第一HTML文件和所述第二HTML文件引用所述视频流和所述音频流，使得在所述远程设备上向用户呈现所述视频流和所述音频流。

6.根据权利要求5所述的方法，其中，所述移动设备中的所述应用包括导航系统，在所述移动设备中产生的所述第一输出和所述第三输出包括图形化的地图和音频指令，所述地图的渲染被编码为所述实时视频流，所述实时视频流和对音频语音引导命令的实时记录被发送到所述远程设备，所述第一HTML文件和所述第二HTML文件引用所述视频流和所述音频流并且包含到达时间和/或所述远程设备当前所处街道的名称。

7.根据权利要求1所述的方法，其中，所述远程设备包括家庭自动化系统，所述方法包括以下进一步步骤：

将控制应用下载到所述移动设备；

将所述控制应用连接到所述家庭自动化系统；

从所述移动设备向所述家庭自动化系统发送HTML用户界面；

使用所述家庭自动化系统中的浏览器来显示所述HTML用户界面；

选择在所述家庭自动化系统上显示的所述HTML用户界面上的选项；

收集所述家庭自动化系统中的传感器数据；

从所述家庭自动化系统向所述移动设备发送所收集的传感器数据；

在所述移动设备中的所述控制应用内处理所收集的传感器数据，从而创建更新的HTML内容；

从所述移动设备向所述家庭自动化系统发送所述更新的HTML内容；以及

在所述家庭自动化系统上显示所述更新的HTML内容。

8.根据权利要求7所述的方法，包括：从所述移动设备向所述家庭自动化系统发送CSS图形风格描述和Javascript命令的进一步步骤，所述命令指示所述家庭自动化系统确定与所述家庭自动化系统相关联的家庭加热/冷却系统的当前温度设置。

9.根据权利要求1所述的方法，其中，所述远程设备包括运行网络浏览器的车载设备，所述移动设备具有地址簿，所述方法包括以下进一步步骤：

将所述地址簿中的每一个地址编码为HTML；

使用HTML嵌入的微格式来将语义信息附接到所述地址；以及

使用所述车载设备的所述网络浏览器来识别所嵌入的微格式，并且：

在显示在所述车载设备上的地图上绘制所述地址的位置；或

将所述地址中的所选的一个地址发送到车辆中的基于位置的系统或导航系统以用于绘制路线。

10.根据权利要求1所述的方法，包括：对产生所述第一输出的图形指令和/或音频指令进行记录的进一步步骤，对所述第一输出的转换包括将所记录的图形指令和/或音频指令转换为所述第一HTML文件。

11.根据权利要求10所述的方法，包括以下进一步步骤：

将所记录的图形指令转换为等同的Javascript指令；

将所述Javascript指令放入到Javascript文件中；以及

使用所述远程设备来执行所述Javascript指令，从而在所述远程设备上再现所述移动设备的图形化输出。

12.根据权利要求1所述的方法，其中，向所述远程设备发送所述移动设备的所述第一输出包括以下步骤：

向所述移动设备的网络服务器发送所述第一输出的HTM、CSS和Javascript内容；以及

使用所述移动设备的所述网络服务器来使得所述HTML、CSS和Javascript内容对于所述远程设备是可用的。

13.根据权利要求1所述的方法，其中，所述远程设备使用网络浏览器来与来自所述移动设备的所述第一HTML文件进行交互。

14.根据权利要求1所述的方法，其中，所述数据是使用HTTP命令在所述远程设备和所述移动设备之间发送的。

15.根据权利要求1所述的方法，包括以下进一步步骤：

在所述移动设备中记录用于二维的动画内容和/或三维的动画内容的指令；

将所记录的指令转换为Javascript命令；

向所述远程设备发送所述Javascript命令；以及

在所述远程设备的网络浏览器中执行所述Javascript命令，从而在所述远程设备上显示所述二维的动画内容和/或所述三维的动画内容。

16.一种远程地控制移动电子设备的方法，所述方法包括以下步骤：

发起所述移动电子设备和具有用户界面的远程电子设备之间的通信，所述远程设备包括电视、监视器、家庭控制面板和车载资讯娱乐系统中的一个；

向所述远程设备发送所述移动设备的第一输出；

从来自所述移动设备的所述第一输出提取机器可处理数据；

依赖于所提取的机器可处理数据在所述远程设备上呈现第二输出；

从所述远程设备向所述移动设备发送数据；

识别所述移动设备中的用于处理来自所述远程设备的所述数据的应用；

在所述应用中处理来自所述远程设备的所述数据；

基于对来自所述远程设备的所述数据的所述处理在所述移动设备中产生第三输出；以及

从所述移动设备向所述远程设备发送所述第三输出。

17.一种网络装置，包括：

包括网络浏览器的远程控制器设备，所述远程控制器设备包括车载资讯娱乐系统、电视或家庭自动化面板；以及

包括网络服务器的移动电子设备，所述移动设备被配置为：

运行产生内容的应用；

用HTML、Javascript和CSS编码所述内容；以及

向所述远程控制器设备发送已编码的内容，

其中，所述远程控制器设备被配置为：

从所述移动设备接收所述已编码的内容；

向用户呈现所述已编码的内容；

在已经向所述用户呈现了所述已编码的内容之后，接收来自所述用户的输入；以及

从所述远程控制器设备向所述移动设备发送来自所述用户的所述输入。

18.根据权利要求17所述的装置，其中，所述移动设备被配置为运行所述应用，从而基于来自所述用户的所述输入产生更新的内容。

19.根据权利要求17所述的装置，其中，所述远程控制器设备被配置为：

运行其他应用；以及

修改来自所述移动设备的CSS内容，以与所述其他应用所使用的布局、配色方案或图形设计相匹配。

20.根据权利要求17所述的装置，其中，所述移动电子设备包括第一移动电子设备，来自所述第一移动电子设备的已编码的内容包括第一已编码的内容，所述装置还包括第二移动电子设备，所述远程控制器设备被配置为：

从所述第二移动设备接收第二已编码的内容；以及

将所述第一已编码的内容和所述第二已编码的内容组合为对于所述用户的共同呈现。

21.根据权利要求17所述的装置，还包括通信地耦合到所述远程控制器设备的导航系统或其他基于位置的系统，所述移动设备被配置为将地理位置嵌入到向所述远程控制器设备发送的HTML中，所述远程控制器设备被配置为向所述导航系统传递所嵌入的地理位置，以便在所述导航系统中进行处理。

22.根据权利要求17所述的装置，其中，所述远程控制器设备中的所述网络浏览器被配置为提供特定的Javascript功能，所述移动电话被配置为：

调用由所述电话发送的Javascript文件中的所述功能；以及

对附接到所述远程控制的组件进行操纵。

23.根据权利要求17所述的装置，其中，所述远程控制被配置为暴露能够从所述电话发送的HTML内容访问的网络服务。

Images