CN104065683A - 远程控制方法和本地设备 - Google Patents

Abstract

本发明公开了一种远程控制方法和本地设备。所述方法应用于本地设备，在所述本地设备中安装有一网络应用，所述本地设备与远程设备连接，所述远程设备包括远程多媒体单元，所述方法包括：从所述网络应用获得第一控制命令；根据所述第一控制命令来确定所述远程多媒体单元的访问地址；通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为第二控制命令；以及根据所述访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。因此，在本发明中，本地设备可以对在远程设备中装备的远程多媒体单元进行操控，从而提供了对于访问远程多媒体单元的支持，并充分满足了应用开发的需求。

Description

远程控制方法和本地设备

技术领域

本发明涉及计算机技术领域，更具体地，本发明涉及一种远程控制方法和本地设备。

背景技术

随着计算机技术及网络技术的发展，各种网络应用（Web App）在诸如笔记本计算机、平板电脑（PAD）、移动电话、多媒体播放器、个人数字助理（PDA）之类的电子设备中的安装和使用越发普及。

在与多媒体相关的某些网络应用场景（例如，视频会议、视频监控、视频通话等）中，本地设备通常需要对该本地设备或远程设备上的多媒体单元进行操控（例如，设置参数、启动获取操作等），以例如进一步从该多媒体单元实时地获取多媒体数据用于后续操作。

为此，万维网联盟（W3C）在HTML5标准草案中定义了一组W3C装置应用程序接口（Device API），即媒体获取API（Media Capture API）。它们是一系列用于访问和控制本地设备中各种多媒体单元的JavaScript接口。利用这些API，HTML5应用程序能够在JavaScript代码中实现对诸如摄像头、麦克风、传感器等多媒体单元的访问和控制。

然而，虽然W3C HTML5标准草案已定义的这组API可使得HTML5应用程序实现对多媒体单元的访问和控制，但是其仅限于操控本地设备上的多媒体单元，而无法对远程设备上的多媒体单元进行操控。因此，对于上述应用场景，目前HTML5没有能够提供对于远程设备的支持，因而无法满足应用开发的需求。

另外，在现有技术中还存在一种开源的软件“网络实时通信协议（WebRTC）”。WebRTC基于HTML5实现了实时音视频通信，即它可在浏览器中实现基于网页的实时多媒体通信应用，例如视频会议。但是，此方案的缺点在于：首先，WebRTC作为一个开源软件还不够完善，目前仍处于开发过程中，并且浏览器对它的支持程度也远不够完美，目前仅有Google Chrome浏览器能够支持WebRTC；其次，WebRTC仅仅侧重于提供实时音视频通信能力，对诸如远程设备多媒体单元的访问和操控没有能够提供足够的支持。

因此，需要一种新型的远程控制方法和本地设备来解决上述问题。

发明内容

为了解决上述技术问题，根据本发明的一个方面，提供了一种远程控制方法，应用于本地设备，在所述本地设备中安装有一网络应用，所述本地设备与远程设备连接，所述远程设备包括远程多媒体单元，所述方法包括：从所述网络应用获得第一控制命令，所述第一控制命令具有适于所述网络应用的第一格式并且用于控制所述远程多媒体单元执行第一操作；根据所述第一控制命令来确定所述远程多媒体单元的访问地址；通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为第二控制命令，所述第二控制命令具有适于所述远程多媒体单元的第二格式；以及根据所述访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。

此外，根据本发明的另一方面，提供了一种本地设备，在所述本地设备中安装有一网络应用，所述本地设备与远程设备连接，所述远程设备包括远程多媒体单元，所述本地设备包括：命令接收单元，用于从所述网络应用获得第一控制命令，所述第一控制命令具有适于所述网络应用的第一格式并且用于控制所述远程多媒体单元执行第一操作；地址确定单元，用于根据所述第一控制命令来确定所述远程多媒体单元的访问地址；命令转换单元，用于通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为第二控制命令，所述第二控制命令具有适于所述远程多媒体单元的第二格式；以及命令传送单元，用于根据所述访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。

本发明还提供了一种交互系统，所述交互系统包括：上述的本地设备；以及远程设备，该远程设备包括远程多媒体单元，所述远程多媒体单元用于根据所述本地设备的控制执行第一操作。

与现有技术相比，采用根据本发明的远程控制方法和本地设备，可以从在本地设备中安装的网络应用获得由该网络应用发出的、用于控制在远程设备中装备的远程多媒体单元执行特定操作的第一控制命令，通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为远程多媒体单元能够执行的第二控制命令，并且根据所述远程多媒体单元的访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。因此，在本发明中，本地设备可以对在远程设备中装备的远程多媒体单元进行操控，从而提供了对于访问远程多媒体单元的支持，并充分满足了应用开发的需求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1图示了根据本发明的远程控制方法。

图2图示了根据本发明的本地设备。

图3图示了根据本发明实施例的远程控制方法。

图4图示了根据本发明实施例的交互系统。

图5图示了根据本发明实施例的信息返回单元的具体结构。

图6图示了根据本发明实施例具体示例的用于网络应用开发的架构。

图7图示了根据本发明实施例具体示例的远程控制方法的详细步骤。

图8图示了根据本发明实施例具体示例的网络应用的显示结果。

具体实施方式

将参照附图详细描述根据本发明的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

在下文中，将参考图1和2来描述根据本发明的远程控制方法和本地设备。

图1图示了根据本发明的远程控制方法，而图2图示了根据本发明的本地设备。

图1所图示的远程控制方法应用于本地设备，在所述本地设备中安装有一网络应用，所述本地设备与远程设备连接，所述远程设备包括远程多媒体单元。

该远程控制方法通过图2所图示的本地设备来实现。具体地，所述本地设备100包括：命令接收单元110、地址确定单元120、命令转换单元130、和命令传送单元140。

如图1所图示的，所述远程控制方法包括：

在步骤S110中，从所述网络应用获得第一控制命令，所述第一控制命令具有适于所述网络应用的第一格式并且用于控制所述远程多媒体单元执行第一操作；本步骤可以由图2中的命令接收单元110来实现。

在步骤S120中，根据所述第一控制命令来确定所述远程多媒体单元的访问地址；本步骤可以由图2中的地址确定单元120来实现。

在步骤S130中，通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为第二控制命令，所述第二控制命令具有适于所述远程多媒体单元的第二格式；本步骤可以由图2中的命令转换单元130来实现。以及

在步骤S140中，根据所述访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作；本步骤可以由图2中的命令传送单元140来实现。

由此可见，采用根据本发明的远程控制方法和本地设备，可以从在本地设备中安装的网络应用获得由该网络应用发出的、用于控制在远程设备中装备的远程多媒体单元执行特定操作的第一控制命令，通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为远程多媒体单元能够执行的第二控制命令，并且根据所述远程多媒体单元的访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。因此，在本发明中，本地设备可以对在远程设备中装备的远程多媒体单元进行操控，从而提供了对于访问远程多媒体单元的支持，并充分满足了应用开发的需求。

在下文中，将参考图3和图4来描述根据本发明实施例的远程控制方法和交互系统。

图3图示了根据本发明实施例的远程控制方法，而图4图示了根据本发明实施例的交互系统300。

图3所示的远程控制方法可以通过图4所示的交互系统300来实现，如图4所示，该交互系统300可以包括：本地设备100和远程设备200。

具体地，与图2一样，该本地设备100可以包括：命令接收单元110、地址确定单元120、命令转换单元130、和命令传送单元140。优选地，为了实现一种或多种附加功能，该本地设备100还可以包括：关联判断单元150、接口初始化单元160、信息接收单元170、和/或信息返回单元180。

此外，在所述本地设备100中还可以安装有至少一个操作系统，并且在该至少一个操作系统中安装有一个或多个网络应用10，该网络应用10可以借助于在该操作系统中默认装备的或另外安装的浏览器内核来运行。

网络应用是指计算机软件承载在浏览器支持环境下或使用浏览器支持语言并依赖于网络（Web）浏览器来渲染的应用程序，它的流行很大程度上归功于网络浏览器的普及。一般而言，网络应用使用超文本标记语言（HTML）、级联样式表（CSS）和JavaScript语言来开发。正是由于上述开发环境，所以与原生应用（Native App）不同地，网络应用不必下载安装就可以实现更新和维护，并且具有支持跨平台的内在属性。典型的网络应用产品例如包括Web邮箱、Web商店、Wikis等等。

具体地，在第一示例中，该本地设备可以是移动电话，在该移动电话中可以安装有谷歌（Google）公司的安卓（Android）操作系统，并且该网络应用可以借助于在Android操作系统中默认装备的浏览器内核（例如，Android浏览器的WebKit引擎）来运行。

在第二示例中，该本地设备可以是个人计算机，在该个人计算机中可以安装有微软（Microsoft）公司的视窗（Windows）操作系统，并且该网络应用可以借助于在Windows操作系统中默认装备的浏览器内核（例如，IE浏览器的Trident引擎）或另外安装的浏览器内核（例如，火狐浏览器的Gecko内核）来运行。

在第三示例中，该本地设备可以是平板电脑，在该平板电脑中可以安装有苹果（Apple）公司的iOS操作系统，并且该网络应用可以借助于在iOS操作系统中默认装备的浏览器内核（例如，Safari浏览器的WebKit引擎）来运行。

该远程设备200可以包括：命令接收单元210、信息编码单元220和信息发送单元230。

此外，所述远程设备200还可以包括至少一个远程多媒体单元20。该远程多媒体单元20可以位于该远程设备200的本地。例如，当远程设备200是移动电话时，在其上装备的摄像头可以是该移动电话的本地资源。替换地，该远程多媒体单元20也可以位于该远程设备200的远程，并且通过无线网络和/或有线网络而连接到该远程设备200。例如，当远程设备200是个人计算机时，通过音频接口而与其连接的外接麦克风、或通过通用串行总线（USB）接口而与其连接的外接摄像头等可以是该个人计算机的远程资源。

在该交互系统300中，该本地设备100与该远程设备200优选地通过网络（例如，无线网络或有线网络）而连接在一起，并且按照约定的数据格式来传输通信数据。通过本地设备100和远程设备200之间的交互通信，用户可以使得在本地设备100中安装的网络应用能够访问并且控制在远程设备200中装备的远程多媒体单元20。

如图3所示，根据本发明实施例的远程控制方法包括：

在步骤S210中，从网络应用接收第一初始化命令。

当第一用户希望通过自己的本地设备100（例如，使用Android操作系统的移动电话）来对第二用户的远程设备200（例如，使用Android操作系统的平板电脑）所包括的远程多媒体单元20（例如，摄像头）进行操控（例如，设置诸如焦距、光圈、白平衡之类的摄像头参数、命令摄像头进行预览（preview）、或捕捉摄像头所获取的图像、视频等）时，他/她可以在该本地设备100中启动已经在其中预先安装的一网络应用10，并且通过该网络应用10来发出用于该远程多媒体单元20的控制命令。

优选地，在第一用户决定控制第二用户的远程设备20之前，该本地设备100还可以基于信息设备智能互联与资源共享（IGRS）协议、AllJoyn、通用即插即用（uPnP）等各种现有的设备间协同计算技术来执行发现远程设备及与远程设备建立连接的过程，以向用户提供更多远程设备的操控选择。

然后，如果第一用户希望控制所述远程多媒体单元20执行第一操作，则在实际地通过自己的本地设备100向第二用户的远程设备200发送出用于控制所述远程多媒体单元20执行相关的第一控制命令之前，网络应用10首先需要发送一个第一初始化命令。该第一初始化命令与所述远程设备200上的远程多媒体单元20相关联。

相应地，在本地设备100中，从所述网络应用10获得该第一初始化命令。本步骤可以由图4中的命令接收单元110来实现。

在步骤S220中，生成并初始化多媒体接口。

在从所述网络应用10获得该第一初始化命令之后，判断所述第一初始化命令是否与所述远程多媒体单元20相关联。本步骤可以由图4中的关联判断单元150来实现。

例如，该关联判断单元150解析该第一初始化命令，并且确定该第一初始化命令是指向本地设备100上的多媒体单元，还是指向远程设备200上的多媒体单元，亦或是其他远程设备上的多媒体单元。

当判断出该第一初始化命令指向本地设备100上的多媒体单元时，该远程控制方法结束，并且开始执行现有技术中的本地控制方法，以控制本地设备100上的本地多媒体单元执行第一操作。

另外，当判断出该第一初始化命令指向远程设备200上的多媒体单元时，该关联判断单元150进一步判断该第一初始化命令指向远程设备200上的哪一个多媒体单元。

如果所述关联判断单元150判断出所述第一初始化命令与所述远程设备200上的远程多媒体单元20相关联，则生成并初始化一个多媒体接口，该多媒体接口用于将具有适于所述网络应用生成的第一格式的第一控制命令转换为具有适于远程多媒体单元20执行的第二格式的第二控制命令，以便该远程多媒体单元20执行第一用户指定的第一操作。本步骤可以由图4中的接口初始化单元160来实现。

在步骤S230中，从网络应用获得第一控制命令。

在发送第一初始化命令之后，该网络应用10可以向第一用户正在使用的本地设备100发出用于控制所述远程设备200上的远程多媒体单元20执行第一操作的第一控制命令。

相应地，在本地设备100中，从所述网络应用10获得第一控制命令，所述第一控制命令具有适于所述网络应用10的第一格式并且用于控制所述远程多媒体单元20执行第一操作。本步骤可以由图4中的命令接收单元110来实现

具体地，该第一格式可以是在构建网络应用10时使用的编程语言。例如，当网络应用可以是使用超文本标记语言（HTML）5、级联样式表（CSS）和JavaScript语言来开发的时，该第一格式可以是JavaScript代码格式。JavaScript是一种基于对象和事件驱动并具有相对安全性的客户端脚本语言，常用来给HTML网页添加动态功能，比如响应用户的各种操作。因此，网络应用10可以通过特定的JavaScript代码来控制所述远程多媒体单元20执行用户所期望的第一操作（例如，对摄像头设置诸如焦距、光圈、白平衡之类的参数、命令摄像头进行预览（preview）、或捕捉摄像头所获取的图像、视频等）。

此外，由于在整个网络环境中可能存在多个远程设备并且每个远程设备可能包括多个远程多媒体单元，所以网络应用10在根据第一用户选择来生成第一控制命令时，优选地从第一用户接收远程设备200的访问地址，并且将该访问地址合并到该第一控制命令中。

例如，该远程多媒体单元20的访问地址可以是“http://10.100.1.2/camera”。其中，“10.100.1.2”是远程设备200的因特网（IP）地址，而“camera”是该远程多媒体单元20的具体资源地址。

在步骤S240中，根据第一控制命令来确定远程多媒体单元的访问地址。

在从所述网络应用10获得该第一控制命令之后，根据所述第一控制命令来确定所述远程多媒体单元20的访问地址。本步骤可以由图4中的地址确定单元120来实现。

例如，该地址确定单元120解析该第一控制命令，并且从中提取出远程设备200的因特网（IP）地址和远程多媒体单元20的资源地址，以用于对远程多媒体单元20进行定位。

在步骤S250中，通过用于远程多媒体单元的多媒体接口来将第一控制命令转换为第二控制命令。

接下来，通过用于所述远程多媒体单元20的多媒体接口来将所述第一控制命令转换为第二控制命令，所述第二控制命令具有适于所述远程多媒体单元的第二格式。本步骤可以由图4中的命令转换单元130来实现。

例如，命令转换单元130从接口初始化单元160调用已经生成并初始化完毕的用于所述远程多媒体单元20的多媒体接口。然后，该命令转换单元130使用该多媒体接口来将具有适于所述网络应用的第一格式的第一控制命令转换为具有适于远程多媒体单元20的第二格式的第二控制命令。

具体地，该第二格式可以是远程多媒体单元20可以识别的控制命令。例如，当本地设备100和远程设备200都使用Android操作系统时，该第二格式的控制命令可以是在Android操作系统中提供的、用于驱动远程多媒体单元20的驱动命令。

在步骤S260中，根据访问地址向远程设备传送第二控制命令。

在确定所述远程多媒体单元20的访问地址并且生成第二控制命令之后，根据所述访问地址向所述远程设备200传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。本步骤可以由图4中的命令传送单元140来实现。

具体地，本地设备100上的应用程序10通过命令传送单元140向远程设备200发出第二控制命令（例如设置参数、启动拍照或摄像），该控制命令经本地设备100与远程设备200之间的有线或无线网络传输到远程设备200，以实现对远程多媒体单元的操控。

相应地，在远程设备200中，按照事先确定的通信协议与本地设备建立连接进行通信。本步骤可以由图4中的命令接收单元210来实现。然后，命令接收单元210解析和执行从本地设备100发来的第二控制命令，以驱动远程多媒体单元20执行第一操作。例如，该命令接收单元210可以是在远程设备200中安装的操作系统中用于远程多媒体单元20的驱动程序模块。

在一个示例中，当该第一操作是设置远程多媒体单元20的各种参数的情况下，该远程多媒体单元20根据命令接收单元210的驱动来执行第一操作，例如，对摄像头20设置诸如焦距、光圈、白平衡之类的各种参数，以便用户进一步使用该摄像头20获取图像、视频等远程多媒体原始数据。

在另一示例中，当该第一操作是获取远程多媒体原始数据的情况下，该远程多媒体单元20根据命令接收单元210的驱动来捕捉多媒体原始数据，并且将编码后的远程多媒体信息返回到本地设备100。例如，远程设备200在对从摄像头20获取的图像数据采用H.264之类的压缩编码标准进行压缩编码之后，通过实时传送协议（RTP）协议向本地设备100进行传输，以便接下来，本地设备100在接收到数据之后，经过H.264解码将它还原为图像数据，并随后提供到网络应用以用于预览（preview）显示。

优选地，本地设备100和远程设备200之间传输数据和控制命令可基于WiFi、Bluetooth、以太网等各种现有的网络通信技术。

并且，在远程设备200中，为了数据传送安全以及传送效率，优选地，可以增加H.264压缩编码、TS打包、RTP协议封装等功能，并按照事先确定的通信协议与本地设备100建立连接进行通信。

这时，在所述远程多媒体单元20执行获取远程多媒体原始数据的操作之后，从远程多媒体单元20接收该远程多媒体原始数据，并且对它进行编码而生成远程多媒体信息。本步骤可以由图4中的信息编码单元220来实现。然后，向本地设备100传送该远程多媒体信息。本步骤可以由图4中的信息发送单元230来实现。

在步骤S270中，从远程设备接收远程多媒体信息。

相应地，在本地设备100中，从所述远程设备200接收编码后的远程多媒体信息，以用于后续使用。本步骤可以由图4中的信息接收单元170来实现。

替换地，在步骤S260和步骤S270中，当该第一操作是获取远程多媒体原始数据的情况下，该远程多媒体单元20还可以在捕捉到多媒体原始数据之后，直接将远程多媒体原始数据返回到本地设备100。

这时，在所述远程多媒体单元20执行所述第一操作之后，向本地设备100发送所述远程多媒体单元20所获取的远程多媒体原始数据。代替该信息编码单元220和该信息发送单元230，在远程设备200中将仅仅包括数据发送单元（未示出），以用于实现本步骤。

相应地从远程设备200接收所述远程多媒体单元20所获取的远程多媒体原始数据，并且通过对所述远程多媒体原始数据进行编码来生成远程多媒体信息，以用于后续使用。代替该信息接收单元170，在本地设备100中将包括数据接收单元和信息编码单元（未示出），以分别用于实现上述步骤。

也就是说，拍照和摄像操作既可以在远程设备200上进行，通过网络将拍照生成的图像文件或摄像产生的视频流传输到本地设备100；也可以在本地设备100上利用从远程设备200获取的预览图像数据直接进行拍照或摄像。

在步骤S280中，向网络应用返回远程多媒体信息。

接下来，从信息接收单元170或信息编码单元（未示出）接收远程多媒体信息，并向所述网络应用10返回所述远程多媒体信息。本步骤可以由图4中的信息返回单元180来实现。

图5图示了根据本发明实施例的信息返回单元180的具体结构。

如图5所图示的，该信息返回单元180可以包括：解码模块181、缓存模块182、读取模块183、和返回模块184。此外，优选地，该信息返回单元180还可以包括：生成模块185。

具体地，将所述远程多媒体信息解码为远程多媒体原始数据，并且将所述远程多媒体原始数据缓存到用于向用户进行呈现操作所需的帧数据缓冲区中。上述步骤可以由图5中的解码模块181和缓存模块182分别实现。例如，所述帧数据缓冲区可以是该接口初始化单元160在步骤S220中生成并初始化所述多媒体接口的同时申请的。

接下来，从所述帧数据缓冲区中读取所述远程多媒体原始数据，并且最后，向所述网络应用10返回所述远程多媒体原始数据，以便所述网络应用10向用户呈现所述远程多媒体原始数据。上述步骤可以由图5中的读取模块183和返回模块184分别实现。

在一个示例中，该读取模块183可以实时地、周期性地、或随机地读取缓存模块182在帧数据缓冲区中缓存的原始数据，并且通过返回模块184向网络应用10返回所述远程多媒体原始数据。

优选地，在另一示例中，为了保证图像的刷新率，提升用户体验，读取模块183可以根据多媒体呈现命令来从所述帧数据缓冲区中读取所述远程多媒体原始数据。

具体地，在所述缓存模块182将所述远程多媒体原始数据缓存到帧数据缓冲区中之后，判断在所述帧数据缓冲区中的所述远程多媒体原始数据是否形成一帧多媒体数据，并且如果判断出在所述帧数据缓冲区中的所述远程多媒体原始数据形成完整的一帧多媒体数据，则通过所述多媒体接口来生成所述多媒体呈现命令。然后，该读取模块183从所述帧数据缓冲区中读取所述完整的一帧远程多媒体原始数据，并通过返回模块184向网络应用10返回所述远程多媒体原始数据。该步骤可以由图5中的生成模块185来实现。

由此可见，采用根据本发明实施例的远程控制方法和本地设备，可以从在本地设备中安装的网络应用获得包括第一操作的第一控制命令，通过用于远程多媒体单元的多媒体接口来将所述第一控制命令转换为远程多媒体单元能够执行的第二控制命令，并且根据所述远程多媒体单元的访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作，并且在所述第一操作是获取远程多媒体原始数据的情况下，向网络应用返回编码后的远程多媒体信息，并通过解码、缓存等操作使得网络应用进一步向用户呈现所述远程多媒体原始数据。因此，在本发明的实施例中，本地设备可以对远程设备中的远程多媒体单元进行参数设置，并命令其执行多媒体数据捕捉，从而对现有技术提供了扩展，使得网络应用既能够访问本地设备上的本地多媒体单元，也能够访问远程设备上的远程多媒体单元，提高了用户的操作体验，并且本地和远程多媒体访问服务对上层提供的功能及调用接口完全相同，从而保证了网络应用的平滑升级。

下面，为了使得本发明的原理更加清楚易懂，将在以下具体示例中详细地说明本发明的实施例，其中该本地设备是第一用户所拥有的、使用Android操作系统的移动电话，该远程设备是第二用户所拥有的、同样使用Android操作系统的平板电脑，在该移动电话中安装有一个网络应用，用于获取并呈现在该平板电脑中装备的摄像头所捕捉的图像数据。

然而，需要说明的是，本发明不限于此。本地设备和远程设备可以是任何类型的设备，其包括但不限于：笔记本计算机、平板电脑、移动电话、多媒体播放器、个人数字助理等。该操作系统也可以是任何类型的操作系统，其包括但不限于：Android、Windows、iOS、Linux、视窗电话（WP）等。除了在本地设备的操作系统平台中默认装备的浏览器内核之外，该网络应用也可以借助于在操作系统中另外安装的浏览器内核而运行。同理，该远程多媒体单元可以是位于远程设备本地或远程的其他多媒体获取单元，诸如麦克风、照相机、摄像头、传感器等。此外，还可以将根据本发明实施例的远程控制方法应用于实现本地设备和远程设备的其他交互过程中。

图6图示了根据本发明实施例具体示例的用于网络应用开发的架构，而图7图示了根据本发明实施例具体示例的远程控制方法的详细步骤。

如图6所图示的，网络应用开发架构包括四层，从下到上分别为操作系统（OS）层、浏览器内核层、HTML开发者层、和使用者层。

操作系统层是管理计算机硬件资源、控制其他程序运行并为用户提供交互操作界面的系统软件的集合，它是电子设备的关键组成部分，负责管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本任务。在本示例中，该操作系统层可以是Android操作系统，其例如可以至少包括远程摄像头服务程序（Remote Camera Service）函数等。

浏览器内核层是一种浏览器引擎（或称之为网页解析机制），负责对网页语法的解释（如HTML、JavaScript）并渲染网页页面。该浏览器内核层可以至少包括WebKit组件和WebView组件，其中，WebKit组件是浏览器的核心模块，其可以被称为渲染器，并通常包括WebCore排版引擎和JSCore引擎；而WebView组件是用于封装WebKit组件的层。在本示例中，该浏览器内核层例如至少可以包括浏览器的内部控制逻辑和内部摄像头控制对象。

HTML开发者层用于向网络应用的开发者提供软件界面的开发服务，其所面向的对象是网络应用的开发者。例如，开发者可以在这层中基于各种网页开发技术（例如，HTML或HTML5、CSS3、JavaScript）来开发网络应用的软件界面，以保证网络应用友好地与最终用户进行交互。在本示例中，该网络应用10是在该HTML开发者层开发的。

使用者层用于向使用网络应用的最终用户发布该网络应用所能实现的各种内容和功能，其所面向的对象是网络应用的使用者。在本示例中，该第一用户操作在该使用者层中。

如图7所示，根据本发明实施例具体示例的远程控制方法包括：

在步骤S310中，第一用户在移动电话中运行网络应用。

在步骤S320中，浏览器解析网络应用中的网页内容。

如上所述，该网络应用可以是使用超文本标记语言（HTML）5、级联样式表（CSS）和JavaScript语言来开发的，其使用W3C已定义的HTML5的媒体获取API。该媒体获取API的具体函数是getUserMedia。在本发明实施例的具体示例中对该函数进行了远程扩展。

具体地，在移动电话中，基于HTML5开发的网络应用通过在JavaScript中调用该getUserMedia函数来控制平板电脑所包括的摄像头和/或获取它所输出的多媒体数据（例如，图像数据或视频数据），以用于例如视频会议、视频监控或视频通话等场景。

如W3C所定义的，getUserMedia函数的一般格式如下：

void getUserMedia(MediaStreamConstraints constraints,NavigatorUserMediaSuccessCallback successCallback,optionalNavigatorUserMediaErrorCallback errorCallback)

可以看出，该函数有3个参数：

第1个参数“MediaStreamConstraints”是一个字符串，表示要获取的媒体数据的类型；

第2个参数“NavigatorUserMediaSuccessCallback”和第3个参数“NavigatorUserMediaErrorCallback”分别是调用该getUserMedia函数成功或失败的回调函数。

在现有技术中，该第1个参数只有两种取值：例如，video和audio，分别对应于控制本地设备100上的本地视频单元和本地音频单元。然而，在本发明的实施例中，对函数getUserMedia的第1个参数的取值范围进行扩充，除了原有的video和audio两种取值之外，还新增加了remote_video、remote_audio、remote_sensor等多种取值，分别表示远程设备上的远程视频单元、远程音频单元、远程传感器单元等，以控制平板电脑上的摄像头、麦克风和传感器等，并继而获取它们所输出的图像数据、音频数据和感测数据等。进一步，还可以在新增的多种参数值后面附加数字序号后缀，例如remote_video_1、remote_video_2、remote_audio_1、remote_audio_2等等，分别指定一个或多个远程设备所包括的多个远程多媒体单元之中的某一个单元。

显然的是，本发明实施例的上述扩充并未对现有的W3C规范及函数getUserMedia的功能进行任何修改，因此并不影响原有的利用getUserMedia访问本地设备的本地多媒体单元的HTML5应用程序，从而实现了对现有技术的平滑升级。

在处理摄像头相关的JavaScript代码（调用函数getUserMedia）的时候，浏览器的内部控制逻辑会在浏览器内部生成一个内部的摄像头控制对象并对它进行初始化，这个对象用来控制摄像头的操作，例如开始预览、拍照、摄像开始与结束等等操作。当该对象初始化结束后，即调用函数getUserMedia中初始化成功的JavaScript回调函数（由函数getUserMedia的第2个参数指定）。在这个JavaScript回调函数中，将开始后续的操作。

在步骤S330中，浏览器解析网络应用的网页内容，以确定初始化成功的JavaScript回调函数。在网络应用的网页中，相关的JavaScript代码发起摄像头预览流程，即预览（Preview）流程。然后，浏览器编译并执行这段代码。

在步骤S340中，在浏览器内部，JavaScript的控制函数会调用浏览器内部的摄像头控制对象，来在步骤S350中访问远程摄像头服务程序（RemoteCamera Service）。

在步骤S360中，Remote Camera Service向远程设备发出控制命令（例如设置参数、启动拍照或摄像），并且该命令经网络传输到平板电脑，以实现对远程摄像头（camera）的操控。例如，该远程摄像头服务程序打开一个摄像头，这个摄像头可以是用户指定的平板电脑上的摄像头。

在步骤S370中，在摄像头被成功打开之后，摄像头控制对象将这个摄像头的模式设置为预览模式，然后请求远程摄像头服务程序（Remote CameraService）返回摄像头的帧数据。

在步骤S380中，远程摄像头服务程序（Remote Camera Service）将摄像头的每一个帧数据解码出来，并放置到帧数据缓冲区中。

在步骤S390中，当一帧数据完全放好后，帧数据缓冲区将通知浏览器的内部摄像头控制对象，告知一帧数据已经保存完毕并可以使用。

随后，在步骤S400中，浏览器的内部摄像头控制对象开始发起处理逻辑，以通知浏览器内核去帧数据缓冲区取数据。

在步骤S410中，浏览器内核将所缓存的图像数据取出，并最终在步骤S420中，绘制到网络应用的网页上，以向用户进行显示。

图8图示了根据本发明实施例具体示例的网络应用的显示结果。

最终的显示结果如图8所图示，中间的摄像头显示区域实质上对应于网页中的一个DIV元素。上面两个按钮分别用来控制预览开始/结束和拍照功能。

由此可见，在根据本发明实施例的具体示例中提出了一种在HTML5环境下对远程camera进行操控及获得远程camera图像数据的方法，解决了现有技术中HTML5没有能够提供对于远程设备的支持的技术问题。

因此，采用本方案之后的优势包括：

1．实现了在HTML5环境下对远程camera进行操控及获得远程camera图像数据，扩展了基于HTML5的视频类应用场景，例如视频会议、视频监控、视频通话。

2．无需对现有HTML5规范进行任何修改，也不需要修改现有HTML5标准草案定义的Media Capture API，仅需对其参数取值范围进行扩充即可。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助于软件加必需的硬件平台的方式来实现，当然也可以全部通过软件、或硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁盘、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

在上面详细描述了本发明的各个实施例。然而，本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims (15)

1.一种远程控制方法，应用于本地设备，在所述本地设备中安装有一网络应用，所述本地设备与远程设备连接，所述远程设备包括远程多媒体单元，其特征在于，所述方法包括：

从所述网络应用获得第一控制命令，所述第一控制命令具有适于所述网络应用的第一格式并且用于控制所述远程多媒体单元执行第一操作；

根据所述第一控制命令来确定所述远程多媒体单元的访问地址；

通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为第二控制命令，所述第二控制命令具有适于所述远程多媒体单元的第二格式；以及

根据所述访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。

2.根据权利要求1的方法，其特征在于，在所述从所述网络应用获得第一控制命令的步骤之前，所述方法还包括：

从所述网络应用接收第一初始化命令；

判断所述第一初始化命令是否与所述远程多媒体单元相关联；以及

如果判断出所述第一初始化命令与所述远程多媒体单元相关联，则生成并初始化所述多媒体接口。

3.根据权利要求1的方法，其特征在于，在所述第一操作是获取远程多媒体原始数据的情况下，所述方法还包括：

在所述远程多媒体单元执行所述第一操作之后，从所述远程设备接收远程多媒体信息，所述远程多媒体信息是由所述远程设备对所述远程多媒体单元所获取的远程多媒体原始数据进行编码而生成的；以及

向所述网络应用返回所述远程多媒体信息。

4.根据权利要求1的方法，其特征在于，在所述第一操作是获取远程多媒体原始数据的情况下，所述方法还包括：

在所述远程多媒体单元执行所述第一操作之后，从所述远程设备接收所述远程多媒体单元所获取的远程多媒体原始数据；

通过对所述远程多媒体原始数据进行编码来生成远程多媒体信息；以及

向所述网络应用返回所述远程多媒体信息。

5.根据权利要求3或4的方法，其特征在于，在所述网络应用用于向用户呈现所述远程多媒体原始数据的情况下，所述向所述网络应用返回所述远程多媒体信息的步骤包括：

将所述远程多媒体信息解码为远程多媒体原始数据；

将所述远程多媒体原始数据缓存到帧数据缓冲区中；

根据多媒体呈现命令从所述帧数据缓冲区中读取所述远程多媒体原始数据；以及

向所述网络应用返回所述远程多媒体原始数据，以便所述网络应用向用户呈现所述远程多媒体原始数据。

6.根据权利要求5的方法，其特征在于，在所述将所述远程多媒体原始数据缓存到帧数据缓冲区中的步骤之后，所述方法还包括：

判断在所述帧数据缓冲区中的所述远程多媒体原始数据是否形成一帧多媒体数据；以及

如果判断出在所述帧数据缓冲区中的所述远程多媒体原始数据形成一帧多媒体数据，则通过所述多媒体接口来生成所述多媒体呈现命令。

7.根据权利要求5的方法，其特征在于，在所述生成并初始化所述多媒体接口的步骤同时，所述方法还包括：

申请所述帧数据缓冲区。

8.一种本地设备，在所述本地设备中安装有一网络应用，所述本地设备与远程设备连接，所述远程设备包括远程多媒体单元，其特征在于，所述本地设备包括：

命令接收单元，用于从所述网络应用获得第一控制命令，所述第一控制命令具有适于所述网络应用的第一格式并且用于控制所述远程多媒体单元执行第一操作；

地址确定单元，用于根据所述第一控制命令来确定所述远程多媒体单元的访问地址；

命令转换单元，用于通过用于所述远程多媒体单元的多媒体接口来将所述第一控制命令转换为第二控制命令，所述第二控制命令具有适于所述远程多媒体单元的第二格式；以及

命令传送单元，用于根据所述访问地址向所述远程设备传送所述第二控制命令，以使得所述远程多媒体单元执行所述第一操作。

9.根据权利要求8的本地设备，其特征在于，

所述命令接收单元在从所述网络应用获得第一控制命令之前，从所述网络应用接收第一初始化命令，并且

所述本地设备还包括：

关联判断单元，用于判断所述第一初始化命令是否与所述远程多媒体单元相关联；以及

接口初始化单元，用于如果所述关联判断单元判断出所述第一初始化命令与所述远程多媒体单元相关联，则生成并初始化所述多媒体接口。

10.根据权利要求8的本地设备，其特征在于，在所述第一操作是获取远程多媒体原始数据的情况下，所述本地设备还包括：

信息接收单元，用于在所述远程多媒体单元执行所述第一操作之后，从所述远程设备接收远程多媒体信息，所述远程多媒体信息是由所述远程设备对所述远程多媒体单元所获取的远程多媒体原始数据进行编码而生成的；以及

信息返回单元，用于向所述网络应用返回所述远程多媒体信息。

11.根据权利要求8的本地设备，其特征在于，在所述第一操作是获取远程多媒体原始数据的情况下，所述本地设备还包括：

数据接收单元，用于在所述远程多媒体单元执行所述第一操作之后，从所述远程设备接收所述远程多媒体单元所获取的远程多媒体原始数据；

信息编码单元，用于通过对所述远程多媒体原始数据进行编码来生成远程多媒体信息；以及

信息返回单元，用于向所述网络应用返回所述远程多媒体信息。

12.根据权利要求10或11的本地设备，其特征在于，在所述网络应用用于向用户呈现所述远程多媒体原始数据的情况下，所述信息返回单元包括：

解码模块，用于将所述远程多媒体信息解码为远程多媒体原始数据；

缓存模块，用于将所述远程多媒体原始数据缓存到帧数据缓冲区中；

读取模块，用于根据多媒体呈现命令从所述帧数据缓冲区中读取所述远程多媒体原始数据；以及

返回模块，用于向所述网络应用返回所述远程多媒体原始数据，以便所述网络应用向用户呈现所述远程多媒体原始数据。

13.根据权利要求12的本地设备，其特征在于，所述信息返回单元还包括：

生成模块，用于在所述缓存模块将所述远程多媒体原始数据缓存到帧数据缓冲区中之后，判断在所述帧数据缓冲区中的所述远程多媒体原始数据是否形成一帧多媒体数据，并且如果判断出在所述帧数据缓冲区中的所述远程多媒体原始数据形成一帧多媒体数据，则通过所述多媒体接口来生成所述多媒体呈现命令。

14.根据权利要求12的本地设备，其特征在于，所述接口初始化单元在生成并初始化所述多媒体接口的同时，申请所述帧数据缓冲区。

15.一种交互系统，其特征在于，所述交互系统包括：

根据权利要求8到14中任一项的本地设备；以及

远程设备，包括远程多媒体单元，所述远程多媒体单元用于根据所述本地设备的控制执行第一操作。