CN104871115B - 在网络中激活移动设备的方法及相关联的显示设备和系统 - Google Patents

Abstract

本发明的目的是一种用于在网络中激活移动设备的方法，网络包括至少一个显示设备，该显示设备耦合到传感器。该方法的特征在于其包括如下步骤的事实：经由耦合到显示设备的传感器检测移动设备；在所述显示设备上显示被称为虚拟设备的表示检测到的移动设备的设备，以使得在显示设备上的虚拟设备位置链接到在传感器的捕获场中移动设备的位置；当用户对移动设备施加确定的动作时，在网络中激活移动设备。

Description

在网络中激活移动设备的方法及相关联的显示设备和系统

技术领域

本发明涉及通信网络技术领域。更具体地，本发明涉及一种用于在包括至少一个显示设备的网络中激活移动设备的方法。

背景技术

本部分旨在向读者介绍与下面描述和/或要求保护的本发明的各个方面可能相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。相应地，应当理解，这些叙述应当在这种意义上阅读，而不是对现有技术的承认。

家庭网络、局部网络(LAN)或者更一般地通信网络包括能够经由网络彼此通信的设备。作为非限制性的示例，家庭网络的设备是个人计算机、连接的电视机、接入调制解调器、数字解码器、移动电话(可以是“智能电话”类型的)、个人数字助理(PDA)、电子平板电脑、游戏操控台或者无线键盘。

另外，注意到诸如智能电话的移动设备越来越活跃地加入家庭网络。因此，可以注意到，移动电话用作诸如电视机或解码器的网络的设备的远程控制器，并且用作音频和/或视频内容的源或存储装置。用户可以从移动电话开始对家庭网络的特定设备的动作：例如，在网络的屏幕上流传输来自移动电话的视频，在该屏幕上显示电话和/或网络的联系人列表，在家中的服务器上下载电影等。

因此，为了加入家庭网络，移动电话必须被符合逻辑地联结家庭网络，也就是说，插入网络中，具有接入权限，并且被识别为存在。因此，对于缺乏关于由网络的其它设备识别其移动电话的信息的用户，出现了几个问题。在第一次连接到网络期间，必须对移动电话进行标识，以获得将其插入网络中所需的权限。连接也可以是临时或者一次性的，例如局限于单次连接：这是针对家中的访客用户的电话的情况，包括该访客用户希望在家中在屏幕上显示的视频内容的项。最后，一旦将移动电话插入家庭网络中，以便能够开始动作，则用户痛苦地缺乏关于由网络看到的电话的状态的信息：电话存在吗？电话正在准备在家庭网络上进行动作？网络上的各种应用经常可以从电话的菜单访问。电话上的大量应用例如经由触摸屏使用从用户的观点来说简单并且直观的图形界面和控制命令。由于该原因，例如相对于移动电话上的多项选择菜单，通过姿势命令的动作在用户友好性方面是优选的。

另外，命令的输入的延迟时间，也就是说，用户的动作和结果之间的时间经常很明显。例如，如果移动电话使用Wi-Fi或NFC类型的无线技术与网络进行通信，则当用户将其移动电话移动到网络的屏幕附近，以便输入命令时，屏幕检测到移动的时间、然后执行动作的时间使得其在屏幕上可见不是即时的，用户经常要等待返回信号，这使设备不是特别用户友好。这种问题是本质上是移动的无线设备特有的。用户不总是知道它们在网络中的状态，例如它们在网络中存在还是不存在。因此，关于用户经由移动设备发出的命令的时间和动作的时间之间的、所命令的动作的进程的信息的缺乏是特别有破坏性的。因此，在网络技术中频繁出现的问题是，用户不能立即看到他所做的事情的结果。他有时在他的动作之后几十秒才观察到他的动作的结果：他痛苦地缺乏向他警告他的动作的进程的中介信号。

因此，需要对在包括向用户告知他的动作的进行状态的信令的网络中激活移动设备的问题的解决方案。

发明内容

因此，本发明的目的是改善上述情形，更具体地，是使对移动设备的动作的介绍直观并且用户友好。本发明的主要思想是，通过显示对用户对移动设备施加的姿势进行镜像的图像，在移动设备和网络显示设备之间设定仅视觉上的通信通道。

为此，本发明特别提出了一种用于在网络中激活移动设备的方法，网络包括至少一个显示设备，该显示设备耦合到传感器。该方法的特征在于其包括如下步骤的事实：

·经由耦合到显示设备的传感器检测移动设备，

·在所述显示设备上显示被称为虚拟设备的表示检测到的移动设备的设备，以使得在显示设备上的虚拟设备位置链接到在传感器的捕获场中移动设备的位置，

·当用户对移动设备施加了确定的动作时，在网络中激活移动设备。

根据本发明的方法可以包括可以单独或组合采用的其它特性，特别是：

·传感器包括至少一个照相机，至少一个照相机被配置用于捕获至少一个图像；

·将确定的形状与移动设备相关联，检测移动设备包括基于形状进行对象识别，并且其中，虚拟设备对检测到的移动设备的表示基于确定的形状。

·检测移动设备包括：确定移动设备相对于显示设备的相对位置。

·检测移动设备包括：确定移动设备相对于显示设备的相对方向；

·用于激活的确定的动作包括：适合于将虚拟设备移置到显示设备上的联结区域的对移动设备的移置；

·激活步骤的确定的动作是在移动设备上按压确定的区域；

·用于激活的确定的动作包括：用户对移动设备施加的确定的移动；

·网络还包括至少一个第二设备，并且激活还包括在显示设备上或者在第二设备上输入命令。

·检测通过在无线通信场中的初步检测开始。

本发明还提出了实现根据前述权利要求中的任一项的方法的显示设备。

这种网络显示设备例如可以是固定到房子的墙壁的专用屏幕、连接的电视机或者通过有线链接连接到网络的支持设备上的电子平板电脑的形式。

被配置用于在网络中激活移动设备的显示设备的特征在于其包括如下的事实：

·传感器，被配置用于检测移动设备；

·对象识别模块，被配置用于识别检测到的移动设备；

·用于计算检测到的移动设备相对于显示设备的相对位置的模块；

·用于在被配置为根据移动设备的相对位置在显示设备上再现虚拟设备的相对位置的显示设备上合成被称为虚拟设备的表示检测到的移动设备的设备的模块；

·用于在用户对移动设备施加了确定的动作时，在网络中激活移动设备的模块。

本发明还提出了一种实现根据前述权利要求中的任一项的方法的系统。用于在网络中激活移动设备的系统的特征在于其包括：

·显示设备；

·移动设备；

·耦合到显示设备的传感器；

·对象识别模块，被配置用于识别检测到的移动设备；

·用于计算检测到的移动设备相对于显示设备的相对位置的模块；

·用于在被配置为根据移动设备的相对位置在显示设备上再现虚拟设备的相对位置的显示设备上合成被称为虚拟设备的表示检测到的移动设备的设备的模块；

·用于在用户对移动设备施加确定的动作时，在网络中激活移动设备的模块。

该系统的用于进行对象识别、用于计算位置、用于合成化身或者用于激活这种系统的移动设备的各个模块，例如可以在显示设备中实现，但是也可以在通信网络(或“云”)中以分布的方式实现。

移动设备例如可以是移动电话、个人数字助理、无线键盘或电子平板电脑形式。

附图说明

在审阅下面的详细描述和附图后，本发明的其它特征和优点将变得明显，其中：

-图1通过图示功能性地示出了根据本发明的实施例的配备有与移动设备通信的网络显示设备的通信网络，

-图2通过图示示出了根据本发明的实施例的虚拟设备和显示设备上的联结区域，以及

-图3通过图示示出了根据本发明的实施例的用于激活移动设备的方法。

附图不仅可以用于使本发明完整，而且在需要时有助于其限定。

具体实施方式

本发明的目的特别是，提出一种方法，用于基于链接到网络R的屏幕AR的传感器C，例如照相机的使用，在网络R中激活移动设备D。通过激活，认为设备被网络(可能具有确定的权限)识别到，并且能够向网络中输入命令。传感器C使得能够实现对移动电话进行识别、定位和定向的步骤，以便在屏幕上合成称为虚拟设备或化身A的其图形表示。然后，将他的移动电话D移置到屏幕前面的用户可以在屏幕上观察到化身A的移动，就像屏幕是镜像一样。因此，用户接收到关于对他的移动电话的识别的信息。通过使用他可以在屏幕上观察到的他的移动电话进行动作或特定移动，用户开始动作。根据变型，通过在屏幕AR上表示的给定区域ZL上移动化身A，用户进行他的移动电话到网络中的插入，也就是说，他可以向网络中输入命令。

下面，作为非限制性示例，考虑通信网络R是特别地通过xDSL接入网络连接到因特网的家庭网络。通信网络R可以是电缆或光纤类型的有线网络或者WLAN(无线局域网，可以是802.11(或Wi-Fi)或WiMAX类型的)无线局部网络、蓝牙类型的极近距离无线局部网络或者混合网络。作为非限制性示例，家庭网络可以包括个人计算机、连接的电视机、接入调制解调器、数字解码器、移动电话(可以是“智能电话”类型的)、个人数字助理(PDA)、电子平板电脑、无线键盘或者游戏操控台。但是本发明不局限于这种类型的家庭网络。当然，其还涉及例如位于包括显示设备并且其中驾驶员想要插入他的移动电话的汽车中的蓝牙类型的极近距离无线局部网络。

此外，作为非限制性示例，下面考虑移动设备D是智能电话。但是本发明不局限于这种类型的设备。当然，其还涉及能够使用命令输入部件、远程用户接口经由移动设备和网络显示器引入动作的任意类型的无线设备。因此，其还可以涉及例如“智能电话”类型的移动电话、个人数字助理(PDA)、电子平板电脑、无线键盘、遥控器或者游戏控制台。下面，将该设备称为“智能电话”。

作为非限制性示例，还考虑显示设备是连接到诸如调制解调器或解码器的处于网络的核心的通信设备的屏幕。显示设备和通信设备通过有线(例如经由HDMI)或无线链接或者经由家庭网络的中介直接连接。通过整体上专门用于网络的基本设备并且固定(相对于平板电脑或智能电话的可移动性)，该固定屏幕向用户提供其好处将在本文档的其余部分中看到的新的特征。下面，将该屏幕称为“网络显示器”AR。

传感器附接在网络显示器上。下面，作为非限制性示例，考虑传感器是附接到屏幕，例如在屏幕顶部的照相机或几个照相机(至少两个)。但是本发明不局限于这种类型的传感器。当然，其还涉及任意类型的差不多复杂的传感器，该传感器使得能够检测空间中的对象，也就是说，根据不同的变型，使得能够检测对象的形状(例如对于按键或者屏幕为具有确定的面积的平行六面体)，确定对象相对于网络显示器的相对距离，或者确定对象相对于网络显示器的相对方向。作为非限制性示例，传感器可以是能够使用类型的设备(由Microsoft制造)的附加项或者使用简单的距离检测器，通过与不同的第二照相机相关联，定义深度图的照相机。传感器还可以是被配置为识别平坦表面(智能电话)并且确定其与屏幕的距离的超声设备，或者利用传感器向移动设备上的嵌入标签的波的发送(和传感器从移动设备上的嵌入标签的波的接收)的电磁相对定位设备。最后，传感器还可以包括特定单元，这些特定单元本身构成屏幕并且捕获图像，以使屏幕成为对放置在其前面的对象的表面捕获设备。这里可以考虑本领域技术人员已知的、使得能够检测空间中的诸如智能电话的对象、检测识别对象所需的信息并且计算空间坐标(多达6个坐标)，以根据识别出的形状在屏幕上合成其表示的任何技术，特别是基于红外线光谱中、磁场或者超声频谱(如在某些机动车辆停车辅助设备)中的波的发射的技术。

图1通过图示示出了根据本发明的实施例的配备有与移动设备D进行通信的网络显示设备AR的通信网络R。传感器C与网络显示器AR相关联。这里，“相关联”应当被理解为是网络显示设备AR的集成部分(如以非限制性的方式示出的)的事实和与设备，并因此与通信网络直接耦合的事实两者。一些任务，例如对象识别可以有利地分布在局部网络或者因特网(云)中。

图2通过图示示出了根据本发明的实施例的在显示设备AR上呈现的虚拟设备A和联结区域ZL。持有他的智能电话D的用户将其在空间中移置，因此可以像在镜子中一样观察到屏幕上的化身A。根据变型，化身A、而且要显示的内容或者联结区域ZL在屏幕上的呈现是二维或三维的；特别地，要显示的这些元素的2D或3D呈现的任意组合都是可以的。通过移置他的智能电话，使得将化身A定位在联结区域中，用户开始将他的智能电话插入网络中。因此，他可以在视觉上监视这种插入的实现：首先，智能电话出现在屏幕上，然后通过用户将化身放置在联结区域上的简单姿势进行动作的命令。但是本发明不局限于该实施例。当然，其还涉及用户能够对他的智能电话施加的任何类型的姿势。作为非限制性示例，姿势是按压智能电话上的专用键、特定移动，例如挂断的姿势(通过用持有智能电话的手按下挂断按键(trace a hook))、对智能电话施加的震动或者通过使智能电话靠近网络的屏幕。因此，可以在显示设备上呈现或者不呈现联结区域。

实现本发明的系统可以以软件(或计算机)模块或者分布在网络的各个设备中的电子电路和软件模块的组合的形式来实现。该系统可以包括显示设备、移动设备和与显示设备相关联或者网络的其它设备中(在诸如网络中的CPU密集型对象识别的某些功能是分布的情况下)的功能部件。

这些功能部件如下：

·智能电话接近传感器。前面描述了传感器的各种实施例。应当注意，传感器默认处于待机状态，并且可以通过对智能电话的存在的Wi-Fi检测或者任何其它低功耗存在检测器来激活。根据变型，在待机状态下，传感器局限于建立放置在其前面的移动对象的深度图，并且仅当在小于确定的阈值，例如小于3米的距离处检测到对象时，激活计算密集型对象识别、重建和监视功能。

·图像识别和处理模块，其结果是移动设备和来自数据库的对象之间的匹配。根据变型，图像处理使用例如包括确定的按键的智能电话的正面的图像的签名或者区分不同的智能电话的任何其它视觉特性。有利地，一旦识别出对象并且与智能电话相关联，则可以在屏幕上呈现被称为虚拟设备或化身的其图形表示，并且可以进行其方向的计算。

·用于计算在智能电话的空间中相对于屏幕的相对位置的至少3个坐标(X,Y,Z)，以及当通过智能电话相对于全身镜像效果的屏幕的相对方向补充相对位置时的多达6个坐标(X,Y,Z,ρ,θ,φ)的模块。

·用于实时地合成化身、能够通过使用2D或3D呈现引擎利用6个坐标在屏幕上再现化身的模块。根据不同的变型，化身以图标的形式真实或象征性地再现原始移动设备。有利地，不在屏幕上呈现智能电话的原始图像，也就是说，直接来自照相机的图像。实际上，该图像可能被遮挡，特别是被持有智能电话的手遮挡。

·用于实时图像混合、混合先前在屏幕上呈现的内容、化身以及如果可见的联结区域的模块。

·用于检测联结区域上的化身、开始将智能电话逻辑地联结家庭网络中的动作的模块。

根据实施例，系统能够区分不同类型的智能电话，并且特别地使用参考智能电话的类型或者更一般地移动设备的类型的数据库在屏幕上不同地表示它们。根据第一变型，智能电话的类型对应于智能电话品牌的型号，并且在化身的数据库中有利地选择化身以使得化身看起来像智能电话。在该变型中，智能电话的类型的知识还向系统告知智能电话的能力，例如以非限制性的方式，配备有直连WI-Fi(Direct WI-Fi)、蓝牙、照相机的设备。根据第二变型，智能电话的类型对应于在智能电话的屏幕上用作壁纸的图像或者用作标识用户的代码(例如QR码)的图像。在化身的数据库中有利地选择化身以使得化身与拥有智能电话的用户相关联。有利地，进一步将用户配置文件在数据库中与设备和用户的标识符相关联。相应地，网络屏幕与用户配置文件相关联地显示个人用户环境(例如桌面)。根据第三变型，智能电话的类型对应于字母数字串或者确定的图案，由此甚至可以捕获用户的名字或者在屏幕上显示的任何其它信息。

根据另一实施例，化身的移动是智能电话在屏幕上的镜像效应的完美复制，也就是说，具有智能电话的(镜像图像)方向。

根据另一实施例，图像识别模块还通过诸如无线接近检测的其它技术，例如通过由传感器检测到由移动设备发出的Wi-Fi场来开始。

根据另一实施例，要在屏幕上显示的联结区域取决于移动设备能够在智能电话屏幕的远程屏幕应用中例如对于服务器(用于启动VOD会话)、DLNA兼容内容呈现设备或屏幕本身激活的不同特征的表示。在变型中，根据通过视觉通道通信激活的不同的特征，在网络屏幕上表示多个联结区域。在又一非限制性示例中，智能电话正在显示web浏览器应用，向网络屏幕呈现智能电话，通过视觉通信通道(借助于QR码、与URL相关联的部件图案/标志、URL的字母数字表示)识别由智能电话浏览器呈现的URL，由家庭网络启动浏览器应用，以在网络屏幕上显示由智能电话使用的URL。有利地，该实施例在家庭网络上未授权给智能电话时，允许远程屏幕应用。

重要的是注意到，可以从特别是能够借助于上面呈现的类型的网络显示设备AR来实现的、用于插入移动设备的方法的角度考虑本发明。因为根据本发明的方法的实现所提供的特征与上面呈现的设备D所提供的特征相同，因此下面仅呈现所述方法所提供的主要特征的组合。

图3通过图示示出了根据本发明的实施例的用于插入移动设备的方法。

在第一步骤E1中，用户使他的智能电话靠近例如显示视频的屏幕，传感器检测到并识别出智能电话，然后屏幕以化身的形式呈现智能电话的图形表示以及选择性地联结区域。

在第二步骤中，用户移置智能电话，并且能够观察到化身在屏幕上与对智能电话施加的姿势相对应地移动。

通过用户对智能电话的确定的动作，例如移置智能电话，使得化身位于联结区域中，在智能电话上按压确定的按键(例如专用于激活的按键)，或者通过在智能电话上的确定的动作(按下挂断按键(hook))，开始在网络中激活智能电话或者经由智能电话激活网络上的功能的第三步骤E3。

有利地，一旦输入了命令，则化身从屏幕中消失，并且用户可以放下他的智能电话。所述方法返回到初始状态。

因为动作非常直观并且可以尽可能快地、也就是说几乎同时地在视觉上得到再现，因此本发明有利地使得用户能够有他的动作被网络识别出的感觉。这种视觉链接不需要菜单，并且根据变型甚至不需要按键；用户仅需要通过用他的手移置他的智能电话，而将其呈现在屏幕前面。因此，本发明具有对用户来说明显的认知简单性。

还应当注意，从网络中移除移动设备的动作有利地与本发明兼容。因此，为了从网络中移除智能电话或者为了停止引入的动作，根据不同的变型，用户可以使其重新出现在屏幕上，并且将其放置在移除或释放区域中，或者将智能电话移出屏幕。

本发明不局限于仅作为非限制性示例提供的上面描述的移动设备、网络显示设备和用于插入移动设备的方法的实施例，而包括本领域技术人员在所附权利要求的框架内能够想到的所有变型。

Claims (14)

1.一种用于在网络(R)中激活移动设备(D)的方法，所述网络包括耦合到传感器(C)的至少一个显示设备(AR)，所述方法的特征在于，其包括：

·经由耦合到所述显示设备的所述传感器检测(E1)所述移动设备，

·在所述显示设备上显示(E2)表示检测到的所述移动设备的虚拟设备，以使得所述虚拟设备在所述显示设备上的位置链接到所述移动设备在所述传感器的捕获场中的位置，

·根据所述移动设备的位移，通过所显示的虚拟设备移动到所述显示设备上的一区域的位移，在所述网络中激活(E3)所述移动设备，其中，所述激活使得移动设备(D)被网络识别并且能够将命令输入网络。

2.根据权利要求1所述的方法，其中，所述传感器(C)至少包括图像捕获设备。

3.根据权利要求2所述的方法，其中，将一形状与所述移动设备相关联，其中，检测(E1)所述移动设备包括：根据形状进行对象识别，并且其中，所述虚拟设备基于所述形状。

4.根据权利要求1所述的方法，其中，检测(E1)所述移动设备包括：确定所述移动设备在所述传感器的捕获场中的位置。

5.根据权利要求1所述的方法，其中，检测(E1)所述移动设备包括：确定所述移动设备在所述传感器的捕获场中的方向。

6.根据权利要求1所述的方法，其中，所述网络还包括至少一个第二设备，并且其中，激活还包括在所述显示设备上或者在至少一个第二设备上输入命令。

7.根据权利要求1所述的方法，其中，检测通过在无线通信场中的初步检测开始。

8.一种显示设备(AR)，被配置用于在网络(R)中激活移动设备(D)，所述显示设备耦合到传感器，所述传感器被配置用于检测所述移动设备，并且所述显示设备包括：

·对象识别模块，被配置用于识别检测到的所述移动设备；

·用于计算检测到的所述移动设备在所述传感器的捕获场中的位置的模块；

·用于在所述显示设备上合成表示检测到的所述移动设备的虚拟设备，以使得所述虚拟设备在所述显示设备上的位置链接到所述移动设备在所述传感器的捕获场中的位置的模块；

·用于根据所述移动设备的位移，通过所显示的虚拟设备移动到所述显示设备上的一区域中的位移，在所述网络中激活所述移动设备的模块，其中，所述激活使得移动设备(D)被网络识别并且能够将命令输入网络。

9.根据权利要求8所述的显示设备，其中，所述传感器包括：至少一个照相机，被配置用于捕获至少一个图像。

10.一种用于在网络中激活移动设备的系统，所述系统包括：

·显示设备(AR)；

·移动设备(D)；

·耦合到所述显示设备的传感器(C)；

所述系统的特征在于，其还包括：

·对象识别模块，被配置用于识别检测到的所述移动设备；

·用于计算检测到的所述移动设备在所述传感器的捕获场中的位置的模块；

·用于在所述显示设备上合成表示检测到的所述移动设备的虚拟设备，以使得所述虚拟设备在所述显示设备上的位置链接到所述移动设备在所述传感器的捕获场中的位置的模块；

·用于根据所述移动设备的位移，通过所显示的虚拟设备移动到所述显示设备上的一区域中的位移，在所述网络中激活所述移动设备的模块，其中，所述激活使得移动设备(D)被网络识别并且能够将命令输入网络。

11.一种显示设备(AR)，被配置用于在网络(R)中激活移动设备(D)，所述显示设备耦合到传感器，所述传感器被配置用于检测所述移动设备，所述显示设备包括处理器，被配置为：

○在所述显示设备上显示表示检测到的所述移动设备的虚拟设备使得所述虚拟设备在所述显示设备上的位置链接到所述移动设备在所述传感器的捕获场中的位置；

○根据所述移动设备的位移，通过所显示的虚拟设备移动到所述显示设备上的一区域中的位移，在所述网络中激活所述移动设备，其中，移动设备(D)被网络识别并且能够将命令输入网络。

12.根据权利要求11所述的显示设备，其中，传感器(C)包括至少一个图像捕获设备。

13.根据权利要求12所述的显示设备，其中，处理器被进一步配置为：根据形状进行对象识别，其中，所述虚拟设备基于与所述移动设备相关联的形状。

14.根据权利要求11所述的显示设备，其中，处理器被进一步配置为：确定所述移动设备在所述传感器的捕获场中的方向。