CN104252228B - 显示装置及控制显示装置的方法 - Google Patents

Abstract

提供了一种显示装置和控制方法，其中显示装置的控制方法从移动终端接收移动终端的运动信息，通过对移动终端摄像获得移动终端图像，将接收到的运动信息变换到基于显示装置的屏幕而排列的屏幕坐标系中，基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿，并通过使用补偿的运动信息来控制显示装置。

Description

显示装置及控制显示装置的方法

相关申请的交叉引用

本发明要求于2013年7月28日在美国商标与专利局提交的美国临时专利申请No.61/840,877，以及于2014年4月21日在韩国知识产权局提交的韩国专利申请No.10-2014-0047242的优先权。通过引用，将其全部内容合并于此。

技术领域

与示例性实施例一致的装置和方法涉及显示，更加具体地，涉及被配置为通过使用外部移动终端的运动相关信息来控制显示装置的多种功能的显示装置及其控制方法。

背景技术

近来，为了更加直观地控制显示装置，通过使用用户动作来控制显示装置功能的新的方法被开发。例如，移动终端可以根据用户的动作来感应运动信息，并将感应到的运动信息传输到外部显示装置。此外，显示装置通过使用传输的运动信息来控制显示装置的多种功能(例如，移动指向)。再例如，在对移动终端的运动摄像之后，显示装置基于摄像的运动信息来控制显示装置的多种功能。

然而，如上所述，在相关的使用移动终端来传输运动信息的方法中，可能只感应到移动终端的相对运动，因此可能存在如下的问题，即，难以进一步从移动终端获得信息以确保相对于移动终端的运动的更好的准确性。而且，相对于通过显示装置对移动终端摄像的方法，可能存在如下的问题，即，难以进一步获得移动终端的三维运动的准确感应。

发明内容

本发明概念的示例性实施例克服了以上缺点以及以上未描述的其他缺点。此外，本发明概念并不需要克服以上描述的缺点，而且本发明概念的示例性实施例可以不克服以上描述的任何问题。

根据示例性实施例，技术目标是用于提供一种显示装置及其控制方法，其可以通过使用摄像的移动终端图像对从移动终端接收到的运动信息进行补偿，从而通过使用移动终端，显示装置可以被更加正确和直观地被控制。

根据示例性实施例，提供了一种显示装置的控制方法，其可以包括：从移动终端接收移动终端的运动信息并通过对移动终端摄像来获得移动终端图像，将接收到的运动信息变换到基于显示装置屏幕而排列的屏幕坐标系中，基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿，以及通过使用补偿的运动信息来控制显示装置。

从移动终端接收到的运动信息可以是以基于移动终端来排列的移动终端坐标系为基础而测量的值，而所述变换可以包括将接收到的基于移动终端坐标系测量的运动信息变换到基于地磁方向而排列的全球坐标系中；以及将变换到全球坐标系中的运动信息变换到屏幕坐标系中。

所述变换还可以包括，当基于摄像机对移动终端的摄像而排列的摄像机坐标系与屏幕坐标系不同时，将变换到屏幕坐标系中的运动信息变换到摄像机坐标系。

在当移动终端朝向显示装置屏幕方向来排列的同时时接收到来自用户的输入时，屏幕坐标系的变换参数基于移动终端的形状进行计算。

所述补偿可以包括通过比较从移动终端图像获得的移动终端尺寸与预先获得的移动终端的实际尺寸来对运动信息进行补偿。

所述补偿可以包括比较从移动终端图像获得的移动终端的运动信息和变换到屏幕坐标系中的运动信息，以及当从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息不一致时，将从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息进行同步。

所述控制可能包括通过使用补偿的运动信息识别移动终端的三维运动；以及基于识别到的三维运动来控制显示装置。

所述控制可以包括当存在操作的多个移动终端时，通过分别使用相对于多个移动终端的补偿的运动信息，来分别感应与多个移动终端相对应的运动模式；以及通过分别使用与多个移动终端相对应的运动模式，来识别多个移动终端。

所述控制可以包括仅当移动终端被摄像时才基于补偿的运动信息控制显示装置。

所述控制可以包括：基于补偿的运动信息来计算指向坐标值；以及在指向坐标值上显示指针。

在一个示例性实施例中，提供了一种显示装置，其可以包括：通信装置，其被配置为从移动终端接收该移动终端的运动信息；图像获取器，其被配置为通过对移动终端进行摄像来获得移动终端图像；以及控制器，其被配置为将接收到的运动信息变换到基于显示装置屏幕而排列的屏幕坐标系中，基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿，以及通过使用补偿的运动信息来控制显示装置。

从移动终端接收到的运动信息可以是以基于移动终端来排列的移动终端坐标系为基础而测量的值，并且控制器将基于移动终端坐标系测量的运动信息变换到基于地磁方向而排列的全球坐标系中；并且将变换到全球坐标系中的运动信息变换到屏幕坐标系中。

当基于对移动终端进行摄像的摄像机的摄像机坐标系与屏幕坐标系不同时，控制器可以将变换到屏幕坐标系中的运动信息变换到摄像机坐标系。

在当移动终端朝向显示装置屏幕方向来排列的同时接收到来自用户的输入时，屏幕坐标系的变换参数可以基于移动终端的形状来进行计算。

控制器可以通过比较从移动终端图像获得的移动终端尺寸与预先获得的移动终端的实际尺寸来对运动信息进行补偿。

控制器可以比较从移动终端图像获得的移动终端的运动信息和变换到屏幕坐标系中的运动信息；以及当从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息不一致时，将从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息进行同步。

控制器可以通过使用补偿的运动信息来识别移动终端的三维运动；以及根据识别到的三维运动来控制显示装置。

当存在操作的多个移动终端时，控制器可以通过分别使用与多个移动终端有关的补偿的运动信息，来分别感应与多个移动终端相对应的运动模式；以及通过分别使用与多个移动终端相对应的运动模式，来识别多个移动终端。

控制器可以仅在移动终端被摄像时才基于补偿的运动信息来控制显示装置。

显示装置可以进一步包括进行显示，并且控制器可以控制显示来根据补偿的运动信息计算指向坐标值；以及在指向坐标值上显示指针。

根据另一个示例性实施例，提供了一种显示装置的控制方法，其可以包括：从移动终端接收该移动终端的运动信息并通过对移动终端摄像获得移动终端图像；将接收到的运动信息变换到第一系统；基于移动终端图像对变换到第一系统的运动信息进行补偿；以及通过使用补偿的运动信息来控制显示装置。

根据另一个示例性实施例，提供了一种显示装置，其可以包括：通信装置，其被配置为从移动终端接收该移动终端的运动信息；图像获取器，其被配置为通过对移动终端进行摄像来获得移动终端图像；以及控制器，其被配置为将接收到的运动信息变换到第一系统中，基于移动终端图像对变换到第一系统的运动信息进行补偿；以及通过使用补偿的运动信息来控制显示装置。

附图说明

结合附图，从示例性实施例的以下描述中，本发明概念的上述和/或其它方面将变得明显并且更易于理解，在附图中：

图1示出了根据示例性实施例的显示系统。

图2是根据示例性实施例的显示装置的简要框图。

图3是根据示例性实施例的显示装置的框图。

图4示出了根据示例性实施例的多个坐标系。

图5A到5C是根据示例性实施例，用来解释坐标系变换的视图。

图6到13是根据不同的示例性实施例，用来解释通过使用移动终端的运动信息来控制显示装置的视图。

图14是根据示例性实施例，用来解释显示装置的控制方法的流程图；以及

图15是根据示例性实施例的移动终端的简要框图。

具体实施方式

下面，将参照附图来对本发明概念的特定示例性实施例进行更详细的描述。

在下面的描述中，即使在不同附图中，相同的附图标记也被用于相同元件。在描述中定义的对象，例如具体的构造和元件，被用来协助本发明概念的综合理解。因此，显而易见的是，本发明概念的示例性实施例可以在没有特定定义的对象的情况下被实施。而且，众所周知的功能或构造未被详细描述，因为它们不必要的细节可以导致发明不清楚。

例如“第一个”和“第二个”的术语可以被用来解释不同的单元；然而，所述单元不受术语的限制。术语仅出于将一个单元与另一个区分开的目的而被使用。

说明书的术语被用来解释特定的示例性实施例，而并不限制发明的范围。单数的表达包括了复数的表达，除了两个表达表示不同的含义。在该说明书中，例如“包括”或者“包含”的术语表示了说明书中先前描述的特性、数字、过程、操作、单元、部分或组合的出现，但是也不排除一个或多个先前提及或附加其他不同的特性、数字、过程、操作、单元、部分或组合的出现的可能性。

根据示例性实施例，“模块”或“单元”至少实现一个功能或操作；其可以被实施为硬件、软件、或硬件与软件的组合。而且，除非是应当被实施为特定硬件的“模块”或“单元”，否则通过联合成至少一个模块，多个“模块”或多个“单元”可以被实施为至少一个处理器(未示出)。

下面，将参照附图来对本发明进行详细描述。

图1示出了根据示例性实施例的显示系统10。参照图1，显示系统10包括了显示装置100和控制显示装置的移动终端200。同时，根据示例性实施例的显示装置100可以是智能TV；然而，这仅是示例性实施例中的一种。显示装置100可以是例如数字TV、桌面PC、以及笔记本PC的不同的显示装置。而且，移动终端200可以是智能手机；然而，这仅是示例性实施例中的一种。移动终端200可以是例如指向设备、遥控器、以及平板PC的不同的移动终端。

首先，移动终端200根据用户动作感应运动信息。在此过程中，移动终端200可以通过使用加速度传感器、地磁传感器、和陀螺仪传感器中的至少一种感应运动信息。进而，移动终端200将感应到的运动信息传输到显示装置100。

显示装置100从移动终端200接收到移动终端200的运动信息。在该过程中，显示装置100在接收来自移动终端200的运动信息的同时对移动终端200进行摄像并获得移动终端图像。

此外，显示装置100将接收到的运动信息变换到基于显示装置屏幕而排列的屏幕坐标系中。特别地，显示装置100可以将在基于移动终端200而排列的移动终端坐标系中的运动信息变换到基于地磁方向而排列的全球坐标系中。此外，显示装置100可以将变换到全球坐标系中的运动信息变换到屏幕坐标系中。此外，当屏幕坐标系与基于摄像机而排列的摄像机坐标系不一致时，显示装置100可以将在屏幕坐标系中的已经被补偿、或调整的运动信息变换到摄像机坐标系。同时，在当移动终端200朝向显示装置屏幕方向被排列的同时接收到来自用户的初始输入时，上述屏幕坐标系的变换参数可以基于被摄像的移动终端200的形状来进行计算。

此外，显示装置100可以基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿。其中，显示装置100可以基于移动终端图像补偿移动终端200的尺寸和定时。特别地，显示装置100可以通过比较从移动终端图像获得的移动终端200尺寸与预先获得的移动终端200的实际尺寸来对运动信息进行补偿。此外，通过比较从移动终端200图像获得的移动终端200的运动信息和变换到屏幕坐标系中的运动信息，当从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息不一致时，显示装置100可以对从移动终端图像获得的运动信息与变换到屏幕坐标系中的运动信息进行同步。

此外，显示装置100可以基于补偿的运动信息控制显示装置100的不同功能。特别地，显示装置100可以通过使用补偿的运动信息来识别移动终端200的三维运动，并基于识别的三维运动来控制显示装置。此外，当多个移动终端操作时，显示装置100可以通过分别使用多个移动终端的每一个的补偿的运动信息，来分别感应与多个移动终端相对应的运动模式；以及通过分别使用与多个移动终端相对应的运动模式，来识别多个移动终端。此外，显示装置100可以通过基于补偿的运动信息计算指向坐标值，来在指向坐标值上显示指针。其他各种的示例性实施例将参照在说明书后面部分的附图进行描述。

图2是根据示例性实施例的显示装置100的简要框图。参照图2，显示装置100包括通信装置110、图像获取器120、和控制器130。

通信装置110执行与外部移动终端200的通信。在该过程中，通信装置110可以从移动终端200接收根据用户动作的移动终端200运动信息。同时，根据示例性实施例的通信装置110可以通过使用蓝牙方法执行与移动终端200的通信；然而，这仅是实施例中的一种，通信装置110可以通过使用其他通信方法，例如红外线通信方法，WiFi通信方法，以及ZigBee通信方法来执行与移动终端200的通信。

图像获取器120通过使用摄像机拍摄图像，并通过对摄像的图像进行处理获得图像。在该过程中，图像获取器120可以获得包括移动终端200的移动终端图像。

控制器130控制显示装置100的一般操作。特别地，控制器130将从外部移动终端200接收到的运动信息变换到基于显示装置100的屏幕而排列的屏幕坐标系中，对变换到屏幕坐标系中的运动信息进行补偿，并通过使用补偿的运动信息控制显示装置100。

特别地，控制器130控制通信装置110来接收来自移动终端200的运动信息。在该过程中，从移动终端200接收到的运动信息是以基于移动终端200而排列的移动终端坐标系为基础而测量的值。

此外，控制器130可以将根据移动终端坐标系测量的运动信息变换到基于地磁方向而排列的全球坐标系中，并且将变换到全球坐标系中的运动信息变换到屏幕坐标系中。在该过程中，控制器130可以通过旋转变换矩阵将运动信息变换到不同的坐标系中。特别地，在当移动终端200朝向显示装置100的屏幕方向被排列的同时输入来自用户的初始输入时，控制器130可以根据移动终端200的形状计算变换参数，并存储计算出的变换参数。此外，控制器130可以通过使用存储的变换参数来将移动终端坐标系中的运动信息变换到屏幕坐标系中的运动信息。

同时，当基于拍摄移动终端200的摄像机来排列的摄像机坐标系与屏幕坐标系不同时，控制器130可以将变换到屏幕坐标系中的运动信息再变换到摄像机坐标系中。

此外，控制器130可以通过使用移动终端的实际尺寸和移动时间点来对运动信息进行补偿。特别地，控制器130可以通过比较从移动终端图像获得的移动终端200的尺寸和预先获得的移动终端200的实际尺寸来对运动信息进行补偿。此外，控制器130可以比较从移动终端图像获得的移动终端200的运动信息和变换到屏幕坐标系中的运动信息。当从移动终端图像获得的移动终端200的运动信息与变换到屏幕坐标系中的运动信息不一致时，控制器130可以将从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息进行同步。

此外，控制器130可以通过使用补偿的运动信息来控制显示装置100的多种功能。

特别地，控制器130可以通过使用补偿的运动信息来识别移动终端200的三维运动，并基于识别的三维运动来控制显示装置。此外，当多个移动终端操作时，控制器130可以通过分别使用多个移动终端的每一个的补偿的运动信息，来分别感应与多个移动终端相对应的运动模式；以及通过分别使用与多个移动终端相对应的运动模式，来识别多个移动终端。此外，控制器130可以仅在移动终端200被摄像时，基于补偿的运动信息对显示装置100进行控制。此外，控制器130可以根据补偿的运动信息来计算指向坐标值，在指向坐标值上显示指针。

利用上面描述的显示装置100，用户可以通过使用移动终端，更加正确地和直观地控制显示装置。

下面，将参照图3到13对本发明的多种示例性实施例进行描述。图3是根据示例性实施例的显示装置100的框图。参照图3，显示装置100包括通信装置110、图像接收器140、图像处理器150、显示器160、存储器170、图像获取器120、音频输出180、输入190、以及控制器130。

通信装置110是如下的单元，其根据多种类型的通信方法来执行与多种类型的外部设备的通信。通信装置110可以包括多个通信芯片，例如红外线通信芯片、WiFi芯片、蓝牙芯片、NFC芯片、以及无线通信芯片。在此，WiFi芯片、蓝牙芯片、以及NFC芯片分别根据WiFi方法、蓝牙方法、和NFC方法来执行通信。NFC芯片表示如下的芯片，其根据NFC方法运行，在多个RF-ID频率带宽，例如135kHz、13.56MHz、433MHz、860～960MHz、以及2.45GHz中使用13.56MHz带宽。当使用WiFi芯片或蓝牙芯片时，连接信息的多种片段，例如SSID和会话秘钥可以先被传送-接收，通过使用以上信息来连接通信，并且多种信息片段可以被传送-接收。无线通信芯片表示如下的芯片，其根据多种通信标准，例如IEEE、Zigbee、第三代移动通信技术(3G)、第三代合作伙伴计划(3GPP)、以及长期演进技术(LTE)来执行通信。

特别地，通信装置110可以根据用户动作，从移动终端200接收移动终端200的运动信息。在此，从移动终端200接收的运动信息可以是以基于移动终端200来排列的移动终端坐标系为基础而测量的值。

图像接收器140从多种来源接收图像内容。特别地，图像接收器140可以从外部的广播站接收广播内容，以及从外部设备(例如，DVD播放器和机顶盒)接收视频内容。

图像处理器150是如下的单元，其执行与从图像接收器140接收到的视频数据有关的处理。图像处理器150可以执行多种图像处理，例如与视频数据有关的解码、缩放、滤波、帧率转换、以及分辨率转换。

显示器160显示在通过利用图像处理器150来处理从图像接收器140接收的视频数据而获得的视频帧中的至少一帧，以及利用图形处理器133产生的多个屏幕。特别地，显示器160可以基于移动终端200的运动信息来显示指针。

存储器170存储多个模块以驱动显示装置100。例如，存储器170可以存储包括基础模块、感应模块、通信模块、展示模块、网络浏览模块、和服务模块的软件。在此，基础模块是处理从被包括在显示装置100中的硬件中的每一个递送的信号，并将处理过的信号递送至上层模块的基本模块。感应模块是收集来自多种传感器的信息，分析并管理收集到的信息的模块。可以包括面部识别模块、声音识别模块、动作识别模块、以及近场通信(NFC)识别模块。展示模块是构造显示屏幕的模块。其可以包括多媒体模块以再现并输出多媒体内容，以及UI渲染模块以执行UI和图形的处理。通信模块是执行外部通信的模块。网络浏览模块是指通过执行网络浏览来访问网络服务器的模块。服务模块是包括多种应用以提供多种服务的模块。

此外，存储器170可以存储变换参数，用来将基于移动终端坐标系测量的运动信息变换到屏幕坐标系中。

图像获取器120拍摄图像并通过处理摄像的图像获得图像。特别地，图像处理器120可以通过使用摄像机拍摄包括移动终端200的区域，处理摄像的图像，并获得移动终端图像。

音频输出180是如下的单元，其输出多种警告音或者语音信息，以及多种在音频处理器(未示出)中处理的音频数据。

输入190接收多种用户命令来控制显示装置100。在此，输入190可以被实施为多种输入设备，例如遥控器、触摸屏、鼠标、语音输入、和动作输入。

如图3所示，控制器130包括RAM131、ROM132、图形处理器133、主CPU134、第1到第n接口135-1～135-n、以及总线136。在此，RAM131、ROM132、图形处理器133、主CPU134、以及第1到第n接口135-1～135-n可以通过总线136来彼此相互连接。

ROM132存储用于引导系统的命令的集合。当开机命令被输入并且有电源供应时，主CPU134根据ROM132中存储的命令将存储器170中存储的操作系统拷贝到RAM131，并通过运行操作系统来引导系统。当引导完成后，主CPU134将存储器170中存储的多种应用程序拷贝到RAM131，并通过运行RAM131中拷贝的应用程序来执行多种操作。

图形处理器133通过使用计算器(未示出)和渲染器(未示出)产生屏幕，其包括多种对象，例如点、图标、图像、和文本。计算器(未示出)通过使用从输入端接收到的控制命令，根据屏幕布局来计算特征值，例如坐标值、形状、尺寸、和每个物体被标注成的颜色。渲染器产生多种屏幕布局，其包括基于计算器中计算的特征值的对象。渲染器中产生的屏幕被显示在显示器160的显示区域中。

主CPU134访问存储器170并通过存储器170中存储的操作系统来执行引导。此外，主CPU134通过使用存储在存储器170中的多种程序、内容、和数据来执行多种操作。

第1到第n接口135-1～135-n连接到上述的单元。所述接口中的一个可以是通过网络连接到外部设备的网络接口。

同时，在解释控制器130的操作之前，将参照图3对本说明书中描述的坐标系进行特定地描述。移动终端坐标系410是基于移动终端来排列的坐标系，全球坐标系420是基于地磁方向来排列的坐标系，屏幕坐标系430是基于显示装置100的屏幕来排列的坐标系，而摄像机坐标系440是基于包括在显示装置100中的摄像机来排列的坐标系。虚拟坐标系450是由从摄像机焦点到图像被捕获位置之间通过特定距离而分割的坐标系，显示屏幕坐标系460是其尺寸被调整为通过显示装置100表达移动终端图像的坐标系，而归一化的屏幕坐标系是其尺寸被通过移动终端图像来调整的坐标系。

特别地，控制器130可以控制通信装置110接收来自移动终端200的运动信息。在此，从移动终端200接收到的运动信息可以是移动终端坐标系中的排列值(xd,yd,zd)。

此外，控制器130可以将移动终端坐标系中的运动信息变换到屏幕坐标系中。特别地，控制器130可以将移动终端坐标系中的运动信息变换到全球坐标系中。例如，移动终端坐标系和全球坐标系可能互不相同，如图5A所示。

在此，控制器130可以用欧拉角来表示运动信息，并通过使用以下旋转变换矩阵公式，将移动终端坐标系中的运动信息变换成全球坐标系中的值(xE,yE,zE)。

【公式1】

在此，υ表示倾斜角，θ表示侧倾角，而χ表示侧滑角。

此外，控制器130将变换到全球坐标系中的运动信息变换成屏幕坐标系中的值(xS,yS,zS)，如图5B所示。在这里，控制器130可以通过使用预先存储的屏幕坐标系的变换参数，将变换到全球坐标系中的运动信息变换为基于屏幕坐标系中的运动信息。在当移动终端200朝向显示装置100屏幕方向而排列的同时接收到来自用户的初始输入时，屏幕坐标系的变换参数可以基于移动终端200的形状来进行计算。

同时，尽管以上的示例性实施例假设并描述的是，屏幕坐标系和摄像机坐标系彼此一致，但是这仅是示例性实施例中的一种。当屏幕坐标系与摄像机坐标系不一致，或者当摄像机坐标系因为如图5C所示的摄像机的旋转而变得与屏幕坐标系不同时，控制器130可以最终将屏幕坐标系中的运动信息变换到摄像机坐标系中。

同时，以上的示例性实施例描述的是，移动终端坐标系中的运动信息被变换到全球坐标系中，并且全球坐标系被变换到屏幕坐标系中。然而，这仅是示例性实施例中的一种。移动终端坐标系中的运动信息可以被直接变换到屏幕坐标系(或摄像机坐标系)中。

此外，控制器130可以基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿。

特别地，控制器130可以通过比较从由图像获取器120获得的移动终端图像中提取的移动终端的尺寸和预先获得的移动终端的实际尺寸来对运动信息进行补偿。特别地，控制器130可以通过比较通过移动终端图像获得的移动终端尺寸与预先获得的移动终端的实际尺寸来计算归一化参数。此外，控制器130可以通过使用归一化参数来对接收自移动终端200的运动信息进行归一化。

此外，控制器130可以比较从移动终端图像获得的移动终端200的运动信息与变换到屏幕坐标系中的运动信息。当从移动终端图像获得的移动终端200的运动信息与变换到屏幕坐标系中的运动信息不一致时，控制器130可以对从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息进行同步。特别地，移动终端200可以利用移动信息来产生关于时间戳的信息，并传输到显示装置100。此外，控制器130可以在获得移动终端图像时同步产生关于时间戳的信息。当通过比较变换到屏幕坐标系中的运动模式和移动终端图像的运动模式而感应到特定的时间位移时，控制器130可以通过感应的时间位移来对定时进行补偿。

如上所述，通过变换坐标系和通过移动终端图像对运动信息进行补偿，控制器130可以正确地识别移动终端200的运动信息。特别地，通过上述方法，控制器130可以正确地测量关于移动终端200在x，y和z轴上的运动。

此外，控制器130可以通过使用补偿的运动信息来控制显示装置100的多种功能，如上所述。

根据示例性实施例，控制器130可以通过使用移动终端200的运动信息来确定移动终端200的三维运动，并通过使用确定的三维运动将控制命令传输到移动终端200。特别地，当朝向y轴方向的运动被感应到时，控制器130可以将控制命令传输到移动终端200，以执行与朝向y轴方向运动相对应的功能。例如，如图6所示，当移动终端200朝向显示装置100的y轴方向接近的运动(例如，将移动终端200掷向显示装置100的运动)被感应到时，控制器130可以请求正由移动终端200再现的文件，而移动终端200可以将正在再现的文件传输到显示装置100。

此外，当多个移动终端操作时，控制器130可以通过分别使用相对于多个移动终端的每一个的补偿的运动信息，来分别感应与多个移动终端相对应的运动模式。此外，控制器130可以通过分别使用与多个移动终端相对应的运动模式，识别多个移动终端。特别地，控制器130可以通过采用分别与多个移动终端相关的补偿的运动信息来区分多个移动终端。例如，如图7所示，控制器130可以区分具有朝向x轴方向的运动模式的移动终端，具有朝向y轴方向的运动模式的移动终端，以及具有朝向z轴方向的运动模式的移动终端。此外，控制器130可以通过使用被包括在图像获取器120中的摄像机来分别提取多个移动终端附近的用户面部，并通过将提取的用户面部与存储在存储器170中的用户信息进行比较来区分使用移动终端的用户。因此，当在具有朝向x轴方向运动的模式的移动终端附近提取到的面部是用户1的，在具有朝向y轴方向运动的模式的移动终端附近提取到的面部是用户2的，并且在具有朝向z轴方向运动的模式的移动终端附近提取到的面部是用户3的时，控制器130可以通过比较提取到的面部与存储在存储器170中的用户信息来分别识别每个用户。因此，控制器130可以通过独立使用被提取用户的移动终端来控制显示装置100的功能。此外，多个用户可以通过显示装置100而同时进行游戏。

此外，控制器130可以仅当移动终端被摄像时根据补偿的运动信息对显示装置100进行控制。特别地，如图8所示，仅当移动终端200被由显示装置100提供的摄像机拍摄时，控制器130可以通过使用移动终端200的运动来操作显示装置100。当移动终端200未被由显示装置100提供的摄像机拍摄时，即便移动终端的运动被接收到，控制器130也不能执行与移动终端200的运动相对应的功能。因此，仅当移动终端200的运动信息被接收到且移动终端图像被获得时，控制器130可以执行显示装置100的多种功能(例如，设备间连接、连接应用、屏幕AR模式、以及动作控制模式)。

此外，控制器130可以基于补偿的运动信息计算指向坐标值，并控制显示器160在指向坐标值上显示指针。特别地，如图9所示，控制器130可以基于移动终端图像而感应由移动终端200指向的当前位置，以及移动终端200的运动信息，并将感应到的位置确定为起始点。此外，控制器130可以控制显示器160以基于移动终端200的运动信息来计算自起始点的指向坐标值并显示指针。在此，控制器130可以提供多种使用指针的应用。例如，控制器130可以通过使用被包括在移动终端200中的触摸板、指向动作、文本框指向、以及包括在移动终端200中的字符输入板来控制网络浏览器。再例如，控制器130可以利用指针来执行多种操作，例如在TV屏幕上选择对象或者获得对象信息。在此，当与多个移动终端分别相对应的多个指针被使用时，控制器130可以控制显示器160不同地显示多个指针。例如，控制器130可以控制显示器160，以通过将指针的颜色、亮度、和清晰度调整为彼此不同来显示多个指针。

同时，以上的示例性实施例描述的是，三维运动通过使用运动信息来确定，并且通过使用移动终端图像来补偿。然而，这仅是实施例中的一种。三维运动可以通过其他方法获得。特别地，如图10所示，控制器130可以从移动终端图像中确定移动终端200的二维运动，例如朝向x和z轴的运动，以及基于移动终端200的运动信息来确定朝向y轴方向的运动。

此外，控制器130可以基于用户对设备的注意力，例如，用户的视线，来控制显示装置100的多种功能。特别地，如图11所示，控制器130可以通过使用被包括在图像获取器120中的摄像机来提取用户的视线。当用户视线朝向移动终端200时，控制器130不会通过使用移动终端200的运动信息来控制显示装置100。此外，用户可以在使用移动终端200时使用多种应用。然而，当用户视线朝向显示装置100时，控制器130可以在显示器160上显示指针，并通过使用移动终端200的运动来移动指针。在此，控制器130可以通过向移动终端200传输停止操作的请求，来停止移动终端200中的应用的操作。

此外，控制器130可以通过使用移动终端200的运动信息和移动终端图像来感应用户是否进入或离开屏幕区域。特别地，如图12所示，控制器130可以通过使用移动终端图像来感应用户是否进入屏幕区域。此外，控制器130可以通过使用移动终端200的运动信息来追踪在屏幕区域内的用户移动迹线，以减少视觉处理的加载，而且通过仅当被请求时使用移动终端图像来追踪用户移动迹线。由此，控制器130可以通过考虑和追踪用户的运动来执行多种功能(例如，将用户去往的区域的灯开启的功能)。此外，在基于2D摄像机进行室内维度建模时，控制器130分析并学习具有移动终端200的用户的动作半径或移动迹线。从而，3D室内建模的正确性可以被加强。

此外，控制器130可以通过使用移动终端200的运动模式来区分移动终端200，并利用移动终端200的用户信息对用户进行授权。例如，如图13所示，当具有朝向x轴方向的运动的模式的第一移动终端被感应到时，控制器130可以通过使用存储在第一移动终端中的用户1相关信息来执行用户授权。当具有朝向z轴方向的运动的模式的第二移动终端被感应到时，控制器130可以通过使用存储在第二移动终端中的用户2相关信息来执行用户授权。从而，用户可以通过使用移动设备200的运动模式来执行诸如登录的用户授权例。

下面，将参照图14，解释显示装置100的控制方法。

在S1410，显示装置100从移动终端200接收移动终端200的运动信息，并通过对移动终端200摄像获得移动终端图像。接收移动终端200的运动信息和对移动终端200摄像可以同时执行；然而，这仅是示例性实施例的一种。其可以按顺序来执行。

在S1420，显示装置100将接收到的运动信息变换到屏幕坐标系中。特别地，显示装置100可以将基于移动终端200而排列的移动终端坐标系中的运动信息变换到基于地磁方向而排列的全球坐标系中。此外，显示装置100可以通过使用屏幕坐标系的变换参数，将变换到全球坐标系中的运动信息变换到屏幕坐标系中。

在S1430，显示装置100基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿。特别地，显示装置100可以通过比较从移动终端图像中获得的移动终端200的尺寸和预先获得的移动终端200的实际尺寸来对运动信息进行补偿。此外，通过比较从移动终端200的图像获得的移动终端200的运动信息与变换到屏幕坐标系中的运动信息，当从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息不一致时，显示装置100可以对从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息进行同步。

在S1440，显示装置100通过使用补偿的运动信息对显示装置100的功能进行控制。特别地，显示装置100可以通过使用补偿的运动信息控制如图13所示的多种功能。

根据上面所述的显示装置的控制方法，用户可以通过使用移动终端更加正确地和直观地控制显示装置。

同时，上面的示例性实施例描述的是，显示装置100从移动终端200接收运动信息，将接收到的运动信息变换到基于显示装置的屏幕而排列的屏幕坐标系中，并基于拍摄到的移动终端图像对变换到屏幕坐标系中的运动信息进行补偿。然而，这仅是示例性实施例中的一种。本发明的技术内容也可以包括在其中移动终端200可以直接补偿运动信息的示例性实施例。

以上将参照图15进行解释。首先，移动终端包括传感器210、通信设备220、和控制器230，如图15所示。

传感器210通过使用多种传感器来感应移动终端的运动信息。特别地，传感器210可以通过使用加速度传感器、地磁传感器、和陀螺仪传感器中的至少一种来感应运动信息。

通信装置220执行与外部显示装置100的通信。特别地，通信装置220可以从显示装置100接收移动终端图像，并将补偿的运动信息传输给显示装置100。

控制器230控制移动终端200的一般操作。特别地，控制器230基于通过传感器210感应到的运动信息来计算坐标值，并将计算出的坐标值变换到基于显示装置100的屏幕而排列的屏幕坐标系中。在此，控制器230可以如上所述地根据移动终端坐标系、全球坐标系、再到屏幕坐标系的连续顺序，对坐标值进行变换。

此外，控制器230控制通信装置220以从显示装置100接收移动终端图像。

控制器230基于接收到的移动终端图像对运动信息进行补偿。特别地，控制器230可能通过比较从移动终端图像获得的移动终端的尺寸与预先获得的移动终端实际尺寸，来对运动信息进行补偿。此外，通过比较从移动终端图像获得的移动终端的运动信息和变换到屏幕坐标系中的运动信息，控制器230可以将从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息进行同步。

此外，控制器230可以将补偿的运动信息传输到显示装置100。

同时，根据上面的多种示例性实施例的显示装置的控制方法可以被实施为程序，并被提供到显示装置或输入设备中。特别地，包括显示装置的控制方法的程序可以被存储并提供在非暂时性的计算机可读记录介质中。

非暂时性的计算机可读记录介质表示可以半永久性地存储数据并可由设备读取的介质，而非例如寄存器、缓存、或内存的暂时存储数据的介质。特别地，以上的多种应用或程序可以被存储并提供在非暂时性的计算机可读记录介质，例如CD、DVD、硬盘、蓝光光盘、USB、存储卡、或ROM中。

此外，先前提到的示例性实施例以及优点只是示例性的，其不应被解释为用于限制示例性实施例。当前的教导可被便利地应用为其他类型的装置。而且，本发明示例性实施例的描述旨在说明，而不限制权利要求的范围。

Claims (13)

1.一种显示装置的控制方法，包含：

从移动终端接收该移动终端的运动信息，并通过对移动终端摄像来获得移动终端图像；

将接收到的运动信息变换到基于显示装置屏幕而排列的屏幕坐标系中；

基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿；以及

通过使用补偿的运动信息来控制显示装置,

其中，所述补偿包括通过比较从移动终端图像获得的移动终端尺寸与预先获得的移动终端的实际尺寸来对运动信息进行补偿。

2.如权利要求1所述的控制方法，其中，从移动终端接收到的运动信息是以基于移动终端而排列的移动终端坐标系为基础而测量的值。

3.如权利要求2所述的控制方法，其中，将接收到的运动信息变换到屏幕坐标系中还包含：

响应于基于对移动终端进行摄像的摄像机而排列的摄像机坐标系与屏幕坐标系不同，将变换到屏幕坐标系中的运动信息变换到摄像机坐标系中。

4.如权利要求1所述的控制方法，其中，基于在移动终端朝向显示装置的屏幕方向来排列的同时而接收到的来自用户的输入，屏幕坐标系的变换参数基于移动终端的形状进行计算。

5.如权利要求1所述的控制方法，其中，所述补偿包含：

比较从移动终端图像获得的移动终端的运动信息和变换到屏幕坐标系中的运动信息；以及

当从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息不一致时，将从移动终端图像获得的移动终端的运动信息与变换到屏幕坐标系中的运动信息进行同步。

6.如权利要求1所述的控制方法，其中，所述控制包含：

通过使用补偿的运动信息来识别移动终端的三维运动；以及

基于识别到的三维运动来控制显示装置。

7.如权利要求1所述的控制方法，其中，所述控制包含：

基于存在的操作的多个移动终端时，通过分别使用相对于多个移动终端的补偿的运动信息，来分别感应与多个移动终端相对应的运动模式；以及

通过分别使用与多个移动终端相对应的运动模式，来识别多个移动终端。

8.如权利要求1所述的控制方法，其中，所述控制包括：只有基于移动终端被摄像，才基于补偿的运动信息来控制显示装置。

9.如权利要求1所述的控制方法，其中，所述控制包含：

基于补偿的运动信息来计算指向坐标值；以及

在指向坐标值上显示指针。

10.一种显示装置，包含：

通信装置；

图像获取器；以及

控制器，其被配置为：

控制所述通信装置从移动终端接收该移动终端的运动信息，

控制所述图像获取器通过对移动终端进行摄像来获得移动终端图像，

将接收到的运动信息变换到基于显示装置的屏幕而排列的屏幕坐标系中，基于移动终端图像对变换到屏幕坐标系中的运动信息进行补偿；以及通过使用补偿的运动信息来控制显示装置，

其中，控制器通过比较从移动终端图像获得的移动终端尺寸与预先获得的移动终端的实际尺寸来对运动信息进行补偿。

11.如权利要求10所述的显示装置，其中，从移动终端接收到的运动信息是以基于移动终端而排列的移动终端坐标系为基础而测量的值。

12.如权利要求11所述的显示装置，其中，响应于基于对移动终端进行摄像的摄像机而排列的摄像机坐标系与屏幕坐标系不一致，控制器将变换到屏幕坐标系中的运动信息变换到摄像机坐标系中。

13.如权利要求10所述的显示装置，其中，基于在移动终端朝向显示装置的屏幕方向来排列的同时而接收到的来自用户的输入，屏幕坐标系的变换参数基于移动终端的形状来进行计算。