CN104102332A - 显示设备及其控制系统和方法 - Google Patents

Abstract

一种显示设备及其控制系统和方法，显示设备与一移动电子装置通信连接。该显示设备侦测控制物在第一二维空间的移动信息，移动电子装置侦测控制物在第二二维空间的移动信息。然后，显示设备根据控制物在第一、第二二维空间的移动信息计算得到控制物的当前三维坐标，以控制显示设备执行相应的操作。本发明用于结合移动电子装置对显示设备进行控制。

Description

显示设备及其控制系统和方法

技术领域

本发明涉及一种显示设备及其控制系统和方法。

背景技术

大多数的电视机，如数字电视和网络电视等大多使用遥控器或按键进行遥控。用户在使用日趋复杂的遥控器时，需要熟悉不同遥控器的功能，显得不太方便。随着Smart TV（智能电视）的问世，容易使用的人机交互方式显得越来越重要。通过手势对着电视机进行控制，实现不须透过另一器具传达意念，将是更直接更人性化的操作方式。目前，实现手势控制的方法大多利用摄像机做3D手势的侦测。然而，3D手势的侦测需要复杂的算法或其它的光学量测做辅助，困难度高且不容易实现。

发明内容

鉴于以上内容，有必要提供一种显示设备的控制系统，该系统包括第一摄像单元、设定单元、第一侦测单元、控制单元、第二摄像单元以及第二侦测单元，第一摄像单元与第二摄像单元放置于不同位置摄取影像。其中：设定单元用于设定一控制物在一三维坐标系中的初始三维坐标，该三维坐标系包括一第一二维空间以及一第二二维空间；第一侦测单元用于通过分析第一摄像单元获取的影像侦测所述控制物在第一二维空间的移动信息，控制物在第一二维空间的移动信息包括控制物在第一二维空间的移动方向和移动距离；第二侦测单元用于通过分析第二摄像单元获取的影像侦测所述控制物在第二二维空间的移动信息，该控制物在第二二维空间的移动信息包括控制物在第二二维空间的移动方向和移动距离；及控制单元用于根据所述控制物在第一二维空间和第二二维空间的移动信息以及所述初始三维坐标计算得到所述控制物的当前三维坐标，并控制显示设备执行相应的操作。

还有必要提供一种显示设备的控制方法，该显示设备与一移动电子装置通信连接。该显示设备包括第一摄像单元，该移动电子装置包括第二摄像单元，其特征在于，该方法包括：显示设备设定一控制物在一三维坐标系中的初始三维坐标，在一三维坐标系中的初始三维坐标，该三维坐标系包括一第一二维空间以及一第二二维空间；显示设备通过分析第一摄像单元获取的影像侦测所述控制物在第一二维空间的移动信息，控制物在第一二维空间的移动信息包括控制物在第一二维空间的移动方向和移动距离；移动电子装置通过分析第二摄像单元获取的影像侦测所述控制物在第二二维空间的移动信息，该控制物在第二二维空间的移动信息包括控制物在第二二维空间的移动方向和移动距离；及显示设备根据所述控制物在第一二维空间和第二二维空间的移动信息以及所述初始三维坐标计算得到所述控制物的当前三维坐标，并控制显示设备执行相应的操作。

此外，还有必要提供一种显示设备，与一移动电子装置通信连接，该显示设备包括第一摄像单元、该移动电子装置包括第二摄像单元，第一摄像单元与第二摄像单元放置于不同位置摄取影像。该显示设备还包括：设定单元，用于设定一控制物在一三维坐标系中的初始三维坐标，该三维坐标系包括一第一二维空间以及一第二二维空间；第一侦测单元，用于通过分析第一摄像单元获取的影像侦测所述控制物在第一二维空间的移动信息，控制物在第一二维空间的移动信息包括控制物在第一二维空间的移动方向和移动距离；控制单元用于根据所述控制物在第一二维空间和第二二维空间的移动信息以及所述初始三维坐标计算得到所述控制物的当前三维坐标，并控制显示设备执行相应的操作，其中：控制物在所述第二二维空间的移动信息由移动电子装置通过分析第二摄像单元获取的影像得到并发送给控制单元。

相较于现有技术，本发明通过显示设备和移动电子装置分别对控制在不同二维空间的移动信息进行侦测，实现对显示设备的控制，无需显示设备单独做复杂的3D运算即可实现运动物体（如手指）对显示设备的控制，降低了运算的复杂度，可提高对显示设备的控制速度。

附图说明

图1是一显示设备与一移动电子装置通信连接的示意图。

图2是所述显示设备以及移动电子装置包括各功能单元的示意图。

图3是本发明较佳实施例中利用所述移动电子装置对显示设备进行控制的方法的流程图。

图4是用户使用手掌触摸移动电子装置的触摸屏时获取到的由多个触控点构成的类手掌图形的示意图。

图5是用户使用五个手指触摸触摸屏时产生的五个触控点的示意图。

图6是本发明交加实施例中建立一三维坐标系的示意图。

图7是用户的手指在三维空间中移动的示意图。

图8是用户的手指在一预定方向上的移动距离的示意图。

图9是另一实施例中确定食指的初始二维坐标的示意图。

图10是另一实施例中确定食指在三维坐标系的初始三维坐标的示意图。

主要元件符号说明

显示设备	100
		第一摄像单元	10
移动电子装置	200
		第二摄像单元	20
支撑物	300
		设定单元	111
第一侦测单元	112
		控制单元	113
触摸屏	21
		初始化单元	201
第二侦测单元	202

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

一并参阅图1和图2所示，本发明提供的一显示设备的控制系统，包括相互进行通信连接的显示设备100与一移动电子装置200。该显示设备100可以是，但不限于，智能电视、数字高清电视、网络电视等。该移动电子装置200可以是，但不限于，平板电脑、智能手机等。本实施中，显示设备100包括第一摄像单元10，移动电子装置200包括第二摄像单元20。第一摄像单元10以及第二摄像单元20可为，但不限于，高清摄像头或高清摄影机。该第一摄像单元10以及第二摄像单元20均用于对用户的手势进行拍摄，以用于对显示设备100进行控制。为方便用户的操作，移动电子装置200被水平放置于显示设备100正前方的一支撑物300上。显示设备100提供一图形用户界面（Graphic User Interface，GUI）供用户进行操作。显示设备100可通过蓝牙、WIFI^®、Zigbee等短距离无线通信方式进行通信连接，以实现显示设备100与移动电子装置200之间的数据传输和交互。

所述显示设备100进一步包括设定单元111、第一侦测单元112以及控制单元113。移动电子装置200还包括触摸屏21、初始化单元201以及第二侦测单元202。所述触摸屏21为支持多点触控操作的电容屏或电阻屏。优选地，该触摸屏21为电容屏。

如图3所示，是本发明较佳实施例中利用所述移动电子装置200对显示设备100进行控制的方法的流程图。本实施例中，用户可使用手指在所述第一摄像单元10以及第二摄像单元20的影像摄取范围内移动的方式对显示设备100进行控制。为方便说明，本实施例中，假设用户使用食指对显示设备100进行控制。在其它实施例中，用户也可使用其它手指，触控笔或遥控设备等控制物对显示设备100进行控制。此外，所述的方法并不受限于下述步骤的顺序，且该方法也可以只包括以下所述步骤的其中一部分，也即其中的部分步骤可以被省略。

下面结合图3中的各流程步骤，对显示设备100以及移动电子装置200中的各元件进行详细介绍。

步骤S1，所述初始化单元201侦测用户对触摸屏21的一初始化操作，并获取用户的食指在该触摸屏21上的触摸点的坐标作为初始坐标。本实施例中，所述初始化触摸操作为一预设的多点触控操作。例如，一实施例中，该预设的多点触控操作可为用户使用手掌对触摸屏21执行的多点触控操作。该初始坐标为触摸点在触摸屏21上的二维坐标。

例如图4所示，该初始化单元201可利用触摸屏21的多点触控功能，获取用户的手掌触摸触摸屏21时的多个触控点的位置坐标（Xn，Yn），n=1,2,3,4,…。然后，使用类手掌图形辨识方法辨识为用户使用手掌进行的一触控操作，那么该触控操作则被识别为所述初始化操作。当侦测到该初始化操作时，可将获取到的类手掌图形中食指的指尖点（如f1）在触摸屏21上的坐标，如（X0，Y0），作为所述初始坐标。

如图5所示，所述初始化操作也可以是用户五个手指对触摸屏21执行的五点触控操作，初始化单元201在侦测到五点触控操作时，可将其中左边的第二点作为所述食指的触摸点，并将该触摸点的坐标作为所述初始坐标。在其它实施例中，所述初始化操作也可以是其它任何控制物对触摸屏21执行的触摸操作，例如一超过预定时间的长按操作。

步骤S2，所述初始化单元201将所述初始坐标发送至显示设备100的设定单元，对显示设备100显示的光标的位置进行初始化。

步骤S3，所述设定单元111根据初始化单元201发送的初始坐标，定位光标的初始位置，并设定用户食指的初始三维坐标。

具体地，该初始三维坐标为该食指在一特定的三维坐标系中的坐标值。且食指的初始三维坐标为食指一特定点（如指尖点）在该特定的三维坐标系中的三维坐标。所述特定的三维坐标系定义一三维空间，该三维空间包括一第一二维空间以及一第二二维空间。

例如图6所示，可以移动电子装置200所在的平面或与该移动电子装置200平行的面作为第一二维空间（如，P1），以显示设备100所在的平面或与该显示设备100平行的平面作为第二二维空间（如，P2），然后以该第一二维空间和第二二维空间建立所述特定的三维坐标系，例如图5所示的三维坐标系XYZ。此外，该第一二维空间和第二二维空间组成一三维空间（如，S1），用户的食指F可在该三维空间中移动，使得显示设备100的第一摄像单元10可以摄取到食指F在第二二维空间上的移动，移动电子装置200的第二摄像单元20可以摄取到食指F在第一二维空间上的移动。

所应说明的是，在一较佳的实施例中，显示设备100所在的平面与移动电子装置200所在的平面垂直，也即所述第一二维空间垂直于第二二维空间。由于所述初始坐标（X0，Y0）为用户在触摸触摸屏21时取得，因此，可以认为该初始坐标（X0，Y0）对应的触摸点在Z轴方向上的坐标为0，所述初始三维坐标可以设定为：（X0，Y0，0）。

步骤S4，所述第一侦测单元112通过第一摄像单元10侦测食指在第一二维空间的移动信息，该食指在第一二维空间的移动信息包括食指在第一二维空间的移动方向和移动距离，例如在所述X轴方向和Z轴方向上的移动距离。

具体地，第一侦测单元112控制第一摄像单元10获取用户食指的实时影像，并对摄取的实时影像进行影像分析，从而侦测食指在第一二维空间的移动信息。例如，第一侦测单元112先从连续的若干图像中获取食指的当前帧影像和前一帧影像，然后使用动态物体侦测技术针对该当前帧影像和前一帧影像中的移动物体（食指）进行侦测，然后根据侦测到的食指在两帧影像中的位置信息（如指尖点的位置坐标）得到食指在第一二维空间的移动信息。

步骤S5，所述第二侦测单元202通过第二摄像单元20侦测食指在第二二维空间的移动信息并发送给显示设备100的控制单元113。该食指在第二二维空间的移动信息包括食指在第二二维空间的移动方向和移动距离，例如在所述X轴方向和Y轴方向上的移动距离。第二侦测单元202侦测食指在第二二维空间的移动信息的方法跟第一侦测单元112侦测食指在第一二维空间的移动信息的方法类似，此处不再赘述。

步骤S6，所述控制单元113根据食指在第一二维空间和第二二维空间的移动信息以及所述初始三维坐标计算得到食指的当前三维坐标，以控制显示设备100执行相应的操作。当得到该当前三维坐标后，所述设定单元111将所述初始三维坐标更新为该当前三维坐标，以便于食指在下一次移动后，用于计算食指的下一个三维坐标。

例如图7所示，显示设备100的第一侦测单元112侦测食指在第一二维空间朝X、Z方向上的移动距离a、b，移动电子装置200的第二侦测单元202侦测食指在第二二维空间朝X、Y方向的移动距离c、d，然后控制单元113可根据该移动距离a、b、c、d得到食指在三维空间的移动信息，并进一步根据食指在三维空间的该移动信息以及所述初始三维坐标获取食指的当前三维坐标。其中，距离a等于距离d。

在一实施例中，控制单元113可根据食指的当前三维坐标控制显示设备100的光标移动对显示设备100显示的菜单进行操作。或者，当用户使用显示设备100玩3D游戏是，可根据食指的三维坐标的变化控制3D游戏中虚拟人物或光标在3D画面中的移动。此外，可根据食指在任意方向上的移动量控制显示设备100执行相应的操作。例如，当食指在一预定方向上的移动距离超过一预设值（如10cm）时，控制显示设备100执行一预定操作，如选择光标当前指向的一个项目，从而使得显示设备100可根据食指的移动对显示设备100进行完整的控制。其中，所述预定方向可为所述X轴方向、Y轴方向、Z轴方向的其中之一。

例如图8所示，当食指在Y方向上的移动距离大于S（10cm）时，可控制显示设备100执行一次点击（click）动作，以选中或打开光标当前指向的项目。

又如，当食指在X方向上的移动距离大于S（10cm）时，可控制显示设备100进入文字输入界面，此时用户可使用移动电子装置200进行文字输入，然后移动电子装置200将用户输入的文字传输至显示设备100的文字输入界面进行显示。依据食指的三维坐标控制显示设备100的方式可根据需求任意设定，如还可根据食指的三维坐标的变化确定食指的运动轨迹，然后由该运动轨迹控制显示设备执行相应的操作。

在另一实施例中，可以按照以下方法确定所述初始坐标（X0，Y0）。具体地，如图9所示，所述移动电子装置200进一步包括一靠近第二摄像单元20的LED 22，由LED 22发出光线信号，当显示设备100在摄像单元10所拍摄的连续影像（如第N帧、第N+1帧、第N+2帧…）中拍摄到该光线信号时，根据食指触碰移动电子装置200的触摸屏21的触摸点坐标，如（X1，Y1），移动电子装置200根据该触摸点的坐标计算出触摸点相对于LED 22的距离（∆a0，∆b0），然后由该触摸点坐标（X1，Y1）以及（∆a0，∆b0）得到食指的初始位置（X0，Y0）。其中，X0=X1+∆a0，Y0=Y1+∆b0。其中，∆a0代表触摸点（X1，Y1）在X方向与LED 22的距离，∆b0代表触摸点（X1，Y1）在Y方向与LED 22的距离。

此外，也可以由以下方法确定所述初始三维坐标。例如图10所示，因移动电子装置200的第二摄像单元20的拍摄角度有所限制，食指与第二摄像单元20的距离太近或角度过大则会导致无法侦测到食指的移动，从而存在如图10所示第一摄像单元10拍摄范围内第二摄像单元20无法拍摄到的盲区。基于该问题可通过以下方法确定所述初始三维坐标以减少盲区对追踪食指带来的影响。

首先，通过食指接触触摸屏21通知显示设备100使用第一摄像单元10拍摄食指的初始点A1，得到在第一二维空间的初始坐标，如（a0，b0），此时食指即处于图10所示的盲区，第二摄像单元20无法拍摄到食指。然后，当食指移至第二摄像单元20的可视区（如由图10中的A1移至A2时），移动电子装置200使用第二摄像单元20拍摄食指，取得食指在第二二维空间的初始坐标，如（c0，d0）。最后，由（a0，b0）和（c0，d0）确定所述初始三维坐标（X0，Y0，Z0）。

综上所述，本发明的显示设备100和移动电子装置200对用户的手指的移动分别做平面追踪，从而来达到3D的追踪效果，无需显示设备100做复杂的3D运算即可实现手势对显示设备100的控制，降低了运算的复杂度，可提高对显示设备100的控制速度。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (13)

1.一种显示设备的控制系统，其特征在于，该系统包括第一摄像单元、设定单元、第一侦测单元、控制单元、第二摄像单元以及第二侦测单元，第一摄像单元与第二摄像单元放置于不同位置摄取影像，其中：

设定单元用于设定一控制物在一三维坐标系中的初始三维坐标，该三维坐标系包括一第一二维空间以及一第二二维空间；

第一侦测单元用于通过分析第一摄像单元获取的影像侦测所述控制物在第一二维空间的移动信息，控制物在第一二维空间的移动信息包括控制物在第一二维空间的移动方向和移动距离；

第二侦测单元用于通过分析第二摄像单元获取的影像侦测所述控制物在第二二维空间的移动信息，该控制物在第二二维空间的移动信息包括控制物在第二二维空间的移动方向和移动距离；及

控制单元用于根据所述控制物在第一二维空间和第二二维空间的移动信息以及所述初始三维坐标计算得到所述控制物的当前三维坐标，并控制显示设备执行相应的操作。

2.如权利要求1所述显示设备的控制系统，其特征在于，该系统还包括触摸屏以及初始单元，该初始化单元，侦测用户对触摸屏的一初始化操作，并获取所述控制物在该触摸屏上的触摸点的坐标作为初始坐标发送给所述设定单元。

3.如权利要求2所述显示设备的控制系统，其特征在于，所述显示设备上显示一光标，所述设定单元根据初始化单元发送的初始坐标设定所述控制物的初始三维坐标，并根据该初始三维坐标定位该光标的初始位置。

4.如权利要求3所述显示设备的控制系统，其特征在于，所述控制单元根据所述控制物的当前三维坐标控制显示设备的光标进行移动。

5.如权利要求1所述显示设备的控制系统，其特征在于，所述控制单元还用于当所述控制物在一预定方向上的移动距离超过一预设值时，控制显示设备执行一预定操作。

6.如权利要求1所述显示设备的控制系统，其特征在于，所述设定单元还用于将所述初始三维坐标更新为所述控制物的当前三维坐标。

7.一种显示设备的控制方法，该显示设备与一移动电子装置通信连接，其特征在于，该显示设备包括第一摄像单元，该移动电子装置包括第二摄像单元，其特征在于，该方法包括：

显示设备设定一控制物在一三维坐标系中的初始三维坐标，在一三维坐标系中的初始三维坐标，该三维坐标系包括一第一二维空间以及一第二二维空间；

显示设备通过分析第一摄像单元获取的影像侦测所述控制物在第一二维空间的移动信息，控制物在第一二维空间的移动信息包括控制物在第一二维空间的移动方向和移动距离；

移动电子装置通过分析第二摄像单元获取的影像侦测所述控制物在第二二维空间的移动信息，该控制物在第二二维空间的移动信息包括控制物在第二二维空间的移动方向和移动距离；及

显示设备根据所述控制物在第一二维空间和第二二维空间的移动信息以及所述初始三维坐标计算得到所述控制物的当前三维坐标，并控制显示设备执行相应的操作。

8.如权利要求7所述显示设备的控制方法，其特征在于，所述移动电子装置还包括触摸屏，该方法还包括：

移动电子装置侦测控制物对触摸屏的一初始化操作，并获取所述控制物在该触摸屏上的触摸点的坐标作为初始坐标发送给显示设备。

9.如权利要求8所述显示设备的控制方法，其特征在于，该方法还包括：

显示设备显示一光标，然后根据移动电子装置发送的初始坐标设定所述控制物的初始三维坐标，并根据该初始三维坐标定位该光标的初始位置。

10.如权利要求9所述显示设备的控制方法，其特征在于，该方法还包括：

显示设备根据所述控制物的当前三维坐标控制光标进行移动。

11.如权利要求7所述显示设备的控制方法，其特征在于，该方法还包括：

当所述控制物在一预定方向上的移动距离超过一预设值时，显示设备执行一预定操作。

12.如权利要求7所述显示设备的控制方法，其特征在于，该方法还包括：

显示设备将所述初始三维坐标更新为所述控制物的当前三维坐标。

13.一种显示设备，与一移动电子装置通信连接，该显示设备包括第一摄像单元、该移动电子装置包括第二摄像单元，第一摄像单元与第二摄像单元放置于不同位置摄取影像，其特征在于，该显示设备还包括：

设定单元，用于设定一控制物在一三维坐标系中的初始三维坐标，该三维坐标系包括一第一二维空间以及一第二二维空间；

第一侦测单元，用于通过分析第一摄像单元获取的影像侦测所述控制物在第一二维空间的移动信息，控制物在第一二维空间的移动信息包括控制物在第一二维空间的移动方向和移动距离；

控制单元用于根据所述控制物在第一二维空间和第二二维空间的移动信息以及所述初始三维坐标计算得到所述控制物的当前三维坐标，并控制显示设备执行相应的操作，其中：控制物在所述第二二维空间的移动信息由移动电子装置通过分析第二摄像单元获取的影像得到并发送给控制单元。