CN103197805A - 实现虚拟屏的系统和方法 - Google Patents

Abstract

本发明提供了一种实现虚拟屏的系统和方法，所述系统包括：处理模块，用于初始化三维立体屏幕；图像采集模块，用于采集标记的图像；识别模块，用于识别出所述标记的位置；所述处理模块还用于检测所述标记的位置是否位于所述三维立体屏幕内，当所述标记的位置位于三维立体屏幕内时，产生触摸事件。采用本发明，能够在用户面前虚拟出一块触摸屏，使得用户无需借助有源的交互设备，也无需接触被控装置，就能实现与被控装置之间的人机交互。

Description

实现虚拟屏的系统和方法

【技术领域】

本发明涉及人机交互领域，尤其涉及一种实现虚拟屏的系统和方法。

【背景技术】

传统的人机交互方法通常是通过交互设备与被控装置进行人机交互，例如，通过键盘或鼠标输入操作指令，被控装置响应输入的操作指令。也有在被控装置上设置触摸屏，通过触摸屏与被控装置进行人机交互。然而，传统的触摸屏必须具有一层特定的触摸膜，且用户必须接触到触摸屏才能输入相应的操作指令。例如，电阻触摸屏的主要部分是一块与显示器表面非常配合的电阻薄膜屏，当手指触摸屏幕时，电阻薄膜屏的两层导电层在触摸点位置就有了接触，电阻发生变化，产生信号送到触摸屏控制器。

也就是说，传统的人机交互方法，要么需借助于有源(电源)的交互设备，要么需用户接触被控装置，控制方式复杂，不够灵活，给用户的使用带来不便。

【发明内容】

基于此，有必要提供一种实现虚拟屏的系统，能够在用户面前虚拟出一块触摸屏，使得用户无需借助有源的交互设备，也无需接触被控装置，就能实现与被控装置之间的人机交互。

一种实现虚拟屏的系统，包括：处理模块，用于初始化三维立体屏幕；图像采集模块，用于采集标记的图像；识别模块，用于识别出所述标记的位置；所述处理模块还用于检测所述标记的位置是否位于所述三维立体屏幕内，当所述标记的位置位于所述三维立体屏幕内时，产生触摸事件。

进一步的，所述系统还包括：显示模块，用于在显示屏幕内显示产生所述触摸事件的触点。

进一步的，所述三维立体屏幕是立方体屏幕，所述立方体屏幕位于以所述显示屏幕所在平面为XY平面的三维坐标系中。

进一步的，所述识别模块还用于对所述标记的图像进行处理，识别出所述标记的位置，所述标记的位置是标记在所述三维坐标系中的坐标。

进一步的，所述显示模块还用于获取所述标记的位置，按照预设比例将所述标记的位置转换为屏幕坐标，在显示屏幕内的屏幕坐标位置处显示所述触点。

进一步的，所述显示模块还用于在显示屏幕内将所述触点显示为预设的图标，获取标记与显示屏幕之间的距离，当所述距离变化时更改所述预设的图标的显示。

进一步的，所述处理模块还用于当所述标记的位置不在所述三维立体屏幕内时，则产生抬起事件；以及还用于根据所述触摸事件和/或抬起事件生成控制指令。

此外，还有必要提供一种实现虚拟屏的方法，能够在用户面前虚拟出一块触摸屏，使得用户无需借助有源的交互设备，也无需接触被控装置，就能实现与被控装置之间的人机交互。

一种实现虚拟屏的方法，包括以下步骤：初始化三维立体屏幕；采集标记的图像；识别出标记的位置；检测所述标记的位置是否位于所述三维立体屏幕内，当所述标记的位置位于所述三维立体屏幕内时，产生触摸事件。

进一步的，在显示屏幕内显示产生触摸事件的触点。

进一步的，所述三维立体屏幕是立方体屏幕，所述立方体屏幕位于以所述显示屏幕所在平面为XY平面的三维坐标系中。

进一步的，所述识别出标记的位置的步骤包括：对标记的图像进行处理，识别出标记的位置，所述标记的位置是标记在三维坐标系中的坐标。

进一步的，所述在显示屏幕内显示所述触点的步骤包括：获取标记的位置，按照预设比例将标记的位置转换为屏幕坐标，在显示屏幕内的屏幕坐标位置处显示所述触点。

进一步的，所述方法还包括：在显示屏幕内将所述触点显示为预设的图标；获取标记与显示屏幕之间的距离，当所述距离变化时更改所述预设的图标的显示。

进一步的，所述方法还包括：当所述标记的位置不在所述三维立体屏幕内时，则产生抬起事件；以及根据所述触摸事件和/或抬起事件生成控制指令。

上述实现虚拟屏的系统和方法提出了一种新型的控制方式，用户可使用标记在显示屏幕前方进行操控，当标记的位置在预设的三维立体屏幕内，则产生触摸事件，即在用户面前能够虚拟出一块触摸屏，使得用户无需借助有源的交互设备，也无需接触被控装置，就能实现与被控装置之间的人机交互。

【附图说明】

图1为一个实施例中实现虚拟屏的系统的结构示意图；

图2为另一个实施例中实现虚拟屏的系统的结构示意图；

图3为一个实施例中实现虚拟屏的原理图；

图4为一个实施例中实现虚拟屏的方法的流程示意图。

【具体实施方式】

在一个实施例中，如图1所示，实现虚拟屏的系统包括图像采集模块110、识别模块120和处理模块130。其中：处理模块130用于初始化三维立体屏幕；图像采集模块110用于采集标记的图像；识别模块120用于识别出标记的位置。本实施例中，处理模块130还用于检测标记的位置是否位于三维立体屏幕内，当所述标记的位置位于三维立体屏幕内时，产生触摸事件。

优选的，图像采集模块110可以是三维图像采集装置，例如立体视觉系统(由两台空间位置已知的摄像机及相关数据处理设备组成)、结构光系统(右一台摄像机、一台光源以及相关数据处理设备组成)或TOF(time of flight，飞行时间)深度相机等。进一步的，图像采集模块110采集到的图像为三维深度图像(即三维图像)。

具体的，标记可以为指定颜色和/或形状的物体。进一步的，在一个实施例中，标记可以为指定颜色和/或形状的反光材料。优选的，标记为圆形的反光源。在其他实施例中，标记还可以是人体的某个部位，例如可以是人的手指等。

进一步的，如图2所示，在一个实施例中，实现虚拟屏的系统还包括显示模块140，显示模块140与处理模块130连接，用于在显示屏幕内显示产生触摸事件的触点。优选的，显示模块140用于在显示屏幕内将触点显示为预设的图标，例如显示为光标、手形图案等。

如图3所示，在一个实施例中，三维立体屏幕为虚拟的立方体屏幕，其位于以显示屏幕所在平面为XY平面的三维坐标系中。即处理模块130以自己为坐标原点，构建三维坐标系，而处理模块130初始化的三维立体屏幕位于该三维坐标系中。例如，三维立体屏幕为长方体屏幕，其在X轴上的范围为-40cm～+40cm，在Y轴上的范围为-30cm～+30cm，在Z轴上的范围为-1400cm～0cm，表示标记需在该范围内才能产生触摸事件。

在一个实施例中，识别模块120还用于对标记的图像进行处理，识别出标记的位置，标记的位置是标记在三维坐标系中的坐标。具体的，识别模块120可采用传统的图像处理方法提取图像中的标记的区域，再获取标记的重心的像素坐标，从而得到标记的位置。

进一步的，在一个实施例中，显示模块140还用于获取标记的位置，按照预设比例将标记的位置转换为屏幕坐标，在显示屏幕的屏幕坐标位置处显示发生触摸事件的触点。

由于三维立体屏幕在XY平面上的大小可能与显示屏幕大小并不一致，因此在将触点显示在显示屏幕上前，需将标记的坐标折算为显示屏幕上的屏幕坐标。例如，三维立体屏幕在XY轴上的大小为400mmX300mm，而显示屏幕的大小为800mmX600mm，显示模块140获取的标记的坐标为(x0，y0，z0)，则触点的屏幕坐标为(2*x0，2*y0)。

进一步的，显示模块140还可用于在显示屏幕内将触点显示为预设的图标，例如光标、手形图案等。另外，可以在预设的图标周围显示一些特效，例如，当产生触摸事件，则手形图案周围出现波纹。优选的，显示模块140还可用于获取标记与显示屏幕之间的距离，当该距离变化时更改预设的图标的显示。具体的，标记与显示屏幕之间的距离为标记的z坐标的绝对值。

在一个实施例中，处理模块130还用于当标记的位置不在三维立体屏幕内时，则产生抬起事件。本实施例中，当用户操控标记移出三维立体屏幕时，处理模块130会检测到标记的位置不在三维立体屏幕内，则产生抬起事件，即使触点处于松开状态。进一步的，当触点处于松开状态时，在预设的图标周围也可显示一些特效，例如，在手形图案下方出现手形影子图案。当标记距离显示屏幕越远，则手形图案与手形影子图案的距离显示越远。

进一步的，处理模块130还用于根据触摸事件和/或抬起事件生成控制指令。本实施例中，当标记的位置位于三维立体屏幕内时，产生触摸事件，具体的，触摸事件是指处理模块130产生的触摸指令，而触点对应了显示屏幕的屏幕坐标位置在显示屏幕上的位置点。可以理解的，可以采用图标或特定的标志来显示触点。当产生触摸指令时，使得触点处于按住显示屏幕的状态(触摸到触摸屏)；当标记的位置不在三维立体屏幕内时，产生抬起事件，即产生抬起指令，使得触点处于松开状态(离开触摸屏)。根据按住显示屏幕的状态和松开状态即可生成相应的控制指令。例如，按住后立即松开则生成鼠标的单击指令，按住后松开且在预设的时间内再按住后松开，则生成鼠标的双击指令。

在一个实施例中，如图4所示，一种实现虚拟屏的方法，包括以下步骤：

步骤S102，初始化三维立体屏幕。

步骤S104，采集标记的图像。

步骤S106，识别标记的位置。

步骤S108，检测标记的位置是否位于三维立体屏幕内，当标记的位置位于三维立体屏幕内时，产生触摸事件。

优选的，可采用三维图像采集装置采集标记的图像，例如采用立体视觉系统(由两台空间位置已知的摄像机及相关数据处理设备组成)、结构光系统(右一台摄像机、一台光源以及相关数据处理设备组成)或TOF(time of flight，飞行时间)深度相机等。进一步的，所采集到的图像为三维深度图像(即三维图像)。

具体的，标记可以为指定颜色和/或形状的物体。进一步的，在一个实施例中，标记可以为指定颜色和/或形状的反光材料。优选的，标记为圆形的反光源。在其他实施例中，标记还可以是人体的某个部位，例如可以是人的手指等。

进一步的，在一个实施例中，上述方法还包括：在显示屏幕内显示产生触摸事件的触点。优选的，还可在显示屏幕内将触点显示为预设的图标。

具体的，在一个实施例中，三维立体屏幕为虚拟的立方体屏幕，其位于以显示屏幕所在平面为XY平面的三维坐标系中。例如，如图3所示，以显示屏幕的中心为坐标原点，构建三维坐标系，三维立体屏幕位于该三维坐标系中。

在一个实施例中，步骤S106包括：对标记的图像进行处理，识别出标记的位置，标记的位置是标记在三维坐标系中的坐标。具体的，可可采用传统的图像处理方法提取图像中的标记的区域，再获取标记的重心的像素坐标，从而得到标记的位置。

在一个实施例中，在显示屏幕内显示触点的步骤包括：获取标记的位置，按照预设比例将标记的位置转换为屏幕坐标，在显示屏幕内的屏幕坐标位置处显示所述触点。由于三维立体屏幕在XY平面的大小可能与显示屏幕大小并不一致，因此在将触点显示在显示屏幕上前，需将标记的坐标折算为显示屏幕上的屏幕坐标。

在一个实施例中，上述方法还包括：在显示屏幕内将触点显示为预设的图标。例如显示为光标、手形图案等。另外，可以在预设的图标周围显示一些特效，例如，当产生触摸事件，则手形图案周围出现波纹。进一步的，上述方法还可包括：获取标记与显示屏幕之间的距离，当所述距离变化时更改所述预设的图标的显示。具体的，标记与显示屏幕之间的距离为标记的z坐标的绝对值。

在一个实施例中，上述方法还包括：当所述标记的位置不在所述三维立体屏幕内时，则产生抬起事件。本实施例中，当用户操控标记移出三维立体屏幕时，则检测到标记的位置不在三维立体屏幕内，产生抬起事件，即使触点处于松开状态。

进一步的，上述方法还可包括：根据所述触摸事件和/或抬起事件生成控制指令。本实施例中，当标记的位置位于三维立体屏幕内时，产生触摸事件，即触点处于按住显示屏幕的状态(触摸到触摸屏)；当标记的位置不在三维立体屏幕内时，产生抬起事件，即触点处于松开状态(离开触摸屏)。根据按住显示屏幕的状态和松开状态即可生成相应的控制指令。例如，按住后立即松开则生成鼠标的单击指令，按住后松开且在预设的时间内再按住后松开，则生成鼠标的双击指令。

上述实现虚拟屏的系统和方法，用户可使用标记在显示屏幕前方进行操控，当标记的位置在预设的三维立体屏幕内，则产生触摸事件，即在用户面前能够虚拟出一块触摸屏，使得用户无需借助有源的交互设备，也无需接触被控装置，就能实现与被控装置之间的人机交互。

其中，标记可附带在交互设备(如手柄)上，也可由用户直接手持标记进行操控(例如将标记制成手指套，套在手指上)。标记可以是一个，也可以有多个。采用将标记制成的手指套套在用户的手指上的方式，当用户手指进入到三维立体屏幕内时，则触点进入按住显示屏幕的状态，可使得用户感受到传统触摸屏的使用效果，操作简单。

此外，本发明中的显示模块可以是被控装置的显示模块，使得传统的没有触摸屏的被控装置也能实现触摸屏的功能，且用户无需接触被控装置的显示屏幕就能进行触控，对于用户来说，虚拟屏就好像在自己的面前(如图3所示)，极大的提高了用户的体验效果。

本发明中的标记将传统的交互设备进行了简单化，降低了成本。由于本发明可以是无源的交互设备，因此能够减少电池的重量，易于使用。本发明通过标记的位置变化，就能在显示屏幕上产生触摸事件和/或抬起事件，从而生成相应的控制指令，可以应用在各种人机交互应用中。

本发明提出了一种新型的控制方式，可取代传统的使用现有的如鼠标、触摸屏等输入设备进行交互的方式，具有广泛的应用前景。本发明除了可通过标记进行传统的鼠标点击操作外，还可应用在一些特定的应用场景，例如，用户可操控两个标记，在被控装置的显示屏幕上显示两个触点，对显示屏幕进行放大或缩小等操作。此外，被控装置可以是计算机、移动通信终端、电视或其它用于人机交互的带显示屏幕的装置。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种实现虚拟屏的系统，其特征在于，包括：

处理模块，用于初始化三维立体屏幕；

图像采集模块，用于采集标记的图像；

识别模块，用于识别出所述标记的位置；

所述处理模块还用于检测所述标记的位置是否位于所述三维立体屏幕内，当所述标记的位置位于所述三维立体屏幕内时，产生触摸事件。

2.根据权利要求1所述的实现虚拟屏的系统，其特征在于，所述系统还包括：显示模块，用于在显示屏幕内显示产生所述触摸事件的触点。

3.根据权利要求2所述的实现虚拟屏的系统，其特征在于，所述三维立体屏幕是立方体屏幕，所述立方体屏幕位于以所述显示屏幕所在平面为XY平面的三维坐标系中。

4.根据权利要求3所述的实现虚拟屏的系统，其特征在于，所述识别模块还用于对所述标记的图像进行处理，识别出所述标记的位置，所述标记的位置是标记在所述三维坐标系中的坐标。

5.根据权利要求4所述的实现虚拟屏的系统，其特征在于，所述显示模块还用于获取所述标记的位置，按照预设比例将所述标记的位置转换为屏幕坐标，在显示屏幕内的屏幕坐标位置处显示所述触点。

6.根据权利要求5所述的实现虚拟屏的系统，其特征在于，所述显示模块还用于在显示屏幕内将所述触点显示为预设的图标，获取标记与显示屏幕之间的距离，当所述距离变化时更改所述预设的图标的显示。

7.根据权利要求1至6任一项所述的实现虚拟屏的系统，其特征在于，所述处理模块还用于当所述标记的位置不在所述三维立体屏幕内时，则产生抬起事件；以及还用于根据所述触摸事件和/或抬起事件生成控制指令。

8.一种实现虚拟屏的方法，包括以下步骤：

初始化三维立体屏幕；

采集标记的图像；

识别出标记的位置；

检测所述标记的位置是否位于所述三维立体屏幕内，当所述标记的位置位于所述三维立体屏幕内时，产生触摸事件。

9.根据权利要求8所述的实现虚拟屏的方法，其特征在于，在显示屏幕内显示产生触摸事件的触点。

10.根据权利要求9所述的实现虚拟屏的方法，其特征在于，所述三维立体屏幕是立方体屏幕，所述立方体屏幕位于以所述显示屏幕所在平面为XY平面的三维坐标系中。

11.根据权利要求10所述的实现虚拟屏的方法，其特征在于，所述识别出标记的位置的步骤包括：对标记的图像进行处理，识别出标记的位置，所述标记的位置是标记在三维坐标系中的坐标。

12.根据权利要求11所述的实现虚拟屏的方法，其特征在于，所述在显示屏幕内显示所述触点的步骤包括：获取标记的位置，按照预设比例将标记的位置转换为屏幕坐标，在显示屏幕内的屏幕坐标位置处显示所述触点。

13.根据权利要求12所述的实现虚拟屏的方法，其特征在于，所述方法还包括：在显示屏幕内将所述触点显示为预设的图标；获取标记与显示屏幕之间的距离，当所述距离变化时更改所述预设的图标的显示。

14.根据权利要求8至13任一项所述的实现虚拟屏的方法，其特征在于，所述方法还包括：

当所述标记的位置不在所述三维立体屏幕内时，则产生抬起事件；以及

根据所述触摸事件和/或抬起事件生成控制指令。

Images