CN102542165A - 用于三维虚拟棋盘的操作方法和装置 - Google Patents

Abstract

本发明提出了一种用于三维虚拟棋盘的操作装置和方法。该操作装置用于安装有至少两个摄像头和一个投影仪的平板电脑，其特征在于，所述操作装置包括：图像识别模块，对所述至少两个摄像头捕获的图像进行图像识别；起始动作确定模块，基于图像识别的结果来确定下棋动作的开始，以确定哪个棋子被移动；结束动作确定模块，基于图像识别的结果来确定下棋动作的结束，以确定棋子被移动的最终位置；有效位置确定模块，基于下棋规则来确定棋子被移动的最终位置是否为有效位置；映射模块，如果棋子被移动的最终位置是有效位置，则映射模块将该最终位置映射到该棋子在平板电脑上的坐标位置；棋盘更新模块，更新在平板电脑上显示的棋盘。

Description

用于三维虚拟棋盘的操作方法和装置

技术领域

本发明涉及平板电脑的应用，具体地讲，涉及一种利用平板电脑和投影技术的用于3D虚拟棋盘的操作方法和装置。

背景技术

目前，平板电脑的应用日益增多。然而，将平板电脑与投影技术结合的应用却比较少见。特别是将平板电脑和投影技术结合进行3D虚拟下棋的方法没有出现过。

发明内容

根据本发明的一方面，提供了一种用于三维虚拟棋盘的操作装置，该操作装置用于安装有至少两个摄像头和一个微型三维全息投影仪的平板电脑，所述至少两个摄像头用于捕获用户下棋的图像，微型三维全息投影仪用于将平板电脑上显示的棋盘映射到三维空间，所述操作装置包括：图像识别模块，对所述至少两个摄像头捕获的图像进行图像识别；起始动作确定模块，基于图像识别模块的图像识别结果来确定下棋动作的开始，以确定哪个棋子被移动；结束动作确定模块，基于图像识别模块的图像识别结果来确定下棋动作的结束，以确定棋子被移动的最终位置；有效位置确定模块，基于下棋规则来确定棋子被移动的最终位置是否为有效位置；映射模块，如果有效位置确定模块确定棋子被移动的最终位置是有效位置，则映射模块将该最终位置映射到该棋子在平板电脑上的坐标位置；棋盘更新模块，基于该棋子在平板电脑上的坐标位置来更新在平板电脑上显示的棋盘。

起始动作确定模块对图像识别模块所识别出的手势进行计数，如果在预定时间段内识别出的手势的数量大于或等于预定阈值，则起始动作确定模块确定下棋动作的开始，以确定哪个棋子被移动。

如果图像识别模块针对所述至少两个摄像头捕获的图像在预定时间段内没有识别出手势，则结束动作确定模块确定当前下棋动作结束，以确定棋子被移动的最终位置。

映射模块基于经投影仪投影的影像距平板电脑的距离h和所投影的影像与平板电脑上所显示的图像之间的缩放因子α来将最终位置映射到该棋子在平板电脑上的坐标位置。

映射模块根据在三维空间中投影的影像的坐标(x′，y′，z′)与在平板电脑上显示的图像的坐标(x，y)之间的映射关系来将最终位置映射到该棋子在平板电脑上的坐标位置：该映射关系为：x′＝αx，y′＝αy，z′＝h，其中，α和h为常数，可通过在设置投影仪之后在初始化三维虚拟棋盘时获得这两个常数。

根据本发明的另一方面，提供了一种用于三维虚拟棋盘的操作方法，该操作方法应用于安装有至少两个摄像头和一个微型三维全息投影仪的平板电脑，所述至少两个摄像头用于捕获用户下棋的图像，微型三维全息投影仪用于将平板电脑上显示的棋盘映射到三维空间，所述操作方法包括以下步骤：对所述至少两个摄像头捕获的图像进行图像识别；基于图像识别的结果来确定下棋动作的开始，以确定哪个棋子被移动；基于图像识别的结果来确定下棋动作的结束，以确定棋子被移动的最终位置；基于下棋规则来确定棋子被移动的最终位置是否为有效位置；如果确定棋子被移动的最终位置是有效位置，则将该最终位置映射到该棋子在平板电脑上的坐标位置；基于该棋子在平板电脑上的坐标位置来更新在平板电脑上显示的棋盘。

基于图像识别的结果来确定下棋动作的开始以确定哪个棋子被移动的步骤包括：对图像识别所识别出的手势进行计数，如果在预定时间段内识别出的手势的数量大于或等于预定阈值，则确定下棋动作的开始，以确定哪个棋子被移动。

基于图像识别的结果来确定下棋动作的结束以确定棋子被移动的最终位置的步骤包括：如果针对所述至少两个摄像头捕获的图像在预定时间段内没有识别出手势，则结束动作确定模块确定当前下棋动作结束，以确定棋子被移动的最终位置。

将该最终位置映射到该棋子在平板电脑上的坐标位置的步骤包括：基于经投影仪投影的影像距平板电脑的距离h和所投影的影像与平板电脑上所显示的图像之间的缩放因子α来将最终位置映射到该棋子在平板电脑上的坐标位置。

根据在三维空间中投影的影像的坐标(x′，y′，z′)与在平板电脑上显示的图像的坐标(x，y)之间的映射关系来将最终位置映射到该棋子在平板电脑上的坐标位置：该映射关系为：x′＝αx，y′＝αy，z′＝h，其中，α和h为常数，可通过在设置投影仪之后在初始化三维虚拟棋盘时获得这两个常数。

根据本发明示例性实施例，结合平板电脑和投影技术提出了3D虚拟棋盘的操作装置和操作方法，从而极大地方便了用户操作，向用户提供了娱乐性高的交互方式，增强了人机之间的交互效果。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1是显示平板电脑上显示的图像所在的坐标系和通过微型3D全息投影仪投影后的3D空间影像所在的坐标系之间的关系的示图；

图2-5是显示以在平板电脑上安装4个摄像头C1至C4为例示出每个摄像头所对应的坐标信息的示图；

图6是描述根据本发明示例性实施例的用于3D虚拟棋盘的操作装置的框图；

图7是描述根据本发明示例性实施例的用于3D虚拟棋盘的操作方法的流程图；

图8是显示根据本发明示例性实施例的用于3D虚拟棋盘的操作装置和操作方法的场景的示图。

具体实施方式

现在，将参照附图更充分地描述根据本发明的示例实施例。

为了将平板电脑和投影技术应用于3D虚拟棋盘的操作，在平板电脑上安装有至少两个摄像头和一个微型3D全息投影仪(以下，简称投影仪)。

首先，将通过图1来描述平板电脑上显示的图像所在的坐标系和通过微型3D全息投影仪投影后的3D空间影像所在的坐标系之间的关系。

图1是显示平板电脑上显示的图像所在的坐标系和通过微型3D全息投影仪投影后的3D空间影像所在的坐标系之间的关系的示图。

如图1所示，A点在平板电脑上的二维坐标系中的坐标A(x，y)，经过投影仪缩放之后投影到3D空间所形成的影像A’的坐标A′(x′，y′，z′)；假定平板电脑上所显示的内容被垂直投影，如果经投影仪投影的影像距平板电脑的距离为h，所投影的影像与平板电脑上所显示的图像之间的缩放因子为α，则A的坐标与影像A’的坐标之间的关系可被表示为：x′＝αx，y′＝αy，z′＝h，这里，针对特定的投影，h和α均为常数，可通过在设置投影仪之后在初始化3D虚拟棋盘时获得这两个常数。这样，由于经投影仪投影的影像距平板电脑的距离h为常数，所以仅需要通过两个摄像头捕获图像就可获知手势或棋子所处位置的坐标信息，其中，可通过一个摄像头获得手势或棋子所处位置的x轴的坐标信息，可通过另外一个摄像头获得手势或棋子所处位置的y轴的坐标信息。之后，可通过利用上述投影的影像与平板电脑上显示的图像之间的对应关系以及在3维空间中投影的手势或棋子所处位置的坐标信息来获得在平板电脑上对应的棋子的位置。

下面参照图2-5以4个摄像头为例描述每个位置的摄像头所捕获的图像所能反映的坐标信息。

图2-5以在平板电脑上安装4个摄像头C1至C4为例示出每个摄像头所对应的坐标信息。

参照图2，通过摄像头C1可以获得手1在空间的y轴和z轴的坐标信息，即可获得y轴和z轴方向上的位置信息。

参照图3，通过摄像头C2可以获得手1和手2在空间的x轴和z轴的坐标信息，即可获得x轴和z轴方向上的位置信息。

参照图4，通过摄像头C3可以获得手2在空间的y轴和z轴的坐标信息，即可获得y轴和z轴方向上的位置信息。

参照图5，通过摄像头C4可以获得手1和手2在空间的x轴和z轴的坐标信息，即可获得x轴和z轴方向上的位置信息。

即，由摄像头C1可以获得手1在空间的y轴和z轴方向上的位置信息，由摄像头C2或者C4可以获得手1在空间的x轴和z轴方向上的位置信息，那么，可通过结合摄像头C1、C2或者C1、C4就可获得位于C3方向下棋者的手1在(x，y，z)三维坐标系上的位置信息。

由摄像头C3可以获得手2在空间的y轴和z轴方向上的位置信息，由摄像头C2或者C4可以获得手2在空间的x轴和z轴方向上的位置信息，那么，可通过结合摄像头C3、C2或者C3、C4就可获得位于C1方向下棋者的手2在(x，y，z)三维坐标系上的位置信息。

同理可以通过2个摄像头的2维坐标系组合获得平板电脑其它方向上的对象在3维空间上的坐标位置。事实上，4个摄像头同时工作可捕获了360度范围内的场景全图，可通过对4个方向上的图像进行3D图像重构合成场景全息图。

下面将结合平板电脑上安装的至少两个摄像头和一个投影仪对根据本发明示例性实施例的用于3D虚拟棋盘的操作方法和装置给出详细描述。

图6是描述根据本发明示例性实施例的用于3D虚拟棋盘的操作装置的框图，该操作装置用于安装有至少两个摄像头和一个微型三维全息投影仪的平板电脑，所述至少两个摄像头用于捕获用户下棋的图像，微型三维全息投影仪用于将平板电脑上显示的棋盘映射到三维空间。

参照图6，根据本发明示例性实施例的用于3D虚拟棋盘的操作装置100包括图像识别模块101、起始动作确定模块102、结束动作确定模块103、有效位置确定模块104、映射模块105、棋盘更新模块106。

图像识别模块101对所述至少两个摄像头捕获的图像进行图像识别。

起始动作确定模块102基于图像识别模块101的图像识别结果来确定下棋动作的开始，并确定哪个棋子被移动。

结束动作确定模块103基于图像识别模块101的图像识别结果来确定下棋动作的结束，以确定棋子被移动的最终位置。

有效位置确定模块104基于下棋规则来确定棋子被移动的最终位置是否为有效位置。

如果有效位置确定模块104确定棋子被移动的最终位置是有效位置，则映射模块105将该最终位置映射到该棋子在平板电脑上的坐标位置；

棋盘更新模块106基于该棋子在平板电脑上的坐标位置来更新在平板电脑上显示的棋盘。

下面将对各个模块的操作进行详细描述。

图像识别模块101对至少两个摄像头所捕获的图像进行图像识别以确定是否存在手势。如果图像识别模块101识别出存在手势，则起始动作确定模块102确定该手势是否为用于下棋的起始动作。具体地讲，起始动作确定模块102对图像识别模块101所识别出的手势进行计数，如果在预定时间段内识别出的手势的数量大于或等于预定阈值(例如，5个)，则起始动作确定模块102确定为用于下棋的起始动作，即确定下棋动作的开始，以确定哪个棋子被移动。

之后，如果图像识别模块101针对4个摄像头所捕获的图像在预定时间段内均没有识别出手势，则结束动作确定模块103确定当前下棋动作结束，以确定棋子被移动的最终位置(为了便于描述，将被移动棋子的最后的位置称之为最终位置)。

有效位置确定模块104基于哪个棋子被移动以及被移动到的最终位置根据下棋规则来确定该棋子被移动的位置是否为有效位置。

如果有效位置确定模块104确定所移动的位置是有效位置，则映射模块105将该最终位置映射到该棋子在平板电脑上的坐标位置。

具体地讲，映射模块105基于经投影仪投影的影像距平板电脑的距离h和所投影的影像与平板电脑上所显示的图像之间的缩放因子α来将最终位置映射到该棋子在平板电脑上的坐标位置。

如果有效位置确定模块104确定所移动的位置不是有效位置，则结束针对此次下棋的操作。

映射模块105可根据在三维空间中投影的影像的坐标(x′，y′，z′)与在平板电脑上显示的图像的坐标(x，y)之间的映射关系来将最终位置映射到该棋子在平板电脑上的坐标位置：该映射关系为：x′＝αx，y′＝αy，z′＝h。

例如，被移动棋子在3D空间的最终位置已知，即，被移动棋子在3D空间中最终位置所对应的坐标(x′，y′，h)已知，利用在3D空间投影的影像与平板电脑上显示的图像之间的对应关系x′＝αx，y′＝αy，可获得被移动棋子在平板电脑上最终被移动到的位置(即，该棋子在平板电脑上被更新后的位置)。

棋盘更新模块106基于映射模块105确定的棋子在平板电脑上所对应的位置来更新棋盘。

图7是描述根据本发明示例性实施例的用于3D虚拟棋盘的操作方法的流程图，该操作方法应用于安装有至少两个摄像头和一个微型三维全息投影仪的平板电脑，所述至少两个摄像头用于捕获用户下棋的图像，微型三维全息投影仪用于将平板电脑上显示的棋盘映射到三维空间。

参照图7，在操作S100，对所述至少两个摄像头捕获的图像进行图像识别。

在操作S200，基于图像识别的结果来确定下棋动作的开始，以确定哪个棋子被移动。具体地讲，对图像识别所识别出的手势进行计数，如果在预定时间段内识别出的手势的数量大于或等于预定阈值，则确定下棋动作的开始，以确定哪个棋子被移动。

在操作S300，基于图像识别的结果来确定下棋动作的结束，以确定棋子被移动的最终位置。具体地讲，如果针对所述至少两个摄像头捕获的图像在预定时间段内没有识别出手势，则结束动作确定模块确定当前下棋动作结束，以确定棋子被移动的最终位置。

在操作S400，基于下棋规则来确定棋子被移动的最终位置是否为有效位置。

如果在操作S400确定棋子被移动的最终位置是有效位置，则在操作S500，将该最终位置映射到该棋子在平板电脑上的坐标位置。

具体地讲，可基于经投影仪投影的影像距平板电脑的距离h和所投影的影像与平板电脑上所显示的图像之间的缩放因子α来将最终位置映射到该棋子在平板电脑上的坐标位置，例如，可根据在三维空间中投影的影像的坐标(x′，y′，z′)与在平板电脑上显示的图像的坐标(x，y)之间的映射关系来将最终位置映射到该棋子在平板电脑上的坐标位置：该映射关系为：x′＝αx，y′＝αy，z′＝h。

如果在操作S400确定棋子被移动的最终位置是不是有效位置，则该操作方法结束。

在操作S600，基于该棋子在平板电脑上的坐标位置来更新在平板电脑上显示的棋盘。

图8是显示根据本发明示例性实施例的用于3D虚拟棋盘的操作装置和操作方法的场景的示图。

根据本发明示例性实施例，结合平板电脑和投影技术提出了3D虚拟棋盘的操作装置和操作方法，从而极大地方便了用户操作，向用户提供了娱乐高的交互方式，增强了人机之间的交互效果。

尽管已参照本发明的特定示例性实施例显示和描述了本发明，但本领域的技术人员应该理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (12)

1.一种用于三维虚拟棋盘的操作装置，该操作装置用于安装有至少两个摄像头和一个微型三维全息投影仪的平板电脑，所述至少两个摄像头用于捕获用户下棋的图像，微型三维全息投影仪用于将平板电脑上显示的棋盘映射到三维空间，其特征在于，所述操作装置包括：

图像识别模块，对所述至少两个摄像头捕获的图像进行图像识别；

起始动作确定模块，基于图像识别模块的图像识别结果来确定下棋动作的开始，以确定哪个棋子被移动；

结束动作确定模块，基于图像识别模块的图像识别结果来确定下棋动作的结束，以确定棋子被移动的最终位置；

有效位置确定模块，基于下棋规则来确定棋子被移动的最终位置是否为有效位置；

映射模块，如果有效位置确定模块确定棋子被移动的最终位置是有效位置，则映射模块将该最终位置映射到该棋子在平板电脑上的坐标位置；

棋盘更新模块，基于该棋子在平板电脑上的坐标位置来更新在平板电脑上显示的棋盘。

2.如权利要求1所述的用于三维虚拟棋盘的操作装置，其特征在于，起始动作确定模块对图像识别模块所识别出的手势进行计数，如果在预定时间段内识别出的手势的数量大于或等于预定阈值，则起始动作确定模块确定下棋动作的开始，以确定哪个棋子被移动。

3.如权利要求1所述的用于三维虚拟棋盘的操作装置，其特征在于，如果图像识别模块针对所述至少两个摄像头捕获的图像在预定时间段内没有识别出手势，则结束动作确定模块确定当前下棋动作结束，以确定棋子被移动的最终位置。

4.如权利要求1所述的用于三维虚拟棋盘的操作装置，其特征在于，映射模块基于经投影仪投影的影像距平板电脑的距离h和所投影的影像与平板电脑上所显示的图像之间的缩放因子α来将最终位置映射到该棋子在平板电脑上的坐标位置。

5.如权利要求4所述的用于三维虚拟棋盘的操作装置，其特征在于，映射模块根据在三维空间中投影的影像的坐标(x′，y′，z′)与在平板电脑上显示的图像的坐标(x，y)之间的映射关系来将最终位置映射到该棋子在平板电脑上的坐标位置：该映射关系为：x′＝αx，y′＝αy，z′＝h。

6.如权利要求5所述的用于三维虚拟棋盘的操作装置，其特征在于，α和h为常数，通过在设置投影仪之后在初始化三维虚拟棋盘时获得这两个常数。

7.一种用于三维虚拟棋盘的操作方法，该操作方法应用于安装有至少两个摄像头和一个微型三维全息投影仪的平板电脑，所述至少两个摄像头用于捕获用户下棋的图像，微型三维全息投影仪用于将平板电脑上显示的棋盘映射到三维空间，其特征在于，所述操作方法包括以下步骤：

对所述至少两个摄像头捕获的图像进行图像识别；

基于图像识别的结果来确定下棋动作的开始，以确定哪个棋子被移动；

基于图像识别的结果来确定下棋动作的结束，以确定棋子被移动的最终位置；

基于下棋规则来确定棋子被移动的最终位置是否为有效位置；

如果确定棋子被移动的最终位置是有效位置，则将该最终位置映射到该棋子在平板电脑上的坐标位置；

基于该棋子在平板电脑上的坐标位置来更新在平板电脑上显示的棋盘。

8.如权利要求7所述的用于三维虚拟棋盘的操作方法，其特征在于，基于图像识别的结果来确定下棋动作的开始以确定哪个棋子被移动的步骤包括：

对图像识别所识别出的手势进行计数，如果在预定时间段内识别出的手势的数量大于或等于预定阈值，则确定下棋动作的开始，以确定哪个棋子被移动。

9.如权利要求7所述的用于三维虚拟棋盘的操作方法，其特征在于，基于图像识别的结果来确定下棋动作的结束以确定棋子被移动的最终位置的步骤包括：

如果针对所述至少两个摄像头捕获的图像在预定时间段内没有识别出手势，则结束动作确定模块确定当前下棋动作结束，以确定棋子被移动的最终位置。

10.如权利要求7所述的用于三维虚拟棋盘的操作方法，其特征在于，将该最终位置映射到该棋子在平板电脑上的坐标位置的步骤包括：

基于经投影仪投影的影像距平板电脑的距离h和所投影的影像与平板电脑上所显示的图像之间的缩放因子α来将最终位置映射到该棋子在平板电脑上的坐标位置。

11.如权利要求10所述的用于三维虚拟棋盘的操作方法，其特征在于，根据在三维空间中投影的影像的坐标(x′，y′，z′)与在平板电脑上显示的图像的坐标(x，y)之间的映射关系来将最终位置映射到该棋子在平板电脑上的坐标位置：该映射关系为：x′＝αx，y′＝αy，z′＝h。

12.如权利要求11所述的用于三维虚拟棋盘的操作方法，其特征在于，α和h为常数，通过在设置投影仪之后在初始化三维虚拟棋盘时获得这两个常数。

Images