CN114840088A - 基于空间增强现实的实物交互象棋装置及交互方法 - Google Patents

Abstract

本发明公开了一种基于空间增强现实的实物交互象棋装置及交互方法，装置包括：投影仪，工业相机，计算机，红外滤镜，红外灯，实物交互对象，半透明投影桌，镜面。本发明运行在空间增强现实平台，玩家使用实物棋子进行对弈，过程中会有虚拟动效动态叠加，相较于纯虚拟的传统PC游戏，更具沉浸感、真实性；玩家使用实物棋子就能完成游戏中所有的交互操作，无需佩戴设备，没有交互负载，交互通道与呈现通道完全一致，交互方式自然、高效，符合人机交互的发展趋势。

Description

基于空间增强现实的实物交互象棋装置及交互方法

技术领域

本发明涉及空间增强现实领域以及实物交互技术领域，更具体地说，尤其涉及一种基于空间增强现实的实物交互象棋装置及交互方法。

背景技术

中国象棋是国家级非物质文化遗产、中华民族的文化瑰宝。然而，作为国粹的中国象棋却逐渐淡出人们的视野，承载着悠久汉文化发展历史的国家级非物质文化遗产需要大家一起来保护与传承。因此，我们利用空间增强现实技术，制作一款虚实融合、寓教于乐的象棋交互装置，为玩家带来基于现实又超越现实的游戏体验，提升对弈乐趣，保护与传承非物质文化遗产。

目前市面上的象棋交互方式主要有如下两种，第一种是在日常生活中，玩家直接使用实际的象棋交互，由两人进行下棋对弈，需要红、黑两方玩家都必须掌握象棋的下棋棋法和规则。第二种是数字化的电脑象棋游戏，玩家可以选择和电脑进行人机博弈，也可以连网和其他玩家进行双人博弈，玩家通过鼠标点击显示屏上的象棋棋子来拾取棋子，通过再次点击棋盘来实现落子的效果，并且计算机会计算判断玩家此次下棋操作是否符合象棋博弈的规则，然后给出下棋的响应或不合法响应。

现有的象棋交互存在以下不足之处：在日常生活中象棋交互中下棋需要由两个人完成博弈操作，下棋双方都需要掌握象棋的下棋棋法和规则，并且除了可以拾取棋子和放置棋子之外，没有其他的交互通道反馈，形式较为单一，交互体检差。在数字化的电脑象棋游戏交互中，玩家对象棋的交互操作都是纯虚拟的，只是通过鼠标的移动和点击来实现操作，缺失了下棋博弈中的拾取棋子和放置棋子的手感交互体验，交互输入和视觉输出在空间上不一致。

因此现有象棋交互需要一种提升交互的自然性和体验性的装置，在保留原始实物棋子交互的同时又能体验到基于现实超越现实的虚实融合体验。我们发明了一种基于空间增强现实的实物交互象棋装置，希望通过这款象棋交互装置来提升象棋的交互方式，同时基于我们的调查研究，目前的市面上并没有类似象棋产品装置。

空间增强现实是增强现实的三大形式之一，它利用投影等方式在物理空间中增强显示虚拟内容。在空间增强现实系统中，用户可以在物理空间与虚拟内容交互，具有良好的环境感知、空间感知与协同感知，交互任务执行过程中认知负荷低。实物交互技术是把数字信息连接到日常物理对象或环境中，以增强物理世界,使数字信息可以直接通过用户的双手进行操纵。

然而将上述技术应用于象棋交互领域并不能达到非常完美的效果，且在投影增强显示和移动实物棋子时均会影响计算机标签识别的准确率。

发明内容

本发明针对现有技术的缺陷，提出了一种基于空间增强现实的实物交互象棋装置，该装置支持实物象棋交互和虚实融合的空间增强投影现实。

具体技术方案如下：

一个基于空间增强现实的实物交互象棋装置，所述交互装置包括：投影仪，工业相机，计算机，红外滤镜，红外灯，实物交互对象，半透明投影桌，镜面。

所述投影仪用于投射投影图像，投影仪投射的投影画面通过投影桌底部的镜面反射到半透明投影桌上；

所述工业相机用于实时捕获投影桌面上所有棋子的标签信息和位置信息图像，工业相机通过镜面反射从半透明的玻璃投影桌面底部拍摄图像，将获得图像传输给计算机；

所述计算机用于构建虚拟棋盘和交互界面，创建虚拟坐标系，基于工业相机的图像信息检测获取到投影桌面上所有的实物棋子信息，经过坐标变换后变成虚拟坐标系中的位置信息，通过改变虚拟对象模型，进行所述投影交互效果图像的生成处理；

所诉红外滤镜固定于工业相机镜头前方，用于过滤虚实融合呈现时投影仪投射的可见光画面，提升计算机对图像中标签识别检测的精确度；

所诉红外灯用于给实物交互对象打光，配合红外滤镜完成工业相机的拍摄图像过程；

所诉实物交互对象为3D打印制作的象棋棋子，用于玩家直接使用实物棋子与投影系统进行交互，在实物棋子的底部贴有用于识别检测的ArUco标签；

所诉半透明投影桌为3D打印制作的桌腿和半透明玻璃平面构成，用于玩家摆放实物交互棋子和投影仪投射交互图像；

所诉镜面置于半透明投影桌底部，用于反射实物棋子底部画面和投影图像。

在上述方案基础上，所述的工业相机为Vision Datum LEO 1440S-166um。

在上述方案基础上，所述的投影仪型号为奥图码DM3307。

在上述方案基础上，将玩家下棋交互操作移动的实物棋子起始位置和终止位置通过工业相机捕获后产生对应的棋子移动效果，并精确投影至投影桌面上该实物棋子的相应位置。

该基于空间增强现实的实物交互象棋装置进行实物交互的方法包括以下步骤：

S1、根据中国象棋的内容和规则，设计象棋交互流程，采用计算机构建虚拟象棋棋盘交互界面，创建虚拟坐标系，搭建空间增强现实投影环境装置；

S2、对所述的基于空间增强现实的实物交互象棋装置中的坐标系进行标定；

S3、通过工业相机实时捕获投影桌面上所有的实物棋子信息，获得每一帧实物对象的图像，计算机根据图像中的ArUco标签信息，提取实物交互棋子的ID信息和ArUco标签的四个角点的图像二维坐标信息，根据四个角点坐标取得中心点的坐标信息；

S4、处理实物棋子移动时ArUco标签识别的闪烁性问题，过滤无效的坐标信息；

S5、在虚拟场景中建立与投影桌面一致的虚拟坐标系，将获得的坐标点乘以标定的单应性矩阵，得到ArUco标签在虚拟世界中的棋盘上的归一化坐标，然后根据棋盘的实际尺寸，计算在虚拟世界中的实际坐标，获得最终的坐标信息；

S6、将实物棋子移动的坐标位置放入虚拟坐标系中产生实物棋子移动的交互效果，并将产生的交互效果画面通过投影仪经镜面反射后投射至半透明投影桌面上，实现虚实融合的效果。

优先地，在所诉S1中，搭建空间增强现实投影环境装置，具体包括如下步骤：

S11、将镜面倾斜置于半透明桌下方，投影仪和相机视角均朝向镜面；

S12、调节投影仪和相机，使投影仪画面经镜面反射后能投射到半透明桌面上，使相机通过镜面能够拍摄到完整的半透明桌面图像；

S13、在相机镜头前方加装红外滤镜，用于过滤拍摄图像中的投影仪可见光画面，提升计算机对图像中标签识别检测的精确度；

S14、使用红外灯在半透明桌下方进行照明，使相机能够拍摄到实物交互对象的图像。

优先地，在所述S2中，具体包括如下步骤：

S21、采用单应矩阵相机标定方法将相机坐标系与投影仪坐标系进行标定；

S22、选取四组点，对投影仪的坐标进行归一化处理，通过投影仪归一化坐标和虚拟棋盘的相机坐标计算出单应矩阵，对投影仪坐标系与工业相机坐标系进行标定。

优先地，在所述S3中，计算机基于ArUco Marker根据工业相机图像数据获取实物对象的坐标具体包括如下步骤：

S31、预定义一个4×4_100的字典，根据字典中包含的标记为每一个实物对象生成唯一的ArUco Marker和ID；

S32、将相机拍摄到的实物对象图像数据转换成Mat格式数据，并进行灰度处理，得到预处理后的图像数据；

S33、基于ArUco识别检测出图像中每一个ArUco Marker的ID和其对应的四个角点坐标；

S34、通过四个角点坐标的平均值得到实物对象在相机坐标系中的二维坐标。

优先地，在所述S4中，处理标签识别的闪烁性问题，过滤无效的坐标信息具体包括如下步骤：

S41、预定义一个二维数组存储上一帧图像中所有的标签ID，并且开始计时；

S42、将实时的坐标数据与上一帧进行比较；如果数据发生变化，但是稳定时间不超过0.3s则认定标签识别出现闪烁，丢弃无效数据，重新计时；

S43、如果数据发生变化，但是稳定时间超过0.3s则认定为正常的棋子移动造成的标签位置变化，数据有效，将实时标签数据存储到二维数组，并重新计时。

优先地，在所述S5中，具体包括如下步骤：

S51、将实物对象相机坐标系下的二维坐标乘以预先标定的单应矩阵得到投影仪坐标系下的归一化二维坐标；

S52、将归一化二维坐标乘以虚拟世界中棋盘的尺寸，并且默认棋子运动只能在平面范围内，固定实物棋子在棋盘垂直方向的轴，得到最终在虚拟世界中的三维世界坐标。

本发明的基于空间增强现实的实物交互象棋装置可以更加生动地体会到象棋博弈交互的效果，在保留原始实物棋子交互的同时又能体验到基于现实超越现实的虚实融合效果。

与现有技术相比，本发明的优点和积极效果在于：

1、虚实结合。本发明运行在空间增强现实平台，玩家使用实物棋子进行对弈，过程中会有虚拟动效动态叠加，相较于纯虚拟的传统PC游戏，更具沉浸感、真实性；

2、交互自然。玩家使用实物棋子就能完成游戏中所有的交互操作，无需佩戴设备，没有交互负载，交互通道与呈现通道完全一致，交互方式自然、高效，符合人机交互的发展趋势；

3、体验真实。玩家通过实物棋子进行交互，而不是第三方的控制器，操作体验更加真实、沉浸感强；

附图说明

图1是基于空间增强现实的实物交互象棋装置的硬件装置图。

图2是基于空间增强现实的实物交互象棋装置的软件功能流程图。

图3是本发明的标签识别交互判断算法流程图。

图4是基于空间增强现实的实物交互象棋装置的实物交互算法流程图。

图5是本发明的象棋交互流程图。

图6是本发明的交互效果示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施方式进一步阐述本发明。

步骤1：在图1中所示为基于空间增强现实的实物交互象棋装置的整体硬件结构图。本发明的象棋装置包括投影仪1、工业相机2，计算机3，实物棋子4，半透明投影桌5，镜面6，红外滤镜7，红外灯8。镜面6倾斜置于半透明投影桌5底部，工业相机2和投影仪1与计算机3相连接，其中工业相机2以及投影仪1的视角均要朝向镜面6，投影仪1的投影区域经过镜面6反射后将完整投影画面投射到半透明投影桌5上，工业相机2的视角能通过镜面6的反射覆盖整个半透明投影桌5的底部画面。红外滤镜7装在工业相机2镜头前用于过滤投影仪1的可见光，红外灯8置于半透明投影桌5底用于给工业相机2照明。

实物棋子4是使用3D打印机自行设计制作的中国象棋棋子，在实物棋子4的底部贴有具有唯一标识作用的ArUco标签，放置在半透明投影桌5上；工业相机2通过镜面6的反射实时拍摄半透明投影桌5上所有的实物棋子4的标签图像，将图像传输给计算机3；计算机3通过识别检测和坐标变换，将实物棋子4的位置坐标信息转换成虚拟坐标系中棋盘上的位置，并根据实物棋子4的移动产生交互效果，将交互效果传给投影仪1，由投影仪1将画面实时投影到镜面6，然后镜面6将投影画面反射到半透明投影桌5背部，实现精确配准的虚实融合效果。

步骤2：对所述的基于空间增强现实的实物交互象棋装置中的坐标系进行标定，运用单应性变换转化坐标系。本发明对相机坐标系和投影仪坐标系进行了标定。对投影的虚拟棋盘坐标进行归一化处理，默认长宽各为1，棋盘的四个角坐标抽象为(0,0)(0,1)(1,0)(1,1)，使用这四个角的坐标点，用findHomography函数与实际目标坐标计算Homography单应矩阵，然后根据虚拟棋盘的实际尺寸，计算在虚拟世界中的实际坐标，进行仿射变化。

步骤3：基于ArUco实现实物棋子ID信息和坐标的识别。通过工业相机实时捕获投影桌面上所有的实物棋子信息，获得每一帧实物对象的图像。预定义一个4×4_100的ArUco字典，然后，使用ArUco库中的预定义的字典来新建一个Dictionary字典对象，通过getPredefinedDictionary函数来指定创建的字典对象中的ArUco Marker的尺寸和编码内容信息。计算机根据图像数据中的ArUco标签信息，提取实物交互棋子的ID信息和ArUco标签的四个角点的图像二维坐标信息，使用detectMarkers函数检测ArUco Marker，得到一个存储每个检测到的ArUco标签的四个角点的数组和一个存储每个标签所对应的ID的数组，将四个角点的坐标取平均得到中心点坐标作为实物棋子在相机坐标系下的二维坐标。

步骤4：在图3中所示为交互判断算法流程图，在程序运行时，预定义一个全局二维数组存储下第一帧图像中所有的标签位置信息，并且记录时间为start，当下一帧标签数据到来时，和数组中的标签数据比较，如果数据发生变化，获取时间为end，判断end-start是否大于0.3s，如果小于0.3s，则认为是移动棋子时造成的标签识别闪烁，该坐标数据无效，不存储到二维数组中；如果大于0.3s，则认为棋子移动操作已完成，棋盘状态已稳定，坐标数据有效，并将稳定的棋盘位置数据保存到二维数组中，同时重新获取start时间。

步骤5：根据检测结果获取整个虚拟棋盘上的实物棋子数据，将获得的坐标点乘以标定的单应性矩阵，得到实物棋子在虚拟世界中的棋盘上的归一化坐标，并且默认棋子运动只能在平面范围内，固定实物棋子在棋盘垂直方向的轴，得到最终在虚拟世界中的三维世界坐标，同时将虚拟棋盘切割分成10行9列，将归一化坐标乘以行、列数，得到每个实物棋子所在的行、列信息，将所有实物棋子坐标根据转换后的行、列数据存储到二维数组中对应的下标的位置中。

步骤6：根据实时收到的所有实物棋子数据，对比在虚拟世界中存储的虚拟棋盘上的棋子数据，比较分析得出移动的棋子信息和位置，根据棋子的数据和起始位置与终止位置进行交互动画效果的生成，最后通过投影仪投射出来，经过镜面反射，叠加到实际场景中，达到虚实融合的效果。

如图2所示，基于空间增强现实的实物交互象棋装置的软件功能流程如下：

S0、离线标定投影仪、工业相机、半透明投影桌面的单应关系，得到单应性变换矩阵；

S1、利用工业相机实时拍摄半透明投影桌面上所有的实物棋子图像；

S2、通过计算机算法进行图像识别，提取实物棋子信息和坐标；

S3、计算机根据提取的实物棋子信息和坐标改变虚拟世界中棋盘的棋局状况，实现交互效果的生成；

S4、最后用投影仪将交互效果投影到半透明投影桌上进行展示。

如图4所示，基于空间增强现实的实物交互象棋装置进行实物交互的算法流程如下：

S1、基于ArUco实现实物棋子ID信息和坐标的识别。使用ArUco库中的预定义的字典来新建一个Dictionary字典对象，通过getPredefinedDictionary函数来指定创建的字典对象中的ArUco Marker的尺寸和编码内容信息，使用detectMarkers函数检测ArUcoMarker，得到一个存储每个检测到的ArUco标签的四个角点的数组和一个存储每个标签所对应的ID的数组，将四个角点的坐标取平均得到中心点坐标作为实物棋子的坐标。

S2、运用单应性变换转化坐标系。本发明分别对整个投影区域和投影区域中的虚拟棋盘进行了标定。对整个投影区域和棋盘进行归一化处理，默认长宽各为1，棋盘的四个角坐标抽象为(0,0)(0,1)(1,0)(1,1)，使用这四个角的坐标点，用findHomography函数与实际目标坐标计算Homography单应矩阵，然后根据虚拟棋盘的实际尺寸和投影画面的分辨率，计算在虚拟世界中的实际坐标，进行仿射变化。

S3、虚实融合呈现。计算机根据实时的实物棋子坐标和虚拟世界中的虚拟棋盘上的棋子数据进行比较，分析得到用户交互移动的棋子数据，在Unity中生成相应的棋子模型动画，最后通过投影仪将虚拟效果精确投影到半透明投影桌面上，实现虚实融合的呈现效果。

如图5所示，象棋的交互流程判断如下：

首先，判断该局象棋是否还在进行中，如果是，则根据实时的实物棋子数据与虚拟世界中存储的虚拟棋盘数据进行对比，判断棋盘上的棋子是否有变化，如果棋盘数据发生变化，则判断是否在轮到我方下棋时，对方执行了下棋操作，如果是就提示错误动画，如果不是，则比较虚拟和实际棋子数据是否有两处不同，如果不是，则说明移动时误触其他棋子，提示错误动画，如果是，则判断是否同时拿起两个同一方棋子，如果是，则提示错误动画，如果不是，则根据棋子移动的起点和终点位置判断棋子移动是否合法，如果合法，则产生移动交互动画，如果不合法，则提示错误动画。

此外，如上述那样对本实施方式进行了详细说明，但能够进行没有实质脱离本发明的新事项以及效果的大量变形，这对于本领域技术人员而言是容易理解的。因此，这样的变形例全部包含于本发明的范围。另外，本发明的方法能够适用于各种游戏装置。

Claims (10)

1.基于空间增强现实的实物交互象棋装置，其特征在于：投影仪、工业相机、计算机、红外滤镜、实物交互对象、半透明投影桌和镜面；

所述投影仪用于投射投影图像，投影仪投射的投影画面通过半透明投影桌底部的镜面反射到半透明投影桌上；

所述工业相机用于实时捕获投影桌面上所有棋子的标签信息和位置信息图像，工业相机通过镜面反射从半透明的玻璃投影桌面底部拍摄图像，将获得图像传输给计算机；

所述计算机用于构建虚拟棋盘和交互界面，创建虚拟坐标系，基于工业相机的图像信息检测获取到半透明投影桌面上所有的实物棋子信息，经过坐标变换后变成虚拟坐标系中的位置信息，通过改变虚拟对象模型，进行所述投影交互效果图像的生成处理；

所述的红外滤镜固定于工业相机镜头前方，用于过滤虚实融合呈现时投影仪投射的可见光画面，提升计算机对图像中标签识别检测的精确度；

所述的实物交互对象为3D打印制作的象棋棋子，用于玩家直接使用实物棋子与投影系统进行交互，在实物棋子的底部贴有用于识别检测的ArUco标签；

所述的半透明投影桌用于玩家摆放实物交互棋子和投影仪投射交互图像；

所述的镜面置于半透明投影桌底部，用于反射实物棋子底部画面和投影图像。

2.根据权利要求1所述的基于空间增强现实的实物交互象棋装置，其特征在于：还包括红外灯，所述的红外灯用于给实物交互对象打光，配合红外滤镜完成工业相机的拍摄图像过程。

3.根据权利要求1所述的基于空间增强现实的实物交互象棋装置，其特征在于：所述的半透明投影桌为3D打印制作的桌腿和半透明玻璃平面构成。

4.根据权利要求1所述的基于空间增强现实的实物交互象棋装置，其特征在于：所述的工业相机为Vision Datum LEO 1440S-166um；所述的投影仪型号为奥图码DM3307。

5.根据权利要求1所述的基于空间增强现实的实物交互象棋装置的交互方法，其特征在于：包括以下步骤：

S1、根据中国象棋的内容和规则，设计象棋交互流程，采用计算机构建虚拟象棋棋盘交互界面，创建虚拟坐标系，搭建空间增强现实投影环境装置；

S2、对所述的基于空间增强现实的实物交互象棋装置中的坐标系进行标定；

S3、通过工业相机实时捕获投影桌面上所有的实物棋子信息，获得每一帧实物对象的图像，计算机根据图像中的ArUco标签信息，提取实物交互棋子的ID信息和ArUco标签的四个角点的图像二维坐标信息，根据四个角点坐标取得中心点的坐标信息；

S4、处理实物棋子移动时ArUco标签识别的闪烁性问题，过滤无效的坐标信息；

S5、在虚拟场景中建立与投影桌面一致的虚拟坐标系，将获得的坐标点乘以标定的单应性矩阵，得到ArUco标签在虚拟世界中的棋盘上的归一化坐标，然后根据棋盘的实际尺寸，计算在虚拟世界中的实际坐标，获得最终的坐标信息；

S6、将实物棋子移动的坐标位置放入虚拟坐标系中产生实物棋子移动的交互效果，并将产生的交互效果画面通过投影仪经镜面反射后投射至半透明投影桌面上，实现虚实融合的效果。

6.根据权利要求5所述的基于空间增强现实的实物交互象棋装置的交互方法，其特征在于：所述的搭建空间增强现实投影环境装置，具体包括如下步骤：

S11、将镜面倾斜置于半透明桌下方，投影仪和相机视角均朝向镜面；

S12、调节投影仪和相机，使投影仪画面经镜面反射后能投射到半透明桌面上，使相机通过镜面能够拍摄到完整的半透明桌面图像；

S13、在相机镜头前方加装红外滤镜，用于过滤拍摄图像中的投影仪可见光画面，提升计算机对图像中标签识别检测的精确度；

S14、使用红外灯在半透明桌下方进行照明，使相机能够拍摄到实物交互对象的图像。

7.根据权利要求5所述的基于空间增强现实的实物交互象棋装置的交互方法，其特征在于：所述的对所述的基于空间增强现实的实物交互象棋装置中的坐标系进行标定；具体包括如下步骤：

S21、采用单应矩阵相机标定方法将相机坐标系与投影仪坐标系进行标定；

S22、选取四组点，对投影仪的坐标进行归一化处理，通过投影仪归一化坐标和虚拟棋盘的相机坐标计算出单应矩阵，对投影仪坐标系与工业相机坐标系进行标定。

8.根据权利要求5所述的基于空间增强现实的实物交互象棋装置的交互方法，其特征在于：S3中的所述的取得中心点的坐标信息，具体包括如下步骤：

S31、预定义一个4×4_100的字典，根据字典中包含的标记为每一个实物对象生成唯一的ArUco Marker和ID；

S32、将相机拍摄到的实物对象图像数据转换成Mat格式数据，并进行灰度处理，得到预处理后的图像数据；

S33、基于ArUco识别检测出图像中每一个ArUco Marker的ID和其对应的四个角点坐标；

S34、通过四个角点坐标的平均值得到实物对象在相机坐标系中的二维坐标。

9.根据权利要求5所述的基于空间增强现实的实物交互象棋装置的交互方法，其特征在于：处理实物棋子移动时ArUco标签识别的闪烁性问题，过滤无效的坐标信息；具体包括如下步骤：

S41、预定义一个二维数组存储上一帧图像中所有的标签ID，并且开始计时；

S42、将实时的坐标数据与上一帧进行比较；如果数据发生变化，但是稳定时间不超过0.3s则认定标签识别出现闪烁，丢弃无效数据，重新计时；

S43、如果数据发生变化，但是稳定时间超过0.3s则认定为正常的棋子移动造成的标签位置变化，数据有效，将实时标签数据存储到二维数组，并重新计时。

10.根据权利要求5所述的基于空间增强现实的实物交互象棋装置的交互方法，其特征在于：在虚拟场景中建立与投影桌面一致的虚拟坐标系，将获得的坐标点乘以标定的单应性矩阵，得到ArUco标签在虚拟世界中的棋盘上的归一化坐标，然后根据棋盘的实际尺寸，计算在虚拟世界中的实际坐标，获得最终的坐标信息；在所述S5中，具体包括如下步骤：

S51、将实物对象相机坐标系下的二维坐标乘以预先标定的单应矩阵得到投影仪坐标系下的归一化二维坐标；

S52、将归一化二维坐标乘以虚拟世界中棋盘的尺寸，并且默认棋子运动只能在平面范围内，固定实物棋子在棋盘垂直方向的轴，得到最终在虚拟世界中的三维世界坐标。

Images