CN106816077B - 基于二维码和增强现实技术的互动沙盘展示方法 - Google Patents

Abstract

本发明提供一种基于二维码和增强现实技术的互动沙盘展示方法，包括以下步骤：实体平面地图沙盘包括多个二维实物模型；向每个所述二维实物模型的外表面固定二维码标签；对于每个所述二维实物模型，建立与其唯一对应的三维实物模型。参观人员手持移动终端，启动APP后扫描实体平面地图沙盘所粘贴的二维码标签，此时，可将拍摄视野内所有二维码标签所对应的建筑物三维模型显示到对应位置，实现真实场景与虚拟场景结合的显示模式；另外，每个二维码标签还绑定有建筑物说明介绍信息，当所显示的建筑物三维模型被点击后，能够以web模式显示该建筑物的说明介绍，并通过解说语音实现自助导游，由此全面增强参观人员的参观体验。

Description

基于二维码和增强现实技术的互动沙盘展示方法

技术领域

本发明属于互动沙盘展示技术领域，具体涉及一种基于二维码和增强现实技术的互动沙盘展示方法。

背景技术

沙盘是一种模型，用于将地形地貌或建筑物小型化展示，从而方便人们观察，目前，已广泛应用在军事和商业活动中。

然而，传统沙盘主要为实体平面地图沙盘，虽然具有制作简便的优点，但是，在展示效果以及观众体验方面，仍然具有较大的局限性，已无法满足人们的需求。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于二维码和增强现实技术的互动沙盘展示方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于二维码和增强现实技术的互动沙盘展示方法，包括以下步骤：

步骤1，制作实体平面地图沙盘，所述实体平面地图沙盘包括多个二维实物模型；向每个所述二维实物模型的外表面固定二维码标签；其中，所述二维码标签与所述二维实物模型一一对应；

步骤2，对于每个所述二维实物模型，建立与其唯一对应的三维实物模型；对于每个所述三维实物模型，均进行以下处理：

步骤2.1，根据三维实物模型的对称度，设定m个观察视角，分别记为：P1、P2…Pm；其中，m为自然数，所述观察视角是指：当将所述三维实物模型摆放到实体平面地图沙盘的对应位置后，观察点O1与三维实物模型的中心点O2的连线投影到二维码标签所在平面后，统一在二维码标签所在平面按统一规则建立XY坐标系后，O1-O2投影线在XY坐标系中与X轴正方向的夹角；

步骤2.2，在各个观察视角下分别拍摄所述三维实物模型，得到各个观察视角下的三维模型图片；其中，每张所述三维模型图片绑定三个属性，分别为：观察视角、该三维模型图片所对应的二维实物模型所固定的二维码标签ID以及对称度描述信息；

步骤3，将所有三维实物模型所对应的各个观察视角下的三维模型图片存入三维模型图片库；

步骤4，移动终端对实体平面地图沙盘进行扫描，并对扫描到的每一帧图像进行处理，判断扫描到的图像中是否存在至少一个二维码图像区域，如果存在，则执行步骤5；

步骤5，所述移动终端对扫描到的所述二维码图像区域进行进一步分析，得到二维码标签ID、二维码图像区域面积以及实际拍摄视角；

步骤6，移动终端在解算得到步骤5的实际拍摄视角后，以所述实际拍摄视角以及二维码标签ID为查询关键词，向服务器发送查询请求；

步骤7，所述服务器查询所述三维模型图片库，获得与二维码标签ID相同的一组不同观察视角下的三维模型图片组，然后，综合对称度描述信息，从所述三维模型图片组中筛选出与实际拍摄视角最接近的特定三维模型图片；并根据所述二维码图像区域面积获得对所述特定三维模型图片进行缩放处理的缩放比例，然后，将所述特定三维模型图片以及所述缩放比例发送给所述移动终端；

步骤8，所述移动终端根据所述缩放比例对所述特定三维模型图片进行缩放处理后，将缩放处理后的三维模型图片显示到移动终端扫描视野所扫描到的对应二维码标签位置。

优选的，步骤2.1中，如果所述三维实物模型为不规则模型，则共设置8个观察视角，分别为：27.5度、72.5度、117.5度、162.5度、207.5度、252.5度、297.5度和342.5度；

如果所述三维实物模型为中心对称模型，则共设置1个观察视角，为45度；

如果所述三维实物模型为轴对称模型，则共设置2个观察视角，分别为45度和135度。

优选的，步骤2.1中，观察点O1与三维实物模型的中心点O2的连线投影到水平面后，O1-O2连线与水平面的夹角为45度，并且，观察点O1位于三维实物模型的上方。

优选的，步骤4具体为：

步骤4.1，移动终端对扫描到的图像依次进行灰度变化、图像滤波、降噪和二值化处理；

步骤4.2，对经步骤4.1处理后的二值化图像进行图像识别，识别得到若干个位置探测图形；

步骤4.3，根据属于同一二维码的三个位置探测图形所组成的面积最小的原则，对识别到的若干个位置探测图形进行聚类分割处理，由此划分得到若干个二维码图像。

优选的，步骤5具体为：

步骤5.1，对于识别到的每个所述二维码图像，在所述二维码图像所在平面按统一规则建立XY坐标系；

步骤5.2，将摄像机位置A到二维码图像的中心位置B所组成的直线AB投影到步骤5.1所建立的XY坐标系，读取投影线与X轴正方向的夹角，该夹角即为实际拍摄视角。

优选的，步骤7中，缩放比例通过以下原则得到：

如果二维码图像区域面积大于设定面积值，则对特定三维模型图片进行放大处理，并且，随着二维码图像区域面积的增大，放大倍数相应增大；

如果二维码图像区域面积小于设定面积值，则对特定三维模型图片进行缩小处理，并且，随着二维码图像区域面积的减小，缩小倍数相应增大。

优选的，步骤8之后，还包括：

步骤9，对于每个二维码标签ID，还绑定有URL链接，该URL链接所对应的网页为对应建筑物的文字、图片及音视频介绍信息；

步骤10，当已显示到二维码标签位置的三维模型图片被点击后，移动终端自动重定向到URL链接所对应的网页。

本发明提供的基于二维码和增强现实技术的互动沙盘展示方法具有以下优点：

(1)参观人员手持移动终端，启动APP后扫描实体平面地图沙盘所粘贴的二维码标签，此时，可将拍摄视野内所有二维码标签所对应的建筑物三维模型显示到对应位置，实现真实场景与虚拟场景结合的显示模式；另外，每个二维码标签还绑定有建筑物说明介绍信息，当所显示的建筑物三维模型被点击后，能够以web模式显示该建筑物的说明介绍，并通过解说语音实现自助导游，由此全面增强参观人员的参观体验；

(2)还具有算法实现过程简单的优点，可加快移动终端对建筑物三维模型的显示速度，进一步增强参观人员的参观体验。

附图说明

图1为本发明提供的基于二维码和增强现实技术的互动沙盘展示方法的流程示意图；

图2为本发明提供的一种XY坐标系的建立方法示意图；

图3为本发明提供的不规则模型设置8个观察视角的示意图；

图4为本发明提供的轴对称模型设置2个观察视角的示意图；

图5为本发明提供的8个观察视角的标注示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于二维码和增强现实技术的互动沙盘展示方法，应用于由带有二维码标签的实体平面地图沙盘、智能移动终端(手机、平板电脑)和服务器组成的系统中，本发明是一种实时地计算移动手持设备摄影头影像视野内拍摄到的二维码实时的位置及角度，并结合相应图像的技术，在屏幕上将虚拟三维模型套在现实世界并进行互动，增强了用户的沉浸感。本发明主要思路为：

对需要展示的建筑三维模型以及文字、图像、视频等介绍信息汇总和整理后，建立相关的数据库，并上传至服务器。

在实体平面地图沙盘的每个二维实物模型的外表面固定二维码标签；

C/S架构下，在智能移动终端(智能手机、平板电脑)开发展示专用App，参观人员启动App软件后，可以自动激活设备摄像头，镜头对实体平面地图沙盘进行扫描，对于扫描到的每个二维码标签，App软件根据视野内二维码信息，向服务器发送建筑三维模型以及介绍信息的查询请求，App软件在接收到服务器返回的建筑三维模型以及介绍信息后，利用增强现实技术，在二维码标签位置显示对应建筑的三维模型，实现真实场景与虚拟场景结合的显示模式，使平面的航拍的实体平面地图沙盘转化为增强现实沙盘；对于参观者感兴趣的建筑物，参观者可以单击建筑物三维模型，APP软件便以web模式显示该建筑的具体文字、图片和视频介绍信息，并通过解说语音实现自助导游，由此全面提高参考观的参观体验。

具体实现方式包括以下步骤：

步骤1，制作实体平面地图沙盘，所述实体平面地图沙盘包括多个二维实物模型；向每个所述二维实物模型的外表面固定二维码标签；其中，所述二维码标签与所述二维实物模型一一对应；

步骤2，对于每个所述二维实物模型，建立与其唯一对应的三维实物模型；对于每个所述三维实物模型，均进行以下处理：

步骤2.1，根据三维实物模型的对称度，设定m个观察视角，分别记为：P1、P2…Pm；其中，m为自然数，所述观察视角是指：当将所述三维实物模型摆放到实体平面地图沙盘的对应位置后，观察点O1与三维实物模型的中心点O2的连线投影到二维码标签所在平面后，统一在二维码标签所在平面按统一规则建立XY坐标系后，O1-O2投影线在XY坐标系中与X轴正方向的夹角；

另外，观察点O1与三维实物模型的中心点O2的连线投影到水平面后，O1-O2连线与水平面的夹角为45度，并且，观察点O1位于三维实物模型的上方。此处限定主要原因为：由于参考者手持移动终端扫描实体平面地图沙盘时，参考者通常位于实体平面地图沙盘的斜上方，所以，为了提高三维模型展示的逼真性，在制作不同视角下的三维模型图片时，观察视点同样设定在三维实物模型的上方，即：为斜向上45度位置。

另外，二维码标签所在平面按统一规则建立XY坐标系的方法多样，参考图2，为一种XY坐标系的建立方法示意图。本发明对如何建立XY坐标系并不限制，只要保证本步骤所建立的XY坐标系和后续步骤5.1所建立的XY坐标系一致即可。

步骤2.2，在各个观察视角下分别拍摄所述三维实物模型，得到各个观察视角下的三维模型图片；其中，每张所述三维模型图片绑定三个属性，分别为：观察视角、该三维模型图片所对应的二维实物模型所固定的二维码标签ID以及对称度描述信息；

本步骤中，根据三维实物模型的对称度不同，设置不同的观察视角，具体可采用以下方式：

如果所述三维实物模型为不规则模型，则共设置8个观察视角，如图3所示，为不规则模型设置8个观察视角的示意图；如图5所示，为8个观察视角的标注示意图，分别为：27.5度、72.5度、117.5度、162.5度、207.5度、252.5度、297.5度和342.5度；

如果所述三维实物模型为中心对称模型，则共设置1个观察视角，为45度；

如果所述三维实物模型为轴对称模型，则共设置2个观察视角，如图4所示，为轴对称模型设置2个观察视角的示意图，分别为45度和135度。

本步骤中，根据三维实物模型对称度的不同，建立不同的观察视角，主要原因为：由于具有对称度的三维实物模型，其在相对称的两个面的形状相同或相对称，因此，对于轴对称的三维实物模型，假设其左侧面和右侧面对称，那么，只需要将左侧面的图片存储到数据库即可，后续步骤中，当观察视角朝向右侧面时，只需要通过对左侧面进行对称变换，即可呈现右侧面，由此可降低数据库存储空间。

当然，根据观察精度的要求不同，也可以设置其他数量的观察视角，本发明对此并不限制。

步骤3，将所有三维实物模型所对应的各个观察视角下的三维模型图片存入三维模型图片库；

步骤4，移动终端对实体平面地图沙盘进行扫描，并对扫描到的每一帧图像进行处理，判断扫描到的图像中是否存在至少一个二维码图像区域，如果存在，则执行步骤5；

本步骤具体为：

步骤4.1，移动终端对扫描到的图像依次进行灰度变化、图像滤波、降噪和二值化处理；

步骤4.2，对经步骤4.1处理后的二值化图像进行图像识别，识别得到若干个位置探测图形；

同一个二维码图像有三个位置探测图形，位置探测图形为二维码图像三个角点位置的方形黑色单元。

步骤4.3，根据属于同一二维码的三个位置探测图形所组成的面积最小的原则，对识别到的若干个位置探测图形进行聚类分割处理，由此划分得到若干个二维码图像。

步骤5，所述移动终端对扫描到的所述二维码图像区域进行进一步分析，得到二维码标签ID、二维码图像区域面积以及实际拍摄视角；

本步骤具体为：

步骤5.1，对于识别到的每个所述二维码图像，在所述二维码图像所在平面按统一规则建立XY坐标系；

步骤5.2，将摄像机位置A到二维码图像的中心位置B所组成的直线AB投影到步骤5.1所建立的XY坐标系，读取投影线与X轴正方向的夹角，该夹角即为实际拍摄视角。

步骤6，移动终端在解算得到步骤5的实际拍摄视角后，以所述实际拍摄视角以及二维码标签ID为查询关键词，向所述服务器发送查询请求；

步骤7，所述服务器查询所述三维模型图片库，获得与二维码标签ID相同的一组不同观察视角下的三维模型图片组，然后，综合对称度描述信息，从所述三维模型图片组中筛选出与实际拍摄视角最接近的特定三维模型图片；并根据所述二维码图像区域面积获得对所述特定三维模型图片进行缩放处理的缩放比例，然后，将所述特定三维模型图片以及所述缩放比例发送给所述移动终端；

其中，缩放比例通过以下原则得到：

如果二维码图像区域面积大于设定面积值，则对特定三维模型图片进行放大处理，并且，随着二维码图像区域面积的增大，放大倍数相应增大；

如果二维码图像区域面积小于设定面积值，则对特定三维模型图片进行缩小处理，并且，随着二维码图像区域面积的减小，缩小倍数相应增大。

根据二维码图像区域面积对三维模型图片进行缩放处理，可实现距离参观者视线越近的平面模型，显示更大的三维模型图片；而距离参考者视线越远的平面模型，显示更小的三维模型图片，提高参观者参观的逼真体验。

步骤8，所述移动终端根据所述缩放比例对所述特定三维模型图片进行缩放处理后，将缩放处理后的三维模型图片显示到移动终端扫描视野所扫描到的对应二维码标签位置。

步骤8之后，还包括：

步骤9，对于每个二维码标签ID，还绑定有URL链接，该URL链接所对应的网页为对应建筑物的文字、图片及音视频介绍信息；

步骤10，当已显示到二维码标签位置的三维模型图片被点击后，移动终端自动重定向到URL链接所对应的网页。

由此可见，本发明提供的基于二维码和增强现实技术的互动沙盘展示方法具有以下优点：

(1)参观人员手持移动终端，启动APP后扫描实体平面地图沙盘所粘贴的二维码标签，此时，可将拍摄视野内所有二维码标签所对应的建筑物三维模型显示到对应位置，实现真实场景与虚拟场景结合的显示模式；另外，每个二维码标签还绑定有建筑物说明介绍信息，当所显示的建筑物三维模型被点击后，能够以web模式显示该建筑物的说明介绍，并通过解说语音实现自助导游，由此全面增强参观人员的参观体验；

(2)还具有算法实现过程简单的优点，可加快移动终端对建筑物三维模型的显示速度，进一步增强参观人员的参观体验。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于二维码和增强现实技术的互动沙盘展示方法，其特征在于，包括以下步骤：

步骤1，制作实体平面地图沙盘，所述实体平面地图沙盘包括多个二维实物模型；向每个所述二维实物模型的外表面固定二维码标签；其中，所述二维码标签与所述二维实物模型一一对应；

步骤2，对于每个所述二维实物模型，建立与其唯一对应的三维实物模型；对于每个所述三维实物模型，均进行以下处理：

步骤2.1，根据三维实物模型的对称度，设定m个观察视角，分别记为：P1、P2…Pm；其中，m为自然数，所述观察视角是指：当将所述三维实物模型摆放到实体平面地图沙盘的对应位置后，观察点O1与三维实物模型的中心点O2的连线投影到二维码标签所在平面后，统一在二维码标签所在平面按统一规则建立XY坐标系后，O1-O2投影线在XY坐标系中与X轴正方向的夹角；

步骤2.2，在各个观察视角下分别拍摄所述三维实物模型，得到各个观察视角下的三维模型图片；其中，每张所述三维模型图片绑定三个属性，分别为：观察视角、该三维模型图片所对应的二维实物模型所固定的二维码标签ID以及对称度描述信息；

步骤3，将所有三维实物模型所对应的各个观察视角下的三维模型图片存入三维模型图片库；

步骤4，移动终端对实体平面地图沙盘进行扫描，并对扫描到的每一帧图像进行处理，判断扫描到的图像中是否存在至少一个二维码图像区域，如果存在，则执行步骤5；

步骤5，所述移动终端对扫描到的所述二维码图像区域进行进一步分析，得到二维码标签ID、二维码图像区域面积以及实际拍摄视角；

步骤6，移动终端在解算得到步骤5的实际拍摄视角后，以所述实际拍摄视角以及二维码标签ID为查询关键词，向服务器发送查询请求；

步骤7，所述服务器查询所述三维模型图片库，获得与二维码标签ID相同的一组不同观察视角下的三维模型图片组，然后，综合对称度描述信息，从所述三维模型图片组中筛选出与实际拍摄视角最接近的特定三维模型图片；并根据所述二维码图像区域面积获得对所述特定三维模型图片进行缩放处理的缩放比例，然后，将所述特定三维模型图片以及所述缩放比例发送给所述移动终端；

步骤8，所述移动终端根据所述缩放比例对所述特定三维模型图片进行缩放处理后，将缩放处理后的三维模型图片显示到移动终端扫描视野所扫描到的对应二维码标签位置。

2.根据权利要求1所述的基于二维码和增强现实技术的互动沙盘展示方法，其特征在于，步骤2.1中，如果所述三维实物模型为不规则模型，则共设置8个观察视角，分别为：27.5度、72.5度、117.5度、162.5度、207.5度、252.5度、297.5度和342.5度；

如果所述三维实物模型为中心对称模型，则共设置1个观察视角，为45度；

如果所述三维实物模型为轴对称模型，则共设置2个观察视角，分别为45度和135度。

3.根据权利要求1所述的基于二维码和增强现实技术的互动沙盘展示方法，其特征在于，步骤2.1中，观察点O1与三维实物模型的中心点O2的连线投影到水平面后，O1-O2连线与水平面的夹角为45度，并且，观察点O1位于三维实物模型的上方。

4.根据权利要求1所述的基于二维码和增强现实技术的互动沙盘展示方法，其特征在于，步骤4具体为：

步骤4.1，移动终端对扫描到的图像依次进行灰度变化、图像滤波、降噪和二值化处理；

步骤4.2，对经步骤4.1处理后的二值化图像进行图像识别，识别得到若干个位置探测图形；

步骤4.3，根据属于同一二维码的三个位置探测图形所组成的面积最小的原则，对识别到的若干个位置探测图形进行聚类分割处理，由此划分得到若干个二维码图像。

5.根据权利要求4所述的基于二维码和增强现实技术的互动沙盘展示方法，其特征在于，步骤5具体为：

步骤5.1，对于识别到的每个所述二维码图像，在所述二维码图像所在平面按统一规则建立XY坐标系；

步骤5.2，将摄像机位置A到二维码图像的中心位置B所组成的直线AB投影到步骤5.1所建立的XY坐标系，读取投影线与X轴正方向的夹角，该夹角即为实际拍摄视角。

6.根据权利要求1所述的基于二维码和增强现实技术的互动沙盘展示方法，其特征在于，步骤7中，缩放比例通过以下原则得到：

如果二维码图像区域面积大于设定面积值，则对特定三维模型图片进行放大处理，并且，随着二维码图像区域面积的增大，放大倍数相应增大；

如果二维码图像区域面积小于设定面积值，则对特定三维模型图片进行缩小处理，并且，随着二维码图像区域面积的减小，缩小倍数相应增大。

7.根据权利要求1所述的基于二维码和增强现实技术的互动沙盘展示方法，其特征在于，步骤8之后，还包括：

步骤9，对于每个二维码标签ID，还绑定有URL链接，该URL链接所对应的网页为对应建筑物的文字、图片及音视频介绍信息；

步骤10，当已显示到二维码标签位置的三维模型图片被点击后，移动终端自动重定向到URL链接所对应的网页。