CN110209285A - 一种基于手势控制的沙盘展示系统 - Google Patents

Abstract

本发明提出一种基于手势控制的沙盘展示系统，所述系统包括系统中控、沙盘展台和数据管理后台；所述系统中控是系统的控制核心，控制沙盘展台及数据管理后台正常运行，并根据应用需求及用户指令调用相应功能；所述沙盘展台包括实体沙盘、显示终端和手势交互终端；所述数据管理后台用于存储及维护展示内容相关数据，为沙盘展台提供支撑，并支持接入系统的其他客户端进行数据查询。该系统可用于以沙盘为核心的内容展示，具备手势交互及数据可视化功能，并支持与内容相关的数据处理与维护。本发明所述系统兼具实体沙盘良好的观感体验和虚拟沙盘丰富的数据支撑。展示效果好，交互体验好，便于使用及维护。

Description

一种基于手势控制的沙盘展示系统

技术领域

本发明属于手势控制技术领域，特别是涉及一种基于手势控制的沙盘展示系统。

背景技术

沙盘是根据区域地貌制成的微缩模型，在会议交流、商业展示、仿真模拟等领域均有广泛应用。目前，沙盘包含实物型和虚拟型两大类。其中，实物型以实体微缩模型为主，辅以声、光、电等多媒体技术，提供丰富的交互体验；虚拟型依托于计算机模拟技术，通过显示设备呈现目标区域的仿真模型，具有较高的灵活度和较大的信息量。此外，一些新型沙盘提供了多样化的人机交互体验，如手势控制、VR等，为用户提供了更为便捷的操作方式。

目前，纯虚拟沙盘由于图形显示技术的限制，观感体验低于实体沙盘。部分方案依赖于可穿戴设备，如VR眼镜、手套等，会给使用者带来额外负担。实体沙盘中，所采用的多媒体设备多为简单的灯光、音效。部分较为复杂的系统依赖于投影设备，对展厅布局有一定要求，从而限制了沙盘的应用场景。多数只针对特定场景定制，并且不具备数据库支持，展示信息量有限。交互方式上，目前的沙盘多依赖于单一传感器，因此交互方式单一，功能有限，所提供的操作体验仍有提升空间。

发明内容

本发明目的是为了解决现有的技术问题，提出了一种基于手势控制的沙盘展示系统。该系统可用于以沙盘为核心的内容展示，具备手势交互及数据可视化功能，并支持与内容相关的数据处理与维护。本发明所述系统兼具实体沙盘良好的观感体验和虚拟沙盘丰富的数据支撑。展示效果好，交互体验好，便于使用及维护。

本发明是通过以下技术方案实现的，本发明提出一种基于手势控制的沙盘展示系统，所述系统包括系统中控、沙盘展台和数据管理后台；所述系统中控是系统的控制核心，启动时，系统中控控制系统中各个设备的初始化流程，载入运行配置数据；运行时，实时监控各个设备运行状态，控制沙盘展台及数据管理后台正常运行，并根据应用需求及用户指令调用相应功能；所述沙盘展台包括实体沙盘、显示终端和手势交互终端；所述实体沙盘放置于展台箱体内，箱体内还安装有摄像头，用于捕获整个沙盘图像；所述显示终端采用半透明显示设备通过图形界面向用户呈现，覆盖于沙盘上方，从用户角度观察，显示内容与沙盘叠加；所述展台内安装有手势交互终端，用于检测用户面部位置及手势动作；所述数据管理后台用于存储及维护展示内容相关数据，为沙盘展台提供支撑，并支持接入系统的其他客户端进行数据查询。

进一步地，所述实体沙盘是展示内容的微缩模型；沙盘上的各部件附加有特定标记，通过安装在箱体内的摄像头捕获整个沙盘图像，并传至系统中控，系统中控对图像中的沙盘内容及特定标记进行分析及处理。

进一步地，所述手势交互终端包括数据处理模块和n个传感器，n为大于等于1的正整数；所述传感器用于捕获用户图像和用户手势动作；所述数据处理模块用于对传感器的输出信号进行处理，检测当前用户面部位置及手势动作并剔除异常检测结果，同时将筛选后的数据传输至系统中控，以供后续处理分析。

进一步地，所述数据管理后台包括数据库和数据服务器；所述数据库用于系统数据的存储及维护，数据库由系统中控控制，存储有系统配置数据及展示数据，能够将数据发送至系统中控及沙盘展台，同时，数据库能够接收由系统中控传入的指令及数据，对现有数据进行维护；所述数据服务器用于向接入系统的其他客户端提供数据查询服务。

进一步地，所述系统中控包括实体沙盘标定模块、用户面部检测模块、图形界面透视角度计算模块、手势命令识别模块及展示信息变更模块。

进一步地，所述数据管理后台中的数据库中包含所展示沙盘的数字化三维模型，利用箱体内部摄像头及特定标记可进行标定，并与数字化三维模型匹配；所述实体沙盘标定模块具体操作步骤如下：

步骤a、读取沙盘三维模型；

步骤b、利用展台箱体内摄像头采集实体沙盘图像；

步骤c、检测所拍摄图像内的特定标记；

步骤d、根据摄像头视角和沙盘实际尺寸，将图像中标记点二维坐标与沙盘三维模型匹配；

步骤e、输出标记点三维坐标，结束。

进一步地，所述用户面部检测模块具体操作步骤为：

步骤f、由手势交互终端捕获用户图像，并传入系统中控；

步骤g、利用Haar、LBP或HOG检测算法结合深度图像阈值分割，来检测用户面部；

步骤h、输出用户面部坐标，结束。

进一步地，所述图形界面透视角度计算模块具体操作步骤为：

步骤i、读取实体沙盘标定过程中得到的沙盘标记点坐标；

步骤j、读取用户面部检测过程中得到的用户面部坐标；

步骤k、计算用户在观察沙盘上各标记点时，对应的视角；

步骤l、利用强行透视法，根据用户视角及图形界面上各元素位置，计算图形界面透视角，进而得到各元素经透视变换后的形状。

进一步地，所述手势命令识别模块具体操作步骤为：

步骤m、从手势交互终端读取用户手势动作；

步骤n、读取由图形界面透视角度计算过程中得到的图形界面布局；

步骤o、根据用户手势动作及图形界面布局判断用户当前的操作对象；

步骤p、根据当前操作对象，将用户当前手势动作映射为预定的控制命令。

进一步地，所述展示信息变更模块具体操作步骤为：

步骤q、重新检测沙盘标记点；

步骤r、如果沙盘标记点有变化，执行步骤s，否则执行步骤u；

步骤s、进行实体沙盘标定；

步骤t、根据标定结果重新计算图形界面布局；

步骤u、结束。

本发明所带来的有益效果：

1、本发明兼具实体沙盘良好的观感体验和虚拟沙盘丰富的数据支撑。

2、利用半透明显示器进行数据可视化，与实体沙盘叠加，展示效果好。

3、能够根据实体沙盘内容自适应调整展示数据，便于维护。

4、采用多传感器，通过多种方式协同捕获用户动作，从而提供更高精度的手势识别及更为丰富的交互体验。

5、具备用户使用数据统计功能。

6、具备数据服务器，支持客户端连接，也可接入其他数据系统进行数据传输。

附图说明

图1为本发明所述基于手势控制的沙盘展示系统框图；

图2为沙盘展台硬件结构示意图；

图3为实体沙盘标定流程图；

图4为用户面部检测流程图；

图5为图形界面透视角度计算流程图；

图6为手势命令识别流程图；

图7为展示信息变更流程图；

图8为单人手势控制楼盘沙盘展示系统硬件结构示意图；

图9为多人手势控制楼盘沙盘展示系统沙盘展台硬件结构俯视图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1和图2，本发明提出一种基于手势控制的沙盘展示系统，所述系统包括系统中控、沙盘展台和数据管理后台；所述系统中控是系统的控制核心，启动时，系统中控控制系统中各个设备的初始化流程，载入运行配置数据；运行时，实时监控各个设备运行状态，控制沙盘展台及数据管理后台正常运行，并根据应用需求及用户指令调用相应功能；所述沙盘展台包括实体沙盘、显示终端和手势交互终端；所述实体沙盘放置于展台箱体内，箱体内还安装有摄像头，用于捕获整个沙盘图像；所述显示终端采用半透明显示设备通过图形界面向用户呈现，覆盖于沙盘上方，从用户角度观察，显示内容与沙盘叠加；所述展台内安装有手势交互终端，用于检测用户面部位置及手势动作；所述数据管理后台用于存储及维护展示内容相关数据，为沙盘展台提供支撑，并支持接入系统的其他客户端进行数据查询。

所述实体沙盘是展示内容的微缩模型；沙盘上的各部件附加有特定标记，通过安装在箱体内的摄像头捕获整个沙盘图像，并传至系统中控，系统中控对图像中的沙盘内容及特定标记进行分析及处理。

显示终端用于向用户提供视觉反馈，实现所选数据的可视化展示。显示终端由系统中控控制，接收数据管理后台所发送的数据，通过图形界面向用户呈现。硬件上，采用半透明显示器作为显示设备，显示内容与实体沙盘叠加，具有良好的视觉效果。

所述手势交互终端包括数据处理模块和n个传感器，n为大于等于1的正整数；所述传感器用于捕获用户图像和用户手势动作；所述数据处理模块用于对传感器的输出信号进行处理，检测当前用户面部位置及手势动作并剔除异常检测结果，同时将筛选后的数据传输至系统中控，以供后续处理分析。

所述传感器包括以下几类：

红外激光传感器：由红外激光发射器和接收器组成，当目标物体遮挡光路时，接收器输出电平会发生变化，通常输出为二值信号。

单目摄像头：最为常见的普通摄像头，可以捕获二维图像。通过附加滤光片可以仅拍摄红外图像。

深度摄像头：在单目摄像头基础上，可以额外测量目标与摄像头间的距离信息，从而实现更丰富的手势识别功能。

电场传感器：在指定空间位置布置一组电极，通电后在该位置形成电场，当目标物体靠近时会改变电场分布，导致电极电压发生变化，从而实现物体检测。

触控膜：贴附于设备表面，当用户手部触摸时会输出电信号，从而捕获平面手势。

根据实际应用需求，传感器选用上述的一种或多种，数量为一个或多个。

所述数据管理后台包括数据库和数据服务器；所述数据库用于系统数据的存储及维护，数据库由系统中控控制，存储有系统配置数据及展示数据，能够将数据发送至系统中控及沙盘展台，同时，数据库能够接收由系统中控传入的指令及数据，对现有数据进行维护；所述数据服务器用于向接入系统的其他客户端提供数据查询服务。当数据库内所存储数据发生变化时，客户端可实时获取数据变化。通过数据服务器，展示系统可与其他数据系统进行数据交换，从而提供数据同步、数据统计、远程查询或其他数据服务。

系统中控集成有数据处理功能。沙盘展台所需的主要数据处理环节均由系统中控完成，所述系统中控包括实体沙盘标定模块、用户面部检测模块、图形界面透视角度计算模块、手势命令识别模块及展示信息变更模块。系统中控还是数据管理后台的管理接口。系统管理员可通过系统中控直接对数据库内数据进行操作。同时，用户在沙盘展台的操作经系统中控分析后也可对数据库中相应数据进行增补，并对用户使用数据进行统计。

所述数据管理后台中的数据库中包含所展示沙盘的数字化三维模型，利用箱体内部摄像头及特定标记可进行标定，并与数字化三维模型匹配；如图3所示，所述实体沙盘标定模块具体操作步骤如下：

步骤a、读取沙盘三维模型；

步骤b、利用展台箱体内摄像头采集实体沙盘图像；

步骤c、检测所拍摄图像内的特定标记；

步骤d、根据摄像头视角和沙盘实际尺寸，将图像中标记点二维坐标与沙盘三维模型匹配；

步骤e、输出标记点三维坐标，结束。

如图4所示，用户图像可利用手势交互终端所包含的摄像头进行捕获，传至系统中控进行处理分析，得到用户面部位置。所述用户面部检测模块具体操作步骤为：

步骤f、由手势交互终端捕获用户图像，并传入系统中控；

步骤g、利用Haar、LBP或HOG检测算法结合深度图像阈值分割，来检测用户面部；

步骤h、输出用户面部坐标，结束。

如图5所示，为了提高沙盘展台的视觉体验，使得从用户角度观察，图形界面元素具有“悬浮”感，需要采用强行透视法对图形界面进行调整，因此需要对透视角进行计算，所述图形界面透视角度计算模块具体操作步骤为：

步骤i、读取实体沙盘标定过程中得到的沙盘标记点坐标；

步骤j、读取用户面部检测过程中得到的用户面部坐标；

步骤k、计算用户在观察沙盘上各标记点时，对应的视角；

步骤l、利用强行透视法，根据用户视角及图形界面上各元素位置，计算图形界面透视角，进而得到各元素经透视变换后的形状。

如图6所示，所述手势命令识别模块具体操作步骤为：

步骤m、从手势交互终端读取用户手势动作；

步骤n、读取由图形界面透视角度计算过程中得到的图形界面布局；

步骤o、根据用户手势动作及图形界面布局判断用户当前的操作对象；

步骤p、根据当前操作对象，将用户当前手势动作映射为预定的控制命令。

如图7所示，展示过程中，实体沙盘展示内容可能需要调整，则系统中控自动检测沙盘变化，并更新展示数据及图形界面，所述展示信息变更模块具体操作步骤为：

步骤q、重新检测沙盘标记点；

步骤r、如果沙盘标记点有变化，执行步骤s，否则执行步骤u；

步骤s、进行实体沙盘标定；

步骤t、根据标定结果重新计算图形界面布局；

步骤u、结束。

实例1--单人手势控制楼盘沙盘展示系统

系统主要硬件列表如表1所示，硬件结构如图所示。

表1单人手势控制楼盘沙盘展示系统主要硬件列表

系统启动时，系统中控首先从服务器中读取系统运行配置，随后调用单目摄像头拍摄楼盘沙盘图像，进行实体沙盘标定，标定完成后初始化图形界面并通过半透明显示器显示。

深度摄像头2实时捕获用户图像，并将图像传至系统中控进行面部检测及图形界面透视角度计算。深度摄像头1实时捕获用户手势动作，通过嵌入式计算平台进行初步处理分析，再将结果传入系统中控进行识别。

使用时，从用户角度观察，每个楼体上都叠加有一个虚拟环形标志。环形标志通过半透明显示器显示，并具有透视效果。随用户观察角度不同，环形标志形状相应发生变化。当用户指向某一楼体上的环形标志时，将显示该栋楼的详细信息，挥手可切换信息面板，握拳关闭面板。

当某栋楼所有住宅已售空时，工作人员可将该栋楼模型从沙盘中移除。系统中控每隔固定时间调用单目摄像头检测沙盘变化，当检测到模型移除时，将自动进行展示信息变更。已移除的模型处将不再显示圆形标记，用户也无法再查看该处信息。当新的楼盘开售时，工作人员可以添加新的模型，系统中控将自动添加新楼盘信息。

系统具备数据统计功能。当用户查看某栋楼的某个户型，并与其他户型进行比较时，数据管理后台将记录用户的查看内容，从而可以统计某户型的受欢迎程度。

系统还具备数据查询功能。当用户在沙盘展台与销售顾问确定购买某住宅时，系统中控将该住宅标记为“已锁定”，并更新数据库。前台及财务部门工作人员可连接到系统数据服务器实时获取楼盘变更，并查询住宅面积、售价、交付日期等信息，自动生成报表，从而简化工作流程。

实例2—多人手势控制楼盘沙盘展示系统

本实施例为一种支持多人手势控制的楼盘沙盘展示系统。系统中控及数据管理后台使用的硬件与上一实例相同。沙盘展台硬件列表如表2所示，硬件结构俯视图如图所示。

表2多人手势控制楼盘沙盘展示系统主要硬件列表

系统工作流程与实例1基本相同，区别在于，系统不再具备面部捕获功能，图形界面采用固定布局。半透明显示器上贴有触控膜，与临近的电场传感器组成触控区。使用时，系统通过电场传感器检测用户接近，激活与其对应的触控膜，并在相应位置显示图形界面。当不使用时，触控区用于播放视频广告。

以上对本发明所提出的一种基于手势控制的沙盘展示系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于手势控制的沙盘展示系统，其特征在于：所述系统包括系统中控、沙盘展台和数据管理后台；所述系统中控是系统的控制核心，启动时，系统中控控制系统中各个设备的初始化流程，载入运行配置数据；运行时，实时监控各个设备运行状态，控制沙盘展台及数据管理后台正常运行，并根据应用需求及用户指令调用相应功能；所述沙盘展台包括实体沙盘、显示终端和手势交互终端；所述实体沙盘放置于展台箱体内，箱体内还安装有摄像头，用于捕获整个沙盘图像；所述显示终端采用半透明显示设备通过图形界面向用户呈现，覆盖于沙盘上方，从用户角度观察，显示内容与沙盘叠加；所述展台内安装有手势交互终端，用于检测用户面部位置及手势动作；所述数据管理后台用于存储及维护展示内容相关数据，为沙盘展台提供支撑，并支持接入系统的其他客户端进行数据查询。

2.根据权利要求1所述的系统，其特征在于：所述实体沙盘是展示内容的微缩模型；沙盘上的各部件附加有特定标记，通过安装在箱体内的摄像头捕获整个沙盘图像，并传至系统中控，系统中控对图像中的沙盘内容及特定标记进行分析及处理。

3.根据权利要求1或2所述的系统，其特征在于：所述手势交互终端包括数据处理模块和n个传感器，n为大于等于1的正整数；所述传感器用于捕获用户图像和用户手势动作；所述数据处理模块用于对传感器的输出信号进行处理，检测当前用户面部位置及手势动作并剔除异常检测结果，同时将筛选后的数据传输至系统中控，以供后续处理分析。

4.根据权利要求1所述的系统，其特征在于：所述数据管理后台包括数据库和数据服务器；所述数据库用于系统数据的存储及维护，数据库由系统中控控制，存储有系统配置数据及展示数据，能够将数据发送至系统中控及沙盘展台，同时，数据库能够接收由系统中控传入的指令及数据，对现有数据进行维护；所述数据服务器用于向接入系统的其他客户端提供数据查询服务。

5.根据权利要求2所述的系统，其特征在于：所述系统中控包括实体沙盘标定模块、用户面部检测模块、图形界面透视角度计算模块、手势命令识别模块及展示信息变更模块。

6.根据权利要求5所述的系统，其特征在于：所述数据管理后台中的数据库中包含所展示沙盘的数字化三维模型，利用箱体内部摄像头及特定标记可进行标定，并与数字化三维模型匹配；所述实体沙盘标定模块具体操作步骤如下：

步骤a、读取沙盘三维模型；

步骤b、利用展台箱体内摄像头采集实体沙盘图像；

步骤c、检测所拍摄图像内的特定标记；

步骤d、根据摄像头视角和沙盘实际尺寸，将图像中标记点二维坐标与沙盘三维模型

匹配；

步骤e、输出标记点三维坐标，结束。

7.根据权利要求6所述的系统，其特征在于：所述用户面部检测模块具体操作步骤为：

步骤f、由手势交互终端捕获用户图像，并传入系统中控；

步骤g、利用Haar、LBP或HOG检测算法结合深度图像阈值分割，来检测用户面部；

步骤h、输出用户面部坐标，结束。

8.根据权利要求7所述的系统，其特征在于：所述图形界面透视角度计算模块具体操作步骤为：

步骤i、读取实体沙盘标定过程中得到的沙盘标记点坐标；

步骤j、读取用户面部检测过程中得到的用户面部坐标；

步骤k、计算用户在观察沙盘上各标记点时，对应的视角；

步骤l、利用强行透视法，根据用户视角及图形界面上各元素位置，计算图形界面透视角，进而得到各元素经透视变换后的形状。

9.根据权利要求8所述的系统，其特征在于：所述手势命令识别模块具体操作步骤为：

步骤m、从手势交互终端读取用户手势动作；

步骤n、读取由图形界面透视角度计算过程中得到的图形界面布局；

步骤o、根据用户手势动作及图形界面布局判断用户当前的操作对象；

步骤p、根据当前操作对象，将用户当前手势动作映射为预定的控制命令。

10.根据权利要求9所述的系统，其特征在于：所述展示信息变更模块具体操作步骤为：

步骤q、重新检测沙盘标记点；

步骤r、如果沙盘标记点有变化，执行步骤s，否则执行步骤u；

步骤s、进行实体沙盘标定；

步骤t、根据标定结果重新计算图形界面布局；

步骤u、结束。