CN110767063A - 一种非接触交互式电子沙盘及工作方法 - Google Patents

一种非接触交互式电子沙盘及工作方法 Download PDF

Info

Publication number
CN110767063A
CN110767063A CN201911089207.XA CN201911089207A CN110767063A CN 110767063 A CN110767063 A CN 110767063A CN 201911089207 A CN201911089207 A CN 201911089207A CN 110767063 A CN110767063 A CN 110767063A
Authority
CN
China
Prior art keywords
sand table
coordinates
pointing object
dimensional image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911089207.XA
Other languages
English (en)
Inventor
董益华
林俊光
张浙波
张曦
罗海华
叶飞宇
徐明阳
赵申轶
俞李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Co Ltd Of Zhe Neng Institute For Research And Technology
Zhejiang Energy Group Research Institute Co Ltd
Original Assignee
Zhejiang Co Ltd Of Zhe Neng Institute For Research And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Co Ltd Of Zhe Neng Institute For Research And Technology filed Critical Zhejiang Co Ltd Of Zhe Neng Institute For Research And Technology
Priority to CN201911089207.XA priority Critical patent/CN110767063A/zh
Publication of CN110767063A publication Critical patent/CN110767063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B17/00—Teaching reading
    • G09B17/02—Line indicators or other guides or masks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Abstract

本发明涉及一种非接触交互式电子沙盘及工作方法，包括：指向物，摄像头、实体沙盘、激光笔、处理器和多媒体播放器；所述指向物为手或长条，长条为具有一定长度的物体；所述实体沙盘的各区域坐标与音视屏信息已预先匹配。本发明的有益效果是：解决了当沙盘模型较大或者有玻璃隔离时，无法用手触摸实物模型来获取实物信息的问题；摄像头对沙盘模型进行监控和视频图像采集，能够在用户用手或棍子等条形物体指向实体沙盘模型时，对视频图像进行处理以获取指向物延伸方向与实体模型的表面相交的点的坐标，从而使得媒体播放器能够根据所述坐标匹配对应的音视频数据信息，进而能够使得媒体播放器能够播放相应的音视频，即实现了与实物模型的交互。

Description

一种非接触交互式电子沙盘及工作方法
技术领域
本发明涉及电子沙盘领域，尤其包括一种非接触交互式电子沙盘及工作方法。
背景技术
通过沙盘可以形象的将建筑物、地形模拟出来，因此沙盘常常应用在军事指挥和教学中。
目前，电子沙盘主要使用场景是通过用手触摸沙盘模型特定位置来获取语音、视频讲解，但是当沙盘模型较大或者有玻璃隔离时，却无法用手触摸实物模型来获取实物信息。
因此，提出一种非接触交互式电子沙盘及工作方法，就显得尤为重要。
发明内容
本发明的目的是克服现有技术中的不足，提供一种非接触交互式电子沙盘及工作方法，使得能够实现用手或棍体与实物模型进行交互。
这种非接触交互式电子沙盘，包括：指向物，摄像头、实体沙盘、激光笔、处理器和多媒体播放器；所述指向物为手或长条，长条为具有一定长度的物体；所述实体沙盘位于摄像头的视觉范围内；所述实体沙盘的各区域坐标与音视屏信息已预先匹配。
这种非接触交互式电子沙盘的工作方法，具体包括如下步骤：
步骤1、用摄像头对沙盘模型进行监测，并实时采集摄像头视觉范围内的三维图像；
步骤2、通过将当前时刻的三维图像与上一时刻的三维图像进行对比，识别出三维图像内出现的新的物体：当步骤1采集到的三维图像包括指向物时，进行步骤3；当步骤1采集到的三维图像包括用激光笔在实体沙盘表面形成红色光斑区域时，进行步骤4；
步骤3、用处理器获取指向物的延伸方向与实体沙盘的表面相交的点的坐标；当指向物大于或等于设定长度时，将设定长度的三维图像按照设定体积进行划分；
步骤3.1、将指向物本身的三维图像按照设定体积划分出一定量的方格，并在每个方格中取几何中心坐标点，获取指向物的坐标点群；
步骤3.2、将指向物的坐标点群偏差较大的坐标舍弃，生成一个圆柱形来包裹指向物的坐标点群；
步骤3.3、取圆柱形的延伸方向在实体沙盘表面形成的圆形范围的几何中心点作为相交的坐标点；获取相交坐标点的坐标；
步骤4、确定红色光斑区域的几何中心坐标；
步骤5、处理器将获得的坐标转换成坐标信息并发送到多媒体播放器；多媒体播放器对坐标消息进行接收和响应，根据指向物的延伸方向与实体沙盘的表面相交点的坐标，或红色光斑区域的几何中心坐标来匹配对应的音视频数据信息，播放相应的音视频。
作为优选，步骤1所述摄像头随着所述非接触交互式电子沙盘的启动而启动。
作为优选，步骤3所述设定体积的长、宽、高分别为2mm、2mm、2mm。
作为优选，步骤5所述多媒体播放器为具有信息处理和控制功能智能终端。
作为优选，步骤5所述多媒体播放器播放的音视频通过现场的展示屏进行显示。
本发明的有益效果是：本发明解决了当沙盘模型较大或者有玻璃隔离时，却无法用手触摸实物模型来获取实物信息的问题；通过摄像头对沙盘模型进行监控和视频图像采集，从而能够在用户用手或棍子等条形物体指向实体沙盘模型时，对视频图像进行处理以获取指向物延伸方向与实体模型的表面相交的点的坐标，从而能够使得媒体播放器能够根据所述坐标匹配对应的音视频数据信息，进而能够使得媒体播放器能够播放相应的音视频，即实现了与实物模型的交互。
附图说明
图1为本发明的非接触交互式电子沙盘的工作流程图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
本发明实施例提供一种非接触交互式电子沙盘及工作方法，使得能够用手或棍体与实物模型进行交互。
这种非接触交互式电子沙盘，包括：指向物，摄像头、实体沙盘、激光笔、处理器和多媒体播放器；所述指向物为手或长条，长条为具有一定长度的物体，比如，棍子、笔等；所述实体沙盘位于摄像头的视觉范围内；所述实体沙盘的各区域坐标与音视屏信息已预先匹配。
这种非接触交互式电子沙盘的工作方法，具体包括如下步骤：
步骤1、用摄像头对沙盘模型进行监测，并实时采集摄像头视觉范围内的三维图像；
步骤2、通过将当前时刻的三维图像与上一时刻的三维图像进行对比，识别出三维图像内出现的新的物体：当步骤1采集到的三维图像包括指向物时，进行步骤3；当步骤1采集到的三维图像包括用激光笔在实体沙盘表面形成红色光斑区域时，进行步骤4；
步骤3、用处理器获取指向物的延伸方向与实体沙盘的表面相交的点的坐标；当指向物大于或等于设定长度时，将设定长度的三维图像按照设定体积进行划分；
步骤3.1、将指向物本身的三维图像按照设定体积划分出一定量的方格，并在每个方格中取几何中心坐标点，获取指向物的坐标点群；
步骤3.2、将指向物的坐标点群偏差较大的坐标舍弃，生成一个圆柱形来包裹指向物的坐标点群；
步骤3.3、取圆柱形的延伸方向在实体沙盘表面形成的圆形范围的几何中心点作为相交的坐标点；获取相交坐标点的坐标；
步骤4、确定红色光斑区域的几何中心坐标；
步骤5、处理器将获得的坐标转换成坐标信息并发送到多媒体播放器；多媒体播放器对坐标消息进行接收和响应，根据指向物的延伸方向与实体沙盘的表面相交点的坐标，或红色光斑区域的几何中心坐标来匹配对应的音视频数据信息，播放相应的音视频。
所述摄像头随着所述非接触交互式电子沙盘的启动而启动。
所述设定体积的长、宽、高分别为2mm、2mm、2mm。
所述多媒体播放器播放的音视频通过现场的展示屏进行显示。
下面以直接用手指指向实体沙盘为例进一步阐述本发明：
首先，摄像头随着非接触交互式电子沙盘的启动而启动，摄像头启动后，开始对沙盘模型进行监测并实时采集摄像头视觉范围内的三维图像。通过实时将当前时刻的三维图像与上一时刻三维图像进行对比，识别出新的物体，例如手臂，在识别出手臂后，处理器会截取手臂前部15cm的长度，并获取以手指为主体的三维图像，并将该三维图像按照2mm×2mm×2mm体积，划分出大量的小方格，并在每个小方格中取一个中心坐标点，这样就将一个连续的实物图像转换为离散的坐标点群。另外，通过算法将表面偏差坐标点群较大的坐标舍弃，生成一个圆柱形来包裹坐标点群，圆柱形的延伸方向(即手指延伸方向)与实物模型表面相交处会形成一个圆形范围，其几何中心就是所需要的坐标。
处理器将获得的坐标转换成坐标信息并发送到多媒体播放器，多媒体播放器会对坐标消息进行接收和响应，由于所述实体沙盘的各区域坐标与音视屏信息已预先匹配，故多媒体播放器便可以直接根据坐标点进行音视屏的播放。

Claims (6)

1.一种非接触交互式电子沙盘，其特征在于，包括：指向物，摄像头、实体沙盘、激光笔、处理器和多媒体播放器；所述指向物为手或长条，长条为具有一定长度的物体；所述实体沙盘位于摄像头的视觉范围内；所述实体沙盘的各区域坐标与音视屏信息已预先匹配。
2.一种如权利要求1所述的非接触交互式电子沙盘的工作方法，其特征在于，具体包括如下步骤：
步骤1、用摄像头对沙盘模型进行监测，并实时采集摄像头视觉范围内的三维图像；
步骤2、通过将当前时刻的三维图像与上一时刻的三维图像进行对比，识别出三维图像内出现的新的物体：当步骤1采集到的三维图像包括指向物时，进行步骤3；当步骤1采集到的三维图像包括用激光笔在实体沙盘表面形成红色光斑区域时，进行步骤4；
步骤3、用处理器获取指向物的延伸方向与实体沙盘的表面相交的点的坐标；当指向物大于或等于设定长度时，将设定长度的三维图像按照设定体积进行划分；
步骤3.1、将指向物本身的三维图像按照设定体积划分出一定量的方格，并在每个方格中取几何中心坐标点，获取指向物的坐标点群；
步骤3.2、将指向物的坐标点群偏差较大的坐标舍弃，生成一个圆柱形来包裹指向物的坐标点群；
步骤3.3、取圆柱形的延伸方向在实体沙盘表面形成的圆形范围的几何中心点作为相交的坐标点；获取相交坐标点的坐标；
步骤4、确定红色光斑区域的几何中心坐标；
步骤5、处理器将获得的坐标转换成坐标信息并发送到多媒体播放器；多媒体播放器对坐标消息进行接收和响应，根据指向物的延伸方向与实体沙盘的表面相交点的坐标，或红色光斑区域的几何中心坐标来匹配对应的音视频数据信息，播放相应的音视频。
3.根据权利要求2所述的非接触交互式电子沙盘的工作方法，其特征在于：步骤1所述摄像头随着所述非接触交互式电子沙盘的启动而启动。
4.根据权利要求2所述的非接触交互式电子沙盘的工作方法，其特征在于：步骤3所述设定体积的长、宽和高分别为2mm、2mm和2mm。
5.根据权利要求2所述的非接触交互式电子沙盘的工作方法，其特征在于：步骤5所述多媒体播放器为具有信息处理和控制功能智能终端。
6.根据权利要求2所述的非接触交互式电子沙盘的工作方法，其特征在于：步骤5所述多媒体播放器播放的音视频通过现场的展示屏进行显示。
CN201911089207.XA 2019-11-08 2019-11-08 一种非接触交互式电子沙盘及工作方法 Pending CN110767063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911089207.XA CN110767063A (zh) 2019-11-08 2019-11-08 一种非接触交互式电子沙盘及工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911089207.XA CN110767063A (zh) 2019-11-08 2019-11-08 一种非接触交互式电子沙盘及工作方法

Publications (1)

Publication Number Publication Date
CN110767063A true CN110767063A (zh) 2020-02-07

Family

ID=69336887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911089207.XA Pending CN110767063A (zh) 2019-11-08 2019-11-08 一种非接触交互式电子沙盘及工作方法

Country Status (1)

Country Link
CN (1) CN110767063A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053225A (zh) * 2021-03-15 2021-06-29 杭州智澜展览展示有限公司 一种电控多模块城市沙盘

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5954517A (en) * 1996-12-10 1999-09-21 Bernd Hagenlocher Interactive sand box for training
CN201535853U (zh) * 2009-04-01 2010-07-28 黄振强 交互式沙盘系统
CN102937831A (zh) * 2011-08-15 2013-02-20 王秉劼 一种交互式电子沙盘手势识别方法
CN104050859A (zh) * 2014-05-08 2014-09-17 南京大学 可交互数字化立体沙盘系统
CN106354460A (zh) * 2016-08-29 2017-01-25 武汉仁光科技有限公司 一种实物交互系统及其交互方法
CN206021226U (zh) * 2016-06-29 2017-03-15 天涯社区网络科技股份有限公司 一种摄像头识别激光交互系统
CN106952348A (zh) * 2017-03-28 2017-07-14 云南大学 一种基于红外手势识别的数字建筑模型展示方法及系统
CN110209285A (zh) * 2019-06-19 2019-09-06 哈尔滨拓博科技有限公司 一种基于手势控制的沙盘展示系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5954517A (en) * 1996-12-10 1999-09-21 Bernd Hagenlocher Interactive sand box for training
CN201535853U (zh) * 2009-04-01 2010-07-28 黄振强 交互式沙盘系统
CN102937831A (zh) * 2011-08-15 2013-02-20 王秉劼 一种交互式电子沙盘手势识别方法
CN104050859A (zh) * 2014-05-08 2014-09-17 南京大学 可交互数字化立体沙盘系统
CN206021226U (zh) * 2016-06-29 2017-03-15 天涯社区网络科技股份有限公司 一种摄像头识别激光交互系统
CN106354460A (zh) * 2016-08-29 2017-01-25 武汉仁光科技有限公司 一种实物交互系统及其交互方法
CN106952348A (zh) * 2017-03-28 2017-07-14 云南大学 一种基于红外手势识别的数字建筑模型展示方法及系统
CN110209285A (zh) * 2019-06-19 2019-09-06 哈尔滨拓博科技有限公司 一种基于手势控制的沙盘展示系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113053225A (zh) * 2021-03-15 2021-06-29 杭州智澜展览展示有限公司 一种电控多模块城市沙盘

Similar Documents

Publication Publication Date Title
JP6644035B2 (ja) 手袋インタフェースオブジェクト及び方法
CN106383587B (zh) 一种增强现实场景生成方法、装置及设备
US9654734B1 (en) Virtual conference room
CN106705837B (zh) 一种基于手势的物体测量方法及装置
US10726625B2 (en) Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
WO2019100753A1 (zh) 视频生成方法、装置和电子设备
CN112198959A (zh) 虚拟现实交互方法、装置及系统
CN105867599A (zh) 一种手势操控方法及装置
CN110209285B (zh) 一种基于手势控制的沙盘展示系统
JP2016517580A (ja) コンテンツ配信のセグメンテーション
CN109448131B (zh) 一种基于Kinect的虚拟钢琴弹奏系统的构建方法
US10582190B2 (en) Virtual training system
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
CN110767063A (zh) 一种非接触交互式电子沙盘及工作方法
CN114449162B (zh) 一种播放全景视频的方法、装置、计算机设备及存储介质
CN106371755B (zh) 多屏互动方法与系统
CN107257506A (zh) 多画面特效加载方法和装置
CN108543308B (zh) 虚拟场景中的虚拟对象的选择方法和装置
TWI825004B (zh) 輸入方法、裝置、設備、系統和電腦儲存媒體
CN202854704U (zh) 一种3d显示的人机交互的设备
CN105488694B (zh) 一种农作物品种的虚拟3d展示方法和系统
CN102880288A (zh) 一种3d显示的人机交互的方法、装置以及设备
CN108874141B (zh) 一种体感浏览方法和装置
CN109840948B (zh) 基于增强现实的目标物体的投放方法和装置
CN114327140B (zh) 屏幕触控方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200207