CN105373224A - 一种基于普适计算的混合现实游戏系统及方法 - Google Patents

一种基于普适计算的混合现实游戏系统及方法 Download PDF

Info

Publication number
CN105373224A
CN105373224A CN201510690423.5A CN201510690423A CN105373224A CN 105373224 A CN105373224 A CN 105373224A CN 201510690423 A CN201510690423 A CN 201510690423A CN 105373224 A CN105373224 A CN 105373224A
Authority
CN
China
Prior art keywords
user
virtual
player
labyrinth
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510690423.5A
Other languages
English (en)
Other versions
CN105373224B (zh
Inventor
杨承磊
盖伟
董明达
林铖
李慧宇
秦溥
孙晓雯
张珂玮
尹晓雅
刘韬
孟祥旭
陈潇瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201510690423.5A priority Critical patent/CN105373224B/zh
Publication of CN105373224A publication Critical patent/CN105373224A/zh
Application granted granted Critical
Publication of CN105373224B publication Critical patent/CN105373224B/zh
Priority to US15/251,252 priority patent/US10109113B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于普适计算的混合现实游戏系统及方法，该系统允许玩家在任意空闲空间、随时随地设计迷宫布局，通过绘图工具绘制迷宫平面图；利用手机拍照快速建立相应的三维虚拟场景；利用虚拟现实眼镜，通过玩家头部的真实转动即可感受沉浸式体验；利用体感设备对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自然交互。本系统不需要专门的物理空间、昂贵的虚拟现实设备，用户也不需要训练，而且可以在任何时间任何地方游戏。

Description

一种基于普适计算的混合现实游戏系统及方法
技术领域
本发明涉及一种基于普适计算的混合现实游戏系统及方法。
背景技术
虚拟现实是一种能够提供沉浸式体验的计算机系统，可以模仿我们周围的世界。通过三维立体显示，用户可以完全沉浸在计算机生成的虚拟世界里。在2012年电子娱乐博览会上，Oculus公司展出了基于虚拟现实技术的头戴式显示器OculusRift。它通过安装在头盔上的运动传感器跟踪头部运动，并调节显示视角，给用户带来逼真的沉浸式体验。但是，虚拟现实技术使用户沉浸到一个完全虚拟的世界中去，把用户与真实世界完全隔离，用户完全沉浸其中而感受不到真实世界。
混合现实技术是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。韩国的LivePark(4D虚拟现实主题公园)，玩家在入场前可以自行创造一个虚拟的角色，然后通过手上的RFID手环与园区内的东西互动，充分感受虚拟与现实世界整合的乐趣。美国一家创新科技公司发表了一个全新娱乐设施“TheVOID(TheVisionofInfiniteDimensions)”，玩家将通过穿戴虚拟现实装备进入虚拟世界，搭配以该虚拟场景为主题搭建的实体场景，玩家可以在其中自由行动，体验虚拟现实的乐趣。这类游戏需要真实场景的配合。但是，相关真实环境的建造是一个复杂的过程，而且耗时较长、成本较高。此外，穿戴的虚拟现实装备一般比较昂贵，并非消费级的家庭装备。
发明内容
本发明为了解决上述问题，提出了一种基于普适计算的混合现实游戏系统及方法，该系统允许玩家在任意空闲空间、随时随地设计迷宫布局，通过绘图工具绘制迷宫平面图；利用手机拍照快速建立相应的三维虚拟场景；利用虚拟现实眼镜，通过玩家头部的真实转动即可感受沉浸式体验；利用体感设备对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自然交互。本系统不需要专门的物理空间、昂贵的虚拟现实设备，用户也不需要训练，而且可以在任何时间任何地方游戏。
为了实现上述目的，本发明采用如下技术方案：
一种基于普适计算的混合现实游戏系统，包括场景设计模块、校正模块、建模模块、跟踪与动作识别模块、跟踪注册模块和交互模块，其中，所述场景设计模块，通过绘图工具利用轮廓线绘画迷宫平面图，建立迷宫场景；
所述校正模块，用于采集拍摄的迷宫平面图，对其进行校正，导入建模模块；
所述建模模块，接收校正后的图片，进行迷宫布局的绘制，将迷宫真实物体的信息作为建模输入，发送到各个玩家的客户端，完成虚拟场景的建立；
所述跟踪与动作识别模块，利用体感设备将捕获的使用者位置信息与动作信息映射到虚拟场景中，为虚拟场景中相应使用者的位置和动作提供数据，并发送到服务器端；
所述跟踪注册模块，用于对使用者视场与视点的跟踪，确定当前视场中的目标物、用户视点的位置和朝向；
所述交互模块，用于实现用户与真实场景中的虚拟对象的交互，确定用户对虚拟对象发出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给玩家反映虚拟世界的景象。
基于上述系统的工作方法，包括以下步骤：
(1)通过绘图工具在真实空间中设计迷宫平面图，拍摄迷宫平面图，并对拍摄时因透视原因导致的图片变形进行校正，建立虚拟迷宫；
(2)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(3)，否则，跳转步骤(4)；
(3)玩家根据服务器端发送的平面图在真实场地绘制同一结构的迷宫；
(4)根据所有玩家接收到的迷宫信息，服务器端接收虚拟迷宫建模模块发送来的迷宫墙体信息，并发送到各个玩家的客户端，完成虚拟场景的建立，建立三维场景；
(5)利用跟踪与动作识别模块，将捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中玩家的位置和动作提供数据，并发送到服务器端，完成虚拟场景中玩家的漫游与交互；
(6)根据基于传感器的注册方法，获取用户头部的转动角度，从而确定用户视点的位置和朝向，利用虚拟现实眼镜作为输出设备，向使用者呈现虚拟世界的景象；
(7)对每个玩家的位置实时跟踪与姿态识别，并捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中所有玩家的位置和动作提供数据，并发送到服务器端，跳转步骤(5)。
所述步骤(1)中，校正方法为将图片矩形的四个角进行拖拽，使图片中迷宫墙体形状与实际绘画情况一致。
所述步骤(1)中，建立虚拟迷宫的具体方法包括：
(1-1)利用摄像机对绘制的平面图拍照，并完成图片的校正；
(1-2)将校正后的图片导入手机建模部分，在4*4的网格内进行迷宫布局的绘制；
(1-3)将得到的迷宫墙体信息作为建模部分的输入，发送到服务器端。
所述步骤(5)中，利用Kinect进行跟踪与动作识别，具体步骤包括：
(5-1)坐标校正，在真实空间内选取多组不同位置的样本点，使样本点均匀分布，并测量出每个样本点在虚拟场景中的位置，在Kinect坐标系中的位置；
(5-2)利用最小二乘法计算得到Kinect对于虚拟场景坐标系的变换矩阵T；
(5-3)通过捕获用户手部关节点和头部的位置信息，计算用户位置和动作识别。
所述步骤(5-3)中，用户位置计算的具体方法为：令第k帧Kinect获取的用户位置信息为Pi(k)＝{xi k,yi k,zi k}，其中，i表示Kinect可跟踪的人数，0≤i≤6；则用户在虚拟现实中的位置V_Pi(k)＝Pi(k)*T，用来控制虚拟主角的移动。
所述步骤(5-3)中，动作识别的具体方法为：通过Kinect捕获用户手部关节点和头部的位置信息判断用户动作：令(XLH,YLH,ZLH)、(XRH,YRH,ZRH)、(XH,YH,ZH)分别为用户的左手、右手、头部的空间位置；
定义动作标志：△Y1＝YLH-YH，△Y2＝YRH-YH,
如果△Y1>0或者△Y2>0，表示用户做出举手动作，通过动作标志控制用户与虚拟场景中物体的交互。
所述步骤(6)中，将手机放置在虚拟现实眼镜中，佩戴并调整好眼镜位置，使用户看到的场景与现实中保持一致；利用手机自带的陀螺仪或重力感应，通过转动头部调整用户在虚拟系统中的视角，完成对用户视场与视点的跟踪。
本发明的工作原理为：用户在任意空闲空间通过绘图工具(如粉笔、彩带等)绘制迷宫结构，不受其他因素的约束；然后利用手机拍照快速建立对应的三维虚拟场景；利用虚拟现实眼镜(如小宅魔镜、暴风魔镜)，通过玩家头部的真实转动即可感受沉浸式体验；利用体感设备(如Kinect)对玩家真实姿态的跟踪和识别，实现玩家对虚拟场景的移动输入控制和自然交互。该发明提供两种游戏模式：单人模式；多人模式。其中，多个玩家包括同地多个玩家和异地多个玩家的方式，玩家之间采用客户端服务器模式完成通讯，由一个玩家绘制游戏场景，所有玩家共享同一个虚拟游戏场景。
本发明的有益效果为：
(1)本发明的方法使用方便、易操作、成本较低；
(2)对空间的限制较少，只要有空的场地，不论大小，即可实现无处不在的沉浸式游戏体验；
(3)场景设计主观性较强，只需在场地上绘制出平面图即可。而且，用轮廓线代表真实物体，减少建造成本、提高空间占用率；
(4)不需要昂贵的虚拟现实设备，所采用的设备适合家庭和个人体验；
(5)用户不需要额外的训练，使用自然的交互方式即可；
(6)支持多人操作，异地用户可以达到同地用户的体验效果；
(7)除了在游戏娱乐方面有广泛应用外，也可将类似技术用于教育、军事训练等领域。如在消防训练中，根据地上画出的室内平面图，快速建立三维虚拟场景，消防员可完成走路、跑步、匍匐等。
附图说明
图1为本发明的硬件组成结构图；
图2为本发明游戏系统流程图；
图3(a)为迷宫平面图；
图3(b)为对获取的迷宫图片进行校正；
图3(c)为导入校正好的迷宫图片，进行虚拟迷宫的绘制示意图；
图4(a)为本发明应用于迷宫游戏的实例示意图；
图4(b)为本发明游戏者看见的虚拟画面示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
如图1所示，在空的场地上绘制场景轮廓线，通过智能手机的相机进行拍照，快速完成三维场景的建立；用户通过佩戴魔镜，将三维场景真实地呈现于眼前，利用智能手机与服务器建立通讯，获得Kinect捕捉到的用户位置信息和动作，通过身体姿态与场景进行实时交互。
如图2所示，本发明的具体流程图：
(1)玩家通过绘画工具在真实空间中设计迷宫平面图；
(2)利用手机相机对绘制的平面图拍照，并对变形图片进行校正；
(3)将图片导入手机建模部分，进行二维迷宫布局的绘制，并将得到的迷宫墙体信息作为手机建模部分的输入，发送到服务器端；
(4)服务器将接收到的迷宫墙体信息，发送到各个玩家的手机端；
(5)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(6)；否则，跳转步骤(7)；
(6)每个玩家根据平面图在真实场地绘制同一结构的迷宫；
(7)根据各个玩家接收到的迷宫信息，建立三维场景；
(8)初始化每个玩家的位置和姿态，并将信息发送到服务器端；
(9)服务器端将信息发送到每个玩家的手机端；
(10)3D立体显示，利用虚拟现实眼镜作为输出设备，呈现给玩家一个感官效果真实的新环境；
(11)判断游戏是否结束。如果是，则结束；否则，跳转步骤(12)；
(12)通过Kinect对每个玩家的位置实时跟踪与姿态识别，并捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中玩家的位置和动作提供数据，并发送到服务器端，跳转步骤(9)。
虚拟迷宫建模具体包括如下步骤：
(1)利用手机相机对绘制的平面图拍照，如图3(a)；
(2)从低角度拍摄地面图片时，会因为透视原因导致画面景物出现变形，原本为矩形外框的迷宫图在拍摄图片中呈梯形，有所变形，因此对所得图片进行校正，将图片矩形的四个角进行拖拽，完成图片的变形校正，回复原有形状，如图3(b)；
(3)将校正后的图片导入手机建模部分，并在4*4的网格内进行迷宫布局的绘制(如图3(c))。虚拟空间中墙体AB表示为{(x11,z11),(x12,z12)}，墙体的集合为W＝{{(x11,z11),(x12,z12)},{(x21,z21),(x22,z22)},…,{(xN1,zN1),(xN2,zN2)}}，N表示墙体的数目。
将集合W作为手机建模部分的输入，发送到各个玩家的手机客户端，完成虚拟场景的建立。
如图4(a)、图4(b)所示，是本发明应用于迷宫游戏的一个实例。在这个两人迷宫游戏中，玩家A、B在移动过程中距离较近时，可以互相看见对方的实例。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于普适计算的混合现实游戏系统，其特征是：包括场景设计模块、校正模块、建模模块、跟踪与动作识别模块、跟踪注册模块和交互模块，其中，所述场景设计模块，通过绘图工具利用轮廓线绘画迷宫平面图，建立迷宫场景；
所述校正模块，用于采集拍摄的迷宫平面图，对其进行校正，导入建模模块；
所述建模模块，接收校正后的图片，进行迷宫布局的绘制，将迷宫真实物体的信息作为建模输入，发送到各个玩家的客户端，完成虚拟场景的建立；
所述跟踪与动作识别模块，利用体感设备将捕获的使用者位置信息与动作信息映射到虚拟场景中，为虚拟场景中相应使用者的位置和动作提供数据，并发送到服务器端；
所述跟踪注册模块，用于对使用者视场与视点的跟踪，确定当前视场中的目标物、用户视点的位置和朝向；
所述交互模块，用于实现用户与真实场景中的虚拟对象的交互，确定用户对虚拟对象发出的指令，对其解释，给出相应的反馈结果，通过虚拟现实眼镜给玩家反映虚拟世界的景象。
2.基于如权利要求1所述的系统的工作方法，其特征是：包括以下步骤：
(1)通过绘图工具在真实空间中设计迷宫平面图，拍摄迷宫平面图，并对拍摄时因透视原因导致的图片变形进行校正，建立虚拟迷宫；
(2)判断多个玩家的情况下是否异地参与，如果是，跳转步骤(3)，否则，跳转步骤(4)；
(3)玩家根据服务器端发送的平面图在真实场地绘制同一结构的迷宫；
(4)根据所有玩家接收到的迷宫信息，服务器端接收虚拟迷宫建模模块发送来的迷宫墙体信息，并发送到各个玩家的客户端，完成虚拟场景的建立，建立三维场景；
(5)利用跟踪与动作识别模块，将捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中玩家的位置和动作提供数据，并发送到服务器端，完成虚拟场景中玩家的漫游与交互；
(6)根据基于传感器的注册方法，获取用户头部的转动角度，从而确定用户视点的位置和朝向，利用虚拟现实眼镜作为输出设备，向使用者呈现虚拟世界的景象；
(7)对每个玩家的位置实时跟踪与姿态识别，并捕获到的玩家位置信息与动作信息映射到虚拟场景中，为虚拟场景中所有玩家的位置和动作提供数据，并发送到服务器端，跳转步骤(5)。
3.如权利要求2所述的工作方法，其特征是：所述步骤(1)中，校正方法为将图片矩形的四个角进行拖拽，使图片中迷宫墙体形状与实际绘画情况一致。
4.如权利要求2所述的工作方法，其特征是：所述步骤(1)中，建立虚拟迷宫的具体方法包括：
(1-1)利用摄像机对绘制的平面图拍照，并完成图片的校正；
(1-2)将校正后的图片导入手机建模部分，在4*4的网格内进行迷宫布局的绘制；
(1-3)将得到的迷宫墙体信息作为建模部分的输入，发送到服务器端。
5.如权利要求2所述的工作方法，其特征是：所述步骤(5)中，利用Kinect进行跟踪与动作识别，具体步骤包括：
(5-1)坐标校正，在真实空间内选取多组不同位置的样本点，使样本点均匀分布，并测量出每个样本点在虚拟场景中的位置，在Kinect坐标系中的位置；
(5-2)利用最小二乘法计算得到Kinect对于虚拟场景坐标系的变换矩阵T；
(5-3)通过捕获用户手部关节点和头部的位置信息，计算用户位置和动作识别。
6.如权利要求5所述的工作方法，其特征是：所述步骤(5-3)中，用户位置计算的具体方法为：令第k帧Kinect获取的用户位置信息为Pi(k)＝{xi k,yi k,zi k}，其中，i表示Kinect可跟踪的人数，0≤i≤6；则用户在虚拟现实中的位置V_Pi(k)＝Pi(k)*T，用来控制虚拟主角的移动。
7.如权利要求5所述的工作方法，其特征是：所述步骤(5-3)中，动作识别的具体方法为：通过Kinect捕获用户手部关节点和头部的位置信息判断用户动作：令(XLH,YLH,ZLH)、(XRH,YRH,ZRH)、(XH,YH,ZH)分别为用户的左手、右手、头部的空间位置；
定义动作标志：△Y1＝YLH-YH，△Y2＝YRH-YH,
如果△Y1>0或者△Y2>0，表示用户做出举手动作，通过动作标志控制用户与虚拟场景中物体的交互。
8.如权利要求2所述的工作方法，其特征是：所述步骤(6)中，将手机放置在虚拟现实眼镜中，佩戴并调整好眼镜位置，使用户看到的场景与现实中保持一致；利用手机自带的陀螺仪或重力感应，通过转动头部调整用户在虚拟系统中的视角，完成对用户视场与视点的跟踪。
CN201510690423.5A 2015-10-22 2015-10-22 一种基于普适计算的混合现实游戏系统及方法 Active CN105373224B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510690423.5A CN105373224B (zh) 2015-10-22 2015-10-22 一种基于普适计算的混合现实游戏系统及方法
US15/251,252 US10109113B2 (en) 2015-10-22 2016-08-30 Pattern and method of virtual reality system based on mobile devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510690423.5A CN105373224B (zh) 2015-10-22 2015-10-22 一种基于普适计算的混合现实游戏系统及方法

Publications (2)

Publication Number Publication Date
CN105373224A true CN105373224A (zh) 2016-03-02
CN105373224B CN105373224B (zh) 2016-06-22

Family

ID=55375489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510690423.5A Active CN105373224B (zh) 2015-10-22 2015-10-22 一种基于普适计算的混合现实游戏系统及方法

Country Status (2)

Country Link
US (1) US10109113B2 (zh)
CN (1) CN105373224B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105929953A (zh) * 2016-04-18 2016-09-07 北京小鸟看看科技有限公司 一种3d沉浸式环境下的操作引导方法和装置及虚拟现实设备
CN105938629A (zh) * 2016-03-31 2016-09-14 联想(北京)有限公司 一种信息处理方法及电子设备
CN106125903A (zh) * 2016-04-24 2016-11-16 林云帆 多人交互系统及方法
CN106406525A (zh) * 2016-09-07 2017-02-15 讯飞幻境(北京)科技有限公司 虚拟现实交互方法、装置及设备
CN106390454A (zh) * 2016-08-31 2017-02-15 广州麦驰网络科技有限公司 一种现实场景虚拟游戏系统
CN106774820A (zh) * 2016-11-08 2017-05-31 北京暴风魔镜科技有限公司 人体姿态与虚拟场景叠加的方法、装置和系统
CN106843470A (zh) * 2016-12-28 2017-06-13 歌尔科技有限公司 一种视角控制方法、装置和vr系统
CN107274438A (zh) * 2017-06-28 2017-10-20 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
CN107347140A (zh) * 2017-08-24 2017-11-14 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN107608522A (zh) * 2017-09-29 2018-01-19 广州云友网络科技有限公司 利用移动设备定制虚拟运动场景的方法和系统
CN108062796A (zh) * 2017-11-24 2018-05-22 山东大学 基于移动终端的手工制品与虚拟现实体验系统及方法
WO2018129664A1 (zh) * 2017-01-10 2018-07-19 深圳市柔宇科技有限公司 显示内容的调整方法、系统及头戴式显示设备
CN108446012A (zh) * 2017-02-15 2018-08-24 宏达国际电子股份有限公司 虚拟现实移动画面显示方法及虚拟现实装置
CN109101879A (zh) * 2018-06-29 2018-12-28 温州大学 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN109173258A (zh) * 2018-10-18 2019-01-11 腾讯科技（深圳）有限公司 虚拟对象显示、定位信息发送方法、设备及存储介质
CN109683706A (zh) * 2018-12-10 2019-04-26 中车青岛四方机车车辆股份有限公司 一种虚拟现实多人交互的方法及系统
CN109828666A (zh) * 2019-01-23 2019-05-31 济南漫嘉文化传播有限公司济宁分公司 基于有形用户界面的混合现实交互系统及方法
WO2019109492A1 (zh) * 2017-12-04 2019-06-13 深圳市易特科信息技术有限公司 虚拟现实场景模拟装置
CN110262656A (zh) * 2019-05-22 2019-09-20 重庆文理学院 一种沉浸式全景虚拟现实系统
CN110335359A (zh) * 2019-04-22 2019-10-15 国家电网有限公司 基于虚拟现实技术的配电盘着火事故应急演练模拟方法
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3364725A4 (en) * 2015-10-12 2019-05-29 Delight Innovative Technologies Limited METHOD AND SYSTEM FOR AUTOMATED REALIZATION OF A LAMP CONTROL SCENARIOS
US10242476B2 (en) * 2017-05-31 2019-03-26 Verizon Patent and Licensong Inc. Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user
WO2019015765A1 (en) * 2017-07-20 2019-01-24 Universitätsklinikum Hamburg-Eppendorf APPARATUS FOR MEASURING OR DRIVING EMOTION OR BEHAVIOR
CN109426333B (zh) * 2017-08-23 2022-11-04 腾讯科技（深圳）有限公司 一种基于虚拟空间场景的信息交互方法及装置
CN107589839A (zh) * 2017-08-30 2018-01-16 华唐智造科技（北京）有限公司 一种基于Unity3D的多功能操作平台
US10489656B2 (en) * 2017-09-21 2019-11-26 NEX Team Inc. Methods and systems for ball game analytics with a mobile device
US10748376B2 (en) * 2017-09-21 2020-08-18 NEX Team Inc. Real-time game tracking with a mobile device using artificial intelligence
CN109814867B (zh) * 2019-01-31 2022-07-12 网易（杭州）网络有限公司 一种虚拟模型建造方法和系统
CN110110022B (zh) * 2019-04-04 2023-04-07 广州博进信息技术有限公司 一种多时态全景数据显示交互系统
CN110879660B (zh) * 2019-06-20 2023-05-26 上海咪啰信息科技有限公司 一种基于vr的轮胎吊实训系统及方法
CN110413112A (zh) * 2019-07-11 2019-11-05 安徽皖新研学教育有限公司 一种基于虚拟现实技术的安全体验教育系统及其方法
CN110415359A (zh) * 2019-07-29 2019-11-05 恒信东方文化股份有限公司 一种三维建模方法及系统
CN110568924A (zh) * 2019-07-29 2019-12-13 上海英众信息科技有限公司 一种基于眼部识别的vr控制方法
CN110597392B (zh) * 2019-07-31 2023-06-23 上海上业信息科技股份有限公司 一种基于vr模拟世界的交互方法
CN110989837B (zh) * 2019-11-29 2023-03-24 上海海事大学 一种用于邮轮体验的虚拟现实系统
CN111243063B (zh) * 2020-01-12 2023-11-07 杭州电子科技大学 基于虚拟现实的保密宣传教育培训系统及其实现方法
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN111882672A (zh) * 2020-07-24 2020-11-03 上海光追网络科技有限公司 一种vr游戏中可绘制3d图形识别3d虚拟物件的方法
CN112037090B (zh) * 2020-08-07 2024-05-03 湖南翰坤实业有限公司 基于vr技术和6dof姿态跟踪的知识教育系统
CN112198961B (zh) * 2020-09-28 2023-04-18 中国人民解放军空军工程大学航空机务士官学校 一种设备维修作业辅助引导系统
CN112256317B (zh) * 2020-10-21 2022-07-29 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式大屏追踪系统的快速构建方法、介质及设备
CN112286355B (zh) * 2020-10-28 2022-07-26 杭州天雷动漫有限公司 一种用于沉浸式内容的交互方法和系统
CN113124797B (zh) * 2021-03-24 2022-10-21 太原理工大学 一种基于可调节底板的液压支架群位姿模拟系统
CN113099204B (zh) * 2021-04-13 2022-12-13 北京航空航天大学青岛研究院 一种基于vr头戴显示设备的远程实景增强现实方法
CN113781661B (zh) * 2021-09-13 2023-06-27 太仓中科信息技术研究院 面向沉浸式场景的多投影空间布局评估方法和系统
CN114549739B (zh) * 2022-01-12 2023-05-02 江阴小象互动游戏有限公司 一种基于三维数据模型的控制系统及方法
CN114415840B (zh) * 2022-03-30 2022-06-10 北京华建云鼎科技股份公司 一种虚拟现实交互系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2051208A3 (en) * 2007-10-17 2017-05-24 Sony Interactive Entertainment Inc. Generating an asset for interactive entertainment using digital image capture
US20110165939A1 (en) * 2010-01-05 2011-07-07 Ganz Method and system for providing a 3d activity in a virtual presentation
WO2013192508A2 (en) * 2012-06-22 2013-12-27 Polyvision Corporation Document unbending and recoloring systems and methods

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938629A (zh) * 2016-03-31 2016-09-14 联想(北京)有限公司 一种信息处理方法及电子设备
CN105938629B (zh) * 2016-03-31 2022-01-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN105929953A (zh) * 2016-04-18 2016-09-07 北京小鸟看看科技有限公司 一种3d沉浸式环境下的操作引导方法和装置及虚拟现实设备
CN106125903A (zh) * 2016-04-24 2016-11-16 林云帆 多人交互系统及方法
CN106125903B (zh) * 2016-04-24 2021-11-16 林云帆 多人交互系统及方法
CN106390454A (zh) * 2016-08-31 2017-02-15 广州麦驰网络科技有限公司 一种现实场景虚拟游戏系统
CN106406525A (zh) * 2016-09-07 2017-02-15 讯飞幻境(北京)科技有限公司 虚拟现实交互方法、装置及设备
CN106774820A (zh) * 2016-11-08 2017-05-31 北京暴风魔镜科技有限公司 人体姿态与虚拟场景叠加的方法、装置和系统
CN106843470A (zh) * 2016-12-28 2017-06-13 歌尔科技有限公司 一种视角控制方法、装置和vr系统
CN106843470B (zh) * 2016-12-28 2020-04-03 歌尔科技有限公司 一种视角控制方法、装置和vr系统
WO2018129664A1 (zh) * 2017-01-10 2018-07-19 深圳市柔宇科技有限公司 显示内容的调整方法、系统及头戴式显示设备
CN108446012A (zh) * 2017-02-15 2018-08-24 宏达国际电子股份有限公司 虚拟现实移动画面显示方法及虚拟现实装置
CN108446012B (zh) * 2017-02-15 2020-12-08 宏达国际电子股份有限公司 虚拟现实移动画面显示方法及虚拟现实装置
CN107274438B (zh) * 2017-06-28 2020-01-17 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
CN107274438A (zh) * 2017-06-28 2017-10-20 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
CN107347140A (zh) * 2017-08-24 2017-11-14 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN107347140B (zh) * 2017-08-24 2019-10-15 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN107608522A (zh) * 2017-09-29 2018-01-19 广州云友网络科技有限公司 利用移动设备定制虚拟运动场景的方法和系统
CN108062796A (zh) * 2017-11-24 2018-05-22 山东大学 基于移动终端的手工制品与虚拟现实体验系统及方法
CN108062796B (zh) * 2017-11-24 2021-02-12 山东大学 基于移动终端的手工制品与虚拟现实体验系统及方法
WO2019109492A1 (zh) * 2017-12-04 2019-06-13 深圳市易特科信息技术有限公司 虚拟现实场景模拟装置
CN109101879B (zh) * 2018-06-29 2022-07-01 温州大学 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN109101879A (zh) * 2018-06-29 2018-12-28 温州大学 一种vr虚拟课堂教学的姿态交互系统及实现方法
CN109173258A (zh) * 2018-10-18 2019-01-11 腾讯科技（深圳）有限公司 虚拟对象显示、定位信息发送方法、设备及存储介质
CN109173258B (zh) * 2018-10-18 2020-01-17 腾讯科技（深圳）有限公司 虚拟对象显示、定位信息发送方法、设备及存储介质
CN109683706A (zh) * 2018-12-10 2019-04-26 中车青岛四方机车车辆股份有限公司 一种虚拟现实多人交互的方法及系统
CN109828666A (zh) * 2019-01-23 2019-05-31 济南漫嘉文化传播有限公司济宁分公司 基于有形用户界面的混合现实交互系统及方法
CN109828666B (zh) * 2019-01-23 2022-01-25 山东大学 基于有形用户界面的混合现实交互系统及方法
CN110335359A (zh) * 2019-04-22 2019-10-15 国家电网有限公司 基于虚拟现实技术的配电盘着火事故应急演练模拟方法
CN110262656A (zh) * 2019-05-22 2019-09-20 重庆文理学院 一种沉浸式全景虚拟现实系统
CN110609622A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 结合3d与虚拟现实技术实现多人交互方法、系统及介质

Also Published As

Publication number Publication date
US20170116788A1 (en) 2017-04-27
US10109113B2 (en) 2018-10-23
CN105373224B (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105373224B (zh) 一种基于普适计算的混合现实游戏系统及方法
US11270419B2 (en) Augmented reality scenario generation method, apparatus, system, and device
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
US11158291B2 (en) Image display method and apparatus, storage medium, and electronic device
US9947139B2 (en) Method and apparatus for providing hybrid reality environment
CN102939139B (zh) 共享虚拟空间中便携式设备的校准
US9443352B1 (en) Navigating through a virtual environment having a real-world elevation characteristics using motion capture
JP5934368B2 (ja) 可搬装置、仮想現実システムおよび方法
CN105279795B (zh) 基于3d标记的增强现实系统
CN106023289A (zh) 图像生成系统及图像生成方法
CN103635891A (zh) 大量同时远程数字呈现世界
CN105843396A (zh) 在共享的稳定虚拟空间上维持多视图
CN105959675A (zh) 一种视频数据的处理方法和装置
CN106371603A (zh) 基于位置服务和增强现实技术的角色定位捕捉方法
CN114642874A (zh) 显示系统及服务器
Pokrić et al. Engaging citizen communities in smart cities using IoT, serious gaming and fast markerless Augmented Reality
CN113470190A (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
GB2535729A (en) Immersive vehicle simulator apparatus and method
US20180033328A1 (en) Immersive vehicle simulator apparatus and method
CN108446023B (zh) 虚拟现实反馈装置及其定位方法、反馈方法和定位系统
CN102750720A (zh) 三维效果模拟系统及方法
CN205721737U (zh) 一种古画立体体验装置
CN113515187B (zh) 一种虚拟现实场景的生成方法和网络侧设备
CN106101735A (zh) 一种基于虚拟现实技术的台球直播方法
CN109917907B (zh) 一种基于卡片的动态故事板交互方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant