CN109316738A - 一种基于ar的人机交互游戏系统 - Google Patents

一种基于ar的人机交互游戏系统 Download PDF

Info

Publication number
CN109316738A
CN109316738A CN201811151947.7A CN201811151947A CN109316738A CN 109316738 A CN109316738 A CN 109316738A CN 201811151947 A CN201811151947 A CN 201811151947A CN 109316738 A CN109316738 A CN 109316738A
Authority
CN
China
Prior art keywords
game
tool
scene
real
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811151947.7A
Other languages
English (en)
Inventor
罗跃
梁宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Geekplay Technology Co ltd
Shenzhen Super Global Electronic Co ltd
Original Assignee
Shenzhen Geekplay Technology Co ltd
Shenzhen Super Global Electronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Geekplay Technology Co ltd, Shenzhen Super Global Electronic Co ltd filed Critical Shenzhen Geekplay Technology Co ltd
Priority to CN201811151947.7A priority Critical patent/CN109316738A/zh
Publication of CN109316738A publication Critical patent/CN109316738A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明是一种基于AR的人机交互游戏系统，包括游戏主机和游戏工具，在所述的游戏主机中具有显示游戏场景的显示屏，实现游戏工具与游戏主机通信的通信装置，所述的游戏工具与游戏场景中相应的角色对应；在所述的游戏工具上具有获取游戏工具本身实时姿态参数的姿态检测装置，通信装置将实时姿态参数传送给游戏主机，在游戏主机中，根据接收的实时姿态参数在游戏场景中调整所述的游戏工具对应的角色的实时姿态。本发明中，通过AR增强现实的软件技术，在显示设备内组成游戏场景，同时通过陀螺仪进行定位，让玩家成为真真实实的最终动作执行者。

Description

一种基于AR的人机交互游戏系统
技术领域
本发明涉及AR领域，特别是一种基于AR的人机交互游戏系统。
背景技术
AR(Augmented Reality 增强现实) 是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境 ,通过各种传感设备使用户"沉浸"到该环境中 ,实现用户和环境直接进行自然交互。AR是一种全新的人机交互技术 ,利用这样一种技术 ,可以模拟真实的现场景观 ,它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的"身临其境"的逼真性 ,而且能够突破空间、时间以及其它客观限制 ,感受到在真实世界中无法亲身经历的体验。
要达到AR的虚实结合，使用者必定得透过某种装置来观看。早先大部分的研究主要是透过HMD〈Head-Mounted Display;就是头罩式的装置〉，技术大概分成光学式〈Optical〉与影像〈Video〉两种，前者是一种透明的装置〈像是柯南的眼镜之类〉，使用者可以直接透过这层看到真实世界的影像，然后会有一些另外的投影装置把虚拟影像投射在这层透明装置上。另外一种是不透明装置，使用者看到的是由电脑处理好、已经虚实结合的影像。
传统的电子类游戏人机交互方式较为单一，操作者使用带不同功能控制按键的游戏手柄，对显示设备（如电脑显示器、手机屏幕等）上游戏界面的虚拟主角进行操控，完成游戏任务。游戏场景为虚拟场景，最终动作执行者为游戏中的虚拟主角。这样的游戏方式由于最终动作执行者为游戏中的虚拟主角而不是游戏玩家自己，用户体验不好。
发明内容
本发明针对目前传统的电子类游戏人机交互中，最终动作执行者为游戏中的虚拟主角而不是游戏玩家自己，用户体验不好的不足，提供一种基于AR的人机交互游戏系统。
本发明的技术方案是一种基于AR的人机交互游戏系统，包括游戏主机和游戏工具，在所述的游戏主机中具有显示游戏场景的显示屏，实现游戏工具与游戏主机通信的通信装置，所述的游戏工具与游戏场景中相应的角色对应；在所述的游戏工具上具有获取游戏工具本身实时姿态参数的姿态检测装置，通信装置将实时姿态参数传送给游戏主机，在游戏主机中，根据接收的实时姿态参数在游戏场景中调整所述的游戏工具对应的角色的实时姿态。
本发明中，通过AR增强现实的软件技术，在显示设备内组成游戏场景，同时通过陀螺仪进行定位，让玩家成为真真实实的最终动作执行者。
进一步的，上述的基于AR的人机交互游戏系统中：所述游戏主机为一台安装有游戏APP的智能电视机，利用蓝牙通信模块实现游戏工具与智能电视机之间的通信，在所述的游戏工具中利用MEMS陀螺仪实时获得游戏工具的姿态参数。
进一步的，上述的基于AR的人机交互游戏系统中：所述的游戏主机为一部安装有游戏APP的智能手机，所述的智能手机与所述的游戏工具随动，获取游戏工具实时姿态参数的姿态检测装置为智能手机中的MEMS陀螺仪，游戏APP直接调用智能手机中的MEMS陀螺仪检测的智能手机的实时姿态参数，在游戏场景中调整游戏工具对应的角色的实时姿态。
进一步的，上述的基于AR的人机交互游戏系统中：在所述的游戏APP还将智能手机摄像头实时拍摄的现实场景作为游戏场景的背景。
下面结合附图和具体实施例对本发明进行详细地说明。
附图说明
附图1为本发明实施例1框图。
附图2为本发明实施例2框图。
具体实施方式
实施例1， 本实施例是一种基于AR的人机交互游戏系统，具体提用枪射击显示屏中游戏场景中的虚拟角色的游戏系统，如图1所示，本实施例中在智能电视机中安装游戏APP，这样，在智能电视机屏幕上将会显示AR游戏的场景，在该场景中有一些用于作为靶子的角色，它们可以是动态的，也有是表态的，在游戏场景中，有一支枪，它就是玩家手上枪的映射到场景中的角色，在玩家手上，作为游戏工具的手枪上安装有能够实时枪本身的姿态参数的MEMS陀螺仪，采用蓝牙通信模块实现手枪与智能电视机的通信，利用该通信装置将MEMS陀螺仪获取的手枪的实时姿态参数传送到智能电视机内，在智能电视机中，游戏APP将获得的手枪实时姿态参数，经过转换后指导游戏场景中的手机姿态变化。目前，在游戏APP中一般采用SLAM 来实现将现实中的手枪姿态与虚拟中的手枪姿态相映射的，SLAM(simultaneous localization and mapping),也称为CML (Concurrent Mapping andLocalization), 即时定位与地图构建，或并发建图与定位。
与地图构建一样，在实时视频场景中，映射实际上的手枪(游戏工具)与游戏场景中的手枪(游戏场景中与游戏工具对应的角色)，实践上将手枪在实际空间的姿态到虚拟的空间。本实施例中，手枪和智能电视通过蓝牙通信模块通信连接，手枪上装有传感器，可以读取到三维的加速度，角速度，地磁偏角等姿态参数，读取到这些数据之后通过蓝牙通信模块发送给智能电视，智能电视上运行的游戏APP可以将这些数据解算为手枪的姿态，并根据手枪的姿态参数控制游戏中的行为，如：光标移动或游戏中武器的指向等。本实施例中，在手枪中，获得手枪姿态参数的姿态检测装置就是型号为MPU9250，MPU9250是一款9轴运动跟踪装置，融合了 3 轴加速度，3 轴陀螺仪以及数字运动处理器（DMP），具有三个 16位加速度AD 输出，三个 16 位陀螺仪 AD输出，三个 6位磁力计 AD 输出。MPU92509轴运动跟踪装置输出的三维的加速度，角速度，地磁偏角等姿态参数这些参数通过传感器的融合算法，可以解算为一个用于描述姿态的四元数。此类算法比较多，本实施例中，实践上用的是MadgWick 算法。
Madgwick算法能够综合多种传感器参数得到传感器的姿态(见https://blog.csdn.net/shenxiaolu1984/article/details/50650494)。「角速度，加速度，磁场偏角」是传感器(MPU92509轴运动跟踪装置)可以直接测量到的数据，而四元数是对于姿态的直接描述。本领域的技术人员根据「角速度，加速度，磁场偏角」这几个值，可以计算出用于描述姿态的四元数。
在智能电视机一侧游戏APP，利用这描述姿态的四元数可以还原手枪的姿态，并让游戏场景中的手枪映射现实中手枪的姿态，目前，这样的方法很多，本实施例中，采用的是AHRS(Attitude and heading reference system航姿参考系统)，AHRS也称为自动航向基准系统包括多个轴向传感器，能够为飞行器提供航向，横滚和侧翻信息，这类系统用来为飞行器提供准确可靠的姿态与航行信息。航姿参考系统包括基于MEMS的三轴陀螺仪，加速度计和磁强计。
实施例2，本实施例是一种利用手机和弓箭玩游戏的一种基于AR的从机交互游戏，如图2所示，在智能手机中安装游戏APP，在智能手机的显示屏上显示游戏场景，另外，还可以利用手机上的摄像头拍摄实时的场景如办公室或者其它地方的场景做游戏场景的背景，将手机固定到弓箭上，玩家用弓箭射击游戏场景中的一些目标角色，由于智能手机本身与弓箭一起运动，因此，智能手机自带的MEMS陀螺仪将实时获取智能手机也就是弓箭的实时姿态，游戏APP直接从智能手机中调用陀螺仪的姿态参数，对游戏场景中与弓箭对应的角色(也是一张弓箭的图像)的姿态进行调整，从为玩家手上的弓箭的映射。
本实施例中，利用AR增强现实的软件技术，在通过手机摄像头摄取的现实场景内，加入虚拟物品或场景，共同出现在显示设备内组成游戏场景，同时通过陀螺仪进行定位，让玩家成为真真实实的最终动作执行者。

Claims (4)

1.一种基于AR的人机交互游戏系统，包括游戏主机和游戏工具，在所述的游戏主机中具有显示游戏场景的显示屏，实现游戏工具与游戏主机通信的通信装置，其特征在于：所述的游戏工具与游戏场景中相应的角色对应；在所述的游戏工具上具有获取游戏工具本身实时姿态参数的姿态检测装置，通信装置将实时姿态参数传送给游戏主机，在游戏主机中，根据接收的实时姿态参数在游戏场景中调整所述的游戏工具对应的角色的实时姿态。
2.根据权利要求1所述的基于AR的人机交互游戏系统，其特征在于：所述游戏主机为一台安装有游戏APP的智能电视机，利用蓝牙通信模块实现游戏工具与智能电视机之间的通信，在所述的游戏工具中利用MEMS陀螺仪实时获得游戏工具的姿态参数。
3.根据权利要求1所述的基于AR的人机交互游戏系统，其特征在于：所述的游戏主机为一部安装有游戏APP的智能手机，所述的智能手机与所述的游戏工具随动，获取游戏工具实时姿态参数的姿态检测装置为智能手机中的MEMS陀螺仪，游戏APP直接调用智能手机中的MEMS陀螺仪检测的智能手机的实时姿态参数，在游戏场景中调整游戏工具对应的角色的实时姿态。
4.根据权利要求3所述的基于AR的人机交互游戏系统，其特征在于：在所述的游戏APP还将智能手机摄像头实时拍摄的现实场景作为游戏场景的背景。
CN201811151947.7A 2018-09-29 2018-09-29 一种基于ar的人机交互游戏系统 Pending CN109316738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811151947.7A CN109316738A (zh) 2018-09-29 2018-09-29 一种基于ar的人机交互游戏系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811151947.7A CN109316738A (zh) 2018-09-29 2018-09-29 一种基于ar的人机交互游戏系统

Publications (1)

Publication Number Publication Date
CN109316738A true CN109316738A (zh) 2019-02-12

Family

ID=65266394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811151947.7A Pending CN109316738A (zh) 2018-09-29 2018-09-29 一种基于ar的人机交互游戏系统

Country Status (1)

Country Link
CN (1) CN109316738A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102671382A (zh) * 2011-03-08 2012-09-19 德信互动科技（北京）有限公司 体感游戏装置
CN108043032A (zh) * 2017-12-29 2018-05-18 武汉艺术先生数码科技有限公司 基于ar的射击游戏系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102671382A (zh) * 2011-03-08 2012-09-19 德信互动科技（北京）有限公司 体感游戏装置
CN108043032A (zh) * 2017-12-29 2018-05-18 武汉艺术先生数码科技有限公司 基于ar的射击游戏系统

Similar Documents

Publication Publication Date Title
US11745097B2 (en) Spatially-correlated human-machine interface
US10864433B2 (en) Using a portable device to interact with a virtual space
US11173392B2 (en) Spatially-correlated human-machine interface
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
CN110140099B (zh) 用于跟踪控制器的系统和方法
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
EP2627420B1 (en) System for enabling a handheld device to capture video of an interactive application
JP2021520978A (ja) 仮想対象と投擲物とのインタラクションを制御する方法及びその装置、並びにコンピュータプログラム
US10996757B2 (en) Methods and apparatus for generating haptic interaction for virtual reality
US20140009384A1 (en) Methods and systems for determining location of handheld device within 3d environment
CN104995583A (zh) 用于混合现实环境的直接交互系统
US20160375354A1 (en) Facilitating dynamic game surface adjustment
WO2013028908A1 (en) Touch and social cues as inputs into a computer
WO2013028813A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US11100713B2 (en) System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
WO2019087564A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
US20210183158A1 (en) Placement and manipulation of objects in augmented reality environment
CN103517061A (zh) 一种终端设备的显示控制方法及装置
CN108744511B (zh) 虚拟环境中的瞄准镜显示方法、设备及存储介质
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017061890A1 (en) Wireless full body motion control sensor
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
Tseng Development of a low-cost 3D interactive VR system using SBS 3D display, VR headset and finger posture motion tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190212