CN104436634A - 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 - Google Patents

一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 Download PDF

Info

Publication number
CN104436634A
CN104436634A CN201410660779.XA CN201410660779A CN104436634A CN 104436634 A CN104436634 A CN 104436634A CN 201410660779 A CN201410660779 A CN 201410660779A CN 104436634 A CN104436634 A CN 104436634A
Authority
CN
China
Prior art keywords
player
data
space
module
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410660779.XA
Other languages
English (en)
Other versions
CN104436634B (zh
Inventor
李红波
范张群
欧阳文
张少波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201410660779.XA priority Critical patent/CN104436634B/zh
Publication of CN104436634A publication Critical patent/CN104436634A/zh
Application granted granted Critical
Publication of CN104436634B publication Critical patent/CN104436634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及计算机图像技术领域,具体是一种采用沉浸式虚拟现实技术的真人射击类游戏系统。本发明采用虚拟现实技术根据现实空间定位信息实时渲染虚拟三维空间场景和虚拟玩家模型并在玩家的头戴式显示器的视频中显示。背包计算机接受头戴显示器上送来的现实场景图像,通过图像中的标识确定玩家坐标,头戴显示器确定玩家面部朝向,背包计算机计算空间定位信息并渲染虚拟画面。背包计算机从枪系统获取枪口定位信息判断是否命中,并在虚拟画面上渲染虚拟图像。系统服务器存储多个玩家数据,实现各玩家之间的通信与数据交换。本发明具有扩展能力强,模拟真实度高,大大增强了第一人称射击类游戏的娱乐性。

Description

一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
技术领域
本发明涉及计算机图形技术领域,具体涉及一种采用沉浸式虚拟现实技术的真人射击类游戏的系统。
背景技术
第一人称视角射击游戏顾名思义就是以玩家的主观视角来进行射击游戏。玩家们不再像别的游戏一样操纵屏幕中的虚拟人物来进行游戏,而是身临其境的体验游戏带来的视觉冲击,这就大大增强了游戏的主动性和真实感。早期第一人称类游戏所带给玩家的一般都是的屏幕光线的刺激,简单快捷的游戏节奏。随着游戏硬件的逐步完善,以及各种游戏的不断结合。第一人称射击类游戏提供了更加丰富的剧情以及精美的画面和生动的音效。
随着第一人称射击类游戏的不断发展,真人第一人称射击类游戏应运而生。真人第一人称射击类游戏其实是一种模仿军队作战的游戏,参加者都穿上各款军服,手持各种枪,配备各款装备,穿梭阵地之间,展现各种队形阵势,个人技巧,全部投入扮演一个士兵的角色。
传统的基于现实世界的真人第一人称射击类游戏由于场地、科技等现实因素的限制已经越来越不能满足玩家们不断追求娱乐的态度。而沉浸式虚拟现实技术不断成熟的今天,将沉浸式虚拟现实技术与真人第一人称射击类游戏相结合,使得真人第一人称射击类游戏走向一片全新的发展领域。
对于专利公开号为:102735100A的中国专利公开了一种采用增强现实技术的单兵轻武器射击训练的方法和系统。本系统采用增强现实技术实时融合真实场景和虚拟射击目标并在训练者视频眼镜中形成战斗场景,枪系统上摄像头和扳机将射击信息传向智能手机,由智能手机判定是否射中目标;同时虚拟目标也可向射击者射击,形成射击结果存储和训练者头带视频眼镜中显示,输出反馈效果信息。但是该系统中射击者仅仅只能移动枪械,而无法移动射击者自身,定位功能上仅仅完成了对枪械的定位,并没有做出对于射击者的空间位置的定位。
目前,头戴式显示器的发展使得将沉浸式虚拟现实技术与真人第一人称射击类游戏相结合成为可能。头戴式显示器的虚拟现实功能使得玩家视觉上完全沉浸在虚拟空间之中,如激光,虚拟人物等在现实空间无法实现的功能都可以在虚拟空间内实现。最终使得真人射击类游戏更具有科幻性和娱乐性。
发明内容
本发明所要解决的技术问题在于真人射击类游戏中,因为受到现实空间的环境等因素的限制而无法将诸多可以增强游戏体验的游戏方式实现的矛盾。本发明提出一种采用沉浸式虚拟现实技术使玩家视觉上完全沉浸于虚拟空间中,在虚拟空间中实现虚拟环境、虚拟特效的构造,带给用户在真实空间中无法拥有的游戏体验的方法和系统。
捕获真实环境的视频帧,利用增强现实的基于标志特征的摄像机标定技术进行摄像机标定,求得摄像机外参数,获得摄像头与标识之间的三维空间距离,并结合陀螺仪的面部朝向数据,计算并渲染出玩家在游戏虚拟空间中所看到的游戏画面。射中验证模块获取枪口的定位信息后利用射线算法判定射击者是否击中了玩家与被击中玩家的身份,并将玩家受伤消息送给服务器,在受伤玩家的显示器上做出受伤渲染。本发明的具体技术方案如下:
一种采用沉浸式虚拟现实技术的真人射击类游戏的系统,该系统包括:系统服务器、头戴式显示器、玩家背包计算机、枪械系统、标识子系统,
系统服务器中设置:玩家数据存储模块。背包计算机中设置:三维注册模块、渲染模块、射中验证模块,标识数据存储模块。枪械系统中设置:枪口角度数据模块、数据手套定位模块、扳机传感器模块。头戴式显示器中设置:面部朝向数据模块、旋转底座控制模块、摄像模块、显示模块。标识子系统中设置:场景中所有标识布局。系统服务器中玩家数据存储模块存储游戏中所有玩家的生命值、现实空间坐标数据,并与背包计算机进行数据交互,背包计算机中的三维注册模块,接受并识别现实空间图像,确定玩家与图像标识之间的三维空间距离,获得玩家的现实空间坐标,背包计算机中的渲染模块,通过玩家面部朝向数据和现实空间坐标数据,得到玩家在虚拟空间中的虚拟坐标和面部角度,完成玩家在现实空间与虚拟空间中的同步视觉跟踪,背包计算机中的射中验证模块,接受扳机扣动消息和枪口空间定位数据,判断本次扣动扳机是否命中其他玩家,背包计算机中的标识数据存储模块,存储放置在现实空间中所有标识的空间坐标,以及玩家编号与标识的对应关系;枪械系统中枪械角度数据模块,通过枪械系统内置的三轴陀螺仪获得枪口角度数据,枪械系统中数据手套定位模块获取数据手套与玩家之间的三维距离,当玩家按下扳机时,枪械系统中扳机传感器模块将枪口角度数据和三维距离封装进扳机扣动消息传送给背包计算机;头戴式显示器中面部朝向数据模块,通过内置三轴陀螺仪将玩家面部朝向数据传给摄像模块和旋转底座控制模块,旋转底座控制模块调整摄像头角度使摄像头保持垂直向上的指向,摄像模块获取真实场景的图像数据与玩家面部朝向数据,封装成画面帧消息并发送给背包计算机上,显示模块接受玩家背包计算机传来的渲染画面;标识子系统根据摄像机的视角以及室内空间高度确定标识间距离。
所述确定玩家与图像标识之间的三维空间距离进一步包括,利用基于像素灰度值的灰度图像空间模板匹配算法对图像数据进行标识图像检测,使用两步标定算法对头戴显示器上的摄像机进行摄像机标定,计算摄像机内参数和外参数,得到摄像头与标识点之间的三维空间距离。射中验证模块根据枪械系统中枪口空间定位数据确定枪口虚拟空间坐标,根据系统服务器中当前所有玩家空间坐标生成当前所有玩家包围盒,以枪口为起点,以枪口角度为方向发出三维射线,判断此射线穿过的第一个包围盒是否是其他玩家的隐式虚拟包围盒,若穿过,则表示击中。旋转底座控制模块接收面部朝向数据模块送来的当前玩家头部Yaw、Pitch、Roll三个偏转角度(旋转值),其中,Yaw为头部绕Z轴旋转,即摇头动作的旋转值;Picth为头部绕X轴旋转,即点头动作的旋转值;Roll轴头部绕Y轴旋转,即侧头动作的旋转值。然后对于每一轴都反向旋转与面部朝向数据中相同的角度,使得旋转底座上的摄像头保持垂直向上拍摄。两步标定算法具体包括:头戴式显示器中摄像模块获取现实世界画面帧,读取中心主点坐标、缩放因子、像素宽度、像素高度,检测出所有角点,根据角点坐标和物点坐标建立方程组,求解方程中的所有外参数和焦距;根据物点和像点构建映射方程优化畸变系数,焦距和外参数,其中,物点为现实空间中标识上的角点,像点为这些角点在现实世界画面帧图像中的图像坐标。所述对标识图像检测具体包括:检测摄像模块画面和实际空间画面中至少4个点,根据这4个点计算现实空间坐标系到图像坐标系之间的单应性矩阵,调用变换矩阵将摄像机画面中标识图像进行转正,求出该标识图像面积比几何特征;求出该面积比几何特征与存储标识的几何特征数据之间的最小欧氏距离,若最小欧式距离大于阈值,则完成此模式识别。
本发明还提出一种采用沉浸式虚拟现实技术的真人射击类游戏系统实现方法,包括步骤:系统服务器中玩家数据存储模块存储游戏中所有玩家的生命值、现实空间坐标数据,并与背包计算机进行数据交互,背包计算机中的三维注册模块,接受并识别现实空间图像,确定玩家与图像标识之间的三维空间距离,获得玩家的现实空间坐标,背包计算机中的渲染模块,通过玩家面部朝向数据和现实空间坐标数据,得到玩家在虚拟空间中的虚拟坐标和面部角度,完成玩家在现实空间与虚拟空间中的同步视觉跟踪,背包计算机中的射中验证模块,接受扳机扣动消息和枪口空间定位数据,判断本次扣动扳机是否命中其他玩家,背包计算机中的标识数据存储模块,存储放置在现实空间所有标识的空间坐标,以及玩家编号与标识的对应关系;枪械系统中枪械角度数据模块,通过枪械系统内置的三轴陀螺仪获得枪口角度数据,枪械系统中数据手套定位模块获取数据手套与玩家之间的三维距离,当玩家按下扳机时,枪械系统中扳机传感器模块将枪口角度数据和三维距离封装进扳机扣动消息传送给背包计算机;头戴式显示器中面部朝向数据模块,通过内置三轴陀螺仪将玩家面部朝向数据传给摄像模块和旋转底座控制模块,旋转底座控制模块调整摄像头角度使摄像头保持垂直向上的指向,摄像模块获取真实场景的图像数据与玩家面部朝向数据,封装成画面帧消息并发送给背包计算机上,显示模块接受玩家背包计算机传来的渲染画面;标识子系统根据摄像机的视角以及室内空间高度确定标识间距离。
本发明将沉浸式虚拟现实技术与真人第一人称射击类游戏相结合,头戴式显示器的虚拟现实功能使得玩家视觉上完全沉浸在虚拟空间之中,使得真人射击类游戏更具有科幻性和娱乐性。
附图说明
图1本发明各设备间系统结构图;
图2本发明背包计算机内部系统结构图;
图3基于像素灰度值的灰度图像空间模板匹配算法流程图;
图4摄像机两步标定算法流程图。
具体实施方式
下面结合具体实施例以及附图对本发明作进一步的阐述和说明。
首先,根据实际室内场地进行标识布局,标识数量与标识间隔依据摄像机视角和场地高度决定,保证摄像头在任何空间位置,都至少能拍摄到一个标识以进行定位。
如图1所示为本发明设备级系统结构框架图。一种采用沉浸式虚拟现实技术的真人射击类游戏的系统,该框架图包括:系统服务器A1、枪械系统A2、玩家背包计算机A3、头戴显示器A4。其中:系统服务器包括:系统服务器与玩家背包计算机交互接口A11;枪械系统包括:扳机传感器模块A21;玩家背包计算机包括:玩家背包计算机与系统服务器交互接口A31、玩家背包计算机与头戴式显示器交互接口A32、玩家背包计算机与枪械系统交互接口A33;头戴显示器包括:摄像模块A41,、显示模块A42。
系统服务器A1上的系统服务器与玩家背包计算机交互接口A11,利用无线宽带与正在游戏中的所有背包计算机进行数据交互,每台背包计算机上所渲染每一帧的同时都至少要与服务器进行一次数据交互,以确定玩家当前空间坐标与其他玩家当前空间坐标。
枪械系统A2上的扳机传感器模块A21,在启动该模块后,将枪口现实空间坐标和枪口角度数据封装进扳机扣动消息送给玩家背包计算机与枪械系统交互接口A33。头戴式显示器A4上的摄像模块A41捕获每一帧后都将当前画面帧和玩家面部朝向数据送给玩家背包计算机玩家背包计算机与头戴式显示器交互接口A32。头戴式显示器A4上的显示模块A42接受玩家背包计算机与头戴式显示器交互接口A32送来的渲染画面,以单屏幕双投影模式现实在屏幕上。玩家背包计算机A3上的玩家背包计算机与系统服务器交互接口A31,接受玩家背包计算机内部的各种消息,例如玩家现实空间坐标请求消息、玩家现实空间坐标更新消息、受伤消息等,将其发送给系统服务器。同时玩家背包计算机与系统服务器交互接口A31也接受系统服务器的各种消息,例如应答消息、玩家死亡消息等。玩家背包计算机A3上的玩家背包计算机与头戴式显示器交互接口A32,接受头戴式显示器发来的画面帧消息,从帧消息中解包出画面帧数据和玩家面部朝向数据,并将画面帧数据送给三维注册模块,将玩家面部朝向数据送给渲染模块。同时玩家背包计算机与头戴式显示器交互接口A32接受渲染模块送来的渲染后画面,送给头戴式显示器A4的显示模块A42。玩家背包计算机A3上的玩家背包计算机与枪械系统交互接口A33,接收枪械系统A2的扳机传感器模块A21送来的扳机扣动消息,启动射中验证模块,并从扳机扣动消息中解包出枪口角度数据送给射中验证模块。
如图2所示为本发明中玩家背包计算机内部工作流程图,本实施提供一种采用沉浸式虚拟现实技术的第一人称射击游戏的方法,
B1:三维注册模块由帧驱动,获取现实空间画面帧并运用基于像素灰度值的灰度图像空间模板匹配算法识别帧中标识,运用摄像机两步标定算法确定玩家与标识的三维距离。
B2~B3:根据所识别到的标识,在标识数据存储模块中找到该标识的空间坐标,由此来确定玩家当前空间坐标。
B4~B7:根据玩家当前空间坐标、面部朝向数据、其他玩家当前空间坐标数据以及附加渲染数据来渲染画面,并将渲染完成的画面送给玩家背包计算机与头戴式显示器交互接口。
B8~B10:判断是否收到扳机扣动消息,若收到则判断是否命中,若未收到扳机扣动消息或收到扳机扣动消息但是未命中,则返回三维注册模块接收下一帧现实空间画面数据。
B11~B15:若命中后,背包计算机将命中信息传给服务器,服务器对命中信息作出扣除玩家生命值、对被命中玩家发送受伤消息等响应。
如图3所示为本发明的标识识别算法,即基于像素灰度值的灰度图像空间模板匹配算法。本实施提供一种采用沉浸式虚拟现实技术的第一人称射击游戏的方法,
C1~C3:首先通过检测摄像机画面和实际空间画面中至少4个点来求出标识物体坐标系到相机坐标系之间的变换矩阵,用这个变换矩阵将摄像机画面中经过透视变换的标识图像进行转正,并求出该标识物区域的面积比几何特征。
C4~C7:使用欧氏距离求出该标识集合特征与存储标识的几何特征数据之间的最小距离,若最小欧式距离大于阈值,则完成此模式识别,若最小欧式距离小于阈值,则识别失败。
图4所示为摄像机两步标定算法流程图。
D1:头戴式显示器上的摄像头获取现实世界画面帧。
D2:读取摄像机的出场信息,包括中心主点坐标(Cx,Cy),缩放因子sx,每个像素的宽度dx,每个像素的高度dy
D3~D4:利用Harris角点检测算法检测角点,检测出所有角点后。
D5~D6:根据角点坐标和物点坐标求解方程组,求解所有外参数和焦距。令畸变系数为0,根据物点和像点映射方程优化畸变系数,焦距和外参数。
对于每一对物点和像点(即角点)i,具有以下线性方程:
[ Y di X wi , Y di X wi , Y di X wi , Y di X wi , Y di X wi ] T y - 1 r 1 T y - 1 r 2 T y - 1 T x T y - 1 r 4 T y - 1 r 5 = X di
其中:(Xwi,Ywi,Zwi)表示物点坐标,(Xdi,Ydi)表示像点(即角点)坐标,(r1,r2,......,r9)表示外参数的旋转矩阵,(Tx,Ty,Tz)表示外参数的平移向量:
求解以上超定方程可以得到解向量:
[ T y - 1 r 1 , T y - 1 r 2 , T y - 1 T x , T y - 1 r 4 , T y - 1 r 5 ]
令: C = T y - 1 r 1 T y - 1 r 2 T y - 1 r 4 T y - 1 r 5
若矩阵C的秩为2,则有:
T y 2 = S r - [ S r 2 - 4 ( T y - 1 r 1 T y - 1 r 5 - T y - 1 r 4 T y - 1 r 2 ) 2 ] 1 / 2 2 ( T y - 1 r 1 T y - 1 r 5 - T y - 1 r 4 T y - 1 r 2 ) 2
其中:
S r = ( T y - 1 r 1 ) 2 + ( T y - 1 r 2 ) 2 + ( T y - 1 r 3 ) 2 + ( T y - 1 r 5 ) 2
若C的秩不为2,则有:
T y 2 = ( ( T y - 1 r i ) 2 + ( T y - 1 r j ) 2 ) - 1
继续确定Ty符号后,根据超定方程组解向量计算可以求得r1,r2,Tx,r4,r5五个外参数,基于这5个外参数求解所有外参数:
外参数中旋转矩阵 R = r 1 r 2 r 3 r 4 r 5 r 6 r 7 r 8 r 9 具有正交性,在已知r1,r2,r4,r5后,根据据正交性求得r3,r6,r7,r8,r9
外参数中,平移向量T=[Tx,Ty,Tz]在已求得Tx,Ty后,解下方程:
[ y i - dy Y i ] f T z = w i dy Y i
求得Tz与焦距f。其中:
yi=r4xwi+r5ywi+Ty
wi=r7xwi+r8ywi
dy为图像像素格的高度
Yi为i点在图像中的坐标,以像素为单位。最终,根据以下方程:
d y ′ Y + d y ′ Yk r 2 = f r 4 X w + r 5 Y w + r 6 Z w + T y r 7 X w + r 8 Y w + r 9 Z w + T z
其中: r = ( s x - 1 d x ′ X ) 2 + ( d y Y ) 2
优化f,Tz,k,其中f,Tz初始值为前所求,k的初始值为0。
需要说明的是,普通的技术人员针对上述的实施还可以很容易的想到其他的技术方案,只要这些技术方案在本发明的构思范围内,应等同于本专利的技术方案,属于本专利的保护范围。

Claims (12)

1.一种采用沉浸式虚拟现实技术的真人射击游戏系统,该系统包括:系统服务器、头戴式显示器、背包计算机、枪械系统、标识子系统,其特征在于,系统服务器中玩家数据存储模块存储游戏中所有玩家的生命值、现实空间坐标数据,并与背包计算机进行数据交互,背包计算机中的三维注册模块,接受并识别现实空间图像,确定玩家与图像标识之间的三维空间距离,获得玩家的现实空间坐标,背包计算机中的渲染模块,通过玩家面部朝向数据和现实空间坐标数据,得到玩家在虚拟空间中的虚拟坐标和面部角度,完成玩家在现实空间与虚拟空间中的同步视觉跟踪,背包计算机中的射中验证模块,接受扳机扣动消息和枪口空间定位数据,判断本次扣动扳机是否命中其他玩家,背包计算机中的标识数据存储模块,存储放置在现实空间所有标识的空间坐标,以及玩家编号与标识的对应关系;枪械系统中枪械角度数据模块,通过枪械系统内置的三轴陀螺仪获得枪口角度数据,枪械系统中数据手套定位模块获取数据手套与玩家之间的三维距离,当玩家按下扳机时,枪械系统中扳机传感器模块将枪口角度数据和三维距离封装进扳机扣动消息传送给背包计算机;头戴式显示器中面部朝向数据模块,通过内置三轴陀螺仪将玩家面部朝向数据传给摄像模块和旋转底座控制模块,旋转底座控制模块调整摄像头角度使摄像头保持垂直向上的指向,摄像模块获取真实场景的图像数据与玩家面部朝向数据,封装成画面帧消息并发送给背包计算机上,显示模块接受玩家背包计算机传来的渲染画面;标识子系统根据摄像机的视角以及室内空间高度确定标识间距离。
2.根据权利要求1所述的系统,其特征在于:所述确定玩家与图像标识之间的三维空间距离进一步包括,利用基于像素灰度值的灰度图像空间模板匹配算法对图像数据进行标识图像检测,使用两步标定算法对头戴显示器上的摄像机进行摄像机标定,计算摄像机内参数和外参数,得到摄像头与标识点之间的三维空间距离。
3.根据权利要求1所述的系统,其特征在于:射中验证模块根据枪械系统中枪口空间定位数据确定枪口虚拟空间坐标,根据系统服务器中当前所有玩家空间坐标生成当前所有玩家包围盒,以枪口为起点,以枪口角度为方向发出三维射线,判断此射线穿过的第一个包围盒是否是其他玩家的隐式虚拟包围盒,若穿过,则表示击中。
4.根据权利要求1所述的系统,其特征在于:旋转底座控制模块接收面部朝向数据模块送来的当前玩家头部Yaw、Pitch、Roll三个偏转角度,然后对于每一偏转角度都反向旋转与面部朝向数据中相同的角度,使得旋转底座上的摄像头保持垂直向上拍摄,其中,Yaw为头部绕Z轴旋转,即摇头动作的偏转角度,Picth为头部绕X轴旋转,即点头动作的偏转角度,Roll为头部绕Y轴旋转,即侧头动作的偏转角度。
5.根据权利要求2所述的系统,其特征在于:两步标定算法具体包括:头戴式显示器中摄像模块获取现实世界画面帧,读取中心主点坐标、缩放因子、像素宽度、像素高度,检测出所有角点,根据角点坐标和物点坐标建立方程组,求解方程中的所有外参数和焦距,构建映射方程优化畸变系数,焦距和外参数,其中。
6.根据权利要求2所述的系统,其特征在于:所述对标识图像检测具体包括:检测摄像模块画面和实际空间画面中至少4个点,计算现实空间坐标系到图像坐标系之间的单应性矩阵,调用变换矩阵将摄像机画面中标识图像进行转正,求出该标识图像面积比几何特征;计算该像面积比几何特征与存储标识的几何特征之间的最小欧氏距离,若最小欧式距离大于阈值,则完成此模式识别。
7.一种采用沉浸式虚拟现实技术的真人射击类游戏系统实现方法,其特征在于,系统服务器中玩家数据存储模块存储游戏中所有玩家的生命值、现实空间坐标数据,并与背包计算机进行数据交互,背包计算机中的三维注册模块,接受并识别现实空间图像,确定玩家与图像标识之间的三维空间距离,获得玩家的现实空间坐标,背包计算机中的渲染模块,通过玩家面部朝向数据和现实空间坐标数据,得到玩家在虚拟空间中的虚拟坐标和面部角度,完成玩家在现实空间与虚拟空间中的同步视觉跟踪,背包计算机中的射中验证模块,接受扳机扣动消息和枪口空间定位数据,判断本次扣动扳机是否命中其他玩家,背包计算机中的标识数据存储模块,存储放置在现实空间所有标识的空间坐标,以及玩家编号与标识的对应关系;枪械系统中枪械角度数据模块,通过枪械系统内置的三轴陀螺仪获得枪口角度数据,枪械系统中数据手套定位模块获取数据手套与玩家之间的三维距离,当玩家按下扳机时,枪械系统中扳机传感器模块将枪口角度数据和三维距离封装进扳机扣动消息传送给背包计算机;头戴式显示器中面部朝向数据模块,通过内置三轴陀螺仪将玩家面部朝向数据传给摄像模块和旋转底座控制模块,旋转底座控制模块调整摄像头角度使摄像头保持垂直向上的指向,摄像模块获取真实场景的图像数据与玩家面部朝向数据,封装成画面帧消息并发送给背包计算机上,显示模块接受玩家背包计算机传来的渲染画面;标识子系统根据摄像机的视角以及室内空间高度确定标识间距离。
8.根据权利要求7所述的方法,其特征在于:所述确定玩家与图像标识之间的三维空间距离进一步包括,利用基于像素灰度值的灰度图像空间模板匹配算法对图像数据进行标识图像检测,使用两步标定算法对头戴显示器上的摄像机进行摄像机标定,计算摄像机内参数和外参数,得到摄像头与标识点之间的三维空间距离。
9.根据权利要求7所述的方法,其特征在于:射中验证模块根据枪械系统中枪口空间定位数据确定枪口虚拟空间坐标,根据系统服务器中当前所有玩家空间坐标生成当前所有玩家包围盒,以枪口为起点,以枪口角度为方向发出三维射线,判断此射线穿过的第一个包围盒是否是其他玩家的隐式虚拟包围盒,若穿过,则表示击中。
10.根据权利要求7所述的方法,其特征在于:旋转底座控制模块接收面部朝向数据模块送来的当前玩家头部Yaw、Pitch、Roll个偏转角度,然后对于每一偏转角度都反向旋转与面部朝向数据中相同的角度,使得旋转底座上的摄像头保持垂直向上拍摄,其中,Yaw为头部绕Z轴旋转,即摇头动作的偏转角度,Picth为头部绕X轴旋转,即点头动作的偏转角度,Roll为头部绕Y轴旋转,即侧头动作的偏转角度。
11.根据权利要求8所述的方法,其特征在于:两步标定算法具体包括:头戴式显示器中摄像模块获取现实世界画面帧,读取中心主点坐标、缩放因子、像素宽度、像素高度,检测出所有角点,根据角点坐标和物点坐标建立方程组,求解方程中的所有外参数和焦距,构建映射方程优化畸变系数,焦距和外参数。
12.根据权利要求8所述的方法,其特征在于:所述对标识图像检测具体包括:检测摄像模块画面和实际空间画面中至少4个点,计算现实空间坐标系到图像坐标系之间的单应性矩阵,调用变换矩阵将摄像机画面中标识图像进行转正,求出该标识图像面积比几何特征,计算该面积比几何特征与存储标识的几何特征之间的最小欧氏距离,若最小欧式距离大于阈值,则完成此模式识别。
CN201410660779.XA 2014-11-19 2014-11-19 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 Active CN104436634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410660779.XA CN104436634B (zh) 2014-11-19 2014-11-19 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410660779.XA CN104436634B (zh) 2014-11-19 2014-11-19 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法

Publications (2)

Publication Number Publication Date
CN104436634A true CN104436634A (zh) 2015-03-25
CN104436634B CN104436634B (zh) 2017-09-19

Family

ID=52883855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410660779.XA Active CN104436634B (zh) 2014-11-19 2014-11-19 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法

Country Status (1)

Country Link
CN (1) CN104436634B (zh)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104759095A (zh) * 2015-04-24 2015-07-08 吴展雄 一种虚拟现实头戴显示系统
CN104881128A (zh) * 2015-06-18 2015-09-02 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN105044915A (zh) * 2015-09-02 2015-11-11 大连麒美数字科技有限公司 一种利用头戴显示器实现影片互动的控制方法
CN105107203A (zh) * 2015-08-18 2015-12-02 武汉大学 一种应用于空间视频定位的几何逻辑区域校验方法
CN105487660A (zh) * 2015-11-25 2016-04-13 北京理工大学 基于虚拟现实技术的沉浸式舞台表演交互方法及系统
CN105867611A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实系统中的空间定位方法、装置及系统
CN106385680A (zh) * 2016-09-21 2017-02-08 平越 增强娱乐性的虚拟现实娱乐系统及其方法
CN106408667A (zh) * 2016-08-30 2017-02-15 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106406525A (zh) * 2016-09-07 2017-02-15 讯飞幻境(北京)科技有限公司 虚拟现实交互方法、装置及设备
CN106422263A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 可视化编程及编辑的vr击剑训练制作体验系统
CN106582006A (zh) * 2016-11-30 2017-04-26 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的射击游戏交互方法及装置
WO2017080087A1 (zh) * 2015-11-13 2017-05-18 小米科技有限责任公司 用于游戏的图像识别方法及装置
CN106708180A (zh) * 2016-11-18 2017-05-24 北京航天易联科技发展有限公司 一种便携式虚拟现实背包设备
CN106791399A (zh) * 2016-12-22 2017-05-31 深圳市虚拟现实技术有限公司 虚拟现实变焦空间定位方法与系统
CN107015642A (zh) * 2017-03-13 2017-08-04 武汉秀宝软件有限公司 一种基于增强现实的数据同步方法和系统
CN107441714A (zh) * 2017-06-01 2017-12-08 杨玉苹 一种实现ar第一人称射击游戏的图像处理方法及其装置、射击游戏对战系统及其工作方法
CN107632705A (zh) * 2017-09-07 2018-01-26 歌尔科技有限公司 沉浸式交互方法、设备、系统及虚拟现实设备
CN107992188A (zh) * 2016-10-26 2018-05-04 宏达国际电子股份有限公司 虚拟现实交互方法、装置与系统
CN108031110A (zh) * 2017-11-03 2018-05-15 东莞市新进巧工艺制品有限公司 一种基于ar技术的游戏系统
CN108211343A (zh) * 2018-01-23 2018-06-29 上海森涵信息技术有限公司 基于vr技术的模拟射击方法和装置
CN108268138A (zh) * 2018-01-29 2018-07-10 广州市动景计算机科技有限公司 增强现实的处理方法、装置及电子设备
CN108389264A (zh) * 2018-02-07 2018-08-10 网易(杭州)网络有限公司 坐标系统确定方法、装置、存储介质及电子设备
CN109173252A (zh) * 2018-09-19 2019-01-11 深圳华侨城文化旅游科技股份有限公司 一种屏幕射击游戏定位方法、存储介质及装置
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109901717A (zh) * 2019-03-05 2019-06-18 深圳鼎盛乐园娱乐服务有限公司 一种虚拟现实多竞技交互系统
CN109992100A (zh) * 2017-12-30 2019-07-09 深圳多哚新技术有限责任公司 一种头戴显示系统及其显示方法
CN110013669A (zh) * 2019-03-05 2019-07-16 深圳鼎盛乐园娱乐服务有限公司 一种虚拟现实多竞技交互方法
CN110276752A (zh) * 2019-06-18 2019-09-24 浙江工业大学 基于android系统的混凝土表面裂缝特征的APP检测方法
WO2019214360A1 (zh) * 2018-05-09 2019-11-14 腾讯科技(深圳)有限公司 虚拟环境中的攻击物伤害值获取方法、攻击物伤害值显示方法、装置及计算机设备
CN110503001A (zh) * 2019-07-25 2019-11-26 青岛小鸟看看科技有限公司 一种虚拟现实vr设备及其避障方法、装置
CN110520200A (zh) * 2017-04-20 2019-11-29 微软技术许可有限责任公司 前庭锚定
CN110631411A (zh) * 2019-09-02 2019-12-31 北京易智时代数字科技有限公司 一种虚拟射击训练控制方法及系统
CN110935166A (zh) * 2018-09-25 2020-03-31 维亚科技国际有限公司 虚拟现实的游戏系统、处理器及虚拟游戏场景移动方法
CN110975283A (zh) * 2019-11-28 2020-04-10 腾讯科技(深圳)有限公司 虚拟射击道具的处理方法和装置、存储介质及电子装置
CN111150994A (zh) * 2018-11-07 2020-05-15 千寻位置网络有限公司 仿真武器装备的射击评估方法及装置、服务终端、存储器
CN111589096A (zh) * 2020-05-15 2020-08-28 深圳心颜科技有限责任公司 实体游戏数据处理方法、装置、设备、存储介质及实体游戏系统
CN111966127A (zh) * 2020-08-28 2020-11-20 广州亿航智能技术有限公司 一种无人机飞行编队互动系统、装置及计算设备
US10853651B2 (en) 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
CN112121410A (zh) * 2020-10-22 2020-12-25 深圳市瑞立视多媒体科技有限公司 一种基于vr游戏的装备入柜的方法
CN112807677A (zh) * 2021-02-23 2021-05-18 深圳市瑞立视多媒体科技有限公司 一种人机交互的方法、装置、设备及存储介质
CN112839725A (zh) * 2018-09-26 2021-05-25 威尔乌集团 用于在视频游戏中提供增强现实(ar)的ar系统
CN113008074A (zh) * 2021-04-02 2021-06-22 王东华 一种作战演习的对抗评估系统
CN113031754A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 头戴式显示系统及其旋转中心修正方法
CN113680059A (zh) * 2021-08-31 2021-11-23 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900845B2 (en) 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152854A (en) * 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
WO2010075481A1 (en) * 2008-12-24 2010-07-01 Ioannis Tarnanas Virtual reality interface system
CN201829068U (zh) * 2010-09-13 2011-05-11 徐龙龙 一种基于虚拟现实的单兵训练系统
CN202025322U (zh) * 2011-01-24 2011-11-02 西安灵境科技有限公司 虚拟对战平台多人射击辨识装置
CN102735100A (zh) * 2012-06-08 2012-10-17 重庆邮电大学 一种采用增强现实技术的单兵轻武器射击训练的方法和系统
CN103791770A (zh) * 2014-03-11 2014-05-14 哈尔滨工业大学 沉浸式虚拟弓箭射击系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152854A (en) * 1996-08-27 2000-11-28 Carmein; David E. E. Omni-directional treadmill
WO2010075481A1 (en) * 2008-12-24 2010-07-01 Ioannis Tarnanas Virtual reality interface system
CN201829068U (zh) * 2010-09-13 2011-05-11 徐龙龙 一种基于虚拟现实的单兵训练系统
CN202025322U (zh) * 2011-01-24 2011-11-02 西安灵境科技有限公司 虚拟对战平台多人射击辨识装置
CN102735100A (zh) * 2012-06-08 2012-10-17 重庆邮电大学 一种采用增强现实技术的单兵轻武器射击训练的方法和系统
CN103791770A (zh) * 2014-03-11 2014-05-14 哈尔滨工业大学 沉浸式虚拟弓箭射击系统

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104759095A (zh) * 2015-04-24 2015-07-08 吴展雄 一种虚拟现实头戴显示系统
CN104881128A (zh) * 2015-06-18 2015-09-02 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN104881128B (zh) * 2015-06-18 2018-01-16 北京国承万通信息科技有限公司 基于实物在虚拟现实场景中显示目标图像的方法及系统
CN105107203A (zh) * 2015-08-18 2015-12-02 武汉大学 一种应用于空间视频定位的几何逻辑区域校验方法
CN105044915A (zh) * 2015-09-02 2015-11-11 大连麒美数字科技有限公司 一种利用头戴显示器实现影片互动的控制方法
WO2017080087A1 (zh) * 2015-11-13 2017-05-18 小米科技有限责任公司 用于游戏的图像识别方法及装置
CN105487660A (zh) * 2015-11-25 2016-04-13 北京理工大学 基于虚拟现实技术的沉浸式舞台表演交互方法及系统
CN105867611A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实系统中的空间定位方法、装置及系统
CN106408667A (zh) * 2016-08-30 2017-02-15 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106408667B (zh) * 2016-08-30 2019-03-05 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106406525A (zh) * 2016-09-07 2017-02-15 讯飞幻境(北京)科技有限公司 虚拟现实交互方法、装置及设备
CN106385680A (zh) * 2016-09-21 2017-02-08 平越 增强娱乐性的虚拟现实娱乐系统及其方法
CN106422263B (zh) * 2016-10-12 2019-03-08 快创科技(大连)有限公司 可视化编程及编辑的vr击剑训练制作体验系统
CN106422263A (zh) * 2016-10-12 2017-02-22 大连文森特软件科技有限公司 可视化编程及编辑的vr击剑训练制作体验系统
CN107992188A (zh) * 2016-10-26 2018-05-04 宏达国际电子股份有限公司 虚拟现实交互方法、装置与系统
US10853651B2 (en) 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
CN107992188B (zh) * 2016-10-26 2021-12-07 宏达国际电子股份有限公司 虚拟现实交互方法、装置与系统
CN106708180A (zh) * 2016-11-18 2017-05-24 北京航天易联科技发展有限公司 一种便携式虚拟现实背包设备
CN106582006A (zh) * 2016-11-30 2017-04-26 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的射击游戏交互方法及装置
CN106791399A (zh) * 2016-12-22 2017-05-31 深圳市虚拟现实技术有限公司 虚拟现实变焦空间定位方法与系统
CN107015642A (zh) * 2017-03-13 2017-08-04 武汉秀宝软件有限公司 一种基于增强现实的数据同步方法和系统
CN110520200A (zh) * 2017-04-20 2019-11-29 微软技术许可有限责任公司 前庭锚定
CN107441714A (zh) * 2017-06-01 2017-12-08 杨玉苹 一种实现ar第一人称射击游戏的图像处理方法及其装置、射击游戏对战系统及其工作方法
CN107632705A (zh) * 2017-09-07 2018-01-26 歌尔科技有限公司 沉浸式交互方法、设备、系统及虚拟现实设备
CN108031110A (zh) * 2017-11-03 2018-05-15 东莞市新进巧工艺制品有限公司 一种基于ar技术的游戏系统
CN109992100B (zh) * 2017-12-30 2022-11-29 深圳多哚新技术有限责任公司 一种头戴显示系统及其显示方法
CN109992100A (zh) * 2017-12-30 2019-07-09 深圳多哚新技术有限责任公司 一种头戴显示系统及其显示方法
CN108211343A (zh) * 2018-01-23 2018-06-29 上海森涵信息技术有限公司 基于vr技术的模拟射击方法和装置
CN108268138A (zh) * 2018-01-29 2018-07-10 广州市动景计算机科技有限公司 增强现实的处理方法、装置及电子设备
CN108389264B (zh) * 2018-02-07 2022-03-29 杭州易现先进科技有限公司 坐标系统确定方法、装置、存储介质及电子设备
CN108389264A (zh) * 2018-02-07 2018-08-10 网易(杭州)网络有限公司 坐标系统确定方法、装置、存储介质及电子设备
US11224815B2 (en) 2018-05-09 2022-01-18 Tencent Technology (Shenzhen) Company Limited Method and apparatus for obtaining damage value of attack item in virtual environment, method and apparatus for displaying damage value of attack item in virtual environment, and computer device
WO2019214360A1 (zh) * 2018-05-09 2019-11-14 腾讯科技(深圳)有限公司 虚拟环境中的攻击物伤害值获取方法、攻击物伤害值显示方法、装置及计算机设备
CN109173252A (zh) * 2018-09-19 2019-01-11 深圳华侨城文化旅游科技股份有限公司 一种屏幕射击游戏定位方法、存储介质及装置
CN110935166A (zh) * 2018-09-25 2020-03-31 维亚科技国际有限公司 虚拟现实的游戏系统、处理器及虚拟游戏场景移动方法
CN112839725A (zh) * 2018-09-26 2021-05-25 威尔乌集团 用于在视频游戏中提供增强现实(ar)的ar系统
CN111150994A (zh) * 2018-11-07 2020-05-15 千寻位置网络有限公司 仿真武器装备的射击评估方法及装置、服务终端、存储器
CN109801379A (zh) * 2019-01-21 2019-05-24 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109801379B (zh) * 2019-01-21 2023-02-17 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN109901717A (zh) * 2019-03-05 2019-06-18 深圳鼎盛乐园娱乐服务有限公司 一种虚拟现实多竞技交互系统
CN110013669A (zh) * 2019-03-05 2019-07-16 深圳鼎盛乐园娱乐服务有限公司 一种虚拟现实多竞技交互方法
CN110276752A (zh) * 2019-06-18 2019-09-24 浙江工业大学 基于android系统的混凝土表面裂缝特征的APP检测方法
CN110503001A (zh) * 2019-07-25 2019-11-26 青岛小鸟看看科技有限公司 一种虚拟现实vr设备及其避障方法、装置
CN110631411A (zh) * 2019-09-02 2019-12-31 北京易智时代数字科技有限公司 一种虚拟射击训练控制方法及系统
CN110975283A (zh) * 2019-11-28 2020-04-10 腾讯科技(深圳)有限公司 虚拟射击道具的处理方法和装置、存储介质及电子装置
CN113031754A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 头戴式显示系统及其旋转中心修正方法
CN111589096A (zh) * 2020-05-15 2020-08-28 深圳心颜科技有限责任公司 实体游戏数据处理方法、装置、设备、存储介质及实体游戏系统
CN111966127A (zh) * 2020-08-28 2020-11-20 广州亿航智能技术有限公司 一种无人机飞行编队互动系统、装置及计算设备
CN112121410A (zh) * 2020-10-22 2020-12-25 深圳市瑞立视多媒体科技有限公司 一种基于vr游戏的装备入柜的方法
CN112121410B (zh) * 2020-10-22 2024-04-12 深圳市瑞立视多媒体科技有限公司 一种基于vr游戏的装备入柜的方法
CN112807677A (zh) * 2021-02-23 2021-05-18 深圳市瑞立视多媒体科技有限公司 一种人机交互的方法、装置、设备及存储介质
CN113008074A (zh) * 2021-04-02 2021-06-22 王东华 一种作战演习的对抗评估系统
CN113680059A (zh) * 2021-08-31 2021-11-23 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法
CN113680059B (zh) * 2021-08-31 2024-05-14 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法

Also Published As

Publication number Publication date
CN104436634B (zh) 2017-09-19

Similar Documents

Publication Publication Date Title
CN104436634A (zh) 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
CN102735100B (zh) 一种采用增强现实技术的单兵轻武器射击训练的方法和系统
US10981055B2 (en) Position-dependent gaming, 3-D controller, and handheld as a remote
US10471355B2 (en) Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US9892563B2 (en) System and method for generating a mixed reality environment
US6890262B2 (en) Video game apparatus, method and recording medium storing program for controlling viewpoint movement of simulated camera in video game
JP3530772B2 (ja) 複合現実感装置及び複合現実空間画像の生成方法
US10661174B2 (en) Image generation system, image generation method, and information storage medium
JP5390115B2 (ja) プログラム、ゲームシステム
US8556716B2 (en) Image generation system, image generation method, and information storage medium
US20170148339A1 (en) Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
CN110335292A (zh) 一种基于图片跟踪实现模拟场景跟踪的方法及系统
KR101366444B1 (ko) 실시간 상호 연동 가능한 가상 사격 시스템
KR20140086938A (ko) 고정된 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적의 투사 이미지를 획득하기 위한 방법 및 시스템
US11759709B2 (en) Display method and apparatus for virtual environment picture, and device and storage medium
CA2099694A1 (en) Method and system for creating an illusion of three-dimensionality
JP2000350859A (ja) マーカ配置方法及び複合現実感装置
CN107665231A (zh) 定位方法和系统
CN111330278B (zh) 基于虚拟环境的动画播放方法、装置、设备及介质
Li Development of immersive and interactive virtual reality environment for two-player table tennis
Tedjokusumo et al. Immersive multiplayer games with tangible and physical interaction
CN101614504B (zh) 一种真人对抗模拟射击系统、对战平台及其操作方法
Yavuz et al. Desktop Artillery Simulation Using Augmented Reality
CN111651048B (zh) 多虚拟对象排列展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant