CN102735100A - 一种采用增强现实技术的单兵轻武器射击训练的方法和系统 - Google Patents

一种采用增强现实技术的单兵轻武器射击训练的方法和系统 Download PDF

Info

Publication number
CN102735100A
CN102735100A CN2012101869265A CN201210186926A CN102735100A CN 102735100 A CN102735100 A CN 102735100A CN 2012101869265 A CN2012101869265 A CN 2012101869265A CN 201210186926 A CN201210186926 A CN 201210186926A CN 102735100 A CN102735100 A CN 102735100A
Authority
CN
China
Prior art keywords
module
virtual target
virtual
ejaculator
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101869265A
Other languages
English (en)
Other versions
CN102735100B (zh
Inventor
李红波
吴渝
王绪
聂平
吴亮亮
齐明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201210186926.5A priority Critical patent/CN102735100B/zh
Publication of CN102735100A publication Critical patent/CN102735100A/zh
Application granted granted Critical
Publication of CN102735100B publication Critical patent/CN102735100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及计算机图像技术领域,具体是一种采用增强现实技术的射击训练的方法和系统。本发明采用增强现实技术实时融合真实场景和虚拟射击目标并在训练者视频眼镜中形成战斗场景,枪系统上摄像头和扳机将射击信息传向智能手机,由智能手机判定是否射中目标,形成射击结果存储和在射击者头带视频眼镜中显示;同时虚拟目标也可向射击者射击,形成射击结果存储和训练者头带视频眼镜中显示,输出反馈效果信息。本发明具有射击训练的灵活性强,模拟真实度高,而且大大节约了训练的成本。

Description

一种采用增强现实技术的单兵轻武器射击训练的方法和系统
技术领域
本发明涉及计算机图形技术领域,具体涉及一种采用增强现实技术的射击训练方法和系统。
背景技术
目前轻武器射击训练由于受到传统训练模式、方法和场地的制约,在训练科目和训练手段上还停留在胸环靶实弹射击为代表的基础精度射击和机械移动显隐靶射击方式,这种训练方式,靶目标位置不确定性、显隐性不足,很难满足移动目标时隐时现和移动不定情形下所需的射击技能和基本要求,造成战机的贻误,另外还存在着训练成本高、信息化技术不足的问题,无法有效提升单兵战斗力。
专利公开号为:CN201829068U中国专利公开了一种基于虚拟现实的单兵训练系统,可在很小的室内空间内为单兵训练提供真实的虚拟训练场景,可模拟特定的气候和地形环境,将受训人员在真实单兵训练场景中涉及到的动作通过对应的传感器产生的电信号实时传递给虚拟系统,驱动虚拟场景中的人物做出相同的动作,使受训者最大限度的贴近实战锻炼,但该系统头盔显示器所呈现的都是虚拟场景和虚拟人物,其专利重点在于射击者动作的信息反馈,另一方面,由于虚拟场景和人物都是计算机模型,其虚拟训练系统中反馈的信号直接作用在虚拟现实中虚拟射击者模型上,用虚拟现实中的虚拟射击者代替真实环境中的真实射击者,使得射击者主体没有真实融入射击训练中,造成射击训练的真实度不够,严重的影响了训练效果。
增强现实技术是在传统虚拟现实技术的基础上发展起来的。是一种通过将计算机产生的图形、文字、注释等虚拟三维信息无缝自然地叠加融合到用户所看到的真实世界场景中,增强用户对现实世界感知的技术。其关键技术三维注册,是将计算机生成的虚拟物体或信息与真实场景画面进行精确的位置配准,在此基础上才能实现虚实物体之间的融合显示。本发明涉及的训练系统中的射击对象是添加到真实场景中的虚拟目标,这正是三维注册技术所要实现的目标。
目前,增强现实三维注册技术主要分为基于标识和基于非标识即自然特征的两类,而前者的技术已经非常成熟。公开号为CN101339654A的中国发明专利提供了一种基于标志点的增强现实三维注册方法和系统,通过生成不可见光标志点,将生成的不可见光标志点投影到现实环境的承载面上,并采用具有不可见光滤光片的摄影机对投影在承载面上的不可见光标志点进行拍摄,获取所述不可见光标志点在屏幕中的二维坐标数据,根据所述的二维坐标数据对所述的不可见光标志点进行识别,获取不可见光标志点在现实环境的三维坐标与在屏幕中的二维坐标的映射,最终根据所述的映射计算出所述摄像机的姿态。此三维注册方法在实现过程中需要红外线发射与接收装置、红外滤光片等硬件设备的支持,另外,其算法步骤也较为复杂,不适合应用于实时的增强现实应用系统开发。
公开号为CN101893935A的中国发明专利是开发了基于真实球拍的协同式增强现实乒乓球系统构建方法,首先利用系统获取的视频图像,根据颜色特征进行真实乒乓球球拍的检测和跟踪,设计实现了虚拟场景与真实场景的虚实三维注册。但是此系统中使用的三维注册方法是基于颜色特征的,因此要求真实场景中要有颜色标志物才行,不适合复杂场景中的增强现实应用开发。
综上所述,单兵轻武器射击训练中现有技术存在以下主要问题:(1)真实射击靶的射击训练存在射击目标位置的有规律性和设备的高成本;(2)虚拟现实的射击训练没有融合真实环境形成战斗场景,导致射击的真实性不足。(3)增强现实射击训练如何采用非标志自然特征真实环境的三维注册。
发明内容
本发明所要解决的技术问题是为了解决单兵轻武器射击训练中射击目标的不确定性问题,实现多个虚拟射击目标和真实人物、场景融合以及射击结果综合信息的反馈。本发明提出一种采用增强现实技术的单兵轻武器射击训练的方法和系统。
捕获真实环境的视频帧,利用增强现实的非标志自然特征的三维注册技术求解真实环境的世界坐标以及最终虚拟目标的投影坐标,从而得到虚拟目标应该被“放置”在真实场景中的准确位置。训练者射击验证模块判定射击者是否击中了虚拟目标,与此同时,击中判定模块判定虚拟人是否射中了射击者本人。虚拟目标状态信息添加到所述实时场景图像中,通过虚实融合模块融合后传送给头盔装置中的显示模块。本发明的具体技术方案如下:
一种使用增强现实技术的单兵轻武器虚拟射击训练方法,该方法包括:
智能手机中设置: 视频跟踪模块、三维注册模块、陀螺仪装置、坐标变换模块、虚拟目标生成模块、射中验证模块、虚拟目标受伤动作模块、虚拟目标射击动作模块、受伤验证模块、受伤效果模块、数据存储装置、虚实图像融合模块。
头盔装置中设置:摄像模块、显示模块。
枪系统中设置:射击模块、瞄准摄像模块。
智能手机中视频跟踪模块获取头盔装置中摄像模块输出的真实环境图像视频帧;智能手机中三维注册模块获取所述真实环境世界坐标;智能手机中坐标变换模块生成所述真实环境摄像机的投影坐标;智能手机虚拟目标生成模块获得所述真实环境和摄像头距离并生成虚拟射击目标及位置;智能手机中虚实图像融合模块将虚拟目标与真实环境图像帧融和;头盔装置显示模块获取增强现实环境的融合视频帧并显示真实环境和射击虚拟目标。智能手机中的射中验证模块判定虚拟目标是否被射中并显示,判定虚拟目标是否射中并结合虚拟目标受伤动作模块、虚实图像融合模块将显示信息送入头盔装置显示模块,此外并由智能手机存储模块存储射击结果信息。
所述的获取真实环境世界坐标系的方法进一步包括:利用快速鲁棒性特征点(SURF)检测算法对捕获到的视频图像帧进行特征点的检测,使用Lucas-Kanade光流算法对检测到的特征点进行跟踪,使用RANSAC(算法对每一帧图像的特征点与模版图像的特征点进行匹配,获取真实环境的世界坐标。
虚拟目标生成模块获得所述真实环境和摄像头距离并生成虚拟射击目标及位置方法进一步包括:所述生成虚拟目标的位置采用随机的方法。枪的扳机连接至智能手机,使得枪系统中射击模块获取枪扳机射击命令。
判定虚拟目标是否被射中并显示方法包括:射击模块获取枪扳机射击命令,瞄准摄像模块获取射击者的射击信息,射中验证模块验证是否射中虚拟目标,读取虚拟目标受伤动作模型,更新所述虚拟目标状态。
判定虚拟目标是否射中并显示包括:智能手机中虚拟目标射击动作模块发出射击信息,读取智能手机中陀螺仪模块局部坐标,坐标变换模块生成射击者位置投影坐标,受伤验证模块验证虚拟目标是否击中射击者,射击验证击中射击者后,所述数据存储装置存储射击数据,手机振动装置发出振动,智能手机中受伤效果模块提供受伤虚拟效果。
验证模块验证是否射中虚拟目标进一步包括:当虚拟目标出现在枪系统中瞄准摄像头捕获画面的中心位置时,射击者击中所述虚拟目标。
受伤验证模块验证虚拟目标是否中射击者方法进一步包括:当虚拟目标射击的轨迹穿过以射击者为中心的包围盒时,虚拟目标射中射击者。
一种使用增强现实技术的单兵轻武器射击训练的系统,该系统包括:头盔装置、智能手机,其中:头盔装置包括:摄像模块,用于获取真实环境的场景图像数据并将所述的图像数据发送给智能手机;显示模块,用于显示真实环境和虚拟目标的融合场景数据。枪系统包括:射击模块,用于发送射击者的射击命令信息;瞄准摄像模块,用于获取射击者的射击信息并发送至智能手机。智能手机包括:视频跟踪模块,用于接收摄像模块发送的真实场景图像数据;三维注册模块,用于获取所述真实环境摄像机的世界坐标;陀螺仪装置,用于获取射击者相对水平面的三维局部坐标;坐标变换模块,用于记录所述摄像模块中摄像机的投影矩阵和将所述陀螺仪的三维局部坐标转换为三维世界坐标;虚拟目标生成模块,用于在真实环境中的随机位置生成虚拟目标;射中验证模块,用于验证射击者是否击中虚拟目标;虚拟目标受伤动作模块,用于选择所述射中验证模块验证虚拟目标击中后的动作模型;虚拟目标射击动作模块,用于设定虚拟目标射击的动作,并将射击信息发送给受伤验证模块;受伤验证模块,用于验证所述虚拟目标射击动作模块的射击信息是否击中射击者;振动装置,用于所述受伤验证模块验证击中射击者后,手机振动装置发出振动提示信息;受伤效果模块,用于所述受伤验证模块验证击中射击者后产生的受伤虚拟效果;数据存储装置,用于存储射击者射击虚拟目标的详细信息和虚拟目标射击的详细信息;虚实图像融合模块,用于将虚拟目标准确添加到真实环境中。大容量后备电池,用于为所述模块提供后备电源。摄像模块中捕获摄像头、射击模块中扳机、瞄准摄像模块中瞄准摄像头、显示模块、大容量后备电池均与智能手机连接。
相对基于虚拟现实的射击游戏,本发明采用增强现实非标志自然特征三维注册融合真实环境,提高射击的真实性,并实现设计结果的自动统计;本发明采样的基于SUFT和光流法的三维注册方法提高了三维注册的准确性和实时性。
附图说明
图1 本发明系统结构框图;
图2 本发明工作流程图;
图3三维注册算法流程图。
具体实施方式
下面结合具体实施例以及附图对本发明作进一步的阐述和说明。
如图1所示为本发明系统结构框图。一种使用增强现实技术的单兵轻武器射击训练的系统,该系统包括:头盔装置1、枪系统3、智能手机2,其中:头盔装置包括:摄像模块11、显示模块12、,智能手机包括:视频跟踪模块21、三维注册模块22、陀螺仪装置2a、坐标变换模块23、虚拟目标生成模块24、射中验证模块26、虚拟目标受伤动作模块2b、虚拟目标射击动作模块27、受伤验证模块2c、受伤效果模块2e、数据存储装置28、虚实图像融合模块25,枪系统包括:射击模块31、瞄准摄像模块32。
射击模块发送射击者的射击命令信息,通过瞄准摄像模块获取射击者的射击信息并发送至智能手机;摄像模块获取真实环境的场景图像数据并将所述的图像数据发送给智能手机,显示模块显示真实环境和虚拟目标的融合场景数据。
视频跟踪模块接收摄像模块发送的真实场景图像数据,获取目标位置,三维注册模块获取所述真实环境摄像机的世界坐标,陀螺仪装置获取射击者相对水平面的三维局部坐标,坐标变换模块记录摄像模块中摄像机的投影矩阵,并将陀螺仪获取的三维局部坐标转换为三维世界坐标,虚拟目标生成模块将视频跟踪模块获取的真实环境中的目标位置生成虚拟目标,射中验证模块验证射击者是否击中虚拟目标,如击中虚拟目标,虚拟目标受伤动作模块选择射中验证模块验证虚拟目标击中后的动作模型,根据虚拟目标射击动作模块设定的动作实施虚拟目标射击动作,并将射击信息发送给受伤验证模块验证虚拟目标射击动作模块的射击信息是否击中射击者,当击中射击者手机振动装置发出振动提示信息,受伤效果模块产生的受伤虚拟效果,由数据存储装置存储射击者射击虚拟目标的详细信息和虚拟目标射击的详细信息,虚实图像融合模块将虚拟目标添加到真实环境中。
所述摄像模块11中CMOS摄像头与所述Android双核智能手机2的USB连接,射击模块31中扳机与所述Android双核智能手机2的USB连接,瞄准摄像模块32中CMOS瞄准摄像头与所述Android双核智能手机的USB连接获取射击场景数据,显示模块12与所述Android双核智能手机2的VGA连接,显示模块12采用Wrap视频眼镜显示图像。大容量后备电池4,用于为所述模块提供后备电源,本实施例使用Android双核智能手机自带的陀螺仪,受伤验证模块验证击中射击者后,手机振动装置发出振动提示信息。
如图2所示本发明工作流程图,本实施例提供一种使用增强现实技术的单兵轻武器虚拟射击训练的方法,其中步骤B1~B5为射击者射击虚拟目标包含的步骤,步骤C1~C6为虚拟目标射击训练者包含的步骤。
A1:视频跟踪模块获取摄像模块真实环境图像视频帧,摄像模块获得视频路径和视频大小后初始化摄像头的内部参数并载入模版图像的数据信息,读取视频流。视频跟踪模块将从读取到的视频流中获得连续的图像帧数据供后续的三维注册模块进行处理,由真实场景图像数据获取目标位置。
A2和A3 :三维注册模块处理图像特征信息生成真实环境摄像机投影坐标,实现虚拟目标在真实场景中的定位。首先利用在运算速度方面有优势的快速鲁棒性特征点检测算法(SURF)特征点检测算法,对A1中捕获到的视频图像帧进行特征点的检测。其次本发明提出了一种使用Lucas-Kanade光流算法对检测到的特征点进行跟踪的方法,在获得匹配特征点对的基础上使用随机抽样一致性(RANSAC)算法对每一帧图像的特征点与模版图像的特征点进行高精度匹配,由于模版图像中特征点的世界坐标是已知的,由此得到真实环境的世界坐标。图3所示的注册过程可以详细描述如下:
首先利用光流法跟踪匹配特征点对,对于给定的连续两帧图像                                                
Figure 143998DEST_PATH_IMAGE001
,
Figure 502298DEST_PATH_IMAGE002
,取
Figure 912551DEST_PATH_IMAGE001
上任一特征点
Figure 26000DEST_PATH_IMAGE003
,在
Figure 888914DEST_PATH_IMAGE002
上找到对应的有相似图像强度的匹配特征点
Figure 50905DEST_PATH_IMAGE004
,其中
Figure 334436DEST_PATH_IMAGE006
点在两帧图像间的平移量。然后根据匹配点对求解单应矩阵和投影矩阵并实现注册过程(将当前最佳估计内点数目
Figure 746963DEST_PATH_IMAGE007
设为0,并设世界坐标系到第1帧图像坐标系的单应矩阵为
Figure 712645DEST_PATH_IMAGE008
。)。
(1)重复
Figure 894227DEST_PATH_IMAGE009
次随机采样。由于计算单应矩阵需要4对非共线的点对,确定一个恰当的采样次数
Figure 18654DEST_PATH_IMAGE009
,以保证此时采样的4对匹配点都是内点的概率足够高。设以
Figure 856160DEST_PATH_IMAGE010
来表示此概率,一般取95%。设为任何一对匹配点是内点的概率,则
Figure 661622DEST_PATH_IMAGE012
就是任何对匹配点为外点的概率。那么采样到次时有:
Figure 346998DEST_PATH_IMAGE013
,则
Figure 716799DEST_PATH_IMAGE014
                        (1)
(2)根据4对匹配点计算出单应矩阵
Figure 545078DEST_PATH_IMAGE008
(3)计算每个匹配点经过此单应矩阵变换后到对应匹配点的欧式距离
Figure 279816DEST_PATH_IMAGE015
(4)设定一个距离阈值
Figure 888652DEST_PATH_IMAGE016
,把满足的匹配点作为内点;
(5)比较当前内点数目与
Figure 10509DEST_PATH_IMAGE007
,若大于
Figure 978465DEST_PATH_IMAGE007
则将
Figure 12280DEST_PATH_IMAGE008
和当前的内点集作为当前最佳估计,更新;同时动态估测剩余所需迭代次数
Figure 547263DEST_PATH_IMAGE009
,如果当前迭代次数达到
Figure 686120DEST_PATH_IMAGE009
,则保留
Figure 207231DEST_PATH_IMAGE018
和当前的内点集并停止迭代。
(6)对当前内点集的所有匹配点重新计算单应矩阵
Figure 456947DEST_PATH_IMAGE008
后续帧的注册通过跟踪前后两帧的图像特征点来求得,通过跟踪第k-1帧图像中特征点在第k帧图像中的对应点位置,可以得到第k帧图像与第k-1帧图像的单应矩阵
Figure 442220DEST_PATH_IMAGE019
,而世界坐标系与第k帧图像坐标系的单应矩阵
Figure 689662DEST_PATH_IMAGE020
可以通过以下公式求得:
Figure 760386DEST_PATH_IMAGE021
                        (2)
由求得的单应矩阵
Figure 751476DEST_PATH_IMAGE018
, 再根据旋转矩阵
Figure 591256DEST_PATH_IMAGE022
的正交性,可以解出
Figure 9599DEST_PATH_IMAGE022
Figure 302040DEST_PATH_IMAGE023
。然后根据透视变换原理,求解每一图像帧对应的摄像机投影矩阵投影矩阵
Figure 96821DEST_PATH_IMAGE010
。由于摄像机的内部参数焦距、主点、象素宽度等为已知,由求得的外部参数:位置t和姿态信息R,就能把虚拟摄像机的内部参数和外部参数同真实摄像机保持一致,从而实现虚拟摄像机与真实摄像机的对准,完成三维注册。
上述三维注册可以使用SIFT算法,但运算速度不及所述的改进算法。
A4:虚拟目标生成模块获得真实环境和摄像头距离并生成虚拟射击目标及位置。在实现了虚拟摄像机与真实摄像机的对准之后,得到真实环境摄像机的投影坐标,虚拟目标生成模块由此计算摄像头坐标系与世界坐标系之间的平移、旋转矩阵,由随机函数随机生成多个虚拟射击目标的位置。
B1:射击模块获取枪扳机射击命令。预先在射击模块安装能发出二维信号扳机并通过USB连接线传送至如Android双核智能手机,当射击者扣动扳机时,射击模块把该命令通过USB传给射中验证模块。
B2:瞄准摄像模块获取射击者的射击信息。预先在射击枪的瞄准口安装USB接口的瞄准摄像头并连接到Android双核智能手机,当射击者射击虚拟目标后,瞄准摄像模块获取射击图像信息并通过USB线传送至射中验证模块。
B3:射中验证模块验证是否射中目标。根据射击图像判断,若图像平面中心点的深度为背景的深度则目标不在中间位置,表明未击中,继续步骤B1;若中心点深度不是背景深度,则表示虚拟人出现在瞄准摄像头的中心,击中目标,进入步骤B31。
B31:数据存储装置存储射击数据。记录射击者击中虚拟目标的次数,准确率。
B4:读取虚拟目标受伤动作模型。当虚拟目标被击中后,读取预先定义的受伤虚拟目标的模型。
B5:更新虚拟目标状态。当虚拟目标被击中后,用读取的受伤虚拟目标模型覆盖原有虚拟目标。
C1:虚拟目标射击动作模块发出射击信息。本发明在实现训练者对虚拟目标进行射击的同时也实现了虚拟目标对训练者射击的模拟,当系统开始运行之后,当虚拟目标出现在训练者的视野里,虚拟目标射击动作模块发出射击信息,射击信息包括射击方向、射击位置,陀螺仪获取射击信息。
C2:读取陀螺仪模块局部坐标。为了获得射击者的位置信息,训练者需要佩戴陀螺仪,当获得虚拟目标射击动作模块发出的射击信息后,读取陀螺仪的实时数据,得到局部坐标信息,获取射击者的局部坐标可采用Android双核智能手机自带的陀螺仪实现。
C3:坐标变换模块生成射击者位置投影坐标。判断虚拟目标是否射中训练者需要将虚拟目标和训练者置于同一个世界坐标系中,坐标变换模块将从陀螺仪模块获取的局部坐标信息转换为射击者在世界坐标系中的投影坐标,进而判断虚拟目标是否射中了训练者。已知水平面与世界坐标系的转换矩阵,陀螺仪的世界坐标为该矩阵与陀螺仪的局部坐标的乘积。
C4:受伤验证模块验证虚拟目标是否射中射击者。根据C1中得到的射击信息,确定虚拟目标射击的弹道射线L的坐标表示,然后根据训练者的投影坐标确定一个表示训练者目标的与弹道射线L垂直的包围盒区域O,计算此射线L是否穿过包围盒区域O,如果穿过了则表示虚拟目标射中了训练者(进入步骤C41),反之则没有射中(继续步骤C1)。
C41:数据存储装置存储射击数据。记录射击者被击中的次数,频率。
C5:手机震动装置发出震动。手机的震动给训练者反馈被击中的效果,给训练者一种真实的射击体验感。
C6:受伤效果模块提供受伤虚拟效果。如果虚拟目标击中了训练者,则需要在头盔装置中显示被击中后的渲染效果(例如:平面变红色等)。首先由虚拟目标生成模块完成虚拟被击中效果的渲染,然后获得虚拟目标的位置信息,最后由虚实融合模块将虚拟效果绘制在真实场景图像中。
D1:虚实图像融合模块将虚拟目标与真实环境图像帧融和,得到增强现实环境的融合视频帧。首先定义三维图形中的纹理,并将背景图像数据作为纹理的数据源;读取虚拟摄像机的投影矩阵,把背景纹理绘制在合理的图形位置上;其次,将虚拟对象绘制在与真实环境世界坐标系统一的虚拟世界坐标系中;渲染三维场景,获得虚实融合的图像。
D2:显示模块获取增强现实环境的融合视频帧并显示真实环境和射击虚拟目标将虚实图像融合模块的融合图像视频帧传送至头盔装置的显示模块,通过显示模块的显示器进行显示。
需要说明的是,普通的技术人员针对上述的实施还可以很容易的想到其他的技术方案,只要这些技术方案在本发明的构思范围内,应等同于本专利的技术方案,属于本专利的保护范围。

Claims (7)

1.一种采用增强现实技术的虚拟射击方法,其特征在于,该方法包括:智能手机中视频跟踪模块接收头盔装置中摄像模块发送的真实场景图像数据,获取目标位置,智能手机中三维注册模块获取真实环境摄像机的世界坐标,智能手机中陀螺仪装置获取射击者相对水平面的三维局部坐标,智能手机中坐标变换模块记录摄像模块中摄像机的投影矩阵,并将陀螺仪的三维局部坐标转换成三维全局坐标,智能手机中虚拟目标生成模块将视频跟踪模块获取的真实环境中的目标位置生成虚拟目标,智能手机中射中验证模块验证射击者是否击中虚拟目标,如击中虚拟目标,虚拟目标受伤动作模块选择射中验证模块验证虚拟目标击中后的动作模型,根据虚拟目标射击动作模块设定的动作实施虚拟目标射击动作,并将射击信息发送给受伤验证模块验证射击信息是否击中射击者,当击中射击者智能手机振动装置发出振动提示受伤,智能手机中虚实图像融合模块将虚拟目标添加到真实环境中。
2.根据权利要求1所述的虚拟射击方法,其特征在于:所述的获取真实环境世界坐标系的方法进一步包括:利用快速鲁棒性特征点检测算法对捕获到的视频图像帧进行特征点的检测,使用光流算法对检测到的特征点进行跟踪,使用随机抽样一致性算法对每一帧图像的特征点与模版图像的特征点进行匹配,获取真实环境的世界坐标。
3.根据权利要求1所述的虚拟射击方法,其特征在于:虚拟目标生成模块根据真实环境摄像机的投影坐标,计算摄像头坐标系与世界坐标系之间的平移、旋转矩阵,由随机函数随机生成多个虚拟射击目标。
4.根据权利要求1所述的虚拟射击方法,其特征在于:当射击者射击的虚拟目标出现在所述枪系统中瞄准摄像头捕获画面的中心位置时,射击者击中所述虚拟目标;当虚拟目标射击的轨迹穿过以射击者为中心的包围盒时,虚拟目标击中射击者。
5.根据权利要求1所述的的虚拟射击方法,其特征在于,受伤验证模块验证虚拟目标是否射中射击者具体为:根据陀螺仪获取的射击信息,确定虚拟目标射击的弹道射线L的坐标,根据训练者的投影坐标确定一个与弹道射线L垂直的包围盒区域O,如果射线L穿过包围盒区域O则表示虚拟目标射中训练者。
6.一种使用增强现实技术的单兵轻武器虚拟射击训练的系统,该系统包括:头盔装置、枪系统、智能手机,其中:头盔装置包括:摄像模块、显示模块,智能手机包括:视频跟踪模块、三维注册模块、陀螺仪装置、坐标变换模块、虚拟目标生成模块、射中验证模块、虚拟目标受伤动作模块、虚拟目标射击动作模块、受伤验证模块、受伤效果模块、数据存储装置、虚实图像融合模块,枪系统包括:射击模块、瞄准摄像模块,其特征在于,
摄像模块,用于获取真实环境的场景图像数据并将所述的图像数据发送给智能手机;显示模块,用于显示真实环境和虚拟目标的融合场景数据;射击模块,用于发送射击者的射击命令信息;瞄准摄像模块,用于获取射击者的射击信息并发送至智能手机;视频跟踪模块,用于接收摄像模块发送的真实场景图像数据;三维注册模块,用于获取所述真实环境摄像机的世界坐标;陀螺仪装置,用于获取射击者水平面的三维局部坐标;坐标变换模块,用于记录摄像模块中摄像机的投影矩阵和将所述陀螺仪的三维局部坐标转换为三维世界坐标;虚拟目标生成模块,用于将真实环境中的位置生成虚拟目标;射中验证模块,用于验证射击者是否击中虚拟目标;虚拟目标受伤动作模块,用于选择所述射中验证模块验证虚拟目标击中后的动作模型;虚拟目标射击动作模块,用于设定虚拟目标射击的动作,并将射击信息发送给受伤验证模块;受伤验证模块,用于验证所述虚拟目标射击动作模块的射击信息是否击中射击者;振动装置,当击中射击者后,控制智能手机发出振动信息;数据存储装置,用于存储射击者射击虚拟目标的详细信息和虚拟目标射击的详细信息;虚实图像融合模块,用于将虚拟目标添加到真实环境中得到增强现实环境的融合视频帧。
7.根据权利要求6所述的的系统,其特征在于,虚拟目标生成模块获得真实环境摄像机的投影坐标,确定摄像头坐标系与世界坐标系之间的平移、旋转矩阵,由随机函数随机生成多个虚拟射击目标的位置。
CN201210186926.5A 2012-06-08 2012-06-08 一种采用增强现实技术的单兵轻武器射击训练的方法和系统 Active CN102735100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210186926.5A CN102735100B (zh) 2012-06-08 2012-06-08 一种采用增强现实技术的单兵轻武器射击训练的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210186926.5A CN102735100B (zh) 2012-06-08 2012-06-08 一种采用增强现实技术的单兵轻武器射击训练的方法和系统

Publications (2)

Publication Number Publication Date
CN102735100A true CN102735100A (zh) 2012-10-17
CN102735100B CN102735100B (zh) 2014-07-09

Family

ID=46991048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210186926.5A Active CN102735100B (zh) 2012-06-08 2012-06-08 一种采用增强现实技术的单兵轻武器射击训练的方法和系统

Country Status (1)

Country Link
CN (1) CN102735100B (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929391A (zh) * 2012-10-23 2013-02-13 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法
CN103632626A (zh) * 2013-12-03 2014-03-12 四川省计算机研究院 一种基于移动互联网的智能导游实现方法、装置及移动客户端
GB2507314A (en) * 2012-10-25 2014-04-30 Sony Comp Entertainment Europe Augmented reality using an image mask
CN104436634A (zh) * 2014-11-19 2015-03-25 重庆邮电大学 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN105066772A (zh) * 2015-08-15 2015-11-18 张臣 Cs实战射击训练系统
CN105413177A (zh) * 2015-11-27 2016-03-23 北京像素软件科技股份有限公司 一种识别虚拟现实射击中被击目标信息的方法
CN105929938A (zh) * 2016-03-31 2016-09-07 联想(北京)有限公司 一种信息处理方法及电子设备
TWI568481B (zh) * 2015-04-21 2017-02-01 南臺科技大學 擴增實境遊戲系統與方法
CN106506464A (zh) * 2016-10-17 2017-03-15 武汉秀宝软件有限公司 一种基于增强现实的玩具交互方法和系统
WO2017080087A1 (zh) * 2015-11-13 2017-05-18 小米科技有限责任公司 用于游戏的图像识别方法及装置
CN106940899A (zh) * 2017-03-30 2017-07-11 林星森 一种应用于ar场景下的武器瞄准系统的图层融合方法
CN107158701A (zh) * 2017-05-16 2017-09-15 广州四三九九信息科技有限公司 出射力度的提示方法和装置
CN107272889A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种基于三维坐标的ar界面交互方法及系统
CN107316528A (zh) * 2017-07-14 2017-11-03 中国人民解放军镇江船艇学院 一种适用于基座式射击武器的模拟训练系统
CN107441714A (zh) * 2017-06-01 2017-12-08 杨玉苹 一种实现ar第一人称射击游戏的图像处理方法及其装置、射击游戏对战系统及其工作方法
CN107589843A (zh) * 2017-09-06 2018-01-16 武汉秀宝软件有限公司 一种基于增强现实的交互学习方法及系统
CN108172059A (zh) * 2018-02-28 2018-06-15 高振峰 一种基于虚拟现实方式警察警械武器使用训练方法
CN108201695A (zh) * 2017-12-29 2018-06-26 武汉艺术先生数码科技有限公司 高环境仿真射击游戏系统
CN108211343A (zh) * 2018-01-23 2018-06-29 上海森涵信息技术有限公司 基于vr技术的模拟射击方法和装置
CN108646917A (zh) * 2018-05-09 2018-10-12 深圳市骇凯特科技有限公司 智能设备控制方法及装置、电子设备和介质
CN109242981A (zh) * 2018-09-28 2019-01-18 中国科学院苏州生物医学工程技术研究所 双屏交互的增强现实康复训练系统
CN109636916A (zh) * 2018-07-17 2019-04-16 北京理工大学 一种动态标定的大范围虚拟现实漫游系统及方法
CN109949648A (zh) * 2019-04-30 2019-06-28 上海亿湾特训练设备科技有限公司 一种模拟交战训练系统和模拟交战训练方法
CN110631411A (zh) * 2019-09-02 2019-12-31 北京易智时代数字科技有限公司 一种虚拟射击训练控制方法及系统
CN110782722A (zh) * 2019-09-30 2020-02-11 南京浩伟智能科技有限公司 一种基于ar系统的教学系统及教学方法
CN111013141A (zh) * 2019-11-11 2020-04-17 郑州阿帕斯科技有限公司 一种射击游戏的参数设置方法及装置
CN111150994A (zh) * 2018-11-07 2020-05-15 千寻位置网络有限公司 仿真武器装备的射击评估方法及装置、服务终端、存储器
CN111179679A (zh) * 2019-12-31 2020-05-19 广东虚拟现实科技有限公司 射击训练方法、装置、终端设备及存储介质
CN111369850A (zh) * 2018-12-25 2020-07-03 南京飞鲨信息技术有限公司 一种vr模拟训练系统
CN111664741A (zh) * 2020-06-08 2020-09-15 中国人民解放军陆军特种作战学院 一种用于射击训练的智能靶标系统的交互方法
CN111664742A (zh) * 2020-06-08 2020-09-15 中国人民解放军陆军特种作战学院 一种基于空气成像的智能靶标系统
CN111879172A (zh) * 2020-07-24 2020-11-03 河北奇胜创新智能技术有限公司 模拟射击训练科目创建方法、装置和系统
CN112148187A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN112805075A (zh) * 2018-06-15 2021-05-14 伊瓦·阿尔布佐夫 高级游戏可视化系统
CN112807677A (zh) * 2021-02-23 2021-05-18 深圳市瑞立视多媒体科技有限公司 一种人机交互的方法、装置、设备及存储介质
CN113274718A (zh) * 2021-06-03 2021-08-20 北京爱其科技有限公司 基于增强现实的枪及射击类增强现实的实现方法
CN113408451A (zh) * 2021-06-28 2021-09-17 深圳市创客火科技有限公司 无人机射击方法、装置及计算机可读存储介质
CN114129851A (zh) * 2021-10-21 2022-03-04 电子科技大学 一种用于注意训练/提升的方法和系统
CN114327073A (zh) * 2021-12-28 2022-04-12 成都天翼空间科技有限公司 一种基于ar技术辅助射击的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2793674Y (zh) * 2005-04-21 2006-07-05 余军涛 具有虚实结合显示效果的射击模拟装置
CN101339654A (zh) * 2007-07-04 2009-01-07 北京威亚视讯科技有限公司 一种基于标志点的增强现实三维注册方法和系统
CN101520849A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 基于图像特征点提取与随机树分类的增强现实方法及系统
CN201829068U (zh) * 2010-09-13 2011-05-11 徐龙龙 一种基于虚拟现实的单兵训练系统
CN102238466A (zh) * 2010-04-20 2011-11-09 上海博路信息技术有限公司 一种移动增强现实的手机系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2793674Y (zh) * 2005-04-21 2006-07-05 余军涛 具有虚实结合显示效果的射击模拟装置
CN101339654A (zh) * 2007-07-04 2009-01-07 北京威亚视讯科技有限公司 一种基于标志点的增强现实三维注册方法和系统
CN101520849A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 基于图像特征点提取与随机树分类的增强现实方法及系统
CN102238466A (zh) * 2010-04-20 2011-11-09 上海博路信息技术有限公司 一种移动增强现实的手机系统
CN201829068U (zh) * 2010-09-13 2011-05-11 徐龙龙 一种基于虚拟现实的单兵训练系统

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929391B (zh) * 2012-10-23 2015-11-04 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法
CN102929391A (zh) * 2012-10-23 2013-02-13 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法
GB2507314A (en) * 2012-10-25 2014-04-30 Sony Comp Entertainment Europe Augmented reality using an image mask
GB2507314B (en) * 2012-10-25 2018-05-23 Sony Interactive Entertainment Europe Ltd Apparatus and method of augmented reality
CN103632626A (zh) * 2013-12-03 2014-03-12 四川省计算机研究院 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN103632626B (zh) * 2013-12-03 2016-06-29 四川省计算机研究院 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN104436634A (zh) * 2014-11-19 2015-03-25 重庆邮电大学 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
TWI568481B (zh) * 2015-04-21 2017-02-01 南臺科技大學 擴增實境遊戲系統與方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN105066772A (zh) * 2015-08-15 2015-11-18 张臣 Cs实战射击训练系统
WO2017080087A1 (zh) * 2015-11-13 2017-05-18 小米科技有限责任公司 用于游戏的图像识别方法及装置
CN105413177A (zh) * 2015-11-27 2016-03-23 北京像素软件科技股份有限公司 一种识别虚拟现实射击中被击目标信息的方法
CN105929938A (zh) * 2016-03-31 2016-09-07 联想(北京)有限公司 一种信息处理方法及电子设备
US10295403B2 (en) 2016-03-31 2019-05-21 Lenovo (Beijing) Limited Display a virtual object within an augmented reality influenced by a real-world environmental parameter
CN106506464B (zh) * 2016-10-17 2019-11-12 武汉秀宝软件有限公司 一种基于增强现实的玩具交互方法和系统
CN106506464A (zh) * 2016-10-17 2017-03-15 武汉秀宝软件有限公司 一种基于增强现实的玩具交互方法和系统
CN106940899A (zh) * 2017-03-30 2017-07-11 林星森 一种应用于ar场景下的武器瞄准系统的图层融合方法
CN106940899B (zh) * 2017-03-30 2020-06-05 林星森 一种应用于ar场景下的武器瞄准系统的图层融合方法
CN107158701B (zh) * 2017-05-16 2018-08-31 广州四三九九信息科技有限公司 出射力度的提示方法和装置
CN107158701A (zh) * 2017-05-16 2017-09-15 广州四三九九信息科技有限公司 出射力度的提示方法和装置
CN107272889A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种基于三维坐标的ar界面交互方法及系统
CN107441714A (zh) * 2017-06-01 2017-12-08 杨玉苹 一种实现ar第一人称射击游戏的图像处理方法及其装置、射击游戏对战系统及其工作方法
CN107316528A (zh) * 2017-07-14 2017-11-03 中国人民解放军镇江船艇学院 一种适用于基座式射击武器的模拟训练系统
CN107589843A (zh) * 2017-09-06 2018-01-16 武汉秀宝软件有限公司 一种基于增强现实的交互学习方法及系统
CN108201695A (zh) * 2017-12-29 2018-06-26 武汉艺术先生数码科技有限公司 高环境仿真射击游戏系统
CN108211343A (zh) * 2018-01-23 2018-06-29 上海森涵信息技术有限公司 基于vr技术的模拟射击方法和装置
CN108172059A (zh) * 2018-02-28 2018-06-15 高振峰 一种基于虚拟现实方式警察警械武器使用训练方法
CN108646917A (zh) * 2018-05-09 2018-10-12 深圳市骇凯特科技有限公司 智能设备控制方法及装置、电子设备和介质
CN112805075B (zh) * 2018-06-15 2024-04-16 伊瓦·阿尔布佐夫 高级游戏可视化系统
CN112805075A (zh) * 2018-06-15 2021-05-14 伊瓦·阿尔布佐夫 高级游戏可视化系统
CN109636916A (zh) * 2018-07-17 2019-04-16 北京理工大学 一种动态标定的大范围虚拟现实漫游系统及方法
CN109636916B (zh) * 2018-07-17 2022-12-02 北京理工大学 一种动态标定的大范围虚拟现实漫游系统及方法
CN109242981A (zh) * 2018-09-28 2019-01-18 中国科学院苏州生物医学工程技术研究所 双屏交互的增强现实康复训练系统
CN111150994A (zh) * 2018-11-07 2020-05-15 千寻位置网络有限公司 仿真武器装备的射击评估方法及装置、服务终端、存储器
CN111369850A (zh) * 2018-12-25 2020-07-03 南京飞鲨信息技术有限公司 一种vr模拟训练系统
CN109949648A (zh) * 2019-04-30 2019-06-28 上海亿湾特训练设备科技有限公司 一种模拟交战训练系统和模拟交战训练方法
CN110631411A (zh) * 2019-09-02 2019-12-31 北京易智时代数字科技有限公司 一种虚拟射击训练控制方法及系统
CN110782722A (zh) * 2019-09-30 2020-02-11 南京浩伟智能科技有限公司 一种基于ar系统的教学系统及教学方法
CN111013141A (zh) * 2019-11-11 2020-04-17 郑州阿帕斯科技有限公司 一种射击游戏的参数设置方法及装置
CN111179679A (zh) * 2019-12-31 2020-05-19 广东虚拟现实科技有限公司 射击训练方法、装置、终端设备及存储介质
CN111179679B (zh) * 2019-12-31 2022-01-28 广东虚拟现实科技有限公司 射击训练方法、装置、终端设备及存储介质
CN111664742A (zh) * 2020-06-08 2020-09-15 中国人民解放军陆军特种作战学院 一种基于空气成像的智能靶标系统
CN111664741A (zh) * 2020-06-08 2020-09-15 中国人民解放军陆军特种作战学院 一种用于射击训练的智能靶标系统的交互方法
CN111879172B (zh) * 2020-07-24 2022-10-25 河北奇胜创新智能技术有限公司 模拟射击训练科目创建方法、装置和系统
CN111879172A (zh) * 2020-07-24 2020-11-03 河北奇胜创新智能技术有限公司 模拟射击训练科目创建方法、装置和系统
CN112148187A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN112807677A (zh) * 2021-02-23 2021-05-18 深圳市瑞立视多媒体科技有限公司 一种人机交互的方法、装置、设备及存储介质
CN113274718A (zh) * 2021-06-03 2021-08-20 北京爱其科技有限公司 基于增强现实的枪及射击类增强现实的实现方法
CN113408451A (zh) * 2021-06-28 2021-09-17 深圳市创客火科技有限公司 无人机射击方法、装置及计算机可读存储介质
CN114129851A (zh) * 2021-10-21 2022-03-04 电子科技大学 一种用于注意训练/提升的方法和系统
CN114327073A (zh) * 2021-12-28 2022-04-12 成都天翼空间科技有限公司 一种基于ar技术辅助射击的方法

Also Published As

Publication number Publication date
CN102735100B (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN102735100B (zh) 一种采用增强现实技术的单兵轻武器射击训练的方法和系统
CN104436634B (zh) 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
US9892563B2 (en) System and method for generating a mixed reality environment
Thomas et al. First person indoor/outdoor augmented reality application: ARQuake
KR101385325B1 (ko) 복수의 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
CN107168532B (zh) 一种基于增强现实的虚拟同步显示方法及系统
US8556716B2 (en) Image generation system, image generation method, and information storage medium
US10030937B2 (en) System and method for marksmanship training
CN107469343B (zh) 虚拟现实交互方法、装置及系统
US20090143124A1 (en) Simulation of Sporting Events in a Virtual Environment
CN104699247A (zh) 一种基于机器视觉的虚拟现实交互系统及方法
US20180339215A1 (en) Virtual reality training system for team sports
CN109377560A (zh) 一种户外增强现实军事仿真训练的方法
WO2013111146A2 (en) System and method of providing virtual human on human combat training operations
CN111179679B (zh) 射击训练方法、装置、终端设备及存储介质
CN105749525A (zh) 一种基于ar技术的篮球训练装置
CN107665231A (zh) 定位方法和系统
CN110787433A (zh) 一种用于高尔夫模拟器的高尔夫球感测系统
CN106508013B (zh) 室内外通用型导弹模拟训练器
CN207366930U (zh) 一种3d立体影像训练系统
WO2023049868A1 (en) Methods and systems to track a moving sports object trajectory in 3d using multiple cameras
CN101614504B (zh) 一种真人对抗模拟射击系统、对战平台及其操作方法
Yavuz et al. Desktop Artillery Simulation Using Augmented Reality
CN201251405Y (zh) 一种真人对抗模拟射击系统和真人对抗模拟射击对战平台
Poussard et al. 3DLive: A multi-modal sensing platform allowing tele-immersive sports applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant