CN108066981A - 一种基于位置和图像识别的ar或mr游戏方法及系统 - Google Patents

Abstract

本发明涉及一种基于位置和图像识别的AR或MR游戏方法及系统，系统服务器备案用户的虚拟图像并叠到该用户位置上，用户通过虚拟瞄准线瞄准目标用户虚拟图像进行射击操作，截取射击瞬时目标用户虚拟图像，图像识别单元识别所截取的目标用户虚拟图像，根据瞄准线在虚拟图像的部位分析杀伤情况，得出杀伤结果及生命值，根据用户截取的目标用户虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的目标用户身份，将杀伤结果及生命值同时发送到用户和目标用户的设备端。所述系统包括系统服务器，还包括射击图像截取单元和图像识别单元。

Description

一种基于位置和图像识别的AR或MR游戏方法及系统

技术领域

本发明涉及一种游戏方法及系统，特别是涉及一种基于位置和图像识别的AR或MR游戏方法及系统。

背景技术

增强现实(Augmented Reality，简称AR)，它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。目前增强现实设备和技术有代表性的是Microsoft HoloLens全息眼镜，可以投射新闻信息流，收看视频，查看天气，辅助3d建模，协助模拟登录火星场景，模拟游戏。很成功地将虚拟和现实结合起来，并实现了更佳的互动性。混合现实(Mix reality，简称MR)，既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。还有将介导现实(Mediated Reality)也简称MR，VR是纯虚拟数字画面，包括AR在内的Mixed Reality是虚拟数字画面+裸眼现实，MR是数字化现实+虚拟数字画面。目前国内有一家叫易瞳科技的公司在专注这块的研发，正在研发MR眼镜。还有一款很火爆的游戏Pokemon Go是由任天堂、Pokémon公司和谷歌Niantic Labs公司联合制作开发的现实增强(AR)宠物养成战斗类RPG角色扮演游戏(Roie-playing game)手机游戏。Pokemon Go是一款对现实世界中出现的精灵进行探索捕捉、战斗以及交换的游戏。玩家可以通过智能手机在现实世界里发现精灵，进行抓捕和战斗。

上述的增强现实设备、系统及方法无论是Microsoft HoloLens全息眼镜还是任天堂、谷歌的Pokemon Go只能是用户自己参与到商家已经设计好的增强现实环境中或游戏中，用户不能扮演其中的角色来参与其中，用户与用户之间不能直接互动，不能扮演角色互相对战。。

中国专利申请公布号CN 105426833A公开了用于游戏的图像识别方法及装置，用于野外拓展的真人互动游戏，其权利要求描述：1.一种用于游戏的图像识别方法，其特征在于，所属方法包括：当拍摄到待匹配图片时，获取该待匹配图片对应的第一身体特征信息；根据预先建立的用户标识与身体特征信息之间的对应关系，确定所述第一身体特征信息对应的第一用户标识；对所述第一用户标识执行射击处理操作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对至少一个游戏用户分别进行拍摄，得到所述至少一个游戏用户的至少一张图片；根据每个游戏用户的至少一张图片，获取每个游戏用户的身体特征信息；建立每个游戏用户的用户标识与身体特征信息之间的对应关系。该专利申请公布的技术方案是预先建立用户标识与身体特征信息之间的对应关系来确定该第一身体特征信息对应的第一用户标识，具体由权利要求2描述的对游戏用户分别进行拍摄，得到游戏用户的至少一张图片，并根据用户的至少一张图片，获取每个游戏用户的身体特征信息，家里每个游戏用户的用户标识与身体特征信息之间的对应关系。在该专利申请说明书的0210段至0213段中描述了如何在游戏前对用游戏户进行拍摄并对拍摄到的图片进行身体特征提取，能够根据每个游戏用户的人脸特征、虹膜特征、身体姿态、衣服颜色等，获取到用户的身体特征信息。另外，为了便于在进行游戏的过程中识别游戏用户被拍摄到的身体部位，该图像识别装置在进行拍摄时，可以针对每个游戏用户的各个身体部位进行拍摄，得到对应游戏用户包含各个身体部位的图片，并对各个身体部位进行特征提取，得到各个身体部位的身体特征信息，建立每个游戏用户的用户标识、身体部位、身体特征信息之间的对应关系。其中图像识别装置可以提示游戏用户当前要拍摄的身体部位，游戏用户按照提示进行拍摄，图像识别装置即可针对各个身体部位进行拍摄，从而获取到各个身体部位的身体特征信息。身体部位可以包括头、手臂、去干、下肢等。

根据上述权利要求和其后续的权利要求以及上述说明书的描述，显而易见，该专利申请需要拍摄每个用户的身体各个部位的照片作为身体特征信息上传到服务器，作为其他用户在游戏中拍摄到该用户的身体特征图片并通过服务器在众多的身体特征图片中查找对比并确认是否为该用户所对应的身体特征，从而确认拍摄到的是否为该用户。其缺陷之一，游戏之前需要拍摄身体各个部位的照片上传到服务器，用户会有隐私泄漏的担忧。缺陷之二，游戏之前需要拍摄身体各个部位的照片上传到服务器，用户会感觉很麻烦，耽误了用户宝贵的时间。缺陷之三，游戏中的用户大多处于运动状态，对于运动中的用户进行拍摄所获取的图像极易产生模糊的图像，而对模糊的图像很难正确识别。缺陷之四，对于非人脸的身体特征照片，如胸部、手臂、大腿、人体侧面、背面以及衣服颜色等，非常容易和其他用户相似从而导致识别错误或不易识别。缺陷之五，众多的用户大量的身体特征图片信息在用户与服务器之间传递，给服务器及网络带来巨大压力，更带来信息处理的延迟。缺陷之六，缺乏增强现实带来的虚拟图像叠加而产生的更加逼真的震撼效果。综上说述，正如该发明在独立权利要求所述的“根据建立的用户标识与身体特征信息之间的对应关系，确定该第一身体特征信息对应的第一用户标识”，而身体特征信息需要用户在游戏之前对自己的身体拍摄照片，确实存在上述六种缺陷，使得该发明实施起来非常困难，很难达到预期的目的。

发明内容

本发明需要解决的技术问题是提供一种基于位置和图像识别的AR或MR游戏方法及系统，克服了现有技术中存在的问题。所述技术方案如下：

一种基于位置和图像识别的AR或MR游戏方法，其特征在于：

在目标用户位置叠加该目标用户的虚拟图像；

在用户设备的显示单元上叠加虚拟瞄准线；

用户通过设备摄像单元实时获取现实场景中目标用户的虚拟图像或目标用户身体图像连同目标用户的虚拟图像，并在设备显示单元上显示；

用户通过虚拟瞄准线瞄准目标用户的虚拟图像或目标用户身体图像，进行射击操作，截取射击瞬时目标用户的虚拟图像或目标用户的身体图像连同目标用户的虚拟图像；

图像识别单元识别所截取的目标用户的虚拟图像或目标用户的身体图像，根据瞄准线的中心在目标用户虚拟图像的部位或根据瞄准线的中心在目标用户身体图像的部位分析杀伤情况，得出杀伤结果及生命值；

根据用户截取的目标用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的目标用户身份，将杀伤结果及生命值同时发送到用户和目标用户的设备端。

为了缩小识别查询在系统中备案的虚拟图像的范围，减少查询量，系统服务器仅查询在用户位置上用户设备的有效射程范围内的目标用户在系统中备案的虚拟图像来确定目标用户身份

所述备案的目标用户的虚拟图像为在虚拟图像上或图像旁叠加用户标识，或所述虚拟图像就是用户标识，所述用户标识代表该用户身份，在系统服务器中备案，当用户瞄准并截取到目标用户的虚拟图像时，图像识别单元识别虚拟图像的用户标识，并通过系统服务器查询确定该用户标识对应的目标用户身份。

所述用户标识包括图形、字符、颜色、条码、二维码至少其中之一或为游戏特定的标识码。

所述用户标志还包括用户在系统服务器中备案的用户头像。

在所述用户显示单元上显示的所述目标用户的虚拟图像大小根据用户与目标用户之间的距离变化而变化，用户逐渐接近目标用户，目标用户的虚拟图像逐渐变大，反之逐渐变小。

根据目标用户设备位置和镜头方向相对于用户设备位置和镜头方向在所述用户显示单元上显示所述目标用户的虚拟图像的方向，当目标用户设备镜头方向正对着用户设备镜头方向时，用户显示单元显示目标用户虚拟图像的正面，当目标用户设备镜头方向背对着用户设备镜头方向时，用户显示单元显示目标用户虚拟图像的背面，非正面或非背面的其它方向原理相同。

所述虚拟图像包括角色或装备，所述角色包括人物角色或动物角色或精灵角色或妖怪角色，所述装备包括武器装备或交通工具或道具；

所述虚拟图像还包括对所述角色或装备发出射击、攻击、中弹、击中、痕迹、爆炸、火光、燃烧、烟雾的至少其中之一的特效画面，对射击时截取的瞄准线锁定的目标人体或目标角色或目标装备的图像进行识别，生成该目标人体或目标角色或目标装备被击中的特效画面，叠加到该目标人体或目标角色或目标装备上。

所述用户还包括无人机用户，所述无人机用户通过操作手上的无人机操作设备对天空中的无人机设备及摄像单元进行操作，实时获取地面用户的虚拟图像或用户图像，并在设备显示单元上显示；无人机用户通过虚拟瞄准线瞄准显示单元中的地面用户的虚拟图像，进行射击操作，截取射击瞬时地面用户的虚拟图像；图像识别单元识别图像中的地面用户的虚拟图像，根据瞄准线的中心在虚拟的图像的部位分析杀伤情况，得出杀伤结果及生命值；根据无人机用户截取的地面用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的地面用户身份，将杀伤结果及生命值同时发送到无人机用户和地面用户的设备端。

地面用户通过设备摄像单元实时获取实场景中无人机设备的虚拟图像，并在设备显示单元上显示；地面用户通过虚拟瞄准线瞄准无人机设备的虚拟图像，进行射击操作，截取射击瞬时无人机设备的虚拟图像；图像识别单元识别所截取的无人机设备的虚拟图像，根据瞄准线的中心在无人机设备虚拟图像的部位分析杀伤情况，得出杀伤结果及生命值；根据地面用户截取的无人机用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的无人机用户身份，将杀伤结果及生命值同时发送到地面用户和无人机用户的设备端；

或，地面用户通过设备摄像单元实时获取实场景中无人机设备的图像，并在设备显示单元上显示；地面用户通过虚拟瞄准线瞄准无人机设备的拟图像，进行射击操作，截取射击瞬时无人机设备的图像；图像识别单元识别所截取的无人机设备的图像，根据瞄准线的中心在无人机设备图像的部位分析杀伤情况，得出杀伤结果及生命值；根据地面用户截取的无人机用户的图像与系统服务器备案的无人机设备图像匹配，确定虚拟图像对应的无人机用户身份，将杀伤结果及生命值同时发送到地面用户和无人机用户的设备端。

所述的虚拟图像还包括大角色虚拟图像，在同一个位置或同一个位置周围由至少两个用户组合为一个大角色；

在在目标大角色用户位置叠加该目标大角色的虚拟图像；

一个大角色的所有用户在这个角色范围内一起按同一个路径运动，寻找并攻击目标大角色；

当目标大角色的虚拟图像出现在大角色用户的显示单元时，大角色用户通过虚拟瞄准线瞄准目标大角色的虚拟图像，进行射击操作，截取射击瞬时目标大角色的虚拟图像；

图像识别单元识别所截取的目标大角色的虚拟图像，根据瞄准线的中心在目标大角色虚拟图像的部位分析确定杀伤情况，得出杀伤结果及生命值；

系统服务器根据大角色用户设备截取的目标大角色虚拟图像与系统服务器备案的大角色虚拟图像匹配，确定被击中的目标大角色用户身份，将杀伤结果及生命值同时发送到大角色用户和目标大角色用户的设备端。

所述大角色虚拟图像包括坦克、装甲车、大炮、飞机、无人机、汽车、摩托车、舰船、导弹发射装置、堡垒、大精灵、大妖怪、大动物中至少其中之一。

每个用户在大角色中分别担任不同的岗位，对大角色进行操作或驾驶，设备客户端或系统服务器的图像识别单元仅识别担任射击操作的大角色用户截取的射击瞬时叠加在目标用户大角色上的虚拟图像，并由系统服务器做进一步确认；

或，每个用户在大角色中担任相同的岗位，对大角色进行操作驾驶，设备客户端或系统服务器的图像识别单元识别所有的大角色用户截取的射击瞬时叠加在目标用户大角色上的虚拟图像，系统服务器按击中的平均值选取或选取击中效果最好的做进一步确认。

当行进中的大角色有用户成员脱离大角色范围时，系统向该大角色的所有成员发出该成员脱岗的提示或发出大角色故障的提示，并根据脱岗的大角色成员在大角色中担任的岗位停止该岗位的操作，直至脱岗的大角色成员回到大角色范围内

所述虚拟图像还包括对所述角色或装备之外的现实场景的人体或物体发出射击、攻击、中弹、击中、痕迹、爆炸、火光、燃烧、烟雾的至少其中之一的特效画面，对射击时截取的瞄准线锁定的现实场景的人体或物体的图像进行识别，生成对该人体或物体射击的特效画面，叠加到该人体或物体上。

本发明所述方法还包括用户之间可交流沟通的社交方法：

用户通过设备摄像单元在现实场景中捕捉目标用户图像，并在设备显示单元上显示；

用户点击或瞄准操作显示单元中目标用户或目标用户的虚拟角色或装备图像激活对话，弹出对话窗，输入对话内容，点击发送，对话内容上传到系统服务器，再转发到目标用户设备显示单元上显示；

目标用户设备显示单元上弹出对话窗口，显示上述用户发来的对话内容，目标用户在对话窗输入回复，点击发送，回复内容上传到系统服务器，再转发到上述用户设备显示单元上显示。

本发明的一种基于位置和图像识别的AR或MR游戏系统，包括用户设备以及系统服务器，所述用户设备包括摄像单元、显示单元、定位单元，无线通讯单元，所述用户设备为手机、平板电脑，或所述用户设备为AR、MR可穿戴设备，其特征在于：

所述系统包括射击图像截取单元，位于用户设备端，用于截取在用户设备上显示的目标用户图像或虚拟图像在射击操作瞬时的图像；

所述系统还包括图像识别单元，位于用户设备端或系统服务器或同时位于用户设备端和系统服务器，用于识别射击图像截取单元所截取的图像；

用户设备的摄像单元与目标用户建立图像拍摄的光线传播连接，用于拍摄现实场景中的目标用户；

用户设备通过无线通讯与系统服务器建立通讯连接；

所述定位单元定位用户的位置，并通过用户设备将位置信息发送到系统服务器；

或，所述摄像单元扫描所在位置上的位置标识，并通过用户设备将位置信息发送到系统服务器。

所述射击图像截取单元包括射击操作按钮；

所述射击操作按钮为用户设备上的操作按键或用户设备附带的操作手柄；

或，所述射击操作按钮为在用户设备客户端设置的在设备显示单元中显示的虚拟操作按钮；

或，所述系统还包括一个独立的游戏操作设备，所述游戏操作设备具有与用户设备通讯的蓝牙模块或WIFI模块，并在所述游戏操作设备上设置射击操作按钮。

所述系统还包括无人机设备和无人机操作设备；

所述无人机设备包括在无人机上拍摄地面用户的摄像单元，用于导航定位的定位单元，用于与地面用户操作的无人机操作设备通讯的无线通讯单元；

所述无人机操作设备包括显示单元和操作单元，与无人机通讯的无线通讯单元，与系统服务器通讯的通讯单元。

所述无人机设备还包括在设备上喷涂或覆盖无人机身份标志，所述无人机身份标志在系统服务器中备案。

本发明提供了一种基于位置和图像识别的AR或MR游戏方法及系统，克服了现有技术中存在的问题，由系统在目标用户位置叠加该目标用户的虚拟图像，用户通过设备摄像单元实时获取现实场景中目标用户的虚拟图像或目标用户图像在设备显示单元上显示，通过虚拟瞄准线瞄准在目标用户上叠加的虚拟图像或目标用户身体进行射击操作，截取射击瞬时目标用户的虚拟图像或目标用户图像，发送到设备客户端或系统服务器，设备客户端或系统服务器的图像识别单元识别图像中的叠加在目标用户位置的虚拟图像或识别目标用户身体轮廓，确定瞄准线的中心在目标用户上叠加的虚拟图像的部位或目标用户身体轮廓的部位，分析确定杀伤情况，得出伤结果及生命值，系统服务器查询确定用户射击时所在的位置，查询确定在用户位置的有效射程内的其他用户的位置和身份，或另一实施例为直接根据目标用户的虚拟图像在系统服务器中的备案信息查询确定目标用户的身份，确定被击中的目标用户，将杀伤结果及生命值同时发送到用户和目标用户的设备端。本发明克服了现有技术在游戏前需要用户对自己身体进行拍照上传所带来的不便和隐私问题，在游戏中对目标用户身体拍照受运动的影像而极易产生图像模糊而不能识别的问题。本发明通过在虚拟图像上或图像旁设置用户标识并在系统服务器中备案的实施例能准确识别在同一位置附近的多个用户身份。AR增强现实和MR混合现实或介导现实在本发明的应用及用户与用户之间在户外或室内现实场景中的互动对战更增强了用户体验。用户只用手机或AR、MR眼镜或头盔就可以直接玩甚至不需要其它附件，使得游戏的可玩性更强，用户的参与度更高。同一位置的多个用户组合为大角色的实施例更增强了用户之间的合作互动、协同作战的能力和体验。无人机用户的实施例可实现人机对战，更使得游戏场面更加火爆，撼动人心。本发明架构简单，使用方便，给用户带来了舒适的体验，因此，本发明与现有技术相比具有显著的技术进步。

附图说明

图1是本发明方法的流程图。

图2是本发明方法的示意图一。

图3是本发明方法的示意图二。

图4是本发明方法的示意图三。

图5是本发明方法的示意图四。

图6是本发明方法的示意图五。

图7是本发明方法的示意图六。

图8是本发明方法的示意图七。

图9是本发明方法的示意图八。

图10是本发明方法的示意图九。

图11是本发明的无人机用户方法第一实施例的流程图。

图12是本发明的无人机用户方法第二实施例的流程图。

图13是本发明的无人机用户方法第三实施例的流程图。

图14是本发明的大角色用户方法第二实施例的流程图。

图15是本发明的用户交流方法的流程图。

图16是本发明大角色方法的示意图一。

图17是本发明大角色方法的示意图二。

图18是本发明方法的特效画面叠加示意图。

图19是本发明的系统原理框图一。

图20是本发明的系统原理框图二。

图21是本发明的系统原理框图三。

图22是本发明的无人机系统原理框图二。

图23是本发明的无人机系统原理框图二。

具体实施方式

下面结合附图和实施方式对本发明做进一步的描述。

一种基于位置和图像识别的AR或MR游戏方法，如图1至图4所示并结合图10，在目标用户10的位置L叠加该目标用户的虚拟图像132，在用户设备100的显示单元130上叠加虚拟瞄准线131。用户10通过设备摄像单元140实时获取现实场景中目标用户10的虚拟图像132，并在设备显示单元130上显示。用户10通过虚拟瞄准线131瞄准目标用户的虚拟图像132，进行射击操作，截取射击瞬时目标用户10的虚拟图像132，图像识别单元110或210识别所截取的目标用户10的虚拟图像132，根据瞄准线131的中心在目标用户虚拟图像132的部位分析杀伤情况，得出杀伤结果及生命值。系统服务器200根据用户截取的目标用户10的虚拟图像132与系统服务器备案的虚拟图像匹配，确定虚拟图像132对应的目标用户身份，将杀伤结果及生命值同时发送到用户和目标用户的设备端。

如图2所示，根据上述实施例基本原理的另一种实施方式是将目标用户10的身体作为射击目标。当目标用户10和叠加在目标用户10的位置L该目标用户的虚拟图像132都出现在用户设备100的显示单元130上时，用户通过虚拟瞄准131线瞄准目标用户10的身体，进行射击操作。用户设备100截取射击瞬时目标用户10的身体图像，图像识别单元110或210识别图像中的目标用户10的身体图像，根据瞄准线131的中心在目标用户10身体图像的部位分析杀伤情况，得出杀伤结果及生命值。系统服务器200根据用户截取的在目标用户10的位置上叠加的虚拟图像132，查询对比在系统服务器中备案的目标用户的虚拟图像，确定被击中的目标用户身份，将杀伤结果及生命值同时发送到用户和目标用户的设备端。本实施例是预先将用户的虚拟图像在系统服务器中备案，游戏时系统将用户的虚拟图像叠加到用户的位置上，用户截取目标用户身体图像及其虚拟图像，根据识别虚拟瞄准线位于目标用户身体部位分析得出杀伤情况，根据识别查询在系统服务器中备案的目标用户的虚拟图像确定被击中的目标用户身份。

如图9所示，为了缩小识别查询在系统中备案的虚拟图像的范围，减少查询量，系统服务器仅查询在用户位置上用户设备的有效射程范围S内的目标用户在系统中备案的虚拟图像来确定目标用户身份。所述有效射程范围S为在用户位置上用户设备摄像单元对目标用户虚拟图像的有效获取范围。有效射程范围S可根据目前较为普及的用户设备如手机摄像头能够清晰成像并且所截取的图像能够被图像识别单元识别的拍摄距离确定，还可根据用户所采用的虚拟的武器装备的射程来确定，或综合各种因素来确定，最终给出一个具体的范围数值。所述有效射程范围是以用户位置为圆心以R为半径的圆形区域。例如，半径R为30、50、100、200、300米等具体数值。

在图9中，以用户U为圆形以R为半径的区域S内分布有用户U1、U2和U3，区域S外靠近区域线的位置分布有用户U4-U7，再往外围还会有更多的用户，系统服务器仅查询在用户位置上用户设备的有效射程范围S内的用户U1、U2和U3在系统中备案的虚拟图像来确定目标用户身份，对于有效射程范围S外的所有用户都不予理睬，因此可以极大地减少系统服务器对大量用户备案的虚拟图像对应的用户身份的识别匹配，减轻了服务器的压力提高了游戏的响应时间。

对于完全以虚拟图像作为杀伤情况和用户身份识别的实施例来说，因为仅对虚拟图像进行识别分析查询，不存在获取的现实场景图像不清晰影响识别效果的情况，因此可以更远距离的对目标用户射击或攻击。游戏系统可设置远离距的狙击步枪供用户使用，使用远距离狙击步枪的用户可以具有更大的或有效射程范围，可在他的用户设备显示屏上出现更远处的目标用户供他瞄准射击。

如图5、图6、图7所示，以上实施例所述备案的目标用户的虚拟图像为在虚拟图像132上或图像旁叠加用户标识133，所述用户标识133代表该用户身份，在系统服务器中备案，当用户瞄准并截取到目标用户的虚拟图像时，图像识别单元识别虚拟图像的用户标识133，并通过系统服务器查询确定该用户标识对应的目标用户身份。

如图6、图7所示，本发明所述用户标识133为图形、字符、颜色、条码、二维码至少其中之一或为游戏特定的标识码。

如图8所示，本发明所述用户标志133还包括用户在系统服务器中备案的用户头像。

如图7、图8所示，当目标用户的虚拟图像出现在用户的显示单元上时，其用户标志133也同时出现在用户的显示单元上，并随着用户的虚拟图像一起移动。为了避免当多个用户的虚拟图像一同出现在显示单元上难以区分用户标志所对应的用户虚拟图像，则采用引线将用户标志和用户虚拟图像连接起来供图像识别单元可靠识别。对于如图6所示的在虚拟图像上叠加用户标志，用户标志也随着虚拟图像的移动一起移动，并保持在虚拟图像上叠加的位置。

在图5中所描述的实施例中，虚拟图像132本身就可作为用户标志133。由此可见，本实施例由于使用虚拟图像作为用户标志，由系统根据用户的游戏注册身份生成，叠加到用户的显示单元，被用户截取后通过系统服务器识别查询确认，因此不会出现在本发明的背景技术中例举的通过拍照识别用户的身体来确认用户身份带来的识别困难及识别错误等诸多问题。

在获取虚拟图像132过程中，也会获取目标用户10的图像，因为虚拟图像132是叠加目标用户10的位置L，一般当系统获取的用户位置与用户的实际位置相同或偏离很小的情况下，虚拟图像132会遮挡或部分遮挡用户10，如图3和图4所示。当系统获取的用户位置与用户的实际位置偏离较大时，虚拟图像132也会与用户10的实际位置有较大的距离。

如图10所示，用户U1、U2、U3的实际位置和他们的虚拟图像132-U1、132-U2、132-U3的位置有明显的差距，因为现在的GPS定位导航的精度在民用方面还没有那么高，但随着技术的不断进步，定位精度也会不断提高。尽管目前的技术定位精度不高，但并不会妨碍本发明的应用，因本发明是对用户的虚拟图像进行捕捉识别并根据该虚拟图像在系统中的备案进行查询确认用户身份，因此目标用户的身体的位置与其虚拟图像的位置有所偏差并不会影响系统对用户身份的确认，不会影响用户的游戏体验。

对于瞄准用户身体图像的部位识别确定杀伤情况同时根据在同一画面中捕捉的虚拟图像作为用户标识进行识别确认用户身份的实施例来说，系统叠加的用户虚拟图像的位置和用户的实际位置偏差太大会很难将他们捕捉在同一个画面里，并且对于多个用户相互靠近时会存在用户身体图像和虚拟用户标志图像混淆的问题，这个问题可以通过系统只根据虚拟用户标志来识别用户身份，而瞄准射击用户身体图像只用于识别确定杀伤情况的游戏规则来解决。为了降低了对身体图像识别的难度，可采用通过识别虚拟瞄准线中心位于用户身体图像轮廓的部位进行识别，确定杀伤情况。因为识别身体轮廓比识别整个身体更简单。

在游戏中，用户可以通过观察目标用户是否手持手机或AR、MR设备及行为动作来粗略判断该用户是否为参加本游戏的目标用户，并调整与该用户的距离，等待该用户的虚拟图像出现。

本发明所述的方法还包括，在所述用户显示单元上显示的所述目标用户的虚拟图像大小根据用户与目标用户之间的距离变化而变化，用户逐渐接近目标用户，目标用户的虚拟图像逐渐变大，反之逐渐变小。

本发明所述的方法还包括，根据目标用户设备位置和镜头方向相对于用户设备位置和镜头方向在所述用户显示单元上显示所述目标用户的虚拟图像的方向，当目标用户设备镜头方向正对着用户设备镜头方向时，用户显示单元显示目标用户虚拟图像的正面，当目标用户设备镜头方向背对着用户设备镜头方向时，用户显示单元显示目标用户虚拟图像的背面，非正面或非背面的其它方向原理相同。

本发明所述虚拟图像包括角色或装备，所述角色包括人物角色或动物角色或精灵角色或妖怪角色，所述装备包括武器装备或交通工具或道具；

所述虚拟图像还包括对所述角色或装备发出射击、攻击、中弹、击中、痕迹、爆炸、火光、燃烧、烟雾的至少其中之一的特效画面，对射击时截取的瞄准线锁定的目标人体或目标角色或目标装备的图像进行识别，生成该目标人体或目标角色或目标装备被击中的特效画面，叠加到该目标人体或目标角色或目标装备上。

本发明所述的射击操作不局限于射击，还包括击打、刀砍、刺杀、投掷手雷或手榴弹或其它物体、炮击等攻击操作，本发明只是以射击操作来描述本发明的方法和原理。本发明所述的特效画面还包括击打、刀砍、刺杀、投掷手雷或手榴弹或其它物体、炮击等的特效画面。

如图22和图23所示，本发明所述用户还包括无人机用户，所述设备还包括无人机设备300和无人机操作设备400，由无人机用户通过无人机操作设备400对无人机设备300进行操作和控制。无人机用户通过操作手上的无人机操作设备400对天空中的无人机设备300及摄像单元进行操作，实时获取地面用户的虚拟图像或用户图像，并在设备显示单元420上显示。

本发明的一种无人机参与的游戏方法：

无人机用户通过操作手上的无人机操作设备对天空中的无人机设备及摄像单元进行操作，实时获取地面用户的虚拟图像或用户图像，并在设备显示单元上显示；无人机用户通过虚拟瞄准线瞄准显示单元中的地面用户的虚拟图像，进行射击操作，截取射击瞬时地面用户的虚拟图像；图像识别单元识别图像中的地面用户的虚拟图像，根据瞄准线的中心在虚拟的图像的部位分析杀伤情况，得出杀伤结果及生命值；根据无人机用户截取的地面用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的地面用户身份，将杀伤结果及生命值同时发送到无人机用户和地面用户的设备端。

地面用户通过设备摄像单元实时获取实场景中无人机设备的虚拟图像，并在设备显示单元上显示；地面用户通过虚拟瞄准线瞄准无人机设备的虚拟图像，进行射击操作，截取射击瞬时无人机设备的虚拟图像；图像识别单元识别所截取的无人机设备的虚拟图像，根据瞄准线的中心在无人机设备虚拟图像的部位分析杀伤情况，得出杀伤结果及生命值；根据地面用户截取的无人机用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的无人机用户身份，将杀伤结果及生命值同时发送到地面用户和无人机用户的设备端；

另一种实施方式：地面用户通过设备摄像单元实时获取实场景中无人机设备的图像，并在设备显示单元上显示；地面用户通过虚拟瞄准线瞄准无人机设备的拟图像，进行射击操作，截取射击瞬时无人机设备的图像；图像识别单元识别所截取的无人机设备的图像，根据瞄准线的中心在无人机设备图像的部位分析杀伤情况，得出杀伤结果及生命值；根据地面用户截取的无人机用户的图像与系统服务器备案的无人机设备图像匹配，确定虚拟图像对应的无人机用户身份，将杀伤结果及生命值同时发送到地面用户和无人机用户的设备端。本实施例所述的无人机设备图像为无人机身份标志图像，在无人机设备上喷涂或覆盖，并且拍照后上传到系统服务器中备案。

本发明还包括大角色用户游戏方法，如图16和图17所示，本发明所述的虚拟图像还包括大角色虚拟图像134，在同一个位置或同一个位置周围由至少两个用户组合为一个大角色；在目标大角色用户位置叠加该目标大角色的虚拟图像134；一个大角色的所有用户在这个角色范围内一起按同一个路径运动，寻找并攻击目标大角色；当目标大角色的虚拟图像134出现在大角色用户的显示单元时，大角色用户通过虚拟瞄准线131瞄准目标大角色的虚拟图像134，进行射击操作，截取射击瞬时目标大角色的虚拟图像134；图像识别单元识别所截取的目标大角色的虚拟图像134，根据瞄准线131的中心在目标大角色虚拟图像134的部位分析确定杀伤情况，得出杀伤结果及生命值；系统服务器根据大角色用户设备截取的目标大角色虚拟图像134与系统服务器备案的大角色虚拟图像匹配，确定被击中的目标大角色用户身份，将杀伤结果及生命值同时发送到大角色用户和目标大角色用户的设备端。

所述大角色虚拟图像包括坦克、装甲车、大炮、飞机、无人机、汽车、摩托车、舰船、导弹发射装置、堡垒、大精灵、大妖怪、大动物中至少其中之一。

每个用户在大角色中分别担任不同的岗位，对大角色进行操作或驾驶，设备客户端或系统服务器的图像识别单元仅识别担任射击操作的大角色用户截取的射击瞬时叠加在目标用户大角色上的虚拟图像，并由系统服务器做进一步确认；

另一实施方式：每个用户在大角色中担任相同的岗位，对大角色进行操作驾驶，设备客户端或系统服务器的图像识别单元识别所有的大角色用户截取的射击瞬时叠加在目标用户大角色上的虚拟图像，系统服务器按击中的平均值选取或选取击中效果最好的做进一步确认。

当行进中的大角色有用户成员脱离大角色范围时，系统向该大角色的所有成员发出该成员脱岗的提示或发出大角色故障的提示，并根据脱岗的大角色成员在大角色中担任的岗位停止该岗位的操作，直至脱岗的大角色成员回到大角色范围内。

所述虚拟图像还包括对所述角色或装备之外的现实场景的人体或物体发出射击、攻击、中弹、击中、痕迹、爆炸、火光、燃烧、烟雾的至少其中之一的特效画面，对射击时截取的瞄准线锁定的现实场景的人体或物体的图像进行识别，生成对该人体或物体射击的特效画面，叠加到该人体或物体上。

如图18所示，当虚拟瞄准线指向墙壁进行射击操作时，用户设备的摄像单元捕捉被射击的墙壁，图像识别单元识别被射击的墙壁图像，生成墙壁被击中形成的弹痕特效画面133，叠加到墙壁被射击的位置。图中134则是门被击中形成的弹孔特效画面。更进一步的效果是结合整体画面判断被射击的物体材质生成针对该材质的被击中的特效画面。

本发明所述射击操作可以单发射击，也可以连发射击。对于连发射击，则根据每次连发射击的次数来截取目标用户图像。例如连续三发点射，则连续截取三张图像。

所述方法还包括用户之间可交流沟通的社交方法：

用户通过设备摄像单元在现实场景中捕捉目标用户图像，并在设备显示单元上显示；用户点击或瞄准操作显示单元中目标用户或目标用户的虚拟角色或装备图像激活对话，弹出对话窗，输入对话内容，点击发送，对话内容上传到系统服务器，再转发到目标用户设备显示单元上显示；目标用户设备显示单元上弹出对话窗口，显示上述用户发来的对话内容，目标用户在对话窗输入回复，点击发送，回复内容上传到系统服务器，再转发到上述用户设备显示单元上显示。

本发明以上所述的所有方法的具体实施例内的描述顺序，只是对本发明的方法的各个实施例的一种描述，每个实施例所述的步骤顺序并不代表实际中一定要按上述步骤顺序，也可根据实际需要调整先后顺序，因此，本发明并不对实施例的描述顺序做限定。

本发明的一种基于位置和图像识别的AR或MR游戏系统，如图19、图20和图21所示，包括用户设备100以及系统服务器200，所述用户设备100包括摄像单元140、显示单元130、定位单元150，无线通讯单元，所述用户设备为手机、平板电脑，或所述用户设备为AR、MR可穿戴设备，其特征如下：

所述系统包括射击图像截取单元120，位于用户设备100端，用于截取在用户设备100上显示的目标用户图像或虚拟图像132在射击操作瞬时的图像；所述系统还包括图像识别单元110，位于用户设备100端或系统服务器200或同时位于用户设备100端和系统服务器200，用于识别射击图像截取单元120所截取的图像；用户设备100的摄像单元140与目标用户建立图像拍摄的光线传播连接，用于拍摄现实场景中的目标用户10；用户设备100通过无线通讯与系统服务器200建立通讯连接；所述定位单元150定位用户10的位置，并通过用户设备100将位置信息发送到系统服务器200。

对于位置的获取，本发明还可通过所述摄像单元扫描所在位置上的位置标识，并通过用户设备将位置信息发送到系统服务器。这种位置获取方法可用于采用二维码的室内或室外定位技术对用户位置的定位。此方法二维码的室内或室外定位技术还可加入用户设备的陀螺仪、加速度计及电子罗盘作为辅助定位。

对于位置的获取，本发明还可通过采用WiFi、蓝牙、红外等硬件定位技术及系统来获取用户位置。本发明所述位置的获取所采用的是现有技术中的定位导航技术和系统，包括地理位置地图系统在本发明的应用。可采用的地理位置地图为谷歌地图、百度地图、腾讯地图、高德地图等。

本发明所述射击图像截取单元包括射击操作按钮。

所述射击操作按钮为用户设备上的操作按键或用户设备附带的操作手柄。

另一实施例：所述射击操作按钮为在用户设备客户端设置的在设备显示单元中显示的虚拟操作按钮。

另一实施例：所述系统还包括一个独立的游戏操作设备，所述游戏操作设备具有与用户设备通讯的蓝牙模块或WIFI模块，并在所述游戏操作设备上设置射击操作按钮。

如图22和图23所示，本发明的系统还包括无人机设备300和无人机操作设备400。

所述无人机设备300包括在无人机上拍摄地面用户的摄像单元，用于导航定位的定位单元，用于与地面用户操作的无人机操作设备通讯的无线通讯单元。

所述无人机操作设备400包括显示单元420和操作单元410，与无人机通讯的无线通讯单元，与系统服务器通讯的通讯单元。

所述无人机设备还包括在设备上喷涂或覆盖无人机身份标志，所述无人机身份标志在系统服务器中备案。

本发明所述的虚拟图像包括二维2D图像和三维3D图像。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于位置和图像识别的AR或MR游戏方法，其特征在于：

在目标用户位置叠加该目标用户的虚拟图像；

在用户设备的显示单元上叠加虚拟瞄准线；

用户通过设备摄像单元实时获取现实场景中目标用户的虚拟图像或目标用户身体图像连同目标用户的虚拟图像，并在设备显示单元上显示；

用户通过虚拟瞄准线瞄准目标用户的虚拟图像或目标用户身体图像，进行射击操作，截取射击瞬时目标用户的虚拟图像或目标用户的身体图像连同目标用户的虚拟图像；

图像识别单元识别所截取的目标用户的虚拟图像或目标用户的身体图像，根据瞄准线的中心在目标用户虚拟图像的部位或根据瞄准线的中心在目标用户身体图像的部位分析杀伤情况，得出杀伤结果及生命值；

根据用户截取的目标用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的目标用户身份，将杀伤结果及生命值同时发送到用户和目标用户的设备端。

为了缩小识别查询在系统中备案的虚拟图像的范围，减少查询量，系统服务器仅查询在用户位置上用户设备的有效射程范围内的目标用户在系统中备案的虚拟图像来确定目标用户身份。

2.如权利要求1所述的方法，其特征在于：

所述备案的目标用户的虚拟图像为在虚拟图像上或图像旁叠加用户标识，或所述虚拟图像就是用户标识，所述用户标识代表该用户身份，在系统服务器中备案，当用户瞄准并截取到目标用户的虚拟图像时，图像识别单元识别虚拟图像的用户标识，并通过系统服务器查询确定该用户标识对应的目标用户身份。

所述用户标识包括图形、字符、颜色、条码、二维码至少其中之一或为游戏特定的标识码。

所述用户标志还包括用户在系统服务器中备案的用户头像。

3.如权利要求1或2所述的方法，其特征在于：

在所述用户显示单元上显示的所述目标用户的虚拟图像大小根据用户与目标用户之间的距离变化而变化，用户逐渐接近目标用户，目标用户的虚拟图像逐渐变大，反之逐渐变小。

根据目标用户设备位置和镜头方向相对于用户设备位置和镜头方向在所述用户显示单元上显示所述目标用户的虚拟图像的方向，当目标用户设备镜头方向正对着用户设备镜头方向时，用户显示单元显示目标用户虚拟图像的正面，当目标用户设备镜头方向背对着用户设备镜头方向时，用户显示单元显示目标用户虚拟图像的背面，非正面或非背面的其它方向原理相同。

4.如权利要求1或2所述的方法，其特征在于：

所述虚拟图像包括角色或装备，所述角色包括人物角色或动物角色或精灵角色或妖怪角色，所述装备包括武器装备或交通工具或道具；

所述虚拟图像还包括对所述角色或装备发出射击、攻击、中弹、击中、痕迹、爆炸、火光、燃烧、烟雾的至少其中之一的特效画面，对射击时截取的瞄准线锁定的目标人体或目标角色或目标装备的图像进行识别，生成该目标人体或目标角色或目标装备被击中的特效画面，叠加到该目标人体或目标角色或目标装备上。

5.如权利要求1或2所述的方法，其特征在于：

所述用户还包括无人机用户，所述无人机用户通过操作手上的无人机操作设备对天空中的无人机设备及摄像单元进行操作，实时获取地面用户的虚拟图像或用户图像，并在设备显示单元上显示；无人机用户通过虚拟瞄准线瞄准显示单元中的地面用户的虚拟图像，进行射击操作，截取射击瞬时地面用户的虚拟图像；图像识别单元识别图像中的地面用户的虚拟图像，根据瞄准线的中心在虚拟的图像的部位分析杀伤情况，得出杀伤结果及生命值；根据无人机用户截取的地面用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的地面用户身份，将杀伤结果及生命值同时发送到无人机用户和地面用户的设备端。

地面用户通过设备摄像单元实时获取实场景中无人机设备的虚拟图像，并在设备显示单元上显示；地面用户通过虚拟瞄准线瞄准无人机设备的虚拟图像，进行射击操作，截取射击瞬时无人机设备的虚拟图像；图像识别单元识别所截取的无人机设备的虚拟图像，根据瞄准线的中心在无人机设备虚拟图像的部位分析杀伤情况，得出杀伤结果及生命值；根据地面用户截取的无人机用户的虚拟图像与系统服务器备案的虚拟图像匹配，确定虚拟图像对应的无人机用户身份，将杀伤结果及生命值同时发送到地面用户和无人机用户的设备端；

或，地面用户通过设备摄像单元实时获取实场景中无人机设备的图像，并在设备显示单元上显示；地面用户通过虚拟瞄准线瞄准无人机设备的拟图像，进行射击操作，截取射击瞬时无人机设备的图像；图像识别单元识别所截取的无人机设备的图像，根据瞄准线的中心在无人机设备图像的部位分析杀伤情况，得出杀伤结果及生命值；根据地面用户截取的无人机用户的图像与系统服务器备案的无人机设备图像匹配，确定虚拟图像对应的无人机用户身份，将杀伤结果及生命值同时发送到地面用户和无人机用户的设备端。

6.如权利要求1所述的方法，其特征在于：

所述的虚拟图像还包括大角色虚拟图像，在同一个位置或同一个位置周围由至少两个用户组合为一个大角色；

在目标大角色用户位置叠加该目标大角色的虚拟图像；

一个大角色的所有用户在这个角色范围内一起按同一个路径运动，寻找并攻击目标大角色；

当目标大角色的虚拟图像出现在大角色用户的显示单元时，大角色用户通过虚拟瞄准线瞄准目标大角色的虚拟图像，进行射击操作，截取射击瞬时目标大角色的虚拟图像；

图像识别单元识别所截取的目标大角色的虚拟图像，根据瞄准线的中心在目标大角色虚拟图像的部位分析确定杀伤情况，得出杀伤结果及生命值；

系统服务器根据大角色用户设备截取的目标大角色虚拟图像与系统服务器备案的大角色虚拟图像匹配，确定被击中的目标大角色用户身份，将杀伤结果及生命值同时发送到大角色用户和目标大角色用户的设备端。

7.如权利要求6所述的方法，其特征在于：

所述大角色虚拟图像包括坦克、装甲车、大炮、飞机、无人机、汽车、摩托车、舰船、导弹发射装置、堡垒、大精灵、大妖怪、大动物中至少其中之一。

每个用户在大角色中分别担任不同的岗位，对大角色进行操作或驾驶，设备客户端或系统服务器的图像识别单元仅识别担任射击操作的大角色用户截取的射击瞬时叠加在目标用户大角色上的虚拟图像，并由系统服务器做进一步确认；

或，每个用户在大角色中担任相同的岗位，对大角色进行操作驾驶，设备客户端或系统服务器的图像识别单元识别所有的大角色用户截取的射击瞬时叠加在目标用户大角色上的虚拟图像，系统服务器按击中的平均值选取或选取击中效果最好的做进一步确认。

当行进中的大角色有用户成员脱离大角色范围时，系统向该大角色的所有成员发出该成员脱岗的提示或发出大角色故障的提示，并根据脱岗的大角色成员在大角色中担任的岗位停止该岗位的操作，直至脱岗的大角色成员回到大角色范围内。

8.如权利要求1-7中任一项所述的方法，其特征在于：

所述虚拟图像还包括对所述角色或装备之外的现实场景的人体或物体发出射击、攻击、中弹、击中、痕迹、爆炸、火光、燃烧、烟雾的至少其中之一的特效画面，对射击时截取的瞄准线锁定的现实场景的人体或物体的图像进行识别，生成对该人体或物体射击的特效画面，叠加到该人体或物体上。

9.如权利要求1-2和5-7中任一项所述的方法，其特征在于：

所述方法还包括用户之间可交流沟通的社交方法：

用户通过设备摄像单元在现实场景中捕捉目标用户图像，并在设备显示单元上显示；

用户点击或瞄准操作显示单元中目标用户或目标用户的虚拟角色或装备图像激活对话，弹出对话窗，输入对话内容，点击发送，对话内容上传到系统服务器，再转发到目标用户设备显示单元上显示；

目标用户设备显示单元上弹出对话窗口，显示上述用户发来的对话内容，目标用户在对话窗输入回复，点击发送，回复内容上传到系统服务器，再转发到上述用户设备显示单元上显示。

10.一种基于位置和图像识别的AR或MR游戏系统，包括用户设备以及系统服务器，所述用户设备包括摄像单元、显示单元、定位单元，无线通讯单元，所述用户设备为手机、平板电脑，或所述用户设备为AR、MR可穿戴设备，其特征在于：

所述系统包括射击图像截取单元，位于用户设备端，用于截取在用户设备上显示的目标用户图像或虚拟图像在射击操作瞬时的图像；

所述系统还包括图像识别单元，位于用户设备端或系统服务器或同时位于用户设备端和系统服务器，用于识别射击图像截取单元所截取的图像；

用户设备的摄像单元与目标用户建立图像拍摄的光线传播连接，用于拍摄现实场景中的目标用户；

用户设备通过无线通讯与系统服务器建立通讯连接；

所述定位单元定位用户的位置，并通过用户设备将位置信息发送到系统服务器；

或，所述摄像单元扫描所在位置上的位置标识，并通过用户设备将位置信息发送到系统服务器。

所述射击图像截取单元包括射击操作按钮；

所述射击操作按钮为用户设备上的操作按键或用户设备附带的操作手柄；

或，所述射击操作按钮为在用户设备客户端设置的在设备显示单元中显示的虚拟操作按钮；

或，所述系统还包括一个独立的游戏操作设备，所述游戏操作设备具有与用户设备通讯的蓝牙模块或WIFI模块，并在所述游戏操作设备上设置射击操作按钮。

所述系统还包括无人机设备和无人机操作设备；

所述无人机设备包括在无人机上拍摄地面用户的摄像单元，用于导航定位的定位单元，用于与地面用户操作的无人机操作设备通讯的无线通讯单元；

所述无人机操作设备包括显示单元和操作单元，与无人机通讯的无线通讯单元，与系统服务器通讯的通讯单元。

所述无人机设备还包括在设备上喷涂或覆盖无人机身份标志，所述无人机身份标志在系统服务器中备案。