CN106730814A - 基于ar及人脸识别技术的海洋捕鱼类游戏 - Google Patents

Abstract

本发明公开了一种基于AR及人脸识别技术的海洋捕鱼类休闲游戏，包括功能需求匹配和非功能需求匹配两个部分，功能需求匹配，通过调整手持移动设备在现实场景中的方位来控制瞄准镜的位置，通过与自由活动的鱼类发生叠加的“射击”动作来表明其是否被捕捉，通过鱼类是否“死亡”来表明鱼类是否获得分值；非功能需求匹配，根据手持移动设备摄像头的使用情况，自动调节现实场景与虚拟场景的结合细节。本发明通过AR技术和人脸识别技术，打破了平面操作、平面感受，运用AR技术将现实和虚拟融为一体，360°立体空间的架构，让人有种置身海底世界四周满是鱼群的感受，人脸识别触发特殊鱼类刷新与人脸识别自主开关在游戏趣味性，丰富用户体验，极具推广价值。

Description

基于AR及人脸识别技术的海洋捕鱼类游戏

技术领域

本发明属于模拟人机交互技术领域，尤其是一种基于AR及人脸识别技术的海洋捕鱼类游戏。

背景技术

“AR技术”又名“增强现实”，是一种全新的人机交互技术，该技术可以模拟现实景观，让使用者能够通过虚拟现实系统，感受到客观物理世界中的事物，并且能突破空间、时间以及其他客观限制，感受真实世界中无法亲身经历的体验。

目前市场上的海洋捕鱼类游戏，大多以平面制作和平面操作的模式在运行。在目前的游戏发展阶段，AR技术、人脸识别技术、GPS定位技术等新兴技术相继得到大力发展，以往的捕鱼已经显得老态龙钟，玩法枯燥、思维老旧、场景单调、游戏性奇缺成为最致命的硬伤，且存在几大弊端：一是人机交互感较低，忽视了玩家处于现实社会的基本；二是游戏平面制作和平面操作的模式带入感奇缺；三是玩法陈旧，没有趣味性。如果能实现AR及人脸识别技术应用到海洋捕鱼类游戏中，就可以将现实中的人拉近虚拟的世界中进行交互，具有更好的应用前景。

发明内容

本发明要解决的技术问题在于提供一种基于AR及人脸识别技术的海洋捕鱼类游戏，解决了现有技术中捕鱼游戏玩法枯燥、思维老旧、场景单调等问题，提升用户体验舒适度。

为了解决上述技术问题，本发明通过以下方式来实现：

基于AR及人脸识别技术的海洋捕鱼类休闲游戏，包括功能需求匹配和非功能需求匹配两个部分，

所述功能需求匹配，通过调整手持移动设备在现实场景中的方位来控制瞄准镜的位置，通过与自由活动的鱼类发生叠加的“射击”动作来表明其是否被捕捉，通过鱼类是否“死亡”来表明鱼类是否获得分值；

所述非功能需求匹配，根据手持移动设备摄像头的使用情况，自动调节现实场景与虚拟场景的结合细节。

进一步的，所述功能需求匹配具体包括以下步骤：

1)采集现实场景并与虚拟场景结合搭建，在虚拟场景中采用VuforiaAR引擎处理相关AR部分内容，搭建现实场景并将两者混合在一起，通过摄像头采集到的图像进行物体识别，增强现实显示，利用Unity引擎将场景转换融合；

2)360°立体空间架构方式确立，游戏中采用了Unity和曲线编辑器进行场景的处理，场景内分为负责UI界面(UI模块)的显示和主游戏场景两部分，利用两个不同的摄像机进行显示，同时呈现出最终叠加后的图形图像，UI界面采用屏幕坐标系与展示固定深度的图像，把指定内容数据附在最上层；场景相机采用旋转矩阵作为相机视变换的跟踪方式，嵌入VR功能作为备用视角跟踪，在其上设置AR引擎，作为相机显示的底图显示在场景的最外部，场景中有曲线编辑器，根据服务器信息刷出指定鱼并在曲线编辑器上按曲线编辑器的路线运动，同时相机上武器发射子弹命中鱼群而得到分值；

3)根据人脸识别系统比对计算是否触发游戏事件，游戏中采用OPENCV人脸识别技术，通过对摄像机采集的图像，利用AR引擎特殊采样得到的摄像头缓冲图像，转制成Unity游戏引擎所支持的Texture2D格式，再通过转换Texture2D图像到OPENCV所支持的MAT格式，再对MAT格式的图像数据进行人脸检测，通过级联分类器的筛选检测，根据人脸特征信息，判别人脸是否存在，并获取相关位置信息，根据人脸与一般位置特征关系，得到人脸位置数据，再根据采样图像与屏幕坐标的对比关系得到人脸在视见屏幕中的位置，并将这一信息通过C#转换到LUA层，并通过protocol buffer将这一消息传输到服务器，服务器接收到这样的消息以后，将这个消息通知LUA层，再传递到C#中并在Unity游戏引擎中实例化目标鱼种，在实例化过程中，会将所属鱼种采用的方法显示在屏幕之上并按想象的路线规则运动；

4)确定不同分值的鱼类以及鱼类的运动轨迹的360°空间运动轨迹计算方式。

所述非功能需求匹配具体包括以下步骤：

1)是否使用摄像头来调节现实场景与虚拟场景结合时的表现形式；

2)是否遮挡摄像头来调节现实场景与虚拟场景结合时的表现形式。

与现有技术相比，本发明具有的有益效果：

本发明所基于AR及人脸识别技术的海洋捕鱼类游戏，通过AR技术和人脸识别技术，打破了平面操作、平面感受，运用AR技术将现实和虚拟融为一体，360°立体空间的架构，让人有种置身海底世界四周满是鱼群的感受，人脸识别触发特殊鱼类刷新与人脸识别自主开关在游戏趣味性，丰富用户体验，极具推广价值。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式作进一步详细的说明。

基于AR及人脸识别技术的海洋捕鱼类休闲游戏，包括功能需求匹配和非功能需求匹配两个部分，

所述功能需求匹配，通过调整手持移动设备在现实场景中的方位来控制瞄准镜的位置，通过与自由活动的鱼类发生叠加的“射击”动作来表明其是否被捕捉，通过鱼类是否“死亡”来表明鱼类是否获得分值；

所述非功能需求匹配，根据手持移动设备摄像头的使用情况，自动调节现实场景与虚拟场景的结合细节。

进一步的，所述功能需求匹配具体包括以下步骤：

1)采集现实场景并与虚拟场景结合搭建，在虚拟场景中采用VuforiaAR引擎处理相关AR部分内容，搭建现实场景并将两者混合在一起，通过摄像头采集到的图像进行物体识别，增强现实显示，利用Unity引擎将场景转换融合；

2)360°立体空间架构方式确立，游戏中采用了Unity和曲线编辑器进行场景的处理，场景内分为负责UI界面(UI模块)的显示和主游戏场景两部分，利用两个不同的摄像机进行显示，同时呈现出最终叠加后的图形图像，UI界面采用屏幕坐标系与展示固定深度的图像，把指定内容数据附在最上层；场景相机采用旋转矩阵作为相机视变换的跟踪方式，嵌入VR功能作为备用视角跟踪，在其上设置AR引擎，作为相机显示的底图显示在场景的最外部，场景中有曲线编辑器，根据服务器信息刷出指定鱼并在曲线编辑器上按曲线编辑器的路线运动，同时相机上武器发射子弹命中鱼群而得到分值；

3)根据人脸识别系统比对计算是否触发游戏事件，游戏中采用OPENCV人脸识别技术，通过对摄像机采集的图像，利用AR引擎特殊采样得到的摄像头缓冲图像，转制成Unity游戏引擎所支持的Texture2D格式，再通过转换Texture2D图像到OPENCV所支持的MAT格式，再对MAT格式的图像数据进行人脸检测，通过级联分类器的筛选检测，根据人脸特征信息，判别人脸是否存在，并获取相关位置信息，根据人脸与一般位置特征关系，得到人脸位置数据，再根据采样图像与屏幕坐标的对比关系得到人脸在视见屏幕中的位置，并将这一信息通过C#转换到LUA层，并通过protocol buffer将这一消息传输到服务器，服务器接收到这样的消息以后，将这个消息通知LUA层，再传递到C#中并在Unity游戏引擎中实例化目标鱼种，在实例化过程中，会将所属鱼种采用的方法显示在屏幕之上并按想象的路线规则运动；

4)确定不同分值的鱼类以及鱼类的运动轨迹的360°空间运动轨迹计算方式。

所述非功能需求匹配具体包括以下步骤：

1)是否使用摄像头来调节现实场景与虚拟场景结合时的表现形式；

2)是否遮挡摄像头来调节现实场景与虚拟场景结合时的表现形式。

如图1所示，本发明的具体流程步骤为：

(1)进入游戏后，首先进入是否开启摄像头程序，若选择是则进入采集现实场景，构架360°空间场景，若选择否则进入采用默认虚拟场景；

(2)在采集现实场景，构架360°空间场景或者采用默认虚拟场景后，进入是否开启人脸扫描程序，若选择是则进入是否扫描识别到人脸程序，若选择否则进入正常刷新鱼类；

(3)在步骤(2)中的是否扫描识别到人脸程序中，若选择是则进入刷新特殊鱼类，进而进入正常刷新鱼类，若选择否则直接进入刷新鱼类程序；

(4)通过操作射击鱼类，对于是否击中鱼类，若是则进入鱼类是否“死亡”程序，若否则进入不扣除射击消耗程序；

(5)在步骤(4)后，对于鱼类是否“死亡”程序，若是则进入扣除射击消耗，并增加捕鱼获得积分，若否则进入扣除射击消耗程序。

以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。

Claims (3)

1.基于AR及人脸识别技术的海洋捕鱼类休闲游戏，其特征在于：包括功能需求匹配和非功能需求匹配两个部分，

所述功能需求匹配，通过调整手持移动设备在现实场景中的方位来控制瞄准镜的位置，通过与自由活动的鱼类发生叠加的“射击”动作来表明其是否被捕捉，通过鱼类是否“死亡”来表明鱼类是否获得分值；

所述非功能需求匹配，根据手持移动设备摄像头的使用情况，自动调节现实场景与虚拟场景的结合细节。

2.根据权利要求1所述的基于AR及人脸识别技术的海洋捕鱼类休闲游戏，其特征在于：所述功能需求匹配具体包括以下步骤：

1)采集现实场景并与虚拟场景结合搭建，在虚拟场景中采用VuforiaAR引擎处理相关AR部分内容，搭建现实场景并将两者混合在一起，通过摄像头采集到的图像进行物体识别，增强现实显示，利用Unity引擎将场景转换融合；

2)360°立体空间架构方式确立，游戏中采用了Unity和曲线编辑器进行场景的处理，场景内分为负责UI界面的显示和主游戏场景两部分，利用两个不同的摄像机进行显示，同时呈现出最终叠加后的图形图像，UI界面采用屏幕坐标系与展示固定深度的图像，把指定内容数据附在最上层；场景相机采用旋转矩阵作为相机视变换的跟踪方式，嵌入VR功能作为备用视角跟踪，在其上设置AR引擎，作为相机显示的底图显示在场景的最外部，场景中有曲线编辑器，根据服务器信息刷出指定鱼并在曲线编辑器上按曲线编辑器的路线运动，同时相机上武器发射子弹命中鱼群而得到分值；

3)根据人脸识别系统比对计算是否触发游戏事件，游戏中采用OPENCV人脸识别技术，通过对摄像机采集的图像，利用AR引擎特殊采样得到的摄像头缓冲图像，转制成Unity游戏引擎所支持的Texture2D格式，再通过转换Texture2D图像到OPENCV所支持的MAT格式，再对MAT格式的图像数据进行人脸检测，通过级联分类器的筛选检测，根据人脸特征信息，判别人脸是否存在，并获取相关位置信息，根据人脸与一般位置特征关系，得到人脸位置数据，再根据采样图像与屏幕坐标的对比关系得到人脸在视见屏幕中的位置，并将这一信息通过C#转换到LUA层，并通过protocol buffer将这一消息传输到服务器，服务器接收到这样的消息以后，将这个消息通知LUA层，再传递到C#中并在Unity游戏引擎中实例化目标鱼种，在实例化过程中，会将所属鱼种采用的方法显示在屏幕之上并按想象的路线规则运动；

4)确定不同分值的鱼类以及鱼类的运动轨迹的360°空间运动轨迹计算方式。

3.根据权利要求1所述的基于AR及人脸识别技术的海洋捕鱼类休闲游戏，其特征在于：所述非功能需求匹配具体包括以下步骤：

1)是否使用摄像头来调节现实场景与虚拟场景结合时的表现形式；

2)是否遮挡摄像头来调节现实场景与虚拟场景结合时的表现形式。