CN106980847B - 一种基于生成与共享ARMark的AR游戏与活动的方法和系统 - Google Patents

Abstract

本发明公开了一种基于生成与共享ARMark的AR游戏与活动的方法和系统，该方法包括：生成以现实场景或场景中物体的图像特征信息为识别特征的ARMark；分享ARMark；通过在现实场景中检测与识别ARMark进行AR游戏或AR活动。本发明将ARMark位置化，不与具体的AR内容关联，通过ARMark的分享，可以实现各种各样的室内、室外、远程的多人互动AR游戏或者AR活动。

Description

一种基于生成与共享ARMark的AR游戏与活动的方法和系统

技术领域

本发明涉及增强现实技术领域，具体涉及一种基于生成与共享ARMark的AR游戏与活动的方法和系统。

背景技术

增强现实(Augmented Reality，简称AR)是一种把虚拟世界和现实世界融合的技术，其应用经已延伸到教育、游戏、医疗、物联网、智能制造等多个领域。增强现实技术分两种，一种基于Marker，一种基于Markerless。基于Marker的AR技术采用计算机视觉技术进行Marker的生成，然后通过Marker的识别及其位置和方向检测，在摄像头的图像上合成CG动画然后显示。基于Markerless的AR技术一般基于LBS提供室外的AR应用，室内则寄希望于SLAM空间定位技术，但SLAM技术目前在智能手机上的应用还很不成熟，已有的应用仅限于平面检测用于家具摆放，无法实现虚拟对象与现实世界复杂场景的互动。

目前的AR应用大都基于Marker，应用领域主要与教育、培训、游戏相关，每个Marker会事先准备好具体的虚拟内容。上述技术存在以下问题：1)这些AR应用的内容单一，导致用户的黏性不够，用户觉得AR比较新奇，体验一下不会再用，无法留住用户；2)目前的AR应用基本上都没有考虑多人互动，很难通过老用户去带动新用户。

发明内容

本发明的目的在于提供一种基于生成与共享ARMark的AR游戏与活动的方法和系统，本发明把ARMark作为AR游戏与活动的最基本元素--即位置点(ARPoint)，不与具体、特定的AR内容关联，从而解决室内AR游戏无法定位问题，通过ARMark的共享实现多人互动AR游戏，并在此基础上扩展到室外、远程多人互动AR游戏。并可以把这些AR游戏作为企业或商家进行各种各样的AR活动，比如品牌促销、商品推广等。

为实现上述目的，本发明提供一种基于生成与共享ARMark的AR游戏与活动的方法，其特征在于，该方法包括：

生成以现实场景或场景中物体的图像特征信息为识别特征的ARMark；

分享ARMark；

通过在现实场景中检测与识别ARMark进行AR游戏或AR活动。

可选的，在所述分享ARMark的步骤之后，在所述检测与识别ARMark的步骤之前，该方法还包括：寻找ARMark；根据AR游戏类型，提供辅助寻找ARMark的方式，包括：不提供任何寻找ARMark的辅助信息、提供ARMark的原图片、提供ARMark的原图片的局部图像、提供ARMark原图片被部分遮挡的图像、提供ARMark原图片被部分遮挡的局部图像，也可以包括其它辅助信息。

可选的，所述生成以现实场景或场景中物体的图像特征信息为识别特征的ARMark的步骤包括：

a、通过视频抓取图像帧；

b、进行特征提取前的图像帧预处理，用户可以根据需求生成以下三种图像帧中的一种：原图像帧、截取原图像帧指定局部区域图像、或通过图像分割技术分割原图像帧中指定物体图像；

c、通过视觉特征提取算法提取图像帧的特征信息；

d、检测提取的特征信息是否与本地私有ARMark库中某个ARMark匹配，若匹配，重复进行步骤a、b和c，若不匹配，则将所述特征信息作为所述私有ARMark；

e、将该私有ARMark基于位置分类，并添加分层命名标签。

可选的，所述分享ARMark的步骤包括：

从本地私有ARMark库中挑选一组与当前地理位置相关的ARMark；

分享给其他用户，如果不进行分享则可以直接进行基于所挑选ARMark的单人AR游戏；

将接收到的分享ARMark加入到本地共享ARMark库。

可选的，所述通过在现实场景中检测与识别ARMark进行AR游戏或AR活动的步骤包括：

a、AR游戏或活动根据挑选或共享的ARMark进行游戏的初始化；

b、通过视频抓取图像帧；

c、通过视觉特征提取算法提取该图像帧的特征信息；

d、检测该AR游戏或活动的ARMark库是否存在某个ARMark与该图像帧或该图像帧局部区域的特征相匹配，若不匹配，则重复步骤b与c，若匹配，则进行AR游戏或活动预设的AR内容；

e、重复步骤b、c与d，直到游戏结束。

本发明还提供一种基于生成与共享ARMark的AR游戏与活动的系统，该基于生成与共享ARMark的AR游戏与活动的系统包括：

ARMark生成模块，用于生成以现实场景或场景中物体的图像特征信息为识别特征的ARMark；

ARMark分享模块，用于分享ARMark；

ARMark识别模块，用于通过在现实场景中检测与识别ARMark进行AR游戏或AR活动。

可选的，所述系统还包括：

ARMark寻找模块，用于寻找ARMark分享模块所分享的ARMark并供所述ARMark识别模块识别；根据AR游戏类型，提供辅助寻找ARMark的方式，包括：不提供任何寻找ARMark的辅助信息、提供ARMark的原图片、提供ARMark的原图片的局部图像、提供ARMark原图片被部分遮挡的图像、提供ARMark原图片被部分遮挡的局部图像，也可以包括其它辅助信息。

可选的，所述ARMark生成模块包括：

图像帧抓取模块，用于通过视频抓取图像帧；

图像帧预处理模块，用于生成用于特征提取模块处理的图像帧，根据需求生成以下三种图像帧中的一种：原图像帧、截取原图像帧指定局部区域图像、或通过图像分割技术分割原图像帧中指定物体图像；

特征提取模块，用于通过视觉特征提取算法提取图像帧的特征信息；

重复检测模块，用于检测提取的特征信息是否与本地私有ARMark库中某个ARMark匹配，若匹配，重复进行图像帧抓取模块、图像帧预处理模块与特征提取模块，若不匹配，则将所述特征信息作为所述私有ARMark；

分类命名模块，用于将该私有ARMark基于位置分类，并添加分层命名标签。

可选的，所述ARMark分享模块包括：

ARMark挑选模块，用于从本地私有ARMark库中挑选一组与当前地理位置相关的ARMark；

分享模块，用于分享给其他用户，如果不进行分享则可以直接进行基于所挑选ARMark的单人AR游戏；

本地共享ARMark库加入模块，用于将接收到的分享ARMark加入到本地共享ARMark库。

可选的，所述ARMark识别模块包括：

初始化模块，用于AR游戏或活动根据挑选或共享的ARMark进行游戏的初始化；

图像帧抓取模块，用于通过视频抓取图像帧；

特征提取模块，用于通过视觉特征提取算法提取该图像帧的特征信息；

重复检测模块，检测该AR游戏或活动的ARMark库是否存在某个ARMark与该图像帧或该图像帧局部区域的特征相匹配，若不匹配，则重复图像帧抓取模块与特征提取模块，若匹配，则进行AR游戏或活动预设的AR内容；

游戏或活动结束模块，用于重复图像帧抓取模块、特征提取模块与重复检测模块，直到AR游戏或活动结束。

本发明具有如下优点：

本发明将ARMark位置化，不与具体的AR内容关联，通过ARMark的分享，可以实现各种各样的室内、室外、远程的多人互动AR游戏或者AR活动。

附图说明

图1是本发明私有ARMark生成步骤的一种具体实施方式的流程示意图。

图2是本发明玩家挑选ARMark进行个人AR游戏或活动的一种具体实施方式的流程示意图。

图3是本发明玩家挑选与分享ARMark进行多人互动AR游戏或活动的一种具体实施方式的流程示意图

图4是本发明基于ARMark的AR游戏或活动从开始到结束的一种具体实施方式的流程示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

ARMark是指通过计算机视觉算法(如：SURF，ORB等)对目标物体提取特征信息，并记录或者学习这些特征信息作为ARMark，当用户识别该特征信息后即可获取与现实场景图像相结合的虚拟的图像、声音、文字、视频、三维物体、三维动画或其他感官的感觉。现有ARMark以特定内容相关联，因此较为死板，不易大规模推广。

例如以ORB提取特征信息，ORB(Oriented FAST and Rotated BRIEF)是一种快速特征信息提取和描述的算法。这个算法是由Ethan Rublee,Vincent Rabaud,KurtKonolige以及Gary Bradski在2011年一篇名为“ORB：An Efficient Alternative to SIFTor SURF”的文章中提出。ORB算法分为两部分，分别是特征信息提取和特征信息描述。特征提取是由FAST(Features from Accelerated Segment Test)算法发展来的，特征信息描述是根据BRIEF(Binary Robust Independent Elementary Features)特征描述算法改进的。ORB特征是将FAST特征信息的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。

本发明使用智能手机或手持移动智能终端，通过计算机视觉特征提取技术实时快速地生成ARMark，把ARMark作为基本位置元素进行各种各样的AR游戏或AR活动。通过ARMark共享实现室内、室外与远程的多人互动AR游戏，比如AR抓怪物精灵、AR我放你找、AR密室逃脱、AR照妖镜等。并可以与LBS结合起来实现基于LBS与ARMark混合的多人互动AR游戏。并可以在AR游戏进行各种各样的企业或商家活动，AR促销活动等。本发明中的移动终端主要是指智能手机，也包括平板电脑、其它的手持移动智能终端等。

如图1所示，生成私有ARMark的步骤包括：

a、通过视频抓取图像帧；例如，使用智能手机或其它手持移动终端设备的摄像头采集视频；

b、进行特征提取前的图像帧预处理，用户可以根据需求生成以下三种图像帧中的一种：原图像帧、截取原图像帧指定局部区域图像(比如截取正中央圆形的外切正方形区域)、或通过图像分割技术(比如Normalized cut或Grab-Cut技术)分割原图像帧中指定物体图像；

c、通过视觉特征提取算法提取图像帧的特征信息；例如，采用计算机视觉(ORB技术，也可以采用其它技术，ORB技术是实施例)特征提取算法实现ARMark的生成与检测；

d、检测所提取的特征信息是否与本地私有ARMark库中某个ARMark匹配，若匹配，重复进行步骤a、b和c，若不匹配，则将所述特征信息作为所述私有ARMark；

e、将该私有ARMark基于位置分类，并添加分层命名标签；例如ARMark基于GPS坐标进行分类与命名，方便用户检索、挑选，比如家里的ARMark、办公室的ARMark等；用户根据GPS坐标可以快速查找附近的ARMark，ARMark的命名采用标签命名方式，可以分层检索，方便使用的时候进行挑选。比如：家里的标签(客厅的标签-客厅的电视、茶几、花瓶；主人房的标签—主人房的电视、挂钟等等)，用户可以非常方便挑选ARMark。

如图2所示，个人AR游戏的流程示意图可以包括：把ARMark作为AR游戏或活动中的位置点，虚拟对象或动画出现的位置，是AR游戏的基本元素。比如AR抓怪物精灵、AR密室逃脱、AR我放你找、AR照妖镜等。用户可以生成私有ARMark，利用这些ARMark来玩一些AR游戏。

如图3所示，通过ARMark的分享，可以进行多人互动的AR游戏，多个用户可以把各自创建的ARMark进行分享，然后在这些ARMark的基础上进行各种各样的AR游戏。AR游戏可以在室内(ARMark都在室内，多个用户在同一个物理地点)，也可以在室外(ARMark在室外)，还可以远程进行(用户不需要在一起，比如AR我放你找，甲乙两人相隔千里，甲可以在乙的多个ARMark中挑选一个放置虚拟对象让乙去找；乙也可以在甲的多个ARMark中挑选一个ARMark放置虚拟对象让甲去找)。

如图4所示，一种具体实施方式，所述通过识别ARMark进行AR游戏或AR活动的步骤包括：a、AR游戏或活动根据挑选或共享的ARMark进行游戏的初始化；b、通过视频抓取图像帧；c、通过视觉特征提取算法提取图像帧的特征信息；d、检测该AR游戏或活动的ARMark库是否存在某个ARMark与该图像帧或该图像帧局部区域的特征相匹配，若不匹配，则重复步骤b与c，若匹配，则进行AR游戏预设的AR内容；e、重复步骤b、c与d，直到游戏结束。

可以与LBS结合起来，实现基于LBS与ARMark的AR游戏，游戏里面虚拟对象既可以在ARMark处出现，也可以在某个GPS坐标出现。LBS基本原理是通过GPS获取用户的地理位置，然后从某些数据源(比如wiki，google)等处获取该位置附近物体(如周围的餐馆，银行，学校等)的POI(Point of Interest，兴趣点)信息，再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度，通过这些信息建立目标物体在现实场景中的平面基准。比如抓怪物游戏，怪物可以在某个GPS坐标处出现，用户抓的时候可以逃跑，比如沿着某个方向逃固定的距离到一个新的GPS坐标点，也可以根据规则逃到某个ARMark，或者在ARMark之间瞬移等。可以在室外进行LBS+ARMark的AR游戏，还可以进行室内、室外混合的远程AR游戏。

另外，企业、组织或商户也可以创建ARMark，举办各种各样的AR活动。通过生成二维码，作为AR活动的入口，扫描二维码即可进行预先设定的AR活动，比如商家的AR促销活动，可以采用我放你找的模式，也可以是其他游戏逻辑。商户ARMark活动，只需要扫描二维码，下载相关的ARMark与活动游戏逻辑；活动有我放你找、简版密室逃脱等等。

下面将通过实施例进一步说明本发明，但是本发明并不因此而受到任何限制。

实施例1

私有ARMark的生成

1)明确ARMark的存放位置，包括GPS坐标信息；

2)通过视频流抓取图像帧；

3)根据需求进行图像帧的预处理，保留原图像帧、截取原图像帧的指定局部图像、或采用图像分割算法分割原图像帧指定物体图像；

4)采用OpenCV的ORB特征提取算法对图像帧进行ORB特征提取；

5)满足阈值的ORB特征与当前存放位置的其它ARMark进行比较，要求当前存放位置的ARMark能够被唯一检测；

6)将满足要求的ARMark保存，用户可以命名标记；

私有ARMark的识别

1)选择参与AR游戏的ARMark；

2)分享ARMark给其他用户，并接收其他用户分享的ARMark；

3)通过视频抓取图像帧；

4)采用ORB特征检测算法对图像帧进行特征提取；

5)检测的特征信息与ARMark集合中的ARMark进行匹配，满足匹配条件则匹配成功。

实施例2

我放你找游戏可以进行多种多样的室内、室外或远程多人AR互动游戏。

准备阶段：玩家需要准备自己的ARMark，并分享给所有参与者；ARMark也可以在游戏的过程中由玩家动态产生，并分享给游戏参与者。

开始游戏：有很多游戏模式，比如1)某个玩家负责在共享的ARMark中挑选一个或多个ARMark，进行藏虚拟宝物，其他玩家开始寻宝活动；

2)某个玩家动态产生ARMark，并随机藏虚拟宝物，其他玩家开始寻宝活动；

3)远程我放你找，一般两个玩家进行，两个玩家在准备阶段生成或挑选一组ARMark分享给对方，在分享的ARMark中选择一个或多个ARMark藏虚拟宝物让对方进行寻宝活动。

实施例3

由系统或某个玩家生成或选择一组ARMark，在这些ARMark的基础上进行密室逃脱逻辑细节的设置，参与者通过完成识别密室中的一系列实景图像ARMark，根据相应的AR内容指引，即可从密室中离开。

基于场景中某个物体产生的ARMark非常适合密室逃脱游戏，玩家可以在游戏过程中移动与ARMark相关的物体，该物体仍然可以被作为ARMark识别，从而增加游戏的趣味性。

实施例4

扫描周围的场景，如果某个场景或者场景中某个物体的图像特征满足一定的条件就显示妖怪，可以根据图像特征的特点来决定显示妖怪的数量，多个用户可以在相同时间内进行PK，比较清除妖怪的数量。照妖镜也可以用于产生ARMark，在游戏过程中产生ARMark，保存到本地私有ARMark库，用于其它AR游戏。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种基于生成与共享ARMark的AR游戏与活动的方法，其特征在于，该方法包括：

生成以现实场景或场景中物体的图像特征信息为识别特征的ARMark；

分享ARMark；

通过在现实场景中检测与识别ARMark进行AR游戏或AR活动；

所述生成以现实场景或场景中物体的图像特征信息为识别特征的ARMark的步骤包括：

a、通过视频抓取图像帧；

b、进行特征提取前的图像帧预处理，根据AR游戏类型生成以下三种图像帧中的一种：原图像帧、截取原图像帧指定局部区域图像、或通过图像分割技术分割原图像帧中指定物体图像；

c、通过视觉特征提取算法提取图像帧的特征信息；

d、检测提取的特征信息是否与本地私有ARMark库中某个ARMark匹配，若匹配，重复进行步骤a、b和c，若不匹配，则将所述特征信息作为所述私有ARMark；

e、将该私有ARMark基于位置分类，并添加分层命名标签。

2.根据权利要求1所述的方法，其特征在于，在所述分享ARMark的步骤之后，在所述检测与识别ARMark的步骤之前，该方法还包括：寻找ARMark；

根据AR游戏类型，为玩家提供辅助寻找ARMark的方式，包括：不提供任何寻找ARMark的辅助信息、提供ARMark的原图片、提供ARMark的原图片的局部图像、提供ARMark原图片被部分遮挡的图像、提供ARMark原图片被部分遮挡的局部图像。

3.根据权利要求1所述的方法，其特征在于，所述分享ARMark的步骤包括：

从本地私有ARMark库中挑选一组与当前地理位置相关的ARMark；

分享给其他用户，如果不进行分享则可以直接进行基于所挑选ARMark的单人AR游戏；

将接收到的分享ARMark加入到本地共享ARMark库。

4.根据权利要求1所述的方法，其特征在于，所述通过在现实场景中检测与识别ARMark进行AR游戏或AR活动的步骤包括：

a、AR游戏或活动根据挑选或共享的ARMark进行游戏的初始化；

b、通过视频抓取图像帧；

c、通过视觉特征提取算法提取该图像帧的特征信息；

d、检测该AR游戏或活动的ARMark库是否存在某个ARMark与该图像帧或该图像帧局部区域的特征相匹配，若不匹配，则重复步骤b与c，若匹配，则进行AR游戏或活动预设的AR内容；

e、重复步骤b、c与d，直到游戏结束。

5.一种基于生成与共享ARMark的AR游戏与活动的系统，其特征在于，该基于生成与共享ARMark的AR游戏与活动的系统包括：

ARMark生成模块，用于生成以现实场景或场景中物体的图像特征信息为识别特征的ARMark；

ARMark分享模块，用于分享ARMark；

ARMark识别模块，用于通过在现实场景中检测与识别ARMark进行AR游戏或AR活动；

所述ARMark生成模块包括：

图像帧抓取模块，用于通过视频抓取图像帧；

图像帧预处理模块，用于生成用于特征提取模块处理的图像帧，根据需求生成以下三种图像帧中的一种：原图像帧、截取原图像帧指定局部区域图像、或通过图像分割技术分割原图像帧中指定物体图像；

特征提取模块，用于通过视觉特征提取算法提取图像帧的特征信息；

重复检测模块，用于检测提取的特征信息是否与本地私有ARMark库中某个ARMark匹配，若匹配，重复进行图像帧抓取模块、图像帧预处理模块与特征提取模块，若不匹配，则将所述特征信息作为所述私有ARMark；

分类命名模块，用于将该私有ARMark基于位置分类，并添加分层命名标签。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

ARMark寻找模块，用于寻找ARMark分享模块所分享的ARMark并供所述ARMark识别模块识别；根据AR游戏类型，提供辅助寻找ARMark的方式，包括：不提供任何寻找ARMark的辅助信息、提供ARMark的原图片、提供ARMark的原图片的局部图像、提供ARMark原图片被部分遮挡的图像、提供ARMark原图片被部分遮挡的局部图像。

7.根据权利要求5所述的系统，其特征在于，所述ARMark分享模块包括：

ARMark挑选模块，用于从本地私有ARMark库中挑选一组与当前地理位置相关的ARMark；

分享模块，用于分享给其他用户，如果不进行分享则可以直接进行基于所挑选ARMark的单人AR游戏；

本地共享ARMark库加入模块，用于将接收到的分享ARMark加入到本地共享ARMark库。

8.根据权利要求5所述的系统，其特征在于，所述ARMark识别模块包括：

初始化模块，用于AR游戏或活动根据挑选或共享的ARMark进行游戏的初始化；

图像帧抓取模块，用于通过视频抓取图像帧；

特征提取模块，用于通过视觉特征提取算法提取该图像帧的特征信息；

重复检测模块，用于检测该AR游戏或活动的ARMark库是否存在某个ARMark与该图像帧或该图像帧局部区域的特征相匹配，若不匹配，则重复图像帧抓取模块与特征提取模块，若匹配，则进行AR游戏或活动预设的AR内容；

游戏或活动结束模块，用于重复图像帧抓取模块、特征提取模块与重复检测模块，直到AR游戏或活动结束。