CN102147658B - 实现扩增实境互动的方法、扩增实境互动装置及移动终端 - Google Patents

Abstract

本发明实施例公开了一种实现扩增实境互动的方法、扩增实境互动装置及移动终端，方法包括：获取图案信息；图案为扩增实境互动场景；根据图案信息确定虚拟景物的三维信息；根据三维信息计算出虚拟景物与扩增实境互动装置、以及图案的初始相对空间位置关系；根据初始相对空间位置关系将虚拟景物和图案叠加在一起；采集扩增实境互动装置的空间位置信息，确定出扩增实境互动装置的三维运动路径；根据初始相对空间位置关系及三维动态运动路径，获得虚拟景物与扩增实境互动装置、以及图案的当前相对空间位置关系；根据当前相对空间位置关系将虚拟景物和图案重新进行叠加。增加了AR互动过程的稳定性，且提高了AR互动的易操作性。

Description

实现扩增实境互动的方法、扩增实境互动装置及移动终端

技术领域

本发明实施例涉及扩增实境(Augment Reality，AR)技术领域，尤其涉及一种实现AR互动的方法、AR互动装置及移动终端。

背景技术

AR应用于游戏、导航、信息呈现、多媒体互动、科学教育等诸多领域，能将虚拟的影像和真实世界的画面叠加在一起，形成亦真亦幻的视觉体验。例如：2010年世界杯期间，中央电视台体育频道就利用了AR技术，在足球赛开始前的赛前点评时段，将虚拟的体育场三维画面和主持人的真实场景结合在一起，为观众直观地呈现体育场的三维外貌。台球转播中，实时画出运动员的合理击球路径，在电视上看到运动员球杆前面的白色轨迹线，也是通过AR技术合成的。影视作品中的真人演员和由计算机生成的各种背景、人物、装置等等，也属于AR技术。

在移动终端如智能手机上，目前已有诸多利用AR技术开发的应用程序，提供导航、信息查询、娱乐等功能。这种利用AR技术进行导航、信息查询、娱乐等的操作即AR互动。

现有技术中，AR互动的实现首先需要通过摄像头获取AR识别AR图案所需的参照图片，然后以AR基于摄像头拍摄的图片识别出的AR图案为基准，确定虚拟景物的三维坐标，实现AR互动。如图1A～图1D所示，将AR识别需要用到的图案图片(本例中，是一个“田”字)，置于AR应用设备的摄像头摄像区前，摄像头拍摄到这个图片，AR互动程序对拍摄到的图片中的图案进行识别，依据图片上的图案，确定虚拟人物1的三维坐标、方向、角度，最终将虚拟人物1叠加到以摄像头拍摄的图案为场景的画面上，实现AR互动。

现有技术存在的缺陷在于，由于AR互动的三维坐标等信息由摄像头拍摄到的图片获得，因此须事先准备好AR识别需要用到的图案图片，才能实现AR互动，导致AR互动不易实现。假设用户刚刚通过3G网络上下载了一个新AR互动应用，则需要找到打印机打印，或者，通过某种途径取得该应用对应的AR互动图，并把这个图案放置好拍摄，然后才能实现这个AR互动。并且，由于AR互动的三维坐标等信息与AR互动的特定图案联系在一起，如果图案的图片位置改变，AR互动中的虚拟景物在真实世界画面中的位置也就跟着改变。当周围有风、震动或者其他能够改变图片位置的因素时，对于AR互动的用户来讲，这可能非其所愿。并且如果有其他用户加入这个AR互动，也同样需要按照上面步骤建立AR互动场景，导致操作不便，AR互动联机不易实现。

发明内容

本发明提供一种实现扩增实境互动的方法、扩增实境互动装置及移动终端，用以解决现有技术基于图片实现AR互动导致的操作性差且不稳定的问题，实现AR互动的操作便利性及稳定性提高。

本发明实施例提供一种实现扩增实境互动的方法，包括：

获取图案信息；所述图案为扩增实境互动场景；

根据所述图案信息确定虚拟景物的三维信息；

根据所述三维信息计算出所述虚拟景物与扩增实境互动装置、以及所述图案的初始相对空间位置关系；

根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起；

采集所述扩增实境互动装置的空间位置信息，确定出所述扩增实境互动装置的三维运动路径；

根据所述初始相对空间位置关系及三维动态运动路径，获得所述虚拟景物与所述扩增实境互动装置、以及所述图案的当前相对空间位置关系；

根据所述当前相对空间位置关系将所述虚拟景物和图案重新进行叠加。

本发明实施例还提供一种扩增实境互动装置，包括：

图像获取单元，用于获取图案信息；所述图案为扩增实境互动场景；

运动记录单元，用于采集所述扩增实境互动装置的空间位置信息，确定出所述扩增实境互动装置的三维动态运动路径；

定位单元，用于根据所述图案信息确定虚拟景物的三维信息，得到所述虚拟景物与扩增实境互动装置、以及所述图案的初始相对空间位置关系，开启所述运动记录单元；并根据所述运动记录单元记录的三维动态运动路径及所述初始相对空间位置，确定所述虚拟景物与所述扩增实境互动装置、以及所述图案的当前相对空间位置关系；

叠加单元，用于根据所述定位单元输出的初始相对空间位置关系或当前相对空间位置关系，实时地将所述虚拟景物和所述图案进行叠加。

本发明实施例还提供一种移动终端，包括上述扩增实境互动装置。

本发明实施例提供的实现扩增实境互动的方法、扩增实境互动装置及移动终端，通过采集AR互动装置的空间位置信息获得AR互动装置的三维运动路径，并基于该三维运动路径及初始相对位置关系，获得虚拟景物与图案、AR互动装置之间的实时相对空间位置关系，并根据实时相对空间位置关系实时叠加虚拟景物与图案，使得AR互动装置在获取展现的图案后，不再需要继续展现图案也能继续实现AR互动，避免了现有技术始终基于展现的图案导致的AR互动过程不易操作且不稳定等问题，增加了AR互动过程的稳定性，且提高了AR互动的易操作性。

附图说明

图1A、图1B、图1C及图1D为现有技术实现AR互动的各步骤的示意图；

图2为本发明实施例提供的一种实现AR互动的方法的流程图；

图3为本发明实施例提供的另一种实现AR互动的方法的流程图；

图4为本发明实施例提供的一种AR互动装置的结构示意图；

图5为本发明实施例提供的另一种AR互动装置的结构示意图；

图6为本发明实施例提供的再一种AR互动装置的硬件核心框图；

图7为本发明实施例提供的AR互动装置中用户A智能手机作为AR应用主设备的AR互动主要流程的示意图；

图8为本发明实施例提供的AR互动装置中用户B智能手机作为AR应用从设备的AR互动主要流程的示意图；

图9为本发明实施例提供的AR互动应用系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2为本发明实施例提供的一种实现AR互动的方法的流程图，如图2所示，该方法包括：

步骤21、获取图案信息；所述图案为扩增实境互动场景；如可通过拍摄所述图案，获取所述图案信息；

步骤22、根据所述图案信息确定虚拟景物的三维信息；

步骤23、根据所述三维信息计算出所述虚拟景物与AR互动装置、以及所述图案的初始相对空间位置关系；

步骤24、根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起；

步骤25、采集所述AR互动装置的空间位置信息，确定出所述AR互动装置的三维动态运动路径；

步骤26、根据所述初始相对空间位置关系及三维动态运动路径，获得所述虚拟景物与所述AR互动装置、以及所述图案的当前相对空间位置关系；

步骤27、根据所述当前相对空间位置关系将所述虚拟景物和图案重新进行叠加。

上述步骤21～步骤27由AR互动装置执行。

本实施例提供的技术方案，在AR互动装置获得虚拟景物与图案、AR互动装置的初始相对空间位置关系，且虚拟景物与图案叠加后，通过采集AR互动装置的空间位置信息获得AR互动装置的三维运动路径，并基于该三维运动路径及初始相对位置关系，获得虚拟景物与图案、AR互动装置之间的实时相对空间位置关系，并根据实时相对空间位置关系实时叠加虚拟景物与图案，使得AR互动装置在获取展现的图案后，不再需要继续展现图案也能继续实现AR互动，避免了现有技术始终基于展现的图案导致的AR互动过程不易操作且不稳定等问题，增加了AR互动过程的稳定性，且提高了AR互动的易操作性。

上述步骤21之前，还可包括：展现所述图案，即展现用于作为AR互动场景的图案。展现所述图案可包括：投影所述图案，即投影用于作为AR互动场景的所述图案，如使用投影仪投影所述图案，避免了现有技术使用打印图片的方式展现图案带来的纸张资源浪费、操作复杂等问题，提高了图案展现的方便性。

当执行上述步骤21～步骤27的AR互动装置为AR应用主设备，与其他AR互动装置联机时，展现用于作为AR互动场景的图案之前还可包括：

发起无线连接，等待其他AR互动装置接入；

确认所述其他AR互动装置已连接。

与其他AR互动装置连接即多机互联，可以通过串口、USB口、红外、蓝牙、Wi-Fi、3G网络等通讯方式实现。

在确认所述其他AR互动装置已连接后执行步骤21。

并且，根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起之后还可包括：

判断所述其他AR互动装置是否完成虚拟景物与所述图案的叠加；

若是，则发出同步场景的命令，以将“基于展现的图案进行场景定位”模式或阶段切换到“基于采集到的空间位置信息进行场景定位”模式或阶段，执行步骤25。通过同步场景命令使多个AR互动装置同步切换同时进入到不依赖图案进行AR互动的状态，实现了一种在无图案情况下多个AR互动装置联机的可靠机制。

执行步骤25时，根据所述同步场景的命令采集所述AR互动装置的空间位置信息。

当执行步骤21～步骤27的AR互动装置，作为AR应用从设备，实现AR互动时，步骤25之前还可包括：接收所述AR应用主设备发出的同步场景的命令。此时，步骤25具体可为：根据所述AR应用主设备发出的同步场景的命令，采集所述扩增实境互动装置的空间位置信息。

图3为本发明实施例提供的另一种实现AR互动的方法的流程图，如图3所示，图2所示实施例的执行主体AR互动装置，在本实施例中，作为AR应用从设备实现AR互动，具体包括：

步骤31、发起无线连接，连接到AR应用主设备；

步骤32、获取所述AR应用主设备展现的图案，根据所述图案确定虚拟景物的三维信息；

步骤33、根据所述三维信息计算出所述虚拟景物与AR互动装置、所述图案的初始相对空间位置关系；

步骤34、根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起，完成初次叠加。

之后便可去除展现的图案，因为后续虚拟景物的定位都是基于利用采集AR互动装置的空间位置信息所计算出的AR互动装置的三维运动路径实现的。

步骤35、接收所述AR应用主设备发出的同步场景的命令；

步骤36、根据所述命令采集所述AR互动装置的空间位置信息，计算出所述AR互动装置的三维运动路径；

步骤37、根据所述初始相对空间位置关系及三维动态运动路径，获得所述虚拟景物与所述AR互动装置、图案的当前相对空间位置关系；

步骤38、根据所述当前相对空间位置关系重新将所述虚拟景物和图案叠加在一起。

上述步骤31～步骤38可由作为AR应用从设备的AR互动装置执行。

图4为本发明实施例提供的一种AR互动装置的结构示意图。如图4所示，本实施例中，AR互动装置包括：图像获取单元41、运动记录单元42、定位单元43及叠加单元44。

图像获取单元41用于获取图案信息；所述图案为AR互动场景。如图像获取单元41可具体用于拍摄所述图案，获取所述图案信息。

运动记录单元42用于采集所述AR互动装置的空间位置信息，确定出所述AR互动装置的三维动态运动路径。

运动记录单元42可为由包括加速度传感器、重力传感器、角度传感器、陀螺仪、地磁传感器、GPS传感器、AGPS传感器、指南针传感器等中的一个或多个组成的、能够记录AR互动装置三维运动路径的功能单元。运动记录单元42可进一步可以包括GPS模块、海拔高度模块等。其中GPS模块可提供AR互动装置的位置信息，同样可用于计算出相对位置变化信息。海拔高度模块可提供AR互动装置的垂直高度信息，可用于计算出AR互动装置的相对高度变化信息。通过GPS模块和海拔高度模块就可以在获得AR互动装置的运动轨迹的运算中多一个输入，从而保证AR互动装置空间位置信息采集的多样性和准确性。

定位单元43用于根据所述图案信息确定虚拟景物的三维信息，得到所述虚拟景物与AR互动装置、以及所述图案的初始相对空间位置关系，开启所述运动记录单元42；并根据所述运动记录单元42记录的三维动态运动路径及所述初始相对空间位置，确定所述虚拟景物与所述AR互动装置、以及所述图案的当前相对空间位置关系。

运动记录单元42能够利用空间位置传感器采集AR互动装置的空间位置信息，并通过安装的软件利用采集到的空间位置信息计算出AR互动装置的三维运动路径。

定位单元43还能够通过安装的软件利用初始相对空间位置关系及三维运动路径，实时地演算出虚拟景物与图案、以及AR互动装置之间的实时相对空间位置关系。AR互动装置在获知某一时刻AR互动装置和虚拟景物的相对空间位置关系，以及从该时刻开始的AR互动装置的三维运动路径后，就可以仅通过安装的软件计算出以后的AR互动装置和图案、虚拟景物的新的相对空间位置关系。因此，AR互动装置也就能够不依赖于展现的图案，来进行虚拟景物和AR互动场景即图案的准确叠加。

叠加单元44用于根据所述定位单元43输出的初始相对空间位置关系或当前相对空间位置关系，实时地将所述虚拟景物和所述图案进行叠加。

本实施例中，AR互动装置通过空间定位单元来计算虚拟三维景物的三维坐标等信息，使用户进行AR互动时，不依赖图案确定虚拟三维景物坐标。这样就可以移除图案，关闭摄像头，以达到降低功耗，增加私密性的效果。

本发明实施例提供的AR互动装置还可包括图案展现单元45，用于展现所述图案，即作为AR互动场景的图案。图案展现单元45可具体用于投影用于作为AR互动场景的所述图案。此时，图案展现单元45可为LCOS微投影装置、DLP微投影装置、激光微投影装置或LED微投影装置等，且不仅限于此，可以是各类投影装置，以解决现有技术中在移动终端进行AR互动时，需要事先准备有一个物理的、外部的图案，带来的AR应用的易用性降低的问题，避开了这个约束，使AR互动便于进行。

图案展现单元45可以集成在AR互动装置上，也可以配件的形式独立设置，通过有线或者无线的方式与AR互动装置连接在一起。

该图案展现单元45投射出AR互动所需的图案，AR互动装置通过摄像头采集图案展现单元45投射的图案，以用于完成AR互动图案的识别及AR互动场景的产生。

本发明实施例提供的AR互动装置还可包括：接入发起单元46、连接确认单元47、叠加判断单元48及同步命令单元49。

接入发起单元46用于在所述获取图案信息之前发起无线连接，等待其他AR互动装置接入。连接确认单元47用于确认所述其他AR互动装置已连接。此时图像获取单元41可具体用于在连接确认单元47确认所述其他扩增实境互动装置已连接的情况下，获取图案信息。叠加判断单元48用于判断所述其他扩增实境互动装置是否完成虚拟景物与所述图案的叠加。同步命令单元49用于若所述叠加判断单元48判断所述其他扩增实境互动装置完成虚拟景物与所述图案的叠加，且所述叠加单元44根据所述初始相对空间位置关系完成所述虚拟景物和所述图案的叠加，则发出同步场景的命令。此时，所述运动记录单元42具体用于根据所述同步场景的命令采集所述扩增实境互动装置的空间位置信息。

这样，AR互动装置可进一步作为AR应用主设备与其他AR互动装置联机进行AR互动。

本发明实施例提供的AR互动装置还可包括同步命令接收模块，用于在所述运动记录单元42采集所述扩增实境互动装置的空间位置信息之前，接收所述扩增实境应用主设备发出的同步场景的命令，从而可以使AR互动装置可作为AR应用从设备用于AR应用。这样，所述运动记录单元42可具体用于根据所述扩增实境应用主设备发出的同步场景的命令，采集所述扩增实境互动装置的空间位置信息。

图5为本发明实施例提供的另一种AR互动装置的结构示意图。如图5所示，本实施例中，AR互动装置包括：连接单元51、图案获取单元52、命令接收单元53、运动记录单元54、定位单元55及叠加单元56。

连接单元51用于发起无线连接，连接到AR应用主设备。图案获取单元52用于获取所述AR应用主设备展现的图案。命令接收单元53用于接收所述AR应用主设备发出的同步场景的命令。运动记录单元54还用于根据所述命令采集所述AR互动装置的空间位置信息，确定出所述AR互动装置的三维动态运动路径。定位单元55用于根据获取的图案确定虚拟景物的三维信息，并用于根据所述三维信息计算出所述虚拟景物与AR互动装置、所述图案的初始相对空间位置关系，并用于根据所述初始相对空间位置关系及运动记录单元54确定的三维动态运动路径，获得所述虚拟景物与所述AR互动装置、图案的当前相对空间位置关系。叠加单元56用于根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起，还用于根据所述当前相对空间位置关系重新将所述虚拟景物和图案叠加在一起。

本实施例提供的AR互动装置可作为AR互动应用从设备，通过连接单元、命令接收单元、运动记录单元及定位单元与上述图4所示的AR互动装置实现AR互动联机。

当图4所示AR互动装置进一步包括图5所示实施例中的连接单元51及命令接收单元53时，该AR互动装置也可作为AR应用从设备进行AR互动联机。当有多个本实施例提供的AR互动装置时，可以其中一个作为AR应用主设备，其余则作为AR应用从设备，实现AR互动联机。

本发明实施例提供的移动终端包括上述实施例提供的任一种AR互动装置。以AR互动智能手机为例，其硬件核心框图如图6所示，作为一个例子，该智能手机采用Qualcomm Snapdragon 8650平台，硬件配置为：支持WCDMA3G话音/数据业务；512MB随即动态存储器，1GB快速存储器；1个前置30万摄像头，1个后置500万摄像头；802.11n 2.4GHz/5GHz 20MHz/40MHzWi-Fi；2.1版本蓝牙；3.5英寸800x480分辨率LCD；电容触摸屏。这部分配置可实现上述接入发起单元、连接确认单元、叠加判断单元、同步命令单元、连接单元及命令接收单元的功能。除此之外，该智能手机还可以集成有图案展现单元及空间定位单元的功能。具体地，集成了一个DLP微投影模块来投影图案，集成了一个6轴传感器模块，该6轴传感器模块为6轴运动传感器，包括3轴加速度计和三轴陀螺仪，来实现空间定位单元的功能。

假设用户A及用户B均使用上述的智能手机作为AR互动装置，则进行AR互动联机的过程如图7及图8所示。

图7为本发明实施例提供的AR互动装置中用户A智能手机作为AR应用主设备的AR互动主要流程的示意图，包括：

步骤701、用户A选择上述智能手机作为AR应用主设备，启动AR互动应用。

步骤702、智能手机中安装的AR互动程序发起无线连接，等待其他用户的AR互动装置接入。本实施例中，用户A的智能手机等待用户B的智能手机接入。

步骤703、确认其他用户是否已连接，本实施例中用户A的智能手机判断用户B的智能手机是否已连接。若已连接，则执行步骤704，若未连接，则继续等待。

步骤704、图案展现单元投射AR互动所需的图案，供用户A及用户B获取。

步骤705、用户A智能手机中的AR互动程序启动500万后置摄像头拍摄步骤704中展现的图案。

步骤706、用户A智能手机中安装的AR互动程序识别通过摄像头拍摄到的图案。

步骤707、判断是否识别出AR图案。若未识别出图案，则继续执行步骤706；若已识别出图案，则执行步骤708。

步骤708、空间定位单元根据识别出的图案，计算出虚拟景物相对位置信息，即虚拟景物与图案、智能手机的相对空间位置关系。

步骤709、AR互动程序根据步骤708计算出的虚拟景物相对位置信息叠加虚拟景物和真实世界画面(即图案)。

步骤710、用户A判断其他用户完成叠加，本实施例中即用户A判断用户B是否也完成初次叠加，若用户B的智能手机未完成初次叠加，则用户A的智能手机重新执行步骤708，以获取与用户B相同的初次叠加效果；若用户B的智能手机完成初次叠加，则用户A的智能手机执行步骤711。

步骤711、AR互动程序通过无线方式向所有用户发送“同步场景”命令，随后关闭图案展现单元投射的图案。

步骤712、用户A智能手机集成的空间定位单元记录虚拟景物在上述步骤708中的相对位置信息，并保存，作为初始值。

步骤713、空间定位单元根据智能手机的运动轨迹，计算出虚拟景物相对坐标位置，即虚拟景物与图案、智能手机之间新的相对空间位置关系。

步骤714、AR互动程序根据步骤713计算出的虚拟景物相对坐标位置叠加虚拟景物和真实世界画面。

步骤715、用户A的智能手机利用步骤714获得的叠加场景进行AR互动，例如游戏操作等等。

步骤716、用户A智能手机集成的空间定位单元不断采集手机空间位置信息，判断手机是否发生位置变化。若手机未发生位置变化，则继续执行上述步骤714；若手机位置发生变化，则执行上述步骤713，重新定位虚拟景物，并叠加。

图8为本发明实施例提供的AR互动装置中用户B智能手机作为AR应用从设备的AR互动主要流程的示意图，包括：

步骤801、用户B选择上述智能手机作为AR应用从设备，启动AR互动应用。

步骤802、智能手机中安装的AR互动程序发起无线连接，找到AR应用主设备，进行连接。本实施例中，AR应用主设备即用户A的智能手机。

步骤803、确认是否已和AR应用主设备连接。若已连接，则执行步骤804，若未连接，则继续连接。

步骤804、用户B智能手机中安装的AR互动程序启动500万后置摄像头，以获取用户A智能手机中图案展现单元投射的图案。

步骤805、用户B将智能手机上的摄像头对准AR应用主设备投射的图案。

步骤806、用户B智能手机中安装的AR互动程序识别通过摄像头拍摄到的图案。

步骤807、判断是否识别出AR图案。若未识别出图案，则继续执行步骤806；若已识别出图案，则执行步骤808。

步骤808、空间定位单元根据识别出的图案，计算出虚拟景物相对位置信息，即虚拟景物与图案、智能手机的相对空间位置关系。

步骤809、AR互动程序根据步骤808计算出的虚拟景物相对位置信息，叠加虚拟景物和真实世界画面即图案，完成初次叠加。

步骤810、AR互动程序向AR应用主设备发送“完成AR叠加”的消息。

步骤811、用户B智能手机判断是否接收到AR应用主设备的“同步虚拟场景”命令。若已接收到AR应用主设备的“同步虚拟场景”命令，则继续执行步骤812；若未接收到AR应用主设备的“同步虚拟场景”命令，则重新执行步骤808，以获取与用户A智能手机同的初次叠加效果。

步骤812、用户B智能手机集成的空间定位单元记录虚拟景物在上述步骤808中的相对位置信息，并保存，作为初始值。

步骤813、空间定位单元根据智能手机的运动轨迹，计算出虚拟景物相对坐标位置，即虚拟景物与图案、智能手机之间新的相对空间位置关系。

步骤814、AR互动程序根据步骤813计算出的虚拟景物相对坐标位置叠加虚拟景物和真实世界画面。

步骤815、用户B的智能手机利用步骤814获得的叠加场景进行AR互动，例如游戏操作等等。

步骤816、用户B智能手机集成的空间定位单元不断采集手机空间位置信息，判断手机是否发生位置变化。若手机未发生位置变化，则继续执行上述步骤814；若手机位置发生变化，则执行上述步骤813，重新定位虚拟景物，并叠加。

图9为本发明实施例提供的AR互动应用系统的结构示意图。如图9所示，AR互动应用系统包括AR应用主设备91和多个AR应用从设备92。

其中，AR应用主设备91可为上述图4所示AR互动装置，AR应用从设备92可为上述图5所示AR互动装置。

多机同步机制中，同步景物命令可由AR应用主设备或AR应用从设备发起，换句话说，该命令可由任意一个在当前AR互动联机场景中的用户发起。当AR应用主设备和一个或多个AR应用从设备收到同步景物命令时，各设备同步执行从依靠投影图案定位虚拟景物的模式或阶段，切换到依靠空间定位单元的软件算法演算定位虚拟景物的模式或阶段，即启动空间定位单元采集AR互动装置的空间位置信息，计算AR互动装置的运动路径或轨迹，并以此获得虚拟景物的空间位置信息。

当AR应用从设备有多个时，假设用户C、用户D均采用上述智能手机作为AR互动装置，则用户C、用户D智能手机均作为AR应用从设备启动，其操作过程及与用户A的联机同用户B，执行上述图8所示的步骤。

用户A、用户B、用户C及用户D均可在建立AR场景的之后，获知已加入当前AR互动场景的AR互动装置，如同进入了某个互联网聊天室以后，可以看到其他进入此聊天室的人。这个信息的交流传递，可以通过蓝牙、Wi-Fi、或者3G网络实现。

用户A、用户B、用户C或者用户D，均可以通过按下智能手机上的按钮发起“同步景物”命令。

当其中某个用户发起“同步景物”命令后，所有已接入这个AR互动场景的用户，此时都同步切换到依靠空间定位单元的软件算法演算来定位虚拟景物的模式或阶段。

在多人实现AR互动联机后，如果有新用户想加入此AR互动，由于没有了建立AR场景时的投射图案，因此，各个已联机互动用户从通过软件演算定位虚拟景物的模式，返回到依据投影图案定位虚拟景物的模式，重新展现图案，以使包括新加入用户的所有AR互动装置获取图案。待新用户加入AR互动后，再次发起同步场景命令，切换到依靠空间定位单元的软件算法演算，定位虚拟景物的模式。

假设用户A、用户B、用户C及用户D的智能手机依靠空间定位单元中的软件演算进行AR互动时，去掉了投影图案。这时，又有用户E想要加入这个AR互动，则用户E加入该AR互动联机的过程如下：

用户E发起加入请求。

用户A、用户B、用户C及用户D的智能手机接收到加入请求后，暂停进行的AR互动。

之后，用户A、用户B、用户C及用户D均确认接受用户E的请求。

在AR互动的所有用户都已获准用户E加入当前AR互动的情况下，用户A通过USB线，控制外部图案展现单元投射AR互动图案。这里，智能手机的图案展现单元作为一个配件，单独生产制造。与智能手机之间通过USB连接线连接在一起。智能手机通过USB线控制图案展现单元的各个功能。

用户A、用户B、用户C、用户D、用户E通过该图案，重新建立AR互动初始场景。

当用户B、用户C、用户D、用户E均向用户A发送了初次叠加完成消息后，用户A发起同步景物命令。

所有用户同步切换到依靠空间定位单元的软件算法演算定位虚拟景物的模式或阶段。

上述方法、装置、终端及系统实施例中，AR互动装置具有多机互联功能。并且通过同步场景命令使多个AR互动装置同步地从“依靠图案进行虚拟景物定位”模式或阶段，切换到“依靠空间定位单元进行虚拟景物定位”模式或阶段，实现了多个AR互动装置联机时，移除投影图案仍能保持多机进行AR互动的功能。使得使用者在进行AR互动时，无需携带和准备图案图片，提高了AR互动的易用性。并且，AR互动场景一旦建立，就无需再参考用于建立AR互动场景的图片，从而无需处理器对图案进行再次识别，降低了AR应用的系统功耗。AR互动过程中移除AR图案，也增加了使用者的AR操作的私密性，防止他人窥探。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种实现扩增实境互动的方法，其特征在于，包括：

获取图案信息；所述图案为扩增实境互动场景；

根据所述图案信息确定虚拟景物的三维信息；

根据所述三维信息计算出所述虚拟景物与扩增实境互动装置、以及所述图案的初始相对空间位置关系；

根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起；

采集所述扩增实境互动装置的空间位置信息，确定出所述扩增实境互动装置的三维运动路径；

根据所述初始相对空间位置关系及三维动态运动路径，获得所述虚拟景物与所述扩增实境互动装置、以及所述图案的当前相对空间位置关系；

根据所述当前相对空间位置关系将所述虚拟景物和图案重新进行叠加。

2.根据权利要求1所述的实现扩增实境互动的方法，其特征在于，所述获取图案信息具体为：

拍摄所述图案，获取所述图案信息。

3.根据权利要求1或2所述的实现扩增实境互动的方法，其特征在于，在所述获取所述图案信息之前，还包括：展现所述图案。

4.根据权利要求3所述的实现扩增实境互动的方法，其特征在于，展现所述图案包括：投影所述图案。

5.根据权利要求1或2任一所述的实现扩增实境互动的方法，其特征在于，所述获取图案信息之前还包括：

发起无线连接，等待其他扩增实境互动装置接入；

确认所述其他扩增实境互动装置已连接。

6.根据权利要求3所述的实现扩增实境互动的方法，其特征在于，根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起之后还包括：

判断其他扩增实境互动装置是否完成虚拟景物与所述图案的叠加；

若是，则发出同步场景的命令。

7.根据权利要求6所述的实现扩增实境互动的方法，其特征在于，采集所述扩增实境互动装置的空间位置信息包括：根据所述同步场景的命令采集所述扩增实境互动装置的空间位置信息。

8.根据权利要求1或2任一所述的实现扩增实境互动的方法，其特征在于，所述采集所述扩增实境互动装置的空间位置信息之前，还包括：接收所述扩增实境应用主设备发出的同步场景的命令；

所述采集所述扩增实境互动装置的空间位置信息具体为：根据所述扩增实境应用主设备发出的同步场景的命令，采集所述扩增实境互动装置的空间位置信息。

9.一种实现扩增实境互动的装置，其特征在于，包括：

图像获取单元，用于获取图案信息；所述图案为扩增实境互动场景；根据所述图案信息确定虚拟景物的三维信息；根据所述三维信息计算出所述虚拟景物与扩增实境互动装置、以及所述图案的初始相对空间位置关系；根据所述初始相对空间位置关系将所述虚拟景物和所述图案叠加在一起；

运动记录单元，用于采集所述扩增实境互动装置的空间位置信息，确定出所述扩增实境互动装置的三维动态运动路径；

定位单元，用于根据所述运动记录单元记录的三维动态运动路径及所述初始相对空间位置，确定所述虚拟景物与所述扩增实境互动装置、以及所述图案的当前相对空间位置关系；

叠加单元，用于根据所述当前相对空间位置关系，实时地将所述虚拟景物和所述图案进行叠加。

10.根据权利要求9所述的扩增实境互动装置，其特征在于，所述图像获取单元具体用于拍摄所述图案，获取所述图案信息。

11.根据权利要求9或10所述的扩增实境互动装置，其特征在于，还包括：

图案展现单元，用于展现所述图案。

12.根据权利要求11所述的扩增实境互动装置，其特征在于，所述图案展现单元具体用于投影所述图案，为LCOS微投影装置、DLP微投影装置、激光微投影装置或LED微投影装置。

13.根据权利要求9或10任一项所述的扩增实境互动装置，其特征在于，还包括：

接入发起单元，用于在所述获取图案信息之前发起无线连接，等待其他扩增实境互动装置接入；

连接确认单元，用于确认所述其他扩增实境互动装置已连接；

所述图像获取单元，具体用于在连接确认单元确认所述其他扩增实境互动装置已连接的情况下，获取图案信息。

14.根据权利要求13所述的扩增实境互动装置，其特征在于，还包括：

叠加判断单元，用于判断所述其他扩增实境互动装置是否完成虚拟景物与所述图案的叠加；

同步命令单元，用于若所述叠加判断单元判断所述其他扩增实境互动装置完成虚拟景物与所述图案的叠加，且所述叠加单元根据所述初始相对空间位置关系完成所述虚拟景物和所述图案的叠加，则发出同步场景的命令。

15.根据权利要求14所述的扩增实境互动装置，其特征在于，所述运动记录单元具体用于根据所述同步场景的命令采集所述扩增实境互动装置的空间位置信息。

16.根据权利要求9或10任一项所述的扩增实境互动装置，其特征在于，还包括：

同步命令接收模块，用于在所述运动记录单元采集所述扩增实境互动装置的空间位置信息之前，接收所述扩增实境应用主设备发出的同步场景的命令；

所述运动记录单元具体用于根据所述扩增实境应用主设备发出的同步场景的命令，采集所述扩增实境互动装置的空间位置信息。

Images