CN106445282B - 一种基于增强现实技术的交互方法 - Google Patents

Abstract

本发明提供一种基于增强现实技术的交互方法，包括：1)移动终端设备获取电子数据形式的二维底图；2)生成包含多个子集的二维底图集，其中每个子集对应于一个特定的从移动终端设备到所述实体二维底图的距离，每个子集均由子图构成；每个距离所对应的子集中的子图的尺寸与当前距离对应的手机摄像头取景窗的尺寸一致，且同一子集内的相邻子图以预设的步长错开，同一子集内的所有子图能覆盖整个二维底图；3)接收扫描图片；4)将扫描图片与所述二维底图集中的各个子图进行匹配，找出匹配度最高的子图，然后还原出对应于该子图的增强现实效果并将其显示在移动终端的屏幕上。本发明沉浸感强，用户体验好；并且能够为用户提供了更多的控制方式。

Description

一种基于增强现实技术的交互方法

技术领域

本发明涉及增强现实技术和图形界面技术领域，具体地说，本发明涉及一种基于增强现实技术的交互方法。

背景技术

当前移动智能设备运算能力已非常之高。可以在移动智能设备上无障碍的体验增强现实技术。增强现实技术(Augmented Reality，简称AR)，是一种实时地计算影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

基于二维底图的增强现实互动方案是目前一种典型的增强现实技术，该方案中，提供一种具有增强现实效果的图形信息的二维图像(可称为二维底图)，该二维图像通常显示在大屏幕(例如智能电视)上。用户用手机拍摄(也可称为扫描)这个大屏幕上的二维图像，手机屏幕上就会显示对应的增强现实效果。这个增强现实效果可以是二维图像的三维还原。具体地，当用户用手机拍摄大屏幕上显示的二维图像后，手机从所拍摄图像(该图像可以是原始二维图像的局部)中读取其中的具有增强现实效果的图形信息，然后基于既有算法将其还原成对应的三维图形并显示在手机屏幕上。这样，用户拍摄原始二维图像的哪个位置，手机屏幕上就显示出对应的局部三维图形，从而为用户提供更加立体生动的观赏体验。例如，大屏幕上显示的是一副古建筑的平面图片，用户使用手机摄像头对该平面图片进行取景，对准感兴趣的位置，经过增强现实软件的处理，手机上就会出现该位置的三维图形。这样用户通过移动手机，就能够从各个角度观赏图片中古建筑的各个不同局部位置，形成虚拟世界与现实世界的互动，产生强烈的沉浸感，极大地提升了用户的观赏体验。

上述基于二维底图的增强现实互动方案理论上能够产生很好的互动效果，然而，在实际应用中往往受到各方面的限制而大打折扣。首先，受设备限制，当移动设备(例如智能手机)的摄像头质量较差，会有对焦速度慢(部分设备的对焦时间需要7-8秒甚至更长)，图像虚化的问题，这会导致手机无法读出所拍摄图片中携带的增强现实效果的图形信息，增强现实效果将无法实现。另一方面，用户使用移动设备扫描底图时，需要保持设备稳定，如果手持设备不稳定，则拍摄底图容易虚化，将无法显示增强现实效果。因此用户在互动过程中往往要小心地操作手机，这种交互方式不够随意自然，可能会严重地破坏增强现实互动的沉浸感，导致用户体验不佳。除上述问题之外，现有技术还存在其他不足，例如移动智能设备屏幕尺寸过小，所显示的增强现实效果不能满足某些用户的需求；当底图较大时有时难以拍摄到想要全景。

综上所述，当前迫切需要一种能够提升用户体验的基于二维底图的增强现实互动解决方案。

发明内容

因此，本发明的任务是提供一种能够提升用户体验的基于二维底图的增强现实互动解决方案。

根据本发明的一个方面，提供了一种基于增强现实技术的交互方法，涉及被展示出的实体二维底图和移动终端设备，包括下列步骤：

1)移动终端设备获取与所述实体二维底图一致的电子数据形式的二维底图；

2)移动终端设备生成包含多个子集的二维底图集，其中每个子集对应于一个特定的从移动终端设备到所述实体二维底图的距离，每个子集均由子图构成；每个距离所对应的子集中的子图的尺寸与当前距离对应的手机摄像头取景窗的尺寸一致，且同一子集内的相邻子图以预设的步长错开，同一子集内的所有子图能覆盖整个二维底图；

3)移动终端设备扫描所述实体二维底图中的感兴趣区域；其中，首次扫描前，移动终端设备可以通过用户接口(例如图形交互界面)提示用户利用其摄像头扫描所述实体二维底图中的感兴趣区域，然后再接收用户所扫描的图片；

4)将扫描图片与所述二维底图集中的各个子图进行匹配，找出匹配的子图，然后抽取该子图中携带的增强现实效果图形信息，还原出对应于该子图的增强现实效果并将其显示在移动终端的屏幕上。

上述方案中，当用户改变扫描的感兴趣区域时，基于步骤3)将得到新的扫描图片，然后再次执行步骤4)，就可以在移动终端的屏幕上得到新的感兴趣区域的增强现实效果。

其中，所述实体二维底图是显示在大屏设备上的二维底图。

其中，所述步骤1)中，用所述移动终端设备拍摄所述实体二维底图的全图，从而得到所述的与所述实体二维底图一致的电子数据形式的二维底图。

其中，所述步骤2)中，每个距离所对应的子集中的子图的生成方法如下：按比例计算当前距离对应的手机摄像头取景窗的尺寸，然后以计算出的尺寸在二维底图的全图上生成虚拟取景窗，再以一定的步长滑动虚拟取景窗，虚拟取景窗每次所截取的图片就是当前子集下的一副子图，当遍历整个二维底图的全图后，当前距离下的子集建立完毕，继续处理下一个距离的子集，直到所有的子集均建立完毕。

其中，所述步骤2)还包括：将所述实体二维底图的位置到手机能够拍摄所述实体二维底图全图的位置作为距离的最大值，然后在最大值到零之间选择若干个离散点作为预设的对应于每个子集的距离。

其中，所述步骤2)中，所述每个距离所对应的子集中的子图的生成方法中，所述虚拟取景窗的滑动步长根据预设的当前子集的子图数目得出。

其中，所述步骤4)中，基于以图搜图算法，对去除了增强现实效果的图形信息的当前扫描图片和各个子图进行匹配，找出所述的匹配度最高的子图。

其中，所述步骤3)还包括：移动终端设备获得扫描图片后，直接尝试抽取该扫描图片中携带的增强现实效果图形信息并生成增强现实效果，如果成功则直接显示该增强现实效果，如果失败，则继续执行步骤4)。

根据本发明的另一方面，还提供了一种基于增强现实技术的交互方法，涉及大屏设备和移动终端设备，包括下列步骤：

a)移动终端设备获取电子数据形式的二维底图；

b)移动终端设备生成包含多个子集的二维底图集，其中每个子集对应于一个特定的移动终端设备到所述实体二维底图的距离，每个子集均由子图构成；每个距离所对应的子集中的子图的尺寸与当前距离对应的手机摄像头取景窗的尺寸一致，且同一子集内的相邻子图以预设的步长错开，同一子集内的所有子图能覆盖整个二维底图；

c)在移动终端设备上显示所述二维底图的全图以及用于选取感兴趣区域的虚拟取景窗，该虚拟取景窗能被用户移动；

d)获取被虚拟取景窗选定区域所对应的子图，将子图还原成增强显示效果并将该增强显示效果投射到所述大屏设备上。

其中，所述步骤c)中，移动终端设备还提供用于在预设距离集合中选择距离的用户接口，所述预设距离集合与所述步骤b)中各个子集所对应的距离的集合一致；在选定距离后，移动终端设备将所述虚拟取景框的尺寸调整为与所选定距离一致。

与现有技术相比，本发明具有下列技术效果：

1、本发明对移动设备摄像头的要求较低，有助于增强现实互动技术的推广。

2、本发明对用户的限制较少，对移动设备扫描二维底图时的不稳定和对焦不准的容忍度较高，对图片的识别率高，从而达到更加连贯的互动效果。

3、本发明使用户的操作更加舒适自然，例如更加便于单手操作。这样，用户可以全身心地投入到观赏中，沉浸感强，用户体验好。

4、本发明的一个实施例中，不需要用户移动手机位置即可从各个角度观赏二维底图的各个不同局部位置的增强现实效果，从而为用户提供了更多的控制方式。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1示出了本发明一个实施例的增强现实互动方法的流程图。

具体实施方式

根据本发明的一个实施例，提供了一种基于二维底图的增强现实互动方法，该方法涉及移动智能设备与大屏设备，图1示出了该实施例的增强现实互动方法的流程图，参考图1，该方法包括下列步骤：

步骤1：在大屏设备(下文中以电视为例进行说明)上显示二维底图。二维底图是指增强现实效果的图形信息的二维图像。在一个例子中，二维底图是融合了二维图像和该二维图像中各像素点的深度信息的图片。二维底图可以直接从网络上下载，也可以使用深度相机制作。例如，利用深度相机拍摄目标物的平面图片和深度图片，再把深度信息插入到平面图片中形成二维底图。这些深度信息会以一定的规律以图形编码的方式隐含在二维底图中，这些隐含的图形编码可被对应的客户端软件提取和还原。而另一方面，在肉眼看来，该二维底图所呈现的是目标物的平面效果图。

步骤2：在移动设备(下文中以手机为例进行说明)上提示拍摄大屏幕上显示的二维底图的全图。提示方式可以是文字，也可以是图示，只要让用户明白需要拍摄大屏幕上显示的二维底图的全图即可。

步骤3：移动设备存储所拍摄的二维底图的全图。本步骤中用户需要拍摄具有较高清晰度的图片，也就是说，用户手持手机时应保持稳定并完成对焦。但需要指出的是，用户只需要完成一次清晰拍摄即可，在后续步骤中，本实施例的方案能够容忍扫描二维底图时的不稳定和对焦不准等情况，从而使用户的操作更加舒适自然。

步骤4：移动设备基于二维底图的全图生成二维底图集。该二维底图集包含多个子集，每个子集对应于一个特定的移动设备到大屏设备的距离。这个距离可以预先设置，在一个例子中，可以将手机能够拍摄全图的位置距大屏设备的位置作为距离的最大值，然后在最大值到零之间选择若干个离散点作为预设的距离。当离散点较密时，本实施例的处理精度将相应提高。根据本发明的一个实施例，在本步骤中，距离离散点可以均匀地分布在最大值到零之间，即相邻离散点的距离相等；也可以在不均匀地分布，例如在离大屏幕较远处离散点分布较为稀疏，在离大屏幕较近时，离散点分布较为稠密。

除了最大距离外，每个距离所对应的子集中都包含多个子图。子图的生成方法如下：按比例计算当前距离对应的手机摄像头取景窗的大小，然后以计算出的尺寸在底图的全图上生成取景窗，再以一定的步长滑动取景窗，取景窗每次所截取的图片就是当前子集下的一副子图，当遍历整个底图的全图后，当前距离下的子集建立完毕，继续处理下一个距离的子集，直到所有的子集均建立完毕。

本步骤中，取景窗的滑动步长可以预先设置，也可以根据预设的当前子集的子图数目得出。例如，可以基于当前距离预设其所对应子集的子图数目，通常来说，手机距大屏幕的距离越近，子图数目越大，取景窗的滑动步长越小(此处步长以像素个数为单位，其中像素是指所拍摄的二维底图的像素)。

步骤5：提示预处理完毕，可以开始增强现实互动。此时，用户可以开始用手机摄像头对大屏幕上图片中感兴趣的局部位置进行扫描。

步骤6：手机接收摄像头扫描得到的图片，此处称为扫描图片。将扫描图片与预存的二维底图集中的各个子图进行匹配，找出匹配度最高的子图，然后用匹配度最高的子图，基于现有的增强现实还原算法，抽取该子图中携带的增强现实效果图形信息，进而还原出对应于该子图的增强现实效果(例如该子图所对应的局部区域三维图像)。

步骤7：在手机屏幕上显示步骤6所还原出的增强现实效果。

当用户移动位置，扫描大屏幕上二维图形的另一区域时，重新执行步骤6、7，显示对应的局部区域的增强现实效果。这样就形成了虚拟世界与现实世界的互动，产生强烈的沉浸感，极大地提升了用户的观赏体验。并且，本实施例中，用户在扫描所关注区域的图像时，只需要大致取景即可，对所扫描图片的清晰度没有太高要求，对手机相对于大屏幕的倾角也有较高的容忍度(即手机不需要完全正对大屏幕)。这是因为本实施例中不再需要读取所扫描图片中携带的增强现实效果图形信息(例如关联像素的深度信息编码)。在步骤6中，可以基于二维图像的匹配方式查找出与所扫描图像最接近的预存子图，这样就可以利用清晰的预存子图来还原对应三维效果。因此，基于本实施例的方案，用户的操作可以更加舒适自然，甚至可以单手操作。这样，用户就能全身心地投入到观赏中，沉浸感极强，用户体验好。

进一步地，在一个优选实施例中，基于预存子图的还原，手机上所显示的三维图形还可以增加转动、放大、缩小等操作模式，从而进一步提升用户体验。

上述显示在大屏设备上的二维底图可以称为实体二维底图，而移动终端设备所拍摄的实体二维底图的全图实际上是与所述实体二维底图一致的电子数据形式的二维底图。移动终端设备获取电子数据形式的二维底图的形式并不限于此，例如，移动终端设备也可以在浏览互联网网页时，直接从网站上下载电子数据形式的二维底图，只要该电子数据形式的二维底图与大屏设备上显示的实体二维底图一致即可。另外，实体二维底图也可以是打印出来的纸质或类纸质实体二维底图，此时，移动终端设备同样也可以通过拍摄全图的方式获得所需的电子数据形式的二维底图。

进一步地，在一个实施例中，所述步骤6中可以先将扫描图片中的增强现实效果的图形信息去除，然后再与各个子图匹配。这种匹配可以使用现有的针对平面图片的以图搜图算法实现。由于在匹配时去除了图片中携带的增强现实效果的图形信息，因此可以排除这些隐含的图形编码对匹配算法的干扰，有助于提高匹配的准确度。

进一步地，在一个实施例中，所述步骤5时，手机还可以在扫描过程进行测距，在步骤6中，先根据手机扫描过程的测距确定候选距离范围，然后仅在对应距离在候选距离范围内的子集中搜索与扫描图片匹配度最高的子图。这种做法可以提高搜索速度，使得对用户扫描的响应更加快速，从而提升用户体验。

进一步地，在另一个优选实施例中，提供了一种将前述改进方案与现有方案相融合的增强现实效果生成方法，该方法步骤1至5与前述实施例一致。步骤6中，在接收到扫描图片后，先调用增强现实还原算法直接对扫描图片进行还原，如果还原成功，则直接使用扫描图片所还原的增强现实效果；如果还原失败，则执行前述步骤6的后续部分，即将扫描图片与预存的二维底图集中的各个子图进行匹配，找出匹配度最高的子图，然后用匹配度最高的子图，基于现有的增强现实还原算法，抽取该子图中携带的增强现实效果图形信息，进而还原出对应于该子图的增强现实效果。然后进入步骤7，步骤7与前述实施例完全一致。

另一方面，在另一个实施例中，利用预存的二维底图集，还可以直接在手机屏幕上为用户提供控制界面，并生成相应的增强现实效果。例如，可以在手机上显示二维底图的全图，然后直接在手机屏幕上生成对应于距离的滑块和滑道，当用户滑动滑块时，手机根据滑块所处位置确定当前对应的距离(手机距大屏幕的距离，此时该距离是虚拟距离)。然后根据距离生成对应尺寸的取景窗并显示在手机屏幕上，用户可以拖动取景窗在二维底图上选择局部区域，在选定时(可以是停留数秒)，手机会将对应的子图还原成增强显示效果并显示在手机上。当然，该增强显示效果也可以投射到大屏幕上。这个投射可以通过DLNA协议或者AirPlay协议实现。在一个例子中，进将局部区域的增强显示效果投射到大屏幕上，手机上的控制界面和二维底图不进行投射。这样，用户可以通过大屏幕观赏感兴趣的局部区域三维效果。这种方案不受空间和场地的限制，操作较为便捷，有时能够弥补使用手机扫描大屏幕的方案的不足。

上述手机上的控制界面并不是唯一的，在另一个实施例中，可以取消用于选择距离的滑块和滑道，进而在手机屏幕上显示虚拟取景窗，且该虚拟取景窗大小可调。这种方案下，用户同样可以利用虚拟取景窗选出感兴趣的局部区域，并生成对应的三维图形。

前述实施例中，均通过拍摄大屏幕使手机获得所需的二维底图，这并不是唯一的方式。在其他实施例中，还可以通过浏览器寻找具有图形信息的图像(即二维底图)，或者通过即时通讯应用相互传输具有图形信息的图像。进一步地，在一个实施例中，还提供了捕捉具有图形信息图像的方法：实时监测移动设备屏幕活动，当监测到该屏幕上有携带增强现实效果图形信息的二维底图时，通过截图的方式该二维底图保存到设备中，保存到设备中之后，将该二维底图导入到增强现实客户端中，通过客户端实现该二维底图的增强现实效果。

进一步地，在大屏设备上展示增强效果，不仅可以展示底图上全部内容的增强现实效果，还可以部分展示增强现实效果，在移动设备的控制中心上，可以将增强现实底图自定义拆分成多个部分，之后自定义某几个部分保持原状，某几个部分在大屏设备上展示增强现实效果。这样可以更生动形象地在教学、医疗等领域发挥作用。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (10)

1.一种基于增强现实技术的交互方法，包括下列步骤：

1)移动终端设备获取与实体二维底图相对应的电子二维底图，其中，所述二维底图是具有增强现实效果的图形信息的二维图像；

2)移动终端设备生成包含多个子集的二维底图集，其中每个子集对应于一个特定的从移动终端设备到所述实体二维底图的距离，每个子集均由子图构成；每个距离所对应的子集中的子图的尺寸与当前距离对应的手机摄像头取景窗的尺寸一致，且同一子集内的相邻子图以预设的步长错开，同一子集内的所有子图能覆盖整个二维底图；

3)移动终端设备扫描所述实体二维底图中的感兴趣区域；

4)将扫描图片与所述二维底图集中的各个子图进行匹配，找出匹配的子图，然后抽取该子图中携带的增强现实效果图形信息，还原出对应于该子图的增强现实效果并将其显示在移动终端的屏幕上。

2.根据权利要求1所述的基于增强现实技术的交互方法，其特征在于，所述实体二维底图是显示在大屏设备上的二维底图。

3.根据权利要求1所述的基于增强现实技术的交互方法，其特征在于，所述步骤1)中，用所述移动终端设备拍摄所述实体二维底图的全图，从而得到所述的与所述实体二维底图一致的电子数据形式的二维底图。

4.根据权利要求3所述的基于增强现实技术的交互方法，其特征在于，所述步骤2)中，每个距离所对应的子集中的子图的生成方法如下：按比例计算当前距离对应的手机摄像头取景窗的尺寸，然后以计算出的尺寸在二维底图的全图上生成虚拟取景窗，再以一定的步长滑动虚拟取景窗，虚拟取景窗每次所截取的图片就是当前子集下的一副子图，当遍历整个二维底图的全图后，当前距离下的子集建立完毕，继续处理下一个距离的子集，直到所有的子集均建立完毕。

5.根据权利要求4所述的基于增强现实技术的交互方法，其特征在于，所述步骤2)还包括：将所述实体二维底图的位置到手机能够拍摄所述实体二维底图全图的位置作为距离的最大值，然后在最大值到零之间选择若干个离散点作为预设的对应于每个子集的距离。

6.根据权利要求4所述的基于增强现实技术的交互方法，其特征在于，所述步骤2)中，所述每个距离所对应的子集中的子图的生成方法中，所述虚拟取景窗的滑动步长根据预设的当前子集的子图数目得出。

7.根据权利要求4所述的基于增强现实技术的交互方法，其特征在于，所述步骤4)中，基于以图搜图算法，对去除了增强现实效果的图形信息的当前扫描图片和各个子图进行匹配，找出所述的匹配度最高的子图。

8.根据权利要求4所述的基于增强现实技术的交互方法，其特征在于，所述步骤3)还包括：移动终端设备获得扫描图片后，直接尝试抽取该扫描图片中携带的增强现实效果图形信息并生成增强现实效果，如果成功则直接显示该增强现实效果，如果失败，则继续执行步骤4)。

9.一种基于增强现实技术的交互方法，包括下列步骤：

a)移动终端设备获取电子二维底图，其中，所述二维底图是具有增强现实效果的图形信息的二维图像；

b)移动终端设备生成包含多个子集的二维底图集，其中每个子集对应于一个特定的移动终端设备到实体二维底图的距离，每个子集均由子图构成；每个距离所对应的子集中的子图的尺寸与当前距离对应的手机摄像头取景窗的尺寸一致，且同一子集内的相邻子图以预设的步长错开，同一子集内的所有子图能覆盖整个二维底图；

c)在移动终端设备上显示所述二维底图的全图以及用于选取感兴趣区域的虚拟取景窗，该虚拟取景窗能被用户移动；

d)获取被虚拟取景窗选定区域所对应的子图，将子图还原成增强现实效果并将该增强现实效果投射到大屏设备上。

10.根据权利要求9所述的基于增强现实技术的交互方法，其特征在于，所述步骤c)中，移动终端设备还提供用于在预设距离集合中选择距离的用户接口，所述预设距离集合与所述步骤b)中各个子集所对应的距离的集合一致；在选定距离后，移动终端设备将所述虚拟取景框的尺寸调整为与所选定距离一致。