CN106774937B - 一种增强现实技术中的图像交互方法及其装置 - Google Patents

Abstract

本发明公开了一种增强现实技术中的图像交互方法，包括获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；依据现实物体的图像计算现实物体与移动终端的距离；依据距离设定虚拟图像在移动终端显示屏上的显示大小；将现实物体图像与调整显示大小后的虚拟图像进行图像合成，得到合成图像并发送至移动终端的显示屏进行显示。本发明能够根据现实物体距离移动终端的距离改变AR图像内合成的虚拟图像在移动终端上的显示大小，使人的感官觉得虚拟图像也随着现实物体进行了远近移动，完善了AR图像的虚拟现实互动，用户体验好。本发明还提供了一种包括上述方法的增强现实技术中的图像交互装置。

Description

一种增强现实技术中的图像交互方法及其装置

技术领域

本发明涉及增强现实技术领域，特别是涉及一种增强现实技术中的图像交互方法及其装置。

背景技术

增强现实技术(Augmented Reality，AR)技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，从而实现在屏幕上把虚拟图像套在现实图像上并进行互动的目的。

目前的AR技术中，能够实时获取现实影像，并根据现实影像的变化选择不同的虚拟影像进行图像合并，从而实现虚拟现实互动的目的。但是，在移动终端应用的AR技术中，一般无法确定拍摄的现实物体图像的深度(例如人手到手机的距离)，导致叠加的虚拟图像不能够根据现实物体距离的远近来进行互动，用户体验较差。

因此，如何提供一种用户体验好的增强现实技术中的图像交互方法及其装置是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种增强现实技术中的图像交互方法及其装置，能够根据现实物体距离移动终端的距离改变AR图像内合成的虚拟图像在移动终端上的显示大小，完善了AR图像的虚拟现实互动，用户体验好。

为解决上述技术问题，本发明提供了一种增强现实技术中的图像交互方法，包括：

获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；

依据所述现实物体的图像计算所述现实物体与所述移动终端的距离；

依据所述距离设定虚拟图像在所述移动终端显示屏上的显示大小；

将所述现实物体图像与调整显示大小后的所述虚拟图像进行图像合成，得到合成图像并发送至所述移动终端的显示屏进行显示。

优选地，所述获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像之后，将所述现实物体图像与调整显示大小后的所述虚拟图像进行图像合成之前还包括：

识别所述现实物体的移动情况；

依据所述移动情况从预设图像数据库内调用与所述移动情况对应的、相应动作的虚拟图像；其中，所述预设图像数据库内存储有各种移动情况与不同动作的虚拟图像之间的映射关系，以及每种动作的虚拟图像的显示文件。

优选地，还包括：

依据所述距离和/或所述移动情况从预设声音数据库内调用相应的声音数据；其中，所述预设声音数据库内存储有各种距离和/或移动情况与不同声音数据之间的映射关系，以及每种声音数据的声音文件；

将所述合成图像与所述声音数据进行链接，并在所述移动终端显示所述合成图像时，触发所述链接，播放所述声音数据。

为解决上述技术问题，本发明还提供了一种用增强现实技术中的图像交互装置，包括：

图像接收模块，用于获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；

距离识别模块，用于依据所述现实物体的图像计算所述现实物体与所述移动终端的距离；

虚拟调整模块，用于依据所述距离设定虚拟图像在所述移动终端显示屏上的显示大小；

图像合成模块，用于将所述现实物体图像与调整显示大小后的所述虚拟图像进行图像合成，得到合成图像并发送至所述移动终端的显示屏进行显示。

优选地，还包括：

位置识别模块，用于识别所述现实物体的移动情况；

动作调整模块，用于依据所述移动情况从预设图像数据库内调用与所述移动情况对应的、相应动作的虚拟图像；其中，所述预设图像数据库内存储有各种移动情况与不同动作的虚拟图像之间的映射关系，以及每种动作的虚拟图像的显示文件。

优选地，还包括：

声音调用模块，用于依据所述距离和/或所述移动情况从预设声音数据库内调用相应的声音数据；其中，所述预设声音数据库内存储有各种距离和/或移动情况与不同声音数据之间的映射关系，以及每种声音数据的声音文件；

声音合成模块，用于将所述合成图像与所述声音数据进行链接；

声音播放模块，用于在所述移动终端显示所述合成图像时，触发所述链接，播放所述声音数据。

本发明提供了一种增强现实技术中的图像交互方法及其装置，移动终端上设置的至少两个摄像组件对现实物体进行拍摄，依据得到的现实物体的图像进行距离计算，确定现实物体与移动终端的距离，然后根据该距离设定之后显示的虚拟图像的大小，最后将大小调整后的虚拟图像与现实物体图像合并进而进行显示。通过多个摄像组件进行拍摄，使拍摄的图像能够反映现实物体与移动终端的距离，当现实物体进行远近移动时，生成的AR图像内的虚拟图像也能够相应的进行放大或缩小，使人的感官觉得虚拟图像也随着现实物体进行了远近移动，进一步完善了AR图像的虚拟现实互动，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种增强现实技术中的图像交互方法的过程的流程图；

图2为本发明提供的一种增强现实技术中的图像交互装置的结构示意图。

具体实施方式

本发明的核心是提供一种增强现实技术中的图像交互方法及其装置，能够根据现实物体距离移动终端的距离改变AR图像内合成的虚拟图像在移动终端上的显示大小，完善了AR图像的虚拟现实互动，用户体验好。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种增强现实技术中的图像交互方法，参见图1所示，图1为本发明提供的一种增强现实技术中的图像交互方法的过程的流程图；该方法包括：

步骤s101：获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；

作为优选地，这里的摄像组件具体为摄像头；摄像组件可以为两个，即移动终端上设置双摄像头，这里的双摄像头均设置与移动终端的背面。当然，本发明不限定摄像组件的具体个数。

可以理解的是，单摄像组件拍摄的图片角度单一，无法反应出现实物体与移动终端的距离，仅能够反映出现实物体的大小以及状态，故移动终端上需要至少设置两个摄像组件，由于摄像组件的位置问题，各个摄像组件拍摄的图像中现实物体的角度有一定程度的差别，通过这些角度以及一定的算法，能够计算得到现实物体与移动终端的距离。

并且多摄像组件具有远景虚化功能，能够使AR图像可以近景显示也可以远景显示，场景丰富。

步骤s102：依据现实物体的图像计算现实物体与移动终端的距离；

其中，这里的现实物体指的是实际中的物体，例如可以为人手，或箱子等，当然，本发明不限定现实物体的类型。

步骤s103：依据距离设定虚拟图像在移动终端显示屏上的显示大小；

其中，依据距离设定虚拟图像的显示大小的具体过程是：

从预设的距离尺寸对应表中查询上述得到的距离所对应的显示尺寸，将该尺寸作为当前虚拟图像的显示大小，其中，距离尺寸对应表内存储有各个距离与虚拟图像在显示屏上的显示尺寸之间的映射关系。

另外，由于不同的移动终端显示屏的大小不同，故为了使通用性更强，依据距离设定虚拟图像的显示大小的具体过程可以为：

从预设的距离比例对应表中查询上述得到的距离所对应的显示比例(例如虚拟图像占据显示屏的1/10)；距离比例对应表内存储有各个距离与虚拟图像在显示屏上的显示比例之间的映射关系；

依据上述显示比例以及移动终端显示屏的大小，计算得到虚拟图像的显示尺寸。

步骤s104：将现实物体图像与调整显示大小后的虚拟图像进行图像合成，得到合成图像并发送至移动终端的显示屏进行显示。

作为优选地，步骤s101之后，步骤s104之前还包括：

识别现实物体的移动情况；

依据移动情况从预设图像数据库内调用与移动情况对应的、相应动作的虚拟图像；其中，预设图像数据库内存储有各种移动情况与不同动作的虚拟图像之间的映射关系，以及每种动作的虚拟图像的显示文件。

其中，这里的识别现实物体的移动情况主要为识别现实物体的动作，该动作一般需要依据摄像组件连续几个时刻的拍摄图像来确定。这里的动作例如手指的屈伸、手掌的握放等，虚拟图像会根据动作相应的做出生气、开心、求抱抱等反应。这里的各种移动情况与不同动作的虚拟图像之间的映射关系举例来看，例如，移动情况为握手，对应为生气的虚拟图像。当然，预设图像数据库内具体包括哪些现实物体动作本发明不作具体限定。

作为优选地，该方法还包括：

依据距离和/或移动情况从预设声音数据库内调用相应的声音数据；其中，预设声音数据库内存储有各种距离和/或移动情况与不同声音数据之间的映射关系，以及每种声音数据的声音文件；

将合成图像与声音数据进行链接，并在移动终端显示合成图像时，触发链接，播放声音数据。

其中，不同的声音数据可以对应于不同大小的虚拟图像，也可以对应于不同动作的虚拟图像，或者以上两种情况下的虚拟图像均会导致调用不同的声音数据，具体采用哪种实施例本发明不作限定。

本发明提供了一种增强现实技术中的图像交互方法，移动终端上设置的至少两个摄像组件对现实物体进行拍摄，依据得到的现实物体的图像进行距离计算，确定现实物体与移动终端的距离，然后根据该距离设定之后显示的虚拟图像的大小，最后将大小调整后的虚拟图像与现实物体图像合并进而进行显示。通过多个摄像组件同时进行拍摄，使拍摄的图像能够反映现实物体与移动终端的距离，当现实物体进行远近移动时，生成的AR图像内的虚拟图像也能够相应的进行放大或缩小，使人的感官觉得虚拟图像也随着现实物体进行了远近移动，进一步完善了AR图像的虚拟现实互动，提高了用户体验。

本发明还提供了一种增强现实技术中的图像交互装置，参见图2所示，图2为本发明提供的一种增强现实技术中的图像交互装置的结构示意图。该装置包括：

图像接收模块1，用于获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；距离识别模块2，用于依据现实物体的图像计算现实物体与移动终端的距离；

虚拟调整模块3，用于依据距离设定虚拟图像在移动终端显示屏上的显示

大小；

图像合成模块4，用于将现实物体图像与调整显示大小后的虚拟图像进行图像合成，得到合成图像并发送至移动终端的显示屏进行显示。

作为优选地，该装置还包括：

位置识别模块，用于识别现实物体的移动情况；

动作调整模块，用于依据移动情况从预设图像数据库内调用与移动情况对应的、相应动作的虚拟图像；其中，预设图像数据库内存储有各种移动情况与不同动作的虚拟图像之间的映射关系，以及每种动作的虚拟图像的显示文件。

作为优选地，该装置还包括：

声音调用模块，用于依据距离和/或移动情况从预设声音数据库内调用相应的声音数据；其中，预设声音数据库内存储有各种距离和/或移动情况与不同声音数据之间的映射关系，以及每种声音数据的声音文件；

声音合成模块，用于将合成图像与声音数据进行链接；

声音播放模块，用于在移动终端显示合成图像时，触发链接，播放声音数据。

本发明提供了一种增强现实技术中的图像交互装置，移动终端上设置的至少两个摄像组件对现实物体进行拍摄，依据得到的现实物体的图像进行距离计算，确定现实物体与移动终端的距离，然后根据该距离设定之后显示的虚拟图像的大小，最后将大小调整后的虚拟图像与现实物体图像合并进而进行显示。通过多个摄像组件同时进行拍摄，使拍摄的图像能够反映现实物体与移动终端的距离，当现实物体进行远近移动时，生成的AR图像内的虚拟图像也能够相应的进行放大或缩小，使人的感官觉得虚拟图像也随着现实物体进行了远近移动，进一步完善了AR图像的虚拟现实互动，提高了用户体验。

本发明还提供了一种移动终端，包括至少两个设置于移动终端同一侧的摄像组件、存储器以及通过总线与存储器连接的处理器，处理器与摄像组件通过接口连接；

存储器，用于存储一组程序代码；

处理器，用于调用存储器中存储的程序代码，用于执行以下操作：

获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；依据现实物体的图像计算现实物体与移动终端的距离；依据距离设定虚拟图像在移动终端显示屏上的显示大小；将现实物体图像与调整显示大小后的虚拟图像进行图像合成，得到合成图像并发送至移动终端的显示屏进行显示。

在另一种实施例中，处理器还用于调用存储器中存储的程序代码执行以下操作：

识别现实物体的移动情况；依据移动情况从预设图像数据库内调用与移动情况对应的、相应动作的虚拟图像；其中，预设图像数据库内存储有各种移动情况与不同动作的虚拟图像之间的映射关系，以及每种动作的虚拟图像的显示文件。

在另一种实施例中，处理器还用于调用存储器中存储的程序代码执行以下操作：

依据距离和/或移动情况从预设声音数据库内调用相应的声音数据；其中，预设声音数据库内存储有各种距离和/或移动情况与不同声音数据之间的映射关系，以及每种声音数据的声音文件；将合成图像与声音数据进行链接，并在移动终端显示合成图像时，触发链接，播放声音数据。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种增强现实技术中的图像交互方法，其特征在于，包括：

获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；

识别所述现实物体的移动情况；

依据所述移动情况从预设图像数据库内调用与所述移动情况对应的、相应动作的虚拟图像；其中，所述预设图像数据库内存储有各种移动情况与不同动作的虚拟图像之间的映射关系，以及每种动作的虚拟图像的显示文件；

依据所述现实物体的图像计算所述现实物体与所述移动终端的距离；

依据所述距离设定虚拟图像在所述移动终端显示屏上的显示大小；

将所述现实物体图像与调整显示大小后的所述虚拟图像进行图像合成，得到合成图像并发送至所述移动终端的显示屏进行显示。

2.根据权利要求1所述的方法，其特征在于，还包括：

依据所述距离和/或所述移动情况从预设声音数据库内调用相应的声音数据；其中，所述预设声音数据库内存储有各种距离和/或移动情况与不同声音数据之间的映射关系，以及每种声音数据的声音文件；

将所述合成图像与所述声音数据进行链接，并在所述移动终端显示所述合成图像时，触发所述链接，播放所述声音数据。

3.一种增强现实技术中的图像交互装置，其特征在于，包括：

图像接收模块，用于获取设置于移动终端上的至少两个摄像组件拍摄的现实物体的图像；

位置识别模块，用于识别所述现实物体的移动情况；

动作调整模块，用于依据所述移动情况从预设图像数据库内调用与所述移动情况对应的、相应动作的虚拟图像；其中，所述预设图像数据库内存储有各种移动情况与不同动作的虚拟图像之间的映射关系，以及每种动作的虚拟图像的显示文件；

距离识别模块，用于依据所述现实物体的图像计算所述现实物体与所述移动终端的距离；

虚拟调整模块，用于依据所述距离设定虚拟图像在所述移动终端显示屏上的显示大小；

图像合成模块，用于将所述现实物体图像与调整显示大小后的所述虚拟图像进行图像合成，得到合成图像并发送至所述移动终端的显示屏进行显示。

4.根据权利要求3所述的装置，其特征在于，还包括：

声音调用模块，用于依据所述距离和/或所述移动情况从预设声音数据库内调用相应的声音数据；其中，所述预设声音数据库内存储有各种距离和/或移动情况与不同声音数据之间的映射关系，以及每种声音数据的声音文件；

声音合成模块，用于将所述合成图像与所述声音数据进行链接；

声音播放模块，用于在所述移动终端显示所述合成图像时，触发所述链接，播放所述声音数据。

Images