CN109754471B - 增强现实中的图像处理方法及装置、存储介质、电子设备 - Google Patents

Abstract

本公开涉及增强现实技术领域，提供了一种增强现实中的图像处理方法、装置、存储介质及电子设备，该方法包括：获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；获取所述预设区域的图像数据，并识别所述图像数据中的特定目标；根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型；在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。本公开避免频繁移动调整终端设备，提高场景的识别效率；实现了虚拟游戏和现实场景即时交互，提高了用户的沉浸感。

Description

增强现实中的图像处理方法及装置、存储介质、电子设备

技术领域

本公开涉及增强现实技术领域，特别涉及一种增强现实中的图像处理方法、增强现实中的图像处理装置、计算机可读存储介质及电子设备。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着AR技术的兴起，带动了全新游戏模式的一股热潮，玩家开始关注对现实情景中添加虚拟内容的需求。

现有主流的AR技术是借助移动设备上的照相机等光学元件，实时拍摄图像后，再透过摄影机视频的位置及角度精算并加上图像分析技术，让游戏内的虚拟世界能够投射到屏幕上的现实拍摄画面中。但现有技术严重依赖图像识别技术的发展，仅基于平面图像的色彩与构图分析难以应对复杂的现实世界变化，游戏开发往往需要提前预置大量的制定图像或者高相关结构才能保证较好的识别率，无法满足玩家应用到各种情况和现实场景的需求。

鉴于此，本领域亟需开发一种新的增强现实中的图像处理方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种增强现实中的图像处理方法、增强现实中的图像处理装置、计算机可读存储介质及电子设备，进而至少在一定程度上有效实现虚拟内容与现实场景之间的复杂交互，提升用户体验。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种增强现实中的图像处理方法，所述图像处理方法应用于可呈现交互界面的终端设备，包括：

获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；

获取所述预设区域的图像数据，并识别所述图像数据中的特定目标；

根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型；

在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

在本公开的示例性实施例中，所述现实空间为所述终端设备中与所述交互界面相对的一侧所面对的空间，所述预设区域为所述现实空间中与所述图像数据对应的区域。

在本公开的示例性实施例中，获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间，包括：

通过第一传感器获取所述预设区域中的对象与所述终端设备之间的距离信息，并根据所述距离信息构建所述三维虚拟空间。

在本公开的示例性实施例中，通过第一传感器获取所述预设区域中的对象与所述终端设备之间的距离信息，并根据所述距离信息构建所述三维虚拟空间，包括：

获取所述第一传感器向所述预设区域发射探测光线的发射时间及接收被所述预设区域中的对象反射回来的探测光线的接收时间；

根据所述发射时间和所述接收时间确定所述第一传感器与所述预设区域中的对象之间的距离信息；

根据所述距离信息构建所述三维虚拟空间。

在本公开的示例性实施例中，获取所述预设区域的图像数据，并识别所述图像数据中的特定目标，包括：

通过所述终端设备获取所述预设区域的图像数据；

对所述图像数据进行筛选，以获取所述图像数据中的特定目标。

在本公开的示例性实施例中，根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型，包括：

将所述特定目标映射到所述三维虚拟空间中的目标位置上，以形成与所述特定目标对应的三维虚拟模型。

在本公开的示例性实施例中，将所述特定目标映射到所述三维虚拟空间中的目标位置上，以形成与所述特定目标对应的三维虚拟模型，包括：

根据所述终端设备在所述三维虚拟空间中的位置和预设算法将所述特定目标转换为与所述目标位置匹配的三维图像数据，以形成与所述特定目标对应的三维虚拟模型。

在本公开的示例性实施例中，将所述特定目标映射到所述三维虚拟空间中的目标位置上，以形成与所述特定目标对应的三维虚拟模型，包括：

根据所述三维虚拟空间的结构和所述终端设备在所述三维虚拟空间中的位置，将所述特定目标转换为位于所述目标位置处的三维图像数据，以形成与所述特定目标对应的三维虚拟模型。

在本公开的示例性实施例中，在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互，包括：

接收用户的交互指令；

响应所述交互指令，并将所述交互指令对应的图像数据映射到所述三维虚拟模型上，以实现所述虚拟对象与所述三维虚拟模型之间的三维交互。

在本公开的示例性实施例中，在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互，包括：

根据所述预设区域的实际变化状态确定所述虚拟对象在所述三维虚拟模型上的状态，以实现所述虚拟对象与所述三维虚拟模型之间的三维交互。

在本公开的示例性实施例中，在获取所述所述预设区域的图像数据，并识别所述图像数据中的特定目标之前，所述方法还包括：

获取所述终端设备在所述现实空间的位置信息，并根据所述位置信息确定所述终端设备在所述三维虚拟空间的第一位置。

在本公开的示例性实施例中，获取所述终端设备在所述现实空间的位置信息，并根据所述位置信息确定所述终端设备在所述三维虚拟空间的第一位置，包括：

通过第二传感器获取所述终端设备在所述现实空间中的角度信息；

根据所述角度信息调整所述终端设备，使所述交互界面对应于所述终端设备在所述三维虚拟空间中的拍摄角度，以确定所述第一位置。

在本公开的示例性实施例中，所述三维虚拟空间为三维游戏场景，并且所述虚拟对象与所述三维游戏场景匹配。

在本公开的示例性实施例中，所述终端设备的显示屏幕为透明屏。

根据本公开的一个方面，提供一种增强现实中的图像处理装置，所述图像处理装置应用于可呈现交互界面的终端设备，包括：

虚拟空间构建模块，用于获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；

特定目标获取模块，用于获取所述预设区域的图像数据，并识别所述图像数据中的特定目标；

虚拟模型构建模块，用于根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型；

三维交互控制模块，用于在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

根据公开的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的增强现实中的图像处理方法。

根据本公开的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的增强现实中的图像处理方法。

由上述技术方案可知，本公开示例性实施例中的增强现实中的图像处理方法及装置、计算机可读存储介质、电子设备至少具备以下优点和积极效果：

本公开的增强现实中的图像处理方法通过根据现实空间预设区域的深度数据构建三维虚拟空间；然后获取预设区域的图像数据中的特定目标，根据特定目标在三维虚拟空间中构建对应的三维虚拟模型；最后在三维虚拟空间中生成虚拟对象，并控制虚拟对象与三维虚拟模型进行三维交互。本公开一方面通过根据深度数据构建三维虚拟空间，避免了频繁移动调整终端设备，提高了场景的识别效率；另一方面根据特定目标在三维虚拟空间中构建三维虚拟模型，并控制虚拟对象与三维虚拟模型进行三维交互，实现了虚拟内容和现实场景的即时交互；再一方面避免了频繁发起相机权限申请并调换数据接口，提高了用户的沉浸感。

本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了相关技术中增强现实技术实现现实和虚拟交互的界面示意图；

图2示意性示出了根据本公开的一实施例的增强现实中的图像处理方法的流程示意图；

图3示意性示出了根据本公开的一实施例的构建三维虚拟空间的流程示意图；

图4A-4B示意性示出了根据本公开的一实施例的三维虚拟模型及可操作对象的形状发生变化的界面示意图；

图5A-5B示意性示出了根据本公开的一实施例的三维交互的界面示意图；

图6A-6B示意性示出了根据本公开的一实施例的三维交互的界面示意图；

图7A-7B示意性示出了根据本公开的一实施例的十字形控件发生形变的示意图；

图8示意性示出了根据本公开的一实施例的增强现实中的图像处理装置的框图；

图9示意性示出了根据本公开的一实施例的电子设备的模块示意图；

图10示意性示出了根据本公开的一实施例的程序产品示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本领域的相关技术中，在现实情景中添加虚拟内容主要借助移动设备上的照相机等光学元件，实时拍摄图像后再通过摄影机视频的位置及角度精算并加上图像分析技术，让游戏内的虚拟世界能够投射到屏幕上的现实拍摄画面中。具体地，用户点击相关功能按键后申请使用照相机，使用照相机取景拍摄时，实时对取景到屏幕上的图像内容进行分析，并要求(或暗示)用户适当调整摄像机位置和角度以获取多个角度的图像信息，当收集到的图像符合事先制定好的规范时，将虚拟内容对应投射到屏幕上并激活其他相关功能。图1示出了相关技术中增强现实技术实现现实和虚拟交互的界面示意图，如图1所示，虚拟对象通过手持的剑对现实场景中的纸张进行切割。

但是相关技术中将现实场景与虚拟内容进行交互的方法存在以下缺陷：(1)高度依赖平面图像识别，对三维的现实场景识别需要借助终端设备的频繁移动调整，在面对复杂场景时识别效率低下；(2)图像识别的标准需要提前制定好对应的规范，无法套用通用的物理引擎或3D碰撞箱等内容，在虚拟内容与现实场景的即时交互方面难以有所作为；(3)使用功能时，玩家需要频繁发起相机权限申请并调换数据接口，一般相关功能只能放置在非核心游戏过程的情境中，玩家体验的割裂感较大，在设备性能不佳时，从游戏内激活和关闭相机的时候容易造成卡顿。

基于相关技术中存在的问题，本公开首先提供了一种增强现实中的图像处理方法，该增强现实中的图像处理方法应用于可呈现交互界面的终端设备，并且该增强现实中的图像处理方法可以运行于服务器，也可以运行于服务器集群或云服务器等，当然，本领域技术人员也可以根据需求在其他平台运行本公开的方法，本示例性实施例对此不做特殊限定。图2示出了增强现实中的图像处理方法，如图2所示，该增强现实中的图像处理方法至少包括以下步骤：

步骤S210：获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；

步骤S220：获取所述预设区域的图像数据，并识别所述图像数据中的特定目标；

步骤S230：根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型；

步骤S240：在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

本公开的增强现实中的图像处理方法一方面根据深度数据构建三维虚拟空间，避免了频繁移动调整终端设备，提高了场景的识别效率；另一方面根据特定目标在三维虚拟空间中构建三维虚拟模型，并控制虚拟对象与三维虚拟模型进行三维交互，实现了虚拟内容和现实场景的即时交互；再一方面避免了频繁发起相机权限申请并调换数据接口，提高了用户的沉浸感。

为了使本公开的技术方案更清晰，接下来以游戏画面和现实场景的交互为例对增强现实中的图像处理方法的各步骤进行说明。

在步骤S210中，获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间。

在本公开的示例性实施例中，用户可以在终端设备中启动游戏并进入图像界面，然后通过终端设备获取现实空间预设区域的深度数据。其中，现实空间为终端设备中与交互界面相对的一侧所面对的空间，预设区域为现实空间中与图像数据对应的区域，具体而言，终端设备可以是智能手机、平板电脑、便携式笔记本等具有显示屏幕的电子设备，并且终端设备中还设置有摄像装置，通过该摄像装置可以获取现实空间预设区域的图像数据，进一步的，该摄像装置可以是内置于终端设备中的摄像装置，也可以是通过外部设备接口与终端设备连接的摄像装置。考虑到玩家通常采用智能手机或平板电脑等终端设备进行虚拟游戏和现实场景的交互，因此本公开的实施例中将以智能手机作为终端设备对本公开的技术方案进行说明。

在本公开的示例性实施例中，在构建三维虚拟空间时，可以通过第一传感器获取现实空间预设区域中存在的对象与智能手机之间的距离信息，并根据该距离信息构建三维虚拟空间。图3示出了构建三维虚拟空间的流程示意图，如图3所示，在步骤S301中，获取第一传感器向现实空间预设区域发射探测光线的发射时间及接收被现实空间预设区域中的对象反射回来的探测光线的接收时间；在步骤S302中，根据发射时间和接收时间确定第一传感器与现实空间预设区域中的对象之间的距离信息；在步骤S303中，根据距离信息构建三维虚拟空间。本公开实施例中的第一传感器可以是用于测量距离信息的三维传感器，具体地可以是深度传感器，该深度传感器可以嵌于智能手机内部，也可以位于智能手机的外部表面上，如和智能手机的背部摄像头并行设置于智能手机的背面，等等。深度传感器可以向多个方向发射多束红外线等易于接收和计算的光线，该些光线遇到现实空间预设区域的对象后会被反射至深度传感器中，深度传感器根据发射每一束光线的发射时间和接收反射回来的光线的接收时间即可确定智能手机与现实空间预设区域的对象之间的距离信息，进而根据该些距离信息即可构建出三维虚拟空间。值得注意的是，用于探测距离信息以构建三维虚拟空间的第一传感器包括但不限于上述的深度传感器，本公开在此不再赘述。

在步骤S220中，获取所述预设区域的图像数据，并识别所述图像数据中的特定目标。

在本公开的示例性实施例中，可以通过智能手机中的摄像装置获取预设区域的图像数据，然后对图像数据进行筛选获取其中的特定目标，该特定目标为现实空间预设区域中的具体对象对应的贴图图像数据，例如在现实空间预设区域中放置有一个水杯，那么通过智能手机中的摄像头可以采集到水杯的图像数据以及预设区域中其它对象的图像数据，通过对预设区域中的图像数据进行筛选可以获得水杯对应的图像数据，进而根据水杯对应的图像数据可以获得水杯对应的贴图图像。当然在本公开的实施例中，特定目标还可以是现实空间预设区域中任意的物品，如桌子、椅子等等，本公开对此不做具体限定。另外，值得说明的是，在本公开的实施例中，图像数据中除特定目标之外的图像数据所对应的图像均无需呈现在交互界面中。

在步骤S230中，根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型。

在本公开的示例性实施例中，在形成三维虚拟空间和确定好特定目标后，可以根据特定目标在三维虚拟空间中构建相应地三维虚拟模型，具体地，可以将特定目标映射到三维虚拟空间中的目标位置上，以形成与特定目标对应的三维虚拟模型。在将特定目标映射到三维虚拟空间中的目标位置上时，特定目标的形状会因三维虚拟空间相对于智能手机的角度的变化而发生相应地改变，即智能手机的拍摄角度发生改变，则特定目标构建的三维虚拟模型的形状也会随之改变，例如当特定目标应平铺在与智能手机的显示屏幕平面平行的空间平面上时，则根据特定目标构建的三维虚拟模型的形状不会发生变化；当特定目标不与显示屏幕平面平行时，则根据特定目标构建的三维虚拟模型的形状会发生相应的变化。

在本公开的示例性实施例中，在将特定目标映射至三维虚拟空间的目标位置上时，可以通过两种方法实现映射：第一种，通过预先计算的方法实现映射；在游戏系统中可以预先设置映射程序，该映射程序具体的可以是一种相对显示角度算法，该相对显示角度算法包含透视矩阵乘法和透视除法，根据智能手机在三维虚拟空间中的位置，并通过该相对显示角度算法对特定目标进行处理，对特定目标在交互界面上呈现的形状进行改变，以将特定目标转换为与目标位置匹配的三维图像数据，进而根据该三维图像数据形成与特定目标对应的三维虚拟模型，例如当特定目标对应的贴图图像所在平面沿某一坐标轴偏移时，其它坐标轴的像素则进行相应的缩放，具体而言，当三维虚拟模型为一个正立方体时，若正视其与交互界面平行的平面时，其形状为一正方形，而其与交互界面垂直的平面则呈现为平行四边形，该平行四边形中的角和边即为根据相对显示角度算法进行缩放后形成的。当智能手机采集到特定目标后，可以将特定目标对应的图像数据根据相对显示角度算法进行计算，获得与三维虚拟空间匹配的三维虚拟模型。第二种，将特定目标对应的贴图图像纳入三维虚拟空间中进行映射；通过对预设区域的图像数据进行筛选获取特定目标后，可以根据三维虚拟空间的结构及智能手机在三维虚拟空间中的位置，将特定目标对应的贴图图像转换为位于三维虚拟空间目标位置处的三维虚拟模型。

在本公开的示例性实施例中，在特定目标对应的贴图图像上可以设置有可操作交互对象，如按键等，从玩家的视角来说，该可操作交互对象是不可见的，玩家只能看到特定目标对应的三维虚拟模型，该可操作交互对象可以设置在特定目标对应的贴图图像的任意位置，也可以将特定目标对应的贴图图像都作为可操作交互对象，本公开对此不做具体限定，通过对可操作交互对象进行触发操作，以使三维虚拟模型呈现相应的动画效果。进一步的，当智能手机的角度发生改变导致三维虚拟空间发生改变时，根据特定目标在三维虚拟空间中构建的与特定目标对应的三维虚拟模型以及可操作交互对象的形状也会相应地发生改变，图4A-4B示出了三维虚拟模型及可操作交互对象的形状发生变化的界面示意图，如图4A所示，在三维虚拟空间未改变时，在与交互界面平行的三维虚拟空间中的一个正方形平面上存在一个圆形的按键，但是随着智能手机的摄像角度的偏转，如摄像角度向左偏转了45°，正方形平面则变成了平行四边形，其上的圆形的按键也变成了椭圆形，如图4B所示。但是值得注意的是，在本公开的实施例中，可操作对象与特定目标对应的贴图图像的相对位置不随智能手机的拍摄角度的变化而发生改变。

在步骤S240中，在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

在本公开的示例性实施例中，可以在三维虚拟空间中生成一个虚拟对象，该虚拟对象可以是交互控件或视觉画面，也可以是虚拟游戏角色，生成三维虚拟模型后，可以控制虚拟对象与三维虚拟模型进行三维交互。

当虚拟对象为虚拟游戏角色时，玩家通过点击交互界面中的虚拟控件或者通过操作与智能手机等终端设备外部连接的手柄等装置触发对虚拟对象的交互指令，系统接收到该交互指令后可以根据交互指令操控虚拟对象执行相应的动作，例如可以控制虚拟对象进行移动，如使虚拟对象靠近或者远离三维虚拟空间中的三维虚拟模型，或者控制虚拟对象做出具体的手势动作，如可以是喷漆、挥刀、投掷等动作，以触发交互界面产生相应的效果，当然还可以是其它的动作，本公开在此不再赘述。进一步的，用户的交互指令具体可以是系统接收到用户对可操作对象的触发操作，并根据该触发操作获得的图像数据，该图像数据对应相应的三维虚拟模型的动态效果。当系统接收到用户对可操作对象的触发操作后，便响应该触发操作，将可操作对象对应的图像数据映射至三维虚拟模型上，以实现虚拟对象和三维虚拟模型的三维交互。

在本公开的示例性实施例中，虚拟对象和三维虚拟模型的三维交互可以具有多种形式，例如可以是对三维虚拟模型的形状进行渲染，可以是对三维虚拟模型的颜色进行渲染，也可以是通过三维虚拟模型对虚拟对象进行遮蔽等等。图5A-5B示出了一种三维交互的界面示意图，如图5A所示，根据现实空间预设区域构建的三维虚拟空间中放置有一个圆柱体和一个正方体，用户操控虚拟对象对正方体的右上角进行切割，系统接收到用户的切割指令后，可以将相应地图像数据映射到三维虚拟模型上，以在交互界面中呈现一个缺失右上角的正方体，如图5B所示。图6A-6B示出了另一种三维交互的界面示意图，如图6A所示，在交互界面中呈现有根据现实空间中的纸箱形成的对应的三维虚拟模型，用户操控虚拟对象移动到纸箱的后边，以被纸箱遮蔽。系统根据用户的交互指令，可以在虚拟对象移动到纸箱后方时，将虚拟对象被纸箱遮挡的部位的图像数据进行隐藏，以使交互界面上呈现出虚拟对象被纸箱遮挡的效果，如图6B所示。

当虚拟对象为交互控件或视觉画面时，则可以根据预设区域的实际变化状态确定交互控件在三维虚拟模型上的状态，以实现虚拟对象和三维虚拟模型之间的三维交互。例如，虚拟对象可以是十字形控件，该十字形控件显示于现实空间预设区域的纸面上，当现实空间中的纸张被用户折叠或者被风吹卷时，纸张会发生形变，相应地，该十字形控件也会发生形变。图7A-7B示出了十字形控件发生形变的示意图，如图7A所示，在与智能手机的交互界面平行的纸面上显示有十字形控件；当用户将纸张沿折叠线进行90°折叠时，十字形控件由原先平铺在与智能手机的交互界面平行的空间平面上转变为十字形控件的部分位于与智能手机的交互界面平行的空间平面上，部分随着纸张发生90°折叠而位于与智能手机的交互界面垂直的空间平面上，并且发生形变的部分十字形控件的边和角发生相应的变化，如图7B所示。同时，该虚拟对象可以是视觉画面，如显示在纸面上的火焰等，在纸张移动或者变形的时候，火焰的形状会随着纸张的移动或者变形发生相应的变化。也就是说，虚拟对象的形状会随着现实空间的变化而变化，以实现现实与虚拟的交互。

在本公开的示例性实施例中，在获取预设区域的图像数据，并识别图像数据中的特定目标之前，还可以获取终端设备在现实空间的位置信息，并根据位置信息确定终端设备在三维虚拟空间的第一位置。在构建完三维虚拟空间后，可以通过第二传感器获取智能手机在现实空间中的角度信息，并根据该角度信息可以调整智能手机以确定智能手机在三维虚拟空间中的第一位置，该第一位置使得智能手机的交互界面(显示屏幕)对应于智能手机在三维虚拟空间中的拍摄角度，即智能手机的交互界面中能够显示预设区域中的场景。通过第一位置的确定，能够校准三维虚拟空间中的虚拟摄像机的坐标和角度与终端设备的位置和拍摄角度相匹配，保证了三维虚拟空间中的图像与直接拍摄的图像相匹配，解决了虚拟画面和实际画面脱节的问题。其中，第二传感器可以是陀螺仪，用以测量智能手机在现实空间中的角度信息，该陀螺仪可以是内嵌于智能手机中的，便于用户调用和操作。当然本公开中的第二传感器还可以是其它用于测量角度信息的传感器，本公开对此不再赘述。

在本公开的示例性实施例中，根据现实空间预设区域的深度数据构建的三维虚拟空间也可以直接作为三维游戏场景使用，并且该三维游戏场景与虚拟对象相匹配，以实现现实场景与虚拟游戏场景的完美融合，提高玩家的沉浸感和游戏体验。

进一步的，本公开实施例中的智能手机中的显示屏幕可以为透明屏，透明屏的使用可以实现同时传递虚拟信息和显示屏幕后的现实场景，进一步提升了用户的交互体验。透明屏主要的实现方案为摄像映射与一体化屏幕投影：摄像映射原理一般为始终开启摄像设备并将其拍摄的图像信号实时映射在屏幕上，模拟屏幕透明的效果；一体化屏幕投影则是通过屏幕内内置的设备将图像信号投影到透明的屏幕材质上，同时经过处理的材质仅在屏幕内反射图像信号到用户感官中而不致使图像信号穿过透明材质传递到其他非用户感官的位置，实现屏幕投影的一体化。使用透明屏可以减轻深度传感器三维建模与现实场景图像匹配的误差与性能负担，同时增强了用户的交互体验。

本公开的增强现实中的图像处理方法转变了现实场景内容转化到移动设备程序数据的逻辑，使得程序无论是从交互界面还是场景构建均能够与现实场景产生有效互动，解决了虚拟内容与现实场景的即时交互问题；同时现实场景的转化过程由频繁地调动其他元件接口转变为第一传感器和第二传感器的全程运行，使得相关体验可以贯穿玩家的游戏全过程，减小了游戏体验的割裂感，并且避免了因接口频繁切换而导致的卡顿问题；进一步，采用传感器对现实世界进行三维建模，比基于大量平面图像进行图像分析的手段更简便、精度也大大提升，有效避免了因场景复杂而导致的识别效率低下的问题。

以下介绍本公开的装置实施例，可以用于执行本公开上述的增强现实中的图像处理方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的增强现实中的图像处理方法的实施例。

图8示意性示出了根据本公开的一个实施例的增强现实中的图像处理装置的框图。

参照图8所示，根据本公开的一个实施例的增强现实中的图像处理装置800，增强现实中的图像处理装置800应用于可呈现交互界面的终端设备，增强现实中的图像处理装置800包括：虚拟空间构建模块801、特定目标获取模块802、虚拟模型构建模块803和三维交互控制模块804。具体地：

虚拟空间构建模块801，用于获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；

特定目标获取模块802，用于获取所述预设区域的图像数据，并识别所述图像数据中的特定目标；

虚拟模型构建模块803，用于根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型；

三维交互控制模块804，用于在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

在本公开的示例性实施例中，所述现实空间为所述终端设备中与所述交互界面相对的一侧所面对的空间，所述预设区域为所述现实空间中与所述图像数据对应的区域。

在本公开的示例性实施例中，虚拟空间构建模块801包括距离检测单元，用于通过第一传感器获取所述现实空间预设区域中的对象与所述终端设备之间的距离信息，并根据所述距离信息构建所述三维虚拟空间。

在本公开的示例性实施例中，距离检测单元包括时间获取单元、距离确定单元和构建单元。具体地：

时间获取单元，用于获取所述第一传感器向所述现实空间预设区域发射探测光线的发射时间及接收被所述现实空间预设区域中的对象反射回来的探测光线的接收时间；

距离确定单元，用于根据所述发射时间和所述接收时间确定所述第一传感器与所述现实空间预设区域中的对象之间的距离信息；

构建单元，用于根据所述距离信息构建所述三维虚拟空间。

在本公开的示例性实施例中，特定目标获取模块802包括图像数据获取单元和图像数据筛选单元。具体地：

图像数据获取单元，用于通过所述终端设备获取所述预设区域的图像数据；

图像数据筛选单元，用于对所述图像数据进行筛选，以获取所述图像数据中的特定目标。

在本公开的示例性实施例中，虚拟模型构建模块803包括映射单元，用于将所述特定目标映射到所述三维虚拟空间中的目标位置上，以形成与所述特定目标对应的三维虚拟模型。

在本公开的示例性实施例中，映射单元包括第一图像数据转换单元，用于根据所述终端设备在所述三维虚拟空间中的位置和预设算法将所述特定目标转换为与所述目标位置匹配的三维图像数据，以形成与所述特定目标对应的三维虚拟模型。

在本公开的示例性实施例中，映射单元包括第二图像数据转换单元，用于根据所述三维虚拟空间的结构和所述终端设备在所述三维虚拟空间中的位置，将所述特定目标转换为位于所述目标位置处的三维图像数据，以形成与所述特定目标对应的三维虚拟模型。

在本公开的示例性实施例中，三维交互控制模块804包括指令接收单元和第一控制单元。具体地：

指令接收单元，用于接收用户的交互指令；

第一控制单元，用于响应所述交互指令，并将所述交互指令对应的图像数据映射到所述三维虚拟模型上，以实现所述虚拟对象与所述三维虚拟模型之间的三维交互。

在本公开的示例性实施例中，三维交互控制模块804包括第二控制单元，用于根据所述预设区域的实际变化状态确定所述虚拟对象在所述三维虚拟模型上的状态，以实现所述虚拟对象与所述三维虚拟模型之间的三维交互。

在本公开的示例性实施例中，增强现实中的图像处理装置800还包括位置确定模块805，用于获取所述终端设备在所述现实空间的位置信息，并根据所述位置信息确定所述终端设备在所述三维虚拟空间的第一位置。

在本公开的示例性实施例中，位置确定模块805包括角度检测单元和位置确定单元。具体地：

角度检测单元，用于通过第二传感器获取所述终端设备在所述现实空间中的角度信息；

位置确定单元，用于根据所述角度信息调整所述终端设备，使所述交互界面对应于所述终端设备在所述三维虚拟空间中的拍摄角度，以确定所述第一位置。

在本公开的示例性实施例中，所述三维虚拟空间为三维游戏场景，并且所述虚拟对象与所述三维游戏场景匹配。

在本公开的示例性实施例中，所述终端设备的显示屏幕为透明屏。

应当注意，尽管在上文详细描述中提及了用于执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图2中所示的步骤S210.获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；步骤S220.获取所述预设区域的图像数据，并识别所述图像数据中的特定目标；步骤S230：根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型；步骤S240：在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (15)

1.一种增强现实中的图像处理方法，所述图像处理方法应用于可呈现交互界面的终端设备，其特征在于，包括：

获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；

获取所述预设区域的图像数据，并识别所述图像数据中的特定目标，其中，所述特定目标为与所述现实空间预设区域中的具体对象对应的贴图图像数据；

根据所述终端设备在所述三维虚拟空间中的目标位置和预设算法将所述特定目标转换为与所述目标位置匹配的三维图像数据；或者，

根据所述三维虚拟空间的结构和所述终端设备在所述三维虚拟空间中的目标位置，将所述特定目标转换为位于所述目标位置处的三维图像数据，以形成与所述特定目标对应的三维虚拟模型；

在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

2.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，所述现实空间为所述终端设备中与所述交互界面相对的一侧所面对的空间，所述预设区域为所述现实空间中与所述图像数据对应的区域。

3.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间，包括：

通过第一传感器获取所述预设区域中的对象与所述终端设备之间的距离信息，并根据所述距离信息构建所述三维虚拟空间。

4.根据权利要求3所述的增强现实中的图像处理方法，其特征在于，通过第一传感器获取所述预设区域中的对象与所述终端设备之间的距离信息，并根据所述距离信息构建所述三维虚拟空间，包括：

获取所述第一传感器向所述预设区域发射探测光线的发射时间及接收被所述预设区域中的对象反射回来的探测光线的接收时间；

根据所述发射时间和所述接收时间确定所述第一传感器与所述预设区域中的对象之间的距离信息；

根据所述距离信息构建所述三维虚拟空间。

5.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，获取所述预设区域的图像数据，并识别所述图像数据中的特定目标，包括：

通过所述终端设备获取所述预设区域的图像数据；

对所述图像数据进行筛选，以获取所述图像数据中的特定目标。

6.根据权利要求5所述的增强现实中的图像处理方法，其特征在于，根据所述特定目标在所述三维虚拟空间中构建与所述特定目标对应的三维虚拟模型，包括：

将所述特定目标映射到所述三维虚拟空间中的目标位置上，以形成与所述特定目标对应的三维虚拟模型。

7.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互，包括：

接收用户的交互指令；

响应所述交互指令，并将所述交互指令对应的图像数据映射到所述三维虚拟模型上，以实现所述虚拟对象与所述三维虚拟模型之间的三维交互。

8.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互，包括：

根据所述预设区域的实际变化状态确定所述虚拟对象在所述三维虚拟模型上的状态，以实现所述虚拟对象与所述三维虚拟模型之间的三维交互。

9.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，在获取所述预设区域的图像数据，并识别所述图像数据中的特定目标之前，所述方法还包括：

获取所述终端设备在所述现实空间的位置信息，并根据所述位置信息确定所述终端设备在所述三维虚拟空间的第一位置。

10.根据权利要求9所述的增强现实中的图像处理方法，其特征在于，获取所述终端设备在所述现实空间的位置信息，并根据所述位置信息确定所述终端设备在所述三维虚拟空间的第一位置，包括：

通过第二传感器获取所述终端设备在所述现实空间中的角度信息；

根据所述角度信息调整所述终端设备，使所述交互界面对应于所述终端设备在所述三维虚拟空间中的拍摄角度，以确定所述第一位置。

11.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，所述三维虚拟空间为三维游戏场景，并且所述虚拟对象与所述三维游戏场景匹配。

12.根据权利要求1所述的增强现实中的图像处理方法，其特征在于，所述终端设备的显示屏幕为透明屏。

13.一种增强现实中的图像处理装置，所述图像处理装置应用于可呈现交互界面的终端设备，其特征在于，包括：

虚拟空间构建模块，用于获取现实空间预设区域的深度数据，并根据所述深度数据构建三维虚拟空间；

特定目标获取模块，用于获取所述预设区域的图像数据，并识别所述图像数据中的特定目标，其中，所述特定目标为与所述现实空间预设区域中的具体对象对应的贴图图像数据；

虚拟模型构建模块，用于根据所述终端设备在所述三维虚拟空间中的目标位置和预设算法将所述特定目标转换为与所述目标位置匹配的三维图像数据；或者，根据所述三维虚拟空间的结构和所述终端设备在所述三维虚拟空间中的目标位置，将所述特定目标转换为位于所述目标位置处的三维图像数据，以形成与所述特定目标对应的三维虚拟模型；

三维交互控制模块，用于在所述三维虚拟空间中生成一虚拟对象，控制所述虚拟对象与所述三维虚拟模型进行三维交互。

14.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～12中任意一项所述的增强现实中的图像处理方法。

15.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～12中任意一项所述的增强现实中的图像处理方法。

Images