CN110827411A - 自适应环境的增强现实模型显示方法、装置、设备及存储介质 - Google Patents

Abstract

一种自适应环境的增强现实模型显示方法、装置、设备及存储介质。所述方法包括在真实平面未被识别出前，设置一个虚拟平面，将3D虚拟模型加载在虚拟平面上，在真实平面被识别之后，将虚拟平面切换到被识别出的真实平面。通过该方法能够快速加载虚拟3D模型，提高虚实信息的融合效率，增强用户感官体验。

Description

自适应环境的增强现实模型显示方法、装置、设备及存储介质

技术领域

本发明涉及增强现实技术领域，特别是涉及一种自适应环境的增强现 实模型显示方法、装置、设备及存储介质。

背景技术

增强现实(Augmented Reality，简称AR)，是通过计算机系统提供的信 息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将 计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实 现对现实的增强。它是一种将真实世界信息和虚拟世界信息“无缝”集成 的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体 信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真 后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到 超越现实的感官体验。AR技术可以将真实的环境和虚拟的物体实时地叠加 到了同一个画面或空间同时存在。因此，AR技术被广泛应用于各种领域。

现有增强现实AR系统实现真实图像与虚拟对象的融合过程首先是获取 现实场景的视频帧，对获得的视频帧进行计算处理，获得场景和相机的相 对方位，生成虚拟对象的图形帧，将虚拟对象的图形帧与现实场景的视频 帧进行合成，得到增强现实环境的合成视频帧，输入显存信息，进行显示。

然而，现有技术中在将3D虚拟模型放置到被识别出的真实场景中的平 面，例如放置于桌面，其过程是先识别出真实场景中的桌面平面，再将3D 虚拟模型放置到被识别的桌面平面上给定的位置。然而，现有的AR系统对 低纹理的平面识别速度很慢，例如普通的桌面，其平面光滑，具有低纹理， 在识别此种桌面的平面时速度很慢，从而导致3D虚拟模型的加载时间过长， 现实系统虚实信息的融合效率较低，用户感官体验差。

发明内容

本发明提供一种自适应环境的增强现实模型显示方法；还提供一种自 适应环境的快速增强现实模型显示设备、装置及存储介质。

为了实现上述目的，根据本发明的一个方面，提供以下技术方案：

一种自适应环境的增强现实模型显示方法，包括：获取真实场景视频 图像；针对所述视频图像，在真实场景的真实平面被识别之前，设置一虚 拟平面，并基于所述虚拟平面加载3D虚拟模型；在所述真实平面被识别之 后，将所述虚拟平面切换到被识别出的所述真实平面。

进一步，在所述获取真实场景视频图像之前，包括初始化系统环境， 设置系统参数。

进一步，所述方法包括采用并行处理，同时进行真实平面的识别与虚 拟平面的创建设置。

进一步，所述在真实场景的真实平面被识别之前，设置一虚拟平面包 括：预估真实平面在相机坐标系下的位姿；根据预估的真实平面在相机坐 标系下的位姿，在场景空间中创建配置虚拟平面。

进一步的，所述预估真实平面在相机坐标系下的位姿，包括：根据历 史视频图像识别的真实平面的位姿，作为当前视频图像下的真实平面在相 机坐标系下的位姿。

进一步，所述将所述虚拟平面切换到被识别出的所述真实平面包括： 在所述虚拟平面上标识所述3D虚拟模型的第一位置，标识3D虚拟模型包 围盒的第一外边缘位置；在识别出的所述真实平面上标识所述3D虚拟模型 的第二位置，标识3D虚拟模型包围盒的第二外边缘位置；根据所述第一位 置、第一外边缘位置、第二位置以及第二外边缘位置，将所述3D虚拟模型 由所述虚拟平面切换到所述真实平面。

进一步，所述3D虚拟模型按照计算的缩放比例scale进行缩放，并从 所述虚拟平面平移到所述真实平面，以保证所述3D虚拟模型在屏幕上的显 示大小不变。

为了实现上述目的，根据本发明的另一个方面，提供以下技术方案：

一种自适应环境的快速增强现实模型显示装置，包括：

获取模块：用于获取真实场景视频图像；

设置模块，用于针对所述视频图像，在真实场景的真实平面被识别之 前，设置一虚拟平面，并基于所述虚拟平面加载3D虚拟模型；

切换模块，用于在所述真实平面被识别之后，将所述虚拟平面切换到 被识别出的所述真实平面。

进一步，包括初始化模块，用于在所述获取真实场景视频图像之前， 初始化系统环境，设置系统参数。

进一步，所述装置采用并行处理，同时进行真实平面的识别与虚拟平 面的创建设置。

进一步，所述设置模块在真实场景的真实平面被识别之前，设置一虚 拟平面包括：预估真实平面在相机坐标系下的位姿；根据预估的真实平面 在相机坐标系下的位姿，在场景空间中创建配置虚拟平面。

进一步的，所述预估真实平面在相机坐标系下的位姿，包括：根据历 史视频图像识别的真实平面的位姿，作为当前视频图像下的真实平面在相 机坐标系下的位姿。

进一步，所述切换模块将所述虚拟平面切换到被识别出的所述真实平 面包括：在在所述虚拟平面上标识所述3D虚拟模型的第一位置，标识3D 虚拟模型包围盒的第一外边缘位置；在识别出的所述真实平面上标识所述 3D虚拟模型的第二位置，标识3D虚拟模型包围盒的第二外边缘位置；根据 所述第一位置、第一外边缘位置、第二位置以及第二外边缘位置，将所述 3D虚拟模型由所述虚拟平面切换到所述真实平面。

进一步，所述切换模块将3D虚拟模型按照计算的缩放比例scale进行 缩放，并从所述虚拟平面平移到所述真实平面，以保证所述3D虚拟模型在 屏幕上的显示大小不变。

为了实现上述目的，根据本发明的另一个方面，提供以下技术方案：

一种自适应环境的快速增强现实模型显示设备，包括处理器和存储器， 所述存储器存储计算机可读指令；所述处理器执行所述计算机可读指令实 现上述任一自适应环境的增强现实模型显示方法。

为了实现上述目的，根据本发明的另一个方面，提供以下技术方案：

一种计算机可读存储介质，用于存储计算机可读指令，所述计算机可 读指令由计算机执行时，使得所述计算机实现上述任一所述自适应环境的 增强现实模型显示方法。

本发明实施例提供一种自适应环境的增强现实模型显示方法、自适应 环境的快速增强现实模型显示装置、自适应环境的快速增强现实模型显示 设备、以及计算机可读存储介质。其中，自适应环境的增强现实模型显示 方法包括获取真实场景视频图像；针对所述视频图像，在真实场景的真实 平面被识别之前，设置一虚拟平面，并基于所述虚拟平面加载3D虚拟模型； 在所述真实平面被识别之后，将虚拟平面切换到被识别出的所述真实平面。

上述说明仅是本发明技术方案的概述，为了能更清楚了解本发明的技 术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他 目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详 细说明如下。

附图说明

图1为根据本发明一个实施例的自适应环境的增强现实模型显示方法 流程示意图；

图2为根据本发明另一个实施例的自适应环境的增强现实模型显示方 法流程示意图；

图3为根据本发明一个实施例的自适应环境的增强现实模型显示方法 操作示意图；

图4为根据本发明另一个实施例的自适应环境的增强现实模型显示方 法流程示意图；

图5为根据本发明一个实施例的自适应环境的快速增强现实模型显示 装置的结构示意图；

图6为根据本发明一个实施例的自适应环境的快速增强现实模型显示 设备的结构示意图；

图7为根据本公开一个实施例的计算机可读存储介质的结构示意图。

图8为根据本公开一个实施例的自适应环境的增强现实模型显示终端 的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可 由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然，所 描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明 还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项 细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修 饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种 方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本 文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明，所属领 域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地 实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可 使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性 实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发 明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时 的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例 可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而， 所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方 面。

为了解决如何提高虚实信息的融合效率，增强用户感官体验的技术问 题，本发明实施例提供一种自适应环境的增强现实模型显示方法。如图1 所示，该自适应环境的增强现实模型显示方法主要包括如下步骤：

步骤S1：获取真实场景视频图像。

其中，首先初始化图形系统环境，图形系统环境初始化的目标是设置 能够支持二维图形和三维图形的绘图环境，包括取得设置显示模式、设置 显示参数列表、显示设备、创建显示表面、设置显示表面参数、设置视点 位置和视平面等。

图形系统一般采用相机、摄像机等图像获取设备摄取真实场景视频图 像。相机、摄像机的内部参数是指摄像头相机的焦距和形变等内部固有参 数，该参数确定了相机的投影变换矩阵，取决于相机本身的属性，所以对 同一个相机来说其内部参数是恒定不变的。相机内部参数是通过一个独立 的相机校准程序事先获得的，这里所做的是将这组参数读取到内存中。

通过相机、摄像机抓取视频图像，并将该视频图像进行相应的处理， 例如缩放、灰度处理、二值化、轮廓提取等。

步骤S2：针对所述视频图像，在真实场景的真实平面被识别之前，设 置一虚拟平面，并基于所述虚拟平面加载3D虚拟模型。

其中，真实平面的识别与虚拟平面的创建设置既可以同时进行，也可 以先识别真实平面再创建虚拟平面，或先创建虚拟平面再识别真实平面。 为了进一步提高虚实信息的融合效率，采用并行处理，同时进行真实平面 的识别与虚拟平面的创建设置。

其中，真实平面的识别，既可以将真实场景中的全部平面一次性识别， 也可以逐一识别，或者根据虚拟对象的勾画需要，将所需的平面识别。

其中，在一个实施例中，虚拟平面的创建设置方法如图2的流程图所 示：

步骤S21：预估真实平面在相机坐标系下的位姿；

相机坐标系是指以光轴与图像平面的交点为图像坐标系的原点所构成 的直角坐标系。

其中，在一个实施例中，根据预先设定的真实平面的位置信息来估算 其在相机坐标系下的位姿；

在另一个实施例中，根据历史视频图像识别的真实平面的位置信息来 估算当前视频图像下的真实平面在相机坐标系下的位姿；

在另一个实施例中，根据真实场景下的其他对象的位置信息来估算真 实平面在相机坐标系下的位姿；

步骤S22：根据预估的真实平面在相机坐标系下的位姿，在场景空间中 创建配置虚拟平面。

通常情况下，根据预估的真实平面的位姿信息，在场景空间中所创建 配置的虚拟平面与被识别的真实平面平行。

其中，如图3所示，坐标点A，B所在的平面为在相机坐标系下的场景 空间中创建配置的虚拟平面。其中，坐标点O为相机或手机等摄像设备位 置。坐标点A，B所在的虚拟平面与坐标点C，D所在的被识别的真实平面 平行。

步骤S3：在所述真实平面被识别之后，将虚拟平面切换到被识别出的 所述真实平面。

其中，在一个实施例中，将虚拟平面切换到被识别出的所述真实平面 的方法如图4流程图所示：

步骤S41：在虚拟平面上标识3D虚拟模型的第一位置，标识3D虚拟模 型包围盒的第一外边缘位置；

其中，3D虚拟模型相对于真实平面和虚拟平面的位姿通常由系统内置 (例如直接放在平面原点)，或由用户指定。因此，根据3D虚拟模型相对 于虚拟平面的位姿信息，基于虚拟平面进行3D虚拟模型的位置和3D虚拟 模型包围盒外边缘位置的标识。

如图3所示，坐标点A为虚拟平面上的3D虚拟模型的位置；坐标点B 为虚拟平面上的3D虚拟模型包围盒外边缘位置。

步骤S42：在识别出的真实平面上标识3D虚拟模型的第二位置，标识 3D虚拟模型包围盒的第二外边缘位置；

其中，在一个实施例中，3D虚拟模型相对于真实平面和虚拟平面的位 姿通常由系统内置(例如直接放在平面原点)，或由用户指定。因此，根 据3D虚拟模型相对于真实平面的位姿信息，基于真实平面进行3D虚拟模 型的位置和3D虚拟模型包围盒外边缘位置的标识。

在另一个实施例中，如图3所述，已知摄像设备(如相机，手机等) 位置坐标点O，虚拟平面上的3D虚拟模型的坐标点A，3D虚拟模型包围盒 外边缘坐标点B，虚拟平面的位置，以及已检测到的真实平面的位置。通过 连接坐标点OA射线，计算该OA射线与真实平面的交点坐标C，将该坐标点 C识别为真实平面上的3D虚拟模型的位置；同理，连接坐标点OB射线，计 算该OB射线与真实平面的交点坐标D，将该坐标点D识别为真实平面上的 3D虚拟模型包围盒外边缘位置。

通过上述方法操作，如图3所示，坐标点C为真实平面上的3D虚拟模 型的位置；坐标点D为3D虚拟模型包围盒外边缘位置。

步骤S43：将3D虚拟模型由虚拟平面切换到真实平面。

其中，由于虚拟平面与真实平面平行，因此坐标点A，B之间的线段AB 与坐标点C，D之间的线段CD平行，根据此可以推出三角形OCD与三角形 OAB相似，因此，存在如下关系：AB/CD＝OA/OC＝OB/OD，进而可以计算得出 3D虚拟模型从虚拟平面切换到真实平面的缩放比例scale＝AB/CD，将3D 虚拟模型按照缩放比例scale进行缩放，并从虚拟平面平移到真实平面， 能够保证3D虚拟模型在屏幕上的显示大小不变，完成3D虚拟模型由虚拟 平面到真实平面的切换。

在上述方法中，真实平面的识别能够采用多种方法，利用即时定位与 地图重建(Simultaneous Localization And Mapping，SLAM)算法检测出 世界坐标系下的平面位姿和相机位姿。其中，位姿信息(pose)包括位置 (三维坐标)、姿态(分别绕X、Y、Z三轴的旋转角度)，通常用位姿矩阵 表示。

在一个实施例中，采用基于特征点对齐的方法进行真实平面的检测识 别，通过提取视频帧图像中离散的特征点，例如SIFT，SURF，FAST，ORB 等特征，匹配相邻图像间的特征点，通过匹配的特征点计算相机的位姿增 量并利用三角测量技术恢复得到特征点的三维坐标。假定提取得到的特征 点大多数都位于同一个平面中，利用提取得到的FAST角点通过RANSAC算 法估计场景的各平面。

在一个实施例中，采用基于图像对齐的方法进行真实平面的检测识别， 通过视频帧图像的前一帧和当前帧之间所有像素点进行直接的对齐操作， 利用图像上所有的像素点信息求解相邻帧的相机位姿增量，恢复图像中像 素点的深度信息，从而得到真实平面。

在一个实施例中，将视频帧图像转换成三维点云形式，完成单帧三维 点云重构；利用SURF特征描述子对相邻两帧图像进行特征提取，采用欧式 距离作为相似性度量，采用PnP求解得到相邻两帧三维点云的初步旋转矩 阵；采用VoxelGrid滤波器对重构出的各帧点云进行降采样，采用RANSAC 算法从各帧三维点云中提取平面位姿；利用从各帧三维点云提取的平面位 姿确定各真实平面位置。

在一个实施例中，提取摄像装置所采集的图像信息的图像特征点，并 利用其上安装的惯性测量单位IMU，获取摄像装置的姿态信息以及图像信息 中的图像特征点在世界坐标系中的位置。同时，根据摄像装置的姿态信息， 确定图像信息的旋转角度，进而根据图像信息的旋转角度和图像特征点的 位置，采用SLAM算法识别真实平面。

为了解决如何增强用户真实性感官体验效果的技术问题，本发明实施 例提供一种自适应环境的快速增强现实模型显示装置50。该装置可以执行 上述一种自适应环境的增强现实模型显示方法实施例中所述的步骤。如图5 所示，该装置50主要包括：获取模块51，设置模块52和切换模块53。

其中，获取模块51，用于获取真实场景视频图像。

一般基于图形系统实现获取模块。

其中，首先初始化图形系统环境，图形系统环境初始化的目标是设置 能够支持二维图形和三维图形的绘图环境，包括取得设置显示模式、设置 显示参数列表、显示设备、创建显示表面、设置显示表面参数、设置视点 位置和视平面等。

图形系统一般采用相机、摄像机等图像获取设备摄取真实场景视频图 像。相机、摄像机的内部参数是指摄像头相机的焦距和形变等内部固有参 数，该参数确定了相机的投影变换矩阵，取决于相机本身的属性，所以对 同一个相机来说其内部参数是恒定不变的。相机内部参数是通过一个独立 的相机校准程序事先获得的，这里所做的是将这组参数读取到内存中。

通过相机、摄像机抓取视频图像，并将该视频图像进行相应的处理， 例如缩放、灰度处理、二值化、轮廓提取等。

其中，设置模块52，用于针对所述视频图像，在真实场景的真实平面 被识别之前，设置一虚拟平面，并基于所述虚拟平面加载3D虚拟模型。

其中，真实平面的识别与虚拟平面的创建设置既可以同时进行，也可 以先识别真实平面再创建虚拟平面，或先创建虚拟平面再识别真实平面。 为了进一步提高虚实信息的融合效率，采用并行处理，同时进行真实平面 的识别与虚拟平面的创建设置。

其中，真实平面的识别，既可以将真实场景中的全部平面一次性识别， 也可以逐一识别，或者根据虚拟对象的勾画需要，将所需的平面识别。

其中，在一个实施例中，虚拟平面的创建设置方法如图2的流程图所 示：

步骤S21：预估真实平面在相机坐标系下的位姿；

其中，在一个实施例中，根据预先设定的真实平面的位置信息来估算 其在相机坐标系下的位姿；

在另一个实施例中，根据历史视频图像识别的真实平面的位置信息来 估算当前视频图像下的真实平面在相机坐标系下的位姿；

在另一个实施例中，根据真实场景下的其他对象的位置信息来估算真 实平面在相机坐标系下的位姿；

步骤S22：根据预估的真实平面在相机坐标系下的位姿，在场景空间中 创建配置虚拟平面。

通常情况下，根据预估的真实平面的位姿信息，在场景空间中所创建 配置的虚拟平面与被识别的真实平面平行。

其中，如图3所示，坐标点A，B所在的平面为在相机坐标系下的场景 空间中创建配置的虚拟平面。其中，坐标点O为相机或手机等摄像设备位 置。坐标点A，B所在的虚拟平面与坐标点C，D所在的被识别的真实平面 平行。

其中，切换模块53，用于在所述真实平面被识别之后，将虚拟平面切 换到被识别出的所述真实平面。

其中，在一个实施例中，将虚拟平面切换到被识别出的所述真实平面 的方法如图4流程图所示：

步骤S41：在虚拟平面上标识3D虚拟模型的位置，标识3D虚拟模型包 围盒外边缘位置；

其中，3D虚拟模型相对于真实平面和虚拟平面的位姿通常由系统内置 (例如直接放在平面原点)，或由用户指定。因此，根据3D虚拟模型相对 于虚拟平面的位姿信息，基于虚拟平面进行3D虚拟模型的位置和3D虚拟 模型包围盒外边缘位置的标识。

如图3所示，坐标点A为虚拟平面上的3D虚拟模型的位置；坐标点B 为虚拟平面上的3D虚拟模型包围盒外边缘位置。

步骤S42：在识别出的真实平面上标识3D虚拟模型的位置，标识3D虚 拟模型包围盒外边缘位置；

其中，在一个实施例中，3D虚拟模型相对于真实平面和虚拟平面的位 姿通常由系统内置(例如直接放在平面原点)，或由用户指定。因此，根 据3D虚拟模型相对于真实平面的位姿信息，基于真实平面进行3D虚拟模 型的位置和3D虚拟模型包围盒外边缘位置的标识。

在另一个实施例中，如图3所述，已知摄像设备(如相机，手机等) 位置坐标点O，虚拟平面上的3D虚拟模型的坐标点A，3D虚拟模型包围盒 外边缘坐标点B，虚拟平面的位置，以及已检测到的真实平面的位置。通过 连接坐标点OA射线，计算该OA射线与真实平面的交点坐标C，将该坐标点 C识别为真实平面上的3D虚拟模型的位置；同理，连接坐标点OB射线，计 算该OB射线与真实平面的交点坐标D，将该坐标点D识别为真实平面上的 3D虚拟模型包围盒外边缘位置。

通过上述方法操作，如图3所示，坐标点C为真实平面上的3D虚拟模 型的位置；坐标点D为3D虚拟模型包围盒外边缘位置。

步骤S43：将3D虚拟模型由虚拟平面切换到真实平面。

其中，由于虚拟平面与真实平面平行，因此坐标点A，B之间的线段AB 与坐标点C，D之间的线段CD平行，根据此可以推出三角形OCD与三角形 OAB相似，因此，存在如下关系：AB/CD＝OA/OC＝OB/OD，进而可以计算得出 3D虚拟模型从虚拟平面切换到真实平面的缩放比例scale＝AB/CD，将3D 虚拟模型按照缩放比例scale进行缩放，并从虚拟平面平移到真实平面， 能够保证3D虚拟模型在屏幕上的显示大小不变，完成3D虚拟模型由虚拟 平面到真实平面的切换。

在上述方法中，真实平面的识别能够采用多种方法，利用即时定位与 地图重建(Simultaneous Localization And Mapping，SLAM)算法检测出 世界坐标系下的平面位姿和相机位姿。其中，位姿信息(pose)包括位置(三维坐标)、姿态(分别绕X、Y、Z三轴的旋转角度)，通常用位姿矩阵 表示。

在一个实施例中，采用基于特征点对齐的方法进行真实平面的检测识 别，通过提取视频帧图像中离散的特征点，例如SIFT，SURF，FAST，ORB 等特征，匹配相邻图像间的特征点，通过匹配的特征点计算相机的位姿增 量并利用三角测量技术恢复得到特征点的三维坐标。假定提取得到的特征 点大多数都位于同一个平面中，利用提取得到的FAST角点通过RANSAC算 法估计场景的各平面。

在一个实施例中，采用基于图像对齐的方法进行真实平面的检测识别， 通过视频帧图像的前一帧和当前帧之间所有像素点进行直接的对齐操作， 利用图像上所有的像素点信息求解相邻帧的相机位姿增量，恢复图像中像 素点的深度信息，从而得到真实平面。

在一个实施例中，将视频帧图像转换成三维点云形式，完成单帧三维 点云重构；利用SURF特征描述子对相邻两帧图像进行特征提取，采用欧式 距离作为相似性度量，采用PnP求解得到相邻两帧三维点云的初步旋转矩 阵；采用VoxelGrid滤波器对重构出的各帧点云进行降采样，采用RANSAC 算法从各帧三维点云中提取平面位姿；利用从各帧三维点云提取的平面位 姿确定各真实平面位置。

在一个实施例中，提取摄像装置所采集的图像信息的图像特征点，并 利用其上安装的惯性测量单位IMU，获取摄像装置的姿态信息以及图像信息 中的图像特征点在世界坐标系中的位置。同时，根据摄像装置的姿态信息， 确定图像信息的旋转角度，进而根据图像信息的旋转角度和图像特征点的 位置，采用SLAM算法识别真实平面。

图6是根据本发明的实施例的自适应环境的快速增强现实模型显示设 备的硬件框图。如图6所示，根据本发明实施例的自适应环境的快速增强 现实模型显示设备60包括存储器61和处理器62。

该存储器61用于存储非暂时性计算机可读指令。具体地，存储器61 可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形 式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易 失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、 闪存等。

该处理器62可以是中央处理单元(CPU)或者具有数据处理能力和/或 指令执行能力的其它形式的处理单元，并且可以控制自适应环境的快速增 强现实模型显示设备60中的其它组件以执行期望的功能。在本发明的一个 实施例中，该处理器62用于运行该存储器61中存储的该计算机可读指令， 使得该自适应环境的快速增强现实模型显示设备60执行前述的本发明各实 施例的自适应环境的增强现实模型显示方法的全部或部分步骤。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技 术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些 公知的结构也应包含在本发明的保护范围之内。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此 不再赘述。

图7是图示根据本公开的实施例的计算机可读存储介质的示意图。如 图7所示，根据本公开实施例的计算机可读存储介质70，其上存储有非暂 时性计算机可读指令71。当该非暂时性计算机可读指令71由处理器运行时， 执行前述的本公开各实施例的自适应环境的增强现实模型显示方法的全部 或部分步骤。

上述计算机可读存储介质包括但不限于：光存储介质(例如：CD－ROM 和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬 盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有 内置ROM的媒体(例如：ROM盒)。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此 不再赘述。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此 不再赘述。

图8是图示根据本公开实施例的自适应环境的快速增强现实模型显示 终端的硬件结构示意图。如图8所示，该自适应环境的快速增强现实模型 显示终端80包括上述图像生成装置实施例。

该终端设备可以以各种形式来实施，本公开中的终端设备可以包括但 不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个 人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装 置、车载终端设备、车载自适应环境的快速增强现实模型显示终端、车载 电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定 终端设备。

作为等同替换的实施方式，该终端还可以包括其他组件。如图8所示， 该图像特效处理终端80可以包括电源单元81、无线通信单元82、A/V(音 频/视频)输入单元83、用户输入单元84、感测单元85、接口单元86、控 制器87、输出单元88和存储单元89等等。图8示出了具有各种组件的终 端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施 更多或更少的组件。

其中，无线通信单元82允许终端80与无线通信系统或网络之间的无 线电通信。A/V输入单元83用于接收音频或视频信号。用户输入单元84可 以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测 单元85检测终端80的当前状态、终端80的位置、用户对于终端80的触 摸输入的有无、终端80的取向、终端80的加速或减速移动和方向等等， 并且生成用于控制终端80的操作的命令或信号。接口单元86用作至少一 个外部装置与终端80连接可以通过的接口。输出单元88被构造为以视觉、 音频和/或触觉方式提供输出信号。存储单元89可以存储由控制器87执行 的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要 输出的数据。存储单元89可以包括至少一种类型的存储介质。而且，终端 80可以与通过网络连接执行存储单元89的存储功能的网络存储装置协作。 控制器77通常控制终端设备的总体操作。另外，控制器87可以包括用于 再现或回放多媒体数据的多媒体模块。控制器87可以执行模式识别处理， 以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电 源单元81在控制器87的控制下接收外部电力或内部电力并且提供操作各 元件和组件所需的适当的电力。

本公开提出的图像生成方法的各种实施方式可以以使用例如计算机软 件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开 提出的图像生成方法的各种实施方式可以通过使用特定用途集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程 逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来 实施，在一些情况下，本公开提出的图像生成方法的各种实施方式可以在 控制器87中实施。对于软件实施，本公开提出的图像生成方法的各种实施 方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件 代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施， 软件代码可以存储在存储单元89中并且由控制器87执行。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此 不再赘述。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是， 在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些 优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开 的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节 并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例 子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配 置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这 些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的 词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下 文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”， 且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或” 指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B 或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的” 不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以 分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技 术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上 所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。 可以根据与在此所述的相应方面进行基本相同的功能或者实现基本相同的 结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手 段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机 器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或 者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显 而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开 的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此 公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将 本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方 面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添 加和子组合。

Claims (10)

1.一种自适应环境的增强现实模型显示方法，其特征在于，包括：

获取真实场景的视频图像；

针对所述视频图像，在真实场景的真实平面被识别出之前，设置虚拟平面，并基于所述虚拟平面加载3D虚拟模型；

在所述真实平面被识别出之后，将所述虚拟平面切换到被识别出的所述真实平面。

2.如权利要求1所述的自适应环境的增强现实模型显示方法，其特征在于，在所述获取真实场景的视频图像之前，进一步包括初始化系统环境，设置系统参数。

3.如权利要求1所述的自适应环境的增强现实模型显示方法，其特征在于，所述方法进一步包括采用并行处理，同时进行真实平面的识别与虚拟平面的创建设置。

4.如权利要求1所述的自适应环境的增强现实模型显示方法，其特征在于，所述在真实场景的真实平面被识别之前，设置一虚拟平面，进一步包括：

预估真实平面在相机坐标系下的位姿；

根据预估的真实平面在相机坐标系下的位姿，在场景空间中设置虚拟平面。

5.如权利要求4所述的自适应环境的增强现实模型显示方法，其特征在于，所述预估真实平面在相机坐标系下的位姿，包括：

根据历史视频图像识别的真实平面的位姿，作为当前视频图像下的真实平面在相机坐标系下的位姿。

6.如权利要求1所述的自适应环境的增强现实模型显示方法，其特征在于，所述将所述虚拟平面切换到被识别出的所述真实平面进一步包括：

在所述虚拟平面上标识所述3D虚拟模型的第一位置，标识3D虚拟模型包围盒的第一外边缘位置；

在识别出的所述真实平面上标识所述3D虚拟模型的第二位置，标识3D虚拟模型包围盒的第二外边缘位置；

根据所述第一位置、第一外边缘位置、第二位置以及第二外边缘位置，将所述3D虚拟模型由所述虚拟平面切换到所述真实平面。

7.如权利要求6所述的自适应环境的增强现实模型显示方法，其特征在于，所述3D虚拟模型按照计算的缩放比例进行缩放，并从所述虚拟平面平移到所述真实平面，以保证所述3D虚拟模型在屏幕上的显示大小不变。

8.一种自适应环境的快速增强现实模型显示装置，其特征在于，包括：

获取模块：用于获取真实场景视频图像；

设置模块，用于针对所述视频图像，在真实场景的真实平面被识别之前，设置一虚拟平面，并基于所述虚拟平面加载3D虚拟模型；

切换模块，用于在所述真实平面被识别之后，将所述虚拟平面切换到被识别出的所述真实平面。

9.一种自适应环境的快速增强现实模型显示设备，包括处理器和存储器，其特征在于，所述存储器存储计算机可读指令；所述处理器执行所述计算机可读指令实现根据权利要求1-7中任意一项所述的自适应环境的增强现实模型显示方法。

10.一种计算机可读存储介质，用于存储计算机可读指令，所述计算机可读指令由计算机执行时，使得所述计算机实现权利要求1-7中任意一项所述自适应环境的增强现实模型显示方法。

Images