CN108961423A - 虚拟信息处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种虚拟信息处理方法、装置、设备及存储介质。该方法包括：获取拍摄装置在前一时刻采集的第一图像信息；获取该第一图像信息中的特征点，并确定特征点在空间中对应的三维坐标点；对第一图像信息中的特征点进行跟踪，确定该特征点在该拍摄装置当前时刻采集的第二图像信息中的位置信息；根据该特征点在空间中对应的三维坐标点和该特征点在该第二图像信息中的位置信息，确定位于该空间中的目标平面；根据该拍摄装置的镜头光轴与该目标平面的交点建立三维坐标系；根据该三维坐标系，在第二图像信息中叠加虚拟信息。本发明实施例使得终端设备在拍摄功能启动后可以很快的在拍摄预览界面中渲染出稳定的虚拟信息，从而提高了用户体验。

Description

虚拟信息处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种虚拟信息处理方法、装置、设备及存储介质。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

在现有的增强现实AR技术中，当终端设备的拍摄功能启动时，该终端设备需要从三维空间中选取一个地图点，并在该地图点上建立一个三轴坐标系，终端设备在拍摄预览界面中渲染出的虚拟信息都是相对于该三轴坐标系建立的。

由于终端设备的拍摄功能在刚启动时，该终端设备选取的地图点是不稳定的，另外，在终端设备移动的过程中，该地图点的位置也是会变化的，导致终端设备在拍摄预览界面中渲染出的虚拟信息也是不稳定的，使得终端设备在拍摄功能启动较长时间后的才能在拍摄预览界面中渲染出稳定的虚拟信息，从而导致用户体验不好。

发明内容

本发明实施例提供一种虚拟信息处理方法、装置、设备及存储介质，以使终端设备在拍摄功能启动后可以很快的在拍摄预览界面中渲染出稳定的虚拟信息，从而提高用户体验。

第一方面，本发明实施例提供一种虚拟信息处理方法，包括：

获取拍摄装置在前一时刻采集的第一图像信息；

获取所述第一图像信息中的特征点，并确定所述特征点在空间中对应的三维坐标点；

对所述第一图像信息中的特征点进行跟踪，确定所述特征点在所述拍摄装置当前时刻采集的第二图像信息中的位置信息；

根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面；

根据所述拍摄装置的镜头光轴与所述目标平面的交点建立三维坐标系；

根据所述三维坐标系，在所述第二图像信息中叠加虚拟信息，所述虚拟信息相对于所述三维坐标系的位置固定。

第二方面，本发明实施例提供一种虚拟信息处理装置，包括：

获取模块，用于获取拍摄装置在前一时刻采集的第一图像信息；获取所述第一图像信息中的特征点；

第一确定模块，用于确定所述特征点在空间中对应的三维坐标点；

第二确定模块，用于对所述第一图像信息中的特征点进行跟踪，确定所述特征点在所述拍摄装置当前时刻采集的第二图像信息中的位置信息；

第三确定模块，用于根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面；

三维坐标系建立模块，用于根据所述拍摄装置的镜头光轴与所述目标平面的交点建立三维坐标系；

叠加模块，用于根据所述三维坐标系，在所述第二图像信息中叠加虚拟信息，所述虚拟信息相对于所述三维坐标系的位置固定。

第三方面，本发明实施例提供一种终端设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

本发明实施例提供的虚拟信息处理方法、装置、设备及存储介质，通过终端设备获取拍摄装置在前一时刻采集的第一图像信息，获取所述第一图像信息中的特征点，并确定所述特征点在空间中对应的三维坐标点，根据所述特征点在空间中对应的三维坐标点和所述特征点在当前时刻采集的第二图像信息中的位置信息，确定位于所述空间中的目标平面，以拍摄装置的镜头光轴与所述目标平面的交点为原点建立三维坐标系，根据该三维坐标系在所述第二图像信息中叠加虚拟信息，使得终端设备根据拍摄装置开始采集的几帧图像得到的一些三维坐标点就可以构建出一个目标平面，并根据镜头光轴与所述目标平面的交点建立三维坐标系，而不需要等待三维坐标点稳定后，从中挑选一个非常稳定的地图点来建立三维坐标系，从而提高了三维坐标系的建立速度，使得终端设备在拍摄功能启动后可以很快的在拍摄预览界面中渲染出稳定的虚拟信息，从而提高了用户体验。

附图说明

图1为本发明实施例提供的虚拟信息处理方法流程图；

图2为本发明实施例提供的一种图像信息的示意图；

图3为本发明实施例提供的另一种图像信息的示意图；

图4为本发明实施例提供的另一种图像信息的示意图；

图5为本发明另一实施例提供的虚拟信息处理方法流程图；

图6为本发明实施例提供的另一种图像信息的示意图；

图7为本发明另一实施例提供的虚拟信息处理方法流程图；

图8为本发明实施例提供的虚拟信息处理装置的结构示意图；

图9为本发明实施例提供的终端设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本发明提供的虚拟信息处理方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例提供的虚拟信息处理方法流程图。本发明实施例针对现有技术的如上技术问题，提供了虚拟信息处理方法，该方法具体步骤如下：

步骤101、获取拍摄装置在前一时刻采集的第一图像信息。

在本实施例中，拍摄装置可以是具有拍摄功能的终端设备例如手机、平板电脑、相机等设备的摄像头。以手机的摄像头为例，手机可通过摄像头拍摄获得真实世界中目标物体的图像信息，也可以通过摄像头实时捕捉真实世界中目标物体的图像信息，并将该图像信息显示在拍摄预览界面中。如图2所示，11表示手机的摄像头在t-1时刻采集的目标物体的图像信息。此处，将t时刻记为当前时刻，将t-1时刻记为前一时刻，将手机的摄像头在t-1时刻采集的目标物体的图像信息11记为第一图像信息。

步骤102、获取所述第一图像信息中的特征点，并确定所述特征点在空间中对应的三维坐标点。

可以理解，手机具有图像处理功能，具体的，该手机识别图像信息11中的特征点，并确定该特征点在该图像信息11中的二维坐标、以及该特征点在空间中对应的三维坐标点。如图2所示，该手机识别出图像信息11中的特征点包括点a、点b、点c、点d，并确定点a、点b、点c、点d在图像信息11中的二维坐标，以及点a、点b、点c、点d在空间中分别对应的三维坐标点例如点a1、点b1、点c1、点d1。此处只是示意性说明，并不限定图像信息11中特征点的个数。

步骤103、对所述第一图像信息中的特征点进行跟踪，确定所述特征点在所述拍摄装置当前时刻采集的第二图像信息中的位置信息。

如图2所示，13表示手机的摄像头在t时刻采集的目标物体的图像信息,此处，将手机的摄像头在t时刻采集的目标物体的图像信息13记为第二图像信息。手机对图像信息11中的特征点例如点a、点b、点c、点d进行跟踪，确定点a、点b、点c、点d在图像信息13中的位置信息，假设点A1是图像信息11中的点a在图像信息13中的跟踪点、点B1是图像信息11中的点b在图像信息13中的跟踪点、点C1是图像信息11中的点c在图像信息13中的跟踪点、点D1是图像信息11中的点d在图像信息13中的跟踪点，则点A1在图像信息13中的位置信息即为点a在图像信息13中的位置信息，点B1在图像信息13中的位置信息即为点b在图像信息13中的位置信息，点C1在图像信息13中的位置信息即为点c在图像信息13中的位置信息，点D1在图像信息13中的位置信息即为点d在图像信息13中的位置信息。

步骤104、根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面。

手机根据特征点例如点a、点b、点c、点d在空间中分别对应的三维坐标点例如点a1、点b1、点c1、点d1、以及点a、点b、点c、点d在图像信息13中的位置信息，可确定出位于空间中的目标平面12。

步骤105、根据所述拍摄装置的镜头光轴与所述目标平面的交点建立三维坐标系。

可以理解，手机的镜头光轴与目标平面12有一个交点，本实施例将该交点记为点O。进一步，手机以该交点即点O为原点建立一个三维坐标系，可选的，该三维坐标系的Z轴方向与重力方向一致，该三维坐标系的X0Y平面与水平面平行，如图2所示。另外，该三维坐标系和目标平面12可以是相互独立的。

在本实施例中，手机还可以将该三维坐标系显示在拍摄预览界面中。如图3所示，手机将该三维坐标系XYZ显示在图像信息11和图像信息13中。当该目标平面12确定后，手机的镜头光轴与该目标平面12的交点例如点O即可确定,该三维坐标系XYZ在拍摄预览界面中的位置也可确定,例如,该三维坐标系XYZ在图像信息11中的位置和该三维坐标系XYZ在图像信息13中的位置一致。

步骤106、根据所述三维坐标系，在所述第二图像信息中叠加虚拟信息，所述虚拟信息相对于所述三维坐标系的位置固定。

在本实施例中，手机还可以根据三维坐标系XYZ在图像信息11或图像信息13中显示虚拟信息，该虚拟信息具体可以是视觉信息例如图形信息，此处以立方体为例进行示意性说明，如图4所示的立方体31。可选的，该虚拟信息例如立方体31相对于三维坐标系XYZ的位置固定，也就是说，该虚拟信息在三维坐标系XYZ中的位置是固定的，当三维坐标系XYZ在图像信息11或图像信息13中的位置发生变化时，该虚拟信息在图像信息11或图像信息13中的位置也会发生变化，但是，该虚拟信息的位置相对于该三维坐标系XYZ的位置是不变的。

本发明实施例通过终端设备获取拍摄装置在前一时刻采集的第一图像信息，获取所述第一图像信息中的特征点，并确定所述特征点在空间中对应的三维坐标点，根据所述特征点在空间中对应的三维坐标点和所述特征点在当前时刻采集的第二图像信息中的位置信息，确定位于所述空间中的目标平面，以拍摄装置的镜头光轴与所述目标平面的交点为原点建立三维坐标系，根据该三维坐标系在所述第二图像信息中叠加虚拟信息，使得终端设备根据拍摄装置开始采集的几帧图像得到的一些三维坐标点就可以构建出一个目标平面，并根据镜头光轴与所述目标平面的交点建立三维坐标系，而不需要等待三维坐标点稳定后，从中挑选一个非常稳定的地图点来建立三维坐标系，从而提高了三维坐标系的建立速度，使得终端设备在拍摄功能启动后可以很快的在拍摄预览界面中渲染出稳定的虚拟信息，从而提高了用户体验。

图5为本发明另一实施例提供的虚拟信息处理方法流程图。在上述实施例的基础上，根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面，具体包括如下步骤：

步骤501、根据所述特征点在空间中对应的三维坐标点，确定所述三维坐标点在所述第二图像信息中的投影点。

在本实施例中，可以将如图2、图3、图4所示的三维坐标点例如点a1、点b1、点c1、点d1投影到图像信息13中得到相应的投影点。如图6所示，以三维坐标点a1为例，将三维坐标点a1投影到图像信息13中可得到投影点A2。

步骤502、根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面。

具体的，手机可根据三维坐标点例如点a1、点b1、点c 1、点d1直接拟合出目标平面12，如果目标平面12拟合的较为准确，则特征点a在图像信息13中的跟踪点A1和三维坐标点a1在图像信息13中的投影点A2之间的距离应该非常小，几乎要重合，也就是说，如果跟踪点A1和投影点A2的距离比较大，大于一定的阈值，说明目标平面12拟合的不够准确，此时可以对目标平面12的位置进行调整，以使跟踪点A1和投影点A2之间的距离尽可能的小。

具体的，所述根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面，包括如图7所示的如下步骤：

步骤701、根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定所述第二图像信息中的所述投影点和所述特征点之间的距离。

如图6所示，特征点a在图像信息13中的位置信息即为跟踪点A1在图像信息13中的位置信息，具体的，根据跟踪点A1在图像信息13中的位置信息和投影点A2在图像信息13中的位置信息，可确定出图像信息13中的跟踪点A1和投影点A2之间的距离。

步骤702、根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面。

具体的，根据图像信息13中的跟踪点A1和投影点A2之间的距离，可确定出目标平面12在空间中的位置。

其中，所述第二图像信息中的所述投影点和所述特征点之间的距离与所述目标平面在所述空间中的位置相关。也就是说，图像信息13中的跟踪点A1和投影点A2之间的距离与目标平面12在空间中的位置是相关的，因此，通过最优化算法使得跟踪点A1和投影点A2之间的距离最小时，即可确定出目标平面12在空间中的位置。

可选的，所述根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面，包括：通过最小二乘法最小化所述第二图像信息中的所述投影点和所述特征点之间的距离，确定所述目标平面在所述空间中的高度。

可以理解，跟踪点A1在图像信息13中的坐标与特征点a在图像信息11中的坐标有关，投影点A2在图像信息13中的坐标与三维坐标点a1的三维坐标有关，由于三维坐标点a1的Z值与目标平面12的Z值即高度一致，则投影点A2在图像信息13中的坐标与目标平面12的Z值即高度有关，从而使得跟踪点A1和投影点A2的距离与目标平面12的Z值有关，为了使得跟踪点A1和投影点A2的距离小于阈值，可以调整目标平面12的高度，本实施例可通过最小二乘法最小化跟踪点A1和投影点A2的距离来确定目标平面12的高度，从而确定出目标平面12在空间中的位置。

本发明实施例通过第一图像信息中特征点对应的三维坐标点在第二图像信息中的投影点，以及该特征点在第二图像信息中的跟踪点，确定所述第二图像信息中所述投影点和所述特征点之间的距离，并根据所述投影点和所述特征点之间的距离，调整目标平面在空间中的位置，提高了目标平面的准确性，使得终端设备根据镜头光轴与所述目标平面的交点建立的三维坐标系更加稳定，进一步提高了终端设备在拍摄预览界面中渲染出的虚拟信息的稳定性。

在上述实施例的基础上，所述虚拟信息处理方法还包括：调整所述第二图像信息中所述虚拟信息的大小，具体包括如下几种可能的情况：

一种可能的情况：根据所述第二图像信息中真实物体的大小，调整所述第二图像信息中所述虚拟信息的大小。

可以理解，手机采集的图像信息11或图像信息13中包括真实物体即真实世界中的目标物体，另外，手机还可以在拍摄预览界面中渲染出的虚拟信息，即在手机采集到的目标物体的图像信息中叠加虚拟信息，以达到增强现实的效果。假设手机在图像信息13中叠加有虚拟信息，当手机相对于该目标物体移动时，手机拍摄预览界面中的目标物体的大小可能会发生变化，为了提高虚拟信息的视觉效果，本实施例可以根据图像信息13中目标物体的大小调整图像信息13中虚拟信息的大小，例如，当图像信息13中目标物体变大时，手机调整图像信息13中虚拟信息也变大。

另一种可能的情况：根据所述特征点在所述第一图像信息中的位置信息，以及所述特征点在所述第二图像信息中的位置信息，确定所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值；根据所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值，以及所述虚拟信息在所述第一图像信息中的大小，调整所述虚拟信息在所述第二图像信息中的大小。

如图4所示，手机将虚拟信息例如立方体31同时显示在图像信息11和图像信息13中，假设图像信息11中的特征点例如点a、点b、点c、点d是真实物体在特征点，则手机根据点a、点b、点c、点d在图像信息11中的位置即可确定出该真实物体在图像信息11中的大小。另外，手机根据跟踪点A1、跟踪点B1、跟踪点C1和跟踪点D1在图像信息13中的位置即可确定出该真实物体在图像信息13中的大小。从而可以计算出该真实物体在图像信息11中的大小和在图像信息13中的大小比例关系，进一步根据该比例关系和虚拟信息例如立方体31在图像信息11中的大小，确定出立方体31在图像信息13中的大小。具体的，如果图像信息13中的真实物体相比于图像信息11中的真实物体变小，则图像信息13中的立方体31相比于图像信息11中的立方体31变小；如果图像信息13中的真实物体相比于图像信息11的真实物体变大，则图像信息13中的立方体31相比于图像信息11中的立方体31变大。

本实施例通过真实物体在图像信息中的大小，调整虚拟信息在图像信息中的大小，使得虚拟信息在图像信息中的大小随着真实物体在图像信息中的大小的变化而变化，即时由于算法估计的位姿不准确或者目标平面估计的不好，出现真实物体在画面中的大小发生变化时，虚拟信息的大小也不会在画面中忽大忽小，使得渲染出的虚拟信息在画面中的大小连续变化，不会出现剧烈的大小变化，进一步提高了用户体验。

图8为本发明实施例提供的虚拟信息处理装置的结构示意图。该虚拟信息处理装置具体可以是上述实施例中的终端设备。本发明实施例提供的虚拟信息处理装置可以执行虚拟信息处理方法实施例提供的处理流程，如图8所示，虚拟信息处理装置80包括：获取模块81、第一确定模块82、第二确定模块83、第三确定模块84、三维坐标系建立模块85和叠加模块86；其中，获取模块81用于获取拍摄装置在前一时刻采集的第一图像信息；获取所述第一图像信息中的特征点；第一确定模块82用于确定所述特征点在空间中对应的三维坐标点；第二确定模块83用于对所述第一图像信息中的特征点进行跟踪，确定所述特征点在所述拍摄装置当前时刻采集的第二图像信息中的位置信息；第三确定模块84用于根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面；三维坐标系建立模块85用于根据所述拍摄装置的镜头光轴与所述目标平面的交点建立三维坐标系；叠加模块86用于根据所述三维坐标系，在所述第二图像信息中叠加虚拟信息，所述虚拟信息相对于所述三维坐标系的位置固定。

可选的，第三确定模块84根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面时，具体用于：根据所述特征点在空间中对应的三维坐标点，确定所述三维坐标点在所述第二图像信息中的投影点；根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面。

可选的，第三确定模块84根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面时，具体用于：根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定所述第二图像信息中的所述投影点和所述特征点之间的距离；根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面；其中，所述第二图像信息中的所述投影点和所述特征点之间的距离与所述目标平面在所述空间中的位置相关。

可选的，第三确定模块84根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面时，具体用于：通过最小二乘法最小化所述第二图像信息中的所述投影点和所述特征点之间的距离，确定所述目标平面在所述空间中的高度。

可选的，虚拟信息处理装置80还包括：调整模块87；调整模块87用于根据所述第二图像信息中真实物体的大小，调整所述第二图像信息中所述虚拟信息的大小。

可选的，虚拟信息处理装置80还包括：第四确定模块88，第四确定模块88用于根据所述特征点在所述第一图像信息中的位置信息，以及所述特征点在所述第二图像信息中的位置信息，确定所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值；调整模块87用于根据所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值，以及所述虚拟信息在所述第一图像信息中的大小，调整所述虚拟信息在所述第二图像信息中的大小。

图8所示实施例的虚拟信息处理装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9为本发明实施例提供的终端设备的结构示意图。本发明实施例提供的终端设备可以执行虚拟信息处理方法实施例提供的处理流程，如图9所示，终端设备90包括存储器91、处理器92、计算机程序和通讯接口93；其中，计算机程序存储在存储器91中，并被配置为由处理器92执行以上实施例所述的虚拟信息处理方法。

图9所示实施例的终端设备可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的虚拟信息处理方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种虚拟信息处理方法，其特征在于，包括：

获取拍摄装置在前一时刻采集的第一图像信息；

获取所述第一图像信息中的特征点，并确定所述特征点在空间中对应的三维坐标点；

对所述第一图像信息中的特征点进行跟踪，确定所述特征点在所述拍摄装置当前时刻采集的第二图像信息中的位置信息；

根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面；

根据所述拍摄装置的镜头光轴与所述目标平面的交点建立三维坐标系；

根据所述三维坐标系，在所述第二图像信息中叠加虚拟信息，所述虚拟信息相对于所述三维坐标系的位置固定。

2.根据权利要求1所述的方法，其特征在于，所述根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面，包括：

根据所述特征点在空间中对应的三维坐标点，确定所述三维坐标点在所述第二图像信息中的投影点；

根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面。

3.根据权利要求2所述的方法，其特征在于，所述根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面，包括：

根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定所述第二图像信息中的所述投影点和所述特征点之间的距离；

根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面；

其中，所述第二图像信息中的所述投影点和所述特征点之间的距离与所述目标平面在所述空间中的位置相关。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面，包括：

通过最小二乘法最小化所述第二图像信息中的所述投影点和所述特征点之间的距离，确定所述目标平面在所述空间中的高度。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

根据所述第二图像信息中真实物体的大小，调整所述第二图像信息中所述虚拟信息的大小。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

根据所述特征点在所述第一图像信息中的位置信息，以及所述特征点在所述第二图像信息中的位置信息，确定所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值；

根据所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值，以及所述虚拟信息在所述第一图像信息中的大小，调整所述虚拟信息在所述第二图像信息中的大小。

7.一种虚拟信息处理装置，其特征在于，包括：

获取模块，用于获取拍摄装置在前一时刻采集的第一图像信息；获取所述第一图像信息中的特征点；

第一确定模块，用于确定所述特征点在空间中对应的三维坐标点；

第二确定模块，用于对所述第一图像信息中的特征点进行跟踪，确定所述特征点在所述拍摄装置当前时刻采集的第二图像信息中的位置信息；

第三确定模块，用于根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面；

三维坐标系建立模块，用于根据所述拍摄装置的镜头光轴与所述目标平面的交点建立三维坐标系；

叠加模块，用于根据所述三维坐标系，在所述第二图像信息中叠加虚拟信息，所述虚拟信息相对于所述三维坐标系的位置固定。

8.根据权利要求7所述的虚拟信息处理装置，其特征在于，所述第三确定模块根据所述特征点在空间中对应的三维坐标点和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面时，具体用于：

根据所述特征点在空间中对应的三维坐标点，确定所述三维坐标点在所述第二图像信息中的投影点；

根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面。

9.根据权利要求8所述的虚拟信息处理装置，其特征在于，所述第三确定模块根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定位于所述空间中的目标平面时，具体用于：

根据所述投影点在所述第二图像信息中的位置信息和所述特征点在所述第二图像信息中的位置信息，确定所述第二图像信息中的所述投影点和所述特征点之间的距离；

根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面；

其中，所述第二图像信息中的所述投影点和所述特征点之间的距离与所述目标平面在所述空间中的位置相关。

10.根据权利要求9所述的虚拟信息处理装置，其特征在于，所述第三确定模块根据所述第二图像信息中的所述投影点和所述特征点之间的距离，确定位于所述空间中的目标平面时，具体用于：

通过最小二乘法最小化所述第二图像信息中的所述投影点和所述特征点之间的距离，确定所述目标平面在所述空间中的高度。

11.根据权利要求7-10任一项所述的虚拟信息处理装置，其特征在于，还包括：

调整模块，用于根据所述第二图像信息中真实物体的大小，调整所述第二图像信息中所述虚拟信息的大小。

12.根据权利要求7-10任一项所述的虚拟信息处理装置，其特征在于，还包括：

第四确定模块，用于根据所述特征点在所述第一图像信息中的位置信息，以及所述特征点在所述第二图像信息中的位置信息，确定所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值；

调整模块，用于根据所述第一图像信息中真实物体的大小与所述真实物体在所述第二图像信息中的大小的比值，以及所述虚拟信息在所述第一图像信息中的大小，调整所述虚拟信息在所述第二图像信息中的大小。

13.一种终端设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-6任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-6任一项所述的方法。