CN108171802B - 一种云端与终端结合实现的全景增强现实实现方法 - Google Patents

Abstract

本发明公开了一种云端与终端结合实现的全景增强现实实现方法，包括下列的步骤：步骤1)在云端预置有至少两幅模版图像；步骤2)终端设备上开启摄像头和陀螺仪，并通过摄像头以固定分辨率、固定频率获取真实环境的图像；通过陀螺仪中获取到当前设备的一个姿态的欧拉角；步骤3)终端设备定时从摄像机数据流中截取一帧当前真实环境的图像CP，同时记录陀螺仪的旋转数据GR；将CP和GR上传到云端；云端据此计算出CP中是否有包含模版图像，当云端从CP中识别到了模版图像，会返回识别结果给终端设备；步骤4)终端设备接收云端返回的识别结果将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中。

Description

一种云端与终端结合实现的全景增强现实实现方法

技术领域

本发明属于虚拟显示显示领域，具体涉及一种云端与终端结合实现的全景增强现实实现方法。

背景技术

虚拟增强显示目前是较为热门的技术领域。其中，现有技术方案是使用LBS+陀螺仪+指南针来实现，该技术有以下的缺点：

对目标物体的标注非常不准确，且没有尺度、角度和距离的变化，增强现实效果不好。

发明内容

本发明所要解决的技术问题是提供一种云端与终端结合实现的全景增强现实显示方法，用于解决现有技术的缺点。

本发明解决上述技术问题所采取的技术方案如下：

一种云端与终端结合实现的全景增强现实实现方法，包括下列的步骤：

步骤1)在云端预置有至少两幅模版图像；

步骤2)终端设备上开启摄像头和陀螺仪，并通过摄像头以固定分辨率、固定频率获取真实环境的图像；通过陀螺仪中获取到当前设备的一个姿态的欧拉角，其中，陀螺仪Z轴正方向为摄像机方向；

步骤3)当用户控制终端设备在真实空间随意旋转移动时，终端设备定时从摄像机数据流中截取一帧当前真实环境的图像CP，同时记录陀螺仪的欧拉角GR；将CP和GR上传到云端；

云端据此计算出CP中是否有包含模版图像，当云端从CP中识别到了模版图像，会返回识别结果给终端设备；

步骤4)终端设备接收云端返回的识别结果，如结果中包含图像名、变换矩阵和GR，则认为云端正确识别到了该图像，此时终端设备将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中，用户看到虚拟场景中展示的信息与真实环境中的模版图像完全贴合。

优选的是，步骤2)中，

如终端设备的3D引擎的坐标系和陀螺仪的坐标可能不一致，则根据3D引擎的坐标系进行坐标系的转换，记转换后的欧拉角为GR(α,β,γ)，场景中陀螺仪Z轴正方向为摄像机方向。

优选的是，步骤3)中，云端据此计算出CP中是否有包含模版图像，如有包含可计算出模版图像在CP中的变换矩阵T，T是一个3*4的矩阵，表示模版图像在CP中的旋转和位移；

其中R表示旋转，T表示了位移，t1、t2、t3分别表示在x、y、z轴的位移；当云端从CP中识别到了模版图像，会返回该模版图像名、变换矩阵T和终端设备上传的GR给终端设备。

优选的是，步骤4)中，终端设备将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中，包括：

a:场景中陀螺仪Z轴正方向为摄像机方向，需要获得欧拉角GR在直角坐标系中的Z+轴方向的球坐标方向角

有如下转换关系：

θ＝β；

再取T矩阵中的t3，令r＝t3，结合方向角n构件一个球坐标

再将球坐标OP转换为世界坐标系中的点的坐标WP(x,y,z):

z＝r*cosθ.

最终展示信息在虚拟场景中绘制位置为：P(x+t1,y+t2,z)；

b:变换矩阵T中的旋转信息直接表示了模版图像在CP中的相对旋转，需要叠加上截取这张图片时终端设备的姿态欧拉角GR：

先将变换矩阵T转换为四元数Q1，根据旋转矩阵转四元数的公式：

可得转换后的旋转Q1(q1,q2,q3,q0),为了便于运算再将姿态欧拉角GR转换为四元数的表达方式：

姿态欧拉角GR转换为四元数Q2(x,y,z,w)；定义一个四元数Q3＝(1，0，0，0)，代表绕X轴旋转180度；

最终展示信息在虚拟场景中的旋转为：Q＝Q1*Q2＊Q3。

优选的是，还包括步骤5)：当用户手持终端设备对着周围环境后，相应的展示信息就回如同图像追踪一样，完美的与环境相结合。

本发明采取了上述方案后，具有下列的优点：

1、大大减少终端设备运算量，减少耗电。

2、解决现有全景增强现实应用中标注缺少的尺度、角度等属性，具有更逼真的增强现实效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是本发明云端与终端结合实现的全景增强现实实现方法的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

其中，本发明涉及的技术术语：

云端：即服务器端，终端：即用户设备，如智能手机、平板等，模版图像：预先定一好可识别的图像。

如图1所示，一种云端与终端结合实现的全景增强现实实现方法，其特征在于，包括下列的步骤：

步骤1)在云端预置有至少两幅模版图像；

步骤2)终端设备上开启摄像头和陀螺仪，并通过摄像头以固定分辨率、固定频率获取真实环境的图像；通过陀螺仪中获取到当前设备的一个姿态的欧拉角GR(α,β,γ)，其中，陀螺仪Z轴正方向为摄像机方向；

步骤3)当用户控制终端设备在真实空间随意旋转移动时，终端设备定时从摄像机数据流中截取一帧当前真实环境的图像CP，同时记录陀螺仪的欧拉角GR；将CP和GR上传到云端；

云端据此计算出CP中是否有包含模版图像，当云端从CP中识别到了模版图像，会返回识别结果给终端设备；

步骤4)终端设备接收云端返回的识别结果，如结果中包含图像名、变换矩阵和GR，则认为云端正确识别到了该图像，此时终端设备将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中，用户看到虚拟场景中展示的信息与真实环境中的模版图像完全贴合。

步骤2)中，

如终端设备的3D引擎的坐标系和陀螺仪的坐标可能不一致，则根据3D引擎的坐标系进行坐标系的转换，记转换后的欧拉角为GR(α,β,γ)，场景中陀螺仪Z轴正方向为摄像机方向。

在一个具体实施例中，本发明的详细步骤包括：

1、在云端预置模版图像2张，分别名为A、B。

2、开启终端设备上摄像头和陀螺仪的功能，从摄像头能以固定分辨率(设定为640*480)，固定频率(一般30fps)获取真实环境的图像。从陀螺仪中能够获取到当前设备的一个姿态的欧拉角，某些3D引擎的坐标系和陀螺仪的坐标可能不一致，需要根据3D引擎的坐标系进行坐标系的转换，记转换后的欧拉角为GR(α,β,γ)，场景中陀螺仪Z轴正方向为摄像机方向。

3、当用户控制终端设备在真实空间随意旋转移动时，本方法会一秒一次的定时从摄像机数据流中截取一帧当前真实环境的图像CP，同时记录陀螺仪的欧拉角GR，将CP和GR上传到云端，云端通过计算机视觉相关算法可以计算出CP中是否有包含模版图像，如有包含可计算出模版图像在CP中的变换矩阵T，T是一个3*4的矩阵，表示模版图像在CP中的旋转和位移，如下：

其中R表示旋转，T表示了位移，t1、t2、t3分别表示在x、y、z轴的位移。

其中，当云端从CP中识别到了模版图像，会返回该模版图像名、变换矩阵T和终端设备上传的GR给终端设备。

4、终端设备接收云端返回的识别结果，如结果中包含图像名、变换矩阵和GR，则认为云端正确识别到了该图像，假设为A。此时可将A的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中，用户能看到虚拟场景中展示的信息与真实环境中的模版图像完全贴合。

5、通过T和GR确定在虚拟场景中的绘制位置和旋转的计算方法如下：

a:场景中陀螺仪Z轴正方向为摄像机方向，需要获得欧拉角GR在直角坐标系中的Z+轴方向的球坐标方向角

有如下转换关系：

θ＝β；

再取T矩阵中的t3，令r＝t3，结合方向角n构件一个球坐标

再将球坐标OP转换为世界坐标系中的点的坐标WP(x,y,z):

z＝r*cosθ.

最终展示信息在虚拟场景中绘制位置为：P(x+t1,y+t2,z)；

b:变换矩阵T中的旋转信息直接表示了模版图像在CP中的相对旋转，需要叠加上截取这张图片时终端设备的姿态欧拉角GR：

先将变换矩阵T转换为四元数Q1，根据旋转矩阵转四元数的公式：

可得转换后的旋转Q1(q1,q2,q3,q0),为了便于运算再将姿态欧拉角GR转换为四元数的表达方式：

姿态欧拉角GR转换为四元数Q2(x,y,z,w)。

定义一个四元数Q3＝(1，0，0，0)，代表绕X轴旋转180度。

最终展示信息在虚拟场景中的旋转为：Q＝Q1*Q2＊Q3。

6，当用户手持终端设备对着周围环境后，相应的展示信息就回如同图像追踪一样，完美的与环境相结合。

本发明将复杂的计算机视觉算法计算简化且放在云端进行，大大减少了用户终端的计算量。结合AR叠加和陀螺仪技术，经过本发明的坐标和旋转运算，使增强现实效果更好。

需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种云端与终端结合实现的全景增强现实实现方法，其特征在于，包括下列的步骤：

步骤1)在云端预置有至少两幅模版图像；

步骤2)终端设备上开启摄像头和陀螺仪，并通过摄像头以固定分辨率、固定频率获取真实环境的图像；通过陀螺仪中获取到当前设备的一个姿态的欧拉角GR，其中，陀螺仪Z轴正方向为摄像机方向；

步骤3)当用户控制终端设备在真实空间随意旋转移动时，终端设备定时从摄像机数据流中截取一帧当前真实环境的图像CP，同时记录陀螺仪的欧拉角GR；将CP和GR上传到云端；

云端据此计算出CP中是否有包含模版图像，当云端从CP中识别到了模版图像，会返回识别结果给终端设备；

步骤4)终端设备接收云端返回的识别结果，如结果中包含图像名、旋转矩阵和GR，则认为云端正确识别到了该图像，此时终端设备将相应图像的相关展示信息通过旋转矩阵T和GR计算位置后绘制在3D引擎的虚拟场景中，用户看到虚拟场景中展示的信息与真实环境中的模版图像完全贴合；步骤2)中，

如终端设备的3D引擎的坐标系和陀螺仪的坐标不一致，则根据3D引擎的坐标系进行坐标系的转换，记转换后的欧拉角为GR(α,β,γ)，场景中陀螺仪Z轴正方向为摄像机方向，其中，α,β,γ即转换后的坐标方向；

步骤4)中，终端设备将相应图像的相关展示信息通过T和GR计算位置后绘制在3D引擎的虚拟场景中，包括：

a:场景中陀螺仪Z轴正方向为摄像机方向，需要获得欧拉角GR在直角坐标系中的Z+轴方向的球坐标方向角

有如下转换关系：

θ＝β；

再取T矩阵中的t3，令r＝t3，结合方向角n构件一个球坐标

再将球坐标OP转换为世界坐标系中的点的坐标WP(x,y,z):

z＝r*cosθ.

最终展示信息在虚拟场景中绘制位置为：P(x+t1,y+t2,z)；

b:旋转矩阵T中的旋转信息直接表示了模版图像在CP中的相对旋转，需要叠加上截取这张图片时终端设备的姿态欧拉角GR：

先将旋转矩阵T转换为四元数Q1，根据旋转矩阵转四元数的公式：

可得转换后的旋转Q1(q1,q2,q3,q0),为了便于运算再将姿态欧拉角GR转换为四元数的表达方式：

姿态欧拉角GR转换为四元数Q2(x,y,z,w)，其中x、y、z、w为表示四元数的元素的符号；

定义一个四元数Q3＝(1，0，0，0)，代表绕X轴旋转180度；

最终展示信息在虚拟场景中的旋转为：Q＝Q1*Q2*Q3；

r11、r12、r13、r21、r22、r23、r31、r32、r33分别表示在x、y、z轴的旋转，t1、t2、t3分别表示在x、y、z轴的位移。

2.根据权利要求1所述的云端与终端结合实现的全景增强现实实现方法，其特征在于，步骤3)中，云端据此计算出CP中是否有包含模版图像，如有包含可计算出模版图像在CP中的旋转矩阵T，T是一个3*4的矩阵，表示模版图像在CP中的旋转和位移；

当云端从CP中识别到了模版图像，会返回该模版图像名、旋转矩阵T和终端设备上传的GR给终端设备。

Images