CN106569696A - 一种渲染输出全景影像的方法、系统及便携式终端 - Google Patents

Abstract

本发明适用于图像显示领域，提供了一种渲染输出全景影像的方法、系统及便携式终端。所述方法包括：初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；加载全景影像数据，并建立球模型；将全景影像映射到球模型的球面上；按照刷新时钟，更新姿态传感器的矩阵；接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。本发明在用户观看全景影像时，可以跟用户交互，使用姿态传感器和手势操作来控制球模型的方向，从而达到更好的用户体验。

Description

一种渲染输出全景影像的方法、系统及便携式终端

技术领域

本发明属于图像显示领域，尤其涉及一种渲染输出全景影像的方法、系统及便携式终端。

背景技术

现有技术观看全景影像通常使用空间三维的球模型，把全景影像映射到球模型的球面上，再使用透视投影的方式，显示到便携式终端的屏幕上。观看全景影像通常需要用户的交互，然而现有技术仅能单独通过手势操作或者陀螺仪来控制全景影像的渲染输出，从而用户体验较差。

发明内容

本发明的目的在于提供一种渲染输出全景影像的方法、系统及便携式终端，旨在解决现有技术仅能单独通过手势操作或者陀螺仪来控制全景影像的渲染输出，从而用户体验较差的问题。

第一方面，本发明提供了一种渲染输出全景影像的方法，所述方法包括：

初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；

加载全景影像数据，并建立球模型；

将全景影像映射到球模型的球面上；

按照刷新时钟，更新姿态传感器的矩阵；

接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；

将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；

将叠加后的矩阵作用于球模型中，渲染输出全景影像。

第二方面，本发明提供了一种渲染输出全景影像的系统，所述系统包括：

初始化模块，用于初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；

加载模块，用于加载全景影像数据，并建立球模型；

映射模块，用于将全景影像映射到球模型的球面上；

更新模块，用于按照刷新时钟，更新姿态传感器的矩阵；

计算模块，用于接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；

叠加模块，用于将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；

渲染模块，用于将叠加后的矩阵作用于球模型中，渲染输出全景影像。

第三方面，本发明提供了一种便携式终端，所述便携式终端包括上述的渲染输出全景影像的系统。

在本发明中，由于将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。因此在用户观看全景影像时，可以跟用户交互，使用姿态传感器和手势操作来控制球模型的方向，从而达到更好的用户体验；还可以把不同的用户操作分离到不同的节点上产生叠加影响，从代码层面说，这样设计更好轻便，耦合度更低，更便于理解，扩展性更强，从用户层面来说，本发明能支持姿态传感器与手势操作同时来观看全景影像，能扩展出更多或更好的用户使用方式。

附图说明

图1是本发明实施例一提供的渲染输出全景影像的方法的流程图。

图2是本发明实施例一中，当父级节点绕X或Y轴旋转90度时的示意图。

图3是本发明实施例二提供的渲染输出全景影像的系统的功能模块框图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的渲染输出全景影像的方法包括以下步骤：

S101、初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；

在本发明实施例一，姿态传感器可以是加速度传感器、陀螺仪或磁力计传感器。

S102、加载全景影像数据，并建立球模型；

S103、将全景影像映射到球模型的球面上；

S104、按照刷新时钟，更新姿态传感器的矩阵；

例如，刷新时钟可以是每秒60帧。

在本发明实施例一中，姿态传感器的矩阵是4*4的旋转矩阵(M0)，M0的运算规则是:

其中，

其中，

Position为X,Y,Z三个方向的位移，Scale为X,Y,Z三个方向的缩放值，Rotation为X,Y,Z三个方向的旋转角度。该矩阵的每个变量中，scale值x、y、z均取值为1，position值x、y、z均取值为0，rotation.w是四元数的W标量。

上述矩阵是参考便携式终端的横屏方向的，如果要得到兼容便携式终端四个方向的姿态传感器的矩阵R，就需要把矩阵绕Z轴旋转对应的角度，其中angle表示便携式终端方向与便携式终端横向参考的角度。

兼容便携式终端四个方向的姿态传感器的矩阵R通过以下方式获得：

首先通过旋转轴和旋转角度得到一个四元数，基本旋转轴axis为Z轴(0，0，1)，旋转角度angle分别为(0，-90，-180，-270)，得到四元数q后，需要把四元数转成一个4*4的旋转矩阵(M1)，然后与矩阵(M0)做左乘运算，最后得到兼容便携式终端四个方向的姿态传感器的矩阵R，公式如下：

R＝M0*M1

S105、接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；

在本发明实施例一中，手势控制器的矩阵可以由四元数Quaternion(简称q)来表示，公式如下：

通过旋转轴axis和绕该轴旋转的角度angle构造一个四元数q：

手势控制器的矩阵也可以由欧拉角来表示，通过四元数到欧拉角的转换得到如下:

其中的a表示arctan，是一种数学矩阵符号，θ、ψ分别为绕X轴、Y轴、Z轴的旋转角度，分别为Roll(取值范围-90度至90度)、Pitch(取值范围0度至360度)、Yaw(不用取值，因为立体图像观看时，用户不会绕Z轴旋转)。

当用户通过屏幕滑动产生屏幕坐标系的x、y方向的位移时，用欧拉角来表示的手势控制器的矩阵如下：

其中，θ'、ψ'是指视频或图像相对于坐标系的原始偏转角度，dx是指用户通过屏幕滑动产生屏幕坐标系的x方向的位移，dy是指用户通过屏幕滑动产生屏幕坐标系的y方向的位移，dx改变绕Y轴Pitch角，dy改变绕X轴的Roll角。

用四元数来表示的手势控制器的矩阵如下，通过欧拉角到四元数的转换得到q：

S106、将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；

在本发明实施例一中，S106具体包括：

预先在球模型上增加一个父级节点，父级节点用于作用姿态传感器，球模型用于作用手势操作；

当父级节点的欧拉角(Rotation)发生变化时，根据手势控制器的矩阵与姿态传感器的矩阵的对应关系，得出欧拉角发生变化后的手势控制器的矩阵。

手势控制器的矩阵与姿态传感器的矩阵的对应关系具体可以为：

欧拉角发生变化后的手势控制器的矩阵等于手势操作后的手势控制器的矩阵左乘姿态传感器的矩阵。

举例说明如下：

请参阅图2，父级节点的坐标是相对于世界坐标系，与世界坐标系保持一致，而球模型的坐标系经过父级节点的矩阵的影响，会产生变化，如果父级节点绕Y轴旋转90度，则整个球模型坐标系也会绕Y轴旋转90度，这时球模型坐标系与世界坐标系不一致了，X＝Z’，Z＝-X’；而手势操作是相对于空间物体的坐标系的，所以在复合使用时，手势操作只能使用横向滑动，则球模型只能绕Y轴旋转，原因是外部的空间物体的矩阵对绕Y轴没有影响，当父级节点绕X轴旋转90度，Y＝-Z’，Z＝Y’,所以在看底部的时候是绕Z轴旋转的。其中，X’、Y’、Z’是世界坐标系的3条轴，X、Y、Z是空间物体的坐标系的3条轴。

S107、将叠加后的矩阵作用于球模型中，渲染输出全景影像。

在本发明实施例一中，S107具体为：将欧拉角发生变化后的手势控制器的矩阵作用于球模型中，渲染输出全景影像。

实施例二：

请参阅图3，本发明实施例二提供的渲染输出全景影像的系统包括：

初始化模块11，用于初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；

加载模块12，用于加载全景影像数据，并建立球模型；

映射模块13，用于将全景影像映射到球模型的球面上；

更新模块14，用于按照刷新时钟，更新姿态传感器的矩阵；

计算模块15，用于接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；

叠加模块16，用于将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；

渲染模块17，用于将叠加后的矩阵作用于球模型中，渲染输出全景影像。

在本发明实施例二中，所述叠加模块具体用于预先在球模型上增加一个父级节点，父级节点用于作用姿态传感器，球模型用于作用手势操作；当父级节点的欧拉角发生变化时，根据手势控制器的矩阵与姿态传感器的矩阵的对应关系，得出欧拉角发生变化后的手势控制器的矩阵。

在本发明实施例二中，所述手势控制器的矩阵与姿态传感器的矩阵的对应关系具体为：欧拉角发生变化后的手势控制器的矩阵等于手势操作后的手势控制器的矩阵左乘姿态传感器的矩阵；

所述渲染模块具体用于将欧拉角发生变化后的手势控制器的矩阵作用于球模型中，渲染输出全景影像。

本发明实施例还提供了一种包括本发明实施例二提供的渲染输出全景影像的系统的便携式终端。

在本发明实施例中，由于将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；将叠加后的矩阵作用于球模型中，渲染输出全景影像。因此在用户观看全景影像时，可以跟用户交互，使用姿态传感器和手势操作来控制球模型的方向，从而达到更好的用户体验；还可以把不同的用户操作分离到不同的节点上产生叠加影响，从代码层面说，这样设计更好轻便，耦合度更低，更便于理解，扩展性更强，从用户层面来说，本发明能支持姿态传感器与手势操作同时来观看全景影像，能扩展出更多或更好的用户使用方式。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种渲染输出全景影像的方法，其特征在于，所述方法包括：

初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；

加载全景影像数据，并建立球模型；

将全景影像映射到球模型的球面上；

按照刷新时钟，更新姿态传感器的矩阵；

接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；

将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；

将叠加后的矩阵作用于球模型中，渲染输出全景影像。

2.如权利要求1所述的方法，其特征在于，所述姿态传感器的矩阵是4*4的旋转矩阵M0，M0的运算规则是：

$M0=\left(\begin{array}{c}M00\\ M10\\ M20\\ M30\end{array}|\begin{array}{c}M01\\ M11\\ M21\\ M31\end{array}|\begin{array}{c}M02\\ M12\\ M22\\ M32\end{array}\left|\begin{array}{c}M03\\ M13\\ M23\\ M33\end{array}\right.\right)$

其中，

$\left[\begin{array}{c}M00\\ M10\\ M20\\ M30\end{array}\right]=\left[\begin{array}{c}scale.x*(1.0-2.0*(y2+z2\left)\right)\\ 2.0*scale.y*(xy-wz)\\ 2.0*scale.z*(xz+wy)\\ 0\end{array}\right]$

$\left[\begin{array}{c}M01\\ M11\\ M21\\ M31\end{array}\right]=\left[\begin{array}{c}2.0*scale.x*(xy+wz)\\ scale.y*(1.0-2.0*(x2+z2\left)\right)\\ 2.0*scale.z*(yz-wx)\\ 0\end{array}\right]$

$\left[\begin{array}{c}M02\\ M12\\ M22\\ M32\end{array}\right]=\left[\begin{array}{c}2.0*scale.x*(xz-wy)\\ 2.0*scale.y*(yz+wx)\\ scale.z*(1.0-2.0*(x2+y2\left)\right)\\ 0\end{array}\right]$

$\left[\begin{array}{c}M03\\ M13\\ M23\\ M33\end{array}\right]=\left[\begin{array}{c}position.x\\ position.y\\ position.z\\ 1.0\end{array}\right]$

$\left[\begin{array}{c}x2\\ y2\\ z2\\ \mathrm{\λ}y\\ xz\\ yz\\ wx\\ wy\\ wz\end{array}\right]=\left[\begin{array}{c}rotation.x*rotation.x\\ rotation.y*rotation.y\\ rotation.z*rotation.z\\ rotation.x*rotation.y\\ rotation.x*rotation.z\\ rotation.y*rotation.z\\ rotation.w*rotation.x\\ rotation.w*rotation.y\\ rotation.w*rotation.z\end{array}\right]$

其中，Position为X,Y,Z三个方向的位移，Scale为X,Y,Z三个方向的缩放值，Rotation为X,Y,Z三个方向的旋转角度，rotation.w是四元数的W标量。

3.如权利要求2所述的方法，其特征在于，所述姿态传感器的矩阵是参考便携式终端的横屏方向的，该矩阵的每个变量中，scale值x、y、z均取值为1，position值x、y、z均取值为0；

兼容便携式终端四个方向的姿态传感器的矩阵R通过以下方式获得：

首先通过旋转轴和旋转角度得到一个四元数，基本旋转轴axis为Z轴，分别为0、0、1，旋转角度angle分别为0、-90、-180、-270，得到四元数q后，把四元数转成一个4*4的旋转矩阵M1，然后与矩阵M0做左乘运算，最后得到兼容便携式终端四个方向的姿态传感器的矩阵R，公式如下：

$q=\left[\begin{array}{c}w\\ x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}cos(angle/180*\mathrm{\π}/2)\\ sin(angle/180*\mathrm{\π}/2)*axis.x\\ sin(angle/180*\mathrm{\π}/2)*axis.y\\ sin(angle/180*\mathrm{\π}/2)*axis.z\end{array}\right]$

$M1=\left[\begin{array}{cccc}1.0-2.0*(y2+z2)& 2.0*(xy+wz)& 2.0*(xz-wy)& 0\\ 2.0*(xy-wz)& 1.0-2.0*(x2+z2)& 2.0*(yz+wx)& 0\\ 2.0*(xz+wy)& 2.0*(yz-wx)& 1.0-2.0*(x2+y2)& 0\\ 0& 0& 0& 1\end{array}\right]$

R＝M0*M1。

4.如权利要求1所述的方法，其特征在于，所述手势控制器的矩阵由四元数q来表示，公式如下：

通过旋转轴axis和绕该轴旋转的角度angle构造一个四元数q：

$q=\left[\begin{array}{c}w\\ x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}cos(angle/180*\mathrm{\π}/2)\\ sin(angle/180*\mathrm{\π}/2)*axis.x\\ sin(angle/180*\mathrm{\π}/2)*axis.y\\ sin(angle/180*\mathrm{\π}/2)*axis.z\end{array}\right]$

或者，手势控制器的矩阵由欧拉角来表示，通过四元数到欧拉角的转换得到如下:

其中，θ、ψ分别为绕X轴、Y轴、Z轴的旋转角度。

5.如权利要求1所述的方法，其特征在于，当用户通过屏幕滑动产生屏幕坐标系的x、y方向的位移时，用欧拉角来表示的手势控制器的矩阵如下：

其中，θ'、ψ'是指视频或图像相对于坐标系的原始偏转角度，dx是指用户通过屏幕滑动产生屏幕坐标系的x方向的位移，dy是指用户通过屏幕滑动产生屏幕坐标系的y方向的位移；

或者，

用四元数来表示的手势控制器的矩阵如下，通过欧拉角到四元数的转换得到q：

6.如权利要求1所述的方法，其特征在于，所述将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加具体包括：

预先在球模型上增加一个父级节点，父级节点用于作用姿态传感器，球模型用于作用手势操作；

当父级节点的欧拉角发生变化时，根据手势控制器的矩阵与姿态传感器的矩阵的对应关系，得出欧拉角发生变化后的手势控制器的矩阵。

7.如权利要求6所述的方法，其特征在于，所述手势控制器的矩阵与姿态传感器的矩阵的对应关系具体为：

欧拉角发生变化后的手势控制器的矩阵等于手势操作后的手势控制器的矩阵左乘姿态传感器的矩阵；

所述将叠加后的矩阵作用于球模型中，渲染输出全景影像具体为：

将欧拉角发生变化后的手势控制器的矩阵作用于球模型中，渲染输出全景影像。

8.一种渲染输出全景影像的系统，其特征在于，所述系统包括：

初始化模块，用于初始化手势控制器和姿态传感器，分别得到手势控制器和姿态传感器的初始化矩阵值；

加载模块，用于加载全景影像数据，并建立球模型；

映射模块，用于将全景影像映射到球模型的球面上；

更新模块，用于按照刷新时钟，更新姿态传感器的矩阵；

计算模块，用于接收用户对屏幕显示的原始全景图像的手势操作指令，计算出手势操作后的手势控制器的矩阵；

叠加模块，用于将手势操作后的手势控制器的矩阵与实时的姿态传感器的矩阵叠加；

渲染模块，用于将叠加后的矩阵作用于球模型中，渲染输出全景影像。

9.如权利要求8所述的系统，其特征在于，所述叠加模块具体用于预先在球模型上增加一个父级节点，父级节点用于作用姿态传感器，球模型用于作用手势操作；当父级节点的欧拉角发生变化时，根据手势控制器的矩阵与姿态传感器的矩阵的对应关系，得出欧拉角发生变化后的手势控制器的矩阵。

10.一种便携式终端，其特征在于，所述便携式终端包括权利要求8或9所述的渲染输出全景影像的系统。