CN106127681A - 一种图像采集方法、虚拟现实图像传输方法及显示方法 - Google Patents

Abstract

本发明公开了一种图像采集方法、虚拟现实图像传输及显示方法，其中图像采集方法，应用于实现虚拟现实技术，并且提供至少五个图像采集装置，用以采集图像；还包括以下步骤：步骤S1、自当前位置通过所述图像采集装置同时的采集各个方向的图像；步骤S2、定义一空间立方体，使所述空间立方体的六个平面对应六个不同方向，将关联于所述六个方向的所述图像转换为对应所述六个平面的平面图像；步骤S3、传输或者保存关联于所述空间立方体的所述平面图像；步骤S4、移动至下一位置重复所述步骤S1，或者于当前位置等待预定时间周期后重复所述步骤S1。其技术方案的有益效果为：减少了冗余画面点阵，消除了球方图中球面对应的赤道位置和南北两极位置的失真。

Description

一种图像采集方法、虚拟现实图像传输方法及显示方法

技术领域

本发明涉及虚拟现实(Virtual Reality，简称VR)技术领域，尤其涉及一种应用于虚拟现实技术领域的图像采集方法以及虚拟现实图像显示方法。

背景技术

现有的虚拟现实系统一般采用球方图(Equirectangular)作为数据交换的基础格式。球方图是基于球面投影(Spherical Project)的一种数据格式，也就是人们常见的带有经纬度的地图方式，把三维的球面图像展现在一幅二维长方形画面上，以便于二维图像处理。

VR全景数据一般由多个摄像头同时拍摄。目前高清的VR系统需要将摄像传感芯片采集的360°全景数据传送到电脑设备上，经过特殊的专业软件的处理后生成二维球方图数据。再经过MPEG/H.264/H.265数码压缩后传输到网络云服务系统。接收端获取生成球方图格式的数据后，再转换成为立方图(Cube-Map)格式数据进行渲染处理，并依据观察者的视角(FOV,Field of View)和转角，截取可视范围的图像在投影平面上分屏(左、右眼分开)显示。

球方图映射(Equirectangular Projection)的生成过程必须把球面转换为二维平面图，因而在球面的南北两极的极点位置必须做拉伸处理，为此引入了大量的冗余画面点阵。它的点阵像数要比同样精度的立方图(Cube-Map)的点阵像素多出25％并且由于球面和平面的非线性关系造成除了在球面的赤道线线上以外的所有的点阵位置都有不同程度的失真。在球面的两极的位置上失真则为无穷大。

从数学原理来说，立方图和二维球方图之间的转换经过了从正方体到球体，球面到球方图的两次转换。每个步骤都会因为电子设备精度的限制带来进一步的计算损耗。

由于立方图是三维渲染的标准格式，因而使用球方图作为VR数据的基础格式等于为VR系统传输增加了一道转换操作。二者之间的转换所耗费的系统资源随着视频的精度而递增。一个10分钟的高清全景视频需要处理3千亿个像数点，可见每次转换的计算量之沉重。而且每次球面和平面之间的转换都会产生误差，给设备厂家在计算精度和产品成本之间的取舍带来更多的负担。

发明内容

针对现有的VR系统存在的上述问题，现提供一种旨在改善上述技术问题的图像采集方法、虚拟现实图像传输及显示方法，具体技术方案如下：

一种图像采集方法，应用于实现虚拟现实技术，其中

提供至少五个图像采集装置，用以采集图像；

还包括以下步骤：

步骤S1、自当前位置通过所述图像采集装置同时的采集各个方向的图像；

步骤S2、定义一空间立方体，使所述空间立方体的六个平面对应六个不同方向，将关联于所述六个方向的所述图像转换为对应所述六个平面的平面图像；

步骤S3、传输或者保存关联于所述空间立方体的所述平面图像；

步骤S4、移动至下一位置重复所述步骤S1，或者于当前位置等待预定时间周期后重复所述步骤S1。

优选的，所述步骤S1中，将采集到的各个方向的图像，根据所述图像的成像平面的位置，将所述图像将拼合成一多面体。

优选的，所述步骤S2中，具体包括以下步骤：

步骤S21、建立一对应所述空间立方体的三维坐标[X,Y,Z]；

步骤S22、选取所述多面体上一未转换的面G；

步骤S23、于选取的所述面上选取一未转换的像素P'，并获取所述像素P'于所述面G对应的所述图像采集装置的有效视区上的坐标位置P'(X',Y',Z')；

步骤S24、根据选取的所述面G对应的所述图像采集装置的取景方向与所述三维坐标[X,Y,Z]之间的X轴转角α，Y轴转角β，Z轴转角γ，计算获得所述有效视区上的坐标位置P'(X',Y',Z')于所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)；

步骤S25、根据所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)，以及所述面G对应的所述图像采集装置的朝向或位置，计算获得所述面G对应的所述图像采集装置对应所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)的视线，与所述空间立方体内表面的交点P(X,Y,Z)，并将所述交点P(X,Y,Z)作为所述像素P'于所述空间立方体上转换后的位置进行储存；

步骤S26、判断所述面G上是否存在未转换的像素，如有则返回所述步骤S23；

步骤S27、判断所述多面体是否存在未转换的面，如有则返回所述步骤S22。

优选的，所述步骤S24中，通过以下算式，计算获得所述有效视区上的坐标位置P'(X',Y',Z')于所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R(\mathrm{\α},\mathrm{\β},\mathrm{\γ})\×\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]$

其中，所述三维坐标为依据右手法则的三维卡迪尔坐标系，R(α,β,γ)为三维卡迪尔直角坐标系的同心旋转矩阵函数，R(α,β,γ)表达式为：

R(α,β,γ)＝R(α)×R(β)×R(γ)

$R\left(\mathrm{\β}\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\β}\right)& sin\left(\mathrm{\β}\right)& 0\\ -sin\left(\mathrm{\β}\right)& cos\left(\mathrm{\β}\right)& 0\\ 0& 0& 1\end{array}\right]$

优选的，所述步骤S25中，通过最大值算法Q＝MAX(|x|,|y|,|z|)和三角形等比关系，计算所述交点P(X,Y,Z)的位置，

其矩阵表达式为：

$P(X,Y,Z)=\left[\begin{array}{ccc}Fx\left(Q\right)& 0& 0\\ 0& Fy\left(Q\right)& 0\\ 0& 0& Fz\left(Q\right)\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right].$

优选的，于所述空间立方体的每个平面上定义像素阵列，所述交点P(X,Y,Z)不在所述空间立方体的对应的平面的像素阵列上时通过插值法，于所述像素阵列上对应的像素点处生成过渡数据。

优选的，所述插值法为线性近似法或双三次插值法。

优选的，于所述空间立方体的每个面定义像素阵列，并于所述像素阵列设置精度冗余，所述多面体的两个相邻的面G上具有重叠的点时使相邻的两个面G中的第一面G1上重叠的点P1'(X',Y',Z')＝P1'(X'-f,Y'-f,Z'-f)，以及使相邻的两个面G中的第二面G2上重叠的点P2'(X',Y',Z')＝P1'(X'+f,Y'+f,Z'+f)，f为所述像素阵列的精度冗余值。

优选的，f＝0.5。

优选的，所述步骤S3中，传输所述平面图像时将对应所述空间立方体的六个平面中相邻的三个平面对应的所述平面图像拼合为一第一平面图像进行传输，将所述空间立方体的其余三个相邻的平面对应的平面图像拼合为一第二平面图像进行传输。

优选的，所述第一平面图像包括所述空间立方体的顶面对应的平面图像、前面对应的平面图像以及后面对应的平面图像，所述第二平面图像包括所述空间立方体的左面对应的平面图像、后面对应的平面图像以及右面对应的平面图像。

优选的，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输。

优选的，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输时对每一所述数据流进行数据压缩。

优选的，对所述多面体的每个面的交界处通过高斯标准正态分布对所述面的边缘的点对应的像素与临界的冗余点对应的像素，或暗角效应累积对应的像素做加权平均。

优选的，通过硬件查表实现所述步骤S23至所述步骤S25中的计算。

还包括，一种虚拟现实图像传输方法，应用于上述的图像采集方法，所述步骤S3中，传输所述平面图像时将对应所述空间立方体的六个平面中相邻的三个平面对应的所述平面图像拼合为一第一平面图像进行传输，将所述空间立方体的其余三个相邻的平面对应的平面图像拼合为一第二平面图像进行传输。

优选的，所述第一平面图像包括所述空间立方体的顶面对应的平面图像、前面对应的平面图像以及后面对应的平面图像，所述第二平面图像包括所述空间立方体的左面对应的平面图像、后面对应的平面图像以及右面对应的平面图像。

优选的，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输。

优选的，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输时对每一所述数据流进行数据压缩。

还包括，一种虚拟现实图像显示方法，其中，应用于上述的图像采集方法，还包括以下步骤：

步骤S101、获取所述空间立方体的每个平面的平面图像；

步骤S102、获取观测面G0的可视区W的所有像素位置；

步骤S103、取所述可视区W一上未显示的像素P”(X”,Y”,Z”)；

步骤S104、计算所述像素P”(X”,Y”,Z”)于所述三维坐标[X,Y,Z]上的位置P”(X,Y,Z)；

步骤S105、根据像素P”的位置，计算所述观测面G0对应的视线与所述空间立方体的交点P0(X,Y,Z)；

步骤S106、于所述可视区W的像素P”(X”,Y”,Z”)对应的位置，显示所述交点P0(X,Y,Z)对应的所述平面图像的像素颜色；

步骤S107、判断所述可视区W是否存在未显示的像素，如有则返回所述步骤S103。

优选的，所述步骤S104中，通过以下算式算计所述像素P”(X”,Y”,Z”)于所述三维坐标[X,Y,Z]上的位置P”(X,Y,Z)：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R(\mathrm{\α}0,\mathrm{\β}0,\mathrm{\γ}0)\×\left[\begin{array}{c}{X}^{\′\′}\\ Y^{\′\′}\\ Z^{\′\′}\end{array}\right]$

其中，所述三维坐标为依据右手法则的三维卡迪尔坐标系，R(α0，β0，γ0)为三维卡迪尔直角坐标系的同心旋转矩阵函数，α0，β0，γ0为观测面G0的坐标系与所述空间立方体对应的三维坐标[X,Y,Z]的三轴的转角，R(α0，β0，γ0)表达式为：

R(α0，β0，γ0)＝R(α0)×R(β0)×R(γ0)

$R\left(\mathrm{\γ}0\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\left(y0\right)& -sin\left(y0\right)\\ 0& sin\left(y0\right)& \cos \left(y0\right)\end{array}\right]$

$R\left(\mathrm{\β}0\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\β}0\right)& sin\left(\mathrm{\β}0\right)& 0\\ -sin\left(\mathrm{\β}0\right)& cos\left(\mathrm{\β}0\right)& 0\\ 0& 0& 1\end{array}\right]$

$R\left(\mathrm{\α}0\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\α}0\right)& 0& sin\left(\mathrm{\α}0\right)\\ 0& 1& 0\\ -sin\left(\mathrm{\α}0\right)& 0& cos\left(\mathrm{\α}0\right)\end{array}\right].$

优选的，所述步骤S105中，通过最大值算法Q＝MAX(|x|,|y|,|z|)和三角形等比关系，计算所述交点P0(X,Y,Z)的位置，

其矩阵表达式为：

$P(X,Y,Z)=\left[\begin{array}{ccc}Fx\left(Q\right)& 0& 0\\ 0& Fy\left(Q\right)& 0\\ 0& 0& Fz\left(Q\right)\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right].$

优选的，于所述空间立方体的每个平面上定义像素阵列，所述交点P0(X,Y,Z)不在所述空间立方体的对应的平面的像素阵列上时，通过插值法于根据所述像素阵列上周围的像素点处生成过渡数据并显示于所述可视区W对应的位置上。

优选的，所述插值法为线性近似法或双三次插值法。

上述技术方案的有益效果是：

减少了冗余画面点阵，消除了球方图中球面对应的赤道位置和南北两极位置的失真。

附图说明

图1为本发明的图像采集方法的实施例的步骤流程图；

图2为本发明的图像采集方法的步骤S2的实施例的步骤流程图；

图3为本发明的虚拟现实图像显示方法的的实施例的步骤流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明提供一种图像采集方法，应用于实现虚拟现实技术，其中，

提供至少五个图像采集装置，用以采集图像；

如图1所示，还包括以下步骤：

步骤S1、自当前位置通过图像采集装置同时的采集各个方向的图像；

步骤S2、定义一空间立方体，使空间立方体的六个平面对应六个不同方向，将关联于六个方向的图像转换为对应六个平面的平面图像；

步骤S3、传输或者保存关联于空间立方体的平面图像；

步骤S4、移动至下一位置重复步骤S1，或者于当前位置等待预定时间周期后重复步骤S1。

上述技术方案中图像采集为对VR全景数据的其基于多镜头硬件采集的处理方式。

于优选的实施方式中，上述的图像采集装置可以是采样镜头。进一步的，当采样镜头的数量小于6并大于1时，采样镜头需采用鱼眼镜头，同时需通过鱼眼镜头的曲面转换函数对采样镜头采集到的图像进行处理。

作为进一步的实施方式，作为图像采集装置的采集镜头可设计为同心多面体，即共有同一中心。

于上述技术方案基础上，进一步的，步骤S1中，将采集到的各个方向的图像，根据图像的成像平面的位置，将图像将拼合成一多面体。

于上述技术方案基础上，进一步的，步骤S2中，如图2所示，具体包括以下步骤：

步骤S21、建立一对应空间立方体的三维坐标[X,Y,Z]；

步骤S22、选取多面体上一未转换的面G；

步骤S23、于选取的面上选取一未转换的像素P'，并获取像素P'于面G对应的图像采集装置的有效视区上的坐标位置P'(X',Y',Z')；

步骤S24、根据选取的面G对应的图像采集装置的取景方向与三维坐标[X,Y,Z]之间的X轴转角α，Y轴转角β，Z轴转角γ，计算获得有效视区上的坐标位置P'(X',Y',Z')于三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)；

步骤S25、根据三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)，以及面G对应的图像采集装置的朝向或位置，计算获得面G对应的图像采集装置对应三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)的视线，与空间立方体内表面的交点P(X,Y,Z)，并将交点P(X,Y,Z)作为像素P'于空间立方体上转换后的位置进行储存；

步骤S26、判断面G上是否存在未转换的像素，如有则返回步骤S23；

步骤S27、判断多面体是否存在未转换的面，如有则返回步骤S22。

上述技术方案中，将图像采集装置采集的图像合成产生立方图数据，其数学原理基于从多面体表面平面到空间立方体表面平面的投影映射，目的在于把拍摄对象形成的成像平面，或称观测面(viewing plane)，用立体坐标转置的方式，从任意N面体(N>5)投射到三维立方图(Cube-map)对应的空间立方体的其中的一面。

于上述技术方案基础上，进一步的，步骤S24中，通过以下算式，计算获得有效视区上的坐标位置P'(X',Y',Z')于三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R(\mathrm{\α},\mathrm{\β},\mathrm{\γ})\×\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]$

其中，所述三维坐标为依据右手法则的三维卡迪尔坐标系，R(α,β,γ)为三维卡迪尔直角坐标系的同心旋转矩阵函数，R(α,β,γ)表达式为：

R(α,β,γ)＝R(α)×R(β)×R(γ)

$R\left(\mathrm{\β}\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\β}\right)& sin\left(\mathrm{\β}\right)& 0\\ -sin\left(\mathrm{\β}\right)& cos\left(\mathrm{\β}\right)& 0\\ 0& 0& 1\end{array}\right]$

于上述技术方案基础上，进一步的，步骤S25中，通过最大值算法Q＝MAX(|x|,|y|,|z|)和三角形等比关系，计算交点P(X,Y,Z)的位置，

其矩阵表达式为：

$P(X,Y,Z)=\left[\begin{array}{ccc}Fx\left(Q\right)& 0& 0\\ 0& Fy\left(Q\right)& 0\\ 0& 0& Fz\left(Q\right)\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right].$

上述技术方案，采用三维卡迪尔空间一个平面到另一平面的投射的数学方式，可以避免其他投射方式所遇到的开平方和其他高次方的运算，便于使用芯片技术生成运算单元，用并行处理的芯片设计架构实现高速处理的能力。

同时，由于在硬件实现时运行环境固定，全部转换关系的系数可以预处理。从而避开了除法、开平方等繁重的算术运算。进一步优化后可以避开三角函数的计算。

于上述技术方案基础上，进一步的，于空间立方体的每个平面上定义像素阵列，交点P(X,Y,Z)不在空间立方体的对应的平面的像素阵列上时通过插值法，于像素阵列上对应的像素点处生成过渡数据。

上述技术方案中，交点P(X,Y,Z)不在空间立方体的对应的平面的像素阵列上是指交点P(X,Y,Z)可能落在对应的像素阵列上的几个像素之间，因此可通过插值法计算获得对应的过渡数据。

作为优选的实施方式，插值法为线性近似法或双三次插值法。

于上述技术方案基础上，进一步的，于空间立方体的每个面定义像素阵列，并于像素阵列设置精度冗余，多面体的两个相邻的面G上具有重叠的点时使相邻的两个面G中的第一面G1上重叠的点P1'(X',Y',Z')＝P1'(X'-f,Y'-f,Z'-f)，以及使相邻的两个面G中的第二面G2上重叠的点P2'(X',Y',Z')＝P1'(X'+f,Y'+f,Z'+f)，f为像素阵列的精度冗余值。

作为优选的实施方式，f＝0.5。

作为优选的实施方式，对应不同图像采集装置采集的面G的像素阵列位置可设置成错位的形式，以提高拼接质量。

于上述技术方案基础上，进一步的，由图像采集装置的图像传感器对两个面G拼接处的边缘做动态白平衡调整。

于上述技术方案基础上，进一步的，步骤S3中，传输平面图像时将对应空间立方体的六个平面中相邻的三个平面对应的平面图像拼合为一第一平面图像进行传输，将空间立方体的其余三个相邻的平面对应的平面图像拼合为一第二平面图像进行传输。

于上述技术方案基础上，进一步的，第一平面图像包括空间立方体的顶面对应的平面图像、前面对应的平面图像以及后面对应的平面图像，第二平面图像包括空间立方体的左面对应的平面图像、后面对应的平面图像以及右面对应的平面图像。

于上述技术方案基础上，进一步的，第一平面图像及第二平面图像以并行数据流形式进行传输。

于上述技术方案基础上，进一步的，第一平面图像及第二平面图像以并行数据流形式进行传输时对每一数据流进行数据压缩。

生成了空间立方体图后理论上即可用于VR全景显示，但从实际而言，数据必须通过网络传输到远程以供数据分享。但空间立方体数据是三维表面上的数据，不适于直接用于传输。将其拆分为多幅平面图形后就能接入到视频网络的二维图像数据压缩通道。最大限度地发挥数据压缩系统效率。

上述技术方案将空间立方体数据拆分成为两个并行的数据流，视频标准H.264/H.265都支持MVC(Multi View Coding，多视频编码)。因此可以将拆分后的空间立方体数据直接依照MVC格式送入视频压缩通道。在接收端使用MVC解码器解码后可以直接得到空间立方体格式的原始数据。

远程网络接收端得到空间立方体数据后，根据观看设备发送来的观看视区和转动的信息，截取立方图里的相关数据展示到显示平面上。立方图格式是三维空间渲染的默认格式，可以与渲染引擎对接，产生所需的渲染效果。

于上述技术方案基础上，进一步的，对多面体的每个面的交界处通过高斯标准正态分布对面的边缘的点对应的像素与临界的冗余点对应的像素，或暗角效应累积对应的像素做加权平均。

由于不同的图像采集装置在不同的角度上采光不匀可能造成的暗角效应(vignetting effect)在两个图像采集装置对应的不同的面G交界处引起的亮度反差，从而需要对面G的拼接处进行边缘亮度平衡。作为优选的实施方式，可采用高斯标准正态分布进行边缘亮度平衡处理。具体可通过下式进行计算：

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}}{e}^{-x^2/2}$

其中，f(x)为密度函数，令密度函数f(x,u,sigma)令u＝0,sigma＝1求得x＝0,0.5,1,1.5,2,2.5,3的对应值f(x,0,1)＝[1,0.882496792,0.606530568,0.324652462,0.135335285,0.043936931,0.015565322]；

用f(x,0,1)来对面G边缘的像素与临界的冗余像素或暗角效应累积分布的做加权平均，由此而实现面G对应的平面图像的平滑过渡。

于上述技术方案基础上，进一步的，通过硬件查表实现步骤S23至步骤S25中的计算。

一旦多面体图像采集装置的工业设计完成后，每个图像采集装置对应的面G的转角就固定了。因此上述技术方案中旋转函数的系数R(α,β,γ)成为已知数。每个面G上的像素点阵的位置也是已知数。因此上述技术方案中计算所需的系数在工业设计完成的时候已经预先可知。

因此空间立方体每个面上的像素阵列与相关的面G上的像素阵列具有固定的对应关系。将这些固定关系的数值预先设置好，存放在系统存储器中。在合成VR全景图像时无需再做算术运算，只要查表就可得到相对的旋转位置，然后可按照后续步骤来完成相应的操作。

经过上述优化后，处理流程中的多次三角函数旋转运算只需用一步查表就能完成。极大地减低了硬件实现成本，加快了处理速度。

本发明的技术方案中还包括，一种虚拟现实图像传输方法，应用于上述的图像采集方法，步骤S3中，传输平面图像时将对应空间立方体的六个平面中相邻的三个平面对应的平面图像拼合为一第一平面图像进行传输，将空间立方体的其余三个相邻的平面对应的平面图像拼合为一第二平面图像进行传输。

于上述技术方案基础上，进一步的，第一平面图像包括空间立方体的顶面对应的平面图像、前面对应的平面图像以及后面对应的平面图像，第二平面图像包括空间立方体的左面对应的平面图像、后面对应的平面图像以及右面对应的平面图像。

于上述技术方案基础上，进一步的，第一平面图像及第二平面图像以并行数据流形式进行传输。

于上述技术方案基础上，进一步的，第一平面图像及第二平面图像以并行数据流形式进行传输时对每一数据流进行数据压缩。

本发明的技术方案中还包括，一种虚拟现实图像显示方法，其中，应用于上述的图像采集方法，如图3所示，还包括以下步骤：

步骤S101、获取空间立方体的每个平面的平面图像；

步骤S102、获取观测面G0的可视区W的所有像素位置；

步骤S103、取可视区W一上未显示的像素P”(X”,Y”,Z”)；

步骤S104、计算像素P”(X”,Y”,Z”)于三维坐标[X,Y,Z]上的位置P”(X,Y,Z)；

步骤S105、根据像素P”的位置，计算观测面G0对应的视线与空间立方体的交点P0(X,Y,Z)；

步骤S106、于可视区W的像素P”(X”,Y”,Z”)对应的位置，显示交点P0(X,Y,Z)对应的平面图像的像素颜色；

步骤S107、判断可视区W是否存在未显示的像素，如有则返回步骤S103。

上述技术方案中，可根据互动跟踪设备提供的转角和缩放系数选定可视区W并进行坐标转置，其中可视区W的大小可依据互动跟踪设备的缩放设置进行变化，可视区W与三维坐标[X,Y,Z]的转角可依据互动跟踪设备当前的倾角进行变化。

于上述技术方案基础上，进一步的，步骤S104中，通过以下算式算计像素P”(X”,Y”,Z”)于三维坐标[X,Y,Z]上的位置P”(X,Y,Z)：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R(\mathrm{\α}0,\mathrm{\β}0,\mathrm{\γ}0)\×\left[\begin{array}{c}{X}^{\′\′}\\ Y^{\′\′}\\ Z^{\′\′}\end{array}\right]$

其中，所述三维坐标为依据右手法则的三维卡迪尔坐标系，R(α0，β0，γ0)为三维卡迪尔直角坐标系的同心旋转矩阵函数，α0，β0，γ0为观测面G0的坐标系与所述空间立方体对应的三维坐标[X,Y,Z]的三轴的转角，R(α0，β0，γ0)表达式为：

R(α0，β0，γ0)＝R(α0)×R(β0)×R(γ0)

$R\left(\mathrm{\γ}0\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\left(y0\right)& -sin\left(y0\right)\\ 0& sin\left(y0\right)& \cos \left(y0\right)\end{array}\right]$

$R\left(\mathrm{\β}0\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\β}0\right)& sin\left(\mathrm{\β}0\right)& 0\\ -sin\left(\mathrm{\β}0\right)& cos\left(\mathrm{\β}0\right)& 0\\ 0& 0& 1\end{array}\right]$

$R\left(\mathrm{\α}0\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\α}0\right)& 0& sin\left(\mathrm{\α}0\right)\\ 0& 1& 0\\ -sin\left(\mathrm{\α}0\right)& 0& cos\left(\mathrm{\α}0\right)\end{array}\right].$

于上述技术方案基础上，进一步的，步骤S105中，通过最大值算法Q＝MAX(|x|,|y|,|z|)和三角形等比关系，计算交点P0(X,Y,Z)的位置，其矩阵表达式为：

$P(X,Y,Z)=\left[\begin{array}{ccc}Fx\left(Q\right)& 0& 0\\ 0& Fy\left(Q\right)& 0\\ 0& 0& Fz\left(Q\right)\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right].$

于上述技术方案基础上，进一步的，于空间立方体的每个平面上定义像素阵列，交点P0(X,Y,Z)不在空间立方体的对应的平面的像素阵列上时，通过插值法于根据像素阵列上周围的像素点处生成过渡数据并显示于可视区W对应的位置上。

于上述技术方案基础上，进一步的，插值法为线性近似法或双三次插值法。

上述虚拟现实图像显示方法采用立方图(Cube-Map)转置的过程来实现。这样一来，VR图像显示的流程和VR图像采集的流程有相当多的共同成分。二者的通用性为硬件和芯片系统厂家提供了一个通用化的产品设计的选择，进一步地扩大了市场和成本优势。

本发明的空间立方体格式数据可快速的转换为现有的球方图格式，其原理是，把空间立方体六面的平面图像，映射到一个正态化的的球面上。再把球面展开为二维的球方图(Equirectangular Projection)表达方式。

具体过成为：

步骤A、提供一关联到空间立方体的三维坐标[X,Y,Z]；

步骤B、对于二维球方图上的每个像素位置(i,j)，求得球方图上的点阵位置(i,j)所代表的球体在三维坐标[X,Y,Z]上的位置(X,Y,Z)；

具体可通过下式计算：

$X=cos\left(\frac{4\×j\×\mathrm{\π}}{height-1}\right)cos\left(\frac{2\×i\×\mathrm{\π}}{width-1}\right)$

$Y=\sin \left(\frac{4\×j\×\mathrm{\π}}{height-1}\right)$

$Z=cos\left(\frac{4\×j\×\mathrm{\π}}{height-1}\right)sin\left(\frac{2\×i\×\mathrm{\π}}{width-1}\right)$

步骤C、根据(X,Y,Z)的位置，计算它与三维坐标[X,Y,Z]上的空间立方体的交点P，其中，P点的位置计算可以利用简单的最大值算法Q＝MAX(|x|,|y|,|z|)和相似三角形的等比关系来得出结果；

步骤D、交点P的位置如果不在像素阵列上的话，根据精度标准要求使用相应的插值法生成区间过渡数据；优选的，可根据精度和质量要求，选择线性近似法或双三次插值法，也可以选用邻近像素法；

步骤F、重复步骤B，直到得到球方图上所有的像素为止。

于上述技术方案基础上，进一步的，当硬件设备的工业设计完成后，球方图上的每个像素位置(i,j)和空间立方体的交点P的关系就固定了下来；因此上述运算的计算系数可以预先算出结果。例如，i或j的选值都是预先可知的，因此对应如下式：

和

中的三角函数的运算都可以根据给定的i,j数值预先计算出结果。因此，在硬件系统的实现时，可用查表方式找到对应的数据，避免了繁重的三角运算。

上述技术方案中，所有的设计方法都是以“单眼”显示信息的方式来加以描述。同样的方法予以简单的重复可以扩展到两组数据，实现“双眼”立体视频360°的VR图像的生成和传递。立体VR图像的每一个通道都可以采用上述的方式予以实现。

本发明提出了一个基于立方图(CUBE-MAP)数据格式的“端-到-端”(End-To-End)全程VR系统的解决方案，在这个方案里，VR图像数据的采集合成和VR图像数据的屏幕显示，二者具有类同的通用基础算法。为硬件和芯片系统厂家提供了一个通用化的产品设计的良好选择。

本发明提出的技术方案不含复杂的计算，不受系统精度和复杂度的制约，可根据不同的系统要求来扩展处理功能，例如，立方图合成算法，只要替换了外部存储器的数据表单后，就可以支持不同的摄像传感设备。极大地提高了应用的灵活性，又不增加运算的复杂度。

上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (24)

1.一种图像采集方法，应用于实现虚拟现实技术，其特征在于，

提供至少五个图像采集装置，用以采集图像；

还包括以下步骤：

步骤S1、自当前位置通过所述图像采集装置同时的采集各个方向的图像；

步骤S2、定义一空间立方体，使所述空间立方体的六个平面对应六个不同方向，将关联于所述六个方向的所述图像转换为对应所述六个平面的平面图像；

步骤S3、传输或者保存关联于所述空间立方体的所述平面图像；

步骤S4、移动至下一位置重复所述步骤S1，或者于当前位置等待预定时间周期后重复所述步骤S1。

2.如权利要求1所述图像采集方法，其特征在于，所述步骤S1中，将采集到的各个方向的图像，根据所述图像的成像平面的位置，将所述图像将拼合成一多面体。

3.如权利要求2所述图像采集方法，其特征在于，所述步骤S2中，具体包括以下步骤：

步骤S21、建立一对应所述空间立方体的三维坐标[X,Y,Z]；

步骤S22、选取所述多面体上一未转换的面G；

步骤S23、于选取的所述面上选取一未转换的像素P'，并获取所述像素P'于所述面G对应的所述图像采集装置的有效视区上的坐标位置P'(X',Y',Z')；

步骤S24、根据选取的所述面G对应的所述图像采集装置的取景方向与所述三维坐标[X,Y,Z]之间的X轴转角α，Y轴转角β，Z轴转角γ，计算获得所述有效视区上的坐标位置P'(X',Y',Z')于所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)；

步骤S25、根据所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)，以及所述面G对应的所述图像采集装置的朝向或位置，计算获得所述面G对应的所述图像采集装置对应所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)的视线，与所述空间立方体内表面的交点P(X,Y,Z)，并将所述交点P(X,Y,Z)作为所述像素P'于所述空间立方体上转换后的位置进行储存；

步骤S26、判断所述面G上是否存在未转换的像素，如有则返回所述步骤S23；

步骤S27、判断所述多面体是否存在未转换的面，如有则返回所述步骤S22。

4.如权利要求3所述图像采集方法，其特征在于，所述步骤S24中，通过以下算式，计算获得所述有效视区上的坐标位置P'(X',Y',Z')于所述三维坐标[X,Y,Z]上的坐标位置P'(X,Y,Z)：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R(\mathrm{\α},\mathrm{\β},\mathrm{\γ})\×\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]$

其中，所述三维坐标为依据右手法则的三维卡迪尔坐标系，R(α,β,γ)为三维卡迪尔直角坐标系的同心旋转矩阵函数，R(α,β,γ)表达式为：

R(α,β,γ)＝R(α)×R(β)×R(γ)

$R\left(\mathrm{\β}\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\β}\right)& sin\left(\mathrm{\β}\right)& 0\\ -sin\left(\mathrm{\β}\right)& cos\left(\mathrm{\β}\right)& 0\\ 0& 0& 1\end{array}\right]$

5.如权利要求3所述图像采集方法，其特征在于，所述步骤S25中，通过最大值算法Q＝MAX(|x|,|y|,|z|)和三角形等比关系，计算所述交点P(X,Y,Z)的位置，

其矩阵表达式为：

$P(X,Y,Z)=\left[\begin{array}{ccc}Fx\left(Q\right)& 0& 0\\ 0& Fy\left(Q\right)& 0\\ 0& 0& Fz\left(Q\right)\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right].$

6.如权利要求5所述图像采集方法，其特征在于，于所述空间立方体的每个平面上定义像素阵列，所述交点P(X,Y,Z)不在所述空间立方体的对应的平面的像素阵列上时通过插值法，于所述像素阵列上对应的像素点处生成过渡数据。

7.如权利要求6所述图像采集方法，其特征在于，所述插值法为线性近似法或双三次插值法。

8.如权利要求3所述图像采集方法，其特征在于，于所述空间立方体的每个面定义像素阵列，并于所述像素阵列设置精度冗余，所述多面体的两个相邻的面G上具有重叠的点时使相邻的两个面G中的第一面G1上重叠的点P1'(X',Y',Z')＝P1'(X'-f,Y'-f,Z'-f)，以及使相邻的两个面G中的第二面G2上重叠的点P2'(X',Y',Z')＝P1'(X'+f,Y'+f,Z'+f)，f为所述像素阵列的精度冗余值。

9.如权利要求8所述图像采集方法，其特征在于，f＝0.5。

10.如权利要求3所述图像采集方法，其特征在于，对所述多面体的每个面的交界处通过高斯标准正态分布对所述面的边缘的点对应的像素与临界的冗余点对应的像素，或暗角效应累积对应的像素做加权平均。

11.如权利要求3所述图像采集方法，其特征在于，通过硬件查表实现所述步骤S23至所述步骤S25中的计算。

12.如权利要求1所述图像采集方法，其特征在于，所述步骤S3中，传输所述平面图像时将对应所述空间立方体的六个平面中相邻的三个平面对应的所述平面图像拼合为一第一平面图像进行传输，将所述空间立方体的其余三个相邻的平面对应的平面图像拼合为一第二平面图像进行传输。

13.如权利要求12所述图像采集方法，其特征在于，所述第一平面图像包括所述空间立方体的顶面对应的平面图像、前面对应的平面图像以及后面对应的平面图像，所述第二平面图像包括所述空间立方体的左面对应的平面图像、后面对应的平面图像以及右面对应的平面图像。

14.如权利要求13所述图像采集方法，其特征在于，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输。

15.如权利要求14所述图像采集方法，其特征在于，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输时对每一所述数据流进行数据压缩。

16.一种虚拟现实图像传输方法，其特征在于，应用于如权利要求1-11中任一所述的图像采集方法，所述步骤S3中，传输所述平面图像时将对应所述空间立方体的六个平面中相邻的三个平面对应的所述平面图像拼合为一第一平面图像进行传输，将所述空间立方体的其余三个相邻的平面对应的平面图像拼合为一第二平面图像进行传输。

17.如权利要求16所述虚拟现实图像传输方法，其特征在于，所述第一平面图像包括所述空间立方体的顶面对应的平面图像、前面对应的平面图像以及后面对应的平面图像，所述第二平面图像包括所述空间立方体的左面对应的平面图像、后面对应的平面图像以及右面对应的平面图像。

18.如权利要求17所述虚拟现实图像传输方法，其特征在于，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输。

19.如权利要求18所述虚拟现实图像传输方法，其特征在于，所述第一平面图像及所述第二平面图像以并行数据流形式进行传输时对每一所述数据流进行数据压缩。

20.一种虚拟现实图像显示方法，其特征在于，应用于如权利要求1-15中任一所述的图像采集方法，或者应用于权利要求16-29中任意所述的虚拟现实图像传输方法，还包括以下步骤：

步骤S101、获取所述空间立方体的每个平面的平面图像；

步骤S102、获取观测面G0的可视区W的所有像素位置；

步骤S103、取所述可视区W一上未显示的像素P”(X”,Y”,Z”)；

步骤S104、计算所述像素P”(X”,Y”,Z”)于所述三维坐标[X,Y,Z]上的位置P”(X,Y,Z)；

步骤S105、根据像素P”的位置，计算所述观测面G0对应的视线与所述空间立方体的交点P0(X,Y,Z)；

步骤S106、于所述可视区W的像素P”(X”,Y”,Z”)对应的位置，显示所述交点P0(X,Y,Z)对应的所述平面图像的像素颜色；

步骤S107、判断所述可视区W是否存在未显示的像素，如有则返回所述步骤S103。

21.如权利要求20所述虚拟现实图像显示方法，其特征在于，所述步骤S104中，通过以下算式算计所述像素P”(X”,Y”,Z”)于所述三维坐标[X,Y,Z]上的位置P”(X,Y,Z)：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R(\mathrm{\α}0,\mathrm{\β}0,\mathrm{\γ}0)\×\left[\begin{array}{c}{X}^{\′\′}\\ Y^{\′\′}\\ Z^{\′\′}\end{array}\right]$

其中，所述三维坐标为依据右手法则的三维卡迪尔坐标系，R(α0，β0，γ0)为三维卡迪尔直角坐标系的同心旋转矩阵函数，α0，β0，γ0为观测面G0的坐标系与所述空间立方体对应的三维坐标[X,Y,Z]的三轴的转角，R(α0，β0，γ0)表达式为：

R(α0，β0，γ0)＝R(α0)×R(β0)×R(γ0)

$R\left(\mathrm{\γ}0\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\left(\mathrm{\γ}0\right)& -sin\left(\mathrm{\γ}0\right)\\ 0& sin\left(\mathrm{\γ}0\right)& \cos \left(\mathrm{\γ}0\right)\end{array}\right]$

$R\left(\mathrm{\β}0\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\β}0\right)& sin\left(\mathrm{\β}0\right)& 0\\ -sin\left(\mathrm{\β}0\right)& cos\left(\mathrm{\β}0\right)& 0\\ 0& 0& 1\end{array}\right]$

$R\left(\mathrm{\α}0\right)=\left[\begin{array}{ccc}cos\left(\mathrm{\α}0\right)& 0& sin\left(\mathrm{\α}0\right)\\ 0& 1& 0\\ -sin\left(\mathrm{\α}0\right)& 0& cos\left(\mathrm{\α}0\right)\end{array}\right].$

22.如权利要求20所述虚拟现实图像显示方法，其特征在于，所述步骤S105中，通过最大值算法Q＝MAX(|x|,|y|,|z|)和三角形等比关系，计算所述交点P0(X,Y,Z)的位置，

其矩阵表达式为：

$P(X,Y,Z)=\left[\begin{array}{ccc}Fx\left(Q\right)& 0& 0\\ 0& Fy\left(Q\right)& 0\\ 0& 0& Fz\left(Q\right)\end{array}\right]\×\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right].$

23.如权利要求20所述虚拟现实图像显示方法，其特征在于，于所述空间立方体的每个平面上定义像素阵列，所述交点P0(X,Y,Z)不在所述空间立方体的对应的平面的像素阵列上时，通过插值法于根据所述像素阵列上周围的像素点处生成过渡数据并显示于所述可视区W对应的位置上。

24.如权利要求20所述虚拟现实图像显示方法，其特征在于，所述插值法为线性近似法或双三次插值法。