CN108337497B - 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置 - Google Patents

Abstract

本发明公开了一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置，本发明提出的这种锁定视角的VR图像和视频，仅仅采集拍摄小于等于常人视场的景物，呈献给观众，播放时，将画面固定显示在头戴式显示器屏幕上，从而将传统的主动式虚拟现实沉浸体验，改为被动式虚拟现实沉浸体验。另外由于头戴式显示器固定在头部，无论观众如何改变头部方向，画面中心始终正对观众。因此这种图像和视频可以根据人类眼睛的生理特点，对画面的周边部分进行有效的压缩。最后本发明提出的混合现实设置，由于具有将摄像头采集的图像实时显示在头戴式显示器屏幕上的功能，因此可以在真实现实画面上叠加数字化的文字图像信息，从而实现了增强现实应用的功能。

Description

一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和 装置

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置。

背景技术

随着包括PC VR头盔，VR一体机，手机和VR盒子等越来越多的VR设备涌现，观看VR视频成为用户手中这些VR设备的主要用途之一。目前这些VR视频都是使用配备多个鱼眼镜头的VR摄像设备拍摄并拼接生成的。因为VR视频需要对左右眼分别采集图像，采集的范围非常大，达到上下180度，左右180度或360度，生成的图像分辨率非常高，再加上VR视频需要较高的帧率，这对传感器和处理器的性能提出了非常高的要求。所以目前的VR摄像设备很难达到高性能和便携性的统一。

这类VR视频的文件尺寸非常大，拿相当于普通2D标清画质的180度4K分辨率60帧的VR视频来说，其大小是常见1080P高清视频的数倍。VR视频分享和直播等业务的展开面临存储空间和网络带宽的巨大压力。而且高分辨率高帧率的视频本身对设备硬件要求也很高，一些高分辨率的VR视频在低端的VR设备往往无法流畅的播放。

另一方面，VR视频的创作也面临巨大瓶颈，因为观众可以在VR视频中自由移动视线，创作者无法控制也无法预知观众的视线，所以场面调度面临重大难题；全景拍摄的方式，让灯光布置也受到很大限制；而且VR拍摄的镜头往往固定或很少移动，原因有两个，一个原因是因为全景360°或半景180°VR视频的本质，造成镜头必须水平放置，无法仰拍或者俯拍，拍摄全景360°的画面时，镜头甚至无法水平方向旋转镜头。另一个原因是因为用户的视线可以随意移动，如果观众改变视线时，拍摄镜头也同时移动的话，两者之间产生的不协调会加重观众的眩晕感。由于上述VR创作在场面调度、布景、灯光、运镜等方面的诸多限制，导致VR视频创作虽然历经多年，真正优秀的内容仍然屈指可数。

发明内容

针对上述现有技术中存在的技术问题，本发明的目的是提供一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置。

为实现本发明的目的，本发明提供了一种虚拟现实视频/图像格式，包括如下参数：

(1)视频/图像类型：锁定视角VR；

(2)视场角：50°-250°。

相应地，本发明还提供了一种虚拟现实视频/图像拍摄方法，所述视频/图像的格式参数：视频/图像类型为锁定视角VR，所述方法为通过水平间距在人类瞳距范围内的两颗鱼眼摄像头分别采集对应左右眼的图像，然后根据拍摄设定的视场角参数值，对采集的图像进行剪裁，仅保留该视场角内的画面。

相应地，本发明还提供了一种虚拟现实视频/图像播放方法，所述视频/图像的格式参数：视频/图像类型为锁定视角VR，所述方法为在播放时，画面固定显示在头戴式VR显示器屏幕上，拍摄时的画面视觉中心点，与播放时屏幕的视觉中心点对齐。

相应地，本发明还提供了一种虚拟现实视频/图像进行再编码处理的方法，所述视频/图像的格式参数：视频/图像类型为锁定视角VR，所述方法包括如下步骤：

(1)使用视频/图像解码器对视频/图像文件进行解码，并从文件元数据中读入视频/图像类型、视场角、画面周边压缩方式、全分辨率视场角参数；

(2)将解码后的画面分割为对应左右眼的两幅画面；

(3)根据读入的画面周边压缩方式和全分辨率视场角参数，通过相应的解压映射算法，将步骤(2)得到的画面进行解压还原；

(4)重新设定视场角、画面周边压缩方式、全分辨率视场角、分辨率等参数；

(5)如果重新设定的视场角比该视频/图像文件的视场角更小，则对画面进行剪裁，如果重新设定的视场角比该视频/图像文件的视场角更大，则对画面填充黑边，否则保持不变；

(6)如果重新设置的分辨率与该视频/图像文件的分辨率不同，则按照新分辨率对画面进行重采样，否则保持不变；

(7)根据新设置的画面周边压缩方式和全分辨率视场角参数，调用相应的压缩映射算法函数，对步骤(6)得到的图像画面进行压缩，视觉中心的全分辨率区域保持原状，周边的部分则压缩到一个更小的区域；

(8)将步骤(7)得到的分别对应左右眼的两幅压缩图像拼合成一幅图像；若是进行视频再编码处理，跳到进行步骤(9)；若是进行图像再编码处理，跳到步骤(10)；

(9)使用视频编码器对通过步骤(8)获取的画面组成的视频流进行视频编码，使用音频编码器进行音频编码，并将两者最终封装为视频文件，并将视频类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在视频文件中；

(10)使用图像编码器对通过步骤(8)获取的一幅静止图像，或按照任意指定时间间隔获得的连续数幅图像，进行图像编码，保存为静止或动态的图像文件，并将图像类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在图像文件中。

相应地，还提供了一种混合现实装置，所述装置采用与传统VR头戴式设备相同的佩戴方式，设备的边框位置贴合于佩戴者眼眶周围，使用软质头带或硬质环形框架固定佩戴在头部，设备的部件包括：左右双眼的正前方，依次为左右两块透镜，显示左右眼图像的两块屏幕或一块屏幕的左右部分，以及位于设备前方外侧负责分别采集左右眼图像的两颗鱼眼摄像头，两颗摄像头在同一水平线上，间距为人类瞳距范围，一对立体声耳机贴合在佩戴者左右两耳外侧。

与现有技术相比，本发明提出的这种锁定视角的VR图像和视频，仅仅采集拍摄小于等于常人视场的景物，呈献给观众，在播放时，将画面固定显示在头戴式显示器屏幕上。这种新形式的锁定视角的VR视频/图像格式的特点是：只拍摄人眼可见部分的画面，并取消了观众自由浏览整个场景的自由。将传统的主动式虚拟现实沉浸体验，改为被动式虚拟现实沉浸体验。另外由于头戴式显示器固定在头部，而且播放程序忽略头部运动传感器数据的改变，所以无论观众如何改变头部方向和身体位置，画面的中心始终正对观众。因此这种图像和视频可以根据人类眼睛视觉中心区域分辨率高而周围区域分辨率低的生理特点，在不影响观影体验的前提下，对画面的周边部分进行有效的压缩。方法如下：将锁定视角的VR图像或视频的画面划分为两部分，与视场中心夹角较小的部分，保持原始分辨率；周围夹角更大的部分降低分辨率。这可以通过压缩映射函数实现，该函数将中心部分区域投射到同样大小的区域，而周围部分的区域，则映射到一个较小的区域，而且越靠近视场的边缘，映射面积越小。经过压缩映射函数处理后的图像或视频帧分辨率低于比原始分辨率。通过图像或视频编码器可以获得尺寸更小的图像或视频文件。该图像或视频在播放时，会通过相反的解压映射函数，将低分辨率的画面还原为原始的高分辨率画面，并最终呈献给观众。

附图说明

图1为本申请实施例的简化映射算法原理示意图；

图2为本申请实施例的标准映射算法原理示意图；

图3为本申请实施例的增强映射算法原理示意图；

图4为本申请混合现实装置实施例的模块连接示意图；

图5为本申请混合现实装置第一实施例的结构第一示意图；

图6为本申请混合现实装置第一实施例的结构第二示意图；

图7为本申请混合现实装置第一实施例的结构第三示意图；

图8为本申请混合现实装置第二实施例的VR盒子的结构示意图；

图9为本申请混合现实装置第二实施例的手机背面的结构示意图；

图10为本申请混合现实装置第二实施例的手机正面的结构示意图；

其中，1-原始图像，2-压缩映射区域，3-全分辨率区域，4-图像中心点，5-压缩映射前的点，6-压缩映射后的点，7-视觉中心点，11-立体声耳机，12-人头式立体声录音器，13-鱼眼摄像头，14-屏幕，15-透镜，16-眼球追踪传感器，17-VR盒子，18-USB连接线及插头，19-手机USB接口。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

声明：本申请权利要求书以及说明书中：

视频/图像：是指视频或图像；

混合现实装置：是一种涵盖虚拟现实和增强现实，根据需求将人类生存的现实世界与计算机营造的虚拟空间以不同的程度融合起来的装置。

本申请实施例提供了一种虚拟现实视频/图像格式，包括如下参数：

(1)视频/图像类型：锁定视角VR；

(2)视场角：50°-250°。

常见的VR视频/图像格式，包括画面分辨率等参数，本申请的视频/图像格式具有上述参数要求。另外，本申请的视频/图像格式，还包括如下参数：

(1)画面周边压缩方式：无、简化、标准、增强；

(2)全分辨率视场角：50°-250°。

需要说明的是，传统的2D或3D图像或视频显示在外部的框架式显示器的屏幕上，观众可以随意扭动头部观看画面的不同部分。传统的全景照片或VR视频，无论是单目视场的还是双目立体视场的，180°还是360°，都是采集录制大于常人视场范围的景物，呈现给观众，观众可以通过转动身体或者头部上下左右摇动的方式自由改变视角观看画面的不同部分，虚拟现实头戴式显示器会根据头部跟踪传感器的数据渲染出此时面对观众视角的那部分画面。本发明提出的这种锁定视角的VR图像和视频，则仅仅采集录制小于等于常人视场的景物，呈献给观众，并且将观众的视角锁定在拍摄画面的中央位置。观众无法通过转动身体或头部的方式改变视角，虚拟现实头戴式显示器中显示的画面就是当初拍摄的画面，并忽略头部运动传感器数据的改变，由于虚拟现实头戴式显示器固定在头部，所以画面的中心始终正对观看者。另外，由于锁定了观众的视角，所以这种图像和视频可以根据人类眼睛的结构特点，在不影响观影体验的前提下，对其进行有效的压缩。

1、人类的视觉只有眼球中央凹(Fovea centralis)附近的区域有较高的分辨率，周围的分辨率急转直下，甚至不及中央十分之一。

2、人类眼球的转动角度不大，尤其是最佳转动范围仅有15°上下左右。

根据以上两点可判定，当观众视角被锁定后，因为与人眼视角中心位置的夹角较大，图像或视频画面的周围部分可以适当降低分辨率，而且越靠近画面边缘，分辨率可以越低。

所以锁定视角的VR图像或视频的画面可以划分为两部分，与视场中心夹角较小的部分，保持原始分辨率。周围夹角更大的部分降低分辨率。这可以通过压缩映射函数实现，该函数将中心部分区域投射到同样大小的区域，而周围部分的区域，则映射到一个较小的区域，而且越靠近视场的边缘，映射面积越小。

经过压缩映射函数处理后的图像或视频帧分辨率低于比原始分辨率。通过图像或视频编码器可以获得尺寸更小的图像或视频文件。

该图像或视频在播放时，会通过相反的解压映射函数，将低分辨率的画面还原为原始的高分辨率画面，并最终呈献给观众。

这种新形式的锁定视角的VR视频/图像格式的特点是：只拍摄人眼可见部分的画面，并取消了观众自由浏览整个场景的自由。将传统的主动式虚拟现实沉浸体验，改为被动式虚拟现实沉浸体验。

基于上述，本发明实施例提供了一种虚拟现实视频/图像拍摄方法，所述视频/图像的格式参数：视频/图像类型为锁定视角VR，所述方法为通过水平间距在人类瞳距范围5.3cm-7.5cm之间的两颗鱼眼摄像头分别采集对应左右眼的图像，然后根据拍摄设定的视场角参数值，对采集的图像进行剪裁，仅保留该视场角内的画面。

优选地，所述两颗鱼眼摄像头间距为6.3cm。

优选地，通过安装于拍摄者双眼前方的眼球追踪传感器，随时跟踪拍摄者的眼球运动，计算左右两眼视线的聚合点，对该设备的两个摄像头镜头进行同步对焦操作。

优选地，使用安装于拍摄者双耳外侧的一对人头式立体声录音设备，分别采集对应左右耳的声音。

优选地，在采集画面之后，编码为视频/图像文件之前，先通过压缩映射算法，将画面的周边部分，进行画面压缩。

优选地，如图1-图3所示，所述压缩映射算法为下述的一种：

设:

压缩前原始位置点的极坐标为(r0,α)；

压缩后位置点的极坐标为(r1,β)；

视场角为θs

全分辨率视场角为θf

原始图像半径为rs＝单眼原始画面水平分辨率/2；

全分辨率图像半径为rf＝rs*(θf/θs)；

简化压缩系数为常数p1，取值范围为0<p1<1，优选值举例为0.3；

标准压缩系数为常数p2，取值范围为0<p2<sqrt(2)-1，优选值举例为0.4；

增强压缩系数为常数p3，取值范围为0<p3<sqrt(2)-1，优选值举例为0.4；

视觉中心点与图像中心点的垂直距离为d＝rs*(10/视场角)；

(1)简化压缩映射算法如下：

当r0<rf时:r1＝r0；β＝α；

当r0>rf时:

r1＝rf+sqrt((r0-rf)/(rs-rf))*p1；

β＝α；

该简易压缩映射算法，将图1中原始图像1的圆形区域，压缩为由压缩映射区域2和全分辨率区域3拼合而成的较小的圆形区域。

(2)标准压缩映射算法如下：

当r0<rf时:r1＝r0；β＝α；

当r0>rf时:

r1＝(sqrt(r0-rf)/(rs-rf))*p2；

β＝α(1-acos(rf/r1)/45)+acos(rf/r1)；

该标准压缩映射算法，将图1中原始图像1的圆形区域，压缩为由压缩映射区域2和全分辨率区域3拼合而成的较小的正方形区域。该压缩方式充分利用了全分辨率圆形区域的四个边角，相比简易压缩方式，压缩效果更好。

(3)增强压缩映射算法如下：

当r0<rf时:r1＝r0；β＝α；

当r0>rf时:

rx＝((90-α)/rs)(180-d*(90-α)/rs)

r1＝(sqrt(r0-rf)/(rx-rf))*p3；

β＝α(1-acos(rf/r1)/45)+acos(rf/r1)；

该增强压缩映射算法，在标准压缩基础上，考虑到人眼的正常视线低于水平线夹角10°的因素，在压缩效果相当的情况下，视觉效果更好。

以上算法出于直观清晰的目的，使用了极坐标的表达方式，具体软件实现时，画面像素的屏幕坐标值须由上述公式中的极坐标值、画面分辨率和视场角参数计算得出。

具体地，本发明实施例提供的虚拟现实视频/图像拍摄方法，所述方法包括如下步骤：

(1)设置虚拟现实视频/图像格式的参数值；

(2)分别采集对应左右耳的声音，合成为立体声音频流；同时，通过两颗鱼眼摄像头和与其相应的传感器，分别采集对应左右眼的图像，鱼眼摄像头的视场角大于等于设置的视场角，传感器覆盖整个鱼眼镜头成像范围，采集的图像画面为等距投影模式的圆形画面；

(3)根据设定的视场角参数，对步骤(2)中采集到的图像画面进行剪裁；

(4)根据设定的画面周边压缩方式和全分辨率视场角参数，调用对应的压缩映射算法函数，对步骤(3)得到的图像画面进行压缩，视觉中心的全分辨率区域保持原状，周边的部分则压缩到一个更小的区域；

(5)将步骤(4)得到的分别对应左右眼的两幅图像拼合成一幅图像；若是拍摄视频，则跳到进行步骤(6)；若是拍摄图像，跳到步骤(7)；

(6)使用视频编码器对通过步骤(5)获取的画面组成的视频流进行视频编码，使用音频编码器对步骤(2)得到的音频流进行音频编码，将两者最终封装为视频文件，并将类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在视频文件中；

(7)使用图像编码器对通过步骤(5)获取的一幅静止图像，或按照任意指定时间间隔获得的连续数幅图像，进行图像编码，保存为静止或动态的图像文件，并将类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在图像文件中。

与上述相对应地，本发明实施例还提供了一种虚拟现实视频/图像播放方法，所述视频/图像的格式参数：视频/图像类型为锁定视角VR，所述方法为在播放时，画面固定显示在头戴式VR显示器屏幕上，拍摄时的画面视觉中心点，与播放时屏幕的视觉中心点对齐。

优选地，在视频/图像文件解码之后，播放之前，先通过解压映射算法，对画面的周边部分，进行画面解压。

优选地，如图图1-图3所示，所述解压映射算法为下述的一种：

设:

压缩前原始位置点的极坐标为(r0,α)；

压缩后位置点的极坐标为(r1,β)；

视场角为θs；

全分辨率视场角为θf；

原始图像半径为rs；

rs＝单眼压缩后画面水平分辨率/2*((θs/θf-1)*p1+1)当压缩方式为简易；

rs＝单眼压缩后画面水平分辨率/2*(θs/θf)；当压缩方式为标准或增强；

全分辨率图像半径为rf＝rs*(θf/θs)；

简化压缩系数为常数p1，取值范围为0<p1<1，优选值举例为0.3；

标准压缩系数为常数p2，取值范围为0<p2<sqrt(2)-1，优选值举例为0.4；

增强压缩系数为常数p3，取值范围为0<p3<sqrt(2)-1，优选值举例为0.4；

视觉中心点与图像中心点的垂直距离为d＝rs*(10/视场角)；

(1)简化解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

r0＝rf+((r1-rf)/p1)^2*(rs-rf)；

α＝β；

(2)标准解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

r0＝((r1/p2)^2)*(rs-rf)+rf；

α＝(β-acos(rf/r1))/(1-acos(rf/r1)/45)；

(3)增强解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

α＝(β-acos(rf/r1))/(1-acos(rf/r1)/45)；

rx＝((90-α)/rs)(180-d*(90-α)/rs)；

r0＝((r1/p3)^2)*(rx-rf)+rf；

以上算法出于直观清晰的目的，使用了极坐标的表达方式，具体软件实现时，画面像素的屏幕坐标值须由上述公式中的极坐标值、画面分辨率和视场角参数计算得出。

具体地，本发明提供的一种虚拟现实视频/图像播放方法，所述方法包括如下步骤：

(1)使用视频/图像解码器对视频/图像文件进行解码，并从文件元数据中读入视频/图像类型、视场角、画面周边压缩方式、全分辨率视场角参数；

(2)将解码后的画面分割为对应左右眼的两幅画面；

(3)根据读入的画面周边压缩方式和全分辨率视场角参数，通过相应的解压映射算法，将步骤(2)得到的画面进行解压还原；

(4)根据当前播放设备的视场角不同，对步骤(3)的画面进行剪裁或填补，当播放设备视场角大于画面视场角时，画面周围的部分填补为黑边，当播放设备视场角小于画面视场角时，画面超出的部分被剪裁掉；

(5)将画面显示在当前播放设备分别对应左右眼的屏幕位置上，拍摄时的画面视觉中心点，与播放时屏幕的视觉中心点对齐；

(6)播放视频文件时，使用音频解码器对视频文件中的音频进行解码，并同步输出到播放设备进行音频回放。

本发明实施例还提供了一种虚拟现实视频/图像进行再编码处理的方法，其特征在于，所述视频/图像的格式参数：视频/图像类型为锁定视角VR，所述方法包括如下步骤：

(1)使用视频/图像解码器对视频/图像文件进行解码，并从文件元数据中读入视频/图像类型、视场角、画面周边压缩方式、全分辨率视场角参数；

(2)将解码后的画面分割为对应左右眼的两幅画面；

(3)根据读入的画面周边压缩方式和全分辨率视场角参数，通过相应的解压映射算法，将步骤(2)得到的画面进行解压还原；

(4)重新设定视场角、画面周边压缩方式、全分辨率视场角、分辨率等参数；

(5)如果重新设定的视场角比该视频/图像文件的视场角更小，则对画面进行剪裁，如果重新设定的视场角比该视频/图像文件的视场角更大，则对画面填充黑边，否则保持不变；

(6)如果重新设置的分辨率与该视频/图像文件的分辨率不同，则按照新分辨率对画面进行重采样，否则保持不变；

(7)根据新设置的画面周边压缩方式和全分辨率视场角参数，调用相应的压缩映射算法函数，对步骤(6)得到的图像画面进行压缩，视觉中心的全分辨率区域保持原状，周边的部分则压缩到一个更小的区域；

(8)将步骤(7)得到的分别对应左右眼的两幅压缩图像拼合成一幅图像；若是进行视频再编码处理，跳到进行步骤(9)；若是进行图像再编码处理，跳到步骤(10)；

(9)使用视频编码器对通过步骤(8)获取的画面组成的视频流进行视频编码，使用音频编码器进行音频编码，并将两者最终封装为视频文件，并将视频类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在视频文件中；

(10)使用图像编码器对通过步骤(8)获取的一幅静止图像，或按照任意指定时间间隔获得的连续数幅图像，进行图像编码，保存为静止或动态的图像文件，并将图像类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在图像文件中。

与上述虚拟现实视频/图像格式以及拍摄、处理、播放方法相对应地，本发明实施例提供了一种混合现实装置，如图4-图10所示，所述装置采用与传统VR头戴式设备相同的佩戴方式，设备的边框位置贴合于佩戴者眼眶周围，使用软质头带或硬质环形框架固定佩戴在头部，设备的部件包括：左右双眼的正前方，依次为左右两块透镜15，显示左右眼图像的两块屏幕14或一块屏幕14的左右部分，以及位于设备前方外侧负责分别采集左右眼图像的两颗鱼眼摄像头13，两颗鱼眼摄像头13在同一水平线上，间距为人类瞳距范围5.3cm-7.5cm之间，一对立体声耳机11贴合在佩戴者左右两耳外侧。

优选地，所述两颗鱼眼摄像头间距为6.3cm。

优选地，所述两个立体声耳机11背面位置，安装有两个人头式立体声录音器12。

优选地，设备内部，位于佩戴者双眼前方的的位置，安装有眼球追踪传感器16。

优选地，所述装置用于锁定视角虚拟现实视频/图像的拍摄时，使用该设备的两颗鱼眼摄像头13分别采集对应左右眼的图像，然后根据拍摄设定的视场角参数值，对采集的图像进行剪裁，仅保留该视场角内的画面。

优选地，所述装置用于虚拟现实视频/图像的拍摄时，将采集的图像实时回放到该设备的屏幕14上，拍摄者可以无障碍的一边拍摄，一边实时预览拍摄的画面。

优选地，所述装置用于虚拟现实视频/图像的拍摄时，通过眼球追踪传感器16，随时跟踪拍摄者的眼球运动，计算左右两眼视线的聚合点，对设备的两个摄像头镜头进行同步对焦操作。

优选地，所述装置用于虚拟现实视频/图像的拍摄时，使用人头式立体声录音设备12，分别采集对应左右耳的声音。

优选地，所述装置用于锁定视角虚拟现实视频/图像的拍摄时，在采集画面之后，编码为视频/图像文件之前，先通过压缩映射算法，将画面的周边部分，进行画面压缩。

优选地，所述装置用于进行增强现实应用时，将采集的图像实时回放到该设备的屏幕14上，作为增强现实的真实场景部分，并利用该设备的移动计算平台，将文字图像数字化增强信息部分叠加显示在屏幕14上。

优选地，所述装置用于进行增强现实应用时，利用该设备的拍摄功能，对增强现实应用进行实时录制视频或截取图像。

优选地，所述装置用于锁定视角虚拟现实视频/图像的播放时，画面固定显示在头戴式VR显示器屏幕上，拍摄时的画面视觉中心点，与播放时屏幕的视觉中心点对齐。

优选地，所述装置用于锁定视角虚拟现实视频/图像的播放时，在视频/图像文件解码之后，播放之前，先通过解压映射算法，对画面的周边部分，进行画面解压。

具体地，本发明中的装置，可以包括如下部件：

1、该装置为头戴式设备，通过可调节松紧的束带或框架固定在人的头部，外形和人体工学设计与已有的VR一体机，或VR盒子一致；

2、包括CPU,GPU,内存，外存等移动计算平台的相关硬件，与已有的VR一体机或提供VR功能的智能手机的硬件规格一致；

3、包括用于在人左右眼中成像的一对透镜和屏幕，与已有的VR一体机或手机+VR盒子的硬件规格一致；

4、该设备的前面板，分别对应左右眼的位置配有2枚鱼眼摄像头，两者距离为人类瞳距5.3cm-7.5cm之间，优选值设为6.3厘米；

5、可选的该设备内部集成眼球追踪模块；

6、集成一对立体声耳机；

7、这对耳机的外侧为一对人头式立体录音麦克风。

上述硬件结构可以有如下两种实施方式：

1.如图4-7所示，为头戴式VR一体摄录播放机，将硬件架构中的所有集成到一个头戴式VR一体机内；

2、如图4、图8-10所示，为具备同样功能的手机+VR盒子组合。将上述硬件架构中的透镜、耳机、录音器安置在VR盒子上，其他的硬件设计成智能手机的形式。两个摄像头安置在手机的背面，两者之间通过USB接口进行音频数据的输入输出。手机可独立拍摄VR视频，此时使用手机自带的麦克风进行声音采集。VR盒子同样为头戴式设备。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (19)

1.一种虚拟现实视频/图像拍摄方法，其特征在于，所述视频/图像的类型参数：锁定视角VR，所述方法为通过水平间距在人类瞳距范围5.3cm-7.5cm之间的两颗鱼眼摄像头分别采集对应左右眼的图像，然后根据拍摄设定的视场角参数值，对采集的图像进行剪裁，仅保留该视场角内的画面；

在采集画面之后，编码为视频/图像文件之前，先通过压缩映射算法，将画面的周边部分，进行画面压缩；

所述压缩映射算法为下述的一种：

(1)简化压缩映射算法如下：

当r0<rf时:r1＝r0；β＝α；

当r0>rf时:

r1＝rf+sqrt((r0-rf)/(rs-rf))*p1；

β＝α；

(2)标准压缩映射算法如下：

当r0<rf时:r1＝r0；β＝α；

当r0>rf时:

r1＝(sqrt(r0-rf)/(rs-rf))*p2；

β＝α(1-acos(rf/r1)/45)+acos(rf/r1)；

(3)增强压缩映射算法如下：

当r0<rf时:r1＝r0；β＝α；

当r0>rf时:

rx＝((90-α)/rs)(180-d*(90-α)/rs)

r1＝(sqrt(r0-rf)/(rx-rf))*p3；

β＝α(1-acos(rf/r1)/45)+acos(rf/r1)；

其中，

压缩前原始位置点的极坐标为(r0,α)；

压缩后位置点的极坐标为(r1,β)；

视场角为θs；

全分辨率视场角为θf；

原始图像半径为rs＝原始画面水平分辨率/2；

全分辨率图像半径为rf＝rs*(θf/θs)；

简化压缩系数为常数p1，取值范围为0<p1<1；

标准压缩系数为常数p2，取值范围为0<p2<sqrt(2)-1；

增强压缩系数为常数p3，取值范围为0<p3<sqrt(2)-1；

视觉中心点与图像中心点的垂直距离为d＝rs*(10/θs)；

以上算法出于直观清晰的目的，使用了极坐标的表达方式，具体软件实现时，画面像素的屏幕坐标值须由上述公式中的极坐标值、画面分辨率和视场角参数计算得出。

2.根据权利要求1所述的虚拟现实视频/图像拍摄方法，其特征在于，所述两颗摄像头间距为6.3cm。

3.根据权利要求2所述的虚拟现实视频/图像拍摄方法，其特征在于，通过安装于拍摄者双眼前方的眼球追踪传感器，随时跟踪拍摄者的眼球运动，计算左右两眼视线的聚合点，对用于拍摄虚拟现实视频/图像拍摄的设备的两个摄像头镜头进行同步对焦操作。

4.根据权利要求2所述的虚拟现实视频/图像拍摄方法，其特征在于，使用安装于拍摄者双耳外侧的一对人头式立体声录音设备，分别采集对应左右耳的声音。

5.根据权利要求2所述的虚拟现实视频/图像拍摄方法，其特征在于，所述方法包括如下步骤：

(1)设置虚拟现实视频/图像格式的参数值；

(2)分别采集对应左右耳的声音，合成为立体声音频流；同时，通过两颗鱼眼摄像头和与其相应的传感器，分别采集对应左右眼的图像，鱼眼摄像头的视场角大于等于设置的视场角，传感器覆盖整个鱼眼镜头成像范围，采集的图像画面为等距投影模式的圆形画面；

(3)根据设定的视场角参数，对步骤(2)中采集到的图像画面进行剪裁；

(4)根据设定的画面周边压缩方式和全分辨率视场角参数，调用对应的压缩映射算法函数，对步骤(3)得到的图像画面进行压缩，视觉中心的全分辨率区域保持原状，周边的部分则压缩到一个更小的区域；

(5)将步骤(4)得到的分别对应左右眼的两幅图像拼合成一幅图像；若是拍摄视频，则跳到进行步骤(6)；若是拍摄图像，跳到步骤(7)；

(6)使用视频编码器对通过步骤(5)获取的画面组成的视频流进行视频编码，使用音频编码器对步骤(2)得到的音频流进行音频编码，将两者最终封装为视频文件，并将类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在视频文件中；

(7)使用图像编码器对通过步骤(5)获取的一幅静止图像，或按照任意指定时间间隔获得的连续数幅图像，进行图像编码，保存为静止或动态的图像文件，并将类型、视场角、画面周边压缩方式、全分辨率视场角参数以元数据的形式保存在图像文件中。

6.一种虚拟现实视频/图像播放方法，其特征在于，所述视频/图像的类型参数：锁定视角VR，所述方法为在播放时，画面固定显示在头戴式VR显示器屏幕上，拍摄时的画面视觉中心点与播放时屏幕的视觉中心点对齐，在视频/图像文件解码之后，播放之前，先通过解压映射算法，对画面的周边部分，进行画面解压，

所述解压映射算法为下述的一种：

(1)简化解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

r0＝rf+((r1-rf)/p1)^2*(rs-rf)；

α＝β；

(2)标准解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

r0＝((r1/p2)^2)*(rs-rf)+rf；

α＝(β-acos(rf/r1))/(1-acos(rf/r1)/45)；

(3)增强解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

α＝(β-acos(rf/r1))/(1-acos(rf/r1)/45)；

rx＝((90-α)/rs)(180-d*(90-α)/rs)；

r0＝((r1/p3)^2)*(rx-rf)+rf；

其中，

压缩前原始位置点的极坐标为(r0,α)；

压缩后位置点的极坐标为(r1,β)；

视场角为θs；

全分辨率视场角为θf；

原始图像半径为rs；

rs＝单眼压缩后画面水平分辨率/2*((θs/θf-1)*p1+1)； 当压缩方式为简易；

rs＝单眼压缩后画面水平分辨率/2*(θs/θf)；当压缩方式为标准或增强；

全分辨率图像半径为rf＝rs*(θf/θs)；

简化压缩系数为常数p1，取值范围为0<p1<1；

标准压缩系数为常数p2，取值范围为0<p2<sqrt(2)-1；

增强压缩系数为常数p3，取值范围为0<p3<sqrt(2)-1；

视觉中心点与图像中心点的垂直距离为d＝rs*(10/θs)；

以上算法出于直观清晰的目的，使用了极坐标的表达方式，具体软件实现时，画面像素的屏幕坐标值须由上述公式中的极坐标值、画面分辨率和视场角参数计算得出。

7.根据权利要求6所述的虚拟现实视频/图像播放方法，其特征在于，所述方法包括如下步骤：

(1)使用视频/图像解码器对视频/图像文件进行解码，并从文件元数据中读入视频/图像类型、视场角、画面周边压缩方式、全分辨率视场角参数；

(2)将解码后的画面分割为对应左右眼的两幅画面；

(3)根据读入的画面周边压缩方式和全分辨率视场角参数，通过相应的解压映射算法，将步骤(2)得到的画面进行解压还原；

(4)根据当前播放设备的视场角不同，对步骤(3)的画面进行剪裁或填补，当播放设备视场角大于画面视场角时，画面周围的部分填补为黑边，当播放设备视场角小于画面视场角时，画面超出的部分被剪裁掉；

(5)将画面显示在当前播放设备分别对应左右眼的屏幕位置上，拍摄时的画面视觉中心点，与播放时屏幕的视觉中心点对齐；

(6)播放视频文件时，使用音频解码器对视频文件中的音频进行解码，并同步输出到播放设备进行音频回放。

8.一种混合现实装置，其特征在于，所述装置采用与传统VR头戴式设备相同的佩戴方式，设备的边框位置贴合于佩戴者眼眶周围，使用软质头带或硬质环形框架固定佩戴在头部，设备的部件包括：左右双眼的正前方，依次为左右两块透镜，显示左右眼图像的两块屏幕或一块屏幕的左右部分，以及位于设备前方外侧负责分别采集左右眼图像的两颗鱼眼摄像头，两颗摄像头在同一水平线上，间距为人类瞳距范围5.3cm-7.5cm之间，一对立体声耳机贴合在佩戴者左右两耳外侧；

所述装置用于锁定视角虚拟现实视频/图像的拍摄时，在采集画面之后，编码为视频/图像文件之前，先通过压缩映射算法，将画面的周边部分，进行画面压缩；

所述解压映射算法为下述的一种：

(1)简化解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

r0＝rf+((r1-rf)/p1)^2*(rs-rf)；

α＝β；

(2)标准解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

r0＝((r1/p2)^2)*(rs-rf)+rf；

α＝(β-acos(rf/r1))/(1-acos(rf/r1)/45)；

(3)增强解压映射算法如下：

当r1<rf时:r0＝r1；α＝β；

当r1>rf时:

α＝(β-acos(rf/r1))/(1-acos(rf/r1)/45)；

rx＝((90-α)/rs)(180-d*(90-α)/rs)；

r0＝((r1/p3)^2)*(rx-rf)+rf；

其中:

压缩前原始位置点的极坐标为(r0,α)；

压缩后位置点的极坐标为(r1,β)；

视场角为θs；

全分辨率视场角为θf；

原始图像半径为rs；

当压缩方式为简易rs＝单眼压缩后画面水平分辨率/2*((θs/θf-1)*p1+1)；

当压缩方式为标准或增强rs＝单眼压缩后画面水平分辨率/2*(θs/θf)；

全分辨率图像半径为rf＝rs*(θf/θs)；

简化压缩系数为常数p1，取值范围为0<p1<1；

标准压缩系数为常数p2，取值范围为0<p2<sqrt(2)-1；

增强压缩系数为常数p3，取值范围为0<p3<sqrt(2)-1；

视觉中心点与图像中心点的垂直距离为d＝rs*(10/θs)；

以上算法出于直观清晰的目的，使用了极坐标的表达方式，具体软件实现时，画面像素的屏幕坐标值须由上述公式中的极坐标值、画面分辨率和视场角参数计算得出。

9.根据权利要求8所述的混合现实装置，其特征在于，所述两颗摄像头间距为6.3cm。

10.根据权利要求8所述的混合现实装置，其特征在于，两个耳机背面位置，安装有两个人头式立体声录音器。

11.根据权利要求8所述的混合现实装置，其特征在于，设备内部，位于佩戴者双眼前方的的位置，安装有眼球追踪传感器。

12.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于锁定视角虚拟现实视频/图像的拍摄时，使用该设备的两颗摄像头分别采集对应左右眼的图像，然后根据拍摄设定的视场角参数值，对采集的图像进行剪裁，仅保留该视场角内的画面。

13.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于虚拟现实视频/图像的拍摄时，将采集的图像实时回放到该设备的屏幕上，拍摄者可以无障碍的一边拍摄，一边实时预览拍摄的画面。

14.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于虚拟现实视频/图像的拍摄时，通过眼球追踪传感器，随时跟踪拍摄者的眼球运动，计算左右两眼视线的聚合点，对设备的两个摄像头镜头进行同步对焦操作。

15.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于虚拟现实视频/图像的拍摄时，使用人头式立体声录音设备，分别采集对应左右耳的声音。

16.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于进行增强现实应用时，将采集的图像实时回放到该设备的屏幕上，作为增强现实的真实场景部分，并利用该设备的移动计算平台，将文字图像等数字化增强信息部分叠加显示在屏幕上。

17.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于进行增强现实应用时，利用该设备的拍摄功能，对增强现实应用进行实时录制视频或截取图像。

18.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于锁定视角虚拟现实视频/图像的播放时，画面固定显示在头戴式VR显示器屏幕上，拍摄时的画面视觉中心点，与播放时屏幕的视觉中心点对齐。

19.根据权利要求8所述的混合现实装置，其特征在于，所述装置用于锁定视角虚拟现实视频/图像的播放时，在视频/图像文件解码之后，播放之前，先通过解压映射算法，对画面的周边部分，进行画面解压。

Images