CN106130988A - 远程全景音像实时传输和播放方法 - Google Patents

Abstract

本发明包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元、声学单元和显示单元，所述处理单元分别与所述运动检测单元、所述声学单元和所述显示单元电性连接。与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据和声音数据的方案，节省了很多的网络带宽，使远程全景音像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。

Description

远程全景音像实时传输和播放方法

技术领域

本发明涉及全景音像传输领域，更具体地说，涉及远程全景音像实时传输和播放方法。

背景技术

全景音像目前一般采用曲面屏或近眼显示装置营造一个虚拟的三维场景，让使用者不管朝向哪个方向都可以看到虚拟世界中的图像，同时配备声音，有较强的沉浸感。全景视频或游戏目前一般是在主机中提前下载好整个文件再播放，很难实现远程实时传输，这是由于目前的网络传输速度存在较大的限制，而全景视频或游戏的传输需要很大的实时数据传输量，这是目前大多数的网络条件难以满足的。一些实时传输的方案采用了降低传输图像画质和声音效果来节省数据传输量，但这样会造成传输图像、声音质量下降，严重影响沉浸感。

发明内容

为了解决当前远程全景音像无法实时传输和影响沉浸感的缺陷，本发明提供可实时传输而且沉浸感强的远程全景音像实时传输和播放方法。

本发明解决其技术问题所采用的技术方案是：提供远程全景音像实时传输和播放方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元、声学单元和显示单元，所述处理单元分别与所述运动检测单元、所述声学单元和所述显示单元电性连接，远程全景图像实时传输和显示的方法包括以下步骤：

S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；

S2：所述处理单元对接收到的检测结果进行处理，得出需要传递声音和图像的空间角度坐标集合，并发送请求至所述服务器请求所述空间角度坐标集合对应的图像数据和声音数据；

S3：所述服务器传输对应图像数据和声音数据至所述终端。

优选地，所述运动检测单元包括姿态检测装置和角速度检测装置，所述姿态检测装置可以检测使用者的角度坐标信息，所述角速度检测装置可以检测使用者的角速度信息。

优选地，需要传递声音和图像的空间坐标集合的计算方法是：

S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α₀，β₀，γ₀)；

S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的角度坐标集合Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}，集合Ф即为需要传递声音和图像的空间坐标集合。

优选地，需要传递声音和图像的空间坐标集合的计算方法是：

S2.21所述角速度检测装置检测使用者沿x轴、y轴和z轴各个方向转动的角速度ω_α、ω_β、ω_γ，在所述处理单元中设置使用者沿x轴、y轴和z轴各个方向转动的最大角加速度α_α、α_β、α_γ，记延迟时间为t₁₀；

S2.22所述处理单元计算出延迟时间t₁₀内使用者可能出现的角度坐标集合Ф₁＝{(((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，(((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，(((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))|α，β，γ}，集合Ф₁即为需要传递声音和图像的空间坐标集合。

优选地，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

优选地，需要传递声音和图像的空间坐标集合的计算方法是：

S2.31在所述处理单元中记录延迟时间内使用者沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α’、ω_β’、ω_γ’；

S2.32所述处理单元计算Ф₂＝{((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|α，β，γ}；

S2.33令集合Ф₃＝(Ф₁∩Ф₂)，则Ф₃即为需要传递声音和图像的空间坐标集合。

优选地，所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息。

优选地，所述终端进一步包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间。

优选地，将使用者沿x轴、y轴和z轴方向转动的角度空间等分n份，设置n个记录坐标记录声音。

优选地，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。

与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据和声音数据的方案，节省了很多的网络带宽，使远程全景音像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。姿态检测装置和角速度检测装置可以探测使用者的角度坐标信息和角速度信息，实时将相关信息传输至处理单元以确定传输图像区域。通过确定使用者延迟时间内角度坐标的最大偏移量可以更精确传输图像区域的范围，进一步减少数据传输量。通过角加速度和最大角速度配合确定使用者可能出现的角度坐标集合最大限度地减少了传输数据量，节省了带宽。设置响应测试装置可以测量使用者的网速情况，同时方便得出延迟时间。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是目前远程音像实时传输和显示方法；

图2是全景图像显示示意图；

图3是本发明远程全景图像实时传输和显示方法结构示意图；

图4是本发明远程全景图像实时传输和显示方法原理示意图；

图5是本发明远程全景图像实时传输和显示方法传输图像区域示意图。

具体实施方式

为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本发明提供可实时传输而且沉浸感强的远程全景音像实时传输和播放方法。

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参阅图1。图1是目前远程音像实时传输和显示方法，终端13包括显示单元131和声学单元133，通过终端13向服务器11请求数据，服务器11根据终端13请求的数据传输对应的图像和声音数据到终端13，终端13经过处理后将图像、声音信号传输至显示单元131和声学单元133。这种传输对终端13和服务器11的处理速度以及传输数据的速度都有一定的要求，如果这些速度无法达到要求，视频图像和声音就会出现卡顿，严重影响使用体验。在目前的远程音像实时传输和显示中，服务器11性能、终端13性能和网络带宽及稳定性成为了制约音像传输的关键因素。因此，在目前高清视频的传输和大型游戏中，性能卓越的终端13和稳定高速的网络配置是不能缺少的。

请参阅图2。图2是全景音像显示示意图。全景音像多通过虚拟现实头盔、增强现实眼镜和全景曲面屏来呈现，需要保证使用者20不管朝向什么方向，都可以感受到如同现实般的音像，因此在非远程虚拟现实显示中，需要制作全方位360度的图像和各个位置的声音，存储在终端13，待使用者20的运动和位置状态被确定后，终端13传输对应的图像信息和声音信息到显示单元131和声学单元133中。而在远程实时传输中，无法提前制作全方位360度的图像，只能依靠实时传输360度的图像和声音来保证使用者20不管朝向什么方向都可以感受到如同现实般的声音和图像。但是同时传输如此多的信息需要很大的网络带宽支持，目前的技术无法达到要求，这就使得远程全景音像实时传输和播放遇到很大的难题。一个解决方案是降低图像的画质和声音的品质，当图像的画质和声音的品质降低到一定的标准时，实时传输数据量大为减少，网络带宽可以满足，但这会导致图像非常模糊，晶格感严重，声音不清晰，严重影响虚拟现实的沉浸感和体验。在目前网络带宽的条件下，实时传输的情况下增强虚拟现实沉浸感必须寻找其他解决方案。

请参阅图3—图5，在本发明中，完成远程全景音像实时传输和播放需要服务器11、传输系统12和终端13，服务器11和终端13之间通过传输系统12连接并相互传递信息。终端13包括处理单元137、显示单元131、声学单元133、环境模拟单元139和运动检测单元135，处理单元137分别与显示单元131、声学单元133、环境模拟单元139和运动检测单元135电性连接。环境模拟单元139可以根据处理单元137的相关命令模拟环境场景，服务器11可以传输环境信息到终端13，并由处理单元137命令环境模拟单元139进行表达。环境模拟单元139可以配备鼓风机(图未示)模拟风向和配备喷水装置(图未示)模拟喷水、下雨等环境变化。运动检测单元135包括姿态检测装置1353和角速度检测装置1355。处理单元137包括响应测试装置1371，响应测试装置1371可以测量网络响应速度。我们将通过视觉和听觉分别论述本发明的实施方案。

由于人的视角限制，现实中人不能同时看到360度全景空间的图像，呈现在人面前的是一个“视窗”，图示视窗图像区域31。我们这里以虚拟现实显示为例讲述全景图像显示的原理，全景曲面屏和增强现实显示方法与其类似，此处不再赘述。在非远程虚拟现实显示中，由于设备响应速度较快，在使用者20的角度信息被探测到后，终端13传输对应的视窗图像区域31到显示单元131中，整个过程可以控制到11ms以下，而在这低于11ms的时间内，使用者20的运动状态不会发生太大改变，这部分时间延迟可以忽略。使用者20在显示单元131中看到11ms之前的图像大脑生理上不会产生延迟感，这是非远程虚拟现实显示的基本原理。在这种传输中，每个角度坐标对应唯一的视窗图像区域31。但是在远程虚拟现实显示中，由于网络响应速度远大于11ms，再使用这种方式来传播图像就会产生很大的延迟感。因此我们必须传输大于视窗图像区域31的图像存储在终端13中，再重新测量使用者20的角度坐标，在存储的图像中抓取对应的视窗图像区域31到显示单元131中。这其中，大于视窗图像区域31的图像我们称为缓冲图像区域33，缓冲图像区域33和视窗图像区域31共同构成传输图像区域30。

从使用者20的运动状态和位置信息被探测到，到图像信息传递给使用者，需要一个传递和处理的时间周期。令这个时间周期的起始时刻为T₀，则该时间周期需要：使用者20的运动状态被探测到并传递到处理单元137的时间为探测时间t₁、处理单元137处理的时间为t₂、处理单元137传输数据到服务器11所需时间t₃、服务器11处理时间t₄、服务器11向处理单元137传输对应图像数据的时间t₅。(t₁+t₂+t₃+t₄+t₅)这段时间我们称为延迟时间，记延迟时间为t₁₀。延迟时间t₁₀根据服务器11、终端13的性能以及网络传输速度的不同各有不同。可以很容易得出，响应测试装置1371测量的响应时间为(t₃+t₄+t₅)，由于t₁和t₂对于特定的终端来说是基本是固定不变的，因此延迟时间t₁₀就可以通过响应时间(t₃+t₄+t₅)和固定的时间t₁、t₂计算出来。

本发明的图像传输和显示过程是：在T₀时刻，使用者20的角度坐标信息被运动检测单元135检测到，经过t₁的时间该信息传递到处理单元137，处理单元137经过t₂时间的处理向服务器11请求传输图像区域30的数据，经过t₃时间数据请求信息传输到服务器11，服务器11经过t₄时间的处理将传输图像区域30对应数据下行传输到终端13，经过t₅的时间到达终端并接收完成，此时记为T₁时刻。同时，运动检测单元135检测使用者20在T₁时刻的角度坐标信息，并将该信息传输至处理单元137，处理单元137经过处理后，在传回的传输图像区域30中抓取对应T₁时刻角度坐标信息的视窗图像区域31并传输至显示单元131。

本发明中，传输图像区域30的范围是比较重要的。传输图像区域30如果过小，使用者20在缓冲时间内的运动可能造成视窗图像区域31超出传输图像区域30的范围，造成黑边的出现；传输图像区域30如果过大，会造成网络传输数据量的增多，在网络不稳定的情况下有可能影响到沉浸感。

本发明采用计算使用者20最大角度偏移量的方式确定传输图像区域30。我们建立虚拟的直角坐标系，使用者此时沿x轴、y轴和z轴的角度坐标为α₀、β₀、γ₀，处理单元137通过计算的方式计算出延迟时间t₁₀内使用者20角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的坐标集合：

Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}；

集合Ф内所有坐标对应的视窗图像区域31围成的图像区域的集合即为传输图像区域30。对应的角度坐标可以由姿态检测装置1353检测得到。

角度坐标的最大偏移量有很多算法，其中一种就是利用使用者20的最大运动角加速度来计算。这里，我们令使用者20的最大运动角加速度是α，则使用者20沿x轴、y轴和z轴各个方向转动的最大角加速度为α_α、α_β、α_γ，使用者20沿x轴、y轴和z轴各个方向转动的角速度为ω_α、ω_β、ω_γ，ω_α、ω_β、ω_γ可以利用角速度检测装置1355检测得到，在延迟时间t₁₀内使用者沿x轴、y轴和z轴各个方向转动的最大角度为(ω_αt₁₀+α_αt₁₀ ²/2)、(ω_βt₁₀+α_βt₁₀ ²/2)、(ω_γt₁₀+α_γt₁₀ ²/2)，角度坐标的变化范围为：

{((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))}，

此时，角度坐标的集合为：

Ф₁＝{((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))|α，β，γ}。

利用该方法计算角度坐标的集合可以很大程度上减少传输图像区域30，较好地节省了资源。

本发明第二实施例在第一实施例的基础上进一步节省传输图像区域30。由于人的头部在转动过程中存在极限角速度，当转动达到极限角速度后就不会继续加速转动。因此，我们令使用者20沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α’、ω_β’、ω_γ’,则使用者20在延迟时间t₁₀内沿x轴、y轴和z轴各个方向转动的最大角度为ω_α’t₁₀、ω_β’t₁₀、ω_γ’t₁₀，角度坐标的变化范围为：

{((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))}，

此时，角度坐标的集合为：

Ф₂＝{((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|α，β，γ}。

使用者20不管怎样加速转动头部，都不会超过集合Ф₂的坐标范围，我们令集合Ф₃＝(Ф₁∩Ф₂)，则Ф₃即为使用者可能出现的角度坐标集合。这个结果使传输图像区域30进一步减小，减少了大量的传输数据。

本发明的声音传输和播放过程是：在T₀时刻，使用者20的角度坐标信息和角速度信息被运动检测单元135检测到，经过t₁的时间该信息传递到处理单元137，处理单元137经过t₂时间的处理向服务器11请求传输声音集合的数据，经过t₃时间数据请求信息传输到服务器11，服务器11经过t₄时间的处理将传输声音集合对应数据下行传输到终端13，经过t₅的时间到达终端并接收完成，此时记为T₁时刻。同时，运动检测单元135检测使用者20在T₁时刻的角度坐标信息，并将该信息传输至处理单元137，处理单元137经过处理后，在传回的传输图像区域30中抓取对应T₁时刻角度坐标信息的声音并传输至声学单元133。

传输声音集合的确定方式与传输图像区域30的确定方式相同，即利用使用者20的最大角度偏移量和使用者20的角速度、最大角速度、最大角加速度等数据，计算出集合Ф、Ф₃和Ф₁。每个角度坐标(α，β，γ)对应唯一的声音数据，角度坐标集合Ф、Ф₃或Ф₁对应的声音数据的集合即为传输声音集合。我们分别将使用者20沿x轴、y轴和z轴方向转动的角度空间等分n份，设置n个记录坐标来记录声音，则整个转动空间的坐标数量为n³。在向服务器11请求传输声音数据时，我们只需传输集合Ф、Ф₃或Ф₁涵盖的记录坐标，在T₁时刻重新检测使用者20的坐标信息后，我们从终端13中抓取最接近测量坐标的声音数据，并传输至声学单元133，完成声音的播放。

与现有技术相比，本发明采用根据运动检测单元135检测结果对应传输图像数据和声音数据的方案，节省了很多的网络带宽，使远程全景音像实时传输和显示得以实现。通过截取视窗图像区域31和缓冲图像区域33的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元139可以模拟环境，对虚拟现实的沉浸感有一定意义。姿态检测装置1353和角速度检测装置1355可以探测使用者的角度坐标信息和角速度信息，实时将相关信息传输至处理单元137以确定传输图像区域30。通过确定使用者20延迟时间内角度坐标的最大偏移量可以更精确传输图像区域30的范围和传输声音集合的范围，进一步减少数据传输量。通过角加速度和最大角速度配合确定使用者可能出现的角度坐标集合最大限度地减少了传输数据量，节省了带宽。设置响应测试装置1371可以测量使用者20的网速情况，同时方便得出延迟时间t₁₀。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.远程全景音像实时传输和播放方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元、声学单元和显示单元，所述处理单元分别与所述运动检测单元、所述声学单元和所述显示单元电性连接，远程全景图像实时传输和显示的方法包括以下步骤：

S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；

S2：所述处理单元对接收到的检测结果进行处理，得出需要传递声音和图像的空间角度坐标集合，并发送请求至所述服务器请求所述空间角度坐标集合对应的图像数据和声音数据；

S3：所述服务器传输对应图像数据和声音数据至所述终端。

2.根据权利要求1所述的远程全景音像实时传输和播放方法，其特征在于，所述运动检测单元包括姿态检测装置和角速度检测装置，所述姿态检测装置可以检测使用者的角度坐标信息，所述角速度检测装置可以检测使用者的角速度信息。

3.根据权利要求2所述的远程全景音像实时传输和播放方法，其特征在于，需要传递声音和图像的空间坐标集合的计算方法是：

S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α₀，β₀，γ₀)；

S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的角度坐标集合Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}，集合Ф即为需要传递声音和图像的空间坐标集合。

4.根据权利要求3所述的远程全景音像实时传输和播放方法，其特征在于，需要传递声音和图像的空间坐标集合的计算方法是：

S2.21所述角速度检测装置检测使用者沿x轴、y轴和z轴各个方向转动的角速度ω_α、ω_β、ω_γ，在所述处理单元中设置使用者沿x轴、y轴和z轴各个方向转动的最大角加速度α_α、α_β、α_γ，记延迟时间为t₁₀；

S2.22所述处理单元计算出延迟时间t₁₀内使用者可能出现的角度坐标集合Ф₁＝{(((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，(((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，(((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))|α，β，γ}，集合Ф₁即为需要传递声音和图像的空间坐标集合。

5.根据权利要求4所述的远程全景音像实时传输和播放方法，其特征在于，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

6.根据权利要求4所述的远程全景音像实时传输和播放方法，其特征在于，需要传递声音和图像的空间坐标集合的计算方法是：

S2.31在所述处理单元中记录延迟时间内使用者沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α’、ω_β’、ω_γ’；

S2.32所述处理单元计算Ф₂＝{((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|α，β，γ}；

S2.33令集合Ф₃＝(Ф₁∩Ф₂)，则Ф₃即为需要传递声音和图像的空间坐标集合。

7.根据权利要求2所述的远程全景音像实时传输和播放方法，其特征在于，所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息。

8.根据权利要求1所述的远程全景音像实时传输和播放方法，其特征在于，所述终端进一步包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间。

9.根据权利要求1所述的远程全景音像实时传输和播放方法，其特征在于，将使用者沿x轴、y轴和z轴方向转动的角度空间等分n份，设置n个记录坐标记录声音。

10.根据权利要求1—9任一项所述的远程全景音像实时传输和播放方法，其特征在于，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。