CN106101683A - 远程全景图像全方位实时传输和显示方法 - Google Patents

Abstract

本发明提供一种远程全景图像全方位实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接。与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。

Description

远程全景图像全方位实时传输和显示方法

技术领域

本发明涉及全景图像传输领域，更具体地说，涉及一种远程全景图像全方位实时传输和显示方法。

背景技术

全景显示目前一般采用曲面屏或近眼显示装置营造一个虚拟的三维场景，让使用者不管朝向哪个方向都可以看到虚拟世界中的图像，有较强的沉浸感。全景视频或游戏目前一般是在主机中提前下载好整个文件再播放，很难实现远程实时传输，这是由于目前的网络传输速度存在较大的限制，而全景视频或游戏的传输需要很大的实时数据传输量，这是目前大多数的网络条件难以满足的。一些实时传输的方案采用了降低传输图像画质来节省数据传输量，但这样会造成传输图像质量下降，晶格感严重，严重影响沉浸感。

发明内容

为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本发明提供一种可实时传输而且沉浸感强的远程全景图像全方位实时传输和显示方法。

本发明解决其技术问题所采用的技术方案是：提供一种远程全景图像全方位实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述运动检测单元包括位置检测装置、姿态检测装置、速度检测装置和角速度检测装置，远程全景图像实时传输和显示的方法包括以下步骤：

S1：所述运动检测单元检测使用者的运动状态，并将检测结果传输至所述处理单元；

S2：所述处理单元根据所述运动检测单元提供的坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息；

S3：所述服务器传输所述传输图像区域数据至所述终端。

优选地，所述缓冲图像区域和所述视窗图像区域的集合为传输图像区域，所述传输图像区域的计算方法是：

S2.11所述处理单元记录所述运动检测单元提供的使用者坐标信息(X₀，Y₀，Z₀，α₀，β₀，γ₀)；

S2.12所述处理单元计算出使用者坐标的正向最大偏移量(ΔX₁，ΔY₁，ΔZ₁，Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(ΔX₂，ΔY₂，ΔZ₂，Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的坐标集合Ф＝{(X₀-ΔX₂<X<X₀+ΔX₁)，(Y₀-ΔY₂<Y<Y₀+ΔY₁)，(Z₀-ΔZ₂<Z<Z₀+ΔZ₁)，(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|X，Y，Z，α，β，γ}；

S2.13集合Ф对应的视窗图像区域的集合即为所述传输图像区域。

优选地，所述传输图像区域的计算方法是：

S2.21所述运动检测单元记录使用者20沿x轴、y轴和z轴各个方向转动的角速度为ω_α、ω_β、ω_γ，沿x轴、y轴和z轴各个方向的线速度为v_x、v_y、v_z，记延迟时间为t₁₀，所述处理单元记录使用者20沿x轴、y轴和z轴各个方向转动的最大角加速度为α_α、α_β、α_γ，沿x轴、y轴和z轴各个方向的最大速度为a_x、a_y、a_z；

S2.22所述处理单元计算出延迟时间t₁₀内使用者可能出现的角度坐标集合Ф₁＝{(((x₀-(v_xt₁₀+a_xt₁₀ ²/2))≤x≤(x₀+(v_xt₁₀+a_xt₁₀ ²/2)))，(((y₀-(v_yt₁₀+a_yt₁₀ ²/2))≤y≤(y₀+(v_yt₁₀+a_yt₁₀ ²/2)))，(((z₀-(v_zt₁₀+a_zt₁₀ ²/2))≤z≤(z₀+(v_zt₁₀+a_zt₁₀ ²/2)))，(((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，(((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，(((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))|x，y，z，α，β，γ}，集合Ф₁对应的视窗图像区域的集合即为所述传输图像区域。

优选地，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

优选地，所述传输图像区域的计算方法是：

S2.31在所述处理单元中记录延迟时间内使用者沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α’、ω_β’、ω_γ’,沿x轴、y轴和z轴各个方向的最大线速度为v_x’、v_y’、v_z’；

S2.32所述处理计算集合Ф₂＝{((x₀-v_x’t₁₀)≤x≤(x₀+v_x’t₁₀))，((y₀-v_y’t₁₀)≤y≤(y₀+v_y’t₁₀))，((z₀-v_z’t₁₀)≤z≤(z₀+v_z’t₁₀))，((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|x，y，z，α，β，γ}；

S2.33令集合Ф₃＝(Ф₁∩Ф₂)，则Ф₃对应的视窗图像区域的集合即为所述传输图像区域。

优选地，将使用者所处三维空间用相邻间隔为b的点阵覆盖，集合Ф内点阵对应的视窗图像区域的集合即为所述传输图像区域。

优选地，重新测量使用者的坐标后，取点阵中最接近使用者坐标的点的视窗图像区域作为显示内容。

优选地，所述终端进一步包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间。

优选地，所述终端进一步包括环境模拟单元，所述环境模拟单元与所述处理单元电性连接，所述服务器传输环境信息到所述终端，所述终端传输对应信息至所述环境模拟单元，所述环境模拟单元可以根据所述终端传输的信息模拟对应环境场景。

优选地，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。

与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。固定传输图像区域与延迟时间一一对应可以很方便地确定传输图像区域的范围。通过确定使用者延迟时间内坐标的最大偏移量可以更精确传输图像区域的范围，进一步减少数据传输量。在使用者周围设置点阵使传输的数据量被量化，进一步节省了带宽。设置响应测试装置可以测量使用者的网速情况，同时方便得出延迟时间。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是目前远程图像实时传输和显示方法；

图2是全景图像显示示意图；

图3是本发明远程全景图像全方位实时传输和显示方法结构示意图；

图4是本发明远程全景图像全方位实时传输和显示方法原理示意图；

图5是本发明远程全景图像全方位实时传输和显示方法传输图像区域示意图；

图6是本发明远程全景图像全方位实时传输和显示方法点阵结构示意图。

具体实施方式

为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本发明提供一种可实时传输而且沉浸感强的远程全景图像全方位实时传输和显示方法。

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参阅图1。图1是目前远程图像实时传输和显示方法，终端13包括显示单元131，通过终端13向服务器11请求数据，服务器11根据终端13请求的数据传输对应的图像数据到终端13，终端13经过处理后将图像信号传输至显示单元131。这种传输对终端13和服务器11的处理速度以及传输数据的速度都有一定的要求，如果这些速度无法达到要求，视频就会出现卡顿，严重影响使用体验。在目前的远程音像实时传输和显示中，服务器11性能、终端13性能和网络带宽及稳定性成为了制约音像传输的关键因素。因此，在目前高清视频的传输和大型游戏中，性能卓越的终端13和稳定高速的网络配置是不能缺少的。

请参阅图2。图2是全景图像显示示意图。全景图像多通过虚拟现实头盔、增强现实眼镜和全景曲面屏来呈现，需要保证使用者20不管朝向什么方向，如何运动，都可以感受到如同现实般的图像，因此在非远程虚拟现实显示中，需要制作全方位360度的图像，存储在终端13，待使用者20的运动和位置状态被确定后，终端13传输对应的图像信息到显示单元131中。而在远程实时传输中，无法提前制作全方位360度的图像，只能依靠实时传输360度的图像来保证使用者20沉浸感的营造。但是同时传输如此多的信息需要很大的网络带宽支持，目前的技术无法达到要求，这就使得远程全景图像实时传输和播放遇到很大的难题。一个解决方案是降低图像的画质，当图像的画质降低到一定的标准时，实时传输数据量大为减少，网络带宽可以满足，但这会导致图像非常模糊，晶格感严重，严重影响虚拟现实的沉浸感和体验。在目前网络带宽的条件下，实时传输的情况下增强虚拟现实沉浸感必须寻找其他解决方案。

请参阅图3—图5，在本发明中，完成远程全景音像实时传输和播放需要服务器11、传输系统12和终端13，服务器11和终端13之间通过传输系统12连接并相互传递信息。终端13包括处理单元137、显示单元131、环境模拟单元139和运动检测单元135，处理单元137分别与显示单元131、环境模拟单元139和运动检测单元135电性连接。环境模拟单元139可以根据处理单元137的相关命令模拟环境场景，服务器11可以传输环境信息到终端13，并由处理单元137命令环境模拟单元139进行表达。环境模拟单元139可以配备鼓风机(图未示)模拟风向和配备喷水装置(图未示)模拟喷水、下雨等环境变化。运动检测单元135包括姿态检测装置1353、速度检测单元1355、位置检测单元1357和角速度检测装置1359。处理单元137包括响应测试装置1371，响应测试装置1371可以测量网络响应速度。

由于人的视角限制，现实中人不能同时看到360度全景空间的图像，呈现在人面前的是一个“视窗”，图示视窗图像区域31。我们这里以虚拟现实显示为例讲述全景图像显示的原理，全景曲面屏和增强现实显示方法与其类似，此处不再赘述。在非远程虚拟现实显示中，由于设备响应速度较快，在使用者20的角度信息和位置信息被探测到后，终端13传输对应的视窗图像区域31到显示单元131中，整个过程可以控制到11ms以下，而在这低于11ms的时间内，使用者20的运动状态不会发生太大改变，这部分时间延迟可以忽略。使用者20在显示单元131中看到11ms之前的图像大脑生理上不会产生延迟感，这是非远程虚拟现实显示的基本原理。在这种传输中，每个坐标对应唯一的视窗图像区域31。但是在远程虚拟现实显示中，由于网络响应速度远大于11ms，再使用这种方式来传播图像就会产生很大的延迟感。因此我们必须传输大于视窗图像区域31的图像存储在终端13中，再重新测量使用者20的角度坐标和位置坐标，在存储的图像中抓取对应的视窗图像区域31到显示单元131中。这其中，大于视窗图像区域31的图像我们称为缓冲图像区域33，缓冲图像区域33和视窗图像区域31共同构成传输图像区域30。

从使用者20的运动状态和位置信息被探测到，到图像信息传递给使用者，需要一个传递和处理的时间周期。令这个时间周期的起始时刻为T₀，则该时间周期需要：使用者20的运动状态被探测到并传递到处理单元137的时间为探测时间t₁、处理单元137处理的时间为t₂、处理单元137传输数据到服务器11所需时间t₃、服务器11处理时间t₄、服务器11向处理单元137传输对应图像数据的时间t₅。(t₁+t₂+t₃+t₄+t₅)这段时间我们称为延迟时间，记延迟时间为t₁₀。延迟时间t₁₀根据服务器11、终端13的性能以及网络传输速度的不同各有不同。可以很容易得出，响应测试装置1371测量的响应时间为(t₃+t₄+t₅)，由于t₁和t₂对于特定的终端来说是基本是固定不变的，因此延迟时间t₁₀就可以通过响应时间(t₃+t₄+t₅)和固定的时间t₁、t₂计算出来。

本发明远程全景图像全方位实时传输和显示方法的传输和显示过程是：在T₀时刻，使用者20的角度坐标信息和位置坐标信息被运动检测单元135检测到，经过t₁的时间该信息传递到处理单元137，处理单元137经过t₂时间的处理向服务器11请求传输图像区域30的数据，经过t₃时间数据请求信息传输到服务器11，服务器11经过t₄时间的处理将传输图像区域30对应数据下行传输到终端13，经过t₅的时间到达终端并接收完成，此时记为T₁时刻。同时，运动检测单元135检测使用者20在T₁时刻的角度坐标信息和位置坐标信息，并将该信息传输至处理单元137，处理单元137经过处理后，在传回的传输图像区域30中抓取对应T₁时刻角度坐标信息和位置坐标信息的视窗图像区域31并传输至显示单元131。

本发明中，传输图像区域30的范围是比较重要的。传输图像区域30如果过小，使用者20在缓冲时间内的运动可能造成视窗图像区域31超出传输图像区域30的范围，造成黑边的出现；传输图像区域30如果过大，会造成网络传输数据量的增多，在网络不稳定的情况下有可能影响到沉浸感。

本发明第一实施例采用计算使用者20最大坐标偏移量的方式确定传输图像区域30。我们建立虚拟的直角坐标系，使用者20此时沿x轴、y轴和z轴的角度坐标为α₀、β₀、γ₀，位置坐标为(X₀，Y₀，Z₀)，因此使用者20此时的坐标信息为(X₀，Y₀，Z₀，α₀，β₀，γ₀)。处理单元137通过计算的方式计算出延迟时间t₁₀内使用者20角度坐标的正向最大偏移量(ΔX₁，ΔY₁，ΔZ₁，Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(ΔX₂，ΔY₂，ΔZ₂，Δα₂，Δβ₂，Δγ₂)，整理使用者20可能出现的坐标集合：

Ф＝{(X₀-ΔX₂<X<X₀+ΔX₁)，(Y₀-ΔY₂<Y<Y₀+ΔY₁)，(Z₀-ΔZ₂<Z<Z₀+ΔZ₁)，(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|X，Y，Z，α，β，γ}；

集合Ф内所有坐标对应的视窗图像区域31围成的图像区域的集合即为传输图像区域30。对应的坐标可以由运动检测单元135检测得到。

坐标的最大偏移量有很多算法，其中一种就是利用使用者20的最大运动角加速度和线加速度来计算。这里，我们令使用者20的最大运动角加速度是α，最大运动线加速度为a，则使用者20沿x轴、y轴和z轴各个方向转动的最大角加速度为α_α、α_β、α_γ，线加速度为a_x、a_y、a_z，使用者20沿x轴、y轴和z轴各个方向转动的角速度为ω_α、ω_β、ω_γ，线速度为v_x、v_y、v_z，v_x、v_y、v_z、ω_α、ω_β、ω_γ可以利用运动检测单元135检测得到，在延迟时间t₁₀内使用者沿x轴、y轴和z轴各个方向转动的最大角度为(ω_αt₁₀+α_αt₁₀ ²/2)、(ω_βt₁₀+α_βt₁₀ ²/2)、(ω_γt₁₀+α_γt₁₀ ²/2)，最大位移为(v_xt₁₀+a_xt₁₀ ²/2)、(v_yt₁₀+a_yt₁₀ ²/2、(v_zt₁₀+a_zt₁₀ ²/2)，坐标的变化范围为：

{(((x₀-(v_xt₁₀+a_xt₁₀ ²/2))≤x≤(x₀+(v_xt₁₀+a_xt₁₀ ²/2)))，(((y₀-(v_yt₁₀+a_yt₁₀ ²/2))≤y≤(y₀+(v_yt₁₀+a_yt₁₀ ²/2)))，(((z₀-(v_zt₁₀+a_zt₁₀ ²/2))≤z≤(z₀+(v_zt₁₀+a_zt₁₀ ²/2)))，(((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，(((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，(((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))}

此时，坐标的集合为：

Ф₁＝{(((x₀-(v_xt₁₀+a_xt₁₀ ²/2))≤x≤(x₀+(v_xt₁₀+a_xt₁₀ ²/2)))，(((y₀-(v_yt₁₀+a_yt₁₀ ²/2))≤y≤(y₀+(v_yt₁₀+a_yt₁₀ ²/2)))，(((z₀-(v_zt₁₀+a_zt₁₀ ²/2))≤z≤(z₀+(v_zt₁₀+a_zt₁₀ ²/2)))，(((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，(((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，(((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))|x，y，z，α，β，γ}。

利用该方法计算坐标的集合可以很大程度上减少传输图像区域30，较好地节省了资源。

本发明第二实施例在第一实施例的基础上进一步节省传输图像区域30。由于人的头部在转动过程中存在极限角速度，当转动达到极限角速度后就不会继续加速转动。因此，我们令使用者20的最大运动角速度是ω，最大运动速度为v，则使用者20沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α’、ω_β’、ω_γ’，沿x轴、y轴和z轴各个方向的最大速度为v_x’、v_y’、v_z’，在延迟时间t₁₀内使用者20沿x轴、y轴和z轴各个方向转动的最大角度为ω_α’t₁₀、ω_β’t₁₀、ω_γ’t₁₀，沿x轴、y轴和z轴各个方向运动的最大速度为：v_x’t₁₀、v_y’t₁₀、v_z’t₁₀，坐标的变化范围为：

{((x₀-v_x’t₁₀)≤x≤(x₀+v_x’t₁₀))，((y₀-v_y’t₁₀)≤y≤(y₀+v_y’t₁₀))，((z₀-v_z’t₁₀)≤z≤(z₀+v_z’t₁₀))，((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))}，

此时，坐标的集合为：

Ф₂＝{((x₀-v_x’t₁₀)≤x≤(x₀+v_x’t₁₀))，((y₀-v_y’t₁₀)≤y≤(y₀+v_y’t₁₀))，((z₀-v_z’t₁₀)≤z≤(z₀+v_z’t₁₀))，((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|x，y，z，α，β，γ}。

使用者20不管怎样加速转动头部，都不会超过集合Ф₂的坐标范围，我们令集合Ф₃＝(Ф₁∩Ф₂)，则Ф₃即为使用者可能出现的角度坐标集合。这个结果使传输图像区域30进一步减小，减少了大量的传输数据。

请参阅图6，本发明第三实施例将使用者20周围的空间用点阵覆盖，点阵内相邻点之间的距离是b。点阵内不同的点对应不同的视窗图像区域31，相同的点的不同角度对应不同的视窗图像区域31，这样我们就得到了多个独立的视窗图像区域31。我们将计算得出的集合Ф₃和集合Ф₁对应的区域放入点阵中，被集合Ф₃或集合Ф₁涵盖的点对应的视窗图像区域31即为我们需要的传输图像区域30的集合。在T₁时刻重新测量使用者20的坐标后，取点阵中最接近使用者坐标的点的视窗图像区域31作为显示内容。距离b的大小可以根据终端13的性能和延迟时间t₁₀的长短来决定，对于终端13性能强，延迟时间t₁₀时间短的系统可以减小距离b，以求更精确地表达相关图像使感觉更加舒适；反之则可以适当增大距离b，保证图像的连贯性。

与现有技术相比，本发明采用根据运动检测单元135检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域31和缓冲图像区域33的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元139可以模拟环境，对虚拟现实的沉浸感有一定意义。固定传输图像区域30与延迟时间一一对应可以很方便地确定传输图像区域30的范围。通过确定使用者20延迟时间内坐标的最大偏移量可以更精确传输图像区域30的范围，进一步减少数据传输量。在使用者20周围设置点阵使传输的数据量被量化，进一步节省了带宽。设置响应测试装置1371可以测量使用者20的网速情况，同时方便得出延迟时间t₁₀。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.远程全景图像全方位实时传输和显示方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述运动检测单元包括位置检测装置、姿态检测装置、速度检测装置和角速度检测装置，远程全景图像实时传输和显示的方法包括以下步骤：

S1：所述运动检测单元检测使用者的运动状态，并将检测结果传输至所述处理单元；

S2：所述处理单元根据所述运动检测单元提供的坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息；

S3：所述服务器传输所述传输图像区域数据至所述终端。

2.根据权利要求1所述的远程全景音像实时传输和播放的方法，其特征在于，所述缓冲图像区域和所述视窗图像区域的集合为传输图像区域，所述传输图像区域的计算方法是：

S2.11所述处理单元记录所述运动检测单元提供的使用者坐标信息(X₀，Y₀，Z₀，α₀，β₀，γ₀)；

S2.12所述处理单元计算出使用者坐标的正向最大偏移量(ΔX₁，ΔY₁，ΔZ₁，Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(ΔX₂，ΔY₂，ΔZ₂，Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的坐标集合Ф＝{(X₀-ΔX₂<X<X₀+ΔX₁)，(Y₀-ΔY₂<Y<Y₀+ΔY₁)，(Z₀-ΔZ₂<Z<Z₀+ΔZ₁)，(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|X，Y，Z，α，β，γ}；

S2.13集合Ф对应的视窗图像区域的集合即为所述传输图像区域。

3.根据权利要求2所述的远程全景图像全方位实时传输和显示方法，其特征在于，所述传输图像区域的计算方法是：

S2.21所述运动检测单元记录使用者20沿x轴、y轴和z轴各个方向转动的角速度为ω_α、ω_β、ω_γ，沿x轴、y轴和z轴各个方向的线速度为v_x、v_y、v_z，记延迟时间为t₁₀，所述处理单元记录使用者20沿x轴、y轴和z轴各个方向转动的最大角加速度为α_α、α_β、α_γ，沿x轴、y轴和z轴各个方向的最大速度为a_x、a_y、a_z；

S2.22所述处理单元计算出延迟时间t₁₀内使用者可能出现的角度坐标集合Ф₁＝{(((x₀-(v_xt₁₀+a_xt₁₀ ²/2))≤x≤(x₀+(v_xt₁₀+a_xt₁₀ ²/2)))，(((y₀-(v_yt₁₀+a_yt₁₀ ²/2))≤y≤(y₀+(v_yt₁₀+a_yt₁₀ ²/2)))，(((z₀-(v_zt₁₀+a_zt₁₀ ²/2))≤z≤(z₀+(v_zt₁₀+a_zt₁₀ ²/2)))，(((α₀-(ω_αt₁₀+α_αt₁₀ ²/2))≤α≤(α₀+(ω_αt₁₀+α_αt₁₀ ²/2)))，(((β₀-(ω_βt₁₀+α_βt₁₀ ²/2))≤β≤(β₀+(ω_βt₁₀+α_βt₁₀ ²/2)))，(((γ₀-(ω_γt₁₀+α_γt₁₀ ²/2))≤γ≤(γ₀+(ω_γt₁₀+α_γt₁₀ ²/2)))|x，y，z，α，β，γ}，集合Ф₁对应的视窗图像区域的集合即为所述传输图像区域。

4.根据权利要求3所述的远程全景图像全方位实时传输和显示方法，其特征在于，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

5.根据权利要求3所述的远程全景音像实时传输和播放方法，其特征在于，所述传输图像区域的计算方法是：

S2.31在所述处理单元中记录延迟时间内使用者沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α’、ω_β’、ω_γ’,沿x轴、y轴和z轴各个方向的最大线速度为v_x’、v_y’、v_z’；

S2.32所述处理计算集合Ф₂＝{((x₀-v_x’t₁₀)≤x≤(x₀+v_x’t₁₀))，((y₀-v_y’t₁₀)≤y≤(y₀+v_y’t₁₀))，((z₀-v_z’t₁₀)≤z≤(z₀+v_z’t₁₀))，((α₀-ω_α’t₁₀)≤α≤(α₀+ω_α’t₁₀))，((β₀-ω_β’t₁₀)≤β≤(β₀+ω_β’t₁₀))，((γ₀-ω_γ’t₁₀)≤γ≤(γ₀+ω_γ’t₁₀))|x，y，z，α，β，γ}；

S2.33令集合Ф₃＝(Ф₁∩Ф₂)，则Ф₃对应的视窗图像区域的集合即为所述传输图像区域。

6.根据权利要求3所述的远程全景图像全方位实时传输和显示方法，其特征在于，将使用者所处三维空间用相邻间隔为b的点阵覆盖，集合Ф内点阵对应的视窗图像区域的集合即为所述传输图像区域。

7.根据权利要求6所述的远程全景图像全方位实时传输和显示方法，其特征在于，重新测量使用者的坐标后，取点阵中最接近使用者坐标的点的视窗图像区域作为显示内容。

8.根据权利要求1所述的远程全景图像全方位实时传输和显示方法，其特征在于，所述终端进一步包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间。

9.根据权利要求1所述的远程全景图像全方位实时传输和显示方法，其特征在于，所述终端进一步包括环境模拟单元，所述环境模拟单元与所述处理单元电性连接，所述服务器传输环境信息到所述终端，所述终端传输对应信息至所述环境模拟单元，所述环境模拟单元可以根据所述终端传输的信息模拟对应环境场景。

10.根据权利要求1—9任一项所述的远程全景图像全方位实时传输和显示方法，其特征在于，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。