CN106210692A - 基于瞳孔检测的远程全景图像实时传输和显示方法 - Google Patents

Abstract

本发明提供基于瞳孔检测的远程全景图像实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接。与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。

Description

基于瞳孔检测的远程全景图像实时传输和显示方法

技术领域

本发明涉及全景图像传输领域，更具体地说，涉及基于瞳孔检测的远程全景图像实时传输和显示方法。

背景技术

全景显示目前一般采用曲面屏或近眼显示装置营造一个虚拟的三维场景，让使用者不管朝向哪个方向都可以看到虚拟世界中的图像，有较强的沉浸感。全景视频或游戏目前一般是在主机中提前下载好整个文件再播放，很难实现远程实时传输，这是由于目前的网络传输速度存在较大的限制，而全景视频或游戏的传输需要很大的实时数据传输量，这是目前大多数的网络条件难以满足的。一些实时传输的方案采用了降低传输图像画质来节省数据传输量，但这样会造成传输图像质量下降，晶格感严重，严重影响沉浸感。

发明内容

为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本发明提供一种可实时传输而且沉浸感强的基于瞳孔检测的远程全景图像实时传输和显示方法。

本发明解决其技术问题所采用的技术方案是：提供基于瞳孔检测的远程全景图像实时传输和显示方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述运动检测单元包括瞳孔检测装置和姿态检测装置，所述瞳孔检测装置可以检测使用者瞳孔位置，所述姿态检测装置可以检测使用者的角度坐标信息，远程全景图像实时传输和显示的方法包括以下步骤：

S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；

S2：所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息；

S3：所述服务器传输对应图像数据至所述终端。

优选地，所述瞳孔检测装置检测使用者的瞳孔位置，根据使用者瞳孔位置在所述传输图像区域中截取分辨视域区域、有效视域区域和诱导视野区域。

优选地，所述处理单元向所述服务器请求所述分辨视域区域的一级清晰图像，向所述服务器请求所述有效视域区域的二级清晰图像，向所述服务器请求所述诱导视野区域的三级清晰图像。

优选地，通过确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所述极限边界范围确定对应延迟时间内所述传输图像区域。

优选地，，所述传输图像区域的计算方法是：

S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α₀，β₀，γ₀)；

S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的角度坐标集合Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}；

S2.13集合Ф对应的视窗图像区域的集合即为所述传输图像区域。

优选地，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

优选地，使用者角度坐标最大偏移量为使用者该坐标方向最大运动角速度和延迟时间的乘积。

优选地，通过在所述传输图像区域中提前划分所述分辨视域边界、所述有效视域边界和所述诱导视域边界，确定对应所述传输图像区域内各部分的清晰度。

优选地，所述处理单元在二次测量后对测量结果对应的所述视窗图像区域分所述分辨视域区域、所述有效视域区域和所述诱导视野区域进行画质处理并将处理结果传输到所述显示单元中。

优选地，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。

与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元可以模拟环境，对虚拟现实的沉浸感有一定意义。分辨视域区域39、有效视域区域37和诱导视野区域35的划分可以进一步减少数据传输量和网络带宽，其还原过程可以保证使用者20相对平稳的图像画质。固定传输图像区域与延迟时间一一对应可以很方便地确定传输图像区域的范围。通过确定使用者延迟时间内角度坐标的最大偏移量可以更精确传输图像区域的范围，进一步减少数据传输量。设置响应测试装置可以测量使用者的网速情况，同时方便得出延迟时间。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是目前远程图像实时传输和显示方法；

图2是全景图像显示示意图；

图3是本发明基于瞳孔检测的远程全景图像实时传输和显示方法结构示意图；

图4是本发明基于瞳孔检测的远程全景图像实时传输和显示方法原理示意图；

图5是本发明基于瞳孔检测的远程全景图像实时传输和显示方法传输图像区域示意图。

图6是本发明基于瞳孔检测的远程全景图像实时传输和显示方法分辨视域、有效视域和诱导视域示意图。

具体实施方式

为了解决当前远程全景图像无法实时传输和影响沉浸感的缺陷，本发明提供一种可实时传输而且沉浸感强的基于瞳孔检测的远程全景图像实时传输和显示方法。

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参阅图1。图1是目前远程图像实时传输和显示方法，终端13包括显示单元131，通过终端13向服务器11请求数据，服务器11根据终端13请求的数据传输对应的图像数据到终端13，终端13经过处理后将图像信号传输至显示单元131。这种传输对终端13和服务器11的处理速度以及传输数据的速度都有一定的要求，如果这些速度无法达到要求，视频就会出现卡顿，严重影响使用体验。在目前的远程音像实时传输和显示中，服务器11性能、终端13性能和网络带宽及稳定性成为了制约音像传输的关键因素。因此，在目前高清视频的传输和大型游戏中，性能卓越的终端13和稳定高速的网络配置是不能缺少的。

请参阅图2。图2是全景图像显示示意图。全景图像多通过虚拟现实头盔、增强现实眼镜和全景曲面屏来呈现，需要保证使用者20不管朝向什么方向，都可以感受到如同现实般的图像，因此在非远程虚拟现实显示中，需要制作全方位360度的图像，存储在终端13，待使用者20的运动和位置状态被确定后，终端13传输对应的图像信息到显示单元131中。而在远程实时传输中，无法提前制作全方位360度的图像，只能依靠实时传输360度的图像来保证使用者20不管朝向什么方向都可以感受到如同现实般的图像。但是同时传输如此多的信息需要很大的网络带宽支持，目前的技术无法达到要求，这就使得远程全景图像实时传输和播放遇到很大的难题。一个解决方案是降低图像的画质，当图像的画质降低到一定的标准时，实时传输数据量大为减少，网络带宽可以满足，但这会导致图像非常模糊，晶格感严重，严重影响虚拟现实的沉浸感和体验。在目前网络带宽的条件下，实时传输的情况下增强虚拟现实沉浸感必须寻找其他解决方案。

请参阅图3—图6，在本发明中，完成远程全景音像实时传输和播放需要服务器11、传输系统12和终端13，服务器11和终端13之间通过传输系统12连接并相互传递信息。终端13包括处理单元137、显示单元131、环境模拟单元139和运动检测单元135，处理单元137分别与显示单元131、环境模拟单元139和运动检测单元135电性连接。环境模拟单元139可以根据处理单元137的相关命令模拟环境场景，服务器11可以传输环境信息到终端13，并由处理单元137命令环境模拟单元139进行表达。环境模拟单元139可以配备鼓风机(图未示)模拟风向和配备喷水装置(图未示)模拟喷水、下雨等环境变化。运动检测单元135包括姿态检测装置1353和瞳孔检测装置1357。处理单元137包括响应测试装置1371，响应测试装置1371可以测量网络响应速度。

由于人的视角限制，现实中人不能同时看到360度全景空间的图像，呈现在人面前的是一个“视窗”，图示视窗图像区域31。我们这里以虚拟现实显示为例讲述全景图像显示的原理，全景曲面屏和增强现实显示方法与其类似，此处不再赘述。在非远程虚拟现实显示中，由于设备响应速度较快，在使用者20的角度信息被探测到后，终端13传输对应的视窗图像区域31到显示单元131中，整个过程可以控制到11ms以下，而在这低于11ms的时间内，使用者20的运动状态不会发生太大改变，这部分时间延迟可以忽略。使用者20在显示单元131中看到11ms之前的图像大脑生理上不会产生延迟感，这是非远程虚拟现实显示的基本原理。在这种传输中，每个角度坐标对应唯一的视窗图像区域31。但是在远程虚拟现实显示中，由于网络响应速度远大于11ms，再使用这种方式来传播图像就会产生很大的延迟感。因此我们必须传输大于视窗图像区域31的图像存储在终端13中，再重新测量使用者20的角度坐标，在存储的图像中抓取对应的视窗图像区域31到显示单元131中。这其中，大于视窗图像区域31的图像我们称为缓冲图像区域33，缓冲图像区域33和视窗图像区域31共同构成传输图像区域30。在视窗图像区域31中映在人眼视网膜上的图像，只有中心部分能够分辨清楚，称为分辨视域区域39。分辨图像区域39一般为视角15度，不同的人会有差距，但差距很小。在分辨视域区域39内，物件十分清晰，而且可以分辨清楚。从15度到30度之间的区域我们称为有效视域区域37，有效视域区域37可以看清楚物体的存在，但无法达到辨别的程度，清晰度有所下降。在30度到100度左右的区域我们称为诱导视野区域35，该区域的物体比较模糊，我们无法看清楚，只能感觉物体的存在。利用这一特性，我们可以划分不同区域分别传输不同画质的图像，这样可以节省很多数据量，特别是对于数据量最大的诱导视野区域35。我们向分辨视域区域39传递高质量的一级清晰图像，向有效视域区域37传递中等质量的二级清晰图像，向诱导视野区域39传递低质量的三级清晰图像。节省的大部分数据的同时节省了大量的带宽。

从使用者20的运动状态和位置信息被探测到，到图像信息传递给使用者，需要一个传递和处理的时间周期。令这个时间周期的起始时刻为T₀，则该时间周期需要：使用者20的运动状态被探测到并传递到处理单元137的时间为探测时间t₁、处理单元137处理的时间为t₂、处理单元137传输数据到服务器11所需时间t₃、服务器11处理时间t₄、服务器11向处理单元137传输对应图像数据的时间t₅。(t₁+t₂+t₃+t₄+t₅)这段时间我们称为延迟时间，记延迟时间为t₁₀。延迟时间t₁₀根据服务器11、终端13的性能以及网络传输速度的不同各有不同。可以很容易得出，响应测试装置1371测量的响应时间为(t₃+t₄+t₅)，由于t₁和t₂对于特定的终端来说是基本是固定不变的，因此延迟时间t₁₀就可以通过响应时间(t₃+t₄+t₅)和固定的时间t₁、t₂计算出来。

本发明基于瞳孔检测的远程全景图像实时传输和显示方法的传输和显示过程是：在T₀时刻，使用者20的角度坐标信息被运动检测单元135检测到，使用者20的瞳孔位置信息被瞳孔检测装置1357检测到，经过t₁的时间该信息传递到处理单元137，处理单元137经过t₂时间的处理向服务器11请求传输图像区域30的数据和一级清晰图像、二级清晰图像和三级清晰图像的区域，经过t₃时间数据请求信息传输到服务器11，服务器11经过t₄时间的处理将对应数据下行传输到终端13，经过t₅的时间到达终端并接收完成，此时记为T₁时刻。同时，运动检测单元135检测使用者20在T₁时刻的角度坐标信息和瞳孔位置信息，我们称为二次检测，并将该信息传输至处理单元137，处理单元137经过处理后，在传回的传输图像区域30中抓取对应T₁时刻角度坐标信息和瞳孔位置信息的视窗图像区域31，对视窗图像区域31中的诱导视野区域35、有效视域区域37和分辨视域区域39进行划分和处理，并传输至显示单元131。

本发明中，传输图像区域30的范围是比较重要的。传输图像区域30如果过小，使用者20在缓冲时间内的运动可能造成视窗图像区域31超出传输图像区域30的范围，造成黑边的出现；传输图像区域30如果过大，会造成网络传输数据量的增多，在网络不稳定的情况下有可能影响到沉浸感。

本发明第一实施例采用固定传输图像区域30范围的方案。通过大量收集实验者的相关实验数据，确定对应延迟时间t₁₀内人类视窗图像区域31变化的极限边界，这些极限边界围成的集合就构成了该延迟时间t₁₀对应的传输图像区域30。在本实施例中，传输图像区域30的极限边界与延迟时间t₁₀存在一一对应关系。在响应测试装置1371测定响应时间(t₃+t₄+t₅)后，处理单元137根据响应时间和系统固定的时间t₁、t₂计算出延迟时间t₁₀，并对应得出传输图像区域30的极限边界范围，根据该极限边界范围确定传输图像区域30。

本发明第二实施例采用计算使用者20最大角度偏移量的方式确定传输图像区域30。我们建立虚拟的直角坐标系，使用者此时沿x轴、y轴和z轴的角度坐标为α₀、β₀、γ₀，处理单元137通过计算的方式计算出延迟时间t₁₀内使用者20角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的坐标集合：

Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}；

集合Ф内所有坐标对应的视窗图像区域31围成的图像区域的集合即为传输图像区域30。对应的角度坐标可以由姿态检测装置1353检测得到。

角度坐标的最大偏移量有很多算法，其中一种就是利用使用者20的最大运动角速度来计算。这里，我们令使用者20的最大运动角速度是ω，则使用者20沿x轴、y轴和z轴各个方向转动的最大角速度为ω_α、ω_β、ω_γ，在延迟时间t₁₀内使用者20沿x轴、y轴和z轴各个方向转动的最大角度为ω_αt₁₀、ω_βt₁₀、ω_γt₁₀，角度坐标的变化范围为：

{((α₀-ω_αt₁₀)≤α≤(α₀+ω_αt₁₀))，((β₀-ω_βt₁₀)≤β≤(β₀+ω_βt₁₀))，((γ₀-ω_γt₁₀)≤γ≤(γ₀+ω_γt₁₀))}，

此时，角度坐标的集合为：

Ф＝{((α₀-ω_αt₁₀)≤α≤(α₀+ω_αt₁₀))，((β₀-ω_βt₁₀)≤β≤(β₀+ω_βt₁₀))，((γ₀-ω_γt₁₀)≤γ≤(γ₀+ω_γt₁₀))|α，β，γ}。

另一方面，分辨视域区域39、有效视域区域37和诱导视野区域35的划分也是很重要的。一种处理办法是，按照人类常规视野情况，将15度视角以内的区域划分为分辨视域区域39,15度到30度之间的区域划分为有效视域区域37，其他的视窗图像区域划分为诱导视野区域39。这样，根据不同方法测算出来的传输图像区域30，有唯一的分辨视域区域39边界、有效视域区域37边界和诱导视域区域35边界与其相对应。只需提前划定上述边界，并向服务器请求对应清晰度的数据即可。

在上述处理中，有可能出现T₁时刻二次测量时整个视窗图像区域31都处在一级清晰度的情况，这时需要处理器对图像进行处理，对分辨视域区域39、有效视域区域37和诱导视野区域35的图像画质进行处理，然后再传输到显示单元131中。这样就不会产生突兀感，使使用者20始终处在一种相对平稳的图像画质中。

与现有技术相比，本发明采用根据运动检测单元135检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域31和缓冲图像区域33的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。环境模拟单元139可以模拟环境，对虚拟现实的沉浸感有一定意义。分辨视域区域39、有效视域区域37和诱导视野区域35的划分可以进一步减少数据传输量和网络带宽，其还原过程可以保证使用者20相对平稳的图像画质。固定传输图像区域30与延迟时间一一对应可以很方便地确定传输图像区域30的范围。通过确定使用者20延迟时间内角度坐标的最大偏移量可以更精确传输图像区域30的范围，进一步减少数据传输量。设置响应测试装置1371可以测量使用者20的网速情况，同时方便得出延迟时间t₁₀。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述运动检测单元包括瞳孔检测装置和姿态检测装置，所述瞳孔检测装置可以检测使用者瞳孔位置，所述姿态检测装置可以检测使用者的角度坐标信息，远程全景图像实时传输和显示的方法包括以下步骤：

S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；

S2：所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，在所述视窗图像的周围增加缓冲图像区域，构成传输图像区域，并向服务器请求所述传输图像区域信息；

S3：所述服务器传输对应图像数据至所述终端。

2.根据权利要求1所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，所述瞳孔检测装置检测使用者的瞳孔位置，根据使用者瞳孔位置在所述传输图像区域中截取分辨视域区域、有效视域区域和诱导视野区域。

3.根据权利要求2所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，所述处理单元向所述服务器请求所述分辨视域区域的一级清晰图像，向所述服务器请求所述有效视域区域的二级清晰图像，向所述服务器请求所述诱导视野区域的三级清晰图像。

4.根据权利要求3所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，通过确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所述极限边界范围确定对应延迟时间内所述传输图像区域。

5.根据权利要求3所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，所述传输图像区域的计算方法是：

S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α₀，β₀，γ₀)；

S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα₁，Δβ₁，Δγ₁)和反向最大偏移量(Δα₂，Δβ₂，Δγ₂)，整理使用者可能出现的角度坐标集合Ф＝{(α₀-Δα₂<α<α₀+Δα₁)，(β₀-Δβ₂<β<β₀+Δβ₁)，(γ₀-Δγ₂<γ<γ₀+Δγ₁)，|α，β，γ}；

S2.13集合Ф对应的视窗图像区域的集合即为所述传输图像区域。

6.根据权利要求5所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

7.根据权利要求6所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，使用者角度坐标最大偏移量为使用者该坐标方向最大运动角速度和延迟时间的乘积。

8.根据权利要求4—7任一项所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，通过在所述传输图像区域中提前划分所述分辨视域边界、所述有效视域边界和所述诱导视域边界，确定对应所述传输图像区域内各部分的清晰度。

9.根据权利要求8所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，所述处理单元在二次测量后对测量结果对应的所述视窗图像区域分所述分辨视域区域、所述有效视域区域和所述诱导视野区域进行画质处理并将处理结果传输到所述显示单元中。

10.根据权利要求9所述的基于瞳孔检测的远程全景图像实时传输和显示方法，其特征在于，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。