CN105721856B - 一种用于近眼显示器的远程图像显示方法 - Google Patents

Abstract

本发明提供了一种用于近眼显示器的远程图像显示方法，通过位于远程的图像采集装置采集图像后发送至近眼显示器进行显示，包括步骤：a)近眼显示器以第一速率持续发送近眼显示器当前的第一姿态信息至图像采集装置；b)图像采集装置根据接收到的第一姿态信息进行姿态调整并进行图像采集，将采集的图像和采集该图像时图像采集装置的第二姿态信息持续传回近眼显示器；c)获取图像采集装置传回的图像及第二姿态信息并存储；d)获取最近一次存储的图像，截取图像的一部分区域用于近眼显示器显示；e)监测近眼显示器的姿态是否发生变化，若不发生变化返回步骤c)；若发生变化，截取所获取图像中与第一姿态信息对应的一部分区域用于显示。

Description

一种用于近眼显示器的远程图像显示方法

技术领域

本发明涉及一种图像显示方法，特别涉及一种用于近眼显示的远程图像显示方法。

背景技术

近眼显示器(NED)是一种可将图像直接投射到观看者眼中的头戴式显示器(HMD)。这种近眼显示器的显示屏距离眼球十厘米以内，这样近的图像常规而言是人眼无法看清的。然而，近眼显示器通过特定设计的透镜阵列将图像聚焦投射于人眼视网膜上，再经过视觉神经系统加工后，在用户眼前呈现出虚拟大幅面图像，由此可以用于虚拟或增强现实应用。

在近眼显示领域，使用者对图像显示的连续性和稳定性有着较高的要求，否则就容易产生眩晕的感觉，从而降低了视觉效果和用户体验。特别是用于根据使用者姿态信息在线获取远端的图像领域，由于远端的图像采集设备的姿态调整和图像传输均存在延迟的问题，导致远端的图像采集设备的姿态很难与所显示内容之间同步调整，从而导致图像显示也存在延迟现象。现有技术中大多是采用惯性传感器用于校正远端图像采集设备姿态调整后信息，直接增加了图像采集设备的复杂度，且存在多次校正后存在较大误差的情况。

基于上述现有技术的不足之处，因此需要开发出一种能够简单地校正图像采集装置的姿态和解决由于延迟带来的视觉效果问题的图像处理方法。

发明内容

本发明的目的在于提供一种用于近眼显示器的远程图像显示方法，所述图像通过位于远程的图像采集装置采集后发送至近眼显示器进行显示，该方法包括如下步骤：a)所述近眼显示器以第一速率持续发送所述近眼显示器当前的第一姿态信息至所述图像采集装置；b)所述图像采集装置根据接收到的第一姿态信息进行姿态调整并进行图像采集，将采集的图像和采集该图像时所述图像采集装置的第二姿态信息以第二速率持续传回所述近眼显示器；c)所述近眼显示器获取所述图像采集装置传回的图像及第二姿态信息并存储；d)获取最近一次存储的图像，截取所述图像的一部分区域用于近眼显示器显示；e)监测所述近眼显示器的姿态是否发生变化，若不发生变化时，则返回步骤c)；若发生变化，则进入步骤g)；g)截取所获取图像中与所述第一姿态信息对应的一部分区域用于近眼显示器显示。

优选地，在进入步骤g之间还包括步骤f，获取最近一次存储的图像及其第二姿态信息，计算所述近眼显示器当前的第一姿态信息与所述第二姿态信息之差，若所述差小于或等于一阈值，则进入步骤g)；若所述差大于所述阈值，则所述近眼显示器显示黑屏并等待获取当前第二姿态对应的返回图像，或者查找所存储的图像中包含所述第一姿态信息对应区域的最近一次存储的图像，再进入步骤g)。

优选地，所述阀值为获取图像的中心点至最近边缘点的距离。

优选地，所述近眼显示器的姿态通过内置的姿态传感器或鼠标或触摸感应获取。

优选地，所述图像采集装置包括图像采集单元、底座、连接图像采集单元与底座的三轴旋转机构以及姿态采集单元。

优选地，所述姿态采集单元为等间距设置于底座边缘的至少3个不同波段的指示灯。

优选地，所述姿态采集单元为姿态传感器。

优选地，所述图像采集单元包括两个平行布置的相隔一定间距的第一摄像头和第二摄像头。

优选地，所述第一摄像头和第二摄像头之间的间距为60～75mm。

优选地，所述第一摄像头和第二摄像头均为拍摄角度为150～180度的广角摄像头。

通过上述图像显示方法对近眼显示中双眼呈现的图像分别进行图像相应操作，可以有效的解决由于远程传输产生延迟导致近眼显示中的图像缺失或者不连续等问题本发明的图像采集装置可以根据近眼显示器的姿态信息进行多方位的调整，并将调整后的姿态信息和拍摄的图像及时的传回使用者的近眼显示器中。此外图像的补偿方法可以有效的解决由图像传输延迟所带来的视觉体验问题，特别是能够提高近眼显示领域的视觉体舒适度。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了本发明中远程图像采集系统的原理图；

图2(a)示意性示出本发明中远端图像采集装置的立体示意图；

图2(b)示意性示出本发明中远端图像采集装置的俯视图；

图2(c)为图2(b)的侧视图；

图3示出了本发明中用于近眼显示的图像显示方法示意图；

图4(a)示出了本发明中用于远程图像采集方法的第一种具体实现步骤图；

图4(b)示出了本发明中用于远程图像采集方法的第二种具体实现步骤图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本发明提供了一种远程图像采集系统，通过该远端图像采集系统可以将远端图像传输到并呈现显示端设备中，并利用图像补偿的方式抵消图像远程传输过程中产生的延迟。

图1示意性示出了本发明用于近眼显示的远程图像采集系统的原理图。如图1所示，用于近眼显示的远程图像采集系统包括：近眼显示器100和位于远端的图像采集装置200，近眼显示器100和图像采集装置200之间通过网络连接。所述网络例如包括有线网络或无线网络，诸如内联网之类的局域网(“LAN”)和诸如互联网之类的广域网(“WAN”)。网络可被配置为支持利用多种协议设置格式的信息的传输。另外，网络可以是公共网络、专用网络或其组合。网络还可以利用任何一种或多种类型的物理介质来实现，其中包括与多个服务提供商相关联的有线通信路径和无线通信路径。无线通信方式例如WiFi或WLAN、GPRS、蜂窝网络，例如GSM网络、3G网络、LTE网络或CDMA网络。

图像采集装置200用来在远程采集图像，传送回近眼显示器100进行显示。近眼显示器100采集近眼显示器100自身的姿态(例如佩戴近眼显示器100的用户的物理姿态)，再将该姿态信息以指令方式发送至图像采集装置200。图像采集装置200可以根据近眼显示器100发送的姿态信息进行图像采集单元201的姿态调整，进而图像采集单元201采集图像并将图像和调整后的姿态信息同时远程传送至近眼显示器100。以这种方式，位于远程的图像采集装置200可以“模仿”近眼显示器100来采集图像。

如图1所示，近眼显示器100通过内置的姿态传感器101获取姿态信息，也可以利用鼠标102控制或触摸屏103控制其姿态信息。所述姿态传感器101用于及时获取使用者的姿态信息，例如可选用九轴传感器，包含三轴陀螺仪、三轴加速度计，三轴电子罗盘的运动传感器。

图2(a)至图2(c)分别示出了图1的系统中图像采集装置200的结构图。其中图2(a)示意性示出本发明中远端图像采集装置的立体示意图；图2(b)示意性示出本发明中远端图像采集装置的俯视图；图2(c)为图2(b)的侧视图。如图2(a)所示，本发明中的图像采集装置200包括图像采集单元201、底座202、连接图像采集单元201与底座202的三轴旋转机构203、以及姿态采集单元。

图像采集单元201，用于实时拍摄远程的图像，包括两个平行布置的相隔一定间距S的第一摄像头204a和第二摄像头204b。根据本发明的一个实施例，间距S优选为60-75mm。优选地，第一摄像头204a和第二摄像头204b的配置相同，以便采集冗余度较大的图像，从而为实际呈现时的图像补偿提供图像数据来源。双摄像头204a和204b的布置还可以用于模拟人眼的真实效果。

底座202，用于支撑图像采集单元201，其具有锥形圆盘状。图2(b)示出了根据本发明的图像采集装置200的顶视图。如图2(b)所示，底座202的面积大于图像采集单元201的面积，这样就保证了广角摄像头204可以拍摄到位于底座202的边缘。

优选地，姿态采集单元可通过在所述图像采集单元201内置的九轴姿态传感器来实现，用于精确获取图像采集单元201的姿态信息。

根据本发明的另一个实施例，在底座202的边缘处等间距地布置有至少3个不同波段的指示灯205，所述指示灯205发出不同的颜色的光(比如红绿蓝三种颜色)，从而近眼显示器100就可以根据摄像头204拍摄到的含有指示灯205的图像来确定图像采集单元201的姿态信息。具体地，远端图像采集装置100通过图像处理和分析，判断出指示灯205发出的什么颜色的光以及指示灯205在图像中的位置，进而可以确定图像采集装置200拍摄该图像时的姿态信息，所以指示灯205可以用于替代上述九轴姿态传感器并实现同样的目的。

三轴旋转机构203，用于连接图像采集单元201和底座202，并根据近眼显示器100发出的姿态信息驱动图像采集单元201多角度旋转，从而使摄像头204可以在三个方向上进行姿态调整并拍摄图像。

如图2(c)所示，通过拍摄角度α为180度的广角摄像头可以拍摄到范围较大的图像，从而同时也保证了能够拍摄到位于底座202边缘的指示灯。

当使用者利用近眼显示器100来观看其他视野的景物时，需要通过转动头部或其他方式，并将变化后的姿态信息传输至图像采集装置200，图像采集装置200接收到姿态信息后调整拍摄姿态并进行拍摄图像，然后再将图像和姿态信息传送至近眼显示器100进行处理。近眼显示器100会根据传回的姿态信息对自身的姿态信息进行校正，从而避免近眼显示器100与图像采集装置200之间的姿态信息的误差处在合理区间内，最后近眼显示器100对传回的图像进行处理并呈现在使用者的近眼显示器100上。整个过程会根据图像传输距离的长短而产生一定的延迟(比如延迟1～3s时间)，该延迟如果大到可以被使用者察觉的程度，就会对使用者的视觉效果产生不利的影响，甚至会使使用者产生眩晕的感觉。

针对上述的问题，本发明提出了一种用于近眼显示器100的远程图像显示方法，所述显示图像通过位于远程的图像采集装置采集后发送至近眼显示器100进行显示。如图3和图4(a)所示，其中图3示出了本发明中用于近眼显示的图像显示方法示意图，图4(a)示出了本发明中用于远程图像采集方法的第一种具体实现步骤图。该方法包括如下步骤：

a)近眼显示器100首先获取其姿态信息即第一姿态信息(步骤401)，并以第一速率持续发送所述近眼显示器100当前的第一姿态信息至所述图像采集装置200(步骤402)。所述第一姿态信息为近眼显示器100获取的当前最新姿态信息。所述第一速率的频率范围例如可以为20～120Hz，即近眼显示器100以每秒钟发送20-120次的频率不间断的向图像采集装置200发送图像和第一姿态信息。

b)图像采集装置200根据接收到的第一姿态信息进行姿态调整并进行图像采集(步骤403)，将采集的图像和采集该图像时图像采集装置200的第二姿态信息以第二速率持续传回所述近眼显示器100(步骤404)。所述第二姿态信息为图像采集装置200的当前的最新姿态信息。所述第二速率的频率范围例如可以为20～120Hz，即图像采集装置200以每秒钟发送20-120次的频率不间断的向近眼显示器100发送图像和第二姿态信息。

如图3所示，以姿态信息通过图像采集装置200上设置的指示灯图像为例，图像采集装置200传回的图像中含有指示灯205的成像点305，成像点305位于图像中下边缘位置，通过分析该成像点305可以获取图像采集装置200拍摄该图像时的姿态信息。

c)近眼显示器100获取所述图像采集装置200传回的图像及第二姿态信息并存储(步骤405)。每次获取的图像均存储在缓存中，缓存中的姿态信息和图像数据可以随时调用，相同姿态信息对应的图像只需缓存最新的图像即可，从而保证了缓存数据中图像信息都是最新传回的图像。

优选地，在缓存中以先进后出(FIFO)的队列方式进行存储，即每次从缓存中读取的姿态信息和图像数据总是最近从图像采集装置200中采集获取的。

d)获取最近一次存储的图像，截取所述图像的一部分区域用于近眼显示器100显示(步骤406)。优选地，出于图像冗余度的考虑，截取中心区域的图像用于显示，截取区域占整幅图像的比例为20％～50％之间，剩下部分即为冗余部分。

e)监测近眼显示器100的姿态是否发生变化(步骤407)，若不发生变化时，则返回步骤c)；若发生变化，则进入步骤g)；

g)截取所获取图像中与第一姿态信息对应的一部分区域用于近眼显示器100显示。

优选地，如图4(b)所示，第二种具体实现步骤除包括上述步骤外还包括步骤f)获取最近一次存储的图像及其第二姿态信息，计算近眼显示器100当前的第一姿态信息与第二姿态信息之间的差值并判断该差值是否大于某一阀值(步骤408)，若该差值小于或等于某一阈值，则进入步骤g)；若该差值大于所述阈值(步骤410)，则所述近眼显示器显示黑屏并等待获取当前第二姿态对应的返回图像，或者查找所存储的图像中包含所述第一姿态信息对应区域的最近一次存储的图像进入步骤g)。所述阀值可以理解为图像上的中心点至边缘点之间的距离。

在上述步骤中，若为用户显示黑屏，则可以用于提示用户当前近眼显示器100的姿态变化过快，位于远程的图像采集装置200无法跟上用户姿态的变化从而导致黑屏。用户可以通过放慢姿态的变化来重新调整近眼显示器100的显示效果。

如图3所示，若上述差值小于或等于某一阈值，则截取第一姿态对应的图像301的冗余部分并用于替换显示。例如使用者头部向右水平转动了15度，即姿态信息水平向右偏转了15度。当使用者姿态发生了变化，但变化的差值小于等于某一阀值，此时可截取图像302的A’区域用于显示，A’区域相对于A区域向右移动了一段距离。由于近眼显示器100连续的获取传回的图像，从而保证了图像302的A’区域是最新图像一部分。若上述差值大于所述阈值，则说明已经超出当前图像可以补偿的范围，因此只能截取从存储中查找获得的包含所述第一姿态信息对应区域的最近更新的缓存图像303用于替换显示。所述最近更新的图像并不是最新图像而是之前缓存的图像。最后待图像采集装置200传回最新图像304时在重新截取中心区域用于近眼显示。

上述姿态的变化对应在图像上，可以对应于地计算出在图像上平移的一段距离。该距离可以作为上述差值用于和阈值进行比较。例如，使用者头部向右水平转动了15度，即姿态信息水平向右偏转了15度，则对应于在图像上为向右方以水平方向平移了一段距离。类似地，如果使用者头部向右上方转动了15度，则可以通过采集水平和垂直方向分别的角度，以三角函数的方式对应地计算出在图像上移动的距离。

综合以上说明可知，通过上述图像显示方法对近眼显示中双眼呈现的图像分别进行图像相应操作，可以有效的解决由于远程传输产生延迟导致近眼显示中的图像缺失或者不连续等问题本发明的图像采集装置可以根据近眼显示器的姿态信息进行多方位的调整，并将调整后的姿态信息和拍摄的图像及时的传回使用者的近眼显示器中。此外图像的补偿方法可以有效的解决由图像传输延迟所带来的视觉体验问题，特别是能够提高近眼显示领域的视觉体舒适度。

所述附图仅为示意性的并且未按比例画出。虽然已经结合优选实施例对本发明进行了描述，但应当理解本发明的保护范围并不局限于这里所描述的实施例。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (9)

1.一种用于近眼显示器的远程图像显示方法，所述图像通过位于远程的图像采集装置采集后发送至近眼显示器进行显示，该方法包括如下步骤：

a)所述近眼显示器以第一速率持续发送所述近眼显示器当前的第一姿态信息至所述图像采集装置；

b)所述图像采集装置根据接收到的第一姿态信息进行姿态调整并进行图像采集，将采集的图像和采集该图像时所述图像采集装置的第二姿态信息以第二速率持续传回所述近眼显示器；

c)所述近眼显示器获取所述图像采集装置传回的图像及第二姿态信息并存储；

d)获取最近一次存储的图像，截取所述图像的一部分区域用于近眼显示器显示；

e)监测所述近眼显示器的姿态是否发生变化，若不发生变化时，则返回步骤c)；若发生变化，则进入步骤f)；

步骤f)，获取最近一次存储的图像及其第二姿态信息，计算所述近眼显示器当前的第一姿态信息与所述第二姿态信息之差，若所述差小于或等于一阈值，则进入步骤g)；若所述差大于所述阈值，则所述近眼显示器显示黑屏并等待获取当前第二姿态对应的返回图像，或者查找所存储的图像中包含所述第一姿态信息对应区域的最近一次存储的图像，再进入步骤g)；

g)截取所获取图像中与所述第一姿态信息对应的一部分区域用于近眼显示器显示。

2.根据权利要求1所述的图像显示方法，其特征在于：所述阈值为获取图像的中心点至最近边缘点的距离。

3.根据权利要求1所述的图像显示方法，其特征在于：所述近眼显示器的姿态通过内置的姿态传感器或鼠标或触摸感应获取。

4.根据权利要求1所述的图像显示方法，其特征在于：所述图像采集装置包括图像采集单元、底座、连接图像采集单元与底座的三轴旋转机构以及姿态采集单元。

5.根据权利要求4所述的图像显示方法，其特征在于：所述姿态采集单元为等间距设置于底座边缘的至少3个不同波段的指示灯。

6.根据权利要求4所述的图像显示方法，其特征在于：所述姿态采集单元为姿态传感器。

7.根据权利要求4所述的图像显示方法，其特征在于：所述图像采集单元包括两个平行布置的相隔一定间距的第一摄像头和第二摄像头。

8.根据权利要求7所述的图像显示方法，其特征在于：所述第一摄像头和第二摄像头之间的间距为60～75mm。

9.根据权利要求7所述的图像显示方法，其特征在于：所述第一摄像头和第二摄像头均为拍摄角度为150～180度的广角摄像头。