CN110383821B - 虚拟现实影像再现方法及使用其的程序 - Google Patents

Abstract

公开了一种虚拟现实影像再现方法，其步骤包括：客户端从服务器接收影像帧的步骤；将所述接收的影像帧分配至第一层的步骤；生成包括至少一个图形使用者界面的第二层的步骤；合成所述第一层及所述第二层，并生成最终影像帧的步骤；以及显示所述生成的最终影像帧的步骤。

Description

虚拟现实影像再现方法及使用其的程序

技术领域

本发明是涉及虚拟现实传输方法、虚拟现实影像再现方法及使用其的程序，更详细地涉及通过无线通讯执行要求更高配置的虚拟现实内容的即时传输及再现的方法或程序。

背景技术

虚拟现实(VR；Virtual Reality)是以一种通过电脑生成的虚拟空间，通过3维视觉效果赋予现实性的空间。实现虚拟现实的技术作为将使用者的输入进行即时处理，可感受到如身处现实世界中一样的技术，是一种超越多媒体的新一代技术。

虚拟现实环境向使用者提供身临其境的体验，不仅能够模拟实际存在的物体，并且还能体验实际不存在的物体或情形。这种虚拟现实环境可适用于不同领域。例如，可使用于从汽车设计或模拟试验等工学领域到医疗领域、文化内容领域等各种领域。

根据观察视角的不同，虚拟现实(VR)混用为并且虚拟环境(VirtualEnvironment)、虚拟存在(Virtual Presence)、人工世界(Artifical World)、虚拟世界(Virtual World)、网络空间(Cyber space)等用语，但一般指的是向使用者提供与电脑产生的现实世界类似的3维虚拟世界，并可提供即时自由操作该虚拟世界的输入方式和应对于使用者的操作，而提供实际感知的感觉回馈(Sensory feedback)方式，以此来实现人工体验和经历的一种技术。

发明内容

(要解决的课题)

最近随着技术的发展，出现了很多可利用虚拟现实内容的设备。目前为了生成高配置的虚拟现实影像，使用者佩戴通过电缆将VR再现设备连接至台式等电脑上的状态下进行使用。但在这种情况下，由电缆可佩戴VR设备时可行动的半径受限，而且在佩戴VR设备无法确认外部的情况下，存在可能会被电缆绊倒的事故等问题。并且，必须具备电脑方可使用VR设备欣赏虚拟现实影像，因此存在诸多不便。

此外，最近出现了将移动终端与VR设备相结合，移动终端执行为了生成VR影像信息处理后，将其传输至VR设备的方式。这是将执行信息处理的电脑，即移动终端与再现的VR装置以有线进行连接，但由于移动终端可以与VR设备相结合，因此可以解决因电缆而引发的问题。但是与电脑相比，移动终端难以驱动高配置的程序，因此存在难以驱动高配置的VR游戏或难以再现高分辨率的VR影像的问题。

因此，本发明通过无线通讯方式在信息处理设备和VR设备之间传输影像帧并进行再现，旨在提供不受地点及行动半径限制、可从高配置的电脑处获得VR影像的虚拟现实传输方法、再现方法及利用其的程序。

本发明想要解决的课题并不仅仅局 限于上述所提及的课题，一般的技术人员可通过下面的内容正确理解其他未提及的课题。

(解决课题的方法)

为了解决上述课题，根据本发明的一面，虚拟现实影像再现方法，其步骤包括：客户端从服务器接收影像帧步骤；将所述接收的影像帧分配至第一层步骤；生成包括至少一个图形使用者界面的第二层步骤；合成所述第一层及所述第二层并生成最终影像步骤；以及显示所述生成最终影像帧步骤。

为了解决上述课题，根据本发明的一面，虚拟现实影像再现方法，其步骤包括：客户端从服务器接收影像帧步骤；将所述接收的影像帧分配至第一层步骤；生成包括至少一个图形使用者界面的第二层步骤；合成所述第一层及所述第二层并生成最终影像步骤；以及显示所述生成最终影像帧步骤。

此外，还包括以下步骤：生成显示至少一个控制器的控制信息的第三层，且生成所述最终影像帧的步骤包括：合成所述第一层、所述第二层及所述第三层生成所述最终影像帧。

此外，生成所述第三层的步骤包括：所述客户端接收所述至少一个控制器的操作信息；利用所述接收的操作信息生成显示所述至少一个控制器的控制信息；以及将所述生成的影像分配至所述第三层。

此外，接收所述影像帧的步骤包括：所述客户端从所述服务器接收与第一时间点相应的第一影像帧，且所述虚拟现实影像再现方法还包括：获得与所述第一时间点相应的再现方向数据及影像方向数据，且所述再现方向数据是关于在特定时间点需在所述客户端画面上进行再现的影像帧方向的数据，所述影像方向数据是关于由所述服务器生成的影像帧的3维空间方向的数据。

此外，获得所述再现方向数据的步骤包括：测量使用者的颈部运动获得所述再现方向数据。

此外，接收所述影像帧的步骤在未接收第二时间点的影像帧时，还包括：计算所述第一时间点的影像方向数据和所述第二时间点的再现方向数据的差异值，并以所述差异值为基础补正所述第一影像帧，且所述第二时间点是所述影像帧的传输周期从所述第一时间点经过的时间点。

此外，补正所述第一影像帧的步骤包括：以所述差异值为基础移动或变换所述第一影像帧生成第二代替影像帧，且分配至所述第一层的步骤包括：将所述生成的第二代替影像帧分配至所述第一层。

此外，所述再现方向数据及所述影像方向数据包括高低角数据及方位角数据，且计算所述差异值的步骤是计算所述第二时间点的再现方向数据和所述第一时间点的影像方向数据之间的高低角及方位角差异。

此外，所述再现方向数据及所述影像方向数据包括倾斜数据，所述倾斜数据以使用者的正面方向为轴的旋转角度，且补正第一影像帧的步骤还包括：以所述第二时间点的再现方向数据和所述第一时间点的影像方向数据之间的所述倾斜数据差异为基础，旋转所述第一影像帧进行补正。

此外，还包括以下步骤：若未接收与第n时间点相应的影像帧，则比较与第n-1时间点相应的影像方向数据和与第n时间点相应的再现方向数据，并计算出差异值，其中，n是大于2的自然数；以及按照所述计算的差异值补正第n-1代替影像帧，生成第n代替影像帧，且所述第n时间点作为接收第n次的影像帧的时间点，是影像帧的传输周期从所述第n-1时间点经过的时间点。

为了解决上述课题，根据本发明的另一面，虚拟现实影像再现程序，与作为硬件的电脑结合，为了执行根据公开的实施例的虚拟现实影像再现方法，存储在介质。

本发明的其他具体事项包括在具体实施方式及附图。

(发明效果)

根据上述内容显示，本发明具有以下多种效果。

第一，通过无线方式传输虚拟现实影像帧，可以避免遗漏特定时间点的影像帧，从而在使用者未接收特定影像帧的情况下，虚拟现实空间的整体视角也不会摇晃，具有自然再现影像的效果。

第二，使用者在远离服务器电脑的情况下，也能利用蜂窝网路或WLAN 通讯，在任何地方欣赏顺畅的虚拟现实影像。

第三，随着对无法接收影像帧情况的完善，可通过无线方式传输虚拟现实影像，因此可以解决因电缆与电脑相连而使行动受到限制，且被电缆绊倒而导致的安全事故。

第四，服务器仅提取由客户端请求的符合再现方向数据的整体影像中的一个帧并进行传输，或者仅生成符合再现方向数据的方向的帧并进行传输，因此可节省无线通讯的网路频宽。

第五，利用相同的数据容量仅传输一个帧而非传输对所有方向的整体影像，因此不占用较多的通讯流量也可传输高分辨率的影像。由此佩戴客户端的使用者可在远端收看高分辨率的影像。

第六，客户端仅接收从服务器要求再现的方向的影像帧，因此为了再现所需的方向，客户端无需在整体影像中执行提取再现的方向的帧的过程。由此，客户端可无需高配置。

本发明的效果并不局限于以上所提及的效果，一般的技术人员可通过下面的内容正确理解其他未提及的效果。

附图说明

图1是示出根据本发明的一个实施例的虚拟现实影像收发系统的结构图。

图2是示出根据本发明的一个实施例的关于虚拟现实影像传输方法的流程图。

图3是示出根据本发明的一个实施例的将最初整体影像为基础生成的虚拟现实影像帧传输方法的流程图。

图4是示出根据本发明的一个实施例的关于客户端的虚拟现实影像再现方法的流程图。

图5是示出根据在遗漏第二最终影像帧且未提供第二代替影像帧时，通过客户端显示提供给使用者的影像变化的示例图。

图6是示出根据本发明的一个实施例，在客户端以第一时间点的影像方向数据和第二时间点的再现方向数据的差异值为基础生成的第二代替影像帧的示例图。

图7是示出客户端移动时，在无遗漏帧的情况下，按照顺序提供最终影像帧而显示物体位置变化的示例图。

图8是示出根据本发明的一个实施例，反映客户端的移动程度并在第一最终影像帧处提供补正各个物体位置的第二代替影像帧的示例图。

图9是示出根据一个实施例，利用一个以上的层再现虚拟现实影像的方法的流程图。

图10是示出根据一个实施例，包括第一层及第二层的虚拟现实影像再现方法。

图11是示出根据一个实施例，包括第一层、第二层及第三层的虚拟现实影像再现方法。

(符号说明)

100：服务器；200：客户端

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明。参照附图及在后述详细说明的实施例，可明确本发明的优点、特征以及达到这些的方法。但是本发明并不仅仅局限于以下公布的实施例，其可通过各种不同的形态予以呈现，只是本实施例使本发明的公开完善，且为了在本发明所属的技术领域内的技术人员能够详细理解本发明的范围而被提供，本发明只是根据权利要求书的范围被定义。整个说明书的同一参照符号指的是同一构成要素。

若无其他定义，本说明书中所使用的全部用语(包含技术及科学用语) 对于在本发明所属的技术领域的技术人员来说，均为常规理解的含义。并且对于普遍使用且词典中进行定义的用语，若未明确指出特别含义，则不可理想化或过度进行解释。

本说明书中所使用的用语是为了对实施例进行说明，其使用范围并非限制本发明。本说明书中的单数形在没有特别提及的情况下也包含复数形。除了所提及的构成要素以外，说明书中使用的“包含(comprises)”及/或“包含的(comprising)”并不排除存在或增加一个以上的其他构成要素。

下面将参照图式，对依据本发明实施例的虚拟现实影像收发系统进行说明。

图1是示出根据本发明的一个实施例的虚拟现实影像收发系统的结构图。

根据本发明的一个实施例的虚拟现实影像收发系统包含服务器100；及客户端200。

服务器100是生成虚拟现实(Virtual Reality；VR)影像的电脑。服务器 100具有在内部进行信息处理，并生成提供给客户端200的VR影像的功能。例如，VR影像是在特定的游戏驱动的影像时，服务器100可驱动游戏程序生成适当的影像帧，并通过无线通讯方式传输至客户端200。

并且，服务器100具有可在生成的VR影像将影像方向数据为元信息相结合的功能。所述影像方向数据可以是由服务器100生成的影像帧的3维空间上的关于方向的数据。

并且，服务器100可从客户端200接收再现方向数据。服务器100由所接收的再现方向数据来确定将要结合在影像帧的影像方向数据，可生成与再现方向数据(或影像方向数据)相应的VR影像帧。

客户端200是一种接收相应于虚拟现实影像的影像帧(即，后述的最终影像帧)进行再现的设备。即，客户端200具有再现从服务器100接收的VR 影像帧提供给佩戴者的功能。客户端200可以是VR设备本身，也可以是在 VR装置结合移动终端的形态。例如，VR设备和移动终端相结合形成客户端 200时，移动终端可接收从服务器100生成的影像帧，并通过相连的有线电缆或近距离无线通讯向VR设备传递影像帧，从而显示在画面上。

VR设备可由多种形态构成。例如，VR设备可将包括适合双眼的各个影像的影像帧显示于一个显示部分，并由各眼球方向的鱼眼镜头生成3维影像。并且在其他一个实施例中，VR设备可以拥有提供符合各个眼球的影像的2 个显示部分。

并且，客户端200可执行测量再现方向数据的作用。所述再现方向数据可以是关于在特定时间点再现在所述客户端200的画面上的影像帧方向的数据。即，佩戴者测量将客户端200佩戴于眼球观看的方向，并将此确定为再现方向数据。例如，再现方向数据可包括高低角数据、方位角数据或倾斜数据。客户端200拥有一个以上的传感器(例如，陀螺传感器、加速度传感器、地磁传感器等)，测量佩戴客户端200的使用者头部(或颈部)移动，可包括高低角数据、方位角数据、倾斜数据等。并且，客户端200具有通过无线通讯方式将测量的再现方向数据传输至服务器100的功能。

所述高低角数据可以指水平面(例如，地平线)和客户端200的视线方向所形成的角。即，所述高低角数据可以是根据使用者颈部的上下移动与水平面形成的角。

所述方位角数据作为显示方位的角度，可以指以水平面上的特定标准方向为基准旋转的角度。即，所述方位角数据可以根据以使用者的身体(或颈部)为轴进行旋转的颈部运动有所不同。

所述倾斜数据可以指以使用者的正面方向为轴旋转颈部的角度。即，所述倾斜数据可根据使用者颈部的左右移动或使用者身体的整体旋转等有所不同。

并且，客户端200还可以测量佩戴者的移动。例如，进行虚拟模拟训练或游戏时，使用者需佩戴客户端200进行移动，因此客户端200能够以测量的使用者移动范围为基础，向服务器100请求符合移动位置的影像帧。并且，如后述，客户端200未接收使用者移动的特定时间点的影像帧时，可反映影像帧传输周期之间的使用者的移动范围并进行影像帧的补正。

并且，在以无线通讯方式接收影像帧时，若客户端200未接收特定的影像帧，则可以之前接收的影像帧补正为符合使用者的移动范围，并在画面上予以显示。即，客户端200未接收第二时间点的最终影像帧时，可以计算第一时间点的影像方向数据和所述第二时间点的再现方向数据的差异值，并以所述差异值为基础补正第一时间点的最终影像帧。所述第二时间点可以是最终影像帧的传输周期从所述第一时间点经过的时间点。

服务器100和客户端200可以通过无线通讯方式进行连接。无线通讯方式可以采用Wi-Fi方式、蜂窝通讯等。例如，服务器100是位于使用者所处的特定空间内(例如，家中、虚拟现实体验空间内等)的电脑时，可以通过无线AP(例如，Wi-Fi AP)方式实现客户端200和服务器100之间的通讯。并且，例如，服务器100是位于外部远端的电脑时，远端的服务器100可通过蜂窝通讯或LAN通讯方式等，向客户端200传输所生成的影像帧。客户端 200可通过蜂窝通讯从基站接收影像帧，或者通过WLAN从无线AP接收影像帧。由此，若使用者拥有可进行无线通讯的客户端200，则不在服务器100 电脑附近也能接收并使用从服务器100所提供的VR影像。

下面将参照附图对根据本发明的实施例的虚拟现实影像传输方法、再现方法及程序进行说明。

通过无线通讯传输虚拟现实影像(VR影像)时，可能会由于无线通讯网路的连接状态不好而导致特定的影像帧被遗漏。在这种情况下，佩戴者可能会感到影像帧内的物体好像在摇晃，因而产生晕眩感。为了解决这一问题，需要从之前时间点接收的影像帧生成代替被遗漏影像帧的代替影像帧，并提供给使用者。

虽然目前的服务器100和客户端200通过电缆以有线连接的方式，可以依靠生成影像的服务器100电脑进行对影像补正，因此无需额外的补正标准。但是，利用无线通讯在服务器100和客户端200之间传输影像帧的方式的作用分为由服务器100生成影像帧并由客户端200完善遗漏的特定时间点的影像帧，因此需要补正影像的标准。所以，下面将对服务器100的虚拟现实影像生成及传输方法和客户端200的虚拟现实影像再现方法进行说明，以完善不能通过无线通讯方式接收的影像帧并避免使用者在体验时出现影像摇晃等不适。

图2是示出根据本发明的一个实施例的虚拟现实影像传输方法的流程图。

参照图2，根据本发明的一个实施例的虚拟现实影像传输方法包括：服务器100生成最初影像帧的步骤S120；判断与所述最初影像帧相应的影像方向数据的步骤S140；将所述影像方向数据由元信息相结合，在所述最初影像帧生成最终影像帧的步骤S160；以及通过无线通讯方式将所述最终影像帧传输至客户端200的步骤S180。

S120：服务器100生成最初影像帧。服务器100可以驱动安装在内部的程序可生成最初影像帧。所述最初影像帧传输至客户端200后，在未接收特定影像帧时，指的是未进行用于完善的信息处理的影像帧。例如，服务器100 可驱动游戏程序生成游戏影像帧。

S140：服务器100判断与所述最初影像帧相应的影像方向数据。所述影像方向数据是关于由所述服务器100生成的影像帧的3维空间方向的数据。由服务器100生成影像之前可以确定影像方向数据(例如，根据要求提供特定方向的影像，在确定将要生成的影像方向后，生成相应的最初影像帧)，在生成影像帧后也可以确定相应的影像方向数据。

S160：服务器100将所述影像方向数据由元信息相结合，在所述最初影像帧生成最终影像帧。之后，S180：服务器100通过无线通讯方式将最终影像帧传输至客户端200。即，客户端200在判断与影像帧相应的方向或者未接收下一个传输时间点(即，第二时间点)的影像帧时，服务器100可将在最初影像帧结合影像方向数据的最终影像帧传输至客户端200，以便通过补正前一时间点(即，第一时间点)的影像帧对其进行完善。

由于通讯状态不佳等导致客户端200未能从服务器100接收到第二时间点的最终影像帧时，可计算第一时间点的影像方向数据和所述第二时间点的再现方向数据的差异值，并以所述差异值为基础补正所述第一时间点的最终影像帧。所述第二时间点可以是所述最终影像帧的传输周期从所述第一时间点经过的时间点。

并且，还可包括从客户端200接收再现方向数据的步骤S110。例如，若佩戴者佩戴客户端200进行移动，则客户端200可在特定时间点通过画面获得将要提供给使用者的影像帧方向相关的数据(例如，关于使用者颈部移动的数据)，并传输至服务器100。由客户端200测量的数据叫做再现方向数据，在影像方向数据判断步骤S120，服务器100可基于从客户端200接收的再现方向数据确定影像方向数据。即，服务器100可以将与从客户端200接收的再现数据一致的方向确定为生成影像的方向。因此，服务器100可以将从客户端200接收的再现方向数据设定为影像方向数据S120，并生成符合于设定的影像方向数据的最初影像帧S100。

并且，所述最终影像帧生成步骤S140还包括将所述最终影像帧变换为用于各个眼球的影像帧的步骤。为了提供3维影像，左眼用影像和右眼用影像需要有所差异。因此，服务器100可分别生成传输至客户端200的左眼用最终影像帧及右眼用最终影像帧。

并且，所述最终影像帧生成步骤S140还可包括按照符合所述客户端200 画面的大小变换为所述最终影像帧的步骤。即，服务器100可更改影像帧的大小使之符合客户端200画面的大小，从而让客户端200能够接收最终影像帧并立即进行再现。由此，可最小化在服务器100相比用于信息处理的配置较低的客户端200变换符合画面大小的过程中可发生的时间延迟(delay)。

图3是示出根据本发明的一个实施例，以最初整体影像为基础生成的虚拟现实影像帧传输方法的流程图。

根据本发明的另一实施例的虚拟现实影像传输方法，其步骤包括：服务器100生成特定时间点的最初整体影像的步骤S100；从所述客户端200接收再现方向数据的步骤S110；在所述最初整体影像中提取与所述再现方向数据相应的最初影像帧的步骤S121；将所述再现方向数据确定为影像方向数据的步骤S141；将所述影像方向数据由元信息相结合，在所述最初影像帧生成最终影像帧的步骤S160；以通过无线通讯方式将最终影像帧传输至客户端200 的步骤S180。下面省略了已说明步骤的详细说明。

S100：服务器100获得特定时间点的最初整体影像。所述最初整体影像可以指包括使用者的视线指向的所有方向的影像帧的影像。即，服务器100 可驱动内部的特定程序生成特定时间点的整体影像，可在预先生成的一定时间的整体影像(例如，由360度摄影机拍摄一定时间期间的影像)中提取特定时间点的整体影像。

S110：服务器100从客户端200接收再现方向数据。

S121：服务器100在所述最初整体影像中提取与所述再现方向数据相应的最初影像帧。即，服务器100可通过从客户端200接收的再现方向数据，判断请求影像帧的方向，并在最初整体影像中提取与所述再现方向数据相应的最初影像帧。

S141：服务器100将所述再现方向数据确定为影像方向数据。即，由于提取最初影像帧是对应于所述再现方向数据的方向的影像帧，因此，服务器 100可将从客户端200接收的再现方向数据设定为所述提取的最初影像帧的影像方向数据。

S160：服务器100将所述影像方向数据由元信息相结合，在所述最初影像帧生成最终影像帧。S180：服务器100通过无线通讯方式将最终影像帧传输至客户端200。

图4是示出根据本发明的一个实施例的关于客户端200的虚拟现实影像再现方法的流程图。

根据本发明的另一实施例的虚拟现实影像再现方法，其步骤包括：客户端200从服务器100接收相应于第一时间点的第一最终影像帧的步骤S200；若未接收相应于第二时间点的第二最终影像帧时，比较相应于所述第一时间点的影像方向数据和相应于所述第二时间点的再现方向数据，并计算差异值的步骤S220；按照所述计算的差异值补正所述第一最终影像帧并生成代替未接收的所述第二最终影像帧的第二代替影像帧的步骤S240；以及将所述第二代替影像帧显示于画面上的步骤S260。

S200：客户端200从服务器100接收相应于第一时间点的第一最终影像帧。即，客户端200可通过无线通讯方式从客户端200接收利用元信息与影像方向数据相结合的第一最终影像帧。所述影像方向数据是从服务器100获得的有关影像帧的3维空间方向的数据，且所述最终影像帧可以是由所述服务器100，以元信息包含所述影像方向数据的影像帧。

S220：若客户端200未接收相应于第二时间点的第二最终影像帧，则比较相应于所述第一时间点的影像方向数据和相应于所述第二时间点的再现方向数据，以计算差异值。所述第二时间点可以是所述最终影像帧的传输周期从所述第一时间点经过的时间点。客户端200接收并显示相应于第一时间点的第一最终影像帧后，经过最终影像帧的传输周期之后，第二以通讯状态不佳等原因，可在第二时间点无法接收第二最终影像帧。这种情况下，使用者继续显示第一最终影像帧，以此来代替原本应在第二时间点处所期待的第二最终影像帧，而由此可发生第二时间点的再现方向数据和第一最终影像帧的影像方向数据之间的差异的物体摇晃现象。即，在第二时间点继续显示相应于第一时间点的第一最终影像帧后，若在第三时间点(即，最终影像帧的传输周期从第二时间点经过的时间点)处接收新的最终影像帧(即，第三最终影像帧)，则如图5所示，使用者在第一最终影像帧直接变更为第三最终影像帧，由此，跳过相应于第二时间点的物体位置，根据从第一时间点的物体位置向第三时间点的物体位置移动，可能会感觉到如不自然的物体移动或晃动的现象。若这种现象持续发生，则使用者可能会感到晕眩现象。为了解决这一问题，客户端200需要生成代替被遗漏的第二最终影像帧的影像帧。因此，客户端200修改在第一时间点接收的第一最终影像帧，可生成第二时间点的影像帧(即，第二代替影像帧)。

为了将第一最终影像帧变换为符合第二时间点的影像帧，客户端200需要确定补正水准。为此，客户端200比较相应于所述第一时间点的影像方向数据和相应于所述第二时间点的再现方向数据，并可计算差异值。再现方向数据可以是在特定时间点，在客户端200画面上再现的关于影像帧方向的数据。再现方向数据可通过VR设备内具备的传感器(例如，陀螺传感器、地磁传感器、加速度传感器等)进行测量。例如，客户端200从服务器100接收包括对应于再现方向数据的影像方向数据的影像帧并提供给使用者时，客户端200计算属于提供影像帧方向的第二再现方向数据和属于第一最终影像帧方向的第一影像方向数据之间的差异，并算出要补正第一最终影像帧的值。

所述再现方向数据及所述影像方向数据可包括高低角数据及方位角数据。客户端200可计算第二时间点的再现方向数据和第一时间点的影像方向数据之间的高低角及方位角差异。

并且，所述再现方向数据及所述影像方向数据可包括以佩戴者的正面方向为轴的旋转角度的倾斜数据。客户端200可计算第二时间点的再现方向数据和第一时间点的影像方向数据之间的倾斜数据差异。

S240：客户端200仅按所述计算的差异值补正所述第一最终影像帧，并生成代替未接收的所述第二最终影像帧的第二代替影像帧。作为一个实施例，客户端200基于所述差异值可移动所述第一最终影像帧。即，客户端200仅按高低角的差异值，向垂直方向移动第一最终影像帧，仅按方位角的差异值向水平方向移动第一最终影像帧。并且，客户端200可仅按倾斜数据的差异值旋转第一最终影像帧。若将使用者的正面方向为轴向特定的方向倾斜头部，则使用者所看到的物体也将旋转，因此可仅按第一时间点的影像方向数据和第二时间点的再现方向数据之间的倾斜数据差异值，旋转第一最终影像帧。

客户端200按照所述差异值补正第一最终影像帧时，如图6所示，将提供给使用者的第二代替影像帧上会出现空白区域。所述空白区域由黑白处理，或者由类似的颜色组合进行处理，以便佩戴者视觉上最少的认知。

S260：客户端200在画面上显示所述第二代替影像帧。即，客户端200 可以代替在第二时间点被遗漏的第二最终影像帧，可将补正第一最终影像帧的第二代替影像帧第二第二显示于画面上。

并且，使用者佩戴客户端200移动时，客户端200可掌握使用者的移动范围(例如，移动距离及移动方向、移动的步数等)，未接收第二时间点的最终影像帧时，可补正第一最终影像帧，以便符合使用者的移动范围。作为一个实施例，使用者移动时，根据物体与使用者之间距离的不同，其位置变化程度具有差异。如图7所示，位于近距离的物体根据使用者的移动以大幅移动，且位于远距离的物体根据使用者的移动相比近距离的物体以小幅移动。因此，在虚拟现实影像中也要反映根据这些远近的物体移动幅度的差异，才能给使用者提供较高的现实感。为此，服务器中可利用原信息将多个物体(即，在影像帧内，以各像素的集合被表现的物体)分别与客户端的距离信息(以下称为深度信息)包含其中，以生成并传输最终影像帧。第二时间点的第二最终影像帧被遗漏时，客户端可利用其包含的一个以上的传感器(例如，陀螺传感器、加速度传感器、地磁传感器等)计算使用者的移动程度，并在第一最终影像帧内的各物体中反映各物体的深度信息，可生成第二代替影像帧。即，如图8所示，客户端可根据第一时间点和第二时间点的客户端位置(即，佩戴客户端的使用者的位置)差异，按照相应于第一最终影像帧内的复数物体的像素进行补正，可生成第二代替影像帧。并且，附加地，客户端反映根据物体配置距离的物体移动幅度差异，执行像素为单位的物体补正之后，在现有的第一最终影像帧可执行补偿配置有物体的区域作业。客户端反映周围的颜色，可由特定颜色组合填充现有的物体配置空间。

并且，作为另一个实施例显示，物体的移动幅度不同时，客户端对影像帧进行移动，使之符合最大物体的分布位置后，可以以像素为单位对其他物体进行调整。通过此，对于最大大小的物体不进行像素单位作业，因此，在第二代替影像帧内，可最小化根据像素单位移动动生成的空白空间。并且，作为另一个实施例，佩戴客户端的使用者仅向前后方向移动时，客户端可扩大或缩小第一最终影像帧，可生成代替被遗漏的第二最终影像帧的第二代替影像帧。

并且，若未接收相应于第n时间点(n是大于1的自然数)的最终影像帧，还可包括比较相应于所述第n-1时间点的影像方向数据和相应于所述第n 时间点的再现方向数据计算差异值的步骤；以及仅按所述计算的差异值补正所述第n-1代替影像帧，并生成第n代替影像帧的步骤。即，如果在第二时间点未接收第二最终影像帧，提供第二代替影像帧后在第三时间点接收第三最终影像帧，则使用者可感受到影像内物体灵活移动。但是，在第二时间点以后，依然连续未接收影像帧时，客户端200需要以之前生成的代替影像帧 (例如，第二代替影像帧或第n-1代替影像帧)为基础生成下一代替影像帧 (例如，第三代替影像帧或第n代替影像帧)。客户端200可比较第n-1时间点的第n-1代替影像帧内的影像方向数据(或在第n-1时间点测量的再现方向数据)和在第n时间点测量的再现方向数据并计算差异值，按计算的差异值补正第n-1代替影像帧(例如，移动或变换)并生成第n代替影像帧。通过此，在通讯状态不佳而导致持续无法从服务器100接收最终影像帧时，客户端200依然能够给使用者提供自然流畅的虚拟现实影像。

下面将对客户端200利用一个以上的层再现虚拟现实影像的实施例进行具体说明。

图9是示出根据一个实施例，利用一个以上的层再现虚拟现实影像的方法的流程图。

在步骤S310中，客户端200从服务器100接收影像帧，客户端200将接收的影像帧分配给第一层。

在步骤S320中，客户端200生成包括至少一个图形使用者界面(Graphic UserInterface，GUI)的第二层。

在步骤S330中，客户端200生成显示至少一个控制器的控制信息的第三层。

在步骤S340中，客户端200生成最终影像帧，并显示生成的最终影像帧。

在一个实施例中，客户端200合成第一层及第二层以生成最终影像帧，并显示所生成的最终影像帧。

在另一个实施例中，客户端200合成第一层、第二层及第三层以生成最终影像帧，并显示所生成的最终影像帧。

图10是示出根据实施例，对包含第一层及第二层的虚拟现实影像再现方法。

参照图10，示出了显示从服务器接收的影像帧的第一层400及显示至少一个图形使用者界面510及520的第二层500。

第一层400中显示的影像帧在从服务器100传输影像帧的每个传输周期均予以变更。

第二层500中显示的至少一个图形使用者界面510及520控制客户端200 或对应于客户端200中显示的影像的应用程序，或者用于显示对应于客户端 200中显示的影像的信息。

例如，至少一个图形使用者界面510及520可控制客户端200中所显示的影像的再现，或者包括用于显示对应于影像的信息的至少一个使用者界面。

作为其他示例，至少一个图形使用者界面510及520可包括用于客户端 200中所显示的游戏的操作或者显示对应于游戏的信息的至少一个使用者界面。

客户端200根据使用者的移动而移动时，第一层400中显示的影像帧变更为根据客户端200的位置或者方向确定的，对应于再现方向数据及影像方向数据的影像帧。但是，第二层500中所显示的图形使用者界面的位置不变更，且与使用者的视线一起移动。

同样，根据公开的实施例，第一层400中显示第一时间点的影像帧，且第一未接收影像帧的传输周期从第一时间点经过的时间点，即第二时间点的影像帧时，客户端200计算第一时间点的影像方向数据和第二时间点的再现方向数据的差异，并以该差异值为基础补正第一影像帧并生成第二代替影像帧。

在一个层中同时显示影像帧和图形使用者界面的情况下，根据所述实施例补正第一影像帧时，第一影像帧中所显示的图形使用者界面也同时移动或旋转，可使使用者感到不适。

因此，根据图10示出的实施例，将影像帧分配至第一层400、将图形使用者界面510及520分配至第二层500，以此来消除根据影像帧补正引起的不适。

具体来说，客户端200将生成的第二代替影像帧分配至第一层400并予以显示。

另一方面，在客户端200中生成第二层500，不发生延迟或遗漏。并且，显示于第二层500的图形使用者界面510及520的位置在帧内不变更，因此无需对显示于第二层500的帧进行补正。

因此，客户端200合成包括已完成补正的第二代替影像帧的第一层400 和未进行补正的第二层500生成最终影像帧，并显示所生成的最终影像帧。

客户端200可从服务器100接收显示于第二层500用于生成图形使用者界面510及520的信息，也可直接获取。

从服务器100接收信息生成图形使用者界面510及520时，用于生成图形使用者界面510及520所需的信息量相比显示于第一层400的包括在影像帧的信息量非常少。并且，图形使用者界面510及520与显示于第一层400 的影像帧不同，不是根据客户端200的移动或时间的推移即时变化的情况较多，因此，分离第一层400和第二层500并进行处理，从而便于补正影像。在根据公开的实施例的影像帧的补正过程中，可以一起补正图形使用者界面，以防止给使用者带来不便的现象。

图11是示出根据一个实施例，包括第一层、第二层及第三层的虚拟现实影像再现方法。

图11是示出在图10示出的实施例中附加第三层600的实施例。因此，即使是关于第一层400及第二层500省略的内容，在图10中说明的内容也适用于图11示出的第一层400及第二层500。

在一个实施例中，客户端200与一个以上的控制器(无示出)连接。控制器用于控制虚拟现实影像或者控制对应于虚拟现实影像的应用程序或游戏。

客户端200接收控制器的操作信息，并利用所接收的操作信息生成显示至少一个控制器的控制信息的影像。

客户端200将显示控制器控制信息的影像分配至第三层600。

参照图11，第三层600显示控制器图像610及620，所述控制器图像显示至少一个控制器位置、方向及操作信息中的至少一个。

客户端200获得至少一个控制器的位置、方向及操作信息中的至少一个，并利用获得的信息生成显示控制器的控制信息的影像。客户端200在将生成的影像的一个帧显示在第三层600。

显示于第三层600的信息是客户端200从控制器接收并显示的信息，因此与服务器100的通讯状态无关的客户端200可获得或生成信息并予以显示。

客户端200在没有与服务器100的通讯过程中可发生的延迟(latency) 的现象，可显示控制器的控制信息。

因此与第二层500一样，对于第三层600无需进行帧补正。

客户端200仅对显示于第一层400的影像帧进行补正，并将通过补正生成的第二代替影像帧分配至第二层400，合成第一层400、第二层500以及第三层600生成最终影像帧。

客户端200显示所生成的最终影像帧。

以上根据本发明的一个实施例的虚拟现实影像传输方法、虚拟现实影像再现方法及虚拟现实影像补正方法，为了与硬件服务器100或客户端200结合并运行，可体现成程序(或应用程序)存储于介质。

为了使电脑读取程序并利用程序执行上述方法，所述电脑的处理器(CPU) 可通过所述电脑的设备界面读取C、C++、JAVA、机器语言等电脑语言，可包括编码的代码(Code)。这种代码可包括与对执行上述方法所需的功能进行定义的函数等相关的功能代码(Functional Code)，以及电脑处理器按照规定流程，执行其功能时所需与执行流程相关的控制代码。并且，对于是否应在电脑内部或外部内存的某个位置(位址编号)参照电脑处理器在执行其功能等时所需的其他信息或介质，这种代码还可包括与内存参数相关的代码。并且电脑的处理器为了执行其功能，需要与远程(Remote)的其他电脑或服务器进行通讯时，代码还可包括与通讯相关的代码，比如如何利用电脑的通讯模组与远端的其他电脑或服务器进行通讯，以及通讯时应收发何种信息或媒体等。

所述存储的介质并非暂存器、高速缓存、内存等，在短暂的瞬间存储数据的介质，而是指对数据进行半永久存储并可透过机器进行解读(reading) 的介质。具体来说，虽然进行存储的介质有ROM、RAM、CD-ROM、磁带、软碟片、光数据存储设备等，但远不局 限于此。即程式可被存储于可连接电脑的各种服务器上，各种记录介质或使用者电脑上的各种记录介质中。并且，介质可分散于透过网路进行连接的电脑系统中，并以分散方式存储可被电脑读取的代码。

根据上述有关本发明的说明显示，其具有以下多种效果。

第一，可通过无线方式传输虚拟现实影像帧，从而减少特定时间点的影像帧出现遗漏。从而在使用者未接收特定的影像帧时，虚拟现实空间的整体视角也不会摇晃，可保持自然的状态。

第二，使用者在远离服务器电脑的情况下，可利用蜂窝通讯或WLAN通讯，在任何地方体验流畅的虚拟现实影像。

第三，随着对无法接收影像帧这一情况的完善，可通过无线方式传输虚拟现实影像，因此可解决因电缆与电脑连接而使行动受到限制，且被电缆绊倒而出现安全事故的问题。

第四，服务器仅提取由客户端请求的符合再现方向数据的整体影像中的一个帧进行传输，或者仅生成符合再现方向数据方向的帧并进行传输，因此可节省无线通讯的网路频宽。

第五，利用相同的数据容量仅传输一个帧，而非传输对所有方向的整体影像，因此可在不占用太多通讯流量的情况下，也可传输高分辨率的影像。由此，佩戴客户端的使用者可在远距离观看高分辨率的影像。

第六，客户端仅接收服务器要求再现方向的影像帧，因此为了再现所需的方向，客户端无需在整体影像中执行提取再现的方向帧过程。因此，客户端可无需具备高配置。

虽然参照所附图式对本发明的实施例进行了说明，但在本发明所属的技术领域中具备专业知识的人员知道，本发明可在不改变其技术思想或必备特定条件的情况下，采 用其他具体形态予以实施。因此，只需理解以上的实施例在所有方面进行的例示，且并不局限于此。

Claims (7)

1.一种虚拟现实影像再现方法，其特征在于，包括以下步骤：

客户端从服务器接收与第一时间点相应的第一影像帧步骤；

所述客户端从所述服务器接收与第二时间点相应的第二影像帧，并且在所述第二时间点未接收到所述第二影像帧的情况下，计算所述第一时间点的影像方向数据和所述第二时间点的再现方向数据的差异值，以所述差异值为基础补正所述第一影像帧而生成第二代替影像帧步骤；

将所述接收的第二影像帧分配至第一层步骤；

生成包括至少一个图形使用者界面的第二层步骤；

合成所述第一层及所述第二层并生成最终影像帧步骤；以及

显示所述生成的最终影像帧步骤，

其中，所述第二时间点是从所述第一时间点经过所述影像帧的传输周期的时间点，

所述再现方向数据是关于在特定时间点需在所述客户端画面上进行再现的影像帧方向的数据，

所述影像方向数据是关于由所述服务器生成的影像帧的3维空间方向的数据，

其中，所述再现方向数据及所述影像方向数据包括高低角数据及方位角数据，

并且，计算所述差异值的步骤是计算所述第二时间点的再现方向数据和所述第一时间点的影像方向数据之间的高低角及方位角差异，

其中，所述虚拟现实影像再现方法还包括以下步骤：

在未接收与从所述第二时间点至第n时间点相应的影像帧的情况下，比较与第n-1时间点相应的影像方向数据和与所述第n时间点相应的再现方向数据，并计算出差异值步骤，其中，n是大于2的自然数；以及

按照所述计算的差异值补正第n-1代替影像帧，生成第n代替影像帧步骤，

其中，所述第n时间点作为接收第n次的影像帧的时间点，是从所述第n-1时间点经过影像帧的传输周期的时间点，

其中，在借由所述差异值来补正所述第一影像帧而生成所述第二影像帧的情况下，将在所述第二影像帧产生的空白区域借由类似的颜色组合来进行处理。

2.根据权利要求1所述的虚拟现实影像再现方法，其特征在于，还包括以下步骤：

生成显示至少一个控制器的控制信息的第三层步骤，且

生成所述最终影像帧的步骤包括：

合成所述第一层、所述第二层及所述第三层生成所述最终影像帧步骤。

3.根据权利要求2所述的虚拟现实影像再现方法，其特征在于，

生成所述第三层的步骤包括：

所述客户端接收所述至少一个控制器的操作信息步骤；

利用所述接收的操作信息生成显示所述至少一个控制器的控制信息步骤；以及

将所述生成的影像分配至所述第三层步骤。

4.根据权利要求1所述的虚拟现实影像再现方法，其特征在于，

获得所述再现方向数据的步骤包括：

测量使用者的颈部运动获得所述再现方向数据步骤。

5.根据权利要求1所述的虚拟现实影像再现方法，其特征在于，

补正所述第一影像帧的步骤包括：

以所述差异值为基础移动或变换所述第一影像帧生成第二代替影像帧步骤，且

分配至所述第一层的步骤包括：

将所述生成的第二代替影像帧分配至所述第一层步骤。

6.根据权利要求1所述的虚拟现实影像再现方法，其特征在于，

所述再现方向数据及所述影像方向数据包括倾斜数据，所述倾斜数据是以使用者的正面方向为轴的旋转角度，且

补正第一影像帧的步骤还包括：

以所述第二时间点的再现方向数据和所述第一时间点的影像方向数据之间的所述倾斜数据差异为基础，旋转所述第一影像帧进行补正步骤。

7.一种记录了用于驱动权利要求1至6中任意一项所述的虚拟现实影像再现方法的程序的计算机可读存储介质。

Images