CN106507128A - 虚拟现实影像传输方法、播放方法及利用此方法的程序 - Google Patents

虚拟现实影像传输方法、播放方法及利用此方法的程序 Download PDF

Info

Publication number
CN106507128A
CN106507128A CN201610803452.2A CN201610803452A CN106507128A CN 106507128 A CN106507128 A CN 106507128A CN 201610803452 A CN201610803452 A CN 201610803452A CN 106507128 A CN106507128 A CN 106507128A
Authority
CN
China
Prior art keywords
image frame
bearing data
client
data
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610803452.2A
Other languages
English (en)
Inventor
金泰郁
李贺冉
丁德荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kelite Co Ltd
Original Assignee
Kelite Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kelite Co Ltd filed Critical Kelite Co Ltd
Publication of CN106507128A publication Critical patent/CN106507128A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及虚拟现实影像传输方法、虚拟现实影像播放方法及利用此方法的程序。根据本发明一个实施例的虚拟现实影像传输方法，包括：服务器100生成最初影像帧的步骤S120；判断与所述最初影像帧相应的影像方向数据的步骤S140；在所述最初影像帧中，把所述影像方向数据结合成元信息，生成最终影像帧的步骤S160；及把所述最终影像帧通过无线通信而传输给客户端200的步骤S180。根据本发明，能够弥补无线传输虚拟现实影像帧所导致的特定时间点的影像帧遗漏，使用者即使在未接收特定影像帧的情况下，也可以自然地感受虚拟现实影像内的物体移动。

Description

虚拟现实影像传输方法、播放方法及利用此方法的程序
技术领域
本发明涉及虚拟现实影像传输方法、虚拟现实影像播放方法及利用此方法的程序，更详细而言，涉及一种通过无线通信而执行要求高规格的虚拟现实内容的实时传输及播放的方法或程序。
背景技术
所谓虚拟现实(VR；Virtual Reality)，作为通过计算机而生成的虚拟的空间，是通过三维视觉效果而赋予现实性的空间。用于体现虚拟现实的技术，作为实时处理使用者的输入而能够获得如同处于现实世界一样的感受的技术，是超越多媒体的下一代技术。
虚拟现实环境不仅能够向使用者提供逼真的投入感，从而模拟实际存在的物体，而且，使人可以体验实际上不存在的物体或状况。这种虚拟现实环境可以应用于多样的领域。例如，从汽车设计或模拟实验等工学领域到医疗领域、文化内容领域，实际应用于多样的领域。
这种虚拟现实(VR)根据观察角度，混用为诸如虚拟环境(Virtual Environment)、虚拟存在(Virtual Presence)、人工世界(Artifical World)、虚拟世界(Virtual World)、网络空间(Cyber space)等术语，但一般向使用者提供由计算机创造的、与现实世界类似的三维虚拟世界，提供能够与该虚拟世界实时自由地操作的输入手段，以及与使用者的操作对应地提供实际感觉的感觉反馈(Sensory feedback)手段，因而堪称使得能够进行人工体验与经验的技术。
发明内容
本发明要解决的技术问题
最近，随着技术发展，能够利用虚拟现实内容的装置也纷纷登场。以往，为了生成高规格的虚拟现实影像，在利用电线把VR播放装置连接于台式电脑等PC的状态下，使用者佩戴并使用。但是，这种情形利用了电线，可以佩戴VR装置并移动的行动半径有限，在佩戴VR装置而无法确认外部的状态下，存在会发生被电线绊倒的事故等问题。另外，存在只有在有PC的情况下，才可以利用VR装置来欣赏虚拟现实影像的不便。
另外，最近出现了一种方式，把移动终端结合于VR装置，移动终端执行生成VR影像所需的信息处理后，向VR装置传递。这种方式是作为执行信息处理的计算机的移动终端与进行播放的VR装置进行有线连接，可以结合于移动终端VR装置，可以解决因电线而发生的问题。但是，移动终端与PC相比，难以驱动高规格的程序，存在难以驱动高规格的VR游戏或播放高分辨率的VR影像的问题。
因此，本发明旨在提供一种虚拟现实影像传输方法、播放方法及利用此方法的程序，使得在信息处理装置与VR装置间，通过无线通信传输影像帧并播放，能够不受场所及行动半径限制，可以从高规格计算机获得提供的VR影像。
技术方案
根据本发明一个实施例的虚拟现实影像传输方法，包括：服务器生成最初影像帧的步骤；判断与所述最初影像帧相应的影像方向数据的步骤；在所述最初影像帧中，把所述影像方向数据结合为元信息，生成最终影像帧的步骤；及把所述最终影像帧通过无线通信传输给客户端的步骤；所述客户端是播放相当于虚拟现实影像的所述最终影像帧的装置，所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据。
另外，还包括：从所述客户端接收播放方向数据的步骤；所述影像方向数据判断步骤的特征在于：是以所述接收的播放方向数据为基础，决定所述影像方向数据；所述客户端的特征在于：测量使用者的颈部移动，并获得播放方向数据；所述播放方向数据，可以是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据。
根据本发明另一实施例的虚拟现实影像传输方法，包括：服务器获得特定时间点的最初全体影像的步骤；从所述客户端接收播放方向数据的步骤；在所述最初全体影像中提取与所述播放方向数据相应的最初影像帧的步骤；把所述播放方向数据决定为影像方向数据，在所述最初影像帧中，把所述影像方向数据结合为元信息，生成最终影像帧的步骤；及把所述最终影像帧通过无线通信传输到客户端的步骤。所述客户端是测量使用者的颈部移动并获得所述播放方向数据的、播放属于虚拟现实影像的所述最终影像帧的装置，所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据，所述播放方向数据是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据。
另外，所述客户端的特征在于：当未借助于所述客户端而接收第2时间点的最终影像帧时，可以算出第1时间点的影像方向数据与所述第2时间点的播放方向数据的差异值，以所述差异值为基础，补正所述第1时间点的最终影像帧；所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。
另外，所述最终影像帧生成步骤可以还包括：把所述最终影像帧变换成各个眼球用影像帧的步骤；及把所述最终影像帧变换为符合所述客户端画面的大小的步骤。
根据本发明又一实施例的虚拟现实影像播放方法，包括：客户端从服务器接收与第1时间点相应的第1最终影像帧的步骤；如果未接收与第2时间点相应的第2最终影像帧，则比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值的步骤；按照所述算出的差异值，补正所述第1最终影像帧，生成替代未接收的所述第2最终影像帧的第2替代影像帧的步骤；及把所述第2替代影像帧显示于画面的步骤。且所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据，所述播放方向数据是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据，所述最终影像帧是借助于所述服务器而把所述影像方向数据包含为元信息的影像帧，所述第2时间点是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。
另外，其特征可以在于，所述第2替代影像帧生成步骤是以所述差异值为基础，使所述第1最终影像帧移动或变换。
另外，其特征可以在于，所述播放方向数据及所述影像方向数据包括高低角数据及方位角数据，所述差异值算出步骤是算出所述第2时间点的播放方向数据与所述第1时间点的影像方向数据之间的高低角及方位角差异。
另外，所述播放方向数据及所述影像方向数据可以包括以佩戴者正面方向为轴的旋转角度的倾斜数据，所述替代影像帧生成步骤可以还包括：以所述第2时间点的播放方向数据与所述第1时间点的影像方向数据之间的所述倾斜数据差异为基础，旋转并补正所述第1最终影像帧的步骤。
另外，可以还包括：如果未接收与第n时间点(n为大于2的自然数)相应的最终影像帧，则比较与所述第n-1时间点相应的影像方向数据和与所述第n时间点相应的播放方向数据，并输出差异值的步骤；及按照所述算出的差异值，补正所述第n-1替代影像帧，生成第n替代影像帧的步骤。
根据本发明又一实施例的虚拟现实影像传输或播放程序，与硬件结合，而运行所述言及的虚拟现实影像传输方法或播放方法，并存储于介质。
发明的效果
根据如上所述的本发明，具有如下多样的效果。
第一，能够弥补无线传输虚拟现实影像帧所导致的特定时间点的影像帧遗漏，具有使用者即使在未接收特定影像帧的情况下，虚拟现实空间的整体时间点也不晃动，可以自然地播放影像的效果。
第二，使用者即使在服务器计算机远离的状态下，也可以利用蜂窝通信或WLAN通信，随时随地欣赏不中断的虚拟现实影像。
第三，能够弥补未接收影像帧的情形，因而能够无线传输虚拟现实影像，具有解决因连接于计算机的电线而行动受限、被电线绊倒而可能发生安全事故的问题的效果。
第四，服务器只提取并传输符合由客户端请求的播放方向数据的全体影像中的一个帧，或只生成并传输符合播放方向数据的方向的帧即可，因而具有能够节省无线通信的网络带宽的效果。
第五，并非以相同的数据容量传输关于所有方向的全体影像，而是只传输一个帧，因而能够在不大量占用通信流量的同时传输高分辨率影像。由此，佩戴客户端的使用者可以在远距离处观看高分辨率的影像。
第六，客户端从服务器只接收要求播放的方向的影像帧，无需为了播放所需的方向而执行客户端在全体影像中提取播放的方向的帧的过程。由此，客户端可以不需要高规格。
附图说明
图1是本发明一个实施例的虚拟现实影像接收发送系统的构成图。
图2是关于本发明一个实施例的虚拟现实影像传输方法的顺序图。
图3是本发明一个实施例的关于以最初全体影像为基础生成的虚拟现实影像帧的传输方法的顺序图。
图4是本发明一个实施例的关于客户端的虚拟现实影像播放方法的顺序图。
图5是显示在第2最终影像帧遗漏、未提供第2替代影像帧的情况下，通过客户端向使用者提供的影像变化的示例图。
图6是根据本发明的一个实施例，客户端以第1时间点的影像方向数据和第2时间点的播放方向数据的差异值为基础生成的第2替代影像帧的示例图。
图7是显示在客户端移动的情况下，最终影像帧无遗漏帧地依次提供时的物体位置变化的示例图。
图8是根据本发明的一个实施例，反映客户端的移动程度，提供在第1最终影像帧中补正各个物体位置的第2替代影像帧的示例图。
符号说明
100：服务器 200：客户端
具体实施方式
下面参照附图，详细说明本发明的优选实施例。如果参照后面与附图一同详细叙述的实施例，本发明的优点、特征以及达成其的方法。但是，本发明并非限定于以下公开的实施例，可以以互不相同的多样形态体现，本实施例只提供用于使得本发明的公开更完全，向本发明所属技术领域的技术人员完全地告知发明的范畴，本发明只由权利要求项的范畴定义。在通篇说明书中，相同参照符号指称相同构成要素。
如果没有不同的定义，则本说明书中使用的所有术语(包括技术及科学术语)可以用作本发明所属技术领域的技术人员可以共同理解的意义。另外，对于一般使用的字典中定义的术语，只要未明确地特别定义，不得过于地或过度地解释。
本说明书中使用的术语用于说明实施例，并非要限制本发明。在本说明书中，只要在语句上未特别提及，单数型也包括复数型。说明书中使用的“包括(comprises)”及/或“包括的(comprising)”，在言及的构成要素之外，不排除一个以上的其它构成要素的存在或额外。
下面参照附图，对本发明实施例的虚拟现实影像接收发送系统进行说明。
图1是本发明一个实施例的虚拟现实影像接收发送系统的构成图。
本发明一个实施例的虚拟现实影像接收发送系统包括服务器100及客户端200。
服务器100是生成虚拟现实(Virtual Reality；VR)影像的计算机。服务器100执行在内部执行信息处理，生成将提供给客户端200的VR影像的功能。例如，当VR影像驱动特定游戏而产生影像时，服务器100可以驱动游戏程序，生成适当的影像帧，通过无线通信传输给客户端200。
另外，服务器100可以执行在生成的VR影像中，把影像方向数据结合成元信息的功能。所述影像方向数据可以是由服务器100生成的影像帧的三维空间上的方向相关数据。
另外，服务器100可以从客户端200接收播放方向数据。服务器100可以把即将结合于影像帧的影像方向数据决定为接收的播放方向数据，生成与播放方向数据(或影像方向数据)相应的VR影像帧。
客户端200是接收并播放属于虚拟现实影像的影像帧(即，后述的最终影像帧)的装置。即，客户端200执行播放从服务器100接收的VR影像帧并提供给佩戴者的功能。客户端200可以为VR装置本身，也可以是移动终端结合于VR装置的状态。例如，当VR装置与移动终端结合而构成客户端200时，移动终端可以从服务器100接收生成的影像帧，将其通过连接的有线电线或近距离无线通信传递给VR装置并显示于画面中。
VR装置可以以多样的形态体现。例如，VR装置可以把包括适合于双眼的各个影像的影像帧显示于一个显示部，借助于各眼球方向的鱼眼镜头而生成为三维影像。另外，在另一实施例中，VR装置可以具备提供符合各个眼球的影像的2个显示部。
另外，客户端200可以执行测量播放方向数据的作用。所述播放方向数据可以是在特定时间点，应在所述客户端200的画面上播放的影像帧的方向相关数据。即，佩戴者可以把客户端200佩戴于眼球，测量观察的方向，将其决定为播放方向数据。例如，播放方向数据可以包括高低角数据、方位角数据或倾斜数据。客户端200可以具备一个以上的传感器(例如，陀螺仪传感器、加速度传感器、地磁传感器等)，测量佩戴客户端200的使用者的头(或颈)的移动，包括高低角数据、方位角数据、倾斜数据等。另外，客户端200可以执行把测量的播放方向数据通过无线通信传输给服务器100的功能。
所述高低角数据可以意味着由水平面(例如，地面线)与客户端200的视线方向构成的角。即，所述高低角数据可以是随着使用者颈部的上下移动而与水平面构成的角。
所述方位角数据作为代表方位的角度，可以意味着在水平面上以特定基准方向为基准旋转的角度。即，所述方位角数据可以因以使用者的身体(或颈部)为轴旋转的颈部移动而变更。
所述倾斜数据可以意味着颈部以使用者的正面方向为轴旋转的角。即，所述倾斜数据可以因使用者向左右方向的颈部移动或使用者身体的整体旋转等而变更。
另外，客户端200也可以测量佩戴者的移动。例如，当执行虚拟模拟训练或游戏时，由于使用者佩戴客户端200进行移动，因而客户端200可以以测量的使用者移动程度为基础，向服务器100请求符合移动的位置的影像帧。另外，如后所述，当未接收使用者移动的特定时间点的影像帧时，客户端200可以反映影像帧传输周期之间的使用者的移动程度，执行影像帧的补正。
另外，客户端200在通过无线通信而接收影像帧的情况下，如果特定影像帧未接收，则可以补正之前接收的影像帧，使得适合于使用者的移动，并显示于画面上。即，客户端200在未接收到第2时间点的最终影像帧时，可以算出第1时间点的影像方向数据与所述第2时间点的播放方向数据的差异值，以所述差异值为基础，补正第1时间点的最终影像帧。所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。
服务器100与客户端200可以通过无线通信而连接。作为无线通信方式，可以利用Wi-Fi方式、蜂窝通信等。例如，当服务器100是配置于使用者所在的特定空间内(例如，家内部、虚拟现实体现空间内等)的计算机时，可以通过无线AP(例如，Wi-Fi AP)执行客户端200与服务器100之间的通信。另外，例如，当服务器100是配置于外部远程的计算机时，远程服务器100可以通过蜂窝通信或LAN通信等，向客户端200传输生成的影像帧。客户端200可以通过蜂窝通信，从基站接收影像帧，或从无线AP，通过WLAN而接收影像帧。由此，如果使用者持有能无线通信的客户端200，那么，即使不在靠近服务器100计算机的位置，也可以接收从服务器100提供的VR影像并利用。
下面参照附图，对本发明实施例的虚拟现实影像传输方法、播放方法及程序进行说明。
当通过无线通信而传输虚拟现实影像(VR影像)时，无线通信网的状态可能会不顺畅，导致可能遗漏特定的影像帧。在这种情况下，佩戴者也可能会感觉如同影像帧内的物体在晃动一样，发生眩晕症状。为了解决这种问题，需要从之前时间点接收的影像帧，生成将替代遗漏的影像帧的替代影像帧，并提供给使用者。
就原有的服务器100与客户端200通过电线的有线连接方式而言，由生成影像的服务器100计算机执行影像补正，因而虽然不需要另外的用于补正的基准，但利用无线通信在服务器100与客户端200之间传输影像帧的方式进行分工，由服务器100生成影像帧，由客户端200弥补遗漏的特定时间点的影像帧，因而需要用于补正影像的基准。因此，下面说明服务器100用于弥补未通过无线通信接收的影像帧，使使用者不会感到影像晃动等不便的虚拟现实影像生成及传输方法和客户端200的虚拟现实影像播放方法。
图2是关于本发明一个实施例的虚拟现实影像传输方法的顺序图。
如果参照图2，本发明一个实施例的虚拟现实影像传输方法包括：服务器100生成最初影像帧的步骤S120；判断与所述最初影像帧相应的影像方向数据的步骤S140；在所述最初影像帧中，把所述影像方向数据结合成元信息，生成最终影像帧的步骤S160；及把所述最终影像帧通过无线通信传输给客户端200的步骤S180。
服务器100生成最初影像帧S120。服务器100可以驱动内部安装的程序，生成最初影像帧。所述最初影像帧意味着向客户端200发送后，当特定影像帧未接收时，未执行弥补所需的信息处理的影像帧。例如，服务器100可以驱动游戏程序，生成游戏影像帧。
服务器100判断与所述最初影像帧相应的影像方向数据S140。所述影像方向数据是由所述服务器100生成的影像帧的三维空间上的方向相关数据。在由服务器100生成影像之前，既可以决定影像方向数据(例如，根据提供特定方向影像的请求而确定将生成的影像方向后，生成对应的最初影像帧)，也可以生成影像帧后，决定对应的影像方向数据。
服务器100在最初影像帧中，把影像方向数据结合成元信息，生成最终影像帧S160。然后，服务器100把最终影像帧通过无线通信传输给客户端200、S180。即，服务器100在客户端200判断与影像帧对应的方向或在下个传输时间点(即，第2时间点)的影像帧未被接收的情况下，可以把在最初影像帧中结合了影像方向数据的最终影像帧传输给客户端200，以便能够通过之前时间点(即，第1时间点)的影像帧补正而弥补。
客户端200在因通信状态不良等而未从服务器100接收第2时间点的最终影像帧时，可以算出第1时间点的影像方向数据与所述第2时间点的播放方向数据的差异值，以所述差异值为基础，补正所述第1时间点的最终影像帧。所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。
另外，可以还包括从所述客户端200接收播放方向数据的步骤S110。例如，如果佩戴者佩戴客户端200进行移动，则客户端200可以获得关于在特定时间点应通过画面将向使用者提供的影像帧方向的数据(例如，关于使用者颈部移动的数据)，传输给服务器100。把借助于客户端200而测量的数据称为播放方向数据，服务器100可以在影像方向数据判断步骤S120中，从客户端200接收的播放方向数据为基础，决定影像方向数据。即，服务器100可以把与从客户端200接收的播放方向数据一致的方向决定为即将生成影像的方向。因此，服务器100可以把从客户端200接收的播放方向数据设置为影像方向数据S120，生成与设置的影像方向数据相符的最初影像帧S100。
另外，所述最终影像帧生成步骤S140可以还包括：把所述最终影像帧变换成各个眼球用影像帧的步骤。为了提供三维影像，左眼用影像与右眼用影像会需要有差异。因此，服务器100可以把将传输给客户端200的最终影像帧分别生成为左眼用最终影像帧及右眼用最终影像帧。
另外，所述最终影像帧生成步骤S140可以还包括：把所述最终影像帧变换为符合所述客户端200画面的大小的步骤。即，服务器100可以符合客户端200画面大小地变换影像帧的大小，以便客户端200可以接收最终影像帧并直接播放。由此，可以使在信息处理所需规格比服务器100低的客户端200中，在变化使得符合画面大小的过程中可能发生的延时(delay)实现最小化。
图3是关于本发明一个实施例的以最初全体影像为基础生成的虚拟现实影像帧的传输方法的顺序图。
本发明另一实施例的虚拟现实影像传输方法包括：服务器100生成特定时间点的最初全体影像的步骤S100；从所述客户端200接收播放方向数据的步骤S110；从所述最初全体影像提取与所述播放方向数据相应的最初影像帧的步骤S121；把所述播放方向数据决定为影像方向数据的步骤S141；在所述最初影像帧中，把所述影像方向数据结合成元信息，生成最终影像帧的步骤S160；及把所述最终影像帧通过无线通信传输给客户端200的步骤S180。下面，省略对已说明步骤的具体说明。
服务器100获得特定时间点的最初全体影像S100。所述最初全体影像可以意味着包括使用者视线朝向的所有方向的影像帧的影像。即，服务器100可以驱动内部的特定程序，生成特定时间点的全体影像，可以在预先生成的既定时间的全体影像(例如，借助于360度摄像头而在既定时间期间拍摄的影像)中，提取特定时间点的全体影像。
服务器100从客户端200接收播放方向数据S110。
服务器100在所述最初全体影像中，提取与所述播放方向数据相应的最初影像帧S121。即，服务器100可以通过从客户端200接收的播放方向数据，判断影像帧请求的方向，在最初全体影像中，提取与所述播放方向数据相应的最初影像帧。
服务器100把所述播放方向数据决定为影像方向数据S141。即，由于提取的最初影像帧是与所述播放方向数据对应方向的影像帧，因而服务器100可以把从客户端200接收的播放方向数据设置为所述提取的最初影像帧的影像方向数据。
服务器100在所述最初影像帧中，把所述影像方向数据结合成元信息，生成最终影像帧S160。服务器100把所述最终影像帧通过无线通信传输给客户端200、S180。
图4是关于本发明一个实施例的客户端200的虚拟现实影像播放方法的顺序图。
本发明又一实施例的虚拟现实影像播放方法包括：客户端200从服务器100接收与第1时间点相应的第1最终影像帧的步骤S200；如果未接收与第2时间点相应的第2最终影像帧，则比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值的步骤S220；按照所述算出的差异值，补正所述第1最终影像帧，生成替代未接收的所述第2最终影像帧的第2替代影像帧的步骤S240；及把所述第2替代影像帧显示于画面的步骤S260。
客户端200从服务器100接收与第1时间点相应的第1最终影像帧S200。即，客户端200可以从服务器100，通过无线通信接收影像方向数据结合为元信息的第1最终影像帧。所述影像方向数据是由所述服务器100获得的影像帧的三维空间上的方面相关数据，所述最终影像帧可以是由所述服务器100把所述影像方向数据包括为元信息的影像帧。
如果客户端200未接收与第2时间点相应的第2最终影像帧，则比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值S220。所述第2时间点可以是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。客户端200接收与第1时间点对应的第1最终影像帧并显示后，经过最终影像帧的传输周期后，在第2时间点，由于通信状态不良等理由，可能无法接收第2最终影像帧。在这种情况下，取代在第2时间点预期的第2最终影像帧，继续显示第1最终影像帧，因此，就使用者而言，相应于第2时间点的播放方向数据与第1最终影像帧的影像方向数据之间的差异，会发生物体晃动的现象。即，在第2时间点，在继续显示与第1时间点相应的第1最终影像帧后，在第3时间点(即，从第2时间点起，经过最终影像帧的传输周期的时间点)，如果接收了新的最终影像帧(即，第3最终影像帧)，则如图5所示，从第1最终影像帧直接变更为第3最终影像帧，因而越过与第2时间点相应的物体的位置，从第1时间点的物体位置移动到第3时间点的物体位置，因而使用者会不自然地感觉到好象有物体移动或晃动的现象。如果这种现象继续发生，则使用者会感觉到眩晕现象。为了解决这种问题，客户端200需要生成将替代遗漏的第2最终影像帧的影像帧。因此，客户端200可以对在第1时间点接收的第1最终影像帧进行修正，生成为第2时间点的影像帧(即，第2替代影像帧)。
客户端200为了把第1最终影像帧变换为符合第2时间点的影像帧，需要决定补正水平。为此，客户端200可以比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，并算出差异值。播放方向数据可以是在特定时间点，应在所述客户端200的画面上播放的影像帧的方向相关数据。播放方向数据可以通过VR装置内配备的传感器(例如，陀螺仪传感器、地磁传感器、加速度传感器等)测量。例如，客户端200在从服务器100接收包括与播放方向数据对应的影像方向数据的影像帧并提供给使用者时，客户端200计算属于影像帧应提供的方向的第2播放方向数据与属于第1最终影像帧的方向的第1影像方向数据的差异，算出为应对第1最终影像帧进行补正的值。
所述播放方向数据及所述影像方向数据可以包括高低角数据及方位角数据。客户端200可以算出第2时间点的播放方向数据与第1时间点的影像方向数据之间的高低角及方位角差异。
另外，所述播放方向数据及所述影像方向数据可以包括以佩戴者正面方向为轴的旋转角度的倾斜数据。客户端200可以算出第2时间点的播放方向数据与第1时间点的影像方向数据之间的倾斜数据差异。
客户端200按照所述算出的差异值，补正所述第1最终影像帧，生成替代未接收的所述第2最终影像帧的第2替代影像帧S240。作为一个实施例，客户端200可以以所述差异值为基础，移动所述第1最终影像帧。即，客户端200可以按照高低角的差异值，使第1最终影像帧向竖直方向移动，可以按照方位角的差异值，使第1最终影像帧向水平方向移动。另外，客户端200可以按照倾斜数据的差异值，旋转第1最终影像帧。如果以使用者正面方向为轴，向特定方向倾斜颈部，那么，向使用者显示的物体进行旋转，因此，可以按照第1时间点的影像方向数据与第2时间点的播放方向数据间的倾斜数据的差异值，旋转第1最终影像帧。
当客户端200按所述差异值补正第1最终影像帧时，在将提供给使用者的第2替代影像帧上，如图6所示，发生空白区域。所述空白区域也可以处理成黑白，或处理成类似颜色的组合，以便佩戴者在视觉上最小限度地认知。
客户端200把所述第2替代影像帧显示于画面S260。即，客户端200可以取代在第2时间点遗漏的第2最终影像帧，把补正第1最终影像帧的第2替代影像帧显示于画面中。
另外，当使用者佩戴客户端200移动时，客户端200掌握使用者的移动程度(例如，移动距离及移动方向、移动步数等)，当第2时间点的最终影像帧未接收时，可以补正第1最终影像帧，使得符合使用者的移动程度。作为一个实施例，在使用者移动的情况下，物体根据距离使用者的距离，位置变化程度有差异。如图7所示，位于近处的物体随着使用者的移动而大幅移动，位于远处的物体随着使用者的移动而以比位于近处的物体小的幅度小幅移动。因此，在虚拟现实影像中，只有反映这种远近导致的物体移动幅的差异，才能够向使用者提供高逼真感。为此，服务器可以把多个物体(即，在影像帧内以各像素的集合而表现的物体)分别距离客户端的距离信息(以下简称深度信息)包含为元信息，生成最终影像帧并传输。当第2时间点的第2最终影像帧遗漏时，客户端可以利用包含的一个以上的传感器(例如，陀螺仪传感器、加速度传感器、地磁传感器等)，算出使用者的移动程度，在第1最终影像帧内的各个物体中反映各物体的深度信息，生成第2替代影像帧。即，如图8所示，客户端可以根据第1时间点与第2时间点的客户端位置(即，佩戴客户端的使用者的位置)差异，按与第1最终影像帧内多个物体相应的像素而执行补正，生成第2替代影像帧。另外，额外地，客户端可以在反映因物体配置的距离导致的物体移动幅度差异而执行像素单位的物体补正后，执行对原来物体在第1最终影像帧配置的区域进行补正的作业。客户端可以反映周边的颜色，以特定的颜色组合，填充原有的物体配置空间。
另外，作为另一实施例，当物体的移动幅度相异时，客户端可以使影像帧与大小最大物体的位置配置相符地移动后，按像素单位调节其余物体。由此，对于大小最大的物体，不执行像素单位作业，因而在第2替代影像帧内，随着像素单位移动而生成的空白空间可以实现最小化。另外，作为另一实施例，当佩戴客户端的使用者只向前方或后方移动时，客户端可以放大或缩小第1最终影像帧，生成替代遗漏的第2最终影像帧的第2替代影像帧。
另外，可以还包括：如果与第n时间点(n为大于2的自然数)相应的最终影像帧未接收，则比较与所述第n-1时间点相应的影像方向数据和与所述第n时间点相应的播放方向数据，并算出差异值的步骤；及按照所述算出的差异值，补正所述第n-1替代影像帧，生成第n替代影像帧的步骤。即，在第2时间点未接收第2最终影像帧，在提供第2替代影像帧后，如果在第3时间点接收了第3最终影像帧，则使用者可以感到影像内的物体顺畅移动。但是，当在第2时间点之后，影像帧未连续接收时，客户端200需要以之前生成的替代影像帧(例如，第2替代影像帧或第n-1替代影像帧)为基础，生成下个替代影像帧(例如，第3替代影像帧或第n替代影像帧)。客户端200可以比较第n-1时间点的第n-1替代影像帧内的影像方向数据(或在第n-1时间点测量的播放方向数据)与在第n时间点测量的播放方向数据，并算出差异值，按照算出的差异值，补正第n-1替代影像帧(例如，移动或变形)，生成第n替代影像帧。由此，客户端200即使在因通信状态不良而未从服务器100连续接收最终影像帧的情况下，也可以向使用者提供自然的虚拟现实影像。
以上叙述的本发明一个实施例的虚拟现实影像传输方法及虚拟现实影像补正方法，为了与作为硬件的服务器100或客户端200结合并运行，可以以程序(或应用程序)来实现并存储于介质。
以上叙述的程序为了供所述计算机读取程序并运行以程序体现的所述方法，包括以所述计算机的处理器(CPU)可以通过所述计算机装置接口而读取的C、C++、JAVA、机械语言等计算机语言进行编码的代码(Code)。这种代码可以包括定义运行所述方法所需的功能的函数等相关功能性代码(FunctionalCode)，可以包括所述计算机的处理器按既定步骤使所述功能运行所需的运行步骤相关控制代码。另外，这种代码可以还包括所述计算机的处理器使所述功能运行所需的额外信息或关于媒体是否应在所述计算机的内部或外部存储器的某个位置(地址代码)参照的存储器参照相关代码。另外，当所述计算机的处理器为了使所述功能运行而需要与处于远程(Remote)的某种其它计算机或服务器等通信时，代码可以还包括关于应利用所述计算机的通信模块而与处于远程的某种其它计算机或服务器等如何通信、通信时需要发送接收何种信息或媒体等的通信相关代码。
所述存储的介质并非诸如寄存器、高速缓冲存储器、存储器等短时存储数据的介质，而是意味着半永久性存储数据、能被机器判读(reading)的介质。具体而言，作为所述存储的介质的示例，有ROM、RAM、CD-ROM、磁带、软肋、光数据存储装置等，但不限定于此。即，所述程序可以存储于所述计算机可接入的多样服务器上的多样记录介质或使用者的所述计算机上的多样记录介质。另外，所述介质可以分布于通过网络连接的计算机系统，以分布方式存储计算机可读的代码。
根据如上所述的本发明，具有如下多样的效果。
第一，能够弥补无线传输虚拟现实影像帧导致的特定时间点的影像帧遗漏，具有使用者即使在未接收特定影像帧的情况下，虚拟现实空间的整体时间点也不晃动，自然地保持的效果。
第二，使用者在服务器计算机远离的状态下，也可以利用蜂窝通信或WLAN通信，随时随地欣赏不中断的虚拟现实影像。
第三，能够弥补未接收影像帧的情形，因而能够无线传输虚拟现实影像，具有解决因连接于计算机的电线而行动受限、被电线绊倒而可能发生安全事故的问题的效果。
第四，服务器只提取并传输符合由客户端请求的播放方向数据的全体影像中的一个帧，或只生成并传输符合播放方向数据的方向的帧即可，因而具有能够节省无线通信的网络带宽的效果。
第五，并非以相同的数据容量传输关于所有方向的全体影像，而是只传输一个帧，因而能够在不大量占用通信流量的同时传输高分辨率影像。由此，佩戴客户端的使用者可以在远距离观看高分辨率的影像。
第六，客户端从服务器只接收要求播放的方向的影像帧，因此无需为了播放所需的方向而执行客户端在全体影像中提取播放的方向的帧的过程。由此，客户端可以不需要高规格。
以上参照附图，说明了本发明的实施例，本发明所属技术领域的技术人员可以理解，本发明可以在不变更其技术思想或必需特征的前提下，以其它具体形态实施。因此，以上记述的实施例在所有方面应理解为只是示例而非限定。

Claims (10)

1.一种虚拟现实影像传输方法，其特征在于，包括：
服务器获得最初影像帧的步骤；
判断与所述最初影像帧相应的影像方向数据的步骤；
在所述最初影像帧中，把所述影像方向数据结合为元信息，生成最终影像帧的步骤；
把所述最终影像帧通过无线通信传输给客户端的步骤；
所述客户端是播放属于虚拟现实影像的所述最终影像帧的装置，
所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据。
2.根据权利要求1所述的虚拟现实影像传输方法，其特征在于，
还包括从所述客户端接收播放方向数据的步骤；
所述影像方向数据判断步骤，是以所述接收的播放方向数据为基础决定所述影像方向数据，
所述客户端测量使用者的颈部移动，并获得播放方向数据，
所述播放方向数据是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据。
3.一种虚拟现实影像传输方法，其特征在于，包括：
服务器获得特定时间点的最初全体影像的步骤；
从所述客户端接收播放方向数据的步骤；
在所述最初全体影像中提取与所述播放方向数据相应的最初影像帧的步骤；
把所述播放方向数据决定为影像方向数据，在所述最初影像帧中，把所述影像方向数据结合为元信息，生成最终影像帧的步骤；
把所述最终影像帧通过无线通信传输到客户端的步骤；
所述客户端是测量使用者的颈部移动，并获得所述播放方向数据的、播放属于虚拟现实影像的所述最终影像帧的装置，
所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据，
所述播放方向数据是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据。
4.根据权利要求1至3中任意一项所述的虚拟现实影像传输方法，其特征在于，
当未借助于所述客户端而接收第2时间点的最终影像帧时，
所述客户端算出第1时间点的影像方向数据与所述第2时间点的播放方向数据的差异值，以所述差异值为基础，补正所述第1时间点的最终影像帧，
所述第2时间点是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。
5.根据权利要求1至3中任意一项所述的虚拟现实影像传输方法，其特征在于，
所述最终影像帧生成步骤还包括：
把所述最终影像帧变换成各个眼球用影像帧的步骤；及
把所述最终影像帧变换为符合所述客户端画面的大小的步骤。
6.一种虚拟现实影像播放方法，其特征在于，包括：
客户端从服务器接收与第1时间点相应的第1最终影像帧的步骤；
如果未接收与第2时间点相应的第2最终影像帧，则比较与所述第1时间点相应的影像方向数据和与所述第2时间点相应的播放方向数据，算出差异值的步骤；
按照所述算出的差异值，补正所述第1最终影像帧，生成替代未接收的所述第2最终影像帧的第2替代影像帧的步骤；及
把所述第2替代影像帧显示于画面的步骤；且
所述影像方向数据是由所述服务器生成的影像帧的三维空间上的方向相关数据，
所述播放方向数据是在特定时间点，应在所述客户端的画面上播放的影像帧的方向相关数据，
所述最终影像帧是借助于所述服务器而把所述影像方向数据包含为元信息的影像帧，
所述第2时间点是从所述第1时间点起，经过所述最终影像帧的传输周期的时间点。
7.根据权利要求7所述的虚拟现实影像播放方法，其特征在于，
所述第2替代影像帧生成步骤是以所述差异值为基础，使所述第1最终影像帧移动或变换。
8.根据权利要求8所述的虚拟现实影像播放方法，其特征在于，
所述播放方向数据及所述影像方向数据包括高低角数据及方位角数据，
所述差异值算出步骤是算出所述第2时间点的播放方向数据与所述第1时间点的影像方向数据之间的高低角及方位角差异。
9.根据权利要求7至9中任意一项所述的虚拟现实影像播放方法，其特征在于，
所述播放方向数据及所述影像方向数据包括作为以佩戴者正面方向为轴的旋转角度的倾斜数据，
所述第2替代影像帧生成步骤还包括：以所述第2时间点的播放方向数据与所述第1时间点的影像方向数据之间的所述倾斜数据差异为基础，旋转并补正所述第1最终影像帧的步骤。
10.根据权利要求7至9中任意一项所述的虚拟现实影像播放方法，其特征在于，还包括：
如果未接收与第n时间点相应的最终影像帧，则比较与所述第n-1时间点相应的影像方向数据和与所述第n时间点相应的播放方向数据，并输出差异值的步骤，其中n为大于2的自然数；及
按照所述算出的差异值，补正所述第n-1替代影像帧，生成第n替代影像帧的步骤。
CN201610803452.2A 2015-09-08 2016-09-05 虚拟现实影像传输方法、播放方法及利用此方法的程序 Pending CN106507128A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0127171 2015-09-08
KR1020150127171A KR101716326B1 (ko) 2015-09-08 2015-09-08 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램

Publications (1)

Publication Number Publication Date
CN106507128A true CN106507128A (zh) 2017-03-15

Family

ID=58240264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610803452.2A Pending CN106507128A (zh) 2015-09-08 2016-09-05 虚拟现实影像传输方法、播放方法及利用此方法的程序

Country Status (7)

Country Link
US (1) US10970931B2 (zh)
EP (1) EP3349442A4 (zh)
JP (1) JP6731482B2 (zh)
KR (1) KR101716326B1 (zh)
CN (1) CN106507128A (zh)
TW (1) TWI653551B (zh)
WO (1) WO2017043795A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045896A (zh) * 2018-01-05 2019-07-23 佳能株式会社 电子设备及其控制方法和计算机可读介质
CN111345037A (zh) * 2017-09-29 2020-06-26 科理特株式会社 虚拟现实影像提供方法及利用其的程序
CN111670464A (zh) * 2017-12-01 2020-09-15 科理特株式会社 利用深度数据的增强现实影像提供方法以及程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
KR102421856B1 (ko) 2017-12-20 2022-07-18 삼성전자주식회사 영상의 상호작용 처리 방법 및 장치
CN109298779B (zh) * 2018-08-10 2021-10-12 济南奥维信息科技有限公司济宁分公司 基于虚拟代理交互的虚拟训练系统与方法
KR20220084842A (ko) * 2020-12-14 2022-06-21 삼성전자주식회사 증강 현실 콘텐츠를 디스플레이하는 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076168A (ja) * 1999-09-02 2001-03-23 Ntt Docomo Inc 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示系统、信息显示方法、以及头戴式显示装置
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN104364754A (zh) * 2012-06-12 2015-02-18 索尼公司 信息处理设备、信息处理方法及程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005217536A (ja) * 2004-01-27 2005-08-11 Sony Corp 映像配信システム
US9480919B2 (en) * 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
KR101060998B1 (ko) * 2009-03-26 2011-08-31 서울대학교산학협력단 사용자 위치 기반 네트워킹 가상공간 시뮬레이터 시스템
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
US20130249947A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Communication using augmented reality
TWI490628B (zh) 2011-09-23 2015-07-01 Nat Inst Chung Shan Science & Technology Virtual reality video control method
KR20140010616A (ko) 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
JP2014165841A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 情報処理装置及び情報処理方法
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP6359572B2 (ja) * 2014-02-17 2018-07-18 株式会社ソニー・インタラクティブエンタテインメント 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
GB2523555B (en) * 2014-02-26 2020-03-25 Sony Interactive Entertainment Europe Ltd Image encoding and display
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
US9756375B2 (en) * 2015-01-22 2017-09-05 Microsoft Technology Licensing, Llc Predictive server-side rendering of scenes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076168A (ja) * 1999-09-02 2001-03-23 Ntt Docomo Inc 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN104364754A (zh) * 2012-06-12 2015-02-18 索尼公司 信息处理设备、信息处理方法及程序
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示系统、信息显示方法、以及头戴式显示装置
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAEL ANTONOV: ""Asynchronous timewarp Examined"", 《URL:HTTPS://DEVELOPER3.OCULUS.COM/BLG/ASYNCHRONOUS-TIMEWARP-EXAMINED/》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111345037A (zh) * 2017-09-29 2020-06-26 科理特株式会社 虚拟现实影像提供方法及利用其的程序
US11127208B2 (en) 2017-09-29 2021-09-21 Clicked, Inc. Method for providing virtual reality image and program using same
CN111670464A (zh) * 2017-12-01 2020-09-15 科理特株式会社 利用深度数据的增强现实影像提供方法以及程序
CN111670464B (zh) * 2017-12-01 2024-02-20 科理特株式会社 利用深度数据的增强现实影像提供方法以及程序
CN110045896A (zh) * 2018-01-05 2019-07-23 佳能株式会社 电子设备及其控制方法和计算机可读介质

Also Published As

Publication number Publication date
US10970931B2 (en) 2021-04-06
WO2017043795A1 (ko) 2017-03-16
EP3349442A1 (en) 2018-07-18
TW201729043A (zh) 2017-08-16
KR101716326B1 (ko) 2017-03-14
EP3349442A4 (en) 2018-11-07
JP6731482B2 (ja) 2020-07-29
US20180190036A1 (en) 2018-07-05
JP2018533317A (ja) 2018-11-08
TWI653551B (zh) 2019-03-11

Similar Documents

Publication Publication Date Title
CN106507128A (zh) 虚拟现实影像传输方法、播放方法及利用此方法的程序
US20200132996A1 (en) Rendering device, head-mounted display, image transmission method, and image correction method
WO2017086263A1 (ja) 情報処理装置および画像生成方法
CN102274633B (zh) 图像显示系统、装置以及方法
JP2017162309A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US20180219975A1 (en) Sharing Mediated Reality Content
EP2565848B1 (en) Program, information processing apparatus, information processing system, and information processing method
KR101788545B1 (ko) 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
US11328487B2 (en) Method and program for providing augmented reality image by using depth data
TWI755636B (zh) 虛擬實境影像播放方法及使用其之程式
CN108153417A (zh) 画面补偿方法及采用该方法的头戴式显示装置
JP2018141943A (ja) 画像処理装置、画像処理方法及びプログラム
US11127208B2 (en) Method for providing virtual reality image and program using same
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
JP2018094086A (ja) 情報処理装置および画像生成方法
KR102179810B1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램
JP2024034143A (ja) 情報処理装置および情報処理方法
JP2017162443A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
KR20210012442A (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공을 위한 카메라 트래킹 방법 및 이를 이용한 시스템
JP2011050562A (ja) プログラム、情報記憶媒体、向き決定装置、ゲームシステム及び向き決定方法
JP2011050561A (ja) プログラム、情報記憶媒体、向き決定装置、ゲームシステム及び向き決定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315

RJ01 Rejection of invention patent application after publication