CN107211191B - 主设备、从设备及其控制方法 - Google Patents

主设备、从设备及其控制方法 Download PDF

Info

Publication number
CN107211191B
CN107211191B CN201580075494.2A CN201580075494A CN107211191B CN 107211191 B CN107211191 B CN 107211191B CN 201580075494 A CN201580075494 A CN 201580075494A CN 107211191 B CN107211191 B CN 107211191B
Authority
CN
China
Prior art keywords
image
slave device
motion information
slave
master device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580075494.2A
Other languages
English (en)
Other versions
CN107211191A (zh
Inventor
禹志焕
金度完
俞汉一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107211191A publication Critical patent/CN107211191A/zh
Application granted granted Critical
Publication of CN107211191B publication Critical patent/CN107211191B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • G06F13/105—Program control for peripheral devices where the programme performs an input/output emulation function

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种向提供虚拟现实服务的从设备提供图像的主设备。主设备包括：内容输入部，配置成接收输入的立体图像；通信器，配置成执行与提供虚拟现实服务的从设备的通信；以及处理器，配置成基于自从设备接收的运动信息来确定输入的立体图像中与对应的从设备的运动状态对应的视点区域，并且控制通信器将所识别的视点区域的图像传输至从设备。

Description

主设备、从设备及其控制方法
技术领域
与本公开一致的装置和方法涉及主设备、从设备及其控制方法，更具体地，涉及提供虚拟现实(VR)服务的主设备和从设备及其控制方法。
背景技术
通常，虚拟现实(VR)技术指这样一种技术，该技术根本目的在于通过允许人体的所有感觉(视觉、听觉、嗅觉、味觉和触觉)通过它们之间在通过计算机图形(CG)技术创建的且类似于真实环境的三维(3D)虚拟环境中的相互作用而沉浸于虚拟创建的世界中，以最大化信息的利用，从而以三维的方式向参与者再现虚拟空间并且使人沉浸到虚拟空间中。
例如，当用户穿戴VR头显时，覆盖有白雪的滑雪场出现在他/她的眼前。即使他/她把头转向各个方向，他/她仍在滑雪场的中间。他/她的脚所在的滑雪板开始滑动，然后突然出现悬崖。此时，空的空间出现在脚下。尽管他/她的头脑意识到这是虚拟现实的事实，但由于非常真实，所以他/她感觉好像头显中的虚拟滑雪场是真实的。
如上所述，VR服务向用户提供了新的体验，但针对内容的购买和消费未进行商业上的服务。
发明内容
技术问题
本公开提供了能够基于每个从设备的运动信息向每个从设备提供适当图像的主设备、从设备及其控制方法。
技术方案
根据本公开的方面，向提供虚拟现实服务的从设备提供图像的主设备包括：内容输入部，配置成接收输入的立体图像；通信器，配置成执行与提供虚拟现实服务的从设备的通信；以及处理器，配置成基于自从设备接收的运动信息来识别输入的立体图像中与对应的从设备的运动状态对应的视点区域，并且控制通信器将所识别的视点区域的图像传输至从设备。
处理器可将包括在输入的立体图像中的左眼图像和右眼图像投射到虚拟立体空间中以提供左眼立体空间图像和右眼立体空间图像，获得所提供的左眼立体空间图像和所提供的右眼立体空间图像中与从设备的运动状态对应的视点区域，以及将所获得的视点区域传输至从设备。
处理器可基于自从设备接收的设备显示信息将图像缓冲区的一个区域确立为传输缓冲区，对传输缓冲区中与从设备的运动信息对应的图像进行缓冲，以及将缓冲的图像传输至对应的从设备。
主设备还可包括感测主设备的运动状态的传感器，其中，处理器基于所感测的运动状态来校正自从设备接收的运动信息以提供与从设备对应的相对运动信息，并且基于所提供的相对运动信息来识别与从设备的运动状态对应的视点区域。
处理器可基于当前接收的从设备的运动信息来预测从设备的未来运动信息，并且基于所预测的未来运动信息将输入的立体图像中与从设备的未来运动状态对应的视点区域的图像传输至从设备。
处理器可在自多个从设备接收的运动信息属于预定阈值范围的情况下将所述多个从设备分组成一组，并且将同一视点区域的图像传输至属于同一组的多个从设备。
根据本公开的另一方面，提供虚拟现实服务的从设备包括：通信器，配置成执行与基于输入的立体图像来提供虚拟现实服务的主设备的通信；传感器，配置成感测从设备的运动状态；以及处理器，配置成控制通信器将与所感测的运动状态有关的信息传输至所述主设备，并且从所述主设备接收与所感测的运动状态对应的视点区域的图像并输出所接收的图像。
当从主设备接收到主设备的运动信息时，处理器可基于所接收到的运动信息来校正所感测的运动状态以提供与从设备对应的相对运动信息，并且将所提供的相对运动信息传输至主设备。
当从主设备接收到与基于所传输的信息而预测的未来运动状态对应的视点区域的图像时，处理器可输出所接收到的图像中基于实时运动状态识别的视点区域的图像。
处理器可将从设备的设备信息以及与所感测的运动状态有关的信息传输至主设备，并且基于设备信息从主设备接收与所感测的运动状态对应的视点区域的图像。
根据本公开的又一方面，包括提供虚拟现实服务的主设备和从设备的图像系统，包括：从设备，配置成感测运动状态并将与所感测的运动状态有关的运动信息传输至所述主设备；以及主设备，配置成基于自从设备接收的运动信息来识别输入的立体图像中与对应的从设备的运动状态对应的视点区域并将所识别的视点区域的图像传输至从设备。
根据本公开的再一方面，向提供虚拟现实服务的从设备提供图像的主设备的控制方法，包括：接收输入的立体图像；基于自从设备接收的运动信息确定输入的立体图像中与对应的从设备的运动状态对应的视点区域；以及将所识别的视点区域的图像传输至从设备。
控制方法还可包括：将包括在输入的立体图像中的左眼图像和右眼图像投射到虚拟立体空间中以提供左眼立体空间图像和右眼立体空间图像；以及获得所提供的左眼立体空间图像和所提供的右眼立体空间图像中与从设备的运动状态对应的视点区域。
在将所识别的视点区域的图像传输至从设备时，基于自从设备接收的设备显示信息将图像缓冲区的一个区域确立为传输缓冲区，且在传输缓冲区中对与从设备的运动信息对应的图像进行缓冲，然后将所缓冲的图像传输至对应从设备。
控制方法还可包括感测主设备的运动状态，其中，在确定视点区域时，基于所感测的运动状态来校正自从设备接收的运动信息以提供与从设备对应的相对运动信息，并且基于所提供的相对运动信息来识别与从设备的运动状态对应的视点区域。
控制方法还可包括：基于当前自从设备接收的运动信息来预测从设备的未来运动信息，并且基于预测的未来运动信息来传输输入的立体图像中与从设备的未来运动状态对应的视点区域的图像。
此外，在将所识别的视点区域的图像传输至从设备时，在自多个从设备接收的运动信息属于预定阈值范围的情况中，所多个从设备可分组成一组，并且可将同一视点区域的图像传输至属于同一组的多个从设备。
根据本公开的再一方面，用于提供虚拟现实服务的从设备的控制方法包括：感测从设备的运动状态；基于输入的立体图像将与感测的运动状态有关的信息传输至提供虚拟现实服务的主设备；以及从主设备接收与感测的运动状态对应的视点区域的图像并且输出接收的图像。
在将与所感测的运动状态有关的信息传输至主设备过程中，当从主设备接收到主设备的运动信息时，可基于所接收的运动信息来校正所感测的运动状态以提供与从设备对应的相对运动信息，并且所提供的相对运动信息可被传输到主设备。
控制方法还可包括当接收到与未来运动状态对应的视点区域的图像时，输出与基于从主设备传输的运动信息而预测的未来运动状态对应的视点区域的图像中基于实时运动状态而识别的视点区域的图像。有益效果
如上所述，根据本公开的不同示例性实施方式，多个用户可分别接收能够提供最优沉浸感的适当图像，同时彼此分享一个内容。
附图说明
图1为示出根据本公开示例性实施方式的用户终端装置的实施例的视图。
图2A和图2B为用于描述根据本公开不同示例性实施方式的场景的视图。
图3A到图3C为示出根据本公开示例性实施方式的主设备的组件的框图。
图4为示出根据本公开示例性实施方式的从设备的组件的框图。
图5为根据本公开示例性实施方式用于详细描述主设备与从设备之间操作的顺序图。
图6A和图6B为根据本公开示例性实施方式用于详细描述运动信息校正方法的视图。
图7为根据本公开示例性实施方式用于详细描述基于运动信息的图像分割方法的视图。
图8为根据本公开示例性实施方式用于描述生成和输出全景虚拟现实(VR)内容的方法的视图。
图9为根据本公开示例性实施方式用于描述主设备的控制方法的流程图。
图10为根据本公开示例性实施方式用于描述从设备的控制方法的流程图。
具体实施方式
图1为示出根据本公开示例性实施方式的用户终端装置的实施例的视图。
如图1所示，根据本公开示例性实施方式的主虚拟现实(VR)设备100以及从设备200-1、200-2和200-3可实施为提供虚拟现实服务的头部可穿戴终端(即头显)的形式。
详细地，主VR设备100以及从设备200-1、200-2和200-3可实施为跟踪用户头部的移动以立即更新视场图像，并且可实施为提供三维(3D)图像和三维(2D)图像。例如，当用户佩戴头显时，VR设备完全支配用户的视场以提供立体图像和360°的声音，并且VR设备的陀螺仪传感器、加速度传感器等可实施为感测用户上下或左右移动他们的头部以提供适合于头部的移动方向的视觉效果。在广义上，VR可以为包括用屏幕且在屏幕上使信息重叠并且三维地显示信息的增强现实(AR)的概念。
此外，由于智能电话连接至主VR设备100以及从设备200-1、200-2和200-3且用作显示器并且因此智能电话的处理器或电池按照其本来的样子使用，所以主VR设备100以及从设备200-1、200-2和200-3可实施为它们完全无线地使用的形式。然而，VR设备不必限制于此，而是还可通过与显示器成一体的VR设备实现。
此外，主VR设备100以及从设备200-1、200-2和200-3的头显主体可安装有操作跟踪板、返回按钮、音量调节键等，且主VR设备100以及从设备200-1、200-2和200-3可实施使得眼前的图像利用智能电话后表面的摄像头投射到屏幕上。此外，主VR设备100以及从设备200-1、200-2和200-3可实施为使用嵌入在智能电话中的陀螺仪传感器和加速度传感器以及头显主体的传感器来跟踪移动。
同时，根据本公开的示例性实施方式，主VR设备100(在下文中，被称为主设备)可执行与从设备200-1、200-2和200-3(在下文中，被称为从设备)的通信以将输入的内容流传输到从设备200-1、200-2和200-3。在下文中，将参照附图详细描述本公开。
图2A和图2B为用于描述根据本公开不同示例性实施方式的场景的视图。
图2A中所示的根据本公开示例性实施方式的场景可以为仅主设备100对内容具有访问权限并且从设备200-1、200-2和200-3接收从主设备100流传输的内容的形式。在这样的情况下，主设备100可购买付费内容，决定是否授权从设备200-1、200-2和200-3的访问，然后与从设备200-1、200-2和200-3分享所购买的内容。详细地，其访问被授权的从设备200-1、200-2和200-3可将它们的运动信息传输至主设备100，且主设备100可基于从设备200-1、200-2和200-3中的每个的运动信息传输与从设备200-1、200-2和200-3对应的子内容。
图2B中所示的根据另一示例性实施方式的场景可以为当佩戴主设备100的用户游览著名博物馆、历史遗迹等时，他/她接收虚拟游览向导并将获得的虚拟游览向导提供至从设备200-1、200-2和200-3。在这样的情况下，位于长距离处的从设备200-1、200-2和200-3的用户可接收与主设备100的用户相同的游览体验。
在下文中，将描述实施以上所述的不同场景的本公开的不同示例性实施方式。
图3A至图3C为示出根据本公开示例性实施方式的主设备的组件的框图。
如图3A所示，根据本公开示例性实施方式的主设备100包括图像输入部110、通信器120和处理器130。这里，主设备100提供虚拟现实服务，并且用来向提供虚拟现实服务的从设备提供VR图像。
图像输入部110接收输入图像。这里，输入图像可以为包括用于提供VR服务的左眼图像和右眼图像的3D图像，但不限于此。也就是，输入图像可以为全景VR内容、普通2D图像等。例如，在通过图像输入部110接收到包括左眼图像和右眼图像的3D图像的情况下，将在下文描述的处理器130可基于所接收到的3D图像提供全景VR图像。然而，在一些情况下，可利用预先存储在主设备100本身中的内容提供全景VR图像或者全景VR图像本身可以被预存储。
通信器120执行与从设备200-1、200-2和200-3的通信。这里，通信器120可通过诸如蓝牙(BT)方式、无线保真(WI-FI)方式、无线个域网方式、红外(IR)方式、串行接口方式、通用串行总线(USB)方式、近场通信(NFC)方式等的多种通信方式执行与从设备200-1、200-2和200-3或外部服务器(未示出)的通信。例如，通信器120可通过流传输或下载的方式从外部服务器接收的3D图像内容。
详细地，当预定事件发生时，通信器120可根据预定通信方式执行与从设备200-1、200-2和200-3的通信以成为交互工作状态。这里，交互工作状态可意指通信的所有可能状态，例如使主设备100与从设备200-1、200-2和200-3之间的通信初始化的操作、形成网络的操作、执行设备配对的操作等。例如，可将从设备200-1、200-2和200-3的设备识别信息提供到主设备100，并且相应地可执行从设备200-1、200-2和200-3与主设备100之间的配对过程。例如，当在主设备100或从设备200-1、200-2和200-3中发生预定事件时，通信器120可通过数字生活网络联盟(DLNA)技术搜索外围设备，并执行与搜索到的设备的配对以成为交互工作状态。
处理器130控制主设备100的总体操作。
具体地，处理器130可基于自从设备200-1、200-2和200-3接收的运动信息识来别输入的3D图像中与相应的从设备200-1、200-2和200-3的运动状态对应的视点(或方向)区域。然后，处理器130可控制通信器120将所识别的视点区域的图像传输至从设备200-1、200-2和200-3。这里，运动信息可以为与从设备200-1、200-2和200-3的所有方向有关的实时方向信息、角度信息等，但不限于此。也就是，运动信息可包括移动速度信息、旋转信息等。此外，在自从设备200-1、200-2和200-3接收初始方向信息和角度信息后，可以接收基于先前接收到的方向和角度信息的移动方向和角度信息。然而，本公开不限于此。
在这样的情况下，处理器130可基于自从设备200-1、200-2和200-3接收的设备信息(例如，设备ID)将与从设备200-1、200-2和200-3对应的图像传输至相应的从设备200-1、200-2和200-3。此外，处理器130可基于自从设备200-1、200-2和200-3接收到的设备显示信息将图像缓冲区的一个区域确立为传输缓冲区，对传输缓冲区中的与从设备的运动信息对应的图像进行缓冲，并将所缓冲的图像传输至对应的从设备200-1、200-2和200-3。在这样的情况下，处理器130可分别确立与从设备200-1、200-2和200-3中的每个对应的传输缓冲区。
在这样的情况下，处理器130可：将包括在输入的立体图像中的左眼图像和右眼图像投射到虚拟立体空间中以提供左眼立体空间图像和右眼立体空间图像；在所提供的左眼立体空间图像和右眼立体空间图像中获得与从设备200-1、200-2和200-3中的每个的运动状态对应的视点区域；以及将获得的视点区域传输至相应的从设备200-1、200-2和200-3。
处理器130可：将输入的图像解压缩(或解码)；将解压缩(或解码)的图像存储在图像缓冲区中；从存储在图像缓冲区中的图像获得与从设备200-1、200-2和200-3的运动信息对应的图像；压缩(或编码)所获得的图像；然后将所压缩(或所编码)的图像传输到从设备200-1、200-2和200-3。
可选地，处理器130可：获得与从设备200-1、200-2和200-3的运动信息对应的区域；解码所获得的区域并且然后将经解码的区域传输至从设备200-1、200-2和200-3或可仅解码与运动信息对应的区域中的除了先前传输的图像之外的边缘区域然后传输经解码的边缘区域。
可选地，处理器130可利用编码解码器将基于从设备200-1、200-2和200-3的运动信息确定的区域的边缘图像以及当前从主设备100输出的经解码的主图像作为低图像质量图像或经编码的图像传输至从设备200-1、200-2和200-3。这里，边缘图像可以为基于从设备200-1、200-2和200-3的运动信息确定的区域中除了经解码的主图像之外的图像。在这样的情况下，从设备200-1、200-2和200-3可解码所接收到的边缘图像、将经解码的边缘图像与接收到的主图像进行合成，并且然后输出所合成的图像，从而最小化由于图像传输产生的延迟。
此外，处理器130可基于当前接收到的从设备200-1、200-2和200-3的运动信息预测从设备200-1、200-2和200-3的未来运动信息，并且基于所预测的运动信息将输入图像中的与从设备200-1、200-2和200-3的未来运动状态对应的视点区域的图像传输至从设备200-1、200-2和200-3。例如，处理器130可利用滤波方法(例如现有的卡尔曼滤波器)跟踪并预测从设备200-1、200-2和200-3的未来运动状态。
此外，在从多个从设备接收到的运动信息属于预定阈值范围的情况下，处理器130可将多个从设备分组到一个组，并将同一视点区域的图像传输至属于同一组的多个从设备。例如，处理器130可将在右侧方向上的具有10°到15°之间的运动信息的第一从设备和第二从设备分组到一组，并将与相应运动信息对应的同一视点区域的图像传输至第一从设备和第二从设备。
图3B为示出图3A中所示的主设备的详细组件的框图。如图3B中所示，主设备100’包括图像输入部110、通信器120、处理器130、传感器140、图像处理器150、显示器160和存储器170。将省略对图3B中所示的组件之中与图3A中所示组件重叠的组件的详细描述。
传感器140感测主设备100’的运动状态。
详细地，传感器140包括用于感测运动状态的磁传感器、陀螺仪传感器、加速度传感器等。磁传感器为主设备100’的用于感测旋转状态、移动方向等的传感器。陀螺仪传感器为用于感测主设备100’的旋转角度的传感器。传感器140可包括磁传感器和陀螺仪传感器两者。然而，即使传感器仅包括磁传感器和陀螺仪传感器之一，主设备100’的旋转状态也可被感测。加速度传感器为用于感测主设备100’的倾斜水平的传感器。
此外，传感器140还可包括用于通过附接至设备的触摸板感测触摸或悬停操作的触摸传感器、接近传感器等。
在这样的情况下，处理器130可基于传感器140中感测到的运动状态校正自从设备接收到的运动信息以提供与从设备对应的相对运动信息，并且可基于所提供的相对运动信息识别与从设备的运动状态对应的视点区域。然而，这只是示例，且在一些情况下，处理器130还可将与感测到的运动状态对应的运动信息传输到从设备并自从设备接收经校正的相对运动信息。也就是，可以在主设备100’和从设备中的任一者中执行校正过程。这里，例如，在主设备100’的方向信息为在右侧方向上的10°且从设备的方向信息为在右侧方向中的13°的情况下，基于主设备100’的方向信息，从设备的相对运动信息可以为在右侧方向中的3°。
图像处理器150可用来渲染与传感器140中感测到的运动状态对应的图像并将所渲染的图像提供至显示器160。
显示器160显示通过图像处理器150渲染的图像。在这样的情况下，显示器160可以通过液晶显示(LCD)面板、有机发光二极管(OLED)等实现，但不限于此。此外，在一些情况下，显示器160还可通过柔性显示器、透明显示器等实现。同时，在智能电话连接至主设备100’并用作如参照图1描述的显示屏的情况下，显示器160可通过智能电话的显示器来实现。
在本文中，存储器170在其中存储各种数据(例如用于驱动主设备100’的操作系统(O/S)软件模块)、各种多媒体内容等。
具体地，参照图3C，诸如感测模块171、图像获取模块172、运动预测模块173、组管理模块174等程序可存储在存储器170中。
感测模块171为从各种传感器采集信息并分析和管理所采集的信息的模块。例如，感测模块171可包括运动识别模块、触摸识别模块、和音频识别模块等。
图像获取模块172用于确定并获得与通过感测模块171采集/分析的运动信息或自从设备接收的运动信息对应的图像。
运动预测模块173用于基于当前接收到的从设备的运动信息预测从设备的未来运动信息以提供预测运动信息。
组管理模块174用于在自多个从设备接收到的运动信息属于预定阈值范围的情况下将多个从设备分组并管理成一组。
同时，可由存储在存储器170中的程序执行上文描述的处理器130的操作。
详细地，处理器130包括随机存取存储器(RAM)131、只读存储器(ROM)132、主中央处理单元(CPU)133、图形处理器134、第一到第n接口135-1至135-n和总线136。
RAM 131、ROM 132、主CPU 133、图形处理器134、第一到第n接口135-1至135-n等可通过总线136连接至彼此。
第一到第n接口135-1至135-n连接至上文所述的各种组件。接口中的一个可以为通过网络连接至外部装置的网络接口。
主CPU 133访问存储器170以使用存储在存储器170中的O/S执行启动。此外，主CPU133使用存储在存储器170中的各种程序、内容、数据等执行各种操作。例如，主CPU 133可使用感测模块171来采集/分析运动信息，并使用图像获取模块172来确定和获得与所分析的运动信息或自从设备接收的运动信息对应的图像。
用于启动系统的指令集等存储在ROM 132中。当输入开启命令以向主CPU 133供应电力时，主CPU 133根据存储在ROM 132中的指令将存储在存储器170中的操作系统(O/S)复制到RAM 131，并执行O/S以启动系统。当启动完成时，主CPU 133将存储在存储器170中的各种应用程序复制到RAM 131，并执行复制到RAM 131的应用程序以执行各种操作。
图形处理器134利用计算器(未示出)和渲染器(未示出)渲染包括诸如图标、图像、文本等各种对象的屏幕。计算器(未示出)基于所接收的控制命令根据屏幕布局计算相应对象的诸如将显示相应对象的位置的坐标值、形式、尺寸、颜色等属性值。渲染器(未示出)基于计算器(未示出)中计算的属性值渲染包括对象的各种布局的屏幕。
图4为根据本公开示例性实施方式的从设备的组件的框图。
如图4所示，根据本公开示例性实施方式的从设备200包括通信器210、传感器220和处理器230。这里，从设备200用于从主设备100接收VR内容并提供虚拟现实服务。同时，由于从设备200的基本结构和操作与参照图3A至图3C描述的主设备100的基本结构和操作相同，因此将仅描述从设备200的独有操作。
通信器210执行与主设备100的通信。例如，通信器210可从主设备100以流传输的形式接收与从设备200的运动状态对应的3D图像。
传感器220感测从设备200的运动状态。
处理器230控制通信器210以将与由传感器220感测的运动状态有关的信息传输至主设备100，并从主设备100接收与感测的运动状态对应的视点区域的图像并通过显示器输出图像。
详细地，当从主设备100接收到主设备100的运动信息时，处理器230可基于接收到的运动信息校正由传感器220感测的运动状态以提供与从设备200对应的相对运动信息，并将所提供的相对运动信息传输至主设备100。
此外，当从主设备100接收到与预测的未来运动状态对应的视点区域的图像时，处理器230可输出所接收到的图像中的基于实时运动状态而识别的视点区域的图像。
此外，当从设备200接收当前经由主设备100提供的经解码的主图像和基于从设备200的运动信息确定的区域的边缘图像作为低图像质量图像或经编码的图像的时，处理器230可对接收到的边缘图像解码、将经解码的图像与所接收到的主图像进行合成、然后输出经合成的图像。
此外，处理器230可向主设备100传输从设备200的设备信息(例如设备ID)，并从主设备100接收与运动状态对应的视点区域的图像。
此外，处理器230可向主设备100传输从设备200的设备显示信息(例如，分辨率信息)，并从主设备100接收与分辨率信息对应的图像。
同时，由于从设备200的详细组件与图3B中所示的主设备100’的详细组件类似，因此将省略对其详细描述。
图5为详细描述根据本公开示例性实施方式的主设备与从设备之间操作的顺序图。
如图5的顺序图所示，从设备200可搜索外围主设备100(S511)，然后执行对外围主设备100的访问请求(S512)。在这样的情况下，从设备200可将其设备ID传输到主设备100。
随后，主设备100确认自从设备200接收到的设备ID(S513)，并输出设备ID以请求用户确认设备ID(S514)。
当用户许可从设备200的访问时(S515:Y)，主设备100可请求从设备200传输从设备200的信息(S517)。然而，当用户未许可从设备200的访问时(S515：N)，主设备100可通知从设备200拒绝访问(S516)。
同时，从自主设备100接收信息请求的从设备200确认其设备信息(S518)，然后将设备显示信息(例如，分辨率信息)传输至主设备100(S519)。
随后，主设备100确立初始图像待基于所接收到的显示信息而传输的图像缓冲区(S520)。例如，主设备100可确立与所接收的从设备200的分辨率信息对应的缓冲区域。
随后，主设备100确认其运动信息(S521)，并将运动信息传输至从设备200(S522)。
在这样的情况下，从设备200基于从主设备100接收到的运动信息校正自身的运动信息(S523)。
同时，主设备确定内容再现是否结束(S524)，并在内容再现结束的情况下(S524:Y)通知从设备200传输结束(S525)，并且在内容再现继续的情况下(S524：N)请求从设备200传输运动信息(S526)。
在这样的情况下，从设备200基于运动信息校正结果提供实时运动信息，并将实时运动信息传输至主设备100(S528)。
主设备100基于自从设备200传输的运动信息分组并管理多个从设备(S529)。
此外，主设备100跟踪从设备200的运动信息以预测未来运动信息(S530)，然后更新用于传输的缓冲区。
随后，主设备100将用于传输的缓冲区的图像传输至从设备200，且从设备200基于S527中提供的实时运动信息将接收到的图像分割(S533)，并渲染所分割的图像(S534)。
图6A和图6B为用于详细描述根据本公开示例性实施方式的运动信息校正方法的视图。
在图6A和图6B中，将描述从设备接收主设备的运动信息并基于主设备的运动信息校正从设备的运动信息的方法。然而，在一些情况下，主设备可接收从设备的运动信息并基于主设备的运动信息来校正从设备的运动信息。
图6A示出了在从设备200中使主设备100的用户的视场和从设备200的用户的视场互相对准的功能关闭的情况，其中图6A示出了根据本公开示例性实施方式示出视场对准功能关闭的情况。
在视场对准功能关闭的情况中，当从设备200最初访问主设备100时，可基于从设备200自身的运动信息执行运动校正。在这样的情况下，从设备200可在最初访问主设备100的同时接收视点与提供至主设备的图像的视点不同的图像。
图6B示出了在从设备200中使主设备100的用户的视场和从设备200的用户的视场相互对准功能开启的情况，其中图6B示出根据本公开另一示例性实施方式视场对准功能开启的情况。
在视场对准功能打开的情况中，当从设备200最初访问主设备100时，可在从设备200的视场与主设备100的视场对准之后计算运动信息。例如，可以通过θslave＝θslave+(θmaster-θslave)计算从设备200的校正运动信息。在这样的情况下，从设备200可在最初访问主设备100的同时接收视点与提供至主设备100的图像的视点相同的图像。
图7为详细描述根据本公开示例性实施方式的基于运动信息的图像分割方法的视图。
图7示出从主设备100传输至从设备200的图像710，且主设备100可基于从设备200的运动信息将包括额外邻近图像和根据基于运动的参考位置711计算的图像712的图像710传输至从设备200。
在这样的情况下，从设备200可根据基于运动的参考位置711来分割接收到的图像710以渲染所分割的图像712并输出渲染的图像。
图8为根据本公开示例性实施方式描述用于生成和输出全景VR内容的视图。
如图8中所示，当从外部源输入3D图像时，主设备100将3D图像分离成左图像和右图像(810)，然后将左图像和右图像投射到虚拟立体环形空间中以提供左眼立体图像和右眼立体图像(820)。在这样的情况下，提供的立体图像可以为全景VR图像，且主设备100可利用诸如现有的基于三维的替身、对象、情景、基于实际图像的全景VR、照片对象VR等各种VR方法来提供全景VR图像。
然而，在接收到左眼图像和右眼图像彼此分离的立体图像的情况下，主设备100可按照原样使用相应的左图像和右图像，或可基于根据2D到3D转换方法的2D图像来提供3D图像，但将省略其详细描述。
随后，主设备100可通过虚拟摄像头引擎830选择理想的视点图像并输出所选择的视点图像分别作为左图像和右图像(840)以提供3D VR图像。
同时，在运动改变的情况下，主设备100可分析运动信息(850)，基于分析的运动信息调整虚拟摄像头的方向(860)，并通过虚拟摄像头引擎830获得与相应运动信息对应的视点区域的左图像和右图像，然后输出所获得的左图像和右图像(840)。也就是，在假设环形立体空间中存在虚拟摄像头的情况下，主设备100可将虚拟摄像头的方向调整成与主设备100的运动对应的方向，获得映射到环形立体空间中的图像中的由方向已经调节的虚拟摄像头所捕获的图像，并输出获得的图像。
此外，在主设备100将图像流传输到从设备200的情况中，主设备100可基于自从设备200接收到的运动信息调整虚拟摄像头的方向(860)，并通过虚拟摄像头引擎830获得与相应运动信息对应的视点区域的左图像和右图像，并将获得的左图像和右图像传输到从设备200。
随后，主设备100可通过虚拟摄像头引擎选择理想的视点图像并提供所选择的视点图像分别作为左图像和右图像以提供3D VR图像。
同时，当从设备200接收与来自主设备100的运动信息对应的3D图像时，从设备200可以以与主设备100相同的方式来处理接收到的3D图像并提供经处理的3D图像。
图9为描述根据本公开示例性实施方式的主设备的控制方法的流程图。
按照根据本公开示例性实施方式向提供虚拟现实服务的从设备提供图像的主设备的控制方法，当首先输入立体图像(S910)时，基于自从设备接收到的运动信息识别输入图像中与对应从设备的运动状态对应的视点区域(S920)。然后，将识别的视点区域的图像传输到从设备(S930)。
此外，主设备的控制方法还可包括：将包括在输入立体图像中的右眼图像和左眼图像投射到虚拟立体空间中以提供左眼立体空间图像和右眼立体空间图像；以及获得所提供的左眼立体空间图像和右眼立体空间图像中的与从设备的运动状态对应的视点区域。
此外，在将所识别的视点区域的图像传输至从设备的S930中，可基于自从设备接收的设备显示信息将图像缓冲区的一个区域确立为传输缓冲区，并且可在传输缓冲区中缓冲与从设备的运动信息对应的图像然后传输到对应的从设备。
此外，主设备的控制方法还可包括感测主设备的运动状态，其中在识别视点区域的S920中，可基于感测的运动状态来校正自从设备接收的运动信息以提供与从设备对应的相对运动信息并且可以基于提供的相对运动信息识别与从设备的运动状态对应的视点区域。
此外，主设备的控制方法还可包括基于当前接收到的从设备的运动信息预测从设备的未来运动信息并基于预测的运动信息将输入的立体图像中的与从设备的未来运动信息对应的视点区域的图像传输至从设备。
此外，在将所识别的视点区域的图像传输至从设备的S930中，在自多个从设备接收的运动信息属于预定阈值范围的情况下，可将所述多个从设备分成一组，并且可将相同视点区域的图像传输至属于同一组的多个从设备。
图10为根据本公开示例性实施方式用于描述从设备的控制方法的流程图。
依照图10中所示的根据本公开示例性实施方式的用于提供虚拟现实服务的从设备的控制方法，首先感测从设备的运动状态(S1010)。
随后，将与所感测的运动状态有关的信息传输至基于输入的立体图像来提供虚拟现实服务的主设备(S1020)。
随后，从主设备接收与所感测的运动状态对应的视点区域的图像，然后输出所接收的图像(S1030)。
此外，在将与所感测到的运动状态有关的信息传输至主设备的S1020中，当从主设备接收到主设备的运动信息时，可基于所接收到的运动信息校正所感测到的运动状态以提供与从设备对应的相对运动信息，并且可以将所提供的相对运动信息传输至主设备。
此外，从设备的控制方法还可包括：当接收到与基于自主设备传输的运动信息预测的未来运动状态对应的视点区域的图像时，输出所接到到的图像中基于实时运动状态而识别的视点区域的图像。
如上所述，根据本公开不同示例性实施方式，多个用户可接收分别能够提供最佳沉浸感的适当图像，同时互相共享一个内容。
同时，根据上文所述的不同示例性实施方式的方法可被编程并存储在各种存储介质中。因此，根据上文所述的不同示例性实施方式的方法可实现为执行存储介质的多种电子装置。
详细地，根据本公开的示例性实施方式，可提供非暂时性计算机可读介质，该非暂时性计算机可读介质中存储有程序，该程序顺序执行：基于自从设备中接收的运动信息确定输入图像中与对应从设备的运动状态对应的视点区域；以及从输入图像获得所识别的视点区域的图像。
非暂时性计算机可读介质不是诸如寄存器、缓存、存储器等将数据存储一段时间的介质，而是意指半永久地将数据存储在其中并且可由设备读取的介质。详细地，上文所述的各种应用或程序可存储并设置在诸如高密度磁盘(CD)、数字通用光盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等非暂时性计算机可读介质。
此外，虽然在上文已示出并描述本公开的示例性实施方式，但是本公开不限于上文提到的具体示例性实施方式，而是，在不背离所附权利要求中公开的本公开的范围和精神的情况下，本公开可由本公开所属领域的技术人员进行各种修改。这些修改也应理解为落入本公开的范围内。

Claims (10)

1.一种向提供虚拟现实服务的从设备提供图像的主设备，包括：
内容输入部；
通信器；
传感器，感测所述主设备的运动状态；以及
处理器，配置成：基于自所对应的从设备接收的运动信息来识别由所述内容输入部接收的输入的立体图像中与所述从设备的运动状态对应的视点区域，以及控制所述通信器将所识别的视点区域的图像传输至所述从设备，
其中，所述处理器进一步配置成：获得左眼立体空间图像和右眼立体空间图像的视点区域，所述左眼立体空间图像和所述右眼立体空间图像的视点区域通过将包括在所述输入的立体图像中的左眼图像和右眼图像投射到虚拟立体空间中而获得，
其中，所述处理器基于所感测的运动状态来校正自所述从设备接收的运动信息以提供与所述从设备对应的相对运动信息，以及基于所提供的相对运动信息来识别与所述从设备的运动状态对应的视点区域。
2.如权利要求1所述的主设备，其中，所述处理器基于自所述从设备接收的设备显示信息将图像缓冲区的一个区域确立为传输缓冲区，在所述传输缓冲区中对与所述从设备的所述运动信息对应的图像进行缓冲，以及将所缓冲的图像传输至所对应的从设备。
3.如权利要求1所述的主设备，其中，所述处理器基于当前接收的所述从设备的运动信息来预测所述从设备的未来运动信息，并且基于所预测的未来运动信息将所述输入的立体图像中与所述从设备的未来运动状态对应的视点区域的图像传输至所述从设备。
4.如权利要求1所述的主设备，其中，在自多个所述从设备接收的运动信息属于预定阈值范围的情况下，所述处理器将所述多个从设备分组成一组，以及将同一视点区域的图像传输至属于同一组的所述多个从设备。
5.一种提供虚拟现实服务的从设备，包括：
通信器，配置成执行与基于输入的立体图像来提供虚拟现实服务的主设备的通信；
传感器，配置成感测所述从设备的运动状态；以及
处理器，配置成：控制所述通信器将与所感测的运动状态有关的信息传输至所述主设备，以及从所述主设备接收与所感测的运动状态对应的视点区域的图像并且输出所接收的图像，
其中，当从所述主设备接收到所述主设备的运动信息时，所述处理器基于所接收到的运动信息来校正所感测的运动状态以提供与所述从设备对应的相对运动信息，并且将所提供的相对运动信息传输至所述主设备。
6.如权利要求5所述的从设备，其中，当从所述主设备接收到与基于所传输的信息而预测的未来运动状态对应的视点区域的图像时，所述处理器输出所接收到的图像中基于实时运动状态而识别的视点区域的图像。
7.如权利要求5所述的从设备，其中，所述处理器将所述从设备的设备信息以及与所感测的运动状态有关的信息传输至所述主设备，并且基于所述设备信息从所述主设备接收与所感测的运动状态对应的视点区域的图像。
8.一种包括提供虚拟现实服务的主设备和从设备的图像系统，包括：
所述从设备，配置成感测所述从设备的运动状态并且将与所感测的运动状态有关的运动信息传输至所述主设备；以及
所述主设备，配置成基于自所述从设备接收的所述运动信息来识别输入的立体图像中与所对应的从设备的运动状态对应的视点区域并将所识别的视点区域的图像传输至所述从设备，其中，所述主设备进一步配置成：获得左眼立体空间图像和右眼立体空间图像的视点区域，所述左眼立体空间图像和所述右眼立体空间图像的视点区域通过将包括在所述输入的立体图像中的左眼图像和右眼图像投射到虚拟立体空间中而获得，
其中，所述主设备进一步配置成：感测所述主设备的运动状态，并且基于所感测的运动状态来校正自所述从设备接收的运动信息以提供与所述从设备对应的相对运动信息，以及基于所提供的相对运动信息来识别与所述从设备的运动状态对应的视点区域。
9.一种主设备的控制方法，所述主设备向提供虚拟现实服务的从设备提供图像，所述方法包括：
接收输入的立体图像；
基于自所述从设备接收的运动信息来识别所述输入的立体图像中与所对应的从设备的运动状态对应的视点区域；以及
将所识别的视点区域的图像传输至所述从设备，
其中，识别所述视点区域包括：获得左眼立体空间图像和右眼立体空间图像的视点区域，所述左眼立体空间图像和所述右眼立体空间图像的视点区域通过将包括在所述输入的立体图像中的左眼图像和右眼图像投射到虚拟立体空间中而获得，
其中，所述方法还包括：感测所述主设备的运动状态，
其中，在识别所述视点区域时，基于所感测的运动状态来校正自所述从设备接收的运动信息以提供与所述从设备对应的相对运动信息，并且基于所提供的相对运动信息来识别与所述从设备的运动状态对应的视点区域。
10.如权利要求9所述的控制方法，其中，在将所识别的视点区域的图像传输至所述从设备时，基于自所述从设备接收的设备显示信息来将图像缓冲区的一个区域确立为传输缓冲区，并且在所述传输缓冲区中对与所述从设备的所述运动信息对应的图像进行缓冲，然后将所缓冲的图像传输至所对应的从设备。
CN201580075494.2A 2015-01-07 2015-12-03 主设备、从设备及其控制方法 Expired - Fee Related CN107211191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0001789 2015-01-07
KR1020150001789A KR102144515B1 (ko) 2015-01-07 2015-01-07 마스터 기기, 슬레이브 기기 및 그 제어 방법
PCT/KR2015/013129 WO2016111470A1 (ko) 2015-01-07 2015-12-03 마스터 기기, 슬레이브 기기 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN107211191A CN107211191A (zh) 2017-09-26
CN107211191B true CN107211191B (zh) 2020-08-28

Family

ID=56356126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580075494.2A Expired - Fee Related CN107211191B (zh) 2015-01-07 2015-12-03 主设备、从设备及其控制方法

Country Status (5)

Country Link
US (1) US10437055B2 (zh)
EP (1) EP3229482B1 (zh)
KR (1) KR102144515B1 (zh)
CN (1) CN107211191B (zh)
WO (1) WO2016111470A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10976982B2 (en) 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
KR102094750B1 (ko) * 2018-07-26 2020-03-30 (주)소프트젠 Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법
IT202100003686A1 (it) * 2021-02-17 2022-08-17 H Farm Education S R L Apparecchiatura di realtà virtuale condivisa e relativo metodo
CN117121473A (zh) * 2021-04-16 2023-11-24 松下知识产权经营株式会社 影像显示系统、信息处理装置、信息处理方法及程序
KR102404623B1 (ko) * 2021-10-07 2022-06-02 주식회사 벤타브이알 다수 사용자 동시 교육이 가능한 vr영상 관리 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731725A (zh) * 2012-10-15 2014-04-16 尹长久 一种电子辅助显示传输系统解决方案
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070062703A (ko) * 2005-12-13 2007-06-18 권영대 입체 영상을 이용한 가상현실 구현장치 및 방법
JP2010217719A (ja) 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム
JP5198515B2 (ja) * 2010-07-29 2013-05-15 京セラドキュメントソリューションズ株式会社 画像形成装置
US20120041599A1 (en) 2010-08-11 2012-02-16 Townsend William T Teleoperator system with master controller device and multiple remote slave devices
KR101284348B1 (ko) 2010-10-14 2013-07-08 심혁훈 상호작용을 통한 증강현실 구현 시스템 및 운영방법
KR20120044461A (ko) 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
KR101329935B1 (ko) 2011-01-27 2013-11-14 주식회사 팬택 이종 마커를 이용해서 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
US20170352188A1 (en) * 2011-03-24 2017-12-07 Pantomime Corporation Support Based 3D Navigation
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
JP5708261B2 (ja) 2011-05-31 2015-04-30 ブラザー工業株式会社 ヘッドマウントディスプレイ連携装置、及びヘッドマウントディスプレイの連携プログラム
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
KR20140025930A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
JP6126820B2 (ja) * 2012-11-09 2017-05-10 任天堂株式会社 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
KR20140128579A (ko) * 2013-04-29 2014-11-06 에스케이플래닛 주식회사 단말기의 영상데이터 전송 방법 및 이를 위한 장치
KR20140139840A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法
CN103731725A (zh) * 2012-10-15 2014-04-16 尹长久 一种电子辅助显示传输系统解决方案

Also Published As

Publication number Publication date
EP3229482A4 (en) 2018-03-07
KR102144515B1 (ko) 2020-08-14
WO2016111470A1 (ko) 2016-07-14
US10437055B2 (en) 2019-10-08
CN107211191A (zh) 2017-09-26
KR20160084991A (ko) 2016-07-15
EP3229482A1 (en) 2017-10-11
EP3229482B1 (en) 2020-07-22
US20180003969A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN107211191B (zh) 主设备、从设备及其控制方法
US11024083B2 (en) Server, user terminal device, and control method therefor
CN109564466B (zh) 用于在虚拟现实系统中减小运动光子时延和存储器带宽的系统和方法
CN105915990B (zh) 一种虚拟现实头盔及其使用方法
KR102349716B1 (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
US20160261841A1 (en) Method and device for synthesizing three-dimensional background content
CN109845275B (zh) 用于视场虚拟现实流传输的会话控制支持的方法和装置
US10999412B2 (en) Sharing mediated reality content
JP6751205B2 (ja) ディスプレイ装置及びその制御方法
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
KR20170087292A (ko) Hmd 디바이스 및 그 제어 방법
KR102437276B1 (ko) 바디 움직임 기반의 클라우드 vr 장치 및 방법
US10506211B2 (en) Recording medium, image generation apparatus, and image generation method
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
US11483569B1 (en) Device with dynamic transcode throttling
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
KR102261739B1 (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
CN115150555B (zh) 视频录制方法、装置、设备及介质
JP2019036239A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
CN110825219B (zh) 电子设备、电子设备的控制方法和电子系统
CN111344776A (zh) 信息处理装置、信息处理方法和程序
US11902534B2 (en) Device with dynamic transcode throttling
US20230185887A1 (en) Controlling Generation of Objects
KR20230012196A (ko) 가상공간과 현실공간 연결 서비스 서버, 사용자 단말 장치 및 그 제어 방법
KR20240054138A (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200828

Termination date: 20211203