CN107548557A - 用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置 - Google Patents

用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置 Download PDF

Info

Publication number
CN107548557A
CN107548557A CN201680023256.1A CN201680023256A CN107548557A CN 107548557 A CN107548557 A CN 107548557A CN 201680023256 A CN201680023256 A CN 201680023256A CN 107548557 A CN107548557 A CN 107548557A
Authority
CN
China
Prior art keywords
view data
information
adaptive
electronic equipment
streaming services
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680023256.1A
Other languages
English (en)
Other versions
CN107548557B (zh
Inventor
李主亨
朴重信
李知彻
林娴娜
李珍盛
李亨镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107548557A publication Critical patent/CN107548557A/zh
Application granted granted Critical
Publication of CN107548557B publication Critical patent/CN107548557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开涉及用于将IoT技术与用于支持比4G系统更高的数据发送速率的5G通信系统进行聚合的通信技术及其系统。本公开可以应用于基于5G通信技术和IoT相关技术的智能服务(例如智能家居、智能建筑、智能城市、智能汽车、连接汽车、医疗保健、数字教育、零售业务、安全和安保相关的服务等)。根据本发明的实施例的由电子设备进行的用于接收用于虚拟现实流传输服务的图像数据的方法包括：其中电子设备基于带宽状态确定是否运行自适应虚拟现实流传输服务的步骤；以及其中如果确定运行自适应虚拟现实流传输服务，则电子设备基于提前收集的头部跟踪信息和带宽信息，从服务器请求和接收用于自适应虚拟现实流传输服务的图像数据的步骤。

Description

用于发送和接收用于虚拟现实流传输服务的图像数据的方法 和装置
技术领域
本公开涉及一种用于提高虚拟现实(VR)流传输服务(streaming service)的质量的方法和装置。
背景技术
为了满足第四代(4G)通信系统商业化以来对无线数据业务的日益增长的需求，已经努力开发改进的第5代(5G)通信系统或5G前通信系统。为此，5G或5G前通信系统被称为超4G或后期演进(LTE)系统。
为了实现高数据速率，正在考虑在毫米波(mmWave)频带(例如，60GHz频带)中部署5G通信系统。对于5G系统，已经讨论了波束成形、大量多输入多输出(MIMO)、全尺寸MIMO(FD-MIMO)、阵列天线、模拟波束形成和大规模天线技术，以便减轻波的路径损耗和传播距离(propagation distance)。
此外，对于系统中的网络改进，诸如演进小区、高级小区、云无线接入网(RAN)、超密集网、设备到设备(D2D)通信、无线回程、移动网络、协作通信、协调多点(CoMP)和干扰消除的技术已经在5G系统中得到发展。
此外，诸如混合FSK和QAM调制(FQAM)和滑动窗口叠加编码(SWSC)的高级编码调制(ACM)技术，以及诸如滤波器组多载波(FBMC)、非正交多址(NOMA)和稀疏码多路访问(SCMA)的高级访问技术已经在5G系统中开发出来。
互联网正在从其中人类生成和消费信息的以人为本(human-oriented)的连接网络发展为其中信息在分布式元素(例如事物)之间发送/接收和处理的物联网(Internet ofthings，IoT)。万物网(Internet of everything，IoE)技术可能是一个例子，其中IoT通过连接到云服务器等与大数据处理相结合。
对于物联网实现，需要诸如传感、有线/无线通信、网络基础设施、服务接口和安全等技术。最近，已经研究了包括用于事物之间的互连的传感器网络、机器对机器(M2M)通信以及机器类型通信(MTC)的技术。
可以在IoT环境中提供通过收集和分析从相互联系的事物生成的数据为人类活动创造新价值的智能互联网技术(IT)服务。物联网可以通过现有的IT技术和各行业的融合在广泛的领域中得到应用，包括智能家居、智能建筑、智能城市、智能汽车或连接车、智能电网、医疗保健、智能家电和最先进的医疗服务。
在这方面，已经有很多尝试将5G系统应用于IoT。例如，诸如传感器网络、IoT和MTC的5G技术通过诸如波束成形、多输入多输出(MIMO)和阵列天线等技术实现。上述云RAN作为大数据处理技术的应用也是5G技术和IoT之间的融合的示例。
随着服务运营商对VR业务的大量投入，预计VR业务将作为主要的下一代服务的延伸。一般来说，VR是指由计算机图形创建的几乎真实的环境或情况。VR提供了人类使用他或她的感觉器官感觉到的，并诱使人类感觉到真正互动的接口。用户可以通过操纵设备与VR进行交互并具有几乎真实的感觉体验。
增强现实(AR)是VR的一个领域，是一种将真实环境与虚拟对象或信息相结合，从而虚拟对象或信息可能被视为真正存在的计算机图形技术。现实世界实时地与附加信息和虚拟世界结合并被视为一个图像，从这个意义上说，AR将虚拟对象重叠到用户观看的真实世界，也被称为混合现实(MR)。
此外，由于移动设备(例如，智能电话和平板电脑(PC))的激增，VR在教育、游戏、导航、广告或博客等各种服务中变得更加流行。随着可穿戴设备最近已经实现商业化，VR已经成为更积极的研究领域。
例如，穿戴式装置以可穿戴和可附着在身体和衣服上的各种形式被提供，例如头戴式、眼镜、手表、乐队、隐形眼镜、戒指和衣服。由于电子设备被配置为在用户身体上作为衣服或眼镜佩戴，所以可穿戴设备可以增加便携性和可访问性。
尽管VR在其早期阶段是非流传输式发送服务，其中VR专用内容全部被下载到VR设备然后被再现，但VR已被开发到其中VR内容通过从服务器流传输被实时接收和再现的服务。
发明内容
技术问题
由于VR内容支持360度全景视图，而不是从常规终端消费(consume)内容的视点，因此VR内容需要比一般视频内容大5倍的大容量带宽。结果，VR流传输服务使用大量的缓冲和大带宽，导致VR流传输中的中断。
本公开的一个方面是基于关于用户的头部跟踪信息，提供为每个视角提供不同质量的方法和装置，以便克服由于需要高容量带宽的VR流传输媒体服务中的带宽短缺引起的中断。
本公开的另一方面是提供用于由提供了VR服务的电子设备根据当前带宽状态自适应地提供VR流传输服务的方法和装置。
技术方案
在本公开的一方面中，一种用于在电子设备中接收用于虚拟现实(VR)流传输服务的图像数据的方法包括：基于带宽状态来确定是否执行自适应VR流传输服务，并且如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息，向服务器请求用于自适应VR流传输服务的图像数据，以及从服务器接收图像数据。
在本公开的另一方面中，一种用于接收用于VR流传输服务的图像数据的装置包括：判定器(decider)，用于基于电子设备中的带宽状态来确定是否执行自适应VR流传输服务，以及运行器，如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息来请求用于自适应VR流传输服务的图像数据。
在本公开的另一方面中，一种用于发送用于VR流传输服务的图像数据的方法包括：从电子设备接收用于自适应VR流传输服务的图像数据请求消息，基于图像数据请求消息构建用于自适应VR流传输服务的图像数据，并发送图像数据。用于自适应VR流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域的、具有对应于等于或高于预定值的分辨率的高质量的数据，所述感兴趣区域基于电子设备的头部跟踪信息和带宽信息，或图像数据的事件信息被确定。
在本公开的另一方面中，一种用于发送用于VR流传输服务的图像数据的装置包括：收发器，用于从电子设备接收用于自适应VR流传输服务的图像数据请求消息，基于图像数据请求消息构建用于自适应VR流传输服务的图像数据，以及发送图像数据。用于自适应VR流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域的具有对应于等于或高于预定值的分辨率的高质量的数据，并且所述感兴趣区域基于电子设备的头部跟踪信息和带宽信息，或图像数据的事件信息被确定。
附图说明
图1是示出根据本公开的实施例的示例性数据分区(data partitioning)的视图。
图2是示出根据本公开的实施例的用于提供自适应虚拟现实(VR)流传输服务的电子设备的配置的视图。
图3是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中仅考虑位置信息的请求具有不同质量的图像的示例的视图。
图4是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中考虑位置信息和加速度信息两者的请求具有不同质量的图像的示例的视图。
图5是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中仅考虑位置信息的选择性地请求图像的示例的视图。
图6是示出根据本公开的实施例的在提供自适应VR流传输服务的方法中考虑位置信息和加速度信息两者的选择性地请求图像的示例的视图。
图7是示出根据本公开的实施例的用于提供自适应VR流传输服务的过程的流程图。
具体实施方式
参照附图描述本公开的各种实施例。然而，本公开的范围不旨在限于特定实施例，并且应当理解，本公开涵盖各种修改、等同物和/或替代。关于附图的描述，相同的附图标记表示相同的部件。
在本公开中，术语“具有”、“可以具有”、“包括”或“可以包括”表明特定特征的存在(例如，数字、功能、操作或诸如部件的组件(component such as part))，不排除存在一个或多个其他特征。
在本公开中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”中可以涵盖列举项目的所有可能的组合。例如，“A或B”、“A和B的至少一个”或“A或B中的至少一个”可以代表(1)包括至少一个A，(2)包含至少一个B，以及(3)包含至少一个A和至少一个B的所有情况。
本公开中使用的术语“第一”或“第二”可以修饰各种组件的名称，不论序列和/或重要性，而不是限制组件。这些表达用于区分一个组件和另一个组件。例如，第一用户设备(UE)和第二UE可以指示不同的UE，而不论序列或重要性。例如，在不脱离本公开的范围的情况下，第一部件可被称为第二部件，反之亦然。
当组件(例如，第一组件)被称为“可操作地或通信地耦合与/到”或“连接到”另一组件(例如，第二组件)时，应当理解，一个组件直接或通过任何其他组件(例如，第三个组件)连接到另一个组件。另一方面，当组件(例如，第一组件)被“直接连接”或“直接耦合到”另一个组件(例如，第二组件)时，可以理解，组件之间没有其他组件(例如第三个组件)。
本文使用的术语“配置”在情况下可以被替换为例如术语“适于”、“设计为”、“适用于”、“制造”或“能够”。术语“配置为”可能不一定意味着硬件“专门地设计为”。相反，术语“配置为”可能意味着设备可能意味着“能够”随着另一设备或部件(‘capable of’withanother device or part)。例如，“配置为运行A、B和C的处理器”可以意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)或用于执行操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
提供本公开中使用的术语仅用于描述具体实施例，而不是为了限制其他实施例的范围。应当理解，除非上下文另有明确规定，否则单数形式包括复数指示物。除非另有定义，在以下描述和权利要求中使用的包括技术或科学术语的术语和词语可以具有与本领域技术人员通常理解的相同的含义。字典中通常定义的术语可以解释为具有与相关技术相同或相似的含义或解释为相关技术的语境含义。除非另有定义，否则不应将术语解释为理想或过度正式的含义。当需要时，即使本公开中定义的术语也不能被解释为排除本公开的实施例。
根据本公开的各种实施例，电子设备可以是例如智能电话、平板电脑(PC)、移动电话、视频电话、电子书阅读器、台式PC、笔记本电脑、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、医疗设备、照相机或可穿戴设备(例如，智能眼镜，头戴装置(HMD)、电子衣服、电子手链、电子项链、电子配件、电子纹身、智能镜或智能手表)中的至少一个。
根据一些实施例，电子设备可以是智能家电。智能家电可以是例如电视(TV)、数字通用盘(DVD)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，Samsung HomeSync TM、Apple TV TM或Google TV TM)、游戏机(用于例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机或电子相框中的至少一个。
根据其他实施例，电子设备可以是医疗设备(例如，诸如血糖仪、心率计、血压计或体温计、磁共振血管成像(MRA)装置、磁共振成像(MRI)装置、计算机断层摄影(CT)装置、成像装置、超声波装置等的便携式医疗仪表)、导航装置、全球定位系统接收机、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、海军电子装置(例如，海军导航装置、陀螺罗经等)、航空电子装置、安全装置、车载头单元、工业或消费者机器人、金融设施中的自动取款机(ATM)、商店内的销售点(POS)装置、或物联网(IoT)装置(例如，灯泡、各种传感器、电力或燃气表、喷水灭火器、火灾报警器、恒温器、路灯、烤面包机、运动用品、热水箱、加热器或锅炉)中的至少一个。
根据一些实施例，电子设备可以是家具、建筑物/结构或车辆的一部分、电子板、电子签名接收装置、投影仪和各种测量装置(例如，水、电、气或电磁波测量装置)中的至少一个。根据各种实施例，电子设备可以是两个或更多个前述设备的组合。根据一些实施例，电子设备可以是柔性电子设备。根据本公开的实施例，电子设备不限于前述设备，并且可以覆盖将随着技术开发而出现的新的电子设备。
现在，将参考附图给出根据本公开的各种实施例的电子设备的描述。在本公开中，术语“用户”可以指使用电子设备的人或设备(例如，人造智能电子设备)。
本公开的实施例提出了用于基于跟踪信息、加速度信息和包括在图像中的事件信息来估计下一视角信息和基于估计的信息为每个视图提供具有不同质量的图像的方法和装置，所述跟踪信息、加速度信息和包括在图像中的事件信息基于提供VR服务的电子设备的用户的当前视点。
在使用加速度信息的方法中，可以使用当前视角和加速度方向信息来估计用户的视野的后续移动方向和用户的后续视角，并且可以以高质量提供用户视野的方向的图像。此外，在使用包含在图像中的事件信息的方法中，可以使用图像中的特定声音或对象信息。例如，如果从后面听到声音，则用户可能自然地在声音的方向上转动。在这种情况下，可以以高质量提供用户背后的图像。如果在某个时间点在图像中出现新对象，则用户自然会将他或她的眼睛导向新物体出现或移动的方向。然后，可以以高质量提供相应视野的图像。基于事件的估计方法也适用于本地VR内容下载，然后选择性渲染(selective rendering)以及流传输(streaming)。
根据本公开的实施例，启用VR服务的电子设备可以根据当前带宽状态提供自适应VR流传输服务。自适应VR流传输基于加速度信息、位置信息、带宽信息等提供各种质量的图像。例如，可以以高质量发送包括用户的当前视角的用户高概率地观看的部分，而可以以中等或低质量发送用户低概率观看的部分。可替代地或另外地，可以仅发送从用户的当前视角的可移动范围内的视角的图像，而可能不发送可移动范围外的视角的图像。
根据本公开的实施例，为了确定是否执行自适应VR流传输，可以使用电子设备的缓冲程度，和/或可以使用带宽。这些方法可以单独使用或组合使用。
在使用缓冲程度的方法中，基于电子设备的缓冲程度来估计带宽状态。也就是说，如果缓冲程度为高，则估计带宽较大，因此可以以高质量发送整个图像。另一方面，如果缓冲程度低，则估计带宽较小，因此可以以低质量发送预期使用较少的视角的图像。例如，在定义了三个缓冲程度“高、中、低”的情况下，如果当前缓冲程度为高，则可以以高质量发送整个360度图像。如果当前缓冲程度是中等的，则可以以高质量发送包括当前视角的随后预期视角(以下称为感兴趣区域)的图像，以及可以以中等质量发送除感兴趣区域之外的区域的图像(以下称为不感兴趣区域)。如果当前缓冲程度低，则可以以高质量发送感兴趣区域的图像，并且可以以低质量发送不感兴趣区域的图像。
在带宽测量方法中，可以基于块来测量平均带宽。如果测量值(块大小/块下载时间)小于为每个视角提供高质量图像所需的带宽，则可以以中等或低质量发送不感兴趣区域的图像。
现在，将给出根据本公开的实施例的用于提供自适应VR流传输服务的方法的描述。
根据本公开的实施例的用于提供自适应VR流传输服务的两种方法可用，在很大程度上取决于一个图像是否可以以多个编码率进行编码。
如果不可能在服务器中以多个编码率对一个图像进行编码，则服务器可以通过视图或编码率来管理360度图像，或者基于电子设备的请求构建或发送图像数据。为此，服务器对具有多个质量的通过360度相机拍摄的图像进行编码，主要将经编码的多质量图像分割为块，然后根据各自的角度或视图将每个块分割为角度块，并将角度块存储在存储器中。
图1示出了根据本公开的实施例的示例性数据分区。作为示例，当通过9个摄像机，摄像机1到摄像机9，捕获图像时，图1中的每个块被分割成9个角度块，可以改变摄像机的数量和每个块的角度块的数量。此外，尽管在图1中作为示例，以两个质量水平，即，高和低执行编码，但可以定义三个或更多个图像质量。
块可以以对称或不对称的角度被分割成角度块。
对称角分割是指例如以45度分割360度，从而生成8个角度块，或以30度分割，从而生成12个角度块。在非对称角分割中，例如，用户以低概率观看的部分可以被分割成相对小的角度块，而用户以高概率观看的部分可以被分割成相对较大的角度块，或者具有大的运动的部分可以被分割成相对大的角度块，而具有小的运动的部分可以被分割成相对小的角度块。此外，每个角度块的大小可以不同，以使得角度块的大小可以与观看概率成比例。此外，根据诸如运动图像、电影或自然图像的图像的特征，角度块的尺寸或分辨率水平可以不同。例如，在诸如运动图像的快速运动图像的情况下，屏幕被渲染成无缝的(rendered tobe seamless)。
同时，电子设备可以根据其能力或当前网络状态自适应地向服务器请求VR流传输服务。为此，电子设备向服务器发送针对每个块的块索引和块质量信息，并且服务器发送与发送的信息相对应的块。此外，根据本公开的实施例，为了请求角度块中的块，当向服务器请求图像时，电子设备应当和块索引和块质量信息一起发送关于角度块的信息。
根据本公开的实施例，如果提供了对于各个视图具有不同质量的图像，则电子设备应当从服务器接收基于视图划分的图像数据并且聚合(aggregate)图像数据。或者服务器可以通过聚合基于视图划分的图像来生成360度图像，然后将360度图像发送到电子设备。或者服务器和电子设备可以在服务器和电子设备之间的连接建立期间协商用于图像处理的UE能力，并且可以基于协商的结果来确定图像聚合实体。例如，如果电子设备的图像处理能力低，则可以选择由服务器向电子设备提供聚合图像的方法。
同时，如果感兴趣区域和不感兴趣区域可以像智能编解码方案中那样通过不同的压缩进行编码，则电子设备可以基于缓冲程度和头部跟踪信息向服务器发送关于用户将看到的感兴趣区域的信息，并且服务器可以以低压缩率发送具有高质量的感兴趣区域的图像，并且以高压缩率发送具有低质量的不感兴趣区域的图像，从而减少数据大小。可以根据电子设备的缓冲程度或连接到电子设备的相机中的自动聚焦设置，由用户的直接块配置(block configuration)将特定对象或区域设置为感兴趣区域。
图2示出了根据本公开的实施例的用于提供自适应VR流传输服务的电子设备的配置。
参见图2，根据本公开的实施例的电子设备200可以包括头部跟踪信息提取器210、自适应VR流传输判定器220、自适应VR流传输运行器230和图像请求器240。
头部跟踪信息提取器210基于从电子设备中的诸如陀螺仪传感器或加速度计传感器的感测运动的传感器或相机接收的信息来提取加速度信息和位置信息。
自适应VR流传输判定器220根据带宽状态确定是否执行自适应VR流传输。具体地说，如果由电子设备测量的带宽大于提供高质量的360度全景图像所需的带宽，则可以以高质量接收整个图像，因此自适应VR流传输判定器220确定不执行自适应VR流传输。如果所测量的带宽小于所需带宽，则可以以低质量接收整个图像。因此，自适应VR流传输判定器220确定不执行自适应VR流传输。然后，自适应VR流传输判定器220向VR流传输运行器230和图像请求器240提供确定结果。
自适应VR流传输运行器230从头部跟踪信息提取器210接收所提取的加速度信息和位置信息。如果自适应VR流传输判定器220确定执行自适应VR流传输，则自适应VR流传输运行器230根据加速度信息和位置信息确定将向服务器请求的块信息。
图像请求器240根据自适应VR流传输判定器220和自适应VR流传输运行器230所做的确定，向服务器请求自适应VR流传输。这里，图像请求器240基于从服务器预先接收的清单文件获取所支持的质量信息和角度块索引信息，基于所获取的信息生成请求消息，并将请求消息发送到服务器。如前所述，请求消息可以包括块索引、质量信息和角度块索引。
现在，将给出根据本公开的实施例的用于提供不同质量的方法的描述。
对于相对于当前视点用户将以高概率来观看的相邻部分，可以请求高质量图像，并且对于剩余部分，可以请求低质量图像。根据位置信息和加速度信息的使用情况，可以使用以下两种方法。
如果仅使用位置信息，则可以为用户当前视图的左侧和右侧的视图请求高质量。
如果使用位置信息和加速度信息两者，则确定用户很可能将他或她的眼睛导向加速度方向的视图，并且因此可以为当前视图和加速度方向的区域请求高质量图像。
图3是示出仅考虑位置信息请求具有不同质量的图像的示例的视图，图4是示出考虑位置信息和加速度信息两者来请求具有不同质量的图像的示例的视图。
参考图3，如果用户正在查看⑤，则可以为⑤、⑤附近的④和⑥以及顶部⑨的图像请求高质量，而可以为其他视图①、②、③、⑦和⑧的图像请求低质量。
参见图4，如果用户正在观看⑤并且加速度信息存在于左侧，则可以为⑤、⑤附近的④和⑥、加速度方向⑤附近的③、以及顶部的⑨请求高质量，而可以为其他视图①、②、⑦和⑧的图像请求低质量。
虽然在图3和图4中定义了高和低的两个图像质量水平，但可以定义三个或更多个图像质量水平。在图3，例如，可以为④、⑤、⑥和⑨的图像请求高质量，可以为在其余视图中相对接近当前视图的③和⑦请求中等质量，并且可以为与目前的视图相距甚远的视图①、②和⑧请求低质量。在图4中，可以为③至⑥以及⑨的图像请求高质量，可以为在加速度方向的①和②请求中等质量，以及可以为与加速度方向相反的视图⑦和⑧的图像请求低质量。
如上所述，即使当使用包括在图像中的事件信息来估计关于用户的后续视角信息时，也可以基于所估计的信息来提供用于各个视图的具有两个或更多个不同质量的图像。
然后，可以选择性地仅请求相对于当前视图用户将以高概率观看的部分的图像，而可以不请求剩余部分的图像。结果，可以减少带宽。如上述用于请求具有不同质量的图像的方法一样，可以根据位置信息和加速度信息的使用方式，以下列两种方式选择性地请求图像。
在仅使用位置信息的情况下，可以仅请求用户当前视图的左侧和右侧的视图图像，而可以不请求剩余部分的图像。
在其中使用位置信息和加速度信息两者的情况下，可以仅请求当前视图和加速度方向上的区域的图像，而可以不请求剩余部分的图像，确定用户将眼睛移动到加速度方向的视图。
图5是示出仅考虑位置信息来选择性地请求图像的示例的视图，图6是示出考虑到位置信息和加速度信息两者来选择性地请求图像的示例的视图。
参考图5，如果用户正在查看⑤，可以请求⑤、⑤附近的④和⑥、以及顶部⑨的图像，而可以不请求其他视图①、②、③、⑦和⑧的图像。
参考图6，如果用户正在观看⑤并且加速度信息存在于左侧，则可以请求⑤、⑤附近的④和⑥、在加速度方向上⑤附近的③和顶部⑨的图像，而可以不请求其他视图①、②、⑦和⑧的图像。
此外，如上所述，即使使用包括在图像中的事件信息来估计用户的后续视角信息，也可以基于所估计的信息来选择性地提供每个视图的图像。
图7是示出根据本公开的实施例的用于提供自适应VR流传输服务的过程的流程图。
参考图7，电子设备向服务器请求清单文件(manifest file)，并在操作701和702中从服务器接收清单文件。在操作703中，电子设备获取编码和块信息。这里，电子设备可以向服务器发送关于其能力、包括解码能力的信息。电子设备测量当前带宽并且在操作704中基于所测量的带宽来确定是否执行自适应VR流传输。也就是说，如果所测量的带宽大于以高质量提供整个360度图像所需的带宽，则电子设备可以以高质量接收整个图像，从而确定不执行自适应VR流传输。如果所测量的带宽小于高质量所需的带宽，则电子设备确定执行自适应VR流传输。如果所测量的带宽小于以低质量提供整个360度图像所需的带宽，则电子设备将以低质量接收整个图像，从而确定不执行自适应VR流传输。如果电子设备确定执行自适应VR流传输，则在操作705中，电子设备基于从电子设备中装备的运动传感器、照相机等预先接收到的作为头部跟踪信息的加速度信息和位置信息来确定将要向服务器请求的块信息。在操作706中，电子设备基于该确定向服务器请求自适应VR流传输。这里，电子设备基于先前从服务器接收的清单文件获取所支持的质量信息和角度块索引信息，基于所获取的信息生成请求消息，并在操作708中将请求消息发送到服务器。请求消息可以包括块索引、质量信息和角度块索引。在操作708中，电子设备根据请求从服务器接收块。这里，服务器可以基于在操作701中接收到的UE的能力信息，在可解码范围内发送图像。
本文所用的术语“模块”可以指包括硬件、软件和固件中的一个或两个或更多个的组合的单元。术语“模块”可以与例如单元、逻辑、逻辑块、组件或电路等术语互换使用。“模块”可以是其集成的部件或部分的最小单元。“模块”可以机械地或电子地实现。例如，“模块”可以包括执行某些操作的已知或未开发的应用专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑器件中的至少一个。
根据本公开的各种实施例的设备(例如，模块或其功能)或方法(例如，操作)的至少一部分可以被实现为以编程模块的形式存储在计算机可读存储介质中的命令。当命令由处理器(例如，处理器120)运行时，一个或多个处理器可以运行与命令相对应的功能。计算机可读介质可以是例如存储器130。
计算机可读介质可以包括硬盘、软盘、磁介质(例如磁带)、光学介质(例如，光盘只读存储器(CD-ROM))、数字通用盘(DVD)、磁光介质(例如，光盘)、硬件设备(例如只读存储器(ROM)、随机存取存储器(RAM)或闪速存储器))等。程序指令可以包括由编译器生成的机器语言代码或可以由使用解释器的计算机运行的高级语言代码。上述硬件设备可以被配置为作为一个或多个软件模块来操作，以根据各种实施例执行操作，反之亦然。
根据各种实施例的模块或编程模块可以包括上述组件中的一个或多个，可以省略其一部分，或者可以包括附加组件。根据本公开的由模块、编程模块或其他组件执行的操作可以以串行、并行、重复或启发式方式处理。此外，一些操作可以以不同的顺序执行或省略，或者可以添加附加的操作。
根据本公开的各种实施例，存储介质可以存储指令，其被配置为当由至少一个处理器运行时，控制至少一个处理器以执行至少一个操作。所述至少一个操作可以包括在电子设备中执行VR模式，根据至少一个事件的生成感测中断，将与所生成的事件相关的事件相关信息改变为与VR模式相对应的形式，并且在与VR模式相对应地运行的屏幕上显示改变后的事件相关信息。
提供本说明书中公开的实施例用于对本公开的描述和理解，而不是限制本公开的范围。因此，本公开的范围应被解释为包括在本公开内容的范围内的所有修改或各种实施例。

Claims (15)

1.一种用于在电子设备中接收用于虚拟现实(VR)流传输服务的图像数据的方法，所述方法包括：
基于带宽状态确定是否执行自适应VR流传输服务；以及
如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息，向服务器请求用于自适应VR流传输服务的图像数据，以及从服务器接收图像数据。
2.一种用于接收用于虚拟现实(VR)流传输服务的图像数据的装置，所述装置包括：
判定器，用于基于电子设备中的带宽状态确定是否执行自适应VR流传输服务；以及
运行器，用于如果确定执行自适应VR流传输服务，则基于预先收集的头部跟踪信息和带宽信息来请求用于自适应VR流传输服务的图像数据。
3.如权利要求1或2所述的方法或装置，其中，如果根据带宽状态，确定难以以对应于等于或高于预定值的分辨率的高质量接收所有图像数据，则确定执行VR流传输服务。
4.如权利要求1或2所述的方法或装置，其中，基于关于所述电子设备的缓冲程度的信息来估计所述带宽状态。
5.如权利要求1或2所述的方法或装置，其中，以块为基础测量平均带宽，并且如果根据测量的平均带宽状态，确定难以以对应于等于或高于预定值的分辨率的高质量接收所有图像数据，则确定执行VR流传输服务。
6.如权利要求1或2所述的方法或装置，其中，基于所述跟踪信息中包括的加速度信息，期望使用者的眼睛随后移动的位置被设置为感兴趣区域，并且为所述感兴趣区域请求具有对应于等于或高于预定值的分辨率的高质量的图像数据。
7.如权利要求1或2所述的方法或装置，其中，基于包括在所述图像数据中的事件信息为所述感兴趣区域请求并接收具有对应于等于或高于预定值的分辨率的高质量的图像数据。
8.如权利要求6所述的方法或装置，其中，为除所述感兴趣区域之外的区域，请求具有小于等于或小于所述预定值的分辨率的分辨率的图像数据。
9.如权利要求6所述的方法或装置，其中，不为除所述感兴趣区域以外的区域请求图像数据。
10.如权利要求7所述的方法或装置，其中，所述事件信息包括关于在特定时间点所听到的声音或出现的对象的方向信息。
11.如权利要求1或2所述的方法或装置，其中，基于从服务器获取的编码信息和块信息，针对所请求的图像数据的块索引信息、根据视角从图像数据划分的角度块的角度块索引以及分辨率信息被发送到服务器。
12.一种用于发送用于虚拟现实(VR)流传输服务的图像数据的方法，所述方法包括：
从电子设备接收用于自适应VR流传输服务的图像数据请求消息；以及
基于所述图像数据请求消息构建用于自适应VR流传输服务的图像数据，并发送所述图像数据，
其中，用于所述自适应VR流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域的、具有对应于等于或高于预定值的分辨率的高质量的数据，以及
其中，基于所述电子设备的头部跟踪信息和带宽信息、或所述图像数据的事件信息来确定所述感兴趣区域。
13.一种用于发送用于虚拟现实(VR)流传输服务的图像数据的装置，所述装置包括：
收发器，用于从电子设备接收用于自适应VR流传输服务的图像数据请求消息，基于所述图像数据请求消息构建用于所述自适应VR流传输服务的图像数据，并发送所述图像数据，
其中，用于所述自适应VR流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域、具有对应于等于或高于预定值的分辨率的高质量的数据，以及
其中，基于所述电子设备的头部跟踪信息和带宽信息、或所述图像数据的事件信息来确定所述感兴趣区域。
14.如权利要求12或13所述的方法或装置，其中，用于所述自适应VR流传输服务的图像数据还包括具有用于除所述感兴趣区域之外的区域的低于所述预定值的分辨率的数据。
15.如权利要求12或13所述的方法或装置，其中，所述事件信息包括关于在特定时间点所听到的声音或出现的对象的方向信息。
CN201680023256.1A 2015-04-22 2016-03-28 发送和接收虚拟现实流传输服务的图像数据的方法和装置 Active CN107548557B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150056498A KR102313485B1 (ko) 2015-04-22 2015-04-22 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR10-2015-0056498 2015-04-22
PCT/KR2016/003117 WO2016171404A1 (ko) 2015-04-22 2016-03-28 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN107548557A true CN107548557A (zh) 2018-01-05
CN107548557B CN107548557B (zh) 2021-03-16

Family

ID=57144007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023256.1A Active CN107548557B (zh) 2015-04-22 2016-03-28 发送和接收虚拟现实流传输服务的图像数据的方法和装置

Country Status (5)

Country Link
US (2) US10397297B2 (zh)
EP (1) EP3288271B1 (zh)
KR (1) KR102313485B1 (zh)
CN (1) CN107548557B (zh)
WO (1) WO2016171404A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112219403A (zh) * 2018-03-22 2021-01-12 华为技术有限公司 沉浸式媒体的渲染视角度量
CN112424790A (zh) * 2018-07-19 2021-02-26 三星电子株式会社 混合式眼睛跟踪器的系统和方法

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10242643B2 (en) * 2016-07-18 2019-03-26 Microsoft Technology Licensing, Llc Constrained head-mounted display communication
US10868848B2 (en) * 2016-07-25 2020-12-15 Peraso Technologies Inc. Wireless multimedia communications system and method
KR102524987B1 (ko) * 2016-07-29 2023-04-21 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 스트리밍 컨텐츠 저장 방법 및 이를 위한 장치
US20190199921A1 (en) * 2016-08-29 2019-06-27 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
KR20180059210A (ko) * 2016-11-25 2018-06-04 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN110023881B (zh) 2016-12-01 2022-07-08 昆山云英谷电子科技有限公司 基于区域的显示数据处理和传输
KR101799702B1 (ko) * 2016-12-02 2017-12-20 주식회사 라투인 만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법
CN108616751B (zh) * 2016-12-12 2023-05-12 上海交通大学 媒体信息的处理方法、装置及系统
WO2018110839A1 (ko) * 2016-12-16 2018-06-21 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
EP3557866A4 (en) 2016-12-16 2019-12-04 Samsung Electronics Co., Ltd. METHOD FOR TRANSMITTING DATA RELATED TO A THREE-DIMENSIONAL IMAGE
US10241587B2 (en) * 2016-12-22 2019-03-26 Microsoft Technology Licensing, Llc Magnetic tracker power duty cycling
KR102625773B1 (ko) * 2017-01-04 2024-01-17 삼성전자주식회사 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
US11252390B2 (en) 2017-01-13 2022-02-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding 360 degree image
KR102606976B1 (ko) 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
KR101874111B1 (ko) * 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
KR102305633B1 (ko) * 2017-03-17 2021-09-28 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
KR102191875B1 (ko) * 2017-03-20 2020-12-16 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018182161A1 (ko) * 2017-03-28 2018-10-04 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
CN110495181A (zh) 2017-03-28 2019-11-22 三星电子株式会社 用于发送关于三维图像的数据的方法
KR102277267B1 (ko) * 2017-03-29 2021-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018186646A1 (ko) * 2017-04-03 2018-10-11 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법
GB2573951A (en) * 2017-04-05 2019-11-20 Mediatek Inc Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
WO2018190446A1 (ko) * 2017-04-13 2018-10-18 삼성전자 주식회사 영상 처리 방법 및 장치
CN107168534B (zh) * 2017-05-12 2021-05-07 杭州一隅千象科技有限公司 一种基于cave系统的渲染优化方法及投影方法
CN109040740A (zh) * 2017-06-08 2018-12-18 瑞鼎科技股份有限公司 虚拟现实显示系统及显示驱动装置
CN107333119A (zh) * 2017-06-09 2017-11-07 歌尔股份有限公司 一种显示数据的处理方法和设备
KR102111501B1 (ko) 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
CN109218252A (zh) * 2017-06-29 2019-01-15 阿里巴巴集团控股有限公司 一种虚拟现实的显示方法、装置及其设备
KR101988244B1 (ko) * 2017-07-04 2019-06-12 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
KR101883981B1 (ko) * 2017-08-01 2018-07-31 강서연 가상 현실 동영상 제공 장치 및 제공 방법
WO2019034131A1 (en) 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
GB2566478B (en) * 2017-09-14 2019-10-30 Samsung Electronics Co Ltd Probability based 360 degree video stabilisation
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
KR102390208B1 (ko) * 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
KR102072714B1 (ko) * 2017-10-19 2020-02-25 주식회사 인라이플 헤드 마운티드 장치를 이용한 쇼핑 서비스 제공 시스템 및 방법
KR102034826B1 (ko) * 2018-02-09 2019-10-21 강서연 가상 현실 동영상 제공 장치 및 제공 방법
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
KR102179810B1 (ko) * 2018-06-27 2020-11-17 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
US10638165B1 (en) 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
KR102023905B1 (ko) * 2018-11-09 2019-11-04 전자부품연구원 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
US10880534B2 (en) 2018-11-09 2020-12-29 Korea Electronics Technology Institute Electronic device and method for tiled video multi-channel playback
KR20200080565A (ko) 2018-12-27 2020-07-07 삼성전자주식회사 무선 통신 수행 방법 및 이를 지원하는 전자 장치
WO2020189817A1 (ko) * 2019-03-19 2020-09-24 전자부품연구원 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
KR102251576B1 (ko) * 2019-04-04 2021-05-14 한국전자기술연구원 관심 영역 기반의 vr 영상 수신 장치 및 방법
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
US11481026B2 (en) 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media
US11638259B2 (en) * 2019-10-17 2023-04-25 Qualcomm Incorporated Uplink and downlink streaming bit rate assistance in 4G and 5G networks
KR102118334B1 (ko) * 2019-10-18 2020-06-04 전자부품연구원 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
US11095912B2 (en) * 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
KR102239960B1 (ko) * 2019-11-04 2021-04-13 서울과학기술대학교 산학협력단 콘텐츠 전송 방법 및 이를 수행하는 장치들
DE102020112301A1 (de) 2020-05-06 2021-11-11 Audi Aktiengesellschaft System zur Übermittlung zumindest eines ausgewählten Virtual Reality (VR)-Inhaltes für eine dynamische Umgebung
US20220103655A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Proactively selecting virtual reality content contexts
KR102354132B1 (ko) 2020-10-14 2022-01-24 한국전자기술연구원 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법
US11282285B1 (en) 2021-01-08 2022-03-22 International Business Machines Corporation Real-world object location identification using 5G network technology
KR20230105531A (ko) 2022-01-04 2023-07-11 한국전자통신연구원 딥러닝을 이용한 이미지 전송 시스템 및 방법
CN115859263B (zh) * 2023-02-23 2023-05-19 北京易智时代数字科技有限公司 一种虚拟现实应用的管理方法、终端及边缘业务平台

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002471A (zh) * 2004-08-13 2007-07-18 庆熙大学校产学协力团 对图像编码的方法和设备及对图像数据解码的方法和设备
CN102625125A (zh) * 2012-03-15 2012-08-01 天津大学 一种实时传输高分辨率多视点立体视频的方法
CN103155585A (zh) * 2010-07-12 2013-06-12 欧普斯梅迪库斯股份有限公司 网络式上下文关联图像的高分辨率查看系统与方法
WO2013086739A1 (en) * 2011-12-16 2013-06-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video
CN103548318A (zh) * 2011-05-18 2014-01-29 汤姆逊许可公司 用于动态地适配接收比特率的方法和相关的接收器
CN103559006A (zh) * 2010-12-08 2014-02-05 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
CN104067628A (zh) * 2012-01-19 2014-09-24 Vid拓展公司 用于支持对观看条件自适应的视频传输的方法和系统
US20140293823A1 (en) * 2011-11-01 2014-10-02 Samsung Electronics Co., Ltd. Method and apparatus for estimating available bandwidth for each user equipment in mobile communication system
US20140361984A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US20150009132A1 (en) * 2012-02-17 2015-01-08 Sony Corporation Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US20150032823A1 (en) * 2011-10-28 2015-01-29 Magic Leap, Inc. System and method for augmented and virtual reality

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351261B1 (en) * 1993-08-31 2002-02-26 Sun Microsystems, Inc. System and method for a virtual reality system having a frame buffer that stores a plurality of view points that can be selected and viewed by the user
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
JP2003536319A (ja) * 2000-06-09 2003-12-02 アイムーヴ インコーポレイテッド パノラマビデオのストリーミング方法及びシステム
US8762846B2 (en) 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
US20110145323A1 (en) * 2009-12-16 2011-06-16 Colin Kahn Method and apparatus for controlling delivery of services to user devices
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
JP5993127B2 (ja) 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
KR101167505B1 (ko) 2011-11-01 2012-07-23 주식회사 유니크 오일펌프 컨트롤 밸브
US9253524B2 (en) * 2012-07-20 2016-02-02 Intel Corporation Selective post-processing of decoded video frames based on focus point determination
US9060207B2 (en) 2012-08-20 2015-06-16 Google Inc. Adaptive video streaming over a content delivery network
US9313242B2 (en) * 2012-08-21 2016-04-12 Skybox Imaging, Inc. Multi-resolution pyramid for georeferenced video
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9245373B2 (en) * 2012-12-04 2016-01-26 Nintendo Co., Ltd. Caching in map systems for displaying panoramic images
IN2013CH03069A (zh) * 2013-07-09 2015-08-28 Samsung India Software Operations Pvt Ltd
KR101878144B1 (ko) 2013-11-06 2018-07-13 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
US9942622B2 (en) * 2014-01-24 2018-04-10 Hiperwall, Inc. Methods and systems for synchronizing media stream presentations
US20180063372A1 (en) * 2014-11-18 2018-03-01 Elwha Llc Imaging device and system with edge processing
US20160198140A1 (en) * 2015-01-06 2016-07-07 3DOO, Inc. System and method for preemptive and adaptive 360 degree immersive video streaming
EP3267687B1 (en) * 2015-03-05 2021-10-20 Sony Group Corporation Image processing device and image processing method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002471A (zh) * 2004-08-13 2007-07-18 庆熙大学校产学协力团 对图像编码的方法和设备及对图像数据解码的方法和设备
CN103155585A (zh) * 2010-07-12 2013-06-12 欧普斯梅迪库斯股份有限公司 网络式上下文关联图像的高分辨率查看系统与方法
CN103559006A (zh) * 2010-12-08 2014-02-05 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103548318A (zh) * 2011-05-18 2014-01-29 汤姆逊许可公司 用于动态地适配接收比特率的方法和相关的接收器
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
US20150032823A1 (en) * 2011-10-28 2015-01-29 Magic Leap, Inc. System and method for augmented and virtual reality
US20140293823A1 (en) * 2011-11-01 2014-10-02 Samsung Electronics Co., Ltd. Method and apparatus for estimating available bandwidth for each user equipment in mobile communication system
WO2013086739A1 (en) * 2011-12-16 2013-06-20 Thomson Licensing Method and apparatus for generating 3d free viewpoint video
CN104067628A (zh) * 2012-01-19 2014-09-24 Vid拓展公司 用于支持对观看条件自适应的视频传输的方法和系统
US20150009132A1 (en) * 2012-02-17 2015-01-08 Sony Corporation Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
CN102625125A (zh) * 2012-03-15 2012-08-01 天津大学 一种实时传输高分辨率多视点立体视频的方法
US20140361984A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李忠炤: "《自由视点视频采集及其传输系统研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112219403A (zh) * 2018-03-22 2021-01-12 华为技术有限公司 沉浸式媒体的渲染视角度量
CN112219403B (zh) * 2018-03-22 2022-03-25 华为技术有限公司 沉浸式媒体的渲染视角度量
CN112424790A (zh) * 2018-07-19 2021-02-26 三星电子株式会社 混合式眼睛跟踪器的系统和方法

Also Published As

Publication number Publication date
WO2016171404A1 (ko) 2016-10-27
KR102313485B1 (ko) 2021-10-15
KR20160125708A (ko) 2016-11-01
US20180091577A1 (en) 2018-03-29
EP3288271B1 (en) 2021-11-03
EP3288271A4 (en) 2018-05-02
US11050810B2 (en) 2021-06-29
US10397297B2 (en) 2019-08-27
CN107548557B (zh) 2021-03-16
US20190373042A1 (en) 2019-12-05
EP3288271A1 (en) 2018-02-28

Similar Documents

Publication Publication Date Title
CN107548557A (zh) 用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置
Hu et al. Virtual reality: A survey of enabling technologies and its applications in IoT
KR102479360B1 (ko) 증강 현실 서비스 제공 방법 및 장치
KR101945082B1 (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
CN109740499A (zh) 视频分割方法、视频动作识别方法、装置、设备及介质
CN109308469B (zh) 用于生成信息的方法和装置
CN110325953B (zh) 用于虚拟现实服务的屏幕控制方法和设备
CN110021052B (zh) 用于生成眼底图像生成模型的方法和装置
US20160203643A1 (en) Exhibition guide apparatus, exhibition media display apparatus, mobile terminal and method for guiding exhibition
CN112598686B (zh) 图像分割方法、装置、计算机设备及存储介质
KR20170060485A (ko) 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
KR20180032089A (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
KR20180042627A (ko) 영상 처리 장치 및 그 영상 처리 방법
Akyildiz et al. Wireless extended reality (XR): Challenges and new research directions
CN109271929B (zh) 检测方法和装置
KR20240009993A (ko) 멀티레벨 특징 추적을 위한 직접 스케일 레벨 선택
KR20240008915A (ko) 모션 블러 완화를 위한 선택적 이미지 피라미드 계산
CN115989527A (zh) 用于对增强现实媒体对象执行基于锚点的渲染的方法和装置
US20240046583A1 (en) Real-time photorealistic view rendering on augmented reality (ar) device
KR20200028069A (ko) 타일 영상의 영상 처리 방법 및 장치
CN116152323B (zh) 深度估计方法、单目深度估计模型生成方法和电子设备
US20220301184A1 (en) Accurate optical flow interpolation optimizing bi-directional consistency and temporal smoothness
CN114598824A (zh) 特效视频的生成方法、装置、设备及存储介质
CN109842738A (zh) 用于拍摄图像的方法和装置
KR102114466B1 (ko) 영상 컨텐츠 내 관심 영역 정보를 이용한 영상 디스플레이 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant