CN109792550B - 用于处理360°视频的方法、用户设备及服务器 - Google Patents

用于处理360°视频的方法、用户设备及服务器 Download PDF

Info

Publication number
CN109792550B
CN109792550B CN201780060671.9A CN201780060671A CN109792550B CN 109792550 B CN109792550 B CN 109792550B CN 201780060671 A CN201780060671 A CN 201780060671A CN 109792550 B CN109792550 B CN 109792550B
Authority
CN
China
Prior art keywords
region
margin
boundary
video
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780060671.9A
Other languages
English (en)
Other versions
CN109792550A (zh
Inventor
M.布达加维
林荣权
H.纳加夫-扎德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109792550A publication Critical patent/CN109792550A/zh
Application granted granted Critical
Publication of CN109792550B publication Critical patent/CN109792550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

公开了一种用于处理360°视频的方法。该方法包括接收视频数据和用于处理视频数据的元数据，该视频包括多个区域；确定元数据何时包括多个区域中的至少一个区域包括沿该至少一个区域的至少一个边界的保护裕度的指示；以及当该指示指示该至少一个区域包括保护裕度时，基于接收到的元数据处理该视频数据。

Description

用于处理360°视频的方法、用户设备及服务器
技术领域
本公开一般涉及360°视频。更具体地，本公开涉及防止360°视频中的边界伪影。
背景技术
虚拟现实体验正变得越来越突出。例如，由于功能强大的手持设备(诸如智能电话)的即时可用性，360°视频正在成为体验沉浸式(immersive)视频的一种新方式。360°视频通过捕捉世界的360°角度视野，为消费者带来沉浸式的“真实生活”、“身临其境”体验。用户可以交互地改变他们的视角，并动态地查看他们期望的已捕捉场景的任何部分。显示器和导航传感器实时跟踪头部移动，以确定用户想要查看的360°视频的区域。
发明内容
技术问题
在诸如打包立方体图的打包投影中，在360°视频中的区域边界中一个或多个区域边界中可能具有不连续性，而不是在相邻区域的交点处。在视频渲染期间，来自相邻区域的纹理元素被用于纹理元素内插，导致不连续性作为边界伪影出现在渲染的视频中。
用于解决这个问题的一个解决方案是在区域边界使用保护裕度(guard margin)。然而，使用保护裕度将导致所传输视频中额外的冗余纹理元素。另一个解决方案是在区域边界处延伸纹理元素。然而，如果渲染硬件中不支持纹理元素延伸，则这将导致在解码器处增加复杂性。为了提供实施灵活性，则需要一种信令机制以指示是否在区域边界处使用保护裕度或者是否要实行填充。
技术方案
本公开涉及用于在360°视频中防止边界伪影的系统和方法。
在第一实施例中，用于处理360°视频的用户设备(user equipment，UE) 包括通信接口、存储器和可操作地耦合到通信接口和存储器的处理器。处理器被配置为接收视频数据和用于处理该视频数据的元数据，其中视频包括多个区域，确定元数据何时包括多个区域中的至少一个区域包括沿着该至少一个区域的至少一个边界的保护裕度的指示，当该指示指示至少一个区域包括保护裕度时，基于接收到的元数据来处理视频数据，并且当至少一个区域不包括保护裕度时，在处理视频数据之前添加保护裕度。
在第二实施例中，用于处理360°视频的方法包括接收视频数据和用于处理视频数据的元数据，其中视频包括多个区域。该方法还包括确定元数据何时包括多个区域中的至少一个区域包括沿着该至少一个区域的至少一个边界的保护裕度的指示。当该指示指示至少一个区域包括保护裕度时，基于接收到的元数据来处理视频数据。当至少一个区域不包括保护裕度时，在处理视频数据之前添加保护裕度。
在第三实施例中，用于存储和发送360°视频的服务器包括通信接口、存储器和可操作地耦合到通信接口和存储器的处理器。该处理器被配置为接收包括多个区域的视频数据，确定多个区域当中的至少一个区域的至少一个边界是否需要保护裕度，将保护裕度应用到该至少一个边界，并将指示符添加到与视频数据相对应的元数据，其中该指示符被配置为提供至少一个边界包括保护裕度的指示。
根据以下附图、描述和权利要求，其它技术特征对于本领域技术人员来说是显而易见的。
附图说明
为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：
图1示出了根据本公开的示例计算系统；
图2示出了根据本公开的计算系统中的示例服务器；
图3示出了根据本公开的示例用户设备(UE)；
图4A和图4B示出了根据本公开的360°视频的示例投影；
图5示出了根据本公开的用于防止服务器中的边界伪影的方法；以及
图6示出了根据本公开的用于防止UE中的边界伪影的方法。
具体实施方式
在进行下面的详细描述之前，阐述贯穿本专利文件使用的某些词汇和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信传达”及其派生词包括直接通信和间接通信两者。术语“包括”和“包含”及其派生词意味着包括但不限于。术语“或”是包含性的，意味着和/或。短语“与……相关联”及其派生词意味着包括、被包括、互连、包含、被包含、连接到或与……连接、耦合到或与……耦合、可通信、合作、交错、并置、接近、绑定到或与……绑定、具有、具有……属性、有……关系或与……有关系等。术语“控制器”意味着控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件和/或固件的组合来实施。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。短语“至少一个”，当与项目的列表一起使用时，意味着可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下任意组合：A、B、C、A和B、A和 C、B和C、以及A和B和C。
此外，下面描述的各种功能可以由一个或多个计算机程序实施或支持，每个计算机程序由计算机可读程序代码形成，并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、有关的数据、或其适于在合适的计算机可读程序代码中实施的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、硬盘驱动器、光盘(compact disc，CD)、数字视频盘(digital video disc，DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括运输暂时性电信号或其他信号的有线链路、无线链路、光链路或其他通信链路。非暂时性计算机可读介质包括可以永久存储数据的介质和可以存储数据并随后重写数据的介质，诸如可重写光盘或可擦除存储器设备。
贯穿本专利文件，提供了其他某些词汇和短语的定义。本领域的普通技术人员应该理解，在许多情况下(如果不是大多数情况下)，这种定义适用于这种定义的词汇和短语的现有使用和将来使用。
下面讨论的图1至图6以及在本专利文件中用于描述本公开的原理的各种实施例仅作为说明，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的设备或系统中实施。
图1示出了根据本公开的示例计算系统100。图1所示的计算系统100 的实施例仅用于说明。在不脱离本公开范围的情况下，可以使用计算系统100 的其他实施例。
如图1所示，系统100包括网络102，网络102便于系统100中各种组件之间的通信。例如，网络102可以在网络地址之间通信传达互联网协议 (Internet Protocol，IP)分组、帧中继帧、异步传输模式(Asynchronous Transfer Mode，ATM)信元或其他信息。网络102可以包括一个或多个局域网(local area network，LAN)、城域网(metropolitan areanetwork，MAN)、广域网(wide area network，WAN)、诸如因特网的全球网络的全部或部分、或者位于一个或多个位置的任何其他(多个)通信系统。
网络102便于服务器104和各种UE 106、108、110和116之间的通信。 UE 106、108、110和116可以是，例如，智能电话、平板电脑、膝上型电脑、个人计算机、可穿戴设备或头戴式显示器(head-mounted display，HMD)。服务器104包括能够为一个或多个客户端设备提供计算服务的任何合适的计算设备或处理设备。每个服务器104可以，例如，包括一个或多个处理设备、存储指令和数据的一个或多个存储器、以及便于通过网络102通信的一个或多个网络接口。
在这个示例中，UE 106可以使用WI-FI、蓝牙或任何短程通信协议直接与服务器104进行通信。一些UE 108和UE 110与网络102进行间接通信。例如，UE 108经由一个或多个基站112(诸如蜂窝基站或eNodeB)进行通信。另外，UE 110经由一个或多个无线接入点114(诸如IEEE 802.11无线接入点)进行通信。UE 116可以通过作为中间设备的UE 106与服务器104间接通信。注意，这些仅用于说明，并且每个客户端设备可以经由任何合适的(多个)中间设备或(多个)中间网络与网络102直接通信或与网络102间接通信。
如下面更详细描述的，服务器104向一个或多个用户发送具有元数据的 360°视频。元数据可以提供是否在区域边界处使用保护裕度的指示，以便正确地渲染360°视频。
尽管图1示出了计算系统100的一个示例，但是可以对图1进行各种改变。例如，系统100可以包括在任何合适的布置中的任何数量的每个组件。通常，计算系统和通信系统有各种各样的配置，并且图1没有将本公开的范围限制在任何特定的配置。虽然图1示出了其中可以使用本专利文件中所公开的各种特征的一个操作环境，但是这些特征可以用于任何其他合适的系统中。
图2和图3示出了根据本公开的计算系统中的示例设备。具体地，图2 示出了示例服务器200，以及图3示出了示例UE 300。服务器200可以代表图1中的服务器104，并且UE300可以代表图1中的UE 106-110。
如图2所示，服务器200包括总线系统205，其支持至少一个处理器210、至少一个存储设备215和至少一个通信单元220之间的通信。
处理器210运行可被加载到存储器230中的指令。处理器210可以包括在任何合适的布置中的任何合适(多种)数量和(多种)类型的处理器或其他设备。示例类型的处理器210包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和持久储存器235是存储设备215的示例，存储设备215表示能够存储和便于检索信息(诸如在临时或永久基础上的数据、程序代码和/ 或其他合适的信息)的任何(多个)结构。存储器230可以表示随机存取存储器或任何其他合适的(多个)易失性或非易失性存储设备。持久储存器235 可以包含一个或多个支持数据长期存储的组件或设备，诸如只读存储器、硬盘驱动器、闪存或光盘。存储器230在其上存储用于控制服务器200的一个或多个功能的应用。
通信单元220支持与其他系统或设备的通信。例如，通信单元220可以包括便于通过网络102进行通信的网络接口卡或无线收发器。通信单元220 可以支持通过任何合适的(多个)物理或无线通信链路的通信。
在一些实施例中，服务器200可以包括允许数据的输入和输出的I/O单元225。例如，I/O单元225可以通过键盘、鼠标、键区、触摸屏或其他合适的输入设备来提供用于用户输入的连接。I/O单元225还可以向显示器、打印机或其他合适的输出设备传送输出。
尽管图2示出了服务器200的一个示例，但可以对图2进行各种改变。例如，服务器200可以包括任何数量的在图2中示出的每个组件。如以下将讨论的，服务器200可以分析360°视频，并基于360°视频的特性施加保护裕度。
图3示出了根据本公开的示例UE 300。图3所示的UE 300的实施例仅用于说明，并且图1的UE 106-110可以具有相同或相似的配置。然而，UE 有各种各样的配置，并且图3没有将本公开的范围限制于UE的任何特定实施方式。
如图3所示，UE 300包括通信单元310。通信单元310可以包括，例如， RF收发器、蓝牙收发器或WiFi收发器。UE 300还可以包括发送(transmit， TX)处理电路315、麦克风320和接收(receive，RX)处理电路325。UE 300 还包括音频接口或扬声器330、处理器340、输入/输出(I/O)接口(interface， IF)345、输入350、显示器355和存储器360。存储器360包括操作系统 (operating system，OS)程序361和一个或多个应用362。
通信单元310可以接收输入RF信号，诸如，例如蓝牙信号或WI-FI信号。“通信单元310”可以下变频输入RF信号以生成中频(intermediate frequency，IF)或基带信号。IF或基带信号被传送到RX处理电路325，RX 处理电路325通过对基带或IF信号滤波、解码和/或数字化来生成处理后的基带信号。RX处理电路325将处理后的基带信号发送到扬声器330(诸如用于语音数据)或发送到处理器340用于进一步处理(诸如用于网页浏览数据)。
TX处理电路315从麦克风320接收模拟或数字语音数据，或者从处理器 340接收其他外发的基带数据(诸如网络数据、电子邮件或交互式视频游戏数据)。TX处理电路315对外发的基带数据进行编码、多路复用和/或数字化，以生成处理后的基带或IF信号。通信单元310从TX处理电路315接收外发的处理后的基带或IF信号，并将该基带或IF信号上变频为经由天线305发送的RF信号。
处理器340可以包括一个或多个处理器或其他处理设备，并且执行存储在存储器360中的基本OS程序361，以便控制UE 300的整体操作。例如，根据众所周知的原理，处理器340可以通过通信单元310、RX处理电路325 和TX处理电路315控制前向信道信号的接收和反向信道信号的发送。在一些实施例中，处理器340包括至少一个微处理器或微控制器。
处理器340还能够运行驻留在存储器360中的其他过程和程序。处理器340可以按照运行过程的要求将数据移入或移出存储器360。在一些实施例中，处理器340被配置为基于OS程序361或响应于从eNB或操作者接收到的信号来执行应用362。处理器340还耦合到I/O接口345，I/O接口345向UE 300提供连接到诸如膝上型计算机和手持计算机的其他设备的能力。I/O接口 345是这些附件和处理器340之间的通信路径。
处理器340还耦合到输入350和显示器355。UE 300的操作者可以使用输入350(例如，键盘、触摸屏、按钮等)以将数据输入UE 300。显示器355 可以是液晶显示器、发光二极管(light-emitting diode，LED)显示器、光学 LED(optical LED，OLED)、有源矩阵OLED(active matrix OLED，AMOLED)、透明或不透明显示器(诸如在一对增强现实眼镜上的一个或多个透镜，其中一个或多个图像可以投影到透镜上或使用透镜显示)，或者能够渲染(诸如来自网站的)文本和/或至少有限图形的其他显示器。在一个实施例中，输入350 是触摸屏。触摸屏可以包括触摸面板、(数字)笔传感器、键或超声波输入设备。触摸屏可以识别，例如，电容方案、压敏方案、红外方案或超声波方案当中的至少一种方案中的触摸输入。触摸屏还可以包括控制电路。在电容方案中，触摸屏可以识别触摸或接近。
存储器360耦合到处理器340。存储器360的一部分可以包括随机存取存储器(RAM)，并且存储器360的另一部分可以包括闪存或其他只读存储器 (ROM)。
UE 300还可以包括一个或多个传感器370，其可以计量UE 300的物理量或检测其激活状态，并将计量或检测的信息转换成电信号。例如，(多个) 传感器370可以包括用于触摸输入的一个或多个按钮(例如在头戴式耳机或 UE 300上)、一个或多个相机380、姿势传感器、眼睛跟踪传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速计、抓握传感器、接近传感器、颜色传感器(例如红绿蓝(Red Green Blue，RGB)传感器)、生物物理传感器、温度/湿度传感器、照明传感器、紫外线(Ultraviolet， UV)传感器、肌电图(Electromyography，EMG)传感器、脑电图 (Electroencephalogram，EEG)传感器、心电图(Electrocardiogram，ECG) 传感器、IR(Infrared，红外)传感器、超声波传感器、虹膜传感器、指纹传感器等。(多个)传感器370还可以包括用于控制其中包括的至少一个传感器的控制电路。如下面将更详细讨论的，这些(多个)传感器370中的一个或多个可用于控制UI(user interface，用户界面)、检测UI输入、确定用户的方位和面向方向以用于3D内容显示识别等。例如，在其中UE 300包括头戴式耳机的实施例中，这些(多个)传感器370中的任何一个可以位于UE 300内、被配置为保持UE 300的头戴式耳机内、或者头戴式耳机和UE300两者中。
如下所述，UE 300可以基于元数据来处理输入360°视频。具体地，如果元数据包括存在保护裕度的指示，则UE 300可以处理360°视频。如果不存在保护裕度，则UE 300可以在处理360°视频之前添加保护裕度。
尽管图3示出了UE 300的一个示例，但是可以对图3进行各种改变。例如，图3中的各种组件可以被组合、进一步细分、或省略，并且可以根据特定需要添加额外的组件。作为特定示例，处理器340可以被分成多个处理器，诸如一个或多个中央处理单元(centralprocessing unit，CPU)和一个或多个图形处理单元(graphics processing unit，GPU)。
图4A和图4B示出了用于发送360°视频的打包投影的示例。如图4A 所示，在打包投影中，360°视频被映射到立方体402上，然后立方体402被展开成平面404。每个区域面积或正方形406用于渲染立方体402的六个面中的每一个。在区域边界410处使用保护裕度408以将该区域边界延伸多个纹理元素。保护裕度408防止渲染视频中的边界伪影。保护裕度的高度和/或宽度可以是打包立方体的区域高度和/或宽度的1％。在其他实施例中，保护裕度的范围可以从0％到10％。
图4B示出了根据本公开的实施例的平坦表面420。在一些实施例中，基于视频的内容，保护裕度可能不是必要的。例如，其中跨边界的内容是均匀的，或者其中跨边界具有最小数量的不连续性。在这样的实施例中，沿着边界(其中边界伪影更可能发生)提供保护裕度。例如，如图4B所示，正方形 422和424之间不需要保护裕度，因为跨边界的内容比较均匀。然而，正方形 424和426之间需要边界，因为跨边界的内容不均匀。
在本文描述的实施例中，服务器(例如图1的服务器104)向渲染设备 (诸如图3的UE 300)发送360°视频。与360°视频一起，服务器104还发送与360°视频相关联的元数据。下面提供的语法和语义示出了信号通知与保护裕度相关的元数据的一种方式。在下面的语法中，为每个区域指示保护裕度元数据。也可以为整个3D几何形状仅指示一次元数据。也可以为3D 几何图形上的每一区域边界指示元数据。
对于元数据：
语法
unsigned int(16)center_pitch_offset；
unsigned int(16)center_yaw_offset；
unsigned int(8)num_of_regions；
for(i＝0；i<num_of_regions；i++){
unsigned int(16)region_id；
unsigned int(16)region_top_left_x；
unsigned int(16)region_top_left_y；
unsigned int(16)region_width；
unsigned int(16)region_height；
unsigned int(4)guard margin_flag；
if(guard_margin_flag)
unsigned int(4)guard_margin；
在元数据的以上示例语法中，center_pitch_offset和center_yaw_offset分别指示视频的中心纹理元素被渲染到的点的坐标的俯仰角和偏航角的偏移值。num_of_regions指示在参考轨道中划分视频的区域的数量。region_top_left_x和region_top_left_y分别指示参考轨道中视频的分区区域左上角的水平和垂直坐标。region_width和region_height分别指示参考轨道中视频的分区区域的宽度和高度。guard margin_flag指示360°视频中是否使用了保护裕度。如果 guard margin_flag＝1，则在360°视频中使用保护裕度，否则，如果guard margin_flag＝0，则与不同区域相对应的图像面积被延伸并被输入到渲染器，以便防止边界伪影。guard_margin应该用百分比指示在360°视频中用于延伸区域边界的保护裕度。在本公开的一些实施例中，保护裕度为0将指示没有保护裕度。在本发明的其他实施例中，可以用像素而不是百分比来信号通知保护裕度。
在一些实施例中，元数据可以根据需要对每个多边形边界指示一次保护裕度，如图4B所示。在这样的实施例中，可以使用以下语法：
for(i＝0；i<number of polygon boundaries；++i)
unsigned int(1)guard_margin_flag；
当跨边界的内容是均匀的或者跨边界具有最小数量的不连续性时，可能不需要保护裕度，从而减少了发送到诸如UE 300的渲染设备的数据量。在其他实施例中，根据与边界相关联的文理元素值，保护裕度可以针对每个边界而变化。在这样的实施例中，可以使用以下语法：
for(i＝0；i<number of polygon boundaries；++i){
unsigned int(1)guard_margin_flag；
if(guard_margin_flag)
unsigned int(4)guard_margin；
}
在其他实施例中，可以对所有多边形边界信号通知一次保护裕度，从而减少发送给UE 300的数据量。
图5示出了用于在如图2所示的服务器200中生成360°视频的元数据的方法500。如图5所示，在操作502中，服务器200接收360°视频。然后在操作504中，处理器201分析360°视频以确定360°视频的至少一个特性。例如，如图4A所示，360°视频被解析成六个区域。在操作504中，处理器210可以确定沿着区域的每个边界的每个区域的特性(例如，纹理元素值)。基于这些特性，处理器210可以确定是否需要保护裕度。例如，如果共享边界的两个区域的纹理元素值沿边界是均匀的或基本上均匀的，则可能保护裕度不是必要的。在其他实施例中，如果共享边界的两个区域之间的纹理元素值沿着边界具有最小数量的不连续性，则可能保护裕度是必要的。可以通过计算边界周围像素的方差来确定跨边界的均匀性。如果方差低于阈值，则边界可以被认为是均匀的，否则边界可以被认为是不均匀的。在一些实施例中，诸如一阶导数的其他度量可以用于确定均匀性。
在操作506中，当处理器210确定保护裕度是必要的，则处理器201添加保护裕度。可以通过将该区域中的纹理元素跨边界延伸来生成保护裕度。在其他实施例中，可以通过内插来自共享边界的两个区域的纹理元素来创建保护裕度。
在操作508中，处理器210向与360°视频相关联的元数据添加保护裕度指示符。保护裕度指示符可以为360°视频中的每个边界提供单个指示。在其他实施例中，可以为包括保护裕度的每个边界提供保护裕度指示符。
虽然关于服务器200讨论了图5的方法500，但是当由UE 300接收的 360°视频不包括在360°视频中存在保护裕度的指示时，图3的UE 300也可以执行方法500。
图6示出了用于渲染360°视频的方法600。如图6所示，方法600在操作602中进行，其中UE(例如图3的UE 300)从服务器(诸如图2的服务器200)接收360°视频和与360°视频相对应的元数据。
在操作604中，处理器340解析元数据以识别保护裕度标志。在操作606 中，处理器确定保护裕度标志是否指示保护裕度的存在。如果保护裕度标志存在并且具有设置为1的值，则处理器340确定在360°视频中包括的区域包括保护裕度，并且前进到操作608。如果保护裕度标志的值被设置为“0”，则处理器340确定不存在保护裕度，并前进到操作610。
在操作608中，处理器340基于保护裕度中的填充来渲染360°视频。具体地，当渲染在保护裕度附近的视频时，处理器340基于填充是通过在保护裕度中的框架中延伸纹理元素来创建的还是通过在跨保护裕度内插纹理元素来创建的，来渲染360视频。
在操作610中，处理器340将保护裕度添加到360°视频的一个或多个区域，如上图5所示。可以通过从区域延伸纹理元素或者通过跨区域之间的边界内插纹理元素来创建裕度。一旦处理器340添加了保护裕度，处理器340 就基于保护裕度包括的填充来渲染360°视频。
本申请中的任何描述都不应被理解为暗示任何特定元素、步骤或功能是必须包括在权利要求范围内的基本元素。专利主题的范围仅由权利要求限定。此外，没有一项权利要求旨在援引35 U.S.C.§112(f)，除非“意指(means for)”后面紧跟一个分词。权利要求中的任何其他术语的使用，包括但不限于“机制”、“模块”、“设备”、“单元”、“组件”、“元件”、“构件”、“装置”、“机器”、“系统”、“处理器”或“控制器”被申请人理解为指相关领域技术人员已知的结构，并不旨在援引35 U.S.C.§112(f)。
尽管已经用示例性实施例描述了本公开，但是可以向本领域技术人员建议各种变化和修改。本公开旨在包括落入所附权利要求范围内的这些变化和修改。

Claims (12)

1.一种用于处理360°视频的方法，所述方法包括：
接收平面图像的视频数据和用于处理所述视频数据的元数据，其中所述平面图像包括多个区域，并且所述平面图像是基于将第一全向图像投影到平面空间来生成的；以及
基于所述视频数据和所述元数据渲染第二全向图像；
其中，所述元数据包括标志信息，所述标志信息为所述多个区域中的每个区域指示保护裕度是否被施加到所述多个区域中的区域，并且
当所述标志信息指示所述保护裕度被施加到所述区域时，所述保护裕度延伸所述区域的至少一个边界，以避免边界伪影。
2.根据权利要求1所述的方法，所述方法还包括，当所述多个区域中的至少一个区域不包括所述保护裕度时，添加所述保护裕度到所述至少一个区域。
3.根据权利要求2所述的方法，其中，添加所述保护裕度包括从所述至少一个区域沿所述至少一个区域的一个或多个边界延伸纹理元素。
4.根据权利要求2所述的方法，其中，添加所述保护裕度包括从所述至少一个区域和与所述至少一个区域共享所述边界的另一区域内插纹理元素。
5.根据权利要求2所述的方法，其中，当所述至少一个区域不包括所述保护裕度时，所述方法还包括基于所述至少一个区域的沿所述至少一个区域的一个或多个边界的至少一个特性来确定保护裕度对于所述至少一个区域是否是必要的。
6.根据权利要求5所述的方法，其中，所述至少一个特性包括沿所述至少一个区域和另一区域之间的边界的多个纹理元素值。
7.根据权利要求6所述的方法，其中，当所述多个纹理元素值是均匀的或基本均匀的时，所述方法还包括确定保护裕度不是必要的。
8.根据权利要求6所述的方法，其中，当所述多个纹理元素值包括一数量的不连续性时，所述方法还包括确定保护裕度是必要的。
9.一种用于处理360°视频的用户设备UE，所述UE包括：
通信接口；
存储器；以及
处理器，可操作地耦合到所述通信接口和所述存储器，其中，所述处理器被配置为根据权利要求1至8中的任一项的方法来操作。
10.一种用于存储和发送360°视频的服务器，所述服务器包括：
通信接口；
存储器；以及
处理器，可操作地连接到所述通信接口和所述存储器，其中，所述处理器被配置为：
识别包括多个区域的平面图像的视频数据，其中所述平面图像是基于将第一全向图像投影到平面空间来生成的；
生成包括标志信息的元数据，所述标志信息为所述多个区域中的每个区域指示保护裕度是否被施加到所述多个区域中的区域；以及
传输所述视频数据和所述元数据，
当所述标志信息指示所述保护裕度被施加到所述区域时，所述保护裕度延伸所述区域的至少一个边界，以避免边界伪影。
11.根据权利要求10所述的服务器，其中，所述处理器还被配置为基于至少一个区域的沿所述至少一个区域的边界的至少一个特性来确定所述保护裕度对于所述至少一个区域是否是必要的。
12.根据权利要求11所述的服务器，其中：
所述至少一个特性包括沿所述至少一个区域和另一区域之间的边界的多个纹理元素值，
当所述多个纹理元素值是均匀的或基本均匀的时，所述处理器被配置为确定保护裕度不是必要的，并且
当所述多个纹理元素值包括一数量的不连续性时，所述处理器被配置为确定保护裕度是必要的。
CN201780060671.9A 2016-10-10 2017-10-10 用于处理360°视频的方法、用户设备及服务器 Active CN109792550B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662406068P 2016-10-10 2016-10-10
US62/406,068 2016-10-10
US15/722,828 2017-10-02
US15/722,828 US10404960B2 (en) 2016-10-10 2017-10-02 System and method to prevent boundary artifacts
PCT/KR2017/011123 WO2018070754A1 (en) 2016-10-10 2017-10-10 System and method to prevent boundary artifacts

Publications (2)

Publication Number Publication Date
CN109792550A CN109792550A (zh) 2019-05-21
CN109792550B true CN109792550B (zh) 2021-11-16

Family

ID=61830203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780060671.9A Active CN109792550B (zh) 2016-10-10 2017-10-10 用于处理360°视频的方法、用户设备及服务器

Country Status (5)

Country Link
US (1) US10404960B2 (zh)
EP (1) EP3510770B1 (zh)
KR (1) KR102387566B1 (zh)
CN (1) CN109792550B (zh)
WO (1) WO2018070754A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066991A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
EP3565260A1 (en) * 2016-12-28 2019-11-06 Sony Corporation Generation device, identification information generation method, reproduction device, and image generation method
US11069026B2 (en) * 2018-03-02 2021-07-20 Mediatek Inc. Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US10922783B2 (en) 2018-03-02 2021-02-16 Mediatek Inc. Cube-based projection method that applies different mapping functions to different square projection faces, different axes, and/or different locations of axis
US11010627B2 (en) 2019-01-25 2021-05-18 Gracenote, Inc. Methods and systems for scoreboard text region detection
US10997424B2 (en) 2019-01-25 2021-05-04 Gracenote, Inc. Methods and systems for sport data extraction
US11087161B2 (en) 2019-01-25 2021-08-10 Gracenote, Inc. Methods and systems for determining accuracy of sport-related information extracted from digital video frames
US11805283B2 (en) 2019-01-25 2023-10-31 Gracenote, Inc. Methods and systems for extracting sport-related information from digital video frames
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) * 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
JP2022541908A (ja) * 2019-07-22 2022-09-28 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ボリュメトリックビデオコンテンツを配信するための方法および装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008025839A1 (de) * 2006-09-01 2008-03-06 Seereal Technologies S.A. Verfahren zum generieren von videohologrammen in echtzeit mittels subhologrammen
CN101852980A (zh) * 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
CN104301704A (zh) * 2013-07-17 2015-01-21 宏达国际电子股份有限公司 内容感知显示适应方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677142B1 (ko) 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US20100060640A1 (en) * 2008-06-25 2010-03-11 Memco, Inc. Interactive atmosphere - active environmental rendering
JP5891426B2 (ja) 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
JP6450589B2 (ja) 2014-12-26 2019-01-09 株式会社モルフォ 画像生成装置、電子機器、画像生成方法及びプログラム
US20160295108A1 (en) 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US10681326B2 (en) * 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
WO2018038520A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008025839A1 (de) * 2006-09-01 2008-03-06 Seereal Technologies S.A. Verfahren zum generieren von videohologrammen in echtzeit mittels subhologrammen
CN101852980A (zh) * 2010-06-09 2010-10-06 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
CN104301704A (zh) * 2013-07-17 2015-01-21 宏达国际电子股份有限公司 内容感知显示适应方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WD on ISO/IEC 23000-20 Omnidirectional Media Application Format;Byeongdoo Choi等;《INTERNATIONAL ORGANISATION FOR STANDARDISATION，ISO/IEC JTC1/SC29/WG11》;20160601;全文 *
基于二维投影变换的视频全景图拼接算法;邹晓春等;《数据采集与处理》;20120915(第5期);528-534 *

Also Published As

Publication number Publication date
EP3510770A4 (en) 2019-11-06
US20180103242A1 (en) 2018-04-12
US10404960B2 (en) 2019-09-03
CN109792550A (zh) 2019-05-21
KR102387566B1 (ko) 2022-04-18
KR20190095257A (ko) 2019-08-14
EP3510770B1 (en) 2022-06-08
WO2018070754A1 (en) 2018-04-19
EP3510770A1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
CN109792550B (zh) 用于处理360°视频的方法、用户设备及服务器
CN109845275B (zh) 用于视场虚拟现实流传输的会话控制支持的方法和装置
KR102234928B1 (ko) 가상 현실 경험 공유
KR102499139B1 (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
CN108702454B (zh) 用于视频显示的方法、系统和计算设备
US9075429B1 (en) Distortion correction for device display
KR101945082B1 (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
US11450055B2 (en) Displaying method, animation image generating method, and electronic device configured to execute the same
KR102492565B1 (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
EP3619685B1 (en) Head mounted display and method
US10067656B2 (en) Method and apparatus for context based application grouping in virtual reality
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
EP3092613B1 (en) Image processing method and electronic device implementing the same
KR102164686B1 (ko) 타일 영상의 영상 처리 방법 및 장치
CN106325378B (zh) 用于虚拟现实中的基于上下文的应用分组的方法和装置
KR102284769B1 (ko) 3d 컨텐츠를 제공하는 서버 및 그 동작 방법
US20240022700A1 (en) Immersive display controller interface
US20240187615A1 (en) Signaling of multiview tiled volumetric video
KR102114466B1 (ko) 영상 컨텐츠 내 관심 영역 정보를 이용한 영상 디스플레이 방법 및 장치
EP3629140A1 (en) Displaying method, animation image generating method, and electronic device configured to execute the same
CN113885983A (zh) 名片展示方法、智能终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant