CN113573077B - 具有旋转信息的360°图像/视频内处理方法及装置 - Google Patents

具有旋转信息的360°图像/视频内处理方法及装置 Download PDF

Info

Publication number
CN113573077B
CN113573077B CN202110776415.8A CN202110776415A CN113573077B CN 113573077 B CN113573077 B CN 113573077B CN 202110776415 A CN202110776415 A CN 202110776415A CN 113573077 B CN113573077 B CN 113573077B
Authority
CN
China
Prior art keywords
rotation
content
video
syntax element
oriented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110776415.8A
Other languages
English (en)
Other versions
CN113573077A (zh
Inventor
林鸿志
黄昭智
李佳盈
林建良
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202110776415.8A priority Critical patent/CN113573077B/zh
Publication of CN113573077A publication Critical patent/CN113573077A/zh
Application granted granted Critical
Publication of CN113573077B publication Critical patent/CN113573077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发提供一种视频处理方法，包括：接收具有以360度虚拟现实(360‑degreeVirtual Reality，360VR)投影格式表示的360度图像/视频内容的当前输入帧，对该当前输入帧中的该360度图像/视频内容应用内容导向旋转，以生成具有以该360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧，编码该内容旋转帧以生成比特流，以及通过该比特流发信至少一个语法元素，其中，该至少一个语法元素被设置为用于指示该内容导向旋转的旋转信息。

Description

具有旋转信息的360°图像/视频内处理方法及装置
相关申请的交叉引用
本申请要求下列申请的优先权：2016年11月9日提出的申请号为62/419,513的美国临时案，2016年12月13日提出的申请号为62/433,272的美国临时案，2017年03月09日提出的申请号为62/469,041的美国临时案以及2017年11月03日提出的申请号为15/802,481的美国案。在此合并参考这些申请案的申请标的。
技术领域
本发明有关于360度图像/视频内容处理。更具体地，本发明涉及具有应用于以投影格式来表示的360度图像/视频内容的内容导向旋转的旋转信息的语法元素信令的视频编码功能的方法和设备和具有相关的视频解码功能的方法和设备。
背景技术
具有头戴式显示器(head-mounted display，HMD)的虚拟现实(Virtual reality，VR)与各种应用相关联。向用户显示广泛视野内容的能力可用于提供身临其境的视觉体验。必须捕捉所有方向上的真实世界的环境，从而生成对应于视野范围的全方位视频(omnidirectional video)。随着摄像机和HMD的进步，由于代表诸如360度图像/视频之类的内容所需的高比特率，而导致VR内容的传送可能很快遇到瓶颈。当全方位视频的分辨率为4k或更高时，数据压缩/编码对比特率的降低至关重要。
通常，将对应于视野范围的全方位视频转换成图像序列，其中的每一个图像序列都以360度虚拟现实(360-degree Virtual Reality，360VR)投影格式来表示，随后得到的图像序列被编码为用于传输的比特流。然而，由于移动对像被所应用的360VR投影格式分割和/或拉伸，原始的以360度虚拟现实投影格式表示的360度图像/视频内容可能具有较差的压缩效率。因此，需要一种能够提高以360VR投影格式表示的360度图像/视频内容的压缩效率的创新设计。
发明内容
本发明的目的之一是提供具有应用于以投影格式表示的360度图像/视频内容的内容导向旋转的旋转信息的语法元素信令的视频编码功能的方法和设备以及具有相关的视频解码功能的方法和设备。
根据本发明的第一方面，公开了一种视频处理方法。所述视频处理方法包括：接收具有以360度虚拟现实(360-degree Virtual Reality，360VR)投影格式表示的360度图像/视频内容的当前输入帧，将内容导向旋转应用于当前输入帧中的360度图像/视频内容以生成具有以360VR投影格式表示的旋转的360度图像/视频内容的内容旋转帧，编码所述内容旋转帧以生成比特流，以及通过所述比特流发信至少一个语法元素，其中，所述至少一个语法元素被设置为用于指示所述内容导向旋转的旋转信息。
根据本发明的第二方面，公开了一种视频处理方法。所述视频处理方法包括接收比特流，处理比特流以从比特流中获取至少一个语法元素，对比特流进行解码以生成具有以360度虚拟现实(360-degree Virtual Reality，360VR)表示的旋转的360度图像/视频内容的当前解码帧，以及根据当前解码帧以及由至少一个语法元素指示的内容导向旋转的旋转信息，在显示屏幕上渲染和显示输出图像数据，其中在生成旋转的360度图像/视频内容中涉及内容导向旋转。
根据本发明的第三方面，公开了一种视频处理设备。所述视频处理设备包括内容导向旋转电路和视频编码器。内容导向旋转电路用于接收具有以360度虚拟现实投影格式表示的360度图像/视频内容的当前输入帧，并且将内容导向旋转应用于360度图像/视频内容以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧。视频编码器用于对内容旋转帧进行编码以生成比特流且通过所述比特流发信至少一个语法元素，其中至少一个语法元素被设置为用于指示内容导向旋转的旋转信息。
根据本发明的第四方面，公开了一种视频处理设备。所述视频处理设备包括视频解码器和图像渲染电路。视频解码器用于接收比特流，处理所述比特流以从所述比特流中获取至少一个语法元素，并且解码所述比特流以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的当前解码帧。图像渲染电路用于根据当前解码帧以及由至少一个语法元素指示的内容导向旋转的旋转信息，在显示屏幕上渲染和显示输出图像数据，其中在生成旋转的360度图像/视频内容中涉及内容导向旋转。
在阅读了以下各个附图和附图中示出的优选实施例的详细描述之后，本发明的这些和其它目的无疑对于本领域的技术人员变得显而易见。
附图说明
图1是根据本发明实施例的360度虚拟现实(360-degree Virtual Reality，360VR)系统的示意图。
图2是根据本发明实施例提出的内容导向旋转的概念示意图。
图3是根据本发明实施例的视频编码器的示意图。
图4是根据本发明实施例的使用具有相同旋转角度的不同旋转顺序来执行内容导向旋转的示意图。
图5是根据本发明实施例的视频解码器的示意图。
具体实施方式
在接下来的描述和权利要求书中贯穿使用了某些涉及特定的组件的术语。如本领域的技术人员将认识到，电子设备制造商可以通过不同的名称来指代组件。本文不打算区分名称不同但功能相同的组件。在接下来的描述和权利要求书中，术语“包括(include)”和“包含(comprise)”以开放式方式使用，因此其应解释为意指“包括但不限于...”。此外，术语“耦接”用于表示间接或直接的电连接。因此，如果一个设备耦于接另一个设备，则所述连接可以通过直接电连接，或者通过经由其他设备和连接的间接电连接。
图1是根据本发明实施例的360度虚拟现实(360-degree Virtual Reality，360VR)系统的示意图。360VR系统100包括源电子设备102和目标电子设备104。源电子设备102包括视频捕捉设备112、转换电路114、内容导向旋转电路116和视频编码器118。例如，视频捕捉设备112可以是用于提供对应于球形视野(viewing sphere)的全方位图像内容(例如，覆盖整个周围环境的多个图像)S_IN的一组相机。转换电路114根据全方位图像内容S_IN生成具有360度虚拟现实(360VR)投影格式L_VR的当前输入帧IMG。在该示例中，转换电路114为从视频捕捉设备112提供的360度视频的每个视频帧生成一个输入帧。被转换电路114应用的360VR投影格式L_VR可以是任何可用的投影格式，包括等矩形投影(equirectangular projection，ERP)格式、立方体投影(cubemap projection，CMP)格式、八面体投影(octahedron projection，OHP)格式、二十面体投影(icosahedronprojection，ISP)格式等。内容导向旋转电路116接收当前输入帧IMG(其具有以360VR投影格式L_VR表示的360度图像/视频内容)，并且将内容导向旋转应用于当前输入帧IMG中的360度图像/视频内容以生成内容旋转帧IMG’，内容旋转帧IMG’具有以相同的360VR投影格式L_VR表示的旋转的360度图像/视频内容。此外，应用的内容导向旋转的旋转信息INF_R被提供给视频编码器118以用于语法元素信令(syntax element signaling)。
图2是根据本发明实施例提出的内容导向旋转的概念示意图。为了清楚和简单，假设360VR投影格式L_VR是ERP格式。因此，球形视野202的360度图像/视频内容经由球形视野202的矩形投影，映射到矩形投影面上。这样，具有以ERP格式表示的360度图像/视频内容的当前输入帧IMG由转换电路114生成。如上文所述，由于移动对像被所应用的360VR投影格式分割和/或拉伸，以360VR投影格式表示的原始的360度图像/视频内容可能具有较差的压缩效率。为了解决这个问题，本发明提出将内容导向旋转应用于360度图像/视频内容以提高编解码效率。
此外，图2中示出了计算内容旋转帧IMG’中的像素位置处的像素值的示例。对于内容旋转帧IMG’中的具有坐标(x，y)的像素位置co，可以将2D坐标(x，y)通过2D到3D的映射过程映射为3D坐标s(球形视野202上的点)。然后，在执行内容导向旋转之后，将该3D坐标s转换为另一个3D坐标s’(球形视野202上的点)。内容导向旋转可以通过旋转矩阵乘法(rotation matrix multiplication)来实现。最后，通过3D到2D的映射过程，可以在当前输入帧IMG中找到具有坐标(x’i，y’i)的对应2D坐标ci’。因此，对于内容旋转帧IMG’中的每个整数像素(例如，co＝(x，y))，可以通过从内容旋转帧IMG’到球形视野202的2D到3D的映射、用于当前旋转的球形视野202的旋转矩阵乘法、从球形视野202到当前输入帧IMG的3D到2D的映射，找到当前输入帧IMG中的对应位置(例如，ci’＝(x’i,y’i))。如果x’i和y’i中的一个或两个是非整数位置，则可以将插值滤波器(图未示)应用于当前输入帧IMG中的点ci’＝(x’i,y’i)周围的整数像素，来推导出内容旋转帧IMG’中的点co＝(x，y)的像素值。
与将当前输入帧IMG编码为用于传输的比特流的传统视频编码器相比，视频编码器118将内容旋转帧IMG’编码为比特流BS，然后将比特流BS通过诸如有线/无线通信链路或存储介质之类的传输装置103输出到目标电子设备104。具体地，视频编码器118为从内容导向旋转电路116输出的每个内容旋转帧生成一编码帧。因此，由视频编码器118顺序地生成连续的编码帧。另外，内容导向旋转电路116执行的内容导向旋转的旋转信息INF_R被提供给视频编码器118。因此，视频编码器118还通过比特流BS发信语法元素，其中语法元素被设置为用于指示应用于当前输入帧IMG的内容导向旋转的旋转信息INF_R。
图3是根据本发明实施例的视频编码器的示意图。图1中所示的视频编码器118可以由图3所示的视频编码器300来实现。视频编码器300是用于压缩原始视频数据以生成压缩视频数据的硬体电路。如图3所示，视频编码器300包括控制电路302和编码电路304。需要注意的是，图3所示的视频编码器架构仅用于说明的目的，并不意味着对本发明的限制。例如，编码电路304的架构可以根据编码标准而变化。编码电路304对内容旋转帧IMG’(其具有以360VR投影格式L_VR表示的旋转的360度图像/视频内容)进行编码以生成比特流BS。如图3所示，编码电路304包括残差计算电路311、转换电路(由“T”表示)312、量化电路(由“Q”表示)313，熵编码电路(例如可变长度编码器)314、逆量化电路(由“IQ”表示)315、逆转换电路(由“IT”表示)316、重建电路317、至少一个环路滤波器318、参考帧缓冲器319、帧间预测电路320(其包括运动估计电路(由“ME”表示)321和运动补偿电路(由“MC”表示)322)、帧内预测电路(由“IP”表示)323以及帧内/帧间模式选择开关324。由于在编码电路304中应用的这些电路组件的基本功能和操作对于本领域的技术人员来说是众所周知的，因此为了简洁起见，在此省略了进一步的描述。
视频编码器300与传统的视频编码器之间的主要区别在于，控制电路302用于接收来自之前的电路(例如图1中所示的内容导向旋转电路116)的旋转信息INF_R，并且根据旋转信息INF_R设置至少一个语法元素(SE)，其中指示旋转信息INF_R的语法元素将通过从熵编码电路314生成的比特流BS来发信给视频解码器。通过这种方法，目标电子设备104(其具有视频解码器)根据发信的语法元素可以知晓编码器侧的内容导向旋转的细节，并且可以，例如，执行解码器侧的逆内容导向旋转，以获取所需的视频数据以进行渲染和显示。
内容导向旋转电路116执行的内容导向旋转可以由旋转轴、旋转顺序和旋转角来指定。内容导向旋转可以包括按照旋转顺序沿着一组旋转轴的基本旋转(elementalrotation)，其中旋转顺序指定了内容导向旋转使用的旋转轴的顺序，并且沿着对应旋转轴的每个基本旋转由具有特定旋转角度的旋转角来表示。例如，旋转轴可以是笛卡尔坐标系中的三个正交轴(例如，x轴、y轴、z轴)，并且旋转顺序可以是通常使用的特定顺序偏航-俯仰-横滚(例如，z-y-x)。然而，这些仅用于说明的目的，并不意味着对本发明的限制。例如，旋转轴不需要是正交轴。又例如，可以调整旋转轴的数量和旋转角的数量。在内容导向旋转中只涉及一个旋转轴的情况下，可以省略旋转顺序。
应该注意的是，具有相同旋转角的不同旋转顺序可以生成不同的结果。图4是根据本发明实施例的使用具有相同旋转角的不同旋转顺序来执行内容导向旋转的示意图。第一示例Ex1中的内容导向旋转包括沿着y轴旋转30°，然后沿着z轴旋转30°。在第二示例Ex2中的另一个内容导向旋转包括沿着z轴旋转30°然后沿着y轴旋转30°。如图4所示，根据第一示例Ex1中的内容导向旋转，将位于(x,y,z)＝(1,0,0)处的图像/视频内容旋转到处，以及根据第二示例Ex2中的内容导向旋转，将位于(x,y,z)＝(1,0,0)处的图像/视频内容旋转到/>处。因此，除了旋转轴和相关的旋转角之外，还需要在内容导向旋转中精确定义旋转顺序。
每个旋转轴可以在编码器侧和解码器侧预先定义(例如，在规范文本中定义)。因此，由内容导向旋转电路116执行的内容导向旋转使用的多个旋转轴(或单个旋转轴)的信息不需要通过比特流BS来发信。或者，每个旋转轴可以由内容导向旋转电路116主动地设置。因此，由内容导向旋转电路116执行的内容导向旋转使用的多个旋转轴(或单个旋转轴)的信息需要通过比特流BS来发信。
旋转顺序可以在编码器侧和解码器侧预先定义(例如，在规范文本中定义)。由内容导向旋转电路116执行的内容导向旋转使用的旋转顺序的信息不需要通过比特流BS来发信。或者，旋转顺序可以由内容导向旋转电路116主动地设置。因此，由内容导向旋转电路116执行的内容导向旋转使用的旋转顺序的信息需要经由比特流BS来发信。
与每个旋转轴相关的旋转角的旋转角度可以针对不同的帧而变化。因此，由内容导向旋转电路116执行的内容导向旋转使用的多个旋转角度(或单个旋转角度)的信息需要通过比特流BS来发信。
如上文所述，语法元素SE被设置为用于指示应用于当前输入帧IMG的内容导向旋转的旋转信息INF_R。在编码器侧和解码器侧预先定义旋转轴的第一种情况下，由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转顺序和旋转角度，其将由从编码器侧发信给解码器侧的语法来指示。在编码器侧和解码器侧中预先定义了旋转轴和旋转顺序的第二情况下，由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转角度，其将由从编码器侧发信给解码器侧的语法来指示。在编码器侧和解码器侧预先定义旋转顺序的第三种情况下，由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转轴和旋转角度，其将由从编码器侧发信给解码器侧的语法来指示。在编码器侧和解码器侧没有预先定义旋转轴和旋转顺序的第四种情况下，由内容导向旋转电路116提供给视频编码器118的旋转信息INF_R包括旋转轴、旋转顺序和旋转角度，其将由从编码器侧发信给解码器侧的语法来指示。
请再次参考图1，目标电子设备104可以是头戴式显示器(head-mounted display，HMD)设备。如图1所示，目标电子设备104包括视频解码器122、图像渲染电路124和显示屏幕126。视频解码器122接收来自传输装置103(例如，有线/无线通信链路或存储介质)的比特流BS，并解码接收到的比特流BS以生成当前解码帧IMG”，具体地说，视频解码器122为从传输装置103传输的每个编码帧生成一个解码帧。因此，由视频解码器122顺序生成连续的解码帧。在本实施例中，由视频编码器118编码的内容旋转帧IMG’具有360VR投影格式。因此，在视频解码器122对比特流BS进行解码之后，当前解码帧(即，重建帧)IMG”具有相同的360VR投影格式。
图5是根据本发明实施例的视频解码器的示意图。图1中所示的视频解码器122可以由图5所示的视频解码器500来实现。视频解码器500可经由诸如有线/无线通信链路或存储介质的传输装置来与视频编码器(例如，图1中所示的视频编码器118)进行通信。视频解码器500是用于解压缩压缩的图像/视频数据以生成解压缩的图像/视频数据的硬体电路。在本实施例中，视频解码器500接收比特流BS，并解码所接收的比特流BS以生成当前解码帧IMG”。如图5所示，视频解码器500包括解码电路520和控制电路530。需要注意的是，图5所示的视频解码器架构仅用于说明的目的，并不意味着对本发明的限制。例如，解码电路520的架构可以根据编解码标准而变化。解码电路520包括熵解码电路(例如，可变长度解码器)502、逆量化电路(由“IQ”表示)504、逆转换电路(由“IT”表示)506、重建电路508、运动向量计算电路(由“MV计算”表示)510、运动补偿电路(由“MC”表示)513、帧内预测电路(由“IP”表示)514、帧内/帧间模式选择开关516、至少一个环路滤波器518和参考帧缓冲器522。由于在解码电路520中应用的这些电路组件的基本功能和操作对于本领域的技术人员来说是众所周知的，因此为了简洁起见，在此省略了进一步的描述。
视频解码器500与传统视频解码器之间的主要差异在于熵解码电路502还用于对比特流BS执行数据处理(例如，语法解析)以获取通过比特流BS发信的语法元素SE，并且将获取的语法元素SE输出给控制电路530。因此，关于对应于由当前输入帧生成的内容旋转帧IMG’的当前解码帧IMG”，控制电路530可以参考语法元素SE来确定用于当前输入帧IMG的编码器侧内容导向旋转的旋转信息INF_R。
如上文所述，当前解码帧IMG”具有以360VR投影格式表示的旋转的360度图像/视频内容。在本实施例中，从比特流BS获取的语法元素SE指示在生成以360VR投影格式表示的旋转的360度图像/视频内容涉及的内容导向旋转的旋转信息INF_R。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中预先定义旋转轴的第一种情况下，从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转顺序和旋转角度。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中预先定义了旋转轴和旋转顺序的第二情况下，从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转角度。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中预先定义了旋转顺序的第三种情况下，，从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转角轴和旋转角度。在编码器侧和解码器侧(特别是内容导向旋转电路116和图像渲染电路124)中没有预先定义旋转轴和旋转顺序的第四情况下，从控制电路530提供的旋转信息INF_R包括由发信的语法元素来指示的旋转轴、旋转顺序和旋转角度。
图像渲染电路124根据当前解码帧IMG”和在生成旋转的360度图像/视频内容中涉及的内容导向旋转的旋转信息INF_R，渲染输出图像数据并将其在显示屏幕126上显示。例如，根据由发信的语法元素SE推导出的旋转信息INF_R，以360VR投影格式表示的旋转的360度图像/视频内容可以逆旋转，并且以360VR投影格式表示的逆旋转的360度图像/视频内容可以用于渲染和显示。
为了更好地理解本发明的技术特征，以下描述几个示例性语法信令方法。视频编码器118/300可使用提出的语法信令方法中的一个来发信指示应用于以360VR投影格式表示的360度图像/视频内容的内容导向旋转的旋转信息INF_R的语法元素SE，以及视频解码器122/500可以参考由视频编码器118/300应用的提出的语法信令方法中的一个发信的语法元素SE，来确定在生成以360度VR投影格式表示的旋转的360度图像/视频内容中涉及的内容导向旋转的旋转信息INF_R。
应该注意的是，以下示例性语法表中的描述符(descriptor)指定每个语法元素的解析过程。具体而言，可以通过固定长度编解码(例如，f(n)、i(n)或u(n))和/或可变长度编解码(例如，ce(v)、se(v)或ue(v))对语法元素进行编解码。描述符f(n)描述了一个固定模式的比特串，它使用从左边比特开始写入的(从左到右)n个比特。描述符i(n)描述一个使用n个比特的带符号整数(signed integer)。描述符u(n)描述一个使用n个比特的无符号整数(unsigned integer)。描述符ce(v)描述从左边比特开始的上下文自适应可变长度熵编解码语法元素。描述符se(v)描述具有从左边比特开始的带符号整数哥伦布编码语法元素(unsigned integer Exp-Golomb-coded syntax element)。语法元素ue(v)描述从左边比特开始的无符号整数哥伦布编码语法元素。
根据第一语法信令方法，可以使用如下语法表。
当应用第一语法信令方法时，可以在序列级标头(sequence-level header)中指示内容导向旋转的旋转信息。H.264和H.265可以具有被每个切片参考的多个序列参数集(Sequence Parameter Set，SPS)/图像参数集(Picture Parameter Set，PPS)。每个切片可以根据其PPS/SPS标识符(identifier，ID)获取对应的编解码参数。因此，可以通过发信的每个旋转轴的旋转角度在SPS/PPS或补充增强信息(Supplementary EnhancementInformation，SEI)中指示内容导向旋转的旋转信息。当解码视频帧时，视频解码器122可以通过参考对应的SPS/PPS ID或SEI来获取旋转信息。
语法元素zero_yaw_orientation被设置为用于指示是否存在沿着偏航轴(例如，z轴)的旋转。语法元素zero_roll_orientation被设置为用于指示是否存在沿着横滚轴(例如，x轴)旋转。语法元素zero_pitch_orientation被设置为用于指示是否存在沿着俯仰轴(例如，y轴)的旋转。当存在沿着偏航轴的旋转(即，！zero_yaw_orientation＝＝True)时，通过从多个预定义索引值(index value)中选择的索引值来设置语法元素yaw_orientation_index，其中预定义索引值被分别映射到不同的预定义旋转角度和用户定义的旋转角度。例如，索引值和旋转角度之间的映射可以由下表来定义。
如果沿着偏航轴的旋转的旋转角度没有被“000”-“110”中的任何一个索引(即，Orientation_index＝＝‘111’)，则通过设置语法元素yaw_orientation_degree来发信用户定义的旋转角度。
当存在沿着横滚轴的旋转(即，！zero_roll_orientation＝＝True)时，语法元素roll_orientation_index由如上表中列出的预定义索引值中选择的索引值来设置。如果沿着横滚轴的旋转的旋转角度没有被“000”-“110”中的任何一个索引(即，Orientation_index＝＝‘111’)，则通过设置语法元素roll_orientation_degree来发信用户定义的旋转角度。
当存在沿着俯仰轴的旋转(即，！zero_pitch_orientation＝＝True)时，语法元素pitch_orientation_index由如上表中列出的预定义索引值中选择的索引值来设置。如果沿着俯仰轴的旋转旋的转角度没有被“000”-“110”中的任何一个索引(即，Orientation_index＝＝‘111’)，则通过设置语法元素pitch_orientation_degree来发信用户定义的旋转角度。
为了表示所有可能的内容导向旋转，这三个轴的旋转角度的范围不需要从-180°到180°(即0°-360°)。实际上，其中的一个旋转范围从-90°到90°(即，0°-180°)，而其余的从-180°到180°(即，0°-360°)足够用于表示内容导向旋转。在第一语法信令方法中，假定旋转角度是整数值。关于旋转顺序(例如，偏航-横滚-俯仰(z-x-y))中第一旋转轴(例如，偏航轴或者z轴)和第二旋转轴(例如，横滚轴或者x轴)的用户定义的旋转角度，每个都被9个比特设置以指示从-180°到180°(即0°-360°)范围内的旋转角度。然而，关于旋转顺序(例如，偏航-横滚-俯仰(z-x-y))中的第三旋转轴(例如，俯仰轴或者y轴)的用户定义的旋转角度，用户定义的旋转的范围度仅为-90°至90°(即0°-180°)。因此，8个比特足以表示第三旋转轴(例如，俯仰轴或者y轴)的用户定义旋转角度。
根据第二语法信令方法，可以使用如下语法表。
当应用第二语法信令方法时，内容导向旋转的旋转信息可以在视频帧的持续时间(time-duration)中的序列级标头中指示。例如，音频视频编码标准(Audio Video codingStandard，AVS)具有用于视频帧持续时间的一SPS。这些在相同持续时间内的视频帧具有相同的序列级编解码参数。因此，内容导向旋转的旋转信息可以在视频帧的当前持续时间中指示，并且可以在视频帧的下一个持续时间中更新。在本发明的一些实施例中，内容导向旋转的旋转信息可以在视频帧的持续时间中的SPS/PPS或补充增强信息(SupplementaryEnhancement Information，SEI)中指示。或者，当应用第二语法信令方法时，内容导向旋转的旋转信息可以在图像级标头中指示。因此，针对每个视频帧发信内容导向旋转的旋转信息。
语法元素prev_orientation被设置为用于指示应用于当前输入帧的内容导向旋转与应用于至少一个先前输入帧的内容导向旋转是否相同。例如，针对在视频帧的持续时间内的序列级标头中指示的内容导向旋转的旋转信息的情况而言，当前输入帧可以是视频帧的持续时间内的第一视频帧，并且至少一个先前输入帧中的每一个可以是视频帧的先前持续时间内的一视频帧，并且视频帧的当前持续时间紧接着该该先前持续时间。在另一个实施例中，针对在每个视频帧的图像级标头中指示的内容导向旋转的旋转信息的情况而言，至少一个先前输入帧和当前输入帧为两个连续的视频帧。因此，当视频帧的当前持续时间内的内容导向旋转与视频帧的先前持续时间内的内容导向旋转相同时，则发信1个比特的语法元素prev_orientation以节省用于表示旋转角度信息的语法比特。
当应用于当前输入帧的内容导向旋转不同于应用于至少一个先前输入帧的内容导向旋转(亦即，！prev_orientation＝＝True)时，语法元素zero_yaw_orientation被设置为用于指示是否存在沿着偏航轴(例如，z轴)的旋转，语法元素zero_roll_orientation被设置为用于指示是否存在沿着横滚轴(例如，x轴)的旋转，以及语法元素zero_pitch_orientation被设置为用于指示是否存在沿着俯仰轴(例如，y轴)的旋转。
当存在沿着偏航轴的旋转时(亦即，！zero_yaw_orientation＝＝True)，语法元素yaw_orientation_diff被设置为用于指示应用于当前输入帧的内容导向旋转和应用于至少一个先前输入帧的内容导向旋转的沿着偏航轴的旋转角度差(rotation degreedifference)。当对一个视频帧进行解码时，视频解码器122可以通过加上由语法元素yaw_orientation_diff发信的旋转角度差来确定沿着偏航轴的旋转角度。
当存在沿着横滚轴的旋转时(即，！zero_roll_orientation＝＝True)，语法元素roll_orientation_diff被设置为用于指示应用于当前输入帧的内容导向旋转和应用于至少一个先前输入帧的内容导向旋转的沿着横滚轴的旋转角度差。当对一个视频帧进行解码时，视频解码器122可以通过加上由语法元素roll_orientation_diff发信的旋转角度差来确定沿着横滚轴的旋转角度。
当存在沿着俯仰轴的旋转时(即，！zero_pitch_orientation＝＝True)，语法元素pitch_orientation_diff被设置为用于指示应用于当前输入帧的内容导向旋转和于应用于至少一个先前输入帧的内容导向旋转的沿着俯仰轴的旋转角度差。当对一个视频帧进行解码时，视频解码器122可以通过加上由语法元素pitch_orientation_diff发信的旋转角度差来确定沿着俯仰轴的旋转角度。
上文所述的的第一语法信令方法和第二语法信令方法中的每一个语法信令方法执行旋转信息的统一语法信令，而不管所应用的360VR投影格式如何。或者，第一语法信令方法和第二语法信令方法可以修改为基于投影格式的语法信令方法。也就是说，旋转信息的语法信令可以取决于所应用的360VR投影格式。
根据第三语法信令方法，可以使用以下语法表。
/>
/>
根据第四语法信令方法，可以使用以下语法表。
/>
不同的360VR投影格式可以具有不同的合适的旋转尺寸。例如，对于立方体投影格式，单独的偏航旋转可能已经足够。又例如，对于等矩形投影格式，单独的横滚旋转可能已经足够。因此，当360VR投影格式是立方体投影格式时，语法元素vr_content_format被设置为“1”；当360VR投影格式是等矩形投影格式时，语法元素vr_content_format被设置为“3”。在本实施例中，vr_content_format＝1/3具有语法信令的旋转的一维度，而vr_content_format＝2具有语法信令的旋转的二维度。简而言之，关于第三语法信令方法和第四语法信令方法中的每一个，内容导向旋转的旋转轴选择取决于语法元素vr_content_format，语法元素vr_content_format是在应用的360VR投影格式的基础上设置的。由于本领域的技术人员在阅读以上关于第一语法信令方法和第二语法信令方法的段落之后可以容易地理解第三语法信令方法和第四语法信令方法的细节，为了简洁起见，这里省略进一步的描述。
根据第五语法信令方法，可以使用以下语法表。
1个比特的开/关标志(disable_content_orientation)被用来指示当前输入帧中的360度图像/视频内容的内容导向旋转是否被启用。当当前输入帧中的360度图像/视频内容的内容导向旋转被启用时，语法元素disable_content_orientation被设置为“0”；当当前输入帧中的360度图像/视频内容的内容导向旋转被停用时，语法元素disable_content_orientation被设置为“1”。在当前输入帧中的360度图像/视频内容的内容导向旋转被启用(即，！disable_content_orientation＝＝True)的情况下，语法元素roll_orientation_degree被设置为用于指示沿着横滚轴(例如，x轴)的旋转角度，语法元素yaw_orientation_degree被设置为指示沿着偏航轴(例如，z轴)的旋转角度，以及语法元素pitch_orientation_degree被设置为指示沿着俯仰轴的旋转角度(例如，y轴)。
当应用第五语法信令方法时，可以在序列级标头中指示内容导向旋转的旋转信息。例如，可以发信沿着每个旋转轴的旋转角度而在SPS/PPS或补充增强信息中指示内容导向旋转的旋转信息。或者，当应用第五语法信令方法时，内容导向旋转的旋转信息可以在每个视频帧的图像级标头中指示。
本领域的技术人员将容易观察到，可以在维持本发明的教导的同时对设备和方法进行许多修改和变更。因此，上述公开内容应该被理解为仅由所附权利要求书的范围来限定。

Claims (6)

1.一种视频处理方法，其特征在于，包括：
接收比特流；
处理所述比特流以从所述比特流中获取至少一个语法元素；以及
解码所述比特流以生成当前解码帧，所述当前解码帧具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容；
其中通过所述比特流发信的所述至少一个语法元素指示生成所述旋转的360度图像/视频内容所涉及的内容导向旋转的旋转信息，并包括：
第一语法元素，当所述内容导向旋转被启用时，所述第一语法元素指示沿着特定旋转轴的旋转角度；以及
第二语法元素，所述第二语法元素指示所述内容导向旋转是否被启用。
2.一种视频处理方法，其特征在于，包括：
接收比特流；
处理所述比特流以从所述比特流中获取至少一个语法元素；以及
解码所述比特流以生成当前解码帧，所述当前解码帧具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容；
其中通过所述比特流发信的所述至少一个语法元素指示生成所述旋转的360度图像/视频内容所涉及的内容导向旋转的旋转信息，并包括；
第一语法元素，所述第一语法元素指示所述当前解码帧中生成所述旋转的360度图像/视频内容所涉及的所述内容导向旋转与至少一个先前解码帧中生成旋转的360度图像/视频内容所涉及的内容导向旋转是否相同；
第二语法元素，当所述当前解码帧中生成所述旋转的360度图像/视频内容所涉及的所述内容导向旋转不同于所述至少一个先前解码帧中生成旋转的360度图像/视频内容所涉及的内容导向旋转时，所述第二语法元素指示是否存在沿着特定旋转轴的旋转。
3.如权利要求2所述的视频处理方法，其特征在于，所述至少一个语法元素还包括：
第三语法元素，当存在沿着所述特定旋转轴的旋转时，所述第三语法元素指示在所述当前解码帧中生成所述旋转的360度图像/视频内容所涉及的所述内容导向旋转沿着所述特定旋转轴的旋转角度与所述至少一个先前解码帧中生成所述旋转的360度图像/视频内容所涉及的所述内容导向旋转沿着所述特定旋转轴的旋转角度之间的差。
4.如权利要求3所述的视频处理方法，其特征在于，所述至少一个语法元素还包括：
第三语法元素，当所述360度虚拟现实投影格式是第一投影格式时，所述第三语法元素具有第一值，以及当所述360度虚拟现实投影格式是不同于所述第一投影格式的第二投影格式时，所述第三语法元素具有第二值，所述特定旋转轴根据所述第三语法元素而变化。
5.一种视频处理设备，包括：
视频解码器，用于接收比特流，处理所述比特流以从所述比特流中获取至少一个语法元素，且解码所述比特流以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的当前解码帧；
其中，通过所述比特流发信的所述至少一个语法元素指示生成所述旋转的360度图像/视频内容所涉及的内容导向旋转的旋转信息，并包括：
第一语法元素，当所述内容导向旋转被启用时，所述第一语法元素指示沿着特定旋转轴的旋转角度；以及
第二语法元素，所述第二语法元素指示所述内容导向旋转是否被启用。
6.如权利要求5所述的视频处理设备，其特征在于，进一步包括：
图像渲染电路，用于根据所述当前解码帧以及所述旋转信息，在显示屏幕上渲染并显示输出图像数据。
CN202110776415.8A 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置 Active CN113573077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110776415.8A CN113573077B (zh) 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662419513P 2016-11-09 2016-11-09
US62/419,513 2016-11-09
US201662433272P 2016-12-13 2016-12-13
US62/433,272 2016-12-13
US201762469041P 2017-03-09 2017-03-09
US62/469,041 2017-03-09
US15/802,481 2017-11-03
US15/802,481 US10560678B2 (en) 2016-11-09 2017-11-03 Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
CN201780062694.3A CN109804634B (zh) 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置
CN202110776415.8A CN113573077B (zh) 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置
PCT/CN2017/109894 WO2018086524A1 (en) 2016-11-09 2017-11-08 Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780062694.3A Division CN109804634B (zh) 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置

Publications (2)

Publication Number Publication Date
CN113573077A CN113573077A (zh) 2021-10-29
CN113573077B true CN113573077B (zh) 2023-10-13

Family

ID=62064713

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110776415.8A Active CN113573077B (zh) 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置
CN201780062694.3A Active CN109804634B (zh) 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780062694.3A Active CN109804634B (zh) 2016-11-09 2017-11-08 具有旋转信息的360°图像/视频内处理方法及装置

Country Status (6)

Country Link
US (2) US10560678B2 (zh)
EP (1) EP3476128A4 (zh)
JP (1) JP2019530296A (zh)
CN (2) CN113573077B (zh)
TW (1) TWI656787B (zh)
WO (1) WO2018086524A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052129A (ko) * 2016-10-04 2019-05-15 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN110073662B (zh) 2016-11-17 2023-07-18 英特尔公司 全景视频的建议视口指示方法及装置
CN112702523B (zh) 2016-11-17 2022-05-06 英特尔公司 解码器、视频处理方法、系统和装置
US10726602B2 (en) * 2017-02-03 2020-07-28 Sony Corporation Apparatus and method to generate realistic three-dimensional (3D) model animation
CN109584376B (zh) * 2018-12-03 2023-04-07 广东工业大学 基于vr技术的构图教学方法、装置、设备以及存储介质
US10742882B1 (en) * 2019-05-17 2020-08-11 Gopro, Inc. Systems and methods for framing videos
US11190801B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11659206B2 (en) * 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
WO2021045536A1 (en) * 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
CN112102160B (zh) * 2020-11-16 2021-06-29 首望体验科技文化有限公司 适配于720胶囊型屏幕的视频处理方法、装置及相关产品
CN112235555B (zh) * 2020-12-10 2021-04-27 首望体验科技文化有限公司 720全景视频投影系统、视频处理方法、装置
CN112285993B (zh) * 2020-12-29 2021-05-11 首望体验科技文化有限公司 一种在720胶囊型屏幕上展示球幕视频的方法、装置及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1367618A (zh) * 2000-10-20 2002-09-04 三星电子株式会社 用于定向内插器节点的编码装置和方法
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
CN101361307A (zh) * 2006-01-06 2009-02-04 松下电器产业株式会社 无线通信装置
KR20100030119A (ko) * 2008-09-09 2010-03-18 에스케이 텔레콤주식회사 회전 움직임을 고려한 인터 예측 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8687060B1 (en) * 2009-12-28 2014-04-01 Cognex Corporation System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
EP2418854A3 (en) 2006-10-24 2012-06-06 Thomson Licensing Picture identification for multi-view video coding
KR101490689B1 (ko) 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
CN101540926B (zh) 2009-04-15 2010-10-27 南京大学 基于h.264的立体视频编解码方法
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
CN101729892B (zh) 2009-11-27 2011-07-27 宁波大学 一种非对称立体视频编码方法
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
CN102006480B (zh) 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
US20120230594A1 (en) * 2011-03-10 2012-09-13 Jill Boyce Adaptive picture rotation
US8872855B2 (en) 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
EP2672452B1 (en) 2012-02-23 2017-12-27 Square Enix Holdings Co., Ltd. Moving image distribution server, moving image playback device, control method, program, and recording medium
US9571812B2 (en) * 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
CN103402109B (zh) 2013-07-31 2015-07-08 上海交通大学 3d视频中左右视点间帧同步性的检测与保证方法
CN103646424B (zh) 2013-11-26 2016-05-04 北京空间机电研究所 一种空中无缝虚拟漫游系统构建方法
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
CN105872386A (zh) 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
KR20190054060A (ko) * 2016-09-02 2019-05-21 브이아이디 스케일, 인크. 360도 비디오 정보의 시그널링을 위한 방법 및 시스템
EP3301928A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Methods, devices and stream to encode global rotation motion compensated images
CN112702523B (zh) 2016-11-17 2022-05-06 英特尔公司 解码器、视频处理方法、系统和装置
US20180262774A1 (en) * 2017-03-09 2018-09-13 Mediatek Inc. Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1367618A (zh) * 2000-10-20 2002-09-04 三星电子株式会社 用于定向内插器节点的编码装置和方法
CN101361307A (zh) * 2006-01-06 2009-02-04 松下电器产业株式会社 无线通信装置
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
KR20100030119A (ko) * 2008-09-09 2010-03-18 에스케이 텔레콤주식회사 회전 움직임을 고려한 인터 예측 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8687060B1 (en) * 2009-12-28 2014-04-01 Cognex Corporation System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHG8:A study on compression efficiency of cube projection;Minhna Zhou;《JVET》;全文 *
AHG8:High level syntax extensions for signaling of 360-degree video information;Philippe Hanhart;《JVET》;全文 *

Also Published As

Publication number Publication date
EP3476128A4 (en) 2019-09-04
US10560678B2 (en) 2020-02-11
TWI656787B (zh) 2019-04-11
WO2018086524A1 (en) 2018-05-17
EP3476128A1 (en) 2019-05-01
CN113573077A (zh) 2021-10-29
TW201830971A (zh) 2018-08-16
JP2019530296A (ja) 2019-10-17
CN109804634B (zh) 2021-07-30
US20180130175A1 (en) 2018-05-10
CN109804634A (zh) 2019-05-24
US20190251660A1 (en) 2019-08-15
US10587857B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
CN113573077B (zh) 具有旋转信息的360°图像/视频内处理方法及装置
US11308581B2 (en) Spherical rotation for encoding wide view video
JP2019534606A (ja) ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置
US10462484B2 (en) Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
WO2018161942A1 (en) Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method
CN107945101B (zh) 图像处理方法和装置
US11659206B2 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN111492654B (zh) 一种基于立方体的投影方法
US11190768B2 (en) Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
WO2021000904A1 (en) Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant