CN110870317A - 用于使用基于立方体贴图的投影的360度视频质量评估的加权至球面均匀psnr - Google Patents

用于使用基于立方体贴图的投影的360度视频质量评估的加权至球面均匀psnr Download PDF

Info

Publication number
CN110870317A
CN110870317A CN201880042231.5A CN201880042231A CN110870317A CN 110870317 A CN110870317 A CN 110870317A CN 201880042231 A CN201880042231 A CN 201880042231A CN 110870317 A CN110870317 A CN 110870317A
Authority
CN
China
Prior art keywords
weight
format
projection
sample
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880042231.5A
Other languages
English (en)
Other versions
CN110870317B (zh
Inventor
修晓宇
贺玉文
叶艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN110870317A publication Critical patent/CN110870317A/zh
Application granted granted Critical
Publication of CN110870317B publication Critical patent/CN110870317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

可以对360度视频内容进行编码。可以确定投影格式中的采样位置以对360度视频内容进行编码。例如，可以识别目标投影格式中的采样位置和参考投影格式中的采样位置。所述目标投影格式中的所述样本位置可以经由变换函数而与所述参考投影格式中的对应样本位置相关。可以识别所述参考投影格式中的所述采样位置的参数权重(例如，参考参数权重)。可以确定与所述参考投影格式中的所述采样位置的所述参数权重相关联的调整因子。可以计算所述目标投影格式中的所述采样位置的参数权重(例如，经调整的参数权重)。当对360度视频内容进行编码时，可以将所计算的经调整的参数权重应用于所述目标投影格式中的所述采样位置。

Description

用于使用基于立方体贴图的投影的360度视频质量评估的加 权至球面均匀PSNR
相关申请的交叉引用
本申请要求2017年6月30日提交的美国临时申请No.62/527,559的权益，其内容通过引用而被并入本文。
背景技术
虚拟现实(VR)正越来越多地进入我们的日常生活中。VR具有许多应用领域，这其中包括保健、教育、社交网络、工业设计/训练、游戏、电影、购物、娱乐等。VR能够带来身临其境的观看体验，因此VR正受到工业和消费者的关注。VR创建围绕观看者的虚拟环境，并且为观看者产生“在那里”的真实感觉。如何在VR环境中提供完全真实的感觉对于用户的体验是重要的。例如，VR系统可以通过姿势、手势、眼睛注视、语音等来支持交互。为了允许用户以自然的方式与VR世界中的对象交互，VR可以向用户提供触觉反馈。
发明内容
360度视频内容可以如本文所述被编码。本文描述的360度视频内容可以包括或者可以是球面(spherical)视频内容、全向视频内容、虚拟现实(VR)视频内容、全景视频内容、沉浸式视频内容(例如，包括6个自由度的光场视频内容)、和/或点云视频内容等。
可以确定投影格式中的采样位置以对360度视频内容进行编码。例如，可以识别目标投影格式中的采样位置和参考投影格式中的采样位置。所述目标投影格式可以包括单立方体贴图投影(UNICMP)格式、等角立方体贴图(EAC)格式、经调整的立方体贴图投影(ACP)格式、混合立方体贴图投影(HCP)格式等中的至少一种。所述参考投影格式可以包括立方体贴图投影(CMP)格式等。
所述目标投影格式中的样本位置可以经由变换函数与所述参考投影格式中的对应样本位置相关。所述变换函数可由在比特流中接收的一个或多个参数来定义。
可以识别所述参考投影格式中的所述采样位置的参数权重(例如，参考参数权重)。在示例中，可以基于所述参考投影格式中的所述采样位置的位置来识别所述参考投影格式中的所述采样位置的所述参数权重。
可以确定与所述参考投影格式中的所述采样位置的所述参数权重相关联的调整因子。例如，可以基于所述目标投影格式中的所述采样位置和所述参考投影格式中的所述采样位置之间的所述变换函数来确定与所述参考投影格式中的所述采样位置的所述参数权重相关联的所述调整因子。该调整因子可以是所述变换函数的导数值。在示例中，所述变换函数的导数值可以是或可以包括所述目标投影格式和/或所述参考投影格式中的所述采样位置的水平坐标和/或垂直坐标。
可以计算所述目标投影格式中的所述采样位置的参数权重(例如，经调整的参数权重)。例如，可以基于所述参数权重和所确定的所述参考投影格式中的所述采样位置的调整因子来计算所述目标投影格式中的所述采样位置的经调整的参数权重。所计算的经调整的参数权重可以包括或者可以是加权的球面均匀峰值信噪比(WS-PSNR)权重。
当对360度视频内容进行编码时，可以将所计算的经调整的参数权重应用于所述目标投影格式中的所述采样位置。在将所述经调整的参数权重应用于所述目标投影中的所述采样位置的示例中，可以基于所述经调整的参数权重来确定所述目标投影格式中的所述采样位置的所述360度视频内容的变换编码部分的量化参数(QP)。在将所述经调整的参数权重应用于所述目标投影中的所述采样位置的示例中，可以通过使用所计算的调整因子调整所述参考投影格式中的所述采样位置的WS-PSNR权重，确定所述目标投影格式中的所述采样位置的WS-PSNR权重。在示例中，当将经调整的参数权重应用于所述目标投影中的所述采样位置时，可以使用所述经调整的参数权重来确定与所述目标投影格式中的所述采样位置相关联的失真或质量测量中的至少一者。在将所述经调整的参数权重应用于所述目标投影中的所述采样位置的示例中，可以确定所述目标投影格式和所述参考投影格式中的所述采样位置之间的绝对差的加权和(SAD)。
附图说明
从以下结合附图以示例方式给出的描述中，可以描述更详细的理解。
图1示出了360度视频系统的示例。
图2A显示了CMP示例3D几何结构：PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)以及NZ(5)。
图2B显示了6个面的CMP实施例2D平面。
图2C示出了利用CMP的示例投影图片。
图3A示出了用于CMP的立方体面的示例性均匀采样。
图3B示出了用于CMP的示例非均匀球面采样。
图3C示出了用于UNICMP的立方体面的示例非均匀采样。
图3D示出了用于UNICMP的示例均匀球面采样。
图4A示出了从立方体面的非均匀划分网格到单立方体面的均匀划分网格的示例映射。
图4B展示从单立方体面的均匀划分网格到立方体面的非均匀划分网格的示例映射。
图5A示出了立方体面上的示例性非均匀划分。
图5B示出了球体(sphere)上的示例对应均匀划分。
图5C示出了立方体面的坐标β和单立方体面的坐标β'之间的示例变换函数。
图6示出了来自CMP、UNICMP、ACP和EAC的划分网格的变换函数的示例。
图7A示出了CMP的球面采样网格的示例。
图7B示出了UNICMP的球面采样网格的示例。
图7C示出了EAC的球面采样网格的示例。
图8A示出了由示例权重计算生成的ACP格式的权重图的示例。
图8B示出了由示例权重计算生成的ACP格式的权重图的示例。
图9示出了计算类立方体贴图投影格式的WS-PSNR的示例。
图10A是示出了其中可以实施一个或多个公开的实施例的示例通信系统的系统图。
图10B是示出了根据实施例的可在图10A中所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。
图10C是示出了根据实施例的可在图10A中所示的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。
图10D是示出了根据实施例的可在图10A中所示的通信系统内使用的另一示例RAN和另一示例CN的系统图。
具体实施方式
现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实施方式的详细示例，但是应当注意，这些细节旨在是示例性的，而不以任何方式限制本申请的范围。
VR系统(一个或多个)可以使用360度视频来向用户(一个或多个)提供例如从水平方向上的360度角和垂直方向上的180度角观看场景的能力。VR和360度视频可以被认为是超高清(UHD)服务之外的媒体消费的方向。可以进行针对全向媒体应用格式的要求和潜在技术的工作，以提高VR中360度视频的质量和/或标准化用于客户端互操作性的处理链。自由视野TV(FTV)可以测试以下各项中的一个或多个的性能：(1)基于360度视频(全向视频)的系统；和/或(2)基于多视图的系统。
可以改善VR处理链中一个或多个方面的质量和/或体验。例如，可以改进捕获、处理、显示等和/或VR处理中的一个或多个方面的质量和/或体验。在捕获侧，VR可以使用一个或多个相机来从一个或多个(例如，不同的)发散视图(例如，6-12个视图)捕获场景。该视图可以被拼接在一起以形成高分辨率(例如，4K或8K)的360度视频。在客户端侧和/或用户侧，虚拟现实系统可以包括计算平台、头戴式显示器(HMD)和/或头部跟踪传感器。所述计算平台可以负责接收和/或解码360度视频，和/或生成视窗以供显示。可以为所述视窗渲染两个图片，每个眼睛一个图片。这两个图片可以在HMD中显示(例如，用于立体观看)。透镜可以用于放大HMD中显示的图像以便更好地观看。所述头部跟踪传感器可以保持(例如，持续保持)对观看者的头部取向的跟踪和/或可以将该取向信息馈送至所述系统以显示针对该取向的视窗图片。
VR系统可以提供触摸设备以供观看者与虚拟世界中的对象交互。VR系统可由具有良好GPU支持的强大工作站驱动。轻型VR系统可以使用智能电话作为计算平台、HMD显示器和/或头部跟踪传感器。空间HMD分辨率可以是2160x1200，刷新率可以是90Hz，和/或视场(FOV)可以是110度。头部跟踪传感器的采样密度可以是1000Hz，这可以捕获快速移动。VR系统可包括透镜和/或卡板。VR系统可以由智能电话驱动。
360度视频系统的示例工作流可以在图1中示出。360度视频系统的示例工作流可以包括360度视频捕捉过程，其可以使用一个或多个相机来捕捉覆盖球体(例如，整个球体)的视频。该视频可以以原生几何结构被拼接在一起。例如，所述视频可以以等距柱状投影(ERP)格式被拼接在一起。例如，基于现有的视频编解码器，可以将所述原生几何结构转换为一个或多个投影格式以用于编码。在接收器处，可解码所述视频和/或可将解压缩的视频转换为几何结构以供显示。所述视频可用于根据用户的观看角度经由视窗投影而被渲染。
可以执行360度视频的立方体贴图投影。可以执行360度视频压缩和/或递送系统。360度视频递送可以使用球体几何结构来表示360度信息。例如，由一个或多个相机捕获的同步视图可以作为整体结构被拼接在球体上。可以利用给定的几何结构转换将所述球体信息投影到2D平面表面。在图形社区中使用的球面映射格式可以是立方体图投影(CMP)格式。图2示出了该CMP格式的示例投影几何结构。如图2A所示，CMP可以包括一个或多个标为PX、PY、PZ、NX、NY和NZ的正方形面(例如6个正方形面)，其中P可以代表正，N可以代表负，和/或X、Y、Z可以指轴。可以使用数字来标记所述面。例如，根据PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)，可以将所述面标记为0-5。如果切球的半径是1，则每个面的横向长度可以是2。视频编解码器可以不被设计成处理球体视频。如果视频编解码器未被设计为处理球体视频，则CMP格式的6个面可以被一起封装成图片(例如，单个图片)。为了最大化相邻面之间的连续性，一个或多个面可以旋转预定的角度。图2B示出了可以将6个面放置到矩形图片中的示例性封装。在图2B中，可以将面索引放在与该面的相应旋转对准的方向上(例如，为了更好的可视化)。例如，面#3和/或面#1可以分别逆时针旋转270度和180度，而其他面中的一个或多个(例如，全部)可以不旋转。利用CMP的示例图片可以在图2C中示出。由CMP生成的最终运动场(其可以描述相邻2D投影图片之间的时间相关性)可以例如由于其直线结构而由视频编解码器的平移运动模型表示(例如，高效地表示)。
可以执行用于360度视频编码的单立方体贴图投影。
所述CMP格式可能在计算上是高效的。由于直线投影的限制，球体上的样本可能被CMP格式不均匀地采样，在面边界附近具有较高的采样密度和/或在面中心附近具有较低的采样密度。非均匀球面采样可能不利于360度视频表示的效率和/或可能降低360度视频编码的效率，例如，因为现有编码算法可能是在平面图片上的一个或多个(例如，所有)样本可能是重要的(例如，同等重要)的假设下构建的。当通过现有视频编解码器对360度视频进行编码时，CMP的非均匀采样可能导致面边界周围的区域的质量比面中心周围的区域的质量高。球体上的样本对于观看者的视觉体验可能不具有相同的重要性。例如，观看者可能比观看面边界更可能观看面中心附近的内容。当对象在时域中从面中心移动到面边界(或反之亦然)时，具有不同的采样密度可能导致对象的扭曲和/或变形。
可以执行单立方体贴图投影(UNICMP)格式。该UNICMP可以将CMP的采样网格转换为球体上的均匀采样网格。该UNICMP可以使用变换函数来修改2D平面上的样本的坐标，例如，在生成实际的UNICMP面之前进行修改。例如，由于均匀的球面采样，该UNICMP可以实现比CMP更好的球面数据表示。相对于CMP，UNICMP可以具有360度视频的增强的编码效率。图3示出了CMP和UNICMP之间的平面和球面采样模式的示例性比较。如图3A所示，CMP面的采样网格可以包括一组或多组(例如两组)平行线。一组平行线可以在水平方向上和/或另一组平行线可以在垂直方向上。一组平行的分隔线可以以均匀的间隔分开。当CMP面被投影到球体上时，如图3B所示，在平坦面中的直线变成曲线的地方，采样网格可能失真。因为直线投影可能不是距离保持投影，所以球体上的对应采样网格可能变得不均匀，如图3B所示。为了保持与CMP类似的采样结构，可以基于一组或多组(例如，两组)平行线来采样UNICMP格式的面。为了提高球面采样均匀性，一组平行线中的平行线可以以非均匀方式分布(例如，图3C)，使得球体上的对应采样网格可以是均匀的(例如，如图3D上的示例所示)。
变换函数可以用于将非均匀平面采样网格变换为均匀平面采样网格。图4示出了示例映射。如果水平和垂直变换不相关，那么从(x,y)到(x’,y’)的映射可包含两个单独变换，例如，x’＝f(x)和y’＝f(y)，其中可独立地对x和y应用相同变换函数。可以计算将(x’,y’)映射到(x,y)的逆变换，例如，x＝g(x’)和y＝g(y’)。由于x和y的两个变换函数可相同，因此可在本文中论述y的变换函数的导出。
坐标β∈[-1,1]可以是立方体上的图案区域的y坐标。图5示出了如何计算立方体面的坐标和单立方体面的坐标之间的变换函数的示例。由于变换函数β'＝f(β)的目标是利用球体上的相等直线结构划分将β转换成β'(例如，如图4B所示)，所以可以使f(β)与对应于β的球面区域的面积成比例。如图5B所示，f(β)的值可以等于所述图案球面区域的面积与对应于立方体贴图面的球体的四分之一的面积之间的比率。所述变换函数f(β)可被计算为：
Figure BDA0002332905340000081
其中β∈[-1,1]。对应的逆变换函数g(β')(例如，从单立方体面到立方体面的映射)可以被计算为：
Figure BDA0002332905340000082
其中β'∈[-1,1]。图5C示出了β和β'之间的示例性对应映射关系。
等角立方体贴图(EAC)投影可以通过例如基于立方体采样网格上的球面样本的角度的正切来转换CMP域和EAC域之间的坐标来执行。CMP域中的坐标可以使用一对f()和g()函数来调整。例如，EAC投影的变换函数可被计算为：
Figure BDA0002332905340000091
Figure BDA0002332905340000092
例如，可以基于以下变换函数通过调整CMP域中的坐标来执行经调整的立方体贴图投影(ACP)以用于改善的球面采样均匀性：
β′＝f(β)＝sgn(β)·(-0.36·β2+1.36·|β|) (5)
Figure BDA0002332905340000093
其中，sgn(·)可以是返回所述输入值的符号的函数。
图6示出了来自CMP、UNICMP、ACP和EAC的划分网格的变换函数的示例比较。如图6所示，CMP、UNICMP和EAC的变换函数可以根据面内的位置而示出不同的球面采样特征。例如，CMP的球面采样密度在面边界处可以最高，而CMP的球面采样密度在面中心处可以最低。在面中心，UNICMP的球面采样密度可以高于CMP和EAC的球面采样密度。在面边界处，情况可以颠倒。图7分别示出了CMP(例如，图7A)、UNICMP(例如，图7B)和EAC(例如，图7C)的相应球面采样网格。例如，在围绕面的边界和/或中心的区域，ACP的变换函数可以类似于EAC的变换函数。ACP可以用二阶多项式模型来对在EAC的变换函数中使用的非线性运算进行近似，以降低实施复杂度。所述ACP的采样网格可以类似于EAC。
球体上的采样密度可以取决于用于表示360度视频的投影格式。2D投影图片上的样本可以对应于球体上的(例如，不同的)采样密度。例如，采样密度可以在面的边界处比在面的中心处更高。例如，通过向2D投影平面上的采样指派(例如，不同的)权重，加权至球面均匀PSNR(WS-PSNR)可以度量投影域中的球面视频质量。样本的权重值可以取决于该样本覆盖在球体上的相应面积。例如，对于CMP，所述权重可根据下式计算：
Figure BDA0002332905340000101
其中(x，y)可以是所述样本在其所属的相应CMP面内的坐标；Wf和Hf可以分别表示CMP面的宽度和高度。可以基于CMP的对称特性来导出一个或多个其它面的面权重。
不同的360度视频投影格式可以在球体上呈现不同的采样特征。可以计算基于立方体贴图的投影格式(例如，UNICMP、ACP和EAC)的WS-PSNR。变换函数(例如，如(3)和(4)所示)可用于ACP面，WS-PSNR权重的分布在ACP面上可以是相同的。可以计算面内的权重值。例如，对于ACP面中的位置(x，y)，权重值wacp (x,y)可被计算如下：
Figure BDA0002332905340000102
其中tx和ty可以从坐标(x,y)导出为：
Figure BDA0002332905340000103
Figure BDA0002332905340000104
参数Wf和Hf可以分别指示ACP面的宽度和高度。图8A可以示出基于等式(8)至(10)生成的ACP格式的权重图，其中暗样本可以对应于小权重值，而亮样本可以对应于大权重值。
如图8A所示，权重值的分布可以是非均匀的。特别地，在面边界处的样本的权重值可以小于在面中心处的样本的权重值。球面采样密度在ACP面内可能不均匀。例如，在面边界处的采样密度可以高于在面中心处的采样密度。ACP可以提供均匀的球面采样。ACP面可以通过变换函数调整CMP域中的样本的坐标来产生(例如，在产生实际CMP面之前)。ACP面内的样本的权重值可以从CMP面内的其相应样本的权重值导出。
可以执行立方体贴图式投影的参数权重推导(例如WS-PSNR权重推导)。
可以计算面(例如，目标面)内的样本的参数权重。在示例中，目标面可以是或可以包括UNICMP面、ACP面和/或EAC面等中的至少一个。可以计算参考面(例如，CMP面和/或类似面)中的对应样本的参数权重(例如，参数权重值)。在示例中，可以例如基于参考面(例如，CMP面)和目标面中的坐标之间的对应导数来调整所述参考面的权重值(例如，CMP面的参数权重值)。例如，(x’,y’)可以是目标面中的坐标(例如，与目标面中的样本相关联的坐标)，并且(x,y)可以是CMP面中的对应坐标(例如，与CMP面中的样本相关联的对应坐标)。坐标(x，y)可以基于变换函数x＝g(x’)和y＝g(y’)从(x’,y’)导出。所述变换函数g(·)可根据针对所述UNICMP的(2)、针对所述EAC的(4)和针对所述ACP的(6)而获得。样本(例如，目标面中的样本)的参数权重(例如，WS-PSNR权重)的值可以与该样本覆盖在球体上的对应面积成比例。
样本面积可以如下确定：
Areas＝wtar(x′,y′)·|dx′||dy′|＝wcube(x,y)·|dx||dy| (11)
其中wtar(x',y')和wcube(x,y)可以分别指示与目标面中的坐标(x’,y’)和CMP面中的坐标(x,y)相关联的权重值。坐标值x和y可与变换函数相关联。例如，坐标值x和y可以是x’和y’的函数，例如，x＝g(x’)和y＝g(y’)。可以计算导数dx和dy。例如，导数dx和dy可以分别利用dx’和dy’而被计算如下：
Figure BDA0002332905340000121
所述变换函数的导数值可以与水平坐标和/或垂直坐标的样本(一个或多个)相关联。
可以基于(例如，使用(12))所计算的导数和参考面的参数权重(例如，使用与参考面中的坐标值相关联的面积)来计算目标面的参数权重。例如，通过将(12)代入(11)，wtar(x',y')的值可以被计算为：
Figure BDA0002332905340000122
可以使用以下中的一个或多个来执行立方体贴图式投影的参数权重导出(例如，WS-PSNR权重导出)：执行从目标面到参考面(例如，CMP面)的坐标转换；计算所述参考面(例如，所述CMP面)中的权重值；和/或计算所述目标面中的权重值。
如(13)所示，可以计算目标面中的样本的权重值。可以执行从目标面到CMP面的坐标转换。例如，可以识别目标面中的输入坐标(x’,y’)。给定目标面中的输入坐标(x’,y’)，可以基于变换函数x＝g(x’)和y＝g(y’)来计算CMP面中的对应坐标(x,y)。可以计算CMP面中的权重值(例如，参数权重值)。例如，给定中间坐标(x,y)，可以根据(7)计算对应的权重值wcube(x,y)。可以计算目标面中的权重值(例如，参数权重值)。例如，给定CMP面中的权重值wcube(x,y)，目标面中的权重值wtar(x',y')可以通过将wcube(x,y))的值乘以目标面和CMP面中的水平坐标和垂直坐标之间的导数(例如，基于(13))来导出。在示例中，水平坐标和/或垂直坐标处的变换函数的(一个或多个)导数值可以与目标采样位置相关联。
可以基于目标立方体贴图式投影格式(例如，UNICMP、ACP、或EAC等)来调整(13)中的导数的值，以计算WS-PSNR权重值。
可以计算UNICMP的一个或多个权重参数(例如，一个或多个WS-PSNR权重)。
导数dx和dy可以相对于dx’和dy’而被计算，如(12)所示。计算相对于dx’和dy’的导数dx和dy可以基于如(2)中所示的UNICMP到CMP变换函数来执行：
Figure BDA0002332905340000131
Figure BDA0002332905340000132
其中Wf和Hf相应地表示UNICMP面的宽度和高度。UNICMP面的权重参数(例如，WS-PSNR权重)可使用相对于CMP面的导数的UNICMP面的导数并将所确定的导数应用于CMP面的权重参数而被计算。例如，通过将(14)和(15)代入(13)，可以如下计算UNICMP面的权重参数(例如，WS-PSNR权重)：
Figure BDA0002332905340000141
可以计算EAC的一个或多个权重参数(例如，一个或多个WS-PSNR权重)。EAC的dx和dy的值可以基于(4)而被计算如下：
Figure BDA0002332905340000142
Figure BDA0002332905340000143
其中Wf和Hf分别表示EAC表面的宽度和高度。可以计算在EAC面处针对样本坐标(x’,y’)导出的权重参数(例如，权重值)。例如，通过将(17)和(18)代入(13)，EAC面的权重参数(例如，权重值和/或WS-PSNR权重)可以被计算如下：
Figure BDA0002332905340000144
Figure BDA0002332905340000151
可以计算ACP的一个或多个权重参数(例如，一个或多个WS-PSNR权重)。基于从ACP域到CMP域的变换函数(例如，(6))，可以如下导出(12)中的dx和dy的值：
Figure BDA0002332905340000152
Figure BDA0002332905340000153
其中Wf和Hf可以分别表示ACP面的宽度和高度。ACP面的权重参数(例如WS-PSNR权重)可使用相对于CMP面的导数的UNICMP面的导数(例如(20)和/或(21))并将所确定的导数应用于CMP面的权重参数而被计算。例如，将(20)和(21)带入(13)，在ACP面中的坐标(x’，y’)处的样本的权重值可以被计算如下：
Figure BDA0002332905340000154
图8B示出了使用此处描述的WS-PSNR权重计算而生成的示例权重图。如图所示，ACP面内的权重值可以是均匀的(例如，基本均匀)。尽管在本文描述的示例中，在两个方向上使用相同变换函数(例如，g(x)和g(y)可为相同的)，但所属领域的技术人员可了解，可在两个方向上应用一个或一个以上不同变换函数。
可以执行混合立方体贴图映射(HCP)的一个或多个权重参数(例如WS-PSNR权重)。HCP可以是具有6个面的类立方体贴图投影格式。为了在CMP和HCP之间转换，可以使用一个或多个变换函数来映射所述坐标。HCP的变换函数可以使用可变参数(一个或多个)。水平和垂直变换函数的参数可以不同。HCP和CMP之间的坐标转换可以使用以下水平和垂直变换函数来执行：
x′＝fX(x)＝sgn(x)·(a2·x2+a1·|x|) (23)
y′＝fY(y)＝sgn(y)·(b2·y2+b1·|y|) (24)
Figure BDA0002332905340000161
Figure BDA0002332905340000162
可以推导出所述导数。例如，导数可以被推导如下：
Figure BDA0002332905340000163
Figure BDA0002332905340000164
其中Wf和Hf可以分别表示ACP面的宽度和高度。变换函数的导数值可以与水平坐标和/或垂直坐标的样本(一个或多个)相关联。基于等式(27)和(28)，HCP面中坐标(x’,y’)处的样本的权重值可以被计算如下：
Figure BDA0002332905340000171
编码器可以基于输入视频内容来搜索HCP水平和垂直变换函数参数(例如，a1、a2、b1和b2)(例如，可选的HCP水平和垂直变换函数参数)。所述参数a1、a2、b1和b2可被量化并在比特流中被信令通知给解码器。
可以执行投影格式的WS-PSNR权重导出。
可以应用这里描述的权重计算。例如，这里描述的权重计算可以应用于一个或多个权重参数的导出(例如，针对给定投影格式的一个或多个权重值，其是通过变换函数调整面中的样本坐标而从另一投影格式生成的)。例如，(x’,y’)可以是目标面中的样本的坐标，并且(x，y)可以是源面中其对应样本的坐标，其中所述目标面是从所述源面生成的。从(x’,y’)到(x，y)的变换函数可以是：
x＝gh(x′,y′) (30)
y＝gv(x′,y′) (31)
对于所述ACP和EAC，在(30)和(31)中可以联合地执行水平和垂直变换。例如，x和y可以是x'和y'两者的函数。应用于水平和垂直坐标的变换函数可以是不同的。为了计算样本坐标(x，y)对应的球体面积，可以计算导数dx和dy。可以计算偏导数，并且可以如下计算总导数：
Figure BDA0002332905340000187
Figure BDA0002332905340000181
dx和dy的范数可以被确定如下：
Figure BDA0002332905340000182
Figure BDA0002332905340000183
dx’和dy’的欧几里德范数可以相等，并且(34)和(35)可以简化为：
Figure BDA0002332905340000184
Figure BDA0002332905340000185
将(36)和(37)代入(13)，可以如下计算目标面中的样本(x’,y’)的权重值(例如wtar(x',y'))，该权重值根据其在源面中的对应样本(x，y)的权重值(例如wsource(x,y))而被计算：
Figure BDA0002332905340000186
WS-PSNR可以度量所重构的360度视频的质量(例如，对原始信号的保真度)。所述WS-PSNR可以针对EAC、ACP、UNICMP、HCP和/或其它类立方体体贴图投影格式中的360度视频而被计算。
可针对360度视频译码计算块级量化参数QP偏移。在示例中，可以基于本文所述的块内的所确定的(一个或多个)权重参数(例如，WS-PSNR权重)来计算所述块级QP偏移。在示例中，可基于所述块的球面采样密度来计算所述块级QP偏移。所确定的权重参数(例如WS-PSNR权重)可用于导出用于360度视频编码的所述块级QP偏移。
图9示出了计算所述WS-PSNR值的示例。这里，所述类立方体贴图投影格式可以是目标投影格式。可以根据本文针对不同的类立方体贴图投影格式描述的等式来计算调整(例如，adj_x和/或adj_y)。注意，尽管图9示出了可为面(例如，每个面中)的位置(例如，每个位置)计算WS-PSNR值，但是可以构想，可使用对称属性以使得可导出坐标的一部分。例如，对于UNICMP、EAC和ACP，可以计算面的权重，并且可以将其重用于一个或多个其它面。对于HCP，可以在用于所述面的比特流中用信号通知所述变换函数参数。解码器可以检查哪些面共享所述变换函数参数(例如，相同的变换函数参数)，并且可以针对具有相同变换函数参数的那些面中的一个(例如，仅一个)面，导出权重。
可以对在CMP(例如，图2B中所示的3×2配置)中的相同行内的面应用约束，其中该CMP具有跨越多个面的连续纹理。例如，可以应用约束，使得用于顶面行(或底面行)中的一个或多个面(例如，三个面)的垂直变换函数是相同的。对于该受约束的HCP格式，图9中的adj_y可以针对面(例如，一个面)来计算，并且可以针对相同面行(例如，顶面或底面行)中的其他面而被重用。尽管图9中未示出，但是可以使用面中的对称性(例如，用于减少计算)。例如，本文所述的类立方体贴图投影格式(例如，UNICAM、EAC、ACP和/或HCP)，可以针对一部分面(例如，面的四分之一)计算权重参数。用于剩余部分(例如，所述面的四分之三)的权重可以通过对所述面的所述四分之一的那些权重进行镜像而被推导。
投影格式在视频序列内可以是静态的。例如，投影格式可以持续一段时间，例如整个视频序列，或者一个或多个帧内随机接入时段(IRAP)。可以计算(例如，计算一次)一个或多个权重参数(例如，一个或多个WS-PSNR权重)，并且可以将其用于多个图片。当用于对360度视频进行编码的投影格式被作为比特流的一部分而用信号通知时，解码器可以从所述比特流解析所述编码投影格式。解码器可解析额外变换函数参数(一个或多个)，例如当用信号将用以编码所述360度视频的投影格式作为所述比特流的一部分发送时HCP中使用的参数(一个或多个)。基于所述编码投影格式和一个或多个变换函数参数(如果有的话)，解码器可以周期性地计算所述一个或多个权重参数(例如，一个或多个WS-PSNR权重)。例如，解码器可以每序列一次或每IRAP一次地计算所述WS-PSNR权重。所导出的一个或多个权重参数(例如，一个或多个WS-PSNR权重)可用于执行块级QP偏移调整、质量评估和/或其它解码功能。
如(13)所示，可以基于将目标立方体贴图投影坐标(x’，y’)转换为CMP投影坐标(x，y)(例如，g(β'))的变换函数来计算导数(例如，
Figure BDA0002332905340000201
)。可以基于将CMP投影坐标(x，y)转换为目标立方体贴图投影坐标(x’,y’)的变换函数(例如，f(β))来计算所述导数。该计算可以基于以下：
Figure BDA0002332905340000202
基于计算的复杂度，可以选择诸如(13)或(39)的转换来计算所述WS-PSNR权重。
运动向量(MV)可在编码器处被确定且用信号发送到解码器。用于编码所述MV的开销可占输出比特流的一部分。可应用一个或一个以上(例如，多个)解码器侧技术(例如，帧速率上转换(FRUC)和/或解码器侧运动向量精细化(DMVR))以基于模板匹配而在解码器处导出(例如，完全导出)或精细化(例如，部分精细化)MV。例如，可以应用一个或多个(例如，多个)解码器侧技术，以基于使用模板中的一个或多个样本的模板匹配或双边匹配来在解码器处完全导出或部分精细化所述MV。模板匹配可以使用模板中的一个或多个样本，或者使用多个预测符(例如，两个预测符)的双边匹配。例如，两个预测符可以是或者可以包括同一解码图片中当前块的空间相邻者的重构样本或者时域中先前解码图片的重构样本。例如，可以测量使用给定MV的模板样本和其参考样本之间的差(例如，绝对差之和(SAD))，
Figure BDA0002332905340000211
其中Itmp(x,y)和Iref(x,y)可以是模板及其参考的样本值。B可以指示所述模板中的样本集合。SAD可以是绝对差的和。可以选择使SAD值最小化的MV作为当前块的MV(例如，最佳MV)。对于所述双边匹配，可在给定候选MV的情况下计算列表0中的预测和列表1中的预测之间的SAD。列表0可以是从按显示次序在当前图片之前的(一个或多个)参考图片的一个或多个参考样本生成的预测块。列表1可是从按显示次序在当前图片之后的一个或多个参考图片的一或多个参考样本生成的预测块。
当将本文描述的解码器侧技术应用于360度视频编码时，2D投影图片上的样本可以对应于球体上的不同采样密度。SAD对于导出MV(例如，最优MV)可能不可靠，因为2D平面上的不同样本可能对球面失真具有不相等的影响。在这种情况下，可以应用这里描述的WS-PSNR权重计算，以通过根据其球面采样密度将不同的权重指派给2D投影平面上的样本来实现精确的失真测量。例如，可以应用以下加权SAD值(例如，WD)来导出MV(例如，最优MV)，
Figure BDA0002332905340000221
其中w(x,y)可以是应用于样本坐标(x,y)的权重值。当将立方体贴图式投影应用于对360度视频进行编码时，可以基于(13)或(39)来计算w(x,y)。
图10A是示出了可以实施一个或多个所公开的实施例的示例通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图10A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图10A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图10A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图10A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，所述其他网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图10A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图10B是示出了例示WTRU 102的系统图示。如图10B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图10B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图10B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002332905340000281
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减少和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图10C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述，RAN 104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c，然而应该了解，在保持符合实施例的同时，RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中，e节点B160a、160b、160c可以实施MIMO技术。由此，举例来说，e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。
每一个e节点B160a、160b、160c都可以关联于一个特定小区(未显示)，并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图10C所示，e节点B160a、160b、160c彼此可以通过X2接口进行通信。
图10C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分，然而应该了解，这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B 162a、162b、162c，并且可以充当控制节点。例如，MME 142可以负责验证WTRU 102a、102b、102c的用户，执行承载激活/去激活处理，以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且，SGW 164还可以执行其他功能，例如在eNB间的切换过程中锚定用户平面，在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理，以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166，所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如，CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如PSTN 108)接入，以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如，CN 106可以包括一个IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信，并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外，CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入，其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图10A-10D中将WTRU描述成了无线终端，然而应该想到的是，在某些典型实施例中，此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在典型实施例中，所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式系统(DS)或是将业务送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务可被发送至AP，以便递送到相应的目的地。处于BSS内部的STA之间的业务可以通过AP来发送，例如源STA可以向AP发送业务并且AP可以将业务递送至目的地STA。处于BSS内部的STA之间的业务可被认为和/或称为点到点业务。所述点到点业务可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中，DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP，并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里，IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时，AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道，并且可被STA用来与AP建立连接。在某些典型实施例中，所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说，包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙，那么所述特定STA可以回退。在指定的BSS中，在任何指定时间可有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说，在信道编码之后，数据可被传递并经过一个分段解析器，所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理和时域处理。所述流可被映射在两个80MHz信道上，并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上，用于80+80配置的上述操作可以是相反的，并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比，在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽，并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据某些典型实施例，802.11ah可以支持仪表类型控制/机器类型通信，例如宏覆盖区域中的MTC设备。MTC可以具有某种能力，例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池，并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如，802.11n、802.11ac、802.11af以及802.11ah)来说，所述WLAN系统包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制，其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中，即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式，但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说，主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如，因为STA(其仅支持1MHz工作模式)正在对AP进行传输)，那么即使大多数的频带保持空闲并且可供使用，也可以认为整个可用频带繁忙。
在美国，可供802.11ah使用的可用频带是902MHz到928MHz。在韩国，可用频带是917.5MHz到923.5MHz。在日本，可用频带是916.5MHz到927.5MHz。依照国家码，可用于802.11ah的总带宽是6MHz到26MHz。
图10D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述，RAN 113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c，但是应该了解，在保持符合实施例的同时，RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机，以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中，gNB180a、180b、180c可以实施MIMO技术。例如，gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此，举例来说，gNB 180a可以使用多个天线来向WTRU 102a发射无线信号，和/或接收来自WTRU 102a的无线信号。在实施例中，gNB180a、180b、180c可以实施载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上，而剩余分量载波则可以处于授权频谱上。在实施例中，gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如，WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置(numerology)相关联的传输来与gNB 180a、180b、180c进行通信。例如，对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说，OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中，WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中，WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中，WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中，WTRU 102a、102b、102c会在与别的RAN(例如e节点B160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说，WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B160a、160b、160c进行通信。在非独立配置中，e节点B160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点，并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量，以便为WTRU 102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示)，并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图10D所示，gNB 180a、180b、180c彼此可以通过Xn接口通信。
图10D所示的CN 115可以包括至少一个AMF 182a、182b，至少一个UPF 184a、184b，至少一个会话管理功能(SMF)183a、183b，并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分，但是应该了解，这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，并且可以充当控制节点。例如，AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户，支持网络切片(例如处理具有不同需求的不同PDU会话)，选择特定的SMF 183a、183b，管理注册区域，终止NAS信令，以及移动性管理等等。AMF 182a、182b可以使用网络切片处理，以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。举例来说，针对不同的使用情况，可以建立不同的网络切片，所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且可以通过UPF 184a、184b来配置业务路由。SMF 183a、183b可以执行其他功能，例如管理和分配WTRU/UE IP地址，管理PDU会话，控制策略实施和QoS，以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的，不基于IP的，以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一者或多者gNB 180a、180b、180c，这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入，以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信，UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如，CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外，CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入，这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与数据网络(DN)185a、185b之间的N6接口并通过UPF 184a、184b连接到本地DN 185a、185b。
有鉴于图10A-10D以及关于图10A-10D的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、e节点B160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF 183a-b、DN 185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如，所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素以任何组合使用。另外，本文描述的方法可以在结合在计算机可读介质中的计算机程序、软件或固件中实现，以由计算机或处理器执行。计算机可读媒体的示例包括但不限于电子信号(通过有线或无线连接传输)和计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实施用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发信机。

Claims (20)

1.一种用于对360度视频内容进行编码的方法，所述方法包括：
识别第一投影格式中的第一采样位置和第二投影格式中的第二采样位置，所述第二采样位置经由变换函数与对应的第一采样位置相关；
识别所述第一采样位置的参考参数权重；
基于所述第一采样位置与所述第二采样位置之间的所述变换函数来确定与所述第一采样位置的所述参考参数权重相关联的调整因子；
基于所述第一采样位置的所述参考参数权重和与所述第一采样位置的所述参考参数权重相关联的所述调整因子来计算所述第二采样位置的经调整的参数权重；以及
在对所述360度视频进行编码时，将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置。
2.根据权利要求1所述的方法，其中所述第一投影格式包括立方体贴图投影(CMP)格式，并且所述第二投影格式包括以下至少一者：单立方体贴图投影(UNICMP)格式、等角立方体贴图(EAC)格式、经调整的立方体贴图投影(ACP)格式或混合立方体贴图投影(HCP)格式。
3.根据权利要求1所述的方法，其中所述调整因子包括所述变换函数针对与所述第一采样位置或所述第二采样位置中的至少一者相关联的水平坐标的第一导数值和所述变换函数针对与所述第一采样位置或所述第二采样位置中的至少一者相关联的垂直坐标的第二导数值。
4.根据权利要求1所述的方法，其中所述参考参数权重基于所述第一采样位置在所述第一投影格式中的位置而被识别。
5.根据权利要求1所述的方法，其中将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置还包括：
基于所述经调整的参数权重，确定与所述第二投影格式中的所述第二采样位置相关联的所述360度视频内容的经变换编码的部分的量化参数。
6.根据权利要求1所述的方法，其中所述参考参数权重包括第一加权球面均匀峰值信噪比(WS-PSNR)权重，并且所述经调整的参数权重包括第二WS-PSNR权重。
7.根据权利要求6所述的方法，其中将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置还包括：
通过使用所述调整因子调整所述第一采样位置的所述第一WS-PSNR权重，确定所述第二采样位置的所述第二WS-PSNR权重。
8.根据权利要求1所述的方法，其中将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置还包括：
使用所述经调整的参数权重来确定与所述第二投影格式中的所述第二采样位置相关联的失真或质量测量中的至少一者。
9.根据权利要求1所述的方法，其中将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置还包括：
使用所述经调整的参数权重来确定所述第一采样位置与所述第二采样位置之间的绝对差的加权和(SAD)。
10.根据权利要求1所述的方法，其中所述变换函数由在比特流中接收的参数定义。
11.一种用于对360度视频内容进行编码的无线发射/接收单元(WTRU)，该WTRU包括：
处理器，其被配置为：
识别第一投影格式中的第一采样位置和第二投影格式中的第二采样位置，所述第二采样位置经由变换函数与对应的第一采样位置相关；
识别所述第一采样位置的参考参数权重；
基于所述第一采样位置与所述第二采样位置之间的所述变换函数，确定与所述第一采样位置的所述参考参数权重相关联的调整因子；
基于所述第一采样位置的所述参考参数权重和与所述第一采样位置的所述参考参数权重相关联的所述调整因子来计算所述第二采样位置的经调整的参数权重；以及
当对所述360度视频进行编码时，将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置。
12.根据权利要求11所述的WTRU，其中所述第一投影格式包括立方体贴图投影(CMP)格式，并且所述第二投影格式包括以下中的至少一者：单立方体贴图投影(UNICMP)格式、等角立方体贴图(EAC)格式、经调整的立方体贴图投影(ACP)格式或混合立方体贴图投影(HCP)格式。
13.根据权利要求11所述的WTRU，其中所述调整因子包括在与所述第一采样位置相关联的水平坐标处的所述变换函数的导数值以及在所述第一采样位置的坐标处的所述变换函数的导数值。
14.根据权利要求11所述的WTRU，其中所述参考参数权重基于所述第一投影格式中的所述第一采样位置的位置而被识别。
15.根据权利要求11所述的WTRU，其中用于将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置的所述处理器还被配置成：
基于所述经调整的参数权重，确定与所述第二投影格式中的所述第二采样位置相关联的所述360度视频内容的经变换编码的部分的量化参数。
16.根据权利要求11所述的WTRU，其中所述参考参数权重包括第一加权球面均匀峰值信噪比(WS-PSNR)权重，并且所述经调整的参数权重包括第二WS-PSNR权重。
17.根据权利要求16所述的WTRU，其中用于将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置的所述处理器还被配置成：
通过使用所述调整因子调整所述第一采样位置的所述第一WS-PSNR权重，确定所述第二采样位置的所述第二WS-PSNR权重。
18.根据权利要求11所述的WTRU，其中用于将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置的所述处理器还被配置成：
使用所述经调整的参数权重来确定与所述第二投影格式中的所述第二采样位置相关联的失真或质量测量中的至少一者。
19.根据权利要求11所述的WTRU，其中用于将所述经调整的参数权重应用于所述第二投影格式中的所述第二采样位置的所述处理器还被配置成：
使用所述经调整的参数权重来确定所述第一采样位置与所述第二采样位置之间的绝对差的加权和(SAD)。
20.根据权利要求11所述的WTRU，其中所述变换函数由在比特流中接收的参数定义。
CN201880042231.5A 2017-06-30 2018-06-29 用于对360度视频内容进行编码的方法和装置 Active CN110870317B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762527559P 2017-06-30 2017-06-30
US62/527,559 2017-06-30
PCT/US2018/040343 WO2019006336A1 (en) 2017-06-30 2018-06-29 SPHEREALLY UNIFORM WEIGHTED PSNR FOR 360-DEGREE VIDEO QUALITY ASSESSMENT USING PROJECTIONS BASED ON CUBIC MAPPING

Publications (2)

Publication Number Publication Date
CN110870317A true CN110870317A (zh) 2020-03-06
CN110870317B CN110870317B (zh) 2023-05-23

Family

ID=63113615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042231.5A Active CN110870317B (zh) 2017-06-30 2018-06-29 用于对360度视频内容进行编码的方法和装置

Country Status (4)

Country Link
US (1) US11223848B2 (zh)
EP (1) EP3646604A1 (zh)
CN (1) CN110870317B (zh)
WO (1) WO2019006336A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102342874B1 (ko) * 2017-07-04 2021-12-23 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
WO2021045536A1 (en) * 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
US20220201271A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Temporal foveated rendering
WO2023132564A1 (ko) * 2022-01-10 2023-07-13 현대자동차주식회사 인터 예측에서 디코더측 움직임벡터 리스트 수정을 위한 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798923A (en) * 1995-10-18 1998-08-25 Intergraph Corporation Optimal projection design and analysis
US20110019155A1 (en) * 2009-07-24 2011-01-27 Optimet, Optical Metrology Ltd. Method and Apparatus for Real-Time Projection onto an Object of Data Obtained from 3-D Measurement
JP2012010125A (ja) * 2010-06-25 2012-01-12 Panasonic Electric Works Co Ltd 映像信号処理装置、仮想現実感生成システム
WO2015031982A1 (en) * 2013-09-06 2015-03-12 Wang, Zhou Method and system for objective perceptual video quality assessment
EP2849149A2 (en) * 2013-09-13 2015-03-18 Ricoh Company, Ltd. Projection system, image processing device, and projection method
CN106331729A (zh) * 2016-09-06 2017-01-11 山东大学 一种基于相关性的自适应补偿立体视频帧率上转换方法
WO2017072842A1 (ja) * 2015-10-27 2017-05-04 日立マクセル株式会社 プロジェクタ、映像表示装置、及び映像表示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880535B2 (en) * 2016-02-17 2020-12-29 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10264282B2 (en) * 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest
KR102437108B1 (ko) * 2017-01-13 2022-08-26 삼성전자주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798923A (en) * 1995-10-18 1998-08-25 Intergraph Corporation Optimal projection design and analysis
US20110019155A1 (en) * 2009-07-24 2011-01-27 Optimet, Optical Metrology Ltd. Method and Apparatus for Real-Time Projection onto an Object of Data Obtained from 3-D Measurement
JP2012010125A (ja) * 2010-06-25 2012-01-12 Panasonic Electric Works Co Ltd 映像信号処理装置、仮想現実感生成システム
WO2015031982A1 (en) * 2013-09-06 2015-03-12 Wang, Zhou Method and system for objective perceptual video quality assessment
EP2849149A2 (en) * 2013-09-13 2015-03-18 Ricoh Company, Ltd. Projection system, image processing device, and projection method
WO2017072842A1 (ja) * 2015-10-27 2017-05-04 日立マクセル株式会社 プロジェクタ、映像表示装置、及び映像表示方法
CN106331729A (zh) * 2016-09-06 2017-01-11 山东大学 一种基于相关性的自适应补偿立体视频帧率上转换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAN YE ET AL: "《118.MPEG MEETING》", 29 April 2017 *

Also Published As

Publication number Publication date
EP3646604A1 (en) 2020-05-06
US11223848B2 (en) 2022-01-11
WO2019006336A1 (en) 2019-01-03
CN110870317B (zh) 2023-05-23
US20200169753A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
CN110915217B (zh) 360度视频译码方法、设备和可读介质
CN111713111B (zh) 用于360度视频译码的面不连续性滤波
JP7357747B2 (ja) 面連続性を使用する３６０度ビデオコーディング
CN110999296B (zh) 解码360度视频的方法、设备及计算机可读介质
CN112740701A (zh) 用于360度视频译码的样本导出
CN110870317B (zh) 用于对360度视频内容进行编码的方法和装置
TWI797234B (zh) 360度視訊編碼適應性訊框填裝
CN110651476B (zh) 基于几何图形填充的用于360度视频的预测编码
WO2019089382A1 (en) 360-degree video coding using face-based geometry padding
WO2019083943A1 (en) PROJECTION OF CUBEMAP CARD ANGLE HYBRID VIDEO CODING 360 DEGREES

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant