CN110855992A - 导出子预测单元的时间点之间的运动信息的方法和装置 - Google Patents

导出子预测单元的时间点之间的运动信息的方法和装置 Download PDF

Info

Publication number
CN110855992A
CN110855992A CN201910681943.8A CN201910681943A CN110855992A CN 110855992 A CN110855992 A CN 110855992A CN 201910681943 A CN201910681943 A CN 201910681943A CN 110855992 A CN110855992 A CN 110855992A
Authority
CN
China
Prior art keywords
motion information
block
sub
prediction unit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910681943.8A
Other languages
English (en)
Other versions
CN110855992B (zh
Inventor
朴光勋
李旻星
许瑛秀
李润辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Industry Academic Cooperation Foundation of Kyung Hee University
Priority to CN201910681943.8A priority Critical patent/CN110855992B/zh
Priority claimed from PCT/KR2015/000050 external-priority patent/WO2015102443A1/ko
Publication of CN110855992A publication Critical patent/CN110855992A/zh
Application granted granted Critical
Publication of CN110855992B publication Critical patent/CN110855992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

根据本发明,提供了一种用于对三维图像进行编码的方法,所述方法包括以下步骤:将用于当前块的预测模式确定为帧间预测模式;确定参考图片中的与当前块对应的参考块中是否存在运动信息;如果关于参考块的运动信息存在,则在所述当前块内的子预测块中导出关于所述当前块的运动信息;以及基于关于所述当前块的运动信息导出用于当前块的预测样本。

Description

导出子预测单元的时间点之间的运动信息的方法和装置
本申请为于2016年7月1日提交、申请号为201580003671.6、发明 名称为“用于导出子预测单元的时间点之间的运动信息的方法和装置”的 中国专利申请的分案申请。所述母案申请的国际申请日为2015年1月5 日,国际申请号为PCT/KR2015/000050。
技术领域
本发明涉及对3D图像进行编码/解码的设备和方法,更具体地涉及 根据子预测单元并行地导出视点间运动信息的图像编码/解码方法和设 备。
背景技术
发展的IT产业已经使HD(高清晰度)广播服务遍及全球,并且越 来越多的用户习惯了高清图像。
因此,用户需要更高质量和更高分辨率的图像,并且许多机构正在 激励自己开发下一代成像装置以不辜负这种期望。因此,用户可以体验 全高清(FHD)和超高清(UHD)支持的图像。
用户更近一步的需求是获得可以提供3D感觉和效果的3D图像。各 种机构已经开发了3D图像以满足用户的这种需求。
然而,3D图像包括深度图信息以及真正图像(纹理),并且因此比 2D图像具有更多的数据。因此,利用现有的图像编码/解码处理对3D图 像进行编码/解码不能表现出足够的编码/解码效率。
发明内容
[技术问题]
本发明的目的是提供一种用于导出针对编码/解码的块的运动信息 的装置和方法。
本发明的另一目的是提供一种用于在导出针对编码/解码的块的运 动信息时去除数据相关性的装置和方法。
本发明的又一目的是提供一种通过在每个子预测单元的基础上导出 针对编码/解码的块的运动信息时去除数据相关性来提高图像编码/解码 效率的装置和方法。
本发明的又一目的是提供一种当在每个子预测单元地基础上导出针 对编码/解码的块的运动信息时使用参考块的运动信息来提高图像编码/ 解码效率的装置和方法。
[技术方案]
根据本发明的实施方式,提供有一种对三维(3D)图像进行编码的 方法,该方法包括:将用于当前块的预测模式确定为帧间预测模式;确 定参考图片中的与当前块对应的参考块是否具有运动信息;当参考块具 有运动信息时,针对当前块中的每个子预测块导出关于当前块的运动信 息;以及基于关于当前块的运动信息导出用于当前块的预测样本。
此处,当前块和参考块可以是预测块。
此处,关于参考块的运动信息可以位于参考块的中心。
此处,在针对当前块中的每个子预测块导出关于当前块的运动信息 的步骤中,如果参考块中的与当前块中的子预测块对应的子预测块具有 运动信息,则可以将关于当前块的子预测块的运动信息导出为存在于参 考块的子预测块中的运动信息。
此处,如果参考块中的与当前块中的子预测块对应的子预测块不具 有运动信息,则将关于当前块的子预测块的运动信息导出为参考块的运 动信息。
根据本发明的另一实施方式,提供有一种对三维(3D)图像进行编 码的设备,该设备包括:存储模块,该存储模块将用于当前块的预测模 式确定为帧间预测模式,并且确定参考图片中的与当前块对应的参考块 是否具有运动信息;导出模块,当参考块具有运动信息时,该导出模块 针对当前块中的每个子预测块导出关于当前块的运动信息,并且基于关于当前块的运动信息导出用于当前块的预测样本。
此处,当前块和参考块可以是预测块。
此处,关于参考块的运动信息可以位于参考块的中心。
此处,在导出模块中,如果参考块中的与当前块中的子预测块对应 的子预测块具有运动信息,则可以将关于当前块的子预测块的运动信息 导出为存在于参考块的子预测块中的运动信息。
此处,如果参考块中的与当前块中的子预测块对应的子预测块不具 有运动信息,则可以将关于当前块的子预测块的运动信息导出为参考块 的运动信息。
根据本发明的又一实施方式,提供有一种对三维(3D)图像进行解 码的方法,该方法包括:将用于当前块的预测模式确定为帧间预测模式; 确定参考图片中的与当前块对应的参考块是否具有运动信息;当参考块 具有运动信息时,针对当前块中的每个子预测块导出关于当前块的运动 信息;以及基于关于当前块的运动信息导出用于当前块的预测样本。
此处,当前块和参考块可以是预测块。
此处,关于参考块的运动信息可以位于参考块的中心。
此处,在针对当前块中的每个子预测块导出关于当前块的运动信息 的步骤中,如果参考块中的与当前块中的子预测块对应的子预测块具有 运动信息,则可以将当前块上的子预测块的运动信息导出为存在于参考 块的子预测块中的运动信息。
此处,如果参考块中的与当前块中的子预测块对应的子预测块不具 有运动信息,则可以将关于当前块的子预测块的运动信息导出为参考块 的运动信息。
根据本发明的又一实施方式,提供有一种对三维(3D)图像进行解 码的设备,该设备包括:存储模块,该存储模块将用于当前块的预测模 式确定为帧间预测模式,并且确定参考图片中的与当前块对应的参考块 是否具有运动信息;以及导出模块,当参考块具有运动信息时,该导出 模块针对当前块中的每个子预测块导出关于当前块的运动信息,并且基于关于当前块的运动信息导出用于当前块的预测模式。
此处,当前块和参考块可以是预测块。
此处,关于参考块的运动信息可以位于参考块的中心。
此处,在导出模块中,如果参考块中的与当前块中的子预测块对应 的子预测块具有运动信息,则将关于当前块的子预测块的运动信息导出 为存在于当前块的子预测块中的运动信息。
此处,如果参考块中的与当前块中的子预测块对应的子预测块不具 有运动信息,则可以将关于当前块的子预测块的运动信息导出为参考块 的运动信息。
[有益效果]
本发明可以导出针对编码/解码的块的运动信息。
本发明可以在导出针对编码/解码的块的运动信息时去除数据相关 性。
本发明可以通过在每个子预测单元的基础上导出针对编码/解码的 块的运动信息时去除数据相关性来提高图像编码/解码效率。
本发明可以通过在每个子预测单元的基础上导出针对编码/解码的 块的运动信息时去除数据相关性来使用参考块的运动信息提高图像编码 /解码效率。
附图说明
图1是示意性示出3维(3D)图像系统的基本结构的图。
图2是示出“气球”图像的示例和深度信息图图像的示例的图。
图3是示意性示出在编码和解码图像时对图像进行分割的结构的 图。
图4示出了可以包括在编码单元(CU)中的预测单元。
图5示出了3D图像编解码器中的视点间预测结构的示例。
图6示出了在3D图像编码器和/或解码器中对真正图像(纹理图) 和深度信息图(深度图)进行编码和/或解码的处理的示例的图。
图7是示出根据本发明的实施方式的图像编码器的配置的框图。
图8是示出根据本发明的实施方式的图像解码器的配置的框图。
图9是用于3D图像编解码器的示例性预测结构的图。
图10示出了使用相邻块来配置用于当前块的合并候选列表的示例。
图11是示出使用相邻图处的运动信息导出关于当前块的运动信息 的示例性处理的图。
图12是示出将一个预测单元(PU)分割成若干子预测单元的示例 的图。
图13是示出使用参考块导出关于当前块的运动信息的示例性处理 的图。
图14是用于导出关于当前块的运动信息的示例性参考块的图。
图15a至图15e是示意性示出使用存储在存储空间中的运动信息导 出运动信息的示例性处理的图。
图16a至图16g是示意性示出使用存储在存储空间中的运动信息导 出运动信息的另一示例性处理的图。
图17是根据本发明的实施方式的使用参考块的子预测单元导出关 于当前块的子预测单元的运动信息的方法的流程图。
图18是使用参考块的子预测单元并行导出当前块的子预测单元上 的信息的示例性处理的图。
图19是当可用子预测单元位于参考块的最右端和最下端时发现可 用子预测单元的示例性处理的图。
图20是示意性示出以每子预测单元的基础上导出运动信息所需的 时间的图。
图21是示出本发明应用的帧间预测模块的配置的框图。
图22是示意性示出根据本发明的实施方式的使用参考块导出关于 当前块的子预测单元的运动信息的方法的流程图。
图23是示意性示出根据本发明的另一实施方式的导出关于当前块 的子预测单元的运动信息的方法的流程图。
图24是示出使用位置处的运动信息导出关于当前块的子预测单元 的运动信息的示例性处理的图。
图25是示出根据本发明的又一实施方式的使用运动信息值导出关 于当前块的子预测单元的运动信息的方法的流程图。
图26是示出了使用一些运动信息导出关于当前块的子预测单元的 运动信息的示例性处理的图。
图27是示意性示出根据本发明导出运动信息所需的时间的图。
具体实施方式
在下文中,参照附图来详细描述本发明的实施方式。当相关已知配 置或功能的详细描述被确定成使本公开内容的主题不清楚时,将其省略。
当部件“连接至”或“耦接至”另一部件时,部件可以直接地连接 至或耦接至另一部件,或者其他部件可以介于其间。如本文所使用的, 本发明“包括”或“包含”特定部件,但本发明并不排除其他部件,并 且更确切地,在本发明的技术精神或本发明的各个实施方式中还可以包 括另外的部件。
术语“第一”和“第二”可以用于描述各种部件,但所述部件不受 这些术语的限定。这些术语仅用于区分各个部件。例如,在不脱离本发 明的范围的情况下,可以将第一部件表示成第二部件,并且可以将第二 部件表示成第一部件。
本文所使用的部件可以被单独示出以表示其各自不同的特征,但这 并不意味着每个部件应当被配置为单独的硬件单元或软件单元。换言之, 为了便于描述,可以独立于彼此来示出各个部件。所述部件中的至少两 个部件可以被组合以配置单个部件,或者每个部件可以被分成多个部件 以执行功能。这样的组合或分离也属于本发明的范围而不脱离本发明的 要点。
一些部件可以是用于增强性能的可选部件,而不是用于执行本发明 的基本功能的必要部件。可以不包括用于增强性能的部件而仅利用实现 本发明的要点的必要部件来实现本发明,并且这样的配置也属于本发明 的范围。
3D图像通过3D立体显示器提供立体效果,就像用户在真实世界看 到和感受到的一样。在这方面,联合标准化小组即ISO/IEC中的MPEG (运动图像专家组)和ITU-T中的VCEG(视频编码专家组)的JCT-3V (3D图像编码扩展开发的联合协作小组)正在开展3D图像标准化工作。
图1是示意性示出3维(3D)图像系统的基本结构的图。
参照图1,3D视频(3VD)系统可以包括发送器和接收器。在这种 情况下,图1的3D视频系统可以是如3D图像标准中所认为的基本3D 视频系统,所述3D图像标准可以包括关于以下的标准:高级数据格式 及其可以支持自动立体图像回放的相关技术,以及使用纹理及其对应深 度信息图的立体图像。
发送器可以生成多视点图像内容。具体地,发送器可以使用立体摄 影机和多视点摄影机来生成图像信息,并且使用深度信息摄影机生成深 度信息图(或深度视图)。发送器可以使用变换装置将2D图像转换成3D 图像。发送器可以使用所生成的图像信息和深度信息图来生成N(≥2) 视点(即,多视点)图像内容。在这种情况下,N视点图像内容可以包 含N视点图像信息、其深度图信息和摄影机相关的其他信息。N视点图 像内容可以由3D图像编码器使用多视点图像编码方案进行压缩,并且 经压缩的图像内容(位流)可以通过网络传送至接收器的终端。
接收器可以对从发送器接收的图像内容进行解码,并且可以提供多 视点图像。具体地,接收器的图像解码器(例如,3D图像解码器、立体 图像解码器或2D图像解码器)可以使用多视点图像解码方案对所接收 到的位流进行解码,以将位流恢复成N视点图像。在这种情况下,图像 解码器可以使用所恢复的N视点图像和基于深度图像的渲染(DIBR) 处理来生成N(或更多)视点虚拟视点图像。所生成的N(或更多)视 点虚拟视点图像通过各种3D显示器(例如,N视点显示器、立体显示 器或2D显示器)进行播放,从而向用户提供3D效果。
图2是示出“气球”图像的示例和深度信息图图像的示例的图。
图2(a)示出了在MPEG(国际标准化组织)3D图像编码标准中 采用的“气球”图像。图2(b)示出了与图2(a)中所示的“气球”图 像对应的深度信息图图像。深度信息图图像是通过以每像素八位来表示 屏幕上所示出的深度信息而获得的图像。
深度信息图用于生成虚拟视点图像,并且深度信息图是通过以预定 位数来表示摄影机与真实世界中的真正对象之间的距离而获得的图(深 度信息以与纹理相同的分辨率来与每个像素对应)。在这种情况下,可以 使用深度信息图摄影机或使用真正公共图像(纹理)来获得深度信息图。
使用深度信息图摄影机获得的深度信息图主要为静止对象或场景提 供高可靠的深度信息,但深度信息图摄影机仅在预定距离内进行操作。 在这种情况下,深度信息图摄影机可以利用使用激光束或结构化光的测 量方案或者基于光的渡越时间(TFL)的测量方案。
还可以使用真正公共图像(纹理)以及视差矢量来生成深度信息图。 视差矢量是指表示两个公共图像之间的视点的差的信息。可以通过以下 来获得视差矢量:通过将当前视点处的像素与其他视点处的像素进行比 较以发现与当前视点像素最相似的像素,并且测量当前视图像素与最相 似像素之间的距离。
纹理及其深度信息图可以是由一个或更多个摄影机获得的(一个或 更多个)图像。由多个摄影机获得的图像可以被独立地编码,并且可以 使用典型的2D编码/解码的编解码器进行编码/解码。通过多个摄影机获 得的图像在其视图之间具有相关性,并且为了更高的编码效率,因此可 以使用不同视图之间的预测进行编码。
图3是示意性示出在编码和解码图像时对图像进行分割的结构的 图。
对于有效分割,可以针对每个编码单元(CU)对图像进行编码和解 码。术语“单元”是指包括语法元素和图像样本的块。“对单元进行分割” 是指对与该单元对应的块进行分割。
参照图3,图像300被顺序地分割成最大编码单元(LCU),并且每 个LCU的分割结构是确定的。如本文中所使用的,“LCU”可以是指编 码树单元(CTU)。分割结构可以是指用于在每个LCU 310中对图像进 行有效编码的编码单元(CU)的分布,并且这样的分布可以取决于是否 将一个CU分割成四个在水平方向和垂直方向上均减小1/2该CU的大 小的CU来确定。以相同的方式,经分割的CU可以被递归地分割成四 个在水平方向和垂直方向上均减小至其1/2的CU。
在这种情况下,CU的分割可以被递归地执行至预定的深度。深度 信息是指表示CU的大小的信息,并且可以针对每个CU进行存储。例 如,LCU的深度可以是0,而最小编码单元(SCU)的深度可以是预定 最大深度。此处,LCU是具有上述最大大小的编码单元,而SCU是具有最小大小的编码单元。
每当LCU 310在水平方向和垂直方向上均被对半分割时,CU的深 度增加一。例如,如果CU的大小在某一深度L处为2N×2N,则在不 被分割的情况下CU的大小为2N×2N,而在被分割的情况下,其大小 减小至N×N。在这种情况下,N×N大小的CU的深度变为L+1。换 言之,每次深度增加一时,与该CU的大小对应的N减小一半。
参照图3,最小深度为0的LCU的大小可以是64×64像素,而最 小深度为3的SCU的大小可以是8×8像素。在这种情况下,可以将具 有64×64像素的CU(LCU)的深度表示成0,将具有32×32像素的 CU的深度表示成1,将具有16×16像素的CU的深度表示成2,并且 将具有8×8像素的CU(SCU)的深度表示成3。
此外,可以通过CU的一位分割信息来表示关于是否分割具体CU 的信息。分割信息可以包含在除了SCU以外的所有其他CU中。例如, 如果CU不被分割,则将0保留在CU的分割信息中,并且如果CU被 分割,则将1保留在CU的分割信息中。
图4示出了可以被包括在编码单元(CU)中的预测单元。
在从LCU分割的CU中,不再经受进一步分割的CU可以被分割或 划分成一个以上的预测单元。
预测单元(在下文中,“PU”)是进行预测的基本单元。可以以跳跃 模式、帧间模式或帧内模式对预测单元进行编码和解码。可以取决于各 个模式来以各种方式划分预测单元。
参照图4,在不分割CU的情况下,跳过模式可以支持与CU具有 相同大小的2N×2N模式410。
帧间模式针对CU可以支持八种划分类型,例如,2N×2N模式410、 2N×N模式415、N×2N模式420、N×N个模式425、2N×nU模式430、 2N×nD模式435、nL×2N模式440以及NR×2N模式445。
帧内模式针对CU可以支持2N×2N模式410和N×N模式425。
图5示出了3D图像编解码器中的视点间预测结构的示例。
可以使用视图0作为参考图像来进行针对视图1和视图2的视点间 预测,并且视图0应当早于视图1和视图2被编码。
在这种情况下,可以独立于其他视图对视图0进行编码,并且因此, 视图0被称为独立视图。与此相反,应当使用视图0作为参考图像的视 图1和视图2被称为依赖视图。独立视点图像可以使用典型的2D图像 编解码器进行编码。相反,依赖视点图像需要经过视点间预测,并且因 此这些视图可以使用配备有视点间预测处理的3D图像编解码器进行编 码。
为了提高编码效率,可以使用深度信息图对视图1和视图2进行编 码。例如,纹理和深度信息图在被编码时可以独立于彼此进行编码和/ 或解码。或者,纹理和深度信息图在被编码时可以如图6所示那样依赖 于彼此进行编码和/或解码。
图6示出了在3D图像编码器和/或解码器中对真正图像(纹理视图) 和深度信息图(深度视图)进行编码和/或解码的处理的示例。
参照图6,3D图像编码器可以包括用于对真正图像(纹理视图)进 行编码的纹理编码器(纹理编码器)和用于对深度信息图(深度视图) 进行编码的深度信息图编码器(深度编码器)。
在这种情况下,纹理编码器可以使用由深度信息图编码器编码的深 度信息图对纹理进行编码。相反,深度信息图编码器可以使用由纹理编 码器编码的纹理对深度信息图进行编码。
3D图像解码器可以包括用于对纹理进行解码的真正图像解码器(纹 理解码器)以及用于对深度信息图进行解码的深度信息图解码器。
在这种情况下,纹理解码器可以使用由深度信息图解码器解码的深 度信息图对纹理进行解码。相反,深度信息图解码器可以使用由纹理解 码器解码的纹理对深度信息图进行解码。
图7是示出根据本发明的实施方式的图像编码器的配置的框图。
图7示出了可以通过扩展单视点结构图像编码器实现的适用于多视 点结构的示例图像编码器。在这种情况下,图7的图像编码器可以用在 如图6所示的纹理编码器和/或深度信息图编码器中,并且编码器可以是 指编码装置。
参照图7,图像编码器700包括帧间预测模块710、帧内预测模块 720、开关715、减法器725、变换模块730、量化模块740、熵编码单元750、去量化模块760、逆变换模块770、加法器775、滤波器780以及 参考图片缓冲器790。
图像编码器700可以以帧内模式或帧间模式对输入图像进行编码, 以输出位流。
帧内预测是指图片内预测,而帧间预测是指图片间或视点间预测。 在帧内模式下,开关715切换至帧内模式,而在帧间模式下,开关715 切换至帧间模式。
图像编码器700可以针对输入图片的块(当前块)生成预测块,并 且然后对当前块与预测块之间的差进行编码。
在帧内模式下,帧内预测模块720可以使用当前块的已经编码的相 邻块的像素值作为其参考像素。帧内预测模块720可以使用参考像素生 成用于当前块的预测样本。
在帧间模式下,帧间预测模块710可以获得下述运动矢量,该运动 矢量指定在参考图片缓冲器790中所存储的参考图片中的与输入块(当 前块)对应的参考块。帧间预测模式710可以通过使用运动矢量和参考 图片缓冲器790中所存储的参考图片执行运动补偿来生成用于当前块的 预测块。
在多视点结构中,应用于帧间模式的帧间预测可以包括视点间预测。 帧间预测模块710可以通过对参考视点图片进行采样来配置视点间参考 图片。帧间预测模块710可以使用包括视点间参考图片的参考图片列表 来进行视点间预测。视图之间的参考关系可以通过指定视点间依赖性的 信息进行传达。
同时,在当前视点图片和参考视点图片具有相同大小时,应用于参 考视点图片的采样可以是指通过根据参考视点图片进行样本复制或插值 来生成参考样本。在当前视点图片与参考视点图片具有不同大小的情况 下,应用于参考视点图片的采样可以是指上采样或下采样。例如,在视 图具有不同分辨率的情况下,可以对参考视图的恢复图片进行上采样来 配置视点间参考图片。
可以考虑例如编码成本来确定要将哪个视点图片用于配置视点间参 考图片。编码器可以向解码装置发送指定要用作视点间参考图片的图片 所属的视图的信息。
在视点间预测中所参考的视图——即,参考视图——中的用于预测 当前块的图片可以与同一访问单元(AU)的作为当前图片(针对当前视 图中的预测的图片)的图片相同。
减法器725可以通过当前块与预测块之间的差来生成残差块(残差 信号)。
变换模块730将残差块变换成变换系数。在变换跳过模式中,变换 模块730可以跳过对残差块的转换。
量化模块740根据量化参数将变换系数量化成经量化的系数。
熵编码单元750根据概率分布对通过量化模块740获得的值或者在 编码成位流的过程中获得的编码参数进行熵编码。熵编码单元750除了 对图像的像素信息进行熵编码以外还对用于图像解码的信息(例如,语 法元素)进行熵编码。
编码参数可以包括编码或解码过程中可推断的信息以及例如由编码 器编码并且传输至解码装置的语法元素的信息来作为用于编码和解码所 必需的信息。
残差信号可以是指原始信号与预测信号之间的差、通过对原始信号 与预测信号之间的差进行变换而获得的信号或者通过对原始信号与预测 信号之间的差进行变换并且对变换后的差进行量化而获得的信号。从块 的角度看,残差信号可以被表示成残差块。
在熵编码适用的情况下,可以以如下方式来表示符号,在这样的方 式中,具有较高出现可能性的符号被分配较少的位,而具有较低出现可 能性的符号被分配较多的位,并且因此可以减小针对编码的符号的位流 的大小。正因为如此,图像编码通过熵编码可以具有提高的压缩能力。
熵编码可以使用例如指数哥伦布码、上下文自适应可变长度编码 (CAVLC)或上下文自适应二进制算术编码(CABAC)的编码方案。 例如,熵编码单元750可以使用可变长度编码/码(VLC)表来执行熵编 码。熵编码单元750可以导出二值化方法和目标符号以及目标符号/箱的 概率模型,并且可以使用所导出的二值化方法和概率模型来执行熵编码。
经量化的系数可以通过去量化模块760进行逆量化,并且可以通过 逆变换模块770进行逆变换。逆量化且逆变换的系数通过加法器775加 至预测块,从而产生恢复的块。
恢复的块经过滤波器780。滤波器780可以将去块滤波器、样本自 适应偏移(SAO)以及自适应环路滤波器(ALF)中的至少一个或更多 个应用于恢复的块或恢复的图片。在经过滤波器780之后,恢复的块可 以被存储在参考图片缓冲器790中。
图8是示出根据本发明的实施方式的图像解码器的配置的框图。
图8示出了可以通过扩展单视点结构的图像解码器实现的适用于多 视点结构的示例图像解码器。
在这种情况下,图8的图像解码器可以用在图6所示的纹理解码器 和/或深度信息图解码器中。为了便于描述,如在本文中所使用的,术语 “解密”和“解码”可以互换使用,或者术语“解码装置”和“解码器” 可以互换使用。
参照图8,图像解码器800包括熵解码单元810、去量化模块820、 逆变换模块830、帧内预测模块840、帧间预测模块850、滤波器860以 及参考图片缓冲器870。
图像解码器800可以从编码器接收位流,以帧内模式或帧间模式对 位流进行解码,并且输出重构的图像,即重构图像。
在帧内模式下,开关可以切换至帧内预测,而在帧间模式下,开关 可以切换至帧间预测。
图像解码器800可以获得从接收到的位流恢复的残差块,生成预测 块并且将所恢复的残差块和预测块相加,以生成重构的块,即恢复块。
熵解码单元810可以根据概率分布将所接收的位流熵解码成例如经 量化的系数和语法元素的信息。
经量化的系数通过去量化模块820进行逆量化,并且通过逆变换模 块830进行逆变换。量化的系数可以逆量化/逆变换成恢复的残差块。
在帧内模式下,帧内预测模块840可以使用当前块的已经编码的相 邻块的像素值来生成用于当前块的预测块。
在帧间模式下,帧内预测模块850可以通过使用运动矢量和参考图 片缓冲器870中所存储的参考图片执行运动补偿来生成用于当前块的预 测块。
在多视点结构中,应用于帧间模式的帧间预测可以包括视点间预测。 帧间预测模块850可以通过对参考视点图片进行采样来配置视点间参考 图片。帧间预测模块850可以使用包括视点间参考图片的参考图片列表 进行视点间预测。视图之间的参考关系可以通过指定视点间依赖性的信 息进行传达。
同时,在当前视点图片(当前图片)和参考视点图片具有相同大小 的情况下,应用于参考视点图片的采样可以是指通过根据参考视点图片 进行样本复制或插值来生成参考样本。在当前视点图片和参考视点图片 具有不同大小时,应用于参考视点图片的采样可以是指上采样或下采样。
例如,在视点间预测应用于具有不同分辨率的视图时,可以对参考 视图的恢复图片进行上采样来配置视点间参考图片。
在这种情况下,可以将指定要被用作视点间参考图片的图片所属的 视图的信息从编码器传送至解码器。
在视点间预测中所参考的视图——即,参考视图——中的用于预测 当前块的图片可以与同一访问单元(AU)的作为当前图片(针对当前视 图中的预测的图片)的图片相同。
恢复的残差块与预测块通过加法器855相加成恢复的块。换言之, 残差样本和预测样本彼此相加成恢复的样本或恢复的图片。
恢复的图片通过滤波器860进行滤波。滤波器860可以将去块滤波 器、SAO和ALF中至少一个或更多个应用于恢复的块或恢复的图片。 滤波器860输出重构(修改)的图片或滤波后的恢复图片(重构图片)。 重构图像被存储在参考图片缓冲器870中,以用于在帧间预测中使用。
尽管在结合图7和图8描述的实施方式中模块执行其各自的彼此不 同的功能,但本发明不限于此。例如,一个模块可以执行两个或更多个 功能。例如,图7和图8所示的帧内预测模块和帧间预测模块的相应操 作可以由一个模块(预测单元)来执行。
同时,如以上结合图7和图8所描述的,一个编码器/解码器对多个 视图的所有视图进行编码/解码。然而,这仅仅是为了便于描述,可以为 多个视图分别配置单独的编码器/解码器。
在这种情况下,用于当前视图的编码器/解码器可以使用关于其他视 图的信息来对当前视图进行编码/解码。例如,用于当前视图的预测单元 (帧间预测模块)可以使用其他视图的像素信息或恢复图片信息来对当 前块执行帧内预测或帧间预测。
尽管在本文中描述了视点间预测,但可以使用关于其他视图的信息 来对当前层进行编码/解码,而不管编码器/解码器是否被配置成用于每个 视图或者一个装置是否处理多个视图。
根据本发明的对视图的描述可以同样适用于支持可扩展的层。例如, 如本文所描述的视图可以是层。
图9是示出用于3D图像编解码器的示例性预测结构的图。为了便 于描述,图9示出了用于对通过三个摄影机获得的纹理以及分别与各个 纹理对应的深度信息图进行编码的预测结构。
如图9所示,从三个摄影机分别获得的三个纹理根据视图被表示成 T0、T1和T2,并且分别与三个纹理对应的三个深度信息图根据视图被 表示为D0、D1和D2。此处,T0和D0是在视图0处获得的图像,T1 和D1是在视图1处获得的图像以及T2和D2是在视图2处获得图像。 在这种情况下,图9所示的正方形是图像(图片)。
图像(图片)取决于编码/解码类型被分为I图片(帧内图像)、P 图片(单向预测图片)以及B图片(双向预测图片),并且每个图片可 以取决于其编码/解码类型进行编码/解码。对于I图片,图像本身被编码, 而无需经过帧间预测。对于P图片,仅单向存在的参考图像可以经受帧 间预测,而对于B图片,双向存在的参考图片可以经受帧间预测。在这 种情况下,图9所示的箭头表示预测的方向。换言之,取决于预测方向, 纹理以及其深度信息图可以被相互依赖地编码/解码。
需要关于当前块的运动信息来通过帧间预测对图像进行编码/解码。 为了推断关于当前块的运动信息,可能会使用以下方法:使用与当前块 邻近的块的运动信息的方法;使用同一时间内的时间相关性的方法;以 及使用相邻时间处的视点间相关性的方法。针对一个图片,可以组合使 用上述帧间预测方法。此处,当前块是指被执行预测的块。运动信息可 以是指运动矢量、参考图像数量和/或预测方向(例如,是单向预测还是 双向预测,是否使用时间相关性或者是否使用视点间相关性等)。
在这种情况下,取决于是否使用参考图片列表(RefPicList),预测 方向通常可以分为单向预测或双向预测。双向预测分为使用正向参考图 片列表(列表0,L0)的正向预测(Pred_L0:预测L0)和使用反向参 考图片列表(列表1,L1)的反向预测(Pred_L1:预测L1)。此外, 使用正向参考图片列表(列表0)和反向参考图片列表(列表1)二者 的双向预测(Pred_BI:预测BI)可以表示存在正向预测和反向预测二 者。甚至将正向参考图片列表(列表0)复制到反向参考图片列表(列 表1)以使得存在两个正向预测处理的情况也可以属于双向预测的范畴。
预测方向可以使用predFlagL0和predFlagL1来定义。在这种情况 下,predFlagL0是指示是否使用正向参考图片列表(列表0)的指示符, 而predFlag1是指示是否使用反向参考图片列表(列表1)的指示符。 例如,在单向预测并且正向预测的情况下,predFlagL0可以是‘1’,而 predFlagL1可以是‘0’;在单向预测并且反向预测的情况下,predFlagL0 可以是‘0’,而predFlagL1可以是‘1’;以及在双向预测的情况下, predFlagL0可以是‘1’,而predFlagL1可以是‘1’。
图10示出了使用相邻块来配置用于当前块的合并候选列表的示例。
合并模式是用于执行帧间预测的方法。合并模式可以采用当前块的 相邻块的运动信息作为关于当前块的运动信息(例如,运动矢量、参考 图片列表和参考图片索引中至少一个)。在这种情况下,将使用关于相邻 块的运动信息作为关于当前块的运动信息称为合并、运动合并或合并运 动。
在合并模式下,可以是每编码单元(CU)合并运动和每预测单元 (PU)合并运动。
以每块(例如,CU或PU)(为了便于描述,在下文中称为“块) 为基础进行合并运动的情况需要关于以下的信息:是否按照块划分来执 行合并运动的信息,以及关于合并运动处理当前块的相邻块中的哪个块 的信息。
合并候选列表可以被配置成执行合并运动。
合并候选列表是指多条运动信息的列表,并且可以在合并模式被执 行之前生成这个合并候选列表。此处,合并候选列表中的运动信息可以 是当前块上的相邻块的运动信息,或者是通过组合已经存在于合并候选 列表中的多条运动信息而新生成的运动信息。关于相邻块的运动信息(例 如,运动矢量和/或参考图片索引)可以是由相邻块指定的运动信息或者 存储于相邻块中的(或者用于对相邻块进行解码的)运动信息。
在这种情况下,如图10所示,相邻块可以包括在空间上位置邻近于 当前块的相邻块A、B、C、D和E,以及在时间上对应于当前块的共置 候选块H或M。共置候选块是指位于在时间上对应于包括当前块的当前 图片的共置图片中的相应位置处的块。如果H块在共置图片中可用,则 可以将H块确定为共置候选块,而如果H块不可用,则可以将共置图片 中的M块确定为共置候选块。
在配置合并候选列表时,确定是否可以将关于相邻块(A、B、C、 D和E)和共置候选块(H或M)的运动信息用作配置当前块的合并候 选列表的合并候选。换言之,可以将可用于关于当前块的帧间预测的块 的运动信息添加至合并候选列表作为合并候选。
例如,作为用于配置X块的合并候选列表的方法,1)在相邻块A 可用的情况下,将相邻块A添加至合并候选列表。2)此后,仅当关于 相邻块B的运动信息与关于相邻块A的运动信息不同时,将相邻块B添 加至合并候选列表。3)以此方式,仅当关于相邻块C的运动信息不同 于关于相邻块B的运动信息时,将相邻块C添加至合并候选列表,以及 4)仅当关于相邻块D的运动信息不同于关于相邻块C的运动信息时, 将相邻块D添加至合并候选列表。此外,5)仅当关于相邻块E的运动 信息不同于关于相邻块D的运动信息时,将相邻块E添加至合并候选列 表,以及6)最后,将相邻块H(或M)添加至合并候选列表。总之, 可以按照A→B→C→D→E→H(或M)的顺序将相邻块添加至合并候 选列表。此处,相同运动信息可以是指使用相同运动矢量、相同参考图 片和相同预测方向(单向或双向)。
为了便于描述,在本文中将短语“将相邻块添加至合并候选列表作 为合并候选”和“将运动信息添加至合并候选列表作为合并候选”混用, 尽管这两个短语在意思上基本上相同。例如,作为合并候选的相邻块可 以是指关于该块的运动信息。
图11是示出使用相邻视图处的运动信息导出关于当前块的运动信 息的示例性处理的图。
结合图11,仅为了便于描述,仅使用一个视图来导出关于当前块的 运动信息。然而,可以存在两个或更多个相邻视图。
参照图11,3D视频系统可以使用相邻视图处的运动信息,以便有 效地编码/解码运动信息。具体地,图11所示的当前块(当前位置X处 的块)搜索位于相邻视图处的目标块(参考位置XR),以便导出关于当 前块的运动信息。在这种情况下,相邻视图处的目标块是指与当前块对 应的块。由于当前图片中的在当前视图与参考视图之间的差仅在于摄影 机的位置,所以可以根据上述视差矢量(DV)导出相邻视图处的目标块。
图12是示出将一个预测单元(PU)分成若干子预测单元的示例的 图。
在图12所示的示例中,将大小为64×64的预测单元划分成大小均 为8×8的子预测单元。为了便于结合图12进行描述,预测单元的大小 为64×64,但不限于此,大小可以是32×32、16×16、8×8或4×4。 在3D视频系统中,可以将一个预测单元分成多个子预测单元。在这种 情况下,以每子预测单元为基础来执行使用视差矢量导出运动信息。子 预测单元可以具有预定大小(例如,4×4、8×8或16×16),并且可以 在编码时指定子预测单元的大小。关于子预测单元的大小的信息可以被 包括和传达在图像参数集(VPS)扩展语法中。
图13是示出使用参考块导出关于当前块的运动信息的示例性处理 的图。
导出关于当前块的运动信息的处理是指将存在于参考块中的运动信 息设置为关于当前块的运动信息。然而,3D视频系统可以针对位于当前 视图处的当前图片中的当前块X以每子预测单元为基础来导出运动信 息,以便有效地编码/解码运动信息。
换言之,3D视频系统可以将存在于参考块XR的子预测单元中的运 动信息设置成关于当前块X的子预测单元的运动信息。在这种情况下, 参考块XR可以是指位于参考视图处的当前图片中的参考块XR。下面描 述导出运动信息的具体处理。
图14是示出用于导出关于当前块的运动信息的示例性参考块的图。
参照图14,参考块可以是指PU,并且一个参考块可以包括总共16 个子参考单元。在这种情况下,可以根据存在于参考块的子预测单元中 的运动信息导出当前块中的关于每个子预测单元的运动信息。
现在参照图15a至图15e以及图16a至图16g来描述使用参考块导 出关于当前块的子预测单元的运动信息的方法。
图15a至图15e是示意性示出使用存储在存储空间中的运动信息导 出运动信息的示例性处理的图。在这种情况下,图15a至图15e中所使 用的参考块可以是如图14所示的参考块。
在当前块的子预测单元带来参考块的子预测单元上的mi时,参考 块的所有子预测单元不具有运动信息。换言之,可能存在参考块的无法 从其中提出运动信息的一些子预测单元。因此,在存在无法从其中获得 运动信息的子预测单元的情况下,可以将当前所参考的子预测单元的前 一子预测单元或后一子预测单元上的mi投入使用,以便弥补未能从当 前块的子预测单元获得运动信息。例如,在参考块中可用的关于子预测 单元的运动信息可以被预先存储,以便为存在参考块的无法从其中导出 运动信息的一些其他子预测单元的情况做准备,使得可以将预先存储的 运动信息插入在当前块的子预测单元中,以导出关于当前块的运动信息。
为了更好地理解上述方法,下面参照附图来描述用于在参考块的第 一子预测单元具有其运动信息而该参考块的第二子预测单元或其后续子 预测单元可能不具有运动信息的情况下导出关于当前块的子预测单元的 运动信息的示例性方法的每个步骤。
图15a是示出存储空间和当前块的子预测单元的初始状态的图。
参照图15a,Ref表示参考块,并且Ref 0、Ref 1、Ref 2和Ref 3 分别表示参考块中的子预测单元。即,Ref 0是指参考块的子预测单元0 (参考块的第一子预测单元),Ref 1是指参考块的子预测单元1(参考 块的第二子预测单元),Ref 2是指参考块的子预测单元2(参考块的第 三子预测单元),而Ref 3是指参考块的子预测单元3(参考块的第四子 预测单元)。Cur表示当前块,并且Cur 0、Cur 1、Cur 2和Cur 3分别 表示当前块中的子预测单元。即,Cur 0是指当前块的子预测单元0(当 前块的第一子预测单元),Cur 1是指当前块的子预测单元1(当前块的 第二子预测单元),Cur 2是指当前块的子预测单元2(当前块的第三子 预测单元),而Cur 3是指子预测单元3(当前块的第四子预测单元)。
在这种情况下,图15a的Ref 2中所标识的‘X’表示使用参考块的 子预测单元2不能导出运动信息。
图15b示出了从参考块的子预测单元导出运动信息的第一步骤。
参照图15b,从用于当前块的子预测单元0的参考块的子预测单元0 导出运动信息。在这种情况下,由于可以从参考块的子预测单元0导出 运动信息,所以将关于参考块的子预测单元0的运动信息存储在存储空 间中。在这种情况下,可以将存储在存储空间中的运动信息定义为运动 信息0,当不能从参考块的一些其他子预测单元导出运动信息时,使用 该运动信息0。
图15c示出了从参考块的子预测单元导出运动信息的第二步骤。
参照图15c,从用于当前块的子预测单元1的参考块的子预测单元1 导出运动信息。在这种情况下,由于可以从参考块的子预测单元1导出 运动信息,所以将关于参考块的子预测单元1的运动信息存在存储空间 中。在这种情况下,可以将所存储的关于子预测单元1的运动信息定义 为运动信息1,并且将运动信息1取代运动信息0而存储在存储空间中。当不能从参考块的一些其他子预测单元导出运动信息时,可以使用该运 动信息1。
图15d示出了从参考块的子预测单元导出运动信息的第三步骤。
参照图15d,尝试从用于当前块的子预测单元2的参考块的子预测 单元2导出运动信息。然而,由于不能从参考块的子预测单元2导出运 动信息,所以从存储在存储空间中的运动信息导出关于当前块的子预测 单元2的运动信息。在这种情况下,存储在存储空间中的运动信息可以 是运动信息1。
图15e示出了从参考块的子预测单元导出运动信息的第四步骤。
参照图15e,从用于当前块的子预测单元3的参考块的子预测单元3 导出运动信息。在这种情况下,由于可以从参考块的子预测单元3导出 运动信息,所以将关于参考块的子预测单元3的运动信息存储在存储空 间中。在这种情况下,可以将所存储的关于子预测单元3的运动信息定 义为运动信息3,并且可以将运动信息3取代运动信息1而存储在存储空间中。当不能从参考块的一些其他预测单元导出运动信息时,可以使 用该运动信息3。
图16a至图16g是示意性示出使用存储在存储空间中的运动信息导 出运动信息的另一示例性处理的图。
图16a至图16g示出了在以下情况下导出运动信息的示例性处理: 继参考块的无法从其中导出运动信息的子预测单元之后,跟随有参考块 的可以从其中导出运动信息的又一子预测单元。
图16a是示出存储空间和当前块的子预测单元的初始状态的图。
参照图16a,Ref表示参考块,并且Ref 0、Ref 1、Ref 2和Ref 3 分别表示参考块中的子预测单元。即,Ref 0是指参考块的子预测单元0, Ref 1是指参考块的子预测单元1,Ref 2是指参考块的子预测单元2,而 Ref 3是指参考块的子预测单元3。Cur表示当前块,并且Cur 0、Cur 1、 Cur 2和Cur 3分别表示当前块的子预测单元。即,Cur 0是指当前块的 子预测单元0,Cur 1是指当前块的子预测单元1,Cur 2是指当前块的 子预测单元2,而Cur 3是指当前块的子预测单元3。在这种情况下,图 16a中的Ref 0中所标记的‘X’表示使用参考块的子预测单元0和参考 块的子预测单元1不能导出运动信息。
图16b示出了从参考块的预测单元导出运动信息的第一步骤。
参照图16b,尝试从用于当前块的子预测单元0的参考块的子预测 单元0导出运动信息。然而,如上所述,既不能从参考块的子预测单元 0导出运动信息,存储空间中也没有运动信息。因此,执行第二步骤。
图16c示出了从参考块的子预测单元导出运动信息的第二步骤。
参照图16c,尝试从用于当前块的子预测单元1的参考块的子预测 单元1导出运动信息。然而,如上所述,既不能参考块的子预测单元1 导出运动信息,存储空间中也没有存储运动信息。因此,执行第三步骤。
图16d示出了从参考块的子预测单元导出运动信息的第三步骤。
参照图16d,从用于当前块的子预测单元2的参考块的子预测单元2 导出运动信息。在这种情况下,由于可以从参考块的子预测单元2导出 运动信息,所以将关于参考块的子预测单元2的运动信息存储在存储空 间中。在这种情况下,可以将存储在存储空间中的运动信息定义为运动 信息2。当不能从参考块的一些其他子预测单元导出运动信息时,使用 该运动信息2。
图16e示出了从参考块的子预测单元导出运动信息的第四步骤。
参照图16e,针对当前块的子预测单元0,使用存储在存储空间中的 运动信息2导出运动信息。
图16f示出了从参考块的子预测单元导出运动信息的第五步骤。
参照图16f,针对当前块的子预测单元1,使用存储在存储空间中的 运动信息2导出运动信息。
图16g示出了从参考块的子预测单元导出运动信息的第六步骤。
参照图16g,从用于当前的子预测单元3的参考块的子预测单元3 导出运动信息。在这种情况下,由于可以从参考块的子预测单元3导出 运动信息,所以将关于参考块的子预测单元3的运动信息存储在存储空 间中。在这种情况下,可以将所存储的关于子预测单元3的运动信息定 义为运动信息3,并且可以将运动信息3取代运动信息2而存储在存储 空间中。当不能从参考块的一些其他子预测单元导出运动信息时,可以 使用运动信息3。
图17是根据本发明的实施方式使用参考块的子预测单元导出关于 当前块的子预测单元的运动信息的方法的流程图。可以通过编码器和/ 或解码器或者编码器和/或解码器中的帧间预测模块(例如图7的帧内预 测模块720或图8的帧间预测模块850)来执行图17的处理中的每个操 作。
首先参考图17来描述当参考块的子预测单元具有其运动信息时的 处理。帧间预测模块确定参考块的子预测单元是否具有运动信息 (S1700)。
如果参考块的子预测单元具有运动信息,则帧间预测模块将存在于 参考块的子预测单元中的运动信息插入针对导出运动信息的当前块的子 预测单元中(S1710)。
此后,帧间预测模块确定存储空间是否存储运动信息(S1720)。如 果存储空间存储运动信息,则执行步骤S1750。在这样的情况下,上面 已经详细描述了存储空间,也详细描述了运动信息。
除非存储空间存储运动信息,否则帧间预测模块确定针对导出运动 信息的当前块的子预测单元是否为当前块的第一子预测单元(S1730)。 如果针对导出运动信息的当前块的子预测单元是当前块的第一子预测单 元,则帧间预测模块执行步骤S1750。
在步骤S1730中,除非当前块的子预测单元是第一子预测单元,否 则帧间预测模块将存在于参考块的子预测单元的运动信息插入定位于当 前块的第一子预测单元之前的当前块的(一个或更多个)子预测单元中。 例如,如果针对导出运动信息的当前块的子预测单元是第三子预测单元, 则帧间预测模块将关于参考块的子预测单元的运动信息插入当前块的第 一子预测单元和第二子预测单元中。
帧间预测模块将关于参考块的子预测单元的运动信息存储在存储空 间中(并且用关于参考块的子预测单元的运动信息更新存储空间中的现 有信息)(S1750)。在这样的情况下,上面已给出存储和更新运动信息的 具体描述。
帧间预测模块确定针对导出运动信息的参考块的子预测单元是否为 参考块的最后的子预测单元(S1790)。如果针对导出运动信息的参考块 的子预测单元是参考块的最后的子预测单元,则帧间预测模块终止运动 信息导出处理。除非针对导出运动信息的参考块的子预测单元是参考块 的最后的子预测单元,否则帧间预测模块行进至参考块的下一子预测单 元进行处理(S1780)。此后,帧间预测模块重复步骤S1700至步骤S1790。
如果参考块的子预测单元没有运动信息,则进行下面的处理。
帧间预测模块确定参考块的子预测单元是否具有运动信息(S1700)。
如果参考块的子预测单元没有运动信息,则帧间预测模块确定存储 空间是否保留运动信息(S1770)。除非存储空间保留运动信息,否则帧 间预测模块执行步骤S1790。
在存储空间保留运动信息的情况下,帧间预测模块将存储在存储空 间中的运动信息插入针对导出运动信息的参考块的子预测单元中 (S1750)。
在执行上面的步骤之后,帧间预测模块确定针对导出运动信息的参 考块的子预测单元是否为参考块的最后的子预测单元(S1790)。如果针 对导出运动信息的参考块的子预测单元是参考块的最后的子预测单元, 则帧间预测模块终止运动信息导出处理。除非针对导出运动信息的参考 块的子预测单元是参考块的最后的子预测单元,否则帧间预测模块行进 至参考块的下一子预测单元进行处理(S1780)。此后,帧间预测模块重 复步骤S1700至步骤S1790。
然后,帧间预测模块基于由上面的步骤导出的关于当前块的运动信 息来导出针对当前块的预测样本。预测样本可以是指上述预测信号,并 且预测信号可以是指如上所述的原始信号与残差信号之间的差。
导出关于当前块的子预测单元的运动信息的上述处理可以特定地应 用于如表格1所示的3D图像。如上所述,可以通过编码器/解码器或编 码器/解码器的帧间预测模块来执行表格1所示的操作。
[表格1]
Figure BDA0002145071740000241
Figure BDA0002145071740000271
Figure BDA0002145071740000281
现在详细描述表格1。
参考表格1,将当前预测块的左上端的位置、当前预测块的宽度和 高度、参考视图索引和视差矢量输出至帧间预测模块。在这样的情况下, 当前预测块的左上端的位置可以被表示为(xPb,yPb),其中,“xPb”可 以指代当前预测块的X轴坐标,而“yPb”可以指代当前预测块的y轴 坐标。当前预测块的宽度可以被表示为“nPbW”,而当前预测块的高度 可以被表示为“nPbH”。参考视图索引可以被表示为“refViewIdx”,并 且视差矢量可以被表示为“mvDisp”。在这样的情况下,帧间预测模块 可以对应于图像编码器/解码器的上述帧间预测模块。
参考图17,在使用参考块的子预测单元完成导出关于当前块的子预 测单元的运动信息的处理之后,帧间预测模块输出用于确定临时视点间 运动候选是否可用的标志、临时视点间候选运动矢量和存在于参考图片 列表中的参考图片。在这样的情况下,用于确定临时视点间候选运动是 否可用的标记可以被定义为“availableFlagLXInterView”,并且临时视 点间候选运动可以被定义为“mvLXInterView”。参考图片列表可以被表 示为“RefPicListLX”,并且指定存在于参考图片列表中的参考图片的参 考索引可以被定义为“refIdxLXInterView”。在 “availableFlagLXInterView”、“mvLXInterView”、“RefPicListLX”和 “refIdxLXInterView”中,“LX”可以是参考图片列表0(列表0,L0) 或参考图片列表1(列表1,L1)。
现在描述使用参考块的子预测单元导出关于当前块的子预测单元的 运动信息以便帧间预测模块根据上述输入导出上述输出的方法。
在使用参考块的子预测单元导出关于当前块的子预测单元的运动信 息之前,帧间预测模块执行初始化。在这样的情况下, availableFlagLXInterView被设置为0,mvLXInterView被设置为(0,0), 并且refIdxLXInterView被设置为-1。当帧间预测模块执行初始化时, 还对子预测单元的宽度和高度进行初始化。在这样的情况下,子预测单 元的宽度可以被表示为“nSbW”,并且子预测单元的高度被表示为 “nSbH”。下面等式1给出将变量nSbW和变量nSbH初始化的具体方 法。
[等式1]
nSbW=Min(nPbW,SubPbSize[nuh_layer_id])
nSbH=Min(nPbH,SubPbSize[nuh_layer_id])
在这样的情况下,SubPbSize表示由图像参数集(VPS)指定的子 预测单元的(包括高度和宽度的)大小,而nuh_layer_id表示用于识别 层的索引(例如,它是哪个参考视点)。如在等式2中Min()可以被定义 为对输入变量中较小的输入变量进行输出。
[等式2]
Figure BDA0002145071740000291
帧间预测模块不仅可以将上述变量初始化,而且可以将以下信息初 始化:用于识别当前块的子预测单元和视点间参考图片中的(xRef,yRef) 处的亮度预测块的信息,以及用于识别存储在存储空间中的运动信息是 否可用的信息。
在这样的情况下,视点间参考图片中的(xRef,yRef)处的亮度预测 块被设置为视图索引与当前访问单元中的参考视图索引相同的图片中的 块。在这样的情况下,视点间参考图片中的(xRef,yRef)处的亮度预测 块被定义为“ivRefPic”,并且访问单元是指对图像进行编码/解码的单元。 访问单元包括具有相同的图片顺序计数(POC)的、不同视点的图像。 例如,如果存在3个视点,则一个访问单元可以包括第一视点的公共图 像和/或深度信息图像、第二视点的公共图像和/或深度信息图像以及第三 视点的公共图像和/或深度信息图像。参考视图索引可以被定义为 “refViewIdx”,并且视图索引被定义为“ViewIdx”。在这样的情况下, ViewIdx可以是指当前图片的视点。
在这样的情况下,用于识别用于初始化的当前块的子预测单元的信 息可以被设置为0,并且用于识别当前块的子预测单元的信息可以被定 义为“curSubBlockIdx”。用于识别存储在存储空间中的运动信息是否可 用的信息还被设置并且被初始化为0,并且用于识别运动信息是否被存 储在存储空间中的信息可以被定义为“lastAvalableFlag”。
在将上述变量初始化之后,帧间预测模块对范围从0至 (nPbH/nSbH-1)的yBlk和范围从0至(nPbW/nSbW-1)的xBlk执行 以下处理。此处,xBlk是指块的x坐标,而yBlk是指块的y坐标。
首先,帧间预测模块对以下进行初始化:用于识别是否预测来自参 考块的子预测单元的运动信息的信息、子预测单元预测标志、关于子预 测单元的运动信息和子预测单元的参考索引。具体地,用于识别是否预 测来自参考块的子预测单元的运动信息的信息可以被设置为0。在这样 的情况下,用于识别是否预测来自参考块的子预测单元的运动信息的信 息可以被定义为“curAvailableFlag”。子预测单元预测标志可以被设置 为0,并且子预测单元预测标志可以被定义为“spPredFlagL1”。为了表 示块的坐标,子预测单元标志可以被定义为 “spPredFlagL1[xBlk][yBlk]”。子预测单元的运动矢量被设置为(0, 0),并且子预测单元的运动矢量可以被定义为“spMvLX”。子预测单元 的参考索引可以被设置为-1,并且子预测单元的参考索引可以被定义为 “spRefIdxLX”。为了表示块的坐标,子预测单元的参考索引可以被定 义为“spRefIdxLX[xBlk][yBlk]”。
参考块的位置(xRef,yRef)可以如以下等式3进行设置。
[等式3]
xRef=Clip3(0,PicWidthInSamplesL-1, xPb+xBlk*nSbW+nSbW/2+((mvDisp[0]+2)>>2)))
yRef=Clip3(0,PicHeightInSamplesL-1, yPb+yBlk*nSbW+nSbW/2+((mvDisp[1]+2)>>2)))
此处,xRef是指参考块的位置的x坐标,而yRef是指参考块的位 置的y坐标。PicWidthInSamplesL是指当前图片处的宽度,而 PicHeightInSamplesL是指当前图片处的高度。Clip3()可以如以下等式4 进行定义。
[等式4]
Figure BDA0002145071740000301
在以帧内模式对视点间参考块进行编码的情况下,对范围从0至1 的X执行以下处理。视点间参考块指代由ivRefPic表示的视点间参考图 片中的(xRef,yRef)处的亮度预测块,并且视点间参考块可以被定义为 “ivRefPb”。即,ivRefPb表示由ivRefPic表示的视点间参考图片中的 (xRef,yRef)处的亮度预测块,并且ivRefPic表示视点间参考图片。由ivRefPb表示的参考块的左上端的位置可以被设置为(xIvRefPb, yIvRefPb)。
当X为0或者当前片为片B时,如下对Y(Y的范围从X至(1-X)) 重置每个变量。refPicListLYIvRef被设置为由ivRefPic表示的图片中的 RefPicListLY,其中,RefPicListLY是指参考图片列表。 predFlagLYIvRef[x][y]被设置为由ivRefPic表示的图片中的 PredFlagLY[x][y],其中,PredFlagLY是指表示参考图片列表的标识 符。mvLYIvRef[x][y]被设置为由ivRefPic表示的图片中的 MvLY[x][y],其中,MvLY是指运动矢量。同样地, refIdxLYIvRef[x][y]被设置为由ivRefPic表示的图片中的 RefIdxLY[x][y],其中,RefIdxLY是指参考索引。
在这样的情况下,如果predFlagLYIvRef[xIvRefPb][yIvRefPb]为 1,则以下等式5可以应用于范围从0至num_ref_idx_lX_active_minus1 (参考图片列表中的参考图片的数目)的i。
[等式5]
spMvLX[xBlk][yBlk]=mvLYIvRef[xIvRefPb][yIvRefPb]
spRefIdxLX[xBlk][yBlk]=i
spPredFlagLX[xBlk][yBlk]=1
curAvailableFlag=1
同时,参考表格1,以下处理分别应用于curAvailableFlag为1的情 况和curAvailableFalg为0的情况。
如果curAvailableFlag为1,则帧间预测模块执行以下处理。
1.如果lastAvailableFlag为0,则以下等式6可以应用于范围从0 至1的X。
[等式6]
mxLXInterView=spMvLX[xBlk][yBlk]
refIdxLXInterView=spRefIdxLX[xBlk][yBlk]
availableFlagLXInterview=spPredFlag[xBlk][yBlk]
如果lastAvailableFlag为0,并且curSubBlockIdx大于0,则对于 范围从0至(curSubBlockIdx-1)的k,以下等式7可以应用于变量i 和变量j。
[等式7]
i=k%(nPSW/nSbW)
j=k/(nPSW/nSbW)
在这样的情况下,以下等式8应用于范围从0至1的X。
[等式8]
spMvLX[i][j]=spMvLX[xBlk][yBlk]
spRefIdxLX[i][j]=spRefIdxLX[xBlk][yBlk]
spPredFlagLX[i][j]=spPredFlagLX[xBlk][yBlk]
2.在上述处理之后,帧间预测模块将lastAvailableFlag替换为1。
3.此后,帧间预测模块在变量xLastAvail和变量yLastAvail中分别 存储xBlk和yBlk。
如果curAvailableFlag为1,并且lastAvailableFlag为1,则帧间预 测模块将以下等式9应用于范围从0至1的X。
[等式9]
spMvLXxBlk][yBlk]=spMvLX[xLastAvail][yLastAvail]
spRefIdxLX[xBlk][yBlk]=spRefIdxLX[xLastAvail][yLastAvail]
spPredFlagLX[xBlk][yBlk]=spPredFlagLX[xLastAvail][yLastAvail]
在执行所有上述处理之后,变量curSubBlockIdx被设置为curSubBlockIdx+1。
上面结合图17描述的导出关于当前块的子预测单元的运动信息的 方法,当不能从参考块的子预测单元导出运动信息时,使用之前(或之 后)已经参考的关于参考块的子预测单元的运动信息。这样,根据图17 的导出运动信息的方法应当必要地参考其他参考块的子预测单元,并且 因此该方法是相关性的。参考图18详细描述了相关性的运动信息导出方 法易受并行设计的侵害。
图18是使用参考块的子预测单元并行导出当前块的子预测单元上 的信息的示例性处理的图。
参考图18,Ref是指参考块,并且Ref 0、1、2、3、4、5、6和7 分别是参考块的子预测单元0、1、2、3、4、5、6和7。Cur是指当前 块,并且Cur 0、1、2、3、4、5、6和7分别是指当前块的子预测单元 0、1、2、3、4、5、6和7。在Ref 2、3、4和5中标识的X是指参考块 的子预测单元2、3、4和5在导出运动信息时不可用。
在根据图18的实施方式中,为了从不能导出运动信息的子预测单元 导出运动信息,帧间预测模块根据可以如上所述导出运动信息来检测子 预测单元。因此,帧间预测模块不能独立地导出每个当前块的子预测单 元的运动信息,并且上述运动信息导出处理难以并行执行。
图19是当可用子预测单元位于参考块的最右端和最下端处时发现 可用子预测单元的示例性处理的图。
参考图19,每个方形是指子预测单元,其中,粗体实划线是指在导 出运动信息时可用的子预测单元,而较细实划线是指在导出运动信息时 的不可用子预测单元。虚线箭头表示发现运动信息的顺序。
在从其中可以导出运动信息的子预测单元仅被定位在如图19所示 的参考块的最右和最下端处的情况下,子预测单元应当顺序地经受可以 沿着虚线箭头从参考块的最左和最上端导出运动信息的子预测单元的发 现。在典型情况下,不知道在参考块中哪个子预测单元可以被用于导出 运动信息。因此,参考块的子预测单元从参考块的第一子预测单元经受 顺序发现,以确定可以被用于导出运动信息的子预测单元。
然而,如图19所示的导出运动信息的方法需要参考块中所有子预测 单元,以发现可用子预测单元,从而导致对存储器的频繁访问。在这样 的情况下,如果在参考块的子预测单元中仅几个子预测单元具有运动信 息,则发生不必要的子预测单元发现。具体地,如果参考块中没有子预 测单元被用于导出运动信息,则发现参考块的可用子预测单元的处理仅 带来没有任何利益的不必要的存储器访问。在这样的情况下,“没有运动 信息”是指当前块在邻近帧的参考块中未能发现类似区域。
因此,在参考块中仅几个子预测单元或没有子预测单元具有运动信 息的情况下,使用帧间预测对当前块进行编码/解码可以导致更高效。换 言之,在参考块仅几个子预测单元或没有子预测单元具有运动信息的这 种情况下,可以更有效地发现当前块的邻近像素中的类似区域,以执行 对当前块的编码/解码。
图20是示意性示出在每个子预测单元基础上导出运动信息所需的 时间的图。
参考图20,当从一个子预测单元导出运动信息所花费的时间为T并 且参考块中子预测单元的数目为N时,从参考块导出所有运动信息所花 费的时间为NxT。上面提到的运动信息导出方法带来数据相关性和频繁 的存储器访问。数据相关的运动信息导出方法不能从每个子预测单元独 立地导出运动信息,并且为了从一个子预测单元导出运动信息,因此应 当等待,直至从其他子预测单元导出运动信息为止。从而,数据相关的 运动信息导出方法可能导致编码/解码延迟。
结果,上述运动信息导出方法不能实现用于同时导出运动信息的数 据并行化,并且根据其设计架构,该方法可能导致频繁的存储器访问, 这使存储器使用效率恶化。
本文提出了用于去除当导出运动信息时的相关性的设备和方法以解 决以上问题。图21示出了本发明应用的帧间预测模块的示例性配置。根 据本发明的实施方式,参考图22至图26详细描述了导出运动信息的方 法。
图21是示出本发明应用的帧间预测模块2100的配置的框图。
参考图21,帧间预测模块2100可以包括存储模块2110和导出模块 2120。帧间预测模块2100可以是指上述3D图像编码器中的帧间预测模 块710或3D图像解码器中的帧间预测模块850。图21的帧间预测模块 2100可以应用于上述图像编码/解码处理。
存储模块2110指定运动信息并且将相同运动信息存储在存储空间 中。存储模块2110可以使用存在于参考块的位置处的运动信息,以获得 所存储的运动信息。此处,所述位置可以是参考块的中心或覆盖参考块 的中心的(子)预测单元。存储在存储模块2110中的运动信息可以被设 置为初始值。除非运动信息可以被存储在存储空间中,否则可以省略在 每个子预测单元基础上导出运动信息的处理。当在每个子预测单元基础 上省略导出运动信息的处理时,可以如上所描地执行帧间预测。下面更 详细地描述了存储模块2110。
导出模块2120执行从当前块的子预测单元导出运动信息的处理。在 这样的情况下,导出模块2120可以基本上执行上述运动信息导出处理。 然而,除非与当前块的第一子预测单元对应的参考块的子预测单元具有 运动信息,否则本文提出的导出模块2120可以执行对具有运动信息的参 考块的子预测单元的发现,并且代替从具有运动信息的参考块的子预测 单元导出关于当前块的第一子预测单元的运动信息,而可以从存储在存 储模块中的运动信息导出关于当前块的第一子预测单元的运动信息。下 面更详细地描述了导出模块2120。
现在参考附图详细描述本发明的实施方式。
实施方式1
图22是示意性示出根据本发明的实施方式的使用参考块导出关于 当前块的子预测单元的运动信息的方法的流程图。
在实施方式1中,基于参考块的中心位置的运动信息来导出关于当 前块的子预测单元(当前子单元)的运动信息。可以在编码器和解码器 或者编码器和解码器的预测单元或帧间预测模块中执行实施方式1。为 了便于本文的描述,图21的帧间预测模块2100执行实施方式1的操作。
参考图22,帧间预测模块2100可以导出参考块的中心位置(S2200)。 可以根据下面的等式10导出所述参考块的中心位置。此处,参考块可以 是存在于与参考图片中的当前块相同位置处的块,并且参考块可以具有 与当前块相同的大小。
[等式10]
X位置=xPb+(nPbW>>1)
Y位置=yPb+(nPbH>>1)
此处,xPb和yPb指代当前PU的左上位置,nPbW指代当前PU 的宽度,而nPbH指代当前PU的高度。
帧间预测模块2100可以确定参考块的中心位置处是否存在运动信 息(S2210)。可以如上所述指定所述参考块的中心位置。
除非参考块的中心位置处存在可用的运动信息,否则帧间预测模块 2100可以终止导出运动信息的处理。例如,在参考块的中心处没有可用 的运动信息的情况下,帧间预测模块2100不会导出关于当前块的运动信 息。
如果参考块的中心位置处存在运动信息,则帧间预测模块2100可以 将存在于参考块的中心位置处的运动信息存储在存储空间中(S2220)。 存在于参考块的中心位置处的运动信息可以是包括最邻近参考块的中心 的全样本位置的关于预测块的运动信息。上面已经描述了通过帧间预测 模块2100存储运动信息的具体处理。帧间预测模块2100可以基于参考 块上存储的运动信息导出关于当前子预测单元的运动信息。
帧间预测模块2100可以确定与当前子预测单元对应的参考块的子 预测单元是否具有运动信息(S2240)。
在参考块的子预测单元具有运动信息的情况下,帧间预测模块2100 可以将关于参考块的子预测单元的运动信息插入当前子预测单元 (S2250)。换言之,帧间预测模块2100可以将关于参考块的子预测单元 的运动信息(例如,运动矢量、参考图片索引)设置为对应的关于当前 子预测单元的运动信息。
除非参考块的子预测单元具有可用的运动信息,否则帧间预测模块 2100将存储在存储空间中的参考块的运动信息插入当前子预测单元中 (S2260)。换言之,在与当前子预测单元对应的关于参考块的子预测单 元的运动信息不可用的情况下,帧间预测模块2100可以将存储在步骤 S2200中的关于参考块的中心的运动信息设置为关于当前子预测单元的 运动信息。
帧间预测模块2100可以确定与当前子预测单元对应的参考块的子 预测单元是否为参考块中的最后的子预测单元(或者以相同的含义,当 前子预测单元是否为当前块中的最后子预测单元)(S2270)。在参考块的 子预测单元是最后的子预测单元的情况下,帧间预测模块2100可以终止 导出运动信息的处理。
除非参考块的子预测单元是最后的子预测单元,否则帧间预测模块 2100继续进行关于当前块的下一子预测单元的运动信息,以继续导出运 动信息(S2230)。
根据实施方式1的上述运动信息导出处理可以应用于如表格2中进 行解码的3D图像。
[表格2]
Figure BDA0002145071740000371
Figure BDA0002145071740000381
Figure BDA0002145071740000391
Figure BDA0002145071740000401
Figure BDA0002145071740000411
基于表格2再次描述实施方式1。
参考表格2,将当前预测块的左上端的位置、当前预测块的宽度和 高度、参考视图索引和视差矢量输出至帧间预测模块2100。此处,当前 预测块的左上端的位置可以被定义为(xPb,yPb)。当前预测块的宽度可 以被定义为“nPbW”,并且当前预测块的高度可以被定义为“nPbH”。 参考视图索引可以被定义为“refViewIdx”,并且视差矢量可以被定义为“mvDisp”。
在使用参考块的子预测单元完成导出关于当前块的子预测单元的运 动信息的处理之后,帧间预测模块2100可以输出用于确定视点间预测是 否可行的标志、视点间运动矢量和指定存在于参考图片列表中的参考图 片的参考索引。在这样的情况下,用于确定临时视点间候选运动是否可 用的标记可以被定义为“availableFlagLXInterView”,并且临时视点间 运动候选可以被定义为“mvLXInterView”。参考图片列表可以被表示为“RefPicListLX”,并且指定存在于参考图片列表中的参考图片的参考索 引可以被定义为“refIdxLXInterView”。在“availableFlagLXInterView”、 “mvLXInterView”、“RefPicListLX”和“refIdxLXInterView”中,“LX” 可以是参考图片列表0(列表0,L0)或参考图片列表1(列表1,L1)。
现在描述通过从输入获得上述输出来导出关于当前块的子预测单元 的运动信息的方法。
首先,在使用参考块的子预测单元导出关于当前块的子预测单元的 运动信息之前,帧间预测模块2100执行初始化。在这样的情况下, availableFlagLXInterView可以被设置为0,mvLXInterView被设置为 (0,0),并且refIdxLXInterView被设置为-1。当帧间预测模块2100执 行初始化时,还可以将子预测单元的宽度和高度进行初始化。在这样的 情况下,子预测单元的宽度可以被表示为“nSbW”,并且子预测单元的 高度被表示为“nSbH”。等式11表示用于将变量nSbW和变量nSbH进 行初始化的方法的示例。
[等式11]
nSbW=Min(nPbW,SubPbSize[n/uh_layer_id])
nSbH=Min(nPbH,SubPbSze[n/uh_layer_id])
在这样的情况下,SubPbSize表示由VPS指定的子预测单元的(包 括高度和宽度的)大小,并且nuh_layer_id表示用于识别层的索引(例 如,它是哪个参考视点)。Min()是对变量输入中较小的变量输入进行输 出的运算符。
帧间预测模块2100不仅可以将上述变量初始化,而且可以将以下信 息初始化:用于识别当前块的子预测单元和视点间参考图片中的(xRef, yRef)处的亮度预测块的信息,以及用于识别存储在存储空间中的运动 信息是否可用的信息。
在这样的情况下,视点间参考图片可以被设置为具有当前访问单元 中的视图索引(例如参考视图索引)的图片。此处,视点间参考图片可 以被表示为“ivRefPic”,并且视点间参考图片中的(xRef,yRef)处的亮 度预测块可以被表示为“ivRefPb”。一个访问单元包括具有相同的图片 顺序计数(POC)的、不同视点的图像。参考视图索引可以被定义为“refViewIdx”,并且视图索引被定义为“ViewIdx”。
参考位置可以是根据实施方式1的指定覆盖参考块的中心的预测块 的位置。可以存储关于参考位置的运动信息,以导出关于当前子预测单 元的运动信息。等式12示出了导出参考位置(xRef,yRef)的示例性方 法。
[等式12]
xRefFull=xPb+(nPbW>>1)+((mvDisp[0]+2)>>2)
yRefFull=yPb+(nPbH>>1)+((mvDisp[1]+2)>>2)
xRef=Clip3(0,PicWidthInSamplesL-1,(xRefFull>>3)<<3)
yRef=Clip3(0,PicHeightInSamplesL-1,(yRefFull>>3)<<3)
此处,XRefFull和yRefFull表示接近参考块的中心的全样本的位置。 即,xRefFull和yRefFull分别表示整数位置处的样本的x坐标和y坐标。
ivRefPb可以是覆盖(xRef,yRef)的子预测单元或预测块。亮度样 本的位置(xIvRefPb,yIvRefPb)可以指定ivRefPb的左上端。
除非已经以帧内模式对ivRefPb进行了编码/解码,否则以下处理(1) 和处理(2)可以应用于范围从X至(1-X)的Y。
refPicListLYIvRef被设置为视点间参考图片ivRefPic中的 RefPicListLY、视点间参考图片ivRefPic中的predFlagLYIvRef[x][y] 至PredFlag[x][y]以及视点间参考图片ivRefPic中的 refIdxLYIvRef[x][y]至RefIdxLY[x][y]。
如果predFlagLYIvRef[xIvRefPb][yIvRefPb]为1,则以下处理应 用于范围从0至num_ref_idx_lX_active_minus1(参考图片列表X中的 参考图片的数目)的i。如果refPicListLYIvRef[refIdxLYIvRef[xIvRefPb][yIvRefPb]]的POC(图 片顺序计数)为RefPicListLX[i]且availableFlagLXInterView为0,则 等式13可以应用。
[等式13]
availableFlagLXInterView=1
mvLXInterView=mvLYIvRef[xIvRefPb][yIvRefPb]
refIdxLX=i
在availableFlagL0InterView或availableFlagL1InterView为1的情 况下,帧间预测模块2100对范围从0至(nPbH/nSbH-1)的yBlk和范 围从0至(nPbW/nSbW-1)的xBlk执行以下处理。此处,xBlk是指x 坐标,而yBlk是指y坐标。换言之,如果导出参考块的中心处的可用运 动信息,则帧间预测模块2100可以在每个子预测单元基础上导出运动信 息。
首先,帧间预测单元2100可以将以下进行初始化:用于识别是否预 测来自参考块的子预测单元的运动信息、子预测单元预测标志、关于子 预测单元的运动信息和子预测单元的参考索引。
在这样的情况下,用于识别是否预测来自参考块的子预测单元的运 动信息的信息可以被定义为“curAvailableFlag”、子预测单元预测标志 “spPredFlagLX1”、子预测单元预测标志 “spPredFlagLX[xBlk][yBlk]”、子预测单元的运动矢量“spMvLX”、子 预测单元的参考索引“spRefIdxLX”和子预测单元的参考索引 “spRefIdxLX[xBlk][yBlk]”。
如以下等式14,在每个子预测单元基础上重置参考块的位置(xRef, yRef)。
[等式14]
xRef=Clip3(0,PicWidthInSamplesL-1, xPb+xBlk*nSbW+nSbW/2+((mvDisp[0]+2)>>2)))
yRef=Clip3(0,PicHeightInSamplesL-1, yPb+yBlk*nSbH+nSbH/2+((mvDisp[1]+2)>>2)))
PicWidthInSamplesL是指当前图片的宽度,而 PicHeightInSamplesL是指当前图片的高度。另外,上面已经描述了 Clip3()。
此后,在以帧内模式对视点间参考块进行编码的情况下,对范围从 0至1的X执行以下处理。
当X为0或者当前片为片B时,如下对于Y(Y的范围从X至(1-X)) 重置每个变量。refPicListLYIvRef可以被设置为由ivRefPic(即,视点 间参考图片)指定的图片的参考图片列表RefPicListLY。 predFlagLYIvRef[x][y]被设置为PredFlagLY[x][y]。 PredFlagLY[x][y]表示应用于由ivRefPic指定的图片中的(x,y)处的 参考图片列表。mvLYIvRef[x][y]被设置为MvLY[x][y]。 MvLY[x][y]是指由ivRefPic指定的图片中的(x,y)处的运动矢量。 refIdxLYIvRef[x][y]被设置为RefIdxLY[x][y]。RefIdxLY[x][y]表 示由ivRefPic表示的图片中的(x,y)处的参考像素。
在predFlagLYIvRef[xIvRefPb][yIvRefPb]为1的情况下,如果refPicListLYIvRef[refIdxLYIvRef[xIvRefPb][yIvRefPb]]的POC为 RefPicListLX[i]并且spPredFlagLX[xBlk][yBlk]为0,则以下等式15 可以应用于范围从0至num_ref_idx_lX_active_minus1(参考图片列表 中的参考图片的数目)的i。
[等式15]
spMvLX[xBlk][yBlk]=mvLYIvRef[xIvRefPb][yIvRefPb]
spRefIdxLX[xBlk][yBlk]=i
spPredFlagLX[xBlk][yBlk]=1
curAvailableFlag=1
即使是在已经执行了上述处理之后,如果curAvailableFlagas set为 0(即,除非spRefIdxLX=i(例如,spRefIdxLx=-1),并且spPredFlagLX=1 (例如,spPredFlagLX=-1)),则可以说不会在每个子预测单元基础上 导出运动信息。因此,帧间预测模块2100可以将等式16应用于范围从 0至1的X。
换言之,在不能从参考块的子预测单元导出运动信息的情况下,帧 间预测模块2100可以从关于参考块的中心位置的运动信息导出关于当 前块的子预测单元的运动信息。
[等式16]
spMvLX[xBlk][yBlk]=mvLXInterView
spRefIdxLX[xBlk][yBlk]=refIdxLX
spPredFlagLX[xBlk][yBlk]=availableFlagLXInterView
最后,在已完成所有上述处理之后,变量curSubBlockIdx被设置为curSubBlockIdx+1,并且如果availableFlagL0InterView和 availableFlagL1InterView为0,则结束根据实施方式1的导出运动信息 的处理。
实施方式2
图23是示意性示出根据本发明的另一实施方式的导出当前块的每 个关于子预测单元的运动信息的方法的流程图。在图23所示的示例中, 可以使用存在于参考块的位置处的子预测单元来导出关于当前块的子预 测单元的运动信息。
在实施方式2中,可以基于覆盖参考块的中心的关于子预测单元的 运动信息来导出关于当前块的子预测单元的运动信息。
可以在编码器和解码器或者编码器和解码器的预测单元或者图21 所示的帧间预测模块2100中执行图23所示的示例。此处,为了便于描 述,帧间预测模块2100执行如图23所示的每个步骤。
参考图23,帧间预测模块2100可以导出定位于参考块的中心处的 子预测单元(中心子预测单元)的位置(S2300)。定位于参考块中的中 心子预测单元是指位于参考块的中心处的子预测单元,并且上面已经描 述了参考块的中心。等式17表示导出参考块的中心子预测单元的位置的 示例。
[等式17]
中心子预测单元的X值=xPb+(nPbW/nSbW/2)*nSbW+nSbW/2
中心子预测单元的Y值=yPb+(nPbH/nSbH/2)*nSbH+nSbH/2
此处,xPb和yPb指代当前预测单元的左上位置,nPbW指代当前 预测单元的宽度,而nPbH指代当前预测单元的高度。
帧间预测模块2100确定参考块的中心子预测单元是否具有运动信 息(S2310),并且上面已经描述了所述参考块的中心子预测单元的位置。 如果没有运动信息存在于参考块的中心子预测单元的位置处,则帧间预 测模块2100可以终止运动信息导出处理。
在运动信息存在于参考块的中心子预测单元的情况下,帧间预测模 块2100可以存储存在于中心位置处的运动信息(S2320)。上面已描述了 通过帧间预测模块2100存储运动信息的具体处理。
帧间预测模块2100导出关于当前子预测单元的运动信息。帧间预测 模块2100可以确定与当前子预测单元对应的参考块的子预测单元是否 具有运动信息(S2340)。
在参考块的子预测单元具有运动信息的情况下,帧间预测模块2100 可以将存在于参考块的子预测单元中的运动信息插入当前子预测单元中(S2350)。除非参考块的子预测单元具有运动信息,否则帧间预测模块 2100可以将存储在步骤S2320中的运动信息插入当前子预测单元 (S2360)。
帧间预测模块2100可以确定针对导出运动信息的参考块的子预测 单元是否为最后的子预测单元(S2370)。在参考块的子预测单元是最后 的子预测单元的情况下,帧间预测模块2100可以终止导出关于当前块的 运动信息的处理。除非参考块的子预测单元是最后的子预测单元,否则 行进至当前块的下一子预测单元,以继续导出运动信息(S2330)。
根据实施方式2的上述运动信息导出处理可以应用于如表格3中的 3D图像。
[表格3]
Figure BDA0002145071740000471
Figure BDA0002145071740000481
Figure BDA0002145071740000491
Figure BDA0002145071740000501
Figure BDA0002145071740000511
基于表格3再次描述实施方式2。
表格3中的变量与表格2中的变量相同。
帧间预测模块2100在使用参考块的子预测单元导出关于当前子预 测单元的运动信息之前执行初始化。初始化与上面结合表格2描述的初 始化相同。
帧间预测模块可以指定参考块的中心子预测单元的位置。可以基于 参考位置确定参考块的位置,并且如等式18导出参考位置(xRef,yRef)。
[等式18]
xRef=Clip3(0,PicWidthInSamplesL-1, xPb+(nPbW/nSbW/2)*nSbW+nSbW/2)
yRef=Clip3(0,PicHeightInSamplesL-1, yPb+(nPbH/nSbH/2)*nSbH+nSbH/2)
ivRefPic是具有与当前访问单元中的refViewIdx相同的ViewIdx的 图片,并且ivRefPb是覆盖通过ivRefPic中的等式19导出的(xRef,yRef) 的预测块或子预测单元。
(xIvRefPb,yIvRefPb)指定ivRefPb的左上位置。
在尚未以帧内模式对ivRefPb进行编码/解码并且X为0或者当前片 为片B的情况下,以下处理应用于范围从X至(1-X)的Y。
如结合表格2所描述的,refPicListLYIvRef被设置为RefPicListLY、predFlagLYIvRef[x][y]至PredFlag[x][y]以及refIdxLYIvRef[x][y] 至RefIdxLY[x][y]。
如果predFlagLYIvRef[xIvRefPb][yIvRefPb]为1,则在 refPicListLYIvRef[refIdxLYIvRef[xIvRefPb][yIvRefPb]]的POC(图 片顺序计数)为RefPicListLX[i]并且availableFlagLXInterView为0的 情况下,等式19应用于范围从0至num_ref_idx_lX_active_minus1(参 考图片列表X中的参考图片的数目)的i。
[等式19]
centerAvailableFlag=1
centerMvLX=mvLYIvRef[xIvRefPb][yIvRefPb]
centerRefIdxLX=j
centerPredFlagLX=1
在等式中,centerAvailableFlag表示参考块的中心子预测单元是否可 用,并且centerMvLX是指参考块的中心子预测单元的运动矢量。此外, centerRefIdxLX指代参考块的中心子预测单元的参考索引,并且 centerPredFlagLX指代中心子预测单元的参考图片列表。此处, centerAvailableFlag、centerMvLX、centerRefIdxLX和/或centerPredFlagLX是指中心子预测单元的运动信息。换言之,帧间预测 模块2100可以将设置在等式19中的关于参考块的中心子预测单元的运动 信息存储在存储空间中。
在如上所述已经设置了变量之后,在centerAvailableFlag为1的情 况下,帧间预测模块2100对范围从0至(nPbH/nSbH-1)的yBlk和范 围从0至(nPbW/nSbW-1)的xBlk执行以下处理。此处,xBlk是指块 的x坐标,而yBlk是指块的y坐标。换言之,如果导出来自参考块的中 心处的子块的可用运动信息,则帧间预测模块2100可以在每个子预测单 元基础上导出关于当前块的运动信息。
首先,帧间预测模块2100将以下进行初始化:用于识别是否预测来 自参考块的子预测单元的运动信息的信息、子预测单元预测标志、关于 子预测单元的运动信息和子预测单元的参考索引。初始化与上面结合表 格2描述的初始化相同。
如等式20所示,在每个子预测单元基础上重置参考块的位置(xRef, yRef)。
[等式20]
xRef=Clip3(0,PicWidthInSamplesL-1, xPb+xBlk*nSbW+nSbW/2+((mvDisp[0]+2)>>2)))
yRef=Clip3(0,PicHeightInSamplesL-1, yPb+yBlk*nSbH+nSbH/2+((mvDisp[1]+2)>>2)))
此处,xRef是指参考块的位置的x坐标,而yRef是指参考块的位 置的y坐标。PicWidthInSamplesL是指当前图片的宽度,而 PicHeightInSamplesL是指当前图片的高度。上面已经描述了Clip3()。
在以帧内模式对视点间参考块进行编码的情况下,帧间预测模块 2100对范围从0至1的X执行以下处理。
当X为0或者当前片为片B时,如下对于Y(Y的范围从X至(1-X)) 重置每个变量。初始化与上面结合表格2描述的初始化相同。
在predFlagLYIvRef[xIvRefPb][yIvRefPb]为1的情况下,如果refPicListLYIvRef[refIdxLYIvRef[xIvRefPb][yIvRefPb]]的POC为 RefPicListLX[i]并且spPredFlagLX[xBlk][yBlk]为0,则以下等式21 可以应用于范围从0至num_ref_idx_lX_active_minus1(参考图片列表 中的参考图片的数目)的i。
[等式21]
spMvLX[xBlk][yBlk]=mvLYIvRef[xIvRefPb][yIvRefPb]
spRefIdxLX[xBlk][yBlk]=i
spPredFlagLX[xBlk][yBlk]=1
curAvailableFlag=1
即使在已经执行了上述处理之后,如果curAvailableFlagas set为0 (即,除非spRefIdxLX=i(例如,spRefIdxLx=-1),并且spPredFlagLX=1 (例如,spPredFlagLX=-1)),则可以说不会在每个子预测单元基础上 导出运动信息。因此,帧间预测模块2100可以将等式22应用于范围从0至1的X。
换言之,在不能从参考块的子预测单元导出运动信息的情况下,帧 间预测模块2100可以从关于中心子单元的运动信息导出关于当前块的 子预测单元的运动信息。
[等式22]
spMvLX[xBlk][yBlk]=centerMvLX
spRefIdxLX[xBlk][yBlk]=centerRefIdxLX
spPredFlagLX[xBlk][yBlk]=centerPredFlagLX
最后,在已完成所有上述处理之后,变量curSubBlockIdx被设置为curSubBlockIdx+1,并且如果availableFlagL0InterView和 availableFlagL1InterView为0,则结束根据实施方式2的导出运动信息的 处理。
图24是示出使用位置处的运动信息导出关于当前块的子预测单元 的运动信息的示例性处理的图。
参考图24,位于图24的上端处的块是指参考块的子预测单元,而定 位于图24的下端处的块是指当前块的子预测单元。X表示位置,并且X 处的运动信息被存储在存储空间中。此处,图24的位置处的运动信息可 以是指如实施方式1中的参考块的中心位置处的运动信息,并且图24的位 置处的运动信息可以是指如实施方式2中的关于参考块的中心子预测单 元的运动信息。
在使用该位置处的运动信息来导出关于当前块的子预测单元的运动 信息时,参考块中的每个子预测单元可以利用该位置处的运动信息。换 言之,可以使用该位置处的运动信息来同时导出关于当前块的多个子预 测单元的运动信息,并且使用该位置处的运动信息导出运动信息可以解 决数据相关性的问题。因此,在使用该位置处的运动信息时,帧间预测 模块2100可以并行导出运动信息。
如上所述,实施方式1和实施方式2使用存在于任意位置处的运动信 息来导出运动信息。因此,根据实施方式1和实施方式2的运动信息导出 方法使得能够独立导出参考块中的关于每个子预测单元的运动信息。换 言之,实施方式1和实施方式2为了找到可以导出运动信息的子预测单元 不需要可以导出运动信息的子预测单元的顺序发现,并且在参考块的第 一子预测单元不可能用于导出运动信息的情况下,实施方式1和实施方式 2使用预先确定的运动信息来导出关于当前块的子预测单元的运动信息。 这样,根据实施方式1和实施方式2的运动信息导出去除了数据相关性, 从而使得关于每个子预测单元的运动信息能够并行导出。此外,与现有 运动信息导出方法相比,根据实施方式1和实施方式2的运动信息导出防 止了额外的存储器访问,从而减少了访问存储器的次数。
实施方式3
图25是示出根据本发明的又一实施方式的使用运动信息值导出关 于当前块的子预测单元的运动信息的方法的流程图。
参考图25,实施方式4提供了在运动信息不能从参考块的子预测单 元导出的情况下设置默认运动信息并且从该默认运动信息导出关于当前 子预测单元的运动信息的方法。此处,默认运动信息可以是指零矢量。 下面描述了根据实施方式3的导出运动信息的具体方法。
帧间预测模块2100可以在存储空间中存储默认运动信息(S2500)。 上面已经描述了通过帧间预测模块2100存储运动信息的具体处理。
随后,帧间预测模块2100可以导出关于当前子预测单元的运动信 息。帧间预测模块2100可以确定与当前子预测单元对应的参考块的子预 测单元是否具有运动信息(S2520)。
在参考块的子预测单元具有运动信息的情况下,帧间预测模块2100 可以将关于参考块的子预测单元的运动信息插入当前子预测单元 (S2530)。除非参考块的子预测单元具有运动信息,否则帧间预测模块 2100可以将存储在存储空间中的运动信息插入当前子预测单元 (S2540)。
帧间预测模块2100可以确定针对导出运动信息的参考块的子预测 单元是否为最后的子预测单元(S2550)。在参考块的子预测单元是最后 的子预测单元的情况下,帧间预测模块2100可以终止导出运动信息的处 理。除非参考块的子预测单元是最后的子预测单元,否则帧间预测模块 2100可以发现关于参考块的下一子预测单元的运动信息,以继续导出运 动信息(S2510)。
根据实施方式3的上述运动信息导出处理可以应用于如表格4中的 3D-HEVC草案文本2。
[表格4]
Figure BDA0002145071740000561
Figure BDA0002145071740000571
Figure BDA0002145071740000591
基于表格4再次描述实施方式3。表格3中的变量与表格2中的变 量相同。
帧间预测模块2100在使用参考块的子预测单元导出关于当前子预 测单元的运动信息之前执行初始化。初始化与上面结合表格2描述的初 始化相同。
此外,如等式23和等式24中设置变量availableFlagLXZero、 mvLXZero和refIdxLXZero。此处,X为0或1。
[等式23]
availableFlagL0Zero=1
mvL0Zero=(0,0)
refIdxL0Zero=0
[等式24]
availableFlagL1Zero=1
mvL1Zero=(0,0)
refIdxL1Zero=0
此处,availableFlagLXZero是指关于默认运动信息是否可用的标识 符,mvLXZero表示默认运动信息,并且refIdxLXZero表示默认运动信 息的参考索引。
在如上设置变量之后,帧间预测模块2100对范围从0至 (nPbH/nSbH-1)的yBlk和范围从0至(nPbW/nSbW-1)的xBlk执行 以下处理。此处,xBlk是指块的x坐标,而yBlk是指块的y坐标。 首先,帧间预测模块2100对以下进行初始化:用于识别是否预测来 自参考块的子预测单元的运动信息的信息、子预测单元预测标志、关于 子预测单元的运动信息和子预测单元的参考索引。初始化与上面结合表 格2描述的初始化相同。
如等式25所示,在每个子预测单元的基础上设置参考块的位置 (xRef,yRef)。
[等式25]
xRef=Clip3(0,PicWidthInSamplesL-1, xPb+xBlk*nSbW+nSbW/2+((mvDisp[0]+2)>>2)))
yRef=Clip3(0,PicHeightInSamplesL-1, yPb+yBlk*nSbH+nSbH/2+((mvDisp[1]+2)>>2)))
在以帧内模式对视点间参考块进行编码的情况下,帧间预测模块 2100可以对范围从0至1的X执行以下处理。
当X为0或者当前片为片B时,如上所述结合表格2对于Y(Y的 范围从X至(1-X))重置每个变量。
在这样的情况下,如果predFlagLYIvRef[xIvRefPb][yIvRefPb]为 1,则以下等式26可以应用于范围从0至num_ref_idx_lX_active_minus1 (参考图片列表中的参考图片的数目)的i。
[等式26]
spMvLX[xBlk][yBlk]=mvLYIvRef[xIvRefPb][yIvRefPb]
spRefIdxLX[xBlk][yBlk]=i
spPredFlagLX[xBlk][yBlk]=1
curAvailableFlag=1
在执行上述处理后,在curAvailableFlag为0的情况下,帧间预测 模块2100可以将等式27应用于范围从0至1的X。
换言之,在不能从参考块的子预测单元导出运动信息的情况下,帧 间预测模块2100可以从任意设置的默认运动信息导出关于当前块的子 预测单元的运动信息。
[等式27]
spMvLX[xBlk][yBlk]=mvLXZero
spRefIdxLX[xBlk][yBlk]=refIdxLXZero
spPredFlagLX[xBlk][yBlk]=availableFlagLXZero
最后,在已完成所有上述处理之后,变量curSubBlockIdx被设置为curSubBlockIdx+1,并且如果availableFlagL0InterView和 availableFlagL1InterView为0,则结束根据实施方式3的导出运动信息 的处理。
图26是示出了使用一些运动信息导出当前块上的子预测单元的运 动信息的示例性处理的图。
参考图26,位于图26的上端处的块是指参考块的子预测单元,并 且位于图26的下端处的块是指当前块的子预测单元。另外,默认运动信 息被存储在存储空间中。此处,图26所示的默认运动信息可以是指根据 实施方式3任意设置的默认运动信息。
在使用默认运动信息导出关于当前块的子预测单元的运动信息时, 参考块中的每个子预测单元可以利用任意设置的默认运动信息。换言之, 可以使用默认运动信息来同时导出关于当前块的多个子预测单元的运动 信息,并且当前块的所述多个子预测单元可以解决数据相关性的问题。 因此,在使用具有若干值的默认运动信息时,帧间预测模块2100可以并 行导出运动信息。
如上所述,根据实施方式3,帧间预测模块2100使用具有某个值的 默认运动信息来导出运动信息。因此,根据实施方式3的运动信息导出 方法使得能够独立导出参考块中的关于每个子预测单元的运动信息。换 言之,实施方式3为了找到可以导出运动信息的子预测单元不需要可以 导出运动信息的子预测单元的顺序发现,并且在参考块的第一子预测单 元不可能用于导出运动信息的情况下,实施方式3使用预定的运动信息 来导出关于当前块的子预测单元的运动信息。这样,根据实施方式3的 运动信息导出去除了数据相关性,从而使得关于每个子预测单元的运动 信息能够并行导出。此外,与现有运动信息导出方法相比,根据实施方 式3的运动信息导出防止额外的存储器访问,从而减少访问存储器的次 数。
图27是示意性示出根据本发明导出运动信息所需的时间的图。
参考图20,当从一个子预测单元导出运动信息所花费的时间为T并 且参考块中子预测单元的数目为N时,从参考块导出所有运动信息所花 费的时间为NxT。然而,在根据本发明的实施方式导出运动信息时,可 以将运动信息导出并行化,并且因此,导出运动信息的时间对应于T, 并且3D图像编码/解码延迟减少。
上述实施方式可以取决于块大小、编码单元(CU)深度或变换单元 (TU)深度而具有不同的适用范围。当可以使用用于确定适用范围的变 量、在编码器/解码器中预定的值或根据简况或等级确定的值时,或者如 果编码器指定比特流中的变量值,则解码器可以从比特流获得变量值。
例如,在不同的适用范围取决于CU深度而应用的情况下,可以存 在:仅应用于给定的深度或更多深度的方案(方法A)、仅应用于给定的 深度或更少深度的方案(方法B)或者仅应用于给定的深度的方案(方 法C)。在根据本发明的方法不适用于深度的情况下,指示符(标志)可 以被用于表示相同要素,或者它可以用没有应用根据本发明的方法的CU 深度来表示,其中,CU深度可以被设置为大于CU可以具有的最大深 度。
[表格5]
Figure BDA0002145071740000631
在上述实施方式中,基于具有一系列步骤或单元的流程图来描述所 述方法,但是本发明不限于步骤的顺序,而是可以同时或者以具有其他 步骤的不同顺序执行一些步骤。本领域的普通技术人员应当理解:流程 图中的步骤并不互相排斥,并且在不影响本发明的范围的情况下,其他 步骤可以被添加至流程图,或者一些步骤可以从流程图删除。
此外,上述实施方式包括示例的各个方面。虽然不能描述表示各方 面的所有可能的组合,但是本领域的技术人员应当理解,任何其他组合 可行。因此,本发明包括归属于所附权利要求的所有其他改变、修改和 变化。
根据本发明的上述方法可以在可以存储在计算机可读记录介质(其 示例包括ROM、RAM、CD-ROM、磁带、软盘或光学存储装置)中的 计算机可执行程序中准备,或者可以以载波的形式实现(例如,通过互 联网传输)。
计算机可读记录介质可以被分布在通过网络连接的计算机系统中, 并且计算机可读代码可以以分布式被存储和执行。可以由本发明所属的 领域中的程序员容易地推断用于实现上述方法的功能程序、代码或代码 段。
虽然结合本发明的优选实施方式已经示出和描述了本发明,但是本 发明不限于此,并且在不背离在所附权利要求中限定的本发明的范围的 情况下,可以对其进行各种变化,并且这样的变化不应当根据本发明的 技术精神或范围来单独地解释。

Claims (5)

1.一种对图像进行解码的方法,所述方法包括:
导出当前块的运动信息;以及
基于所述当前块的运动信息导出所述当前块的预测样本,
其中,导出所述当前块的运动信息的步骤包括:
确定参考块内的中心子块是否具有运动信息,所述中心子块对应于所述当前块的中心位置;
当所述参考块内的中心子块具有运动信息时,导出所述当前块内的子块的运动信息;以及
当所述参考块内的中心子块不具有运动信息时,导出所述当前块的运动信息。
2.根据权利要求1所述的方法,其中,导出所述当前块内的子块的运动信息的步骤包括:
确定所述参考块内的子块是否具有运动信息,所述参考块内的子块对应于所述当前块内的当前子块;
当所述参考块内的子块具有运动信息时,从所述参考块内的子块导出所述当前块内的当前子块的运动信息;以及
当所述参考块内的子块不具有运动信息时,从所述参考块内的中心子块导出所述当前块内的当前子块的运动信息。
3.一种对图像进行编码的方法,所述方法包括:
导出当前块的运动信息;以及
对所述当前块的运动信息进行编码,
其中,导出所述当前块的运动信息的步骤包括:
确定参考块内的中心子块是否具有运动信息,所述参考块内的中心子块对应于所述当前块的中心位置;
当所述参考块内的中心子块具有运动信息时,导出所述当前块内的子块的运动信息;以及
当所述参考块内的中心子块不具有运动信息时,导出所述当前块的运动信息。
4.根据权利要求3所述的方法,其中,导出所述当前块内的子块的运动信息的步骤包括:
确定所述参考块内的子块是否具有运动信息,所述参考块内的子块对应于所述当前块内的当前子块;
当所述参考块内的子块具有运动信息时,从所述参考块内的子块导出所述当前块内的当前子块的运动信息;以及
当所述参考块内的子块不具有运动信息时,从所述参考块内的中心子块导出所述当前块内的当前子块的运动信息。
5.一种计算机可读记录介质,其存储由一种对图像进行编码的方法形成的比特流,所述方法包括:
导出当前块的运动信息;以及
对所述当前块的运动信息进行编码,
其中,导出所述当前块的运动信息的步骤包括:
确定参考块内的子块是否具有运动信息,所述参考块内的子块对应于所述当前块的中心子块;
当所述参考块内的子块具有运动信息时,从所述参考块内的子块导出所述当前块内的当前子块的运动信息;以及
当所述参考块内的子块不具有运动信息时,从所述参考块内的中心子块导出所述当前块内的当前子块的运动信息。
CN201910681943.8A 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置 Active CN110855992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910681943.8A CN110855992B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2014-0000527 2014-01-03
KR20140000527 2014-01-03
KR20140001531 2014-01-06
KR10-2014-0001531 2014-01-06
CN201580003671.6A CN105874798B (zh) 2014-01-03 2015-01-05 用于导出子预测单元的时间点之间的运动信息的方法和装置
PCT/KR2015/000050 WO2015102443A1 (ko) 2014-01-03 2015-01-05 서브 예측 유닛 단위의 시간적인 시점 간 움직임 정보 유도의 방법 및 장치
CN201910681943.8A CN110855992B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580003671.6A Division CN105874798B (zh) 2014-01-03 2015-01-05 用于导出子预测单元的时间点之间的运动信息的方法和装置

Publications (2)

Publication Number Publication Date
CN110855992A true CN110855992A (zh) 2020-02-28
CN110855992B CN110855992B (zh) 2024-06-07

Family

ID=53793011

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201910681940.4A Active CN110381317B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置
CN202410414099.3A Pending CN118400532A (zh) 2014-01-03 2015-01-05 存储由编码方法生成的比特流的计算机可读记录介质
CN201580003671.6A Active CN105874798B (zh) 2014-01-03 2015-01-05 用于导出子预测单元的时间点之间的运动信息的方法和装置
CN201910681943.8A Active CN110855992B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置
CN201910681941.9A Active CN110430432B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置
CN201910682350.3A Active CN110430433B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201910681940.4A Active CN110381317B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置
CN202410414099.3A Pending CN118400532A (zh) 2014-01-03 2015-01-05 存储由编码方法生成的比特流的计算机可读记录介质
CN201580003671.6A Active CN105874798B (zh) 2014-01-03 2015-01-05 用于导出子预测单元的时间点之间的运动信息的方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201910681941.9A Active CN110430432B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置
CN201910682350.3A Active CN110430433B (zh) 2014-01-03 2015-01-05 导出子预测单元的时间点之间的运动信息的方法和装置

Country Status (6)

Country Link
US (6) US10681369B2 (zh)
EP (1) EP3091743A4 (zh)
JP (6) JP6616773B2 (zh)
KR (10) KR101710034B1 (zh)
CN (6) CN110381317B (zh)
RU (1) RU2680204C2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381317B (zh) 2014-01-03 2022-12-02 庆熙大学校产学协力团 导出子预测单元的时间点之间的运动信息的方法和装置
KR20240115932A (ko) * 2018-04-01 2024-07-26 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20190387247A1 (en) * 2018-06-19 2019-12-19 Qualcomm Incorporated Signaling sub-prediction unit motion vector predictor
CN118450141A (zh) * 2019-01-02 2024-08-06 Lg 电子株式会社 基于sbtmvp的帧间预测方法和设备
WO2020141881A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 서브블록 단위의 움직임 정보 기반 인터 예측 방법 및 장치
KR102612539B1 (ko) * 2019-12-17 2023-12-11 한국전자통신연구원 다시점 비디오 부호화 및 복호화 방법
KR20240051491A (ko) 2022-10-13 2024-04-22 엘지디스플레이 주식회사 표시 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329693A (ja) * 2006-06-08 2007-12-20 Hitachi Ltd 画像符号化装置、及び画像符号化方法
US20110103485A1 (en) * 2008-07-01 2011-05-05 Kazushi Sato Image Processing Apparatus and Method
CN103370940A (zh) * 2010-12-14 2013-10-23 吴秀美 帧间预测编码的运动画面的解码方法
US20130336407A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Temporal motion vector prediction in hevc and its extensions

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0641656B2 (ja) * 1983-12-26 1994-06-01 ユニチカ株式会社 スパンライク複合糸の製造方法
JPH0641657B2 (ja) * 1987-12-02 1994-06-01 鐘紡株式会社 二重織物
TW312770B (en) 1996-10-15 1997-08-11 Japen Ibm Kk The hiding and taking out method of data
JP5249242B2 (ja) * 2007-01-24 2013-07-31 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
CN101267556B (zh) * 2008-03-21 2011-06-22 海信集团有限公司 快速运动估计方法及视频编解码方法
WO2009139569A2 (ko) * 2008-05-13 2009-11-19 엘지전자(주) 비디오 신호 디코딩 방법 및 장치
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
JP2011259040A (ja) * 2010-06-04 2011-12-22 Sony Corp 画像処理装置および方法
CN106937124B (zh) * 2010-10-28 2020-01-10 韩国电子通信研究院 视频解码设备
HU1000640D0 (en) 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
US10397599B2 (en) 2010-12-17 2019-08-27 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
EP4366307A3 (en) * 2012-01-18 2024-07-17 Electronics and Telecommunications Research Institute Method and device for encoding and decoding image
US20130258052A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
JP2013207755A (ja) * 2012-03-29 2013-10-07 Sony Corp 画像処理装置および方法
US9729849B2 (en) 2012-04-19 2017-08-08 Intel Corporation 3D video coding including depth based disparity vector calibration
SG11201405038RA (en) 2012-04-24 2014-09-26 Mediatek Inc Method and apparatus of motion vector derivation for 3d video coding
KR101626759B1 (ko) 2012-05-10 2016-06-02 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2013189205A1 (en) 2012-06-22 2013-12-27 Mediatek Inc. Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
CN102984521B (zh) * 2012-12-12 2015-04-08 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
WO2015003383A1 (en) * 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
ES2906238T3 (es) * 2013-07-24 2022-04-13 Qualcomm Inc Predicción de movimiento avanzada simplificada para 3D-HEVC
CN110381317B (zh) * 2014-01-03 2022-12-02 庆熙大学校产学协力团 导出子预测单元的时间点之间的运动信息的方法和装置
JP6616733B2 (ja) 2016-05-10 2019-12-04 エイチ・シー・ネットワークス株式会社 ネットワークシステムおよびサーバ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329693A (ja) * 2006-06-08 2007-12-20 Hitachi Ltd 画像符号化装置、及び画像符号化方法
US20110103485A1 (en) * 2008-07-01 2011-05-05 Kazushi Sato Image Processing Apparatus and Method
CN103370940A (zh) * 2010-12-14 2013-10-23 吴秀美 帧间预测编码的运动画面的解码方法
US20130336407A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Temporal motion vector prediction in hevc and its extensions

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JICHENG AN,KAI ZHANG,JIAN-LIANG LIN,SHAWMIN LEI: "3D-CES3.h related:Sub-PU level inter-view motion prediction" *
XIN ZHAO,LI ZHANG, YING CHEN: "CE3 related: Simplifications to sub-PU level inter-view motion prediction" *
邓智;贾克斌;陈锐霖;伏长虹;萧允治;: "多视点视频编码中的运动和视差估计快速算法" *

Also Published As

Publication number Publication date
KR20220027915A (ko) 2022-03-08
JP2017507543A (ja) 2017-03-16
CN105874798B (zh) 2019-08-27
KR20240115213A (ko) 2024-07-25
JP6616773B2 (ja) 2019-12-04
CN110381317B (zh) 2022-12-02
CN110855992B (zh) 2024-06-07
JP7183362B2 (ja) 2022-12-05
KR20170021820A (ko) 2017-02-28
EP3091743A4 (en) 2017-07-19
JP2020039157A (ja) 2020-03-12
US20220264139A1 (en) 2022-08-18
CN118400532A (zh) 2024-07-26
US20200252641A1 (en) 2020-08-06
KR20200129081A (ko) 2020-11-17
US10986359B2 (en) 2021-04-20
RU2016125782A3 (zh) 2018-08-30
US20210360276A1 (en) 2021-11-18
JP2023017984A (ja) 2023-02-07
JP2020039158A (ja) 2020-03-12
KR102321412B1 (ko) 2021-11-03
US10681369B2 (en) 2020-06-09
US11711536B2 (en) 2023-07-25
US11115674B2 (en) 2021-09-07
KR101710034B1 (ko) 2017-02-24
CN105874798A (zh) 2016-08-17
CN110430432A (zh) 2019-11-08
KR20220131215A (ko) 2022-09-27
KR102179071B1 (ko) 2020-11-16
JP2022008326A (ja) 2022-01-13
CN110381317A (zh) 2019-10-25
JP7183361B2 (ja) 2022-12-05
KR20170021819A (ko) 2017-02-28
JP2022008327A (ja) 2022-01-13
KR102446602B1 (ko) 2022-09-23
JP6941657B2 (ja) 2021-09-29
KR102321413B1 (ko) 2021-11-03
US20160330467A1 (en) 2016-11-10
CN110430433A (zh) 2019-11-08
KR20150081234A (ko) 2015-07-13
KR20200129080A (ko) 2020-11-17
KR102179072B1 (ko) 2020-11-16
US11627331B2 (en) 2023-04-11
KR102367799B1 (ko) 2022-02-25
KR102299009B1 (ko) 2021-09-07
CN110430433B (zh) 2022-12-20
JP7527334B2 (ja) 2024-08-02
CN110430432B (zh) 2022-12-20
EP3091743A1 (en) 2016-11-09
KR20210110553A (ko) 2021-09-08
RU2016125782A (ru) 2018-02-06
US20230336764A1 (en) 2023-10-19
KR20210133927A (ko) 2021-11-08
US20200252642A1 (en) 2020-08-06
JP6941656B2 (ja) 2021-09-29
RU2680204C2 (ru) 2019-02-18

Similar Documents

Publication Publication Date Title
US10194133B2 (en) Device and method for eliminating redundancy of view synthesis prediction candidate in motion merge mode
CN110381317B (zh) 导出子预测单元的时间点之间的运动信息的方法和装置
KR101854003B1 (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
RU2828826C2 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации
RU2784475C1 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
TG01 Patent term adjustment