CN106464907B - 运动合并模式下消除视点合成预测候选冗余的装置和方法 - Google Patents

运动合并模式下消除视点合成预测候选冗余的装置和方法 Download PDF

Info

Publication number
CN106464907B
CN106464907B CN201580031649.2A CN201580031649A CN106464907B CN 106464907 B CN106464907 B CN 106464907B CN 201580031649 A CN201580031649 A CN 201580031649A CN 106464907 B CN106464907 B CN 106464907B
Authority
CN
China
Prior art keywords
candidate
vsp
blocks
information
merging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580031649.2A
Other languages
English (en)
Other versions
CN106464907A (zh
Inventor
方建
李光淳
朴光勋
李旻星
许南淏
许瑛秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
School-Industry-University Cooperative Force Of Qingxi University
Electronics and Telecommunications Research Institute ETRI
Original Assignee
School-Industry-University Cooperative Force Of Qingxi University
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by School-Industry-University Cooperative Force Of Qingxi University, Electronics and Telecommunications Research Institute ETRI filed Critical School-Industry-University Cooperative Force Of Qingxi University
Priority claimed from PCT/KR2015/005412 external-priority patent/WO2016003074A1/ko
Publication of CN106464907A publication Critical patent/CN106464907A/zh
Application granted granted Critical
Publication of CN106464907B publication Critical patent/CN106464907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Abstract

本发明提供了一种三维图像解码方法,所述方法包括以下步骤:将第一候选块插入到合并候选列表中;当在第一候选块中已经使用了视点合成预测(VSP)时,产生指示VSP已经被使用的信息;当存在指示VSP已经被使用的信息时,避免将当前块的VSP候选插入到合并候选列表中。

Description

运动合并模式下消除视点合成预测候选冗余的装置和方法
技术领域
本发明涉及图像编码/解码设备和方法,更具体地,涉及用于在合并模式下消除视点合成预测候选的冗余的图像解码/编码设备和方法。
背景技术
随着不断增长的信息技术(IT)行业正在全世界传播高清晰度(HD)广播服务,越来越多的人恰好习惯于HD视频并需要更高质量和更高分辨率的视频。为了不辜负这样的用户,一些相关组织被激励开发下一代成像装置。习惯于HD视频质量的用户需要更高质量和更高分辨率的图像,为了响应于这样的要求,许多组织激励他们自己发展下一代成像装置。因此,支持全HD(FHD) 和超高清(UHD)的图像现在是普遍的,并因此,用户可观看高分辨率图像。
用户的需求随着高质量和高分辨率逐步到3D效果视频。因此,这些组织已经开发3D图像以满足这样的需求。
3D图像需要深度图信息以及真实图像(纹理)信息。与2D图像相比, 3D图像需要更多的信息。当3D图像使用用于2D图像的图像编码/解码设备和方法被编码/解码时,可获得不足的编码/解码效率。
发明内容
本发明的目的在于提供一种用于消除插入到合并列表的合并候选的冗余的图像编码/解码设备和方法。
本发明的另一目的在于提供一种用于在3D图像编码/解码中消除合并候选的冗余的设备和方法。
本发明的另一目的在于提供一种用于在3D图像编码/解码中消除视点合成预测候选的冗余的方法和设备。
根据本发明的实施例,提供了一种3D图像解码方法,所述方法包括:将候选插入到合并候选列表的第一候选块中;当在第一候选块中已经使用了从当前块的邻近块继承的视点合成预测(VSP)候选时;产生指示继承的VSP候选已经被使用的信息;当存在指示继承的VSP候选已经被使用的信息时放弃将当前块的VSP候选插入到合并候选列表中。
这里,第一候选块可以是空间邻近块。
这里,第一候选块可以是位于当前块左侧的空间邻近块。
这里,第一候选块可以是A1块。
这里,指示VSP候选已经被使用的信息可包括指示第一候选块是否可用的信息、或指示在第一候选块中是否已经使用了VSP候选的信息。
这里,3D图像解码方法还可包括:将一个候选插入到合并候选列表的第一候选块中,并随后将其他候选插入到合并候选列表的第二候选块中,其中,当在第一候选块或第二候选块中已经使用了继承的VSP候选时,可产生指示继承的VSP候选已经被使用的信息。
这里,第一候选块可以是位于当前块左侧的空间邻近块,第二候选块可以是位于当前块上侧的空间邻近块。
这里,第一候选块可以是A1块,第二候选块可以是B1块。
这里,当前块可以是子预测块。
根据本发明的另一实施例,提供了一种3D图像解码设备,所述设备包括:空间合并候选模块,允许向合并候选列表进行插入;VSP候选冗余检查模块,当在第一候选块中已经使用了从当前块的邻近块继承的VSP候选时,产生指示继承的VSP候选已经被使用的信息;和VSP候选插入模块,使用存在从VSP 冗余检查模块产生的信息决定禁用当前块的VSP候选。
这里,第一候选块可以是空间邻近块。
这里,第一候选块可以是位于当前块的左侧的空间邻近块。
这里,第一候选块可以是A1块。
这里,指示VSP候选已经被使用的信息可包括指示第一候选块是否可用的信息、或指示在第一候选块中是否已经使用了VSP候选的信息。
这里,空间合并候选插入模块可将一个候选插入到合并候选列表的第一候选块中,并随后将其他候选插入到合并候选列表的第二候选块中,并且VSP 候选冗余检查模块可产生指示在第一候选块或第二候选块继承的VSP候选的信息。
这里,第一候选块可以是位于当前块左侧的空间邻近块,第二候选块可以是位于当前块上侧的空间邻近块。
这里,第一候选块可以是A1块,第二候选块可以是B1块。
这里,当前块可以是子预测块。
根据本发明,提供了一种3D图像编码方法,所述方法包括:将候选插入到合并候选列表的第一候选块;当已经从当前块的邻近块继承了视点合成预测(VSP)候选时,产生指示继承的VSP候选已经被使用的信息;当存在指示继承的VSP候选已经被使用的信息时,禁止当前块的VSP候选到合并候选列表中。
这里,第一候选块可以是空间邻近块。
这里,第一候选块可以是位于当前块的左侧的空间邻近块。
这里,第一候选块可以是A1块。
这里,指示VSP候选已经被使用的信息可包括指示第一候选块是否可用的信息、或指示在第一候选块中是否已经使用了VSP候选的信息。
这里,所述方法还可包括:将一个候选插入到合并候选列表的第一候选块中,并随后将其他候选插入到合并候选列表的第二候选块中,其中当在第一候选块或第二候选块中已经使用了继承的VSP候选时,可产生指示继承的 VSP候选已经被使用的信息。
这里,第一候选块可以是位于当前块左侧的空间邻近块,第二候选块可以是位于当前块上侧的空间邻近块。
这里,第一候选块可以是A1块,第二候选块可以是B1块。
这里,当前块可以是子预测块。
根据本发明的另一实施例,提供了一种3D图像编码设备,所述设备包括:空间合并候选插入模块,将候选插入到合并候选列表的第一候选块中,VSP 候选冗余确定模块,产生指示在第一候选块中已经使用了从当前块的邻近块继承的VSP候选的信息;和VSP候选插入模块,当存在指示继承的VSP候选已经被使用的信息时,放弃将当前块的VSP候选插入到合并候选列表中。
这里,第一候选块可以是空间邻近块。
这里,第一候选块可以是位于当前块的左侧的空间邻近块。
这里,第一候选块可以是A1块。
这里,指示VSP候选已经被使用的信息可包括指示第一候选块是否可用的信息、或指示在第一候选块中是否已经使用了VSP候选的信息。
这里,空间合并候选插入模块可将一个候选插入到合并候选列表的第一候选块中,并随后将其他候选插入到合并候选列表的第二候选块中,并且VSP 候选冗余检查模块可产生指示在第一候选块或第二候选块继承的VSP候选的信息。
这里,第一候选块可以是位于当前块左侧的空间邻近块,第二候选块可以是位于当前块上侧的空间邻近块。
这里,第一候选块可以是A1块,第二候选块可以是B1块。
这里,当前块可以是子预测块。
根据本发明,提供了一种保存用于执行3D图像解码方法的计算机可执行程序的非暂时性计算机可读记录介质,其中,3D图像解码方法包括:将候选插入到合并候选列表的第一候选块中;当在第一候选块中已经使用了从当前块的邻近块继承的视点合成预测(VSP)候选时,产生指示继承的VSP候选已经被使用的信息;当存在指示继承的VSP候选已经被使用的信息时,放弃将当前块的VSP候选插入到合并候选列表中。
这里,第一候选块可以是空间邻近块。
这里,第一候选块可以是位于当前块的左侧的空间邻近块。
这里,第一候选块可以是A1块。
这里,指示VSP候选已经被使用的信息可包括指示第一候选块是否可用的信息、或指示在第一候选块中是否已经使用了VSP候选的信息。
这里,所述方法还可包括:将一个候选插入到合并候选列表的第一候选块中,并随后将其他候选插入到合并候选列表的第二候选块中,其中,当在第一候选块或第二候选块中已经使用了继承的VSP候选时,可产生指示继承的VSP候选已经被使用的信息。
这里,第一候选块可以是位于当前块左侧的空间邻近块,第二候选块可以是位于当前块上侧的空间邻近块。
这里,第一候选块可以是A1块,第二候选块可以是B1块。
这里,当前块可以是子预测块。
根据本发明,提供了一种保存用于执行3D图像编码方法的计算机可执行程序的非暂时性计算机可读记录介质,其中,3D图像解码方法包括:将候选插入到合并候选列表的第一候选块中;当已经从当前块的邻近块继承了视点合成预测(VSP)候选时,产生指示继承的VSP候选已经被使用的信息;当存在指示继承的VSP候选已经被使用的信息时,禁止当前块的VSP候选到合并候选列表中。
这里,第一候选块可以是空间邻近块。
这里,第一候选块可以是位于当前块的左侧的空间邻近块。
这里,第一候选块可以是A1块。
这里,指示VSP候选已经被使用的信息可包括指示第一候选块是否可用的信息、或指示在第一候选块中是否已经使用了VSP候选的信息。
这里,所述方法还可包括:将一个候选插入到合并候选列表的第一候选块中,并随后将其他候选插入到合并候选列表的第二候选块中,其中,当在第一候选块或第二候选块中已经使用了继承的VSP候选时,可产生指示继承的VSP候选已经被使用的信息。
这里,第一候选块可以是位于当前块左侧的空间邻近块,第二候选块可以是位于当前块上侧的空间邻近块。
这里,第一候选块可以是A1块,第二候选块可以是B1块。
这里,当前块可以是子预测块。
根据本发明,可在图像编码/解码中消除在合并列表中插入的合并候选的冗余。
根据本发明,可在3D图像编码/解码中消除合并候选的冗余。
根据本发明,可在3D图像编码/解码中消除视点合成预测候选的接收。
附图说明
图1是示意性地示出三维(3D)视频系统的基本结构的示图。
图2是示出“气球”视频的示例和深度信息图视频的示例的示图。
图3是示意性地示出在对视频进行编码和解码时视频被分割的结构的示图。
图4示出可包括在编码单元(CU)中的预测单元。
图5示意性地示出变换单元(TU)的四叉树分割结构的示例。
图6示出在3D视频编解码器中的视点间预测结构的示例。
图7示出在3D视频编码器和/或解码器中对真实图像(纹理视图)和深度信息图(深度视图)进行编码和/或解码的处理的示例。
图8是示出根据本发明的实施例的视频编码器的构造的框图。
图9是示出根据本发明的实施例的视频解码器的构造的框图。
图10是示出针对3D视频编解码器的示例性预测结构的示图。
图11示出邻近块被用于配置针对当前块的合并候选列表的示例。
图12是示出使用在邻近视点的运动信息推导关于当前块的运动信息的示例性处理的示图。
图13是示出一个预测单元被分割成若干个子预测单元的示例的示图。
图14是示出使用参考块推导当前块上的运动信息的示例性处理的示图。
图15示意性地示出视点合成预测(VSP)的概念。
图16示出在3D图像编码/解码中继承为VSP候选的邻近块的示例。
图17示出在3D图像编码/解码中的合并候选列表的示例。
图18是示出根据本发明的实施例的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的方法的流程图。
图19是根据本发明的另一实施例的在3D HEVC中实现的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的方法的流程图。
图20是示出根据本发明的实施例的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的设备的框图。
图21是示出根据本发明的另一实施例的用于根据是否存在继承的VSP 候选对将VSP候选添加到合并候选列表进行限制的设备的框图。
图22是示出在现有的合并候选推导方法和根据本发明的另一实施例的合并候选推导方法之间的比较的示图。
图23是示出根据本发明的另一实施例的用于通过参考空间合并候选之中的两个方向对将VSP候选添加到合并候选列表进行限制的方法的流程图。
图24a和图24b是示出根据本发明的另一实施例的将用于通过参考空间合并候选之中的两个方向对将VSP候选添加到合并候选列表进行限制的方法应用到3D HEVC的示例的流程图。
图25是示出现有合并候选推导方法与根据本发明的另一实施例的合并候选推导方法之间的比较的示图。
图26是示出根据本发明的另一实施例的用于通过参考空间合并候选之中的一个方向对将VSP候选添加到合并候选列表进行限制的方法的流程图。
图27a和27b是示出根据本发明的另一实施例的将用于通过参考空间合并候选之中的一个方向对将VSP候选添加到合并候选列表进行限制的方法应用于3D HEVC的示例的流程图。
图28是示出根据本发明的另一实施例的用于对将VSP候选插入到合并列表中进行限制的设备的框图。
图29示出通过上述3D图像编码/解码设备和方法去除VSP间候选冗余的示例。
具体实施方式
在下文中,参照附图详细地描述本发明的实施例。当确定公知的配置或功能使本发明的主题不清楚时,省略对公知的配置或功能的详细的描述。
当元件被“连接到”或“耦接到”另一元件时,元件可与其他元件直接连接或耦接,或者其他元件可介入。当某个元件被“包括”时,不排除该元件之外的其他元件,而是附加元件可被包括在本发明的实施例或技术范围中。
术语“第一”和“第二”可被用于描述各种元件。但是,所述元件不限于上述术语。换句话说,术语仅被用于区别元件与其他元件。因此,“第一元件”可被命名为“第二元件”,反之亦然。
此外,这里使用的元件被彼此独立地示出以表示元件具有各自不同的功能。但是,这并不意味着每个元件不能被实现为一件硬件或软件。换句话说,为了便于描述,每个元件与其他元件分离地被示出和描述。多个元件可被结合并作为单个元件进行操作,或者一个元件可被分离为执行它们各自操作的子元件。这样的元件在不脱离本发明的主旨的情况下也属于本发明的范围。
此外,一些元件可以是为了更好性能的可选元件而不是执行本发明的基本功能的必要元件。本发明可被配置仅除了可选元件之外的基本元件,并且这也属于本发明的范围。
3D视频通过3D立体显示设备提供给用户3D现实效果。在相关研究中, ISO/IEC’sMPEG(运动图像专家组)和ITU’s VCEG(视频编码专家组)的JCT-3V (研究3D视频编码扩展开发的联合协作小组)当前进行3D视频标准化。
图1是示意性地示出三维(3D)视频系统的基本结构的示图。
参照图1,3D视频(3VD)系统可包括发送器和接收器。在这种情况下,图1的3D视频系统可以是如在3D视频标准中考虑的基本3D视频系统,其中,3D视频标准可包括关于高级数据格式以及可使用真实图像和与真实图像相应的深度信息图支持自动立体视频以及立体视频的重放的它们的相关技术的标准。
发送器可产生多视点视频内容。具体地,发送器可使用立体相机和多视点相机产生视频信息并使用深度信息相机产生深度信息图(或深度视图)。发送器可使用转换器将2D视频转换为3D视频。发送器可使用产生的视频信息和深度信息图产生N(N≥2)-视点(例如,多视点)图像内容。在这种情况下,N-视点视频内容可包括N-视点视频信息、它的深度图信息以及相机相关的附加信息。N-视点视频内容可由3D视频编码器使用多视点视频编码方案来压缩,并且压缩的视频内容(比特流)可通过网络被发送到接收器的终端。
接收器可对从发送器接收的视频内容进行解码并可提供多视点视频。具体地,接收器的视频解码器(例如,3D视频解码器、立体视频解码器或2D 视频解码器)可使用多视点视频解码方案对接收的比特流进行解码以将比特流恢复为N-视点视频。在这种情况下,可使用恢复的N-视点视频以及基于深度图像的渲染(DIBR)处理来产生N(或更多)-视点虚拟视点视频。产生的 N(或更多)-视点虚拟视频内容通过各种3D显示器(例如,N-视点显示器、立体显示器或2D显示器)被播放,向用户提供3D效果。
图2是示出“气球”视频的示例和深度信息图视频的示例的示图。
图2(a)示出在作为国际标准化组织的MPEG的3D视频编码标准中使用的“气球”图像。图2(b)示出与图2(a)中示出的“气球”视频相应的深度信息图视频。深度信息图视频是通过以每像素八比特表示在屏幕上示出的深度信息而获得的视频。
深度信息图被用于产生虚拟视点视频,并且深度信息图是通过以预定数量的比特表示在现实世界中相机与真实对象之间的距离(在与实际视频相同的分辨率下与每个像素相应的深度信息)而获得的图。在这种情况下,可使用深度信息图相机或使用真实普通图像(纹理)获得深度信息图。
使用深度信息图相机获得的深度信息图主要为静止对象或场景提供高可靠深度信息,但深度信息图相机仅在预定距离内进行操作。在这种情况下,深度信息图相机可利用使用激光束或结构光或者可基于光的飞行时间(TFL) 的测量方案。
可使用真实普通图像(纹理)和视差矢量产生深度信息图。视差矢量是指表示在两个普通视频之间的视点中的差异的信息。可通过将在当前视点的像素与在其他视点的像素进行比较以发现与当前视点像素最相似的像素并测量当前视点像素和最相似的像素之间的距离来获得视差矢量。
实际视频和它的深度信息图可以是通过一个或更多个相机获得的视频。通过若干个相机获得的视频可独立地被编码,并可使用典型的2D编码/解码器被编码/解码。通过若干个相机获得的视频在它们的视点之间具有相关性,并且为了更高的编码效率而可使用在不同示图之间的预测被编码。
上述“深度信息图”可表示“深度图”或“深度图片”,在下文中,为了方便描述,“深度信息图”可与“深度图”或“深度图片”交换使用。
图3是示意性地示出在对视频进行编码和解码时视频被分割的结构的示图。
为了有效地进行分割,可针对每个编码单元(CU)对视频进行编码和解码。术语“单元”指包括语法元素和视频样本的块。“单元被分割”可表示与单元相应的块被分割。
参照图3,视频300被顺序地分割成最大编码单元(LCU),并确定每个LCU的分割结构。如这里所使用的,“LCU”可表示编码树单元(CTU)。分割结构可表示用于对在每个LCU310中的视频有效地进行编码的编码单元(CU) 的分布,并可根据是否将一个CU分割为四个CU来确定这样的分布,其中,四个CU中的每个CU的大小在水平和垂直方向上均被减小为所述一个CU的大小的1/2。分割的CU可被递归地分割成四个CU,其中,四个CU中的每个CU 的大小在水平和垂直方向上均被减小为所述分割的CU的大小的1/2。
在这种情况下,CU的分割可被递归地执行到预定深度。深度信息指表示 CU的尺寸的信息并可针对每个CU被存储。例如,LCU的深度可为0,并且最小编码单元(SCU)的深度可以是预定的最大深度。这里,LCU是如上所述具有最大尺寸的编码单元,并且SCU是具有最小尺寸的编码单元。
每当LCU 310在水平和垂直方向均被分割为一半时,CU的深度增加一。例如,如果CU的尺寸在特定深度L处为2N*2N,则所述CU如果未被分割,则具有2N*2N的大小,而如果被分割,则CU的大小被减小为N*N。在这种情况下,N*N尺寸的CU的深度转变为L+1。换句话说,每次深度增加1,与CU 的尺寸相应的N就减小一半。
参照图3,具有最小深度0的LCU的尺寸可以是64*64像素,并且具有最大深度3的SCU的尺寸可以是8*8像素。在这种情况下,具有64*64像素的CU(LCU)的深度可被表示为0,具有32*32像素的CU的深度可被表示为 1,具有16*16像素的CU的深度可被表示为2,具有8*8像素的CU(SCU)的深度可表示为3。
此外,关于是否分割特定CU的信息可通过CU的一比特的分割信息来表示。分割信息可被包括在除了SCU之外的所有其他CU中。例如,如果CU未被分割,则0可被保留在CU的分割信息中,而如果CU被分割,则1可被保留在CU的分割信息中。
上述的“编码单元(CU)”可表示“编码单元”、“代码块”或“编码块”,并且在下文中,为了方便描述,“编码单元”可与“代码单元”,“代码块”或“编码块”互换使用。
图4示出可包括在编码单元(CU)中的预测单元。
在从LCU分割的CU中,不进行进一步分割的CU可被分割或划分为一个或更多个预测单元。
预测单元(在下文中,“PU”)是实施预测的基本单元。预测单元以跳过模式、帧间模式或帧内模式被编码和解码。预测单元可根据这些模式以各种方式被划分。
参照图4,跳过模式可支持无需分割CU的与CU具有相同尺寸的2N*2N 模式410。
帧间模式可支持用于CU的八个划分类型,例如,2N*2N模式410、2N*N 模式415、N*2N模式420、N*N模式425、2N*nU模式430、2N*nD模式435、 nL*2N模式440和nR*2N模式445。
帧内模式可支持用于CU的2N*2N模式410和N*N模式425。
上述的“预测单元(PU)”可指“预测块”,并且在下文中,为了方便描述,“预测单元”可与“预测块”互换使用。
图5示意性地示出变换单元(TU)的四叉树分割结构的示例。
变换单元(TU)是CU中的在空间变换和量化的处理中使用的基本单元。TU可形成为正方形或矩形,并且TU可被包括在CU中。TU可具有与CU相同的尺寸或比CU更小的尺寸,并且一个CU可包括多个具有不同尺寸的TU。
此外,TU可具有与CU相同的尺寸,并且可使用四叉树分割从CU分割TU。原则上,当使用四叉树从CU分割TU时,TU可从CU被递归地分割两次,但在本公开中,如图5所示,本发明的范围不排除TU从CU被递归地分割三次或更多次的情况。
例如,在CU具有2N*2N的尺寸的情况下,TU可具有与CU尺寸相同的2N*2N 的尺寸,并且在TU从CU被四叉树分割一次的情况下,TU具有N*N的尺寸。此外,在TU从CU被四叉树分割两次的情况下,TU可具有N/2*N/2的尺寸,并且在TU从CU被四叉树分割三次的情况下,TU可具有N/4*N/4的尺寸。
上述的“变换单元(TU)”可指“变换块”,并在下文中,为了方便描述,“变换单元”可与“变换块”互换使用。
图6示出在3D视频编解码器中的视点间预测结构的示例。
可使用视点0作为参考视频来进行针对视点1和视点2的视点间预测,并且视点0应比视点1和视点2更早被编码。
在这种情况下,视点0可与其他视点独立地被编码,因此,视点0被称为独立视点。与此相反,应使用视点0作为参考视频的视点1和视点2被称为从属视点。可使用典型的2D视频编解码器对独立视点视频进行编码。反之,从属视点视频需要经过视点间预测,因此,可使用配备有视点间预测处理的 3D视频编解码器对这些视点进行编码。
为了提高编码效率,可使用深度信息图对视点1和视点2进行编码。例如,当被编码时,真实图像和深度信息图可被互相独立地编码和/或解码。或者,当被编码时,真实图像和深度信息图可如图7所示彼此依赖地被编码和/ 或解码。
图7示出在3D视频编码器和/或解码器中对真实图像(纹理视图)和深度信息图(深度视图)进行编码/解码的处理的示例。
参照图7,3D视频编码器可包括用于对真实图像(纹理视图)进行编码的真实图像编码器(纹理编码器)和用于对深度信息图(深度视图)进行编码的深度信息图编码器(深度编码器)。
在这种情况下,实际视频编码器可使用由深度信息图编码器编码的深度信息图对实际视频进行编码。相反,深度信息图编码器可使用由实际视频编码器编码的实际视频对深度信息图进行编码。
3D视频解码器可包括用于对真实图像进行解码的真实图像解码器(纹理解码器)和用于对深度信息图进行解码的深度信息图解码器。
在这种情况下,实际视频解码器可使用由深度信息图解码器解码的深度信息图对实际视频进行解码。相反,深度信息图解码器可使用由实际视频解码器解码的实际视频对深度信息图进行解码。
图8是示出根据本发明的实施例的视频编码器的构造的框图。
图8示出适用于可通过扩展单视点视频编码器而实现的多视点结构的示例视频编码器。在这种情况下,图8的视频编码器可在如图7所示的真实图像编码器和/或深度信息图编码器中被使用,并且编码器可指编码装置。
参照图8,视频编码器800包括帧间预测模块810、帧内预测模块820、开关815、减法器825、转换器830、量化模块840、熵编码模块850、反量化模块860、反转换器870、加法器875、滤波器880和参考图像缓冲区890。
视频编码器800可在帧内模式或帧间模式下对输入图像执行编码以输出比特流。
帧内预测指图片内预测,帧间预测指图片间或视点间预测。在帧内预测模式下,开关815切换到帧内模式,在帧间模式下,开关815切换到间模式。
视频编码器800可产生针对输入图像的块(当前块)的预测块并随后对当前块和预测块之间的差进行编码。
在帧内模式下,帧内预测模块820可使用当前块的已经编码的邻近块的像素值作为它的参考像素。帧内预测模块820可使用参考像素产生针对当前块的预测样本。
在帧间模式下,帧间预测模块810可获得指定与在参考图片缓冲区890 中存储的参考图片中的输入块(当前块)相应的参考块的运动矢量。帧间预测模块810可通过使用在参考图片缓冲器890中存储的参考图片和运动矢量执行运动补偿来产生针对当前块的预测块。
在多视点结构中,应用于帧间模式的帧间预测可包括视点间预测。帧间预测模块810可通过对参考视点图片进行采样来配置视点间参考图片。帧间预测模块810可使用包括视点间参考图片的参考图片列表来进行视点间预测。在视点之间的参考关系可通过指定视点间依赖的信息来表示。
同时,在当前视点图片和参考视点图片具有相同尺寸的情况下,适用于参考视点图片的采样可指通过样本复制或插入从参考视点图片产生参考样本。在当前视点图片和参考视点图片具有不同尺寸的情况下,应用于参考视点图片的采样可指上采样或下采样。例如,在视点具有不同分辨率的情况下,参考视点的恢复的图片可被上采样以配置视点间参考图片。
可考虑例如编码成本来确定哪个视点图片将被用于配置视点间参考图片。编码器可向解码装置发送指定将被用作视点间参考图片的图片所属于的视点的信息。
在视点间预测中参考的视点(即,参考视点)中用于预测当前块的图片可与和当前图片(当前视点中用于预测的图片)相同的访问单元(AU)的图片相同。
减法器825可通过当前块和预测块之间的差产生残留块(残留信号)。
转换器830可将残留块变换为变换系数,并且转换器830可使用变换块来执行变换。在变换跳过模式下,转换器830可跳过残留块的转换。
量化模块840可根据量化参数将变换系数量化为量化的系数。
熵编码模块850可根据概率分布对从量化模块840产生的值或在编码期间产生的编码参数值进行熵编码,以输出比特流。除了对视频的像素信息进行熵编码之外,熵编码模块850也可对用于视频解码的信息(例如,语法元素)进行熵编码。
编码参数可包括在编码或解码的过程中可推断的信息(作为用于编码和解码的必要信息)以及诸如由编码器编码并传送给解码装置的语法元素的信息。
残留信号可指原始信号和预测信号之间的差、通过对原始信号和预测信号之间的差进行变换而获得的信号或通过对原始信号和预测信号之间差进行变换并对变换的差进行量化而获得的信号。从块的角度来看,残留信号可表示残留块。
在熵编码应用的情况下,符号可按照以下方式被表示:出现机会较高的符号被分配较少的比特,而出现机会较低的另一符号被分配较多的比特,因此,可减小定位用于进行编码的符号的比特流的大小。按照这样,视频编码可通过熵编码具有更高的压缩性能。
熵编码可采用诸如指数Golomb、基于上下文的变长编码(CAVLC)或基于上下文的二进制算术编码的编码方案。例如,熵编码模块850可使用可变长编码/代码(VLC)表执行熵编码。熵编码模块850可推导二值化方法和目标符号以及目标模型/二进制的概率模型,并可使用推导的二值化方法和概率模型执行熵编码。
量化系数可通过反量化模块860被反量化,并可通过反转换器870被反变换。反量化和反转换后的系数通过加法器被添加到预测块,因此产生恢复的块。
恢复的块通过滤波器880。滤波器880可将去块滤波、自适应采样偏移 (SAO)和自适应环路滤波(ALF)中的至少一个或更多个应用于恢复的块或恢复的图片。在已经通过滤波器880之后,恢复的块可被存储在参考图片缓冲区890中。
图9是示出根据本发明的实施例的视频解码器的构造的框图。
图9示出适用于可通过扩展单个视点结构的视频解码器而实现的多视点结构的示例视频解码器。
在这种情况下,图9的视频解码器可被用于如图7所示的真实图像解码器和/或深度信息图解码器。为了方便描述,如这里所用,术语“解密”和“解码”可互换地使用,或者术语“解码装置”和“解码器”可互换使用。
参照图9,视频解码器900包括:熵编码模块910、反量化模块920、反转换器930、帧内预测模块940、帧间预测模块950、滤波器960和参考图片缓冲区970。
视频解码器900可从编码器接收比特流,以帧内模式或帧间模式对比特流进行解码,并输出重构的视频,即,恢复的视频。
在帧内模式下,开关可切换到帧内预测,在帧间模式下,开关可切换到帧间预测。
视频解码器900可获得从接收的比特流恢复的残留块,产生预测块,并将恢复的残留块和预测块相加来产生重构的块,即,恢复的块。
熵编码模块910可根据概率分布将接收的比特流熵编码为诸如量化系数和语法元素的信息。
量化的系数通过反量化模块920被反量化,并通过反转换器930被反变换。量化的系数可被反量化/反变换为恢复的残留块。
在帧内模式下,帧内预测模块940可使用当前块的已经被编码的邻近块的像素值产生针对当前块的预测块。
在帧间模式下,帧间预测模块950可通过使用在参考图片缓冲区970中存储的参考图片和运动矢量执行运动补偿,产生针对当前块的预测块。
在多视点结构中,应用于帧间模式的帧间预测可包括视点间预测。帧间预测模块950可通过对参考视点图片进行采样来配置视点间参考图片。帧间预测模块950可使用包括视点间参考图片的参考图片列表来进行视点间预测。视点之间的参考关系可通过指定视点间依赖的信息来表示。
同时,在当前视点图片(当前图片)和参考视点图片具有相同尺寸的情况下,应用于参考视点图片的采样可指通过样本复制和插入从参考视点图片产生参考样本。在当前视点图片和参考视点图片具有不同的尺寸时,应用于参考视点图片的采样可指上采样或下采样。
例如,在视点间预测应用于具有不同分辨率的视点的情况下,参考视点的恢复的图片可被上采样以配置视点间参考图片。
在这种情况下,可将指定将被用作视点间参考图片的图片所属于的视点的信息从编码器发送到解码器。
用于预测在视点间预测中参考的视点(即,参考视点)中的当前块的图片可与和当前图片(当前视点中用于预测的图片)相同的访问单元(AU)的图片相同。
恢复的残留块和预测块通过加法器955相加得到恢复的块。换句话说,剩余样本和预测样本彼此相加得到恢复的样本或恢复的图片。
恢复的图片通过滤波器960被滤波。滤波器960可将去块滤波器、SAO 和ALF中的一个或更多个应用于恢复的块或恢复的图片。滤波器960输出重构的(修改的)或滤波后的恢复的图片(重构的图片)。恢复的视频被存储在参考图片缓冲区970中以在帧间预测中使用。
虽然在结合图8和图9描述的实施例中,模块执行彼此不同的它们各自的功能,但本发明不限于此。例如,一个模块可执行两个或更多个功能。例如,如图8和图9所示的帧内预测模块和帧间预测模块的各自的操作可通过一个模块(预测单元)被实施。
同时,如结合图8和图9所述,一个编码器/解码器对多个视点中的所有视点执行编码/解码。但是,这仅仅是为了方便描述,并且单独的编码器/解码器可分别针对多个视点被配置。
在这种情况下,用于当前视点的编码器/解码器可使用关于其他视点的信息对当前视点执行编码/解码。例如,用于当前视点的预测单元(帧间预测模块)可使用其他视点的像素信息或恢复的图片信息对当前块执行帧内预测或帧间预测。
虽然这里描述了视点间预测,但当前层可使用关于其他视点的信息被编码/解码,而不管编码器/解码器针对每个视点被配置还是一个装置处理多个视点。
根据本发明的视点的描述可同样应用于支持可扩展性的层。例如,这里所描述的视点可以是层。
图10是示出针对3D视频编解码器的示例性预测结构的示图。为了方便描述,图10示出用于对通过三个相机获得的实际视频和分别与实际视频相应的深度信息图进行编码的预测结构。
如图10所示,分别从三个相机获得的三个实际视频根据视点被表示为 T0、T1和T2,并且分别与三个实际视频相应的三幅深度信息图根据视点被表示为D0、D1和D2。这里,T0和D0是在视点0获得的视频,T1和D1是在视点1获得的视频,并且T2和D2是在视点2获得的视频。在这种情况下,如图10所示的正方形是视频(图片)。
根据编码/解码类型,视频(图片)被分类成I图片(帧内图片)、P图片(单向预测图片)和B图片(双向预测图片),并且每个图片可根据它的编码/解码类型被编码/解码。针对I图片,图片自身可在不通过帧间预测的情况下被编码。针对P图片,可仅对单向存在的参考图片进行间预测。在这种情况下,如图10所示的箭头表示预测的方向。换句话说,真实图像和它的深度信息图可根据预测方向被相互依赖地编码/解码。
需要关于当前块的运动信息以通过帧间预测对图片进行编码/解码。为了推断出关于当前块的运动信息,可使用以下方法:使用关于与当前块邻近的块的运动信息的方法、使用在同一视点中的时间相关性的方法、和使用在邻近视点的视点间相关性的方法。上述帧间预测方法可被组合地用于一幅图片。这里,当前块指的是被执行预测的块。运动信息可指运动矢量、参考图像数和/或预测方向(例如,是单向预测还是双向预测、是否使用时间相关性、或是否使用视点间相关性等)。
在这种情况下,预测方向可根据是否使用参考图片列表(RefPicList) 通常伴随单向预测和双向预测。双向预测被分类为使用前向参考图片列表(列表0,L0)的前向预测(Pred_L0:预测L0)和使用后向参考图片列表(列表 1,L1)后向预测(Pred_L1:预测L1)。此外,使用前向参考图片列表(列表0)和后向参考图片列表(列表1)两者的双向预测(Pred_BI:预测BI) 可表示存在前向预测和后向预测两者。即使前向参考图片列表(列表0)被复制到后向参考图片列表(列表1)使得存在前向预测的两种处理的情况也可属于双向预测的类别。
预测方向可使用predFlagL0和predFlagL1定义。在这种情况下, predFlagL0是指示是否使用前向参考图片列表(列表0)的指示器, predFlagL1是指示是否使用后向参考图片列表(列表1)的指示器。例如,在单项预测和前向预测的情况下,predFlagL0可为‘1’,predFlagL1可为‘0’;在单项预测和后向预测的情况下,predFlagL0为‘0’,predFlagL1为‘1’;在双向预测的情况下,predFlagL0为‘1’,predFlagL1为‘1’。
运动预测方法包括:1)使用运动矢量预测器和运动矢量差的方法、和2) 合并运动推导方法,即,使用指示运动合并是否将被使用的标志(合并标志) 和作为关于运动将被继承的位置的信息的索引(合并索引)的合并方法。在下文中,将更详细地描述合并。
图11示出邻近块被用于配置针对当前块的合并候选列表的示例。
合并模式是用于执行帧间预测的方法。合并模式可采用关于当前块的邻近块的运动信息作为关于当前块的运动信息(例如,运动矢量、参考图片列表和参照图片索引中的至少一个)。在这种情况下,将关于邻近块的运动信息用作关于当前块的运动信息被称为合并、运动合并或合并运动。
在合并模式下,每个编码单元(CU)合并运动和每个预测单元(PU)合并运动是可能的。
以每个块(例如,CU或PU)为基础(为了方便描述,在下文中称为“块”) 进行合并运动的情况需要关于是否按照分块执行合并运动的信息以及关于与当前块的邻近块中的哪个邻近块执行合并运动的信息。
合并候选列表可被配置为执行合并运动,即,合并运动候选列表。
合并候选列表指的是运动信息片段的列表,并且这可在合并模式被执行之前产生。这里,合并候选列表的运动信息可以是关于当前块的邻近块的运动信息或通过将合并候选列表中已经存在的运动信息的片段进行组合而新创建的运动信息。关于邻近块的运动信息(例如,运动矢量和/或参考图片索引) 可以是由邻近块指定的运动信息或存储在邻近块中(或被用于对邻近块进行解码)的运动信息。
在这种情况下,如图11所示,邻近块可包括位于空间上与当前块邻近的邻近块A、B、C、D和E和时间上与当前块相应的同位块H或M。同位候选块指的是在位于时间上与包括当前块的当前图片相应的同位图片中的相应位置处的块。如果H块在同位图片中是可用的,则H块可被确定为同位候选块,如果不可用,则在同位图片中的M块可被确定为同位候选块。
在配置合并候选列表时,确定关于邻近块(A、B、C、D和E)和同位候选块(H或M)的运动信息是否可被用作合并候选以配置当前块的合并候选列表。换句话说,关于可用于当前块的帧间预测的块的运动信息可作为合并候选被添加到合并候选列表。
例如,作为用于配置X块的合并候选列表的方法,1)在邻近块A可用的情况下,邻近块A被添加到合并候选列表。2)此后,仅当关于邻近块B的运动信息不同于关于邻近块A的运动信息时,邻近块B被添加到合并候选列表。 3)同样地,仅当关于邻近块C的运动信息不同于关于邻近块B的运动信息时,邻近块C被添加到合并候选列表,并且4)仅当关于邻近D的运动信息不同于关于邻近块C的运动信息时,邻近块D被添加到合并候选列表,5)仅当关于邻近块E的运动信息不同于关于邻近块D的运动信息时,邻近块E可被添加到合并候选列表,并且6)最终,邻近块H(或M)被添加到合并候选列表。总而言之,邻近块可以以A→B→C→D→E→H(or M)的顺序被添加到合并候选列表。这里,相同的运动信息可指使用相同的运动矢量、相同的参考图片和相同的预测方向(单向或双向)。
虽然短语“将邻近块作为合并候选添加到合并候选列表”和“将运动信息作为合并候选添加到合并候选列表”实质上具有相同的意义,但是这里为了方便描述将两个短语混用。例如,作为合并候选的邻近块可指关于块的运动信息。
图12是示出使用在邻近视点的运动信息推导关于当前块的运动信息的示例性处理的示图。
结合图12,仅为了方便描述,只有一个视点被用于推导关于当前块的运动信息。但是,可存在两个或更多个邻近视点。
参照图12,3D视频系统可使用在邻近视点的运动信息以便有效地对运动信息进行编码/解码。具体地讲,图12所示的当前块(在当前位置X处的块) 搜索位于邻近视点的目标块(参考位置XR),以便推导关于当前块的运动信息。在这种情况下,在邻近视点的目标块指与当前块相应的块。由于当前视点和参考视点之间的当前图片的差异在于相机的位置,因此,如上所述,可从视差矢量推导在邻近视点处的目标块。
图13是示出一个预测单元被分割成若干个子预测单元的示例的示图。
在如图13所示的示例中,具有64*64的尺寸的预测单元被划分为每个尺寸为8*8的子预测单元。为了方便描述,结合图13,预测单元的尺寸为64*64,但不限于此,尺寸可为32*32、16*16、8*8或4*4。在3D视频系统中,一个预测单元可被划分为多个子预测单元。在这种情况下,以每个子预测单元为基础执行使用视差矢量推导运动信息。子预测单元可具有预定尺寸(例如, 4*4、8*8或16*16),并且子预测单元的尺寸可在编码时指定。关于子预测单元的尺寸的信息可包括并表示在视频参数集(VSP)扩展语法中。
图14是示出使用参考块推导关于当前块的运动信息的示例性处理的示图。
推导关于当前块的运动信息的处理指使用关于当前块的运动信息设置存在于参考块中的运动信息,并且通常对每个预测块执行推导运动信息。但是,针对位于在当前视点处的当前图片中的当前块X,3D视频系统除了可以以每个预测块为基础推导运动信息之外还可以以每个子预测单元为基础推导运动信息,以便有效地对运动信息进行编码/解码。
换句话说,3D视频系统可将存在于参考块XR的子预测单元中的运动信息设置为关于当前块X的子预测单元的运动信息。在这种情况下,参考块XR 可指位于在参考视点处的当前图片中的参考块XR。下面描述推导运动信息的具体处理。
如上所述,帧间预测模块可在参考视点的推导的参考块中以每个子预测单元为基础和以每个预测单元为基础推导运动信息。当帧间预测模块在参考视点的推导的参考块中以每个子预测单元为基础上带来运动信息时,所有的子预测单元都不具有运动信息。即,在参考块中存在不能带来运动信息的部分。为了弥补在参考块中不能带来运动信息的情况,帧间预测模块检查是否存在可用于位于参考块的中心的子预测单元的运动信息。
在存在可用于位于参考块的中心的子预测单元的运动信息的情况下,帧间预测模块将存在于位于参考块的中心的子预测单元中的运动信息存储在存储空间中。存储空间可指存在于视频编码/解码设备外部的单独的存储装置或可位于视频编码/解码设备内部。此外,存储空间可指内存或处理器,并且存储空间可不仅指物理空间,也指虚拟空间,即,逻辑存储空间。在这种情况下,存储在存储空间中的运动信息可指初始运动信息。
当帧间预测模块推导用于当前块的子预测单元的运动信息时,如果在与当前块的子预测单元相应的参考块的子预测单元中不存在运动信息,则上述初始运动信息可被用做针对当前块的子预测单元的运动信息。在不存在可用于位于参考块的中心的子预测单元的运动信息的情况下,帧间预测模块不可使用时间上的视点间运动信息预测。在这种情况下,运动信息可被用作运动合并候选,即,合并候选。
当配置合并运动候选列表(即,合并候选列表)时,在3D图像中,合并候选可以以1)目前的2D图像编码/解码(例如,HEVC等)被推导,并随后,合并候选可以以2)3D图像编码/解码(例如,3D-HEVC等)被推导。尽管为了方便描述已经描述了在合并候选以2D图像编码/解码被推导之后合并候选以3D图像编码/解码被推导,但本公开不限于上述推导合并候选的顺序。此外,尽管在配置合并候选列表中,合并候选原则上根据预定顺序被布置,但是本公开的范围不排除根据图像编码/解码情况自适应地布置合并候选。
目前的2D图像编码/解码合并候选可指在空间或时间上与当前块邻近的块的运动信息,并且3D图像编码/解码合并候选可指被添加以适合3D图像的特性的合并候选。
这里,在空间上或时间上与当前块邻近的块的运动信息可包括候选A0、 A1、B0、B1和Col(H或M)。A1可指如上所述位于用于预测的块左侧的块的运动信息,B1可指如上所述位于用于预测的块的上侧的块的运动信息。B0可指如上所述位于用于预测的块的右上侧的块的运动信息,A0可指如上所述位于用于预测的块的左下侧的块的运动信息,B2可指如上所述位于用于预测的块的左上侧的块的运动信息。此外,Col(H或M)可指如上所述通过位于在时间上与包括当前块的当前图片相应的同位图片中的相应位置处的块推导的运动信息。
此外,被添加以适合3D图像的特征的合并候选可包括运动参数继承(MPI) 候选、视点间合并候选(IvMC)、视点间视差矢量候选(IvDC)、视点合成预测(VSP)候选、移位视点间(ShiftIV)候选、BI候选和Zero候选。这里, MPI可指继承真实图像的运动信息的运动信息,IvMC可指使用视点间合并的运动信息,IvDC可指使用上述视差矢量(即,使用视点视差)推导的运动信息。此外,VSP可指通过合成视点而推导的运动信息,ShiftIV可指使用校正的视点视差推导的运动信息。BI可指使用双向推导的运动候选,Zero可指零矢量。
图15示意性地示出视点合成预测(VSP)的概念。
如图15所示,视频合成预测可使用纹理图片、参考纹理图片和参考深度图片,并且纹理图片可包括当前块和邻近块。此外,参考深度图片可包括用于VSP的深度块和与用于VSP的深度块邻近的块。
纹理图片是推导合并候选的图片,并且纹理图片可指真实图像。当前块指存在于纹理图片中的执行预测的块。当前块可指编码单元,或者从在当前块中执行预测的角度来看,也可指预测单元或上述子预测单元。‘纹理图片’可意指‘纹理片’、‘纹理视图’、‘纹理图像’和/或‘实际图片’,并且为了方便描述,‘纹理图片’也可被表示为‘纹理片’、‘纹理视图’、‘纹理图像’和/或‘实际图片’。
参考纹理图片指在不同于纹理图片的视点处的纹理图片,并且可存在针对纹理图片的多个参考纹理图片。在原则上,参考纹理图片指在不同于纹理图片的视点处的纹理图片,但本公开不排除参考纹理图片与纹理图片具有相同视点的情况。此外,‘参考纹理图片’可意指‘参考纹理片’、‘参考纹理视图’、‘参考纹理图片’和/或‘参考实际图片’,并且为了方便描述,‘参考纹理图片’也可被表示为‘参考纹理片’、‘参考纹理视图’、‘参考纹理图片’和/或‘参考实际图片’。
参考深度图片指存在于不同于上述纹理图片的视点中的深度信息图,并且深度信息图可通过上述处理获得。原则上,参考深度图片指在不同于纹理图片的视点中的深度图片,但本公开不排除参考深度图片与纹理图片具有相同的视点的情况。此外,‘参考深度图片’可意指‘参考深度片’、‘参考深度视图’、‘参考深度图像’和/或‘参考深度图片’,并且为了方便描述,‘参考深度图片’也可被表示为‘参考深度片’、‘参考深度视图’、‘参考深度图像’和/或‘参考深度图片’。
使用相应视点中的视差矢量(DV)、参考的深度信息图和正常图像信息来产生VSP。
参照图15更详细地描述用于产生VSP的方法。1)3D图像编码/解码设备推导存在于当前块的邻近块中的DV。随后,3D图像编码/解码设备2)从邻近块复制DV并3)使用参考纹理图片通过向后扭曲产生新产生的虚拟块。随后,当前块使用新产生的虚拟块作为VSP预测信息,即,VSP合并候选。
图16示出在3D图像编码/解码中继承为VSP候选的邻近块的示例。
在3D图像编码/解码中执行帧间预测的情况下,可存在当前块的空间邻近块A0、A1、B0、B1和B2,当前块可指预测块和/或子预测单元,并且当前块可被成形为正方形或非正方形。每个邻近块可以是预测块或子预测块,并且邻近块可指恢复的块。此外,每个邻近块可与当前块的尺寸相同或不同。每个邻近块与当前块的尺寸不同可指每个邻近块比当前块的尺寸更小或更大。每个邻近块可被成形为正方形或非正方形。
在这种情况下,使用VSP的空间邻近块可在当前块的邻近块之中。例如,如图16所示,在当前块的邻近块(即,邻近块)之中的A1和B0可使用VSP。
在空间邻近块(例如,A0、A1、B0、B1和B2)使用VSP的情况下,使用 VSP的空间邻近块可被称为将通过VSP被继承,并且可被表示为继承的VSP 候选。在这种情况下,继承的VSP候选使用与当前块的VSP候选相同的视差矢量。
图17示出在3D图像编码/解码中的合并候选列表的示例。
图17示例性地示出如图16所示的在当前块的邻近块之中的A1和B0使用VSP候选的情况下(即,在A1和B0是继承的VSP候选的情况下)用于产生合并候选列表的方法的示例。尽管已经结合图17描述了A1和B0是继承的 VSP候选的示例,但是空间邻近块A0、A1、B0、B1和B2中的每一个可具有继承的VSP候选。换句话说,分别位于左下侧的A0、位于左侧的A1、位于上侧的B1、位于右上侧的B0和/或位于左上侧的B2的块可被继承为VSP候选,并且在这种情况下,每个邻近块可被继承为VSP候选,而不管其他邻近块是否被继承为VSP候选。
如图16和图17所示的示例,在A1和B0是继承的VSP候选的情况下, A1、IvDC、VSP和B0被插入到合并候选列表中。在这种情况下,如果A1和 B0是继承的VSP候选,则相同的视差矢量恰好被冗余地插入到合并候选列表中。相同的视差矢量在合并候选列表中的冗余插入(即,多个相同候选插入到列表中)对编码效率不提供任何益处,而是会限制可具有更好效率的其他合并候选的插入的可能性。
因此,需要通过防止多个相同的合并被冗余地插入到合并候选列表中来提高编码效率。需要用于插入除了已经被插入到合并候选列表中的合并候选之外的合并候选而不是冗余地将多个相同的合并候选插入到合并候选列表中的设备和方法。
在下文中,提出了用于在3D图像编码/解码中对VSP候选的插入进行限制的设备和方法。本设备和方法可允许更有效地利用在合并候选列表中的VSP 候选,并增加利用其它候选的可能性。此外,通过本设备和方法,仅一个VSP 候选可被用于配置合并列表。此外,可消除在3D图像编码/解码中可能出现在VSP候选之间的冗余,并且其它候选可被插入到合并列表,从而提高编码/ 解码效率。
图18是示出根据本发明的实施例的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的方法的流程图。
参照图18,3D图像编码/解码设备推导合并运动候选,即,合并候选 (S1810)。推导的合并候选可包括A0、A1、B0、B1、B2、Col(H或M)、运动参数继承(MPI)候选、视点间合并候选(IvMC)、视点间视差矢量候选(IvDC)、视点合成预测(VSP)候选、移位视点间(ShiftIV)候选、Bi候选和/或Zero 候选,已经在上文中给出了对它们的详细描述。
在步骤S1810,3D图像编码/解码设备可将推导的合并候选插入到合并候选列表中。例如,在步骤S1810推导的合并候选可指A1和/或B1。3D图像编码/解码设备可将A1和/或B1插入到合并候选列表中。
3D图像编码/解码设备确定空间候选之中是否存在使用VSP的块(S1820)。空间候选可指可包括如上所述的A0、A1、B0、B1、B2和/或Col(H或M)的空间邻近块。例如,在步骤S1820确定的空间邻近块可以是A1和/或B1。此外,在空间候选之中的使用VSP的块可指继承的VSP候选,其详细的描述已经在上文给出。
在空间候选之中不存在使用VSP的块的情况下,3D图像编码/解码设备将VSP候选插入到合并候选列表中(S1830)。在这种情况下,插入到合并候选列表中的VSP候选指当前块的VSP候选,已经在上文中给出了对它的详细描述。
在将VSP候选插入到合并候选列表之后,3D图像编码/解码设备推导其余的合并运动候选(S1840)。在这种情况下,其余的合并运动候选可包括A0、 A1、B0、B1、B2、Col(H或M)、运动参数继承(MPI)候选、视点间合并候选(IvMC)、视点间视差矢量候选(IvDC)、视点合成预测(VSP)候选、移位视点间(ShiftIV)候选、Bi候选和/或Zero候选。在步骤S1810到S1830中存在插入到合并候选列表中的候选的情况下,其余的合并运动候选可指A0、 A1、B0、B1、B2、Col(H或M)、运动参数继承(MPI)候选、视点间合并候选(IvMC)、视点间视差矢量候选(IvDC)、视点合成预测(VSP)候选、移位视点间(ShiftIV)候选、Bi候选和/或Zero候选之中的除了插入到合并列表中的候选之外的候选。
例如,在步骤S1810到S1830将A1、B1和VSP候选插入到合并候选列表中的情况下,在步骤S1840,3D图像编码/解码设备可推导关于是否将除了 A1、B1和VSP候选之外的其余的合并候选插入到合并候选列表中。
在步骤S1820,在空间候选之中存在使用VSP的块(即,继承的VSP候选)的情况下,3D图像编码/解码设备推导其余的合并运动候选,而无需将 VSP候选插入到合并候选列表中(S1840)。已经在上文中给出对由3D图像编码/解码设备推导其余的合并运动候选的详细描述。
图19是根据本发明的另一实施例的在3D HEVC中实现的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的方法的流程图。
参照图19,3D图像编码/解码设备推导合并运动候选,即,合并候选 (S1910)。已经在上文中给出了对由3D图像编码/解码设备推导合并候选的详细描述。
3D图像编码/解码设备确定在空间候选之中是否存在使用VSP的块 (S1920)。已经在上文中给出了对由3D图像编码/解码设备确定在空间候选之中是否存在使用VSP的块的详细描述。
在空间候选之中存在使用VSP的邻近块的情况下,3D图像编码/解码设备将skipVSP设置为真(S1930)。在这种情况下,skipVSP指用于确定是否将VSP候选插入到合并候选列表中的信息。如果skipVSP为真,则VSP候选未被插入到合并候选列表中。此外,在skipVSP为假的情况下,VSP候选被插入到合并候选列表中。
在空间候选之中不存在使用VSP的邻近块的情况下,3D图像编码/解码设备将skipVSP设置为假(S1940)。
其后,3D图像编码/解码设备确定skipVSP是否为真(是1950)。
除非skipVSP为真,即,当skipVSP为假时,3D图像编码/解码设备将 VSP候选插入到合并候选列表中(S1960)。已经在上文中给出了对通过3D图像编码/解码设备将VSP候选插入到合并候选列表中的详细描述。
其后,3D图像编码/解码设备推导其余的合并运动候选(S1970)。已经在上文中给出了对由3D图像编码/解码设备推导其余的合并运动候选的详细描述。
在步骤S1950中skipVSP为真的情况下,3D图像编码/解码设备在不将 VSP候选插入到合并候选列表的情况下推导其余的合并运动候选(S1970)。已经在上文中给出了对由3D图像编码/解码设备在不将VSP候选插入到合并候选列表中的情况下推导其余的合并运动候选的详细描述。
在上述的方法中,如果存在继承的VSP,则3D图像编码/解码设备可不将VSP候选添加到合并候选列表。即,通过上述方法,在邻近块(即,邻近块)之中存在继承的VSP的情况下,3D图像编码/解码设备放弃将针对当前块的VSP候选添加到合并候选列表,从而减少了合并候选列表中存在的合并候选的冗余,并从而能够将除了VSP候选之外的额外的合并候选插入到合并候选列表中,因此提高了编码效率。
用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的设备可被配置为将用于消除VSP的冗余的模块添加到现有的帧间预测模块。参照图20更详细地描述根据本发明的实施例的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的设备。
图20是示出根据本发明的实施例的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的设备的框图。
参照图20,帧间预测模块2000可包括现有运动候选产生模块、VSP冗余消除模块和3D运动候选产生模块。
现有运动候选产生模块推导合并运动候选,即,合并候选。以上已描述了推导的合并候选,已经在上文中给出其详细描述。此外,现有运动候选产生模块可将推导的合并候选插入到合并候选列表中。例如,推导的合并候选可指A1和/或B1。3D图像编码/解码设备可将A1和/或B1插入到合并候选列表中。
在这种情况下,‘现有运动候选产生模块’可指‘空间合并候选插入模块’,并且为了方便描述,在下文中‘现有运动候选产生模块’可与‘空间合并候选插入模块’互换使用。
VSP冗余消除模块可确定在空间候选之中是否存在使用VSP的块。空间候选可指可包括如上所述的A0、A1、B0、B1、B2和/或Col(H或M)的空间邻近块。例如,由VSP冗余消除模块确定的空间候选块可以是A1和/或B1。在空间候选之中的使用VSP的块可指继承的VSP候选,已经在上文中给出了对它的详细描述。
此外,在3D图像编码/解码中,VSP冗余消除模块可基于确定的结果将 skipVSP设置为真或假。在这种情况下,已经在上文中给出了对由VSP消除模块基于确定的结果将skipVSP设置为真或假的详细描述。
在这种情况下,‘VSP冗余消除模块’可指‘VSP冗余确定模块’,并且为了方便描述,在下文中‘VSP冗余消除模块’可与‘VSP冗余确定模块’互换使用。
在将VSP候选插入到合并候选列表中之后,3D运动候选产生模块推导其余的合并运动候选。已经在上文中给出了对由3D运动候选产生模块推导其余的合并运动候选的详细描述。已经在上文给出了其余的合并运动的详细描述。
例如,在现有运动候选产生模块和VSP冗余消除模块中将A1、B1和VSP 候选插入到合并候选列表中的情况下,3D运动候选产生模块可推导关于3D 编码/解码设备是否将除了A1、B1和VSP候选之外的其余的合并候选插入到合并候选列表中。
在空间候选之中存在使用VSP的块(即,继承的VSP候选)并因此VSP 冗余消除模块确定存在继承的VSP候选的情况下,3D运动候选产生模块在不将VSP候选插入到合并候选列表的情况下推导其余的合并运动候选。已经在上文中给出了对由3D图像编码/解码设备推导其余的合并运动候选的详细描述。
在这种情况下,‘3D运动候选产生模块’可指‘3D合并候选插入模块’或‘VSP候选插入模块’,并且为了方便描述,在下文中,‘3D运动候选产生模块’、‘3D合并候选插入模块’和‘VSP候选插入模块’可互换使用。
用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行的设备可被配置为将VSP冗余消除模块扩展/添加到3D运动候选产生模块。在这种情况下,可根据由现有运动候选产生模块确定的空间邻近候选是否使用VSP来确定VSP候选是否将被使用,并且对关于VSP候选是否将被使用的确定可在关于推导VSP候选的确定之前被执行。参照图21详细描述根据本发明的实施例的用于根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制的设备。
图21是示出根据本发明的另一实施例的用于根据是否存在继承的VSP 候选对将VSP候选添加到合并候选列表进行限制的设备的框图。
参照图21,帧间预测模块可包括现有运动候选产生模块和3D运动候选产生模块,并且3D运动候选产生模块可包括VSP冗余消除模块。
现有运动候选产生模块已经在上文中进行描述。已经在上文中给出了对现有运动候选产生模块的详细描述。
3D运动候选产生模块可包括VSP冗余消除模块。可根据由现有运动候选产生模块确定的空间邻近候选是否使用VSP来确定VSP候选是否将被使用,并且关于VSP候选是否将被使用的确定可在关于推导VSP候选的确定之前被执行。已经在上文中给出了对3D运动候选产生模块和VSP冗余消除模块的详细描述。
当根据是否存在继承的VSP候选对将VSP候选添加到合并候选列表进行限制时,3D图像编码/解码设备可参考空间合并候选中的两个方向或者仅一个方向,并且3D图像编码/解码设备可通过参考空间合并候选之中的两个方向或者仅一个方向来减少参考用于确定是否使用VSP的标志的次数。在这种情况下,参考用于确定是否使用VSP的标志的次数的减少可减少由3D图像编码/解码设备访问存储器的次数。在下文中,对上述方法进行更详细地描述。
图22是示出现有合并候选推导方法和根据本发明的另一实施例的合并候选推导方法之间的比较的示图。
图22的(a)示出推导现有合并候选的示例。参照图22的(a),在推导现有合并候选中的空间邻近块A0、A1、B0、B1和/或B2中的每一个可以是在VSP 模式下被编码/解码的VSP,即,继承的VSP。当配置当前块的合并候选列表时,3D编码/解码设备有时将VSP候选插入到当前块的合并候选列表而不管空间邻近块是否已经在VSP模式下被编码/解码,这是仅将冗余运动信息插入到合并候选列表中,因此导致图像编码/解码效率的下降。
图22的(b)示出根据本发明的另一实施例的推导合并候选的示例。参照图22的(b),当配置针对当前块的合并候选列表时,3D图像编码/解码设备确定邻近块之中的A1和/或B1是否已经使用了VSP,即,是否是继承的VSP。其后,当邻近块之中的A1和/或B1已经使用了VSP时,3D图像编码/解码设备对将VSP候选插入到合并列表中进行限制。
更详细地描述用于在3D图像编码/解码中通过参考空间合并候选之中的两个方向对将VSP候选添加到合并候选列表进行限制的方法。
图23是示出根据本发明的另一实施例的用于通过参考空间合并候选之中的两个方向对将VSP候选添加到合并候选列表进行限制的方法的流程图。
参照图23,3D图像编码/解码设备将位于当前块左侧的候选(即,位于左侧的候选)插入到列表中(S2300)。尽管已经描述了3D图像编码/解码设备将位于当前块左侧的候选插入到列表中,但是位于当前块左侧的候选仅是示例。在步骤S2300由3D编码/解码设备插入到列表中的候选可以是空间候选(例如,位于当前块的左侧、左下侧、左上侧、上侧以及右上侧的候选) 中的任意一个。在这种情况下,位于当前块左侧的候选可以是A1,位于当前块左下侧的候选可以是A0,位于当前块左上侧的候选可以是B2。此外,位于当前块上侧的候选可以是B1,位于当前块的右上侧的候选可以是B0。
3D图像编码/解码设备确定左侧候选是否已经使用了VSP,即,左侧候选是否是继承的VSP(S2310)。已经在上文中给出了对确定左侧候选是否已经使用了VSP的详细描述。
在左侧候选已经使用了VSP的情况下,3D图像编码/解码设备产生指示 VSP已经被使用的信息(S2320)。已经在上文中给出了对指示VSP已经被使用的信息的详细描述。
其后,3D图像编码/解码设备将位于当前块上侧的候选插入到合并列表中(S2330)。尽管已经描述了3D图像编码/解码设备将位于当前块上侧的候选插入到列表中,但是位于当前块上侧的候选仅是示例。在步骤S2330由3D 编码/解码设备插入到列表中的候选可以是空间候选(即,位于当前块的左侧、左下侧、左上侧、上侧以及右上侧的候选)中的任意一个。
在在步骤S2310左侧候选未使用VSP的情况下,3D图像编码/解码设备将上侧候选插入到列表中,而无需产生指示VSP已经被使用的信息(S2330)。
在在步骤S2330将上侧候选插入到合并列表中之后,3D图像编码/解码设备确定是否存在指示上侧候选已经使用了VSP以及VSP已经被使用的信息 (S2340)。
在不存在指示上侧候选已经使用了VSP以及VSP已经被使用的信息的情况下,3D图像编码/解码设备产生指示VSP已经被使用的信息(S2350)。在这种情况下,仅当不存在指示VSP已经被使用的信息而同时VSP被使用时才产生在步骤S2350中指示VSP已经被使用的信息。
其后,3D图像编码/解码设备确定是否存在指示VSP已经被使用的信息 (S2360)。已经在上文中给出了对确定是否存在指示VSP已经被使用的信息的详细描述。
这里,在存在指示VSP已经被使用的信息的情况下,3D图像编码/解码设备放弃将VSP候选插入到合并候选列表中。
在在步骤S2360不存在指示VSP已经被使用的信息的情况下,3D图像编码/解码设备在合并候选列表中产生VSP候选,即,将VSP候选插入到合并候选列表中(S2370)。
上述方法可应用于每个空间邻近候选。如果在先前的空间候选中已经执行了VSP继承,则当前的空间候选可被用作仅使用DV执行预测的候选。
此外,上述方法可在上述3D图像编码/解码设备中实现。
图24a和图24b是示出根据本发明的另一实施例的将用于通过参考空间合并候选之中的两个方向对将VSP候选添加到合并候选列表进行限制的方法应用到3D HEVC的示例的流程图。
参照图24a和图24b,3D图像编码/解码设备推导现有HEVC合并候选并将usedVSP设置为假(S2400)。已经在上文中给出了对推导现有HEVC合并候选并将usedVSP设置为假的详细描述。
3D图像编码/解码设备确定左侧候选是否使用了VSP(S2410)。已经在上文中给出了对由3D图像编码/解码设备确定左侧候选是否使用了VSP的详细描述。
在左侧候选使用VSP的情况下,3D图像编码/解码设备将左侧候选插入到列表中作为继承的VSP并将usedVSP设置为真(S2430)。在这种情况下,已经在上文中给出了对将左侧候选插入到列表中作为继承的VSP并将 usedVSP设置为真的详细描述。
在左侧候选未使用VSP的情况下,3D图像编码/解码设备将左侧候选插入到合并候选列表中(S2420)。已经在上文中给出了对由3D图像编码/解码设备将左侧候选插入到合并候选列表中的详细描述。
在步骤S2420或步骤S2430之后,3D图像编码/解码设备确定上侧候选是否使用VSP并将usedVSP设置为假(S2440)。已经在上文中给出了对由图像编码/解码设备确定上侧候选是否使用VSP以及usedVSP是否为假的详细描述。
在上侧候选使用VSP并且usedVSP为假的情况下,3D图像编码/解码设备将上侧候选插入到列表中作为继承的VSP候选,并将usedVSP设置为真。
在上侧候选使用VSP并且usedVSP不为假的情况下,3D图像编码/解码设备将上侧候选插入到合并列表中(S2460)。已经在上文中给出了对由3D图像编码/解码设备将上侧候选插入到合并候选列表中的详细描述。
在步骤S2450或步骤S2460之后,3D图像编码/解码设备推导其余的空间合并候选(S2470)。已经在上文中给出了对由3D图像编码/解码设备推导其余的空间合并候选的详细描述。
3D图像编码/解码设备推导直到VSP候选之前的合并候选(S2475)。在步骤S2470之后直到VSP候选之前的合并候选可包括A0、A1、B0、B1、B2、 Col(H或M)、运动参数继承(MPI)候选、视点间合并候选(IvMC)、视点间视差矢量候选(IvDC)、视点合成预测(VSP)候选、移位视点间(ShiftIV) 候选、Bi候选和/或Zero候选。在步骤S2470之后可不存直到VSP候选之前的合并候选。
3D图像编码/解码设备确定usedVSP是否为真(S2480)。已经在上文中给出了对由3D图像编码/解码设备确定usedVSP是否为真的详细描述。
在usedVSP不为真的情况下(即,如果usedVSP为假),则3D图像编码/ 解码设备将VSP候选插入到合并列表中(S2485)。已经在上文中给出了对由 3D图像编码/解码设备将VSP候选插入到合并列表中的详细描述。
随后,3D图像编码/解码设备将其余的合并候选插入到列表中,而无需将VSP候选插入到列表中(S2490)。在这种情况下,已经在上文中给出了对将其余的合并候选插入到列表中的详细描述。
在usedVSP为真的情况下,3D图像编码/解码设备将其余的合并候选插入到列表中而无需将VSP候选插入到列表中(S2490)。在这种情况下,已经在上文中给出了对将其余的合并候选插入到列表中而无需将VSP候选插入到列表中的详细描述。
图25是示出现有合并候选推导方法与根据本发明的另一实施例的合并候选推导方法之间的比较的示图。
图25的(a)示出推导现有合并候选的示例。在这种情况下,已经在上文中给出了对推导现有合并候选的详细描述。
图22的(b)示出根据本发明的另一实施例的推导合并候选的示例。参照图22的(b),当配置针对当前块的合并候选时,3D图像编码/解码设备确定邻近块之中的A1是否已经使用了VSP,即,A1是否是继承的VSP。随后,当邻近块之中的A1已经使用了VSP时,3D图像编码/解码设备对将VSP候选插入到合并列表中进行限制。
现在详细描述对用于在3D图像编码/解码中通过参考空间候选之中的一个方向对将VSP候选插入到合并列表中进行限制的方法。
图26是示出根据本发明的另一实施例的用于通过参考空间合并候选之中的一个方向对将VSP候选添加到合并候选列表进行限制的方法的流程图。
参照图26,3D图像编码/解码设备将位于当前块左侧的候选(A1,参照图25的(b))(即,位于左侧的候选)插入到合并候选列表中(S2600)。尽管已经描述了3D图像编码/解码设备将位于当前块左侧的候选插入到合并候选列表中,但是位于当前块左侧的候选仅是示例。在步骤S2600由3D图像编码 /解码设备插入到合并候选列表中的候选可以是空间候选(例如,位于当前块左侧、左下侧、左上侧、上侧以及右上侧的候选)中的任意一个。
3D图像编码/解码设备确定位于当前块左侧的候选是否已经使用了VSP,即,候选是否是位于当前块左侧的VSP。已经在上文中对确定候选是否已经使用了VSP进行了详细描述。
在左侧候选已经使用了VSP的情况下,3D图像编码/解码设备产生指示继承的VSP已经被使用的信息(S2620)。已经在上文中给出了对指示VSP已经被使用的信息的详细描述。
在左侧候选未使用VSP的情况下,3D图像编码/解码设备放弃产生指示继承的VSP已经被使用的信息。
随后,3D图像编码/解码设备确定是否存在指示继承的VSP已经被使用的信息(S2630)。已经在上文中给出了对确定是否存在指示VSP已经被使用的信息的详细描述。
这里,在存在指示继承的VSP已经被使用的信息的情况下,3D图像编码 /解码设备放弃将当前块的VSP候选插入到合并候选列表中。
在在步骤S2630不存在指示继承的VSP已经被使用的信息的情况下,3D 图像编码/解码设备产生当前块的VSP候选,即,将当前块的VSP候选插入到合并候选列表中(S2640)。
上述方法可应用于每个空间邻近信道。如果已经在先前的空间候选中执行了VSP继承,则当前的空间候选可被用作将仅使用DV被预测的候选。此外,可在上述3D图像编码/解码设备中实现上述方法。
图27a和图27b是示出根据本发明的另一实施例的将用于通过参考空间合并候选之中的一个方向对将VSP候选添加到合并候选列表进行限制的方法应用于3D HEVC的示例的流程图。
参照图27a和27b,3D图像编码/解码设备推导现有HEVC合并候选并将 usedVSP设置为假(S2700)。已经在上文中给出了对推导现有HEVC合并候选并将usedVSP设置为假的详细描述。
3D图像编码/解码设备确定左侧的候选是否使用VSP(S2710)。已经在上文中给出了对由3D图像编码/解码设备确定左侧候选是否使用VSP的详细描述。
在左侧的候选使用VSP的情况下,3D图像编码/解码设备将候选插入到列表中作为继承的VSP并将usedVSP设置为真(S2720)。在这种情况下,已经在上文中给出了对将候选插入到合并候选列表中作为继承的VSP并将 usedVSP设置为真的详细描述。
在左侧的候选未使用VSP的情况下,3D图像编码/解码设备将左侧候选插入到合并候选列表中(S2730)。已经在上文中给出了对由3D图像编码/解码设备将左侧候选插入到合并候选列表中的详细描述。
在步骤S2720或步骤S2730之后,3D图像编码/解码设备推导其余的空间合并候选(S2740)。在这种情况下,以上已经给出了对由图像编码/解码设备推导其余的空间合并候选的详细描述。
3D图像编码/解码设备推导直到VSP候选之前的合并候选(S2750)。在步骤2740之后直到VSP候选之前其他合并候选被放置到合并候选列表中。例如,候选可包括A0、A1、B0、B1、B2、Col(H或M)、运动参数继承(MPI) 候选、视点间合并候选(IvMC)、视点间视差矢量候选(IvDC)、视点合成预测(VSP)候选、移位视点间(ShiftIV)候选、Bi候选和/或Zero候选。在步骤S2740之后可不存直到VSP候选之前的合并候选。这只是为了理解本发明的示例。
3D图像编码/解码设备确定usedVSP是否为真(S2760)。已经在上文中给出了对由3D图像编码/解码设备确定usedVSP是否为真的详细描述。
在usedVSP不为真的情况下(即,如果usedVSP为假),则3D图像编码/ 解码设备将VSP候选插入到合并候选列表中(S2770)。已经在上文中给出了对由3D图像编码/解码设备将VSP候选插入到合并列表中的详细描述。
随后,3D图像编码/解码设备将其余的合并候选插入到合并候选列表中 (S2490)。在这种情况下,已经在上文中给出了对插入其余的合并候选的详细描述。
在usedVSP为真的情况下,3D图像编码/解码设备将其余的合并候选插入到合并候选列表中,而无需将VSP候选插入到合并候选列表中(S2780)。在这种情况下,已经在上文中给出了对将其余的合并候选插入到列表中而无需将VSP候选插入到列表中的详细描述。
图28是示出根据本发明的另一实施例的对将VSP候选插入到合并列表中进行限制的设备的框图。
参照图28,用于对将VSP候选插入到合并列表中进行限制的设备可包括 3D HEVC产生模块,诸如,现有HEVC候选产生模块或用于确定是否针对左侧块使用VSPO的模块。
现有HEVC产生模块可指上述的现有运动候选产生模块。已经在上文中给出了对现有HEVC候选产生模块的详细描述。
用于确定针对左侧块是否使用VSP的模块(例如,用于确定针上侧块、左下侧块、左上侧块或右上侧块是否使用VSP的模块)可包括现有候选的VSP 禁用模块。用于确定针对左侧块是否使用VSP的模块可根据每个空间邻近信道是否使用VSP而禁用其他空间邻近信道对VSP的使用。因此,针对空间邻近信道,仅将预定方向的预定候选用作VSP候选,并且减少访问在每个块中存储的VSP标志的次数。因此,在3D图像编码/解码中,可减少存储器访问。
3D HEVC候选产生模块可指上述3D运动候选产生模块。3D HEVC候选产生模块可包括VSP冗余消除模块。
上述3D图像编码/解码设备和方法可被用于正在进行的用于通过MPEG (运动图像专家组)和VCEG(视频编码专家组)联合标准化的3D-HEVC(高效视频编码)中。因此,上述设备和方法根据如表1所示的CU(编码单元) 或TU(变换单元)的块尺寸或深度而具有不同的适用范围。作为用于确定可应用范围的变量(即,尺寸或深度),可使用在编码器/解码器中预定的值或根据配置文件或级别确定的值。或者,如果在编码设备和方法中在比特流中声明变量值,则可从在编码设备和方法中的比特流获得变量值。在不同可用范围根据CU深度应用的情况下,如表1所举例的,可存在A)仅应用于给定深度或更大深度的方法、B)仅应用于给定深度或更小深度的方案、或C)仅应用于给定深度的方案。
在本方法未应用于所有深度的情况下,标志可指示上述方法不适用或可被表示为指示可用范围用以下值示意的CU深度值:CP深度的最大值加一的。
表1
CU(或PU或TU)的深度 A B C
0 X O X
1 X O X
2 O O O
3 O X X
4或更大 O X X
图29示出通过上述3D图像编码/解码设备和方法已去除VSP间候选冗余的示例。
参照图29,可以识别出,如果应用现有方法,则VSP候选精确地存在于合并候选列表中,但如果应用如这里所提出的3D编码/解码设备,则可增强 VSP候选的冗余的存在。
在上述的实施例中,基于具有一系列步骤或单元的流程图描述了所述方法,但本发明不限于步骤的顺序,而是一些步骤可被同时执或以与其它步骤不同的顺序被执行。本领域的普通技术人员应理解,在不影响本发明的范围的情况下,在流程图中的步骤不互相排斥,并且其它步骤可被添加到流程图中,或者一些步骤可从流程图被删除。
此外,上述实施例包括示例的各方面。尽管不能描述代表各方面的所有可能的组合,但是本领域的普通技术人员应理解任何其它组合是可能的。因此,本发明包括属于权利要求的所有其它改变、修改和变化。
可以以计算机可读记录介质中存储的计算机可执行程序准备根据本发明的上述方法,计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘或光学数据存储设备,或者可以以载波的形式实现(例如,通过互联网的传输)。
计算机可读记录介质可分布在通过网络连接的计算机系统中,并且计算机可读代码可以以分布式方法被存储并执行。本发明所属领域的程序员可容易地推断用于实现上述方法的功能性程序、代码或代码段。
尽管已经结合本发明的优选实施例示出并描述了本发明,但本发明不限于此,并且在不脱离由权利要求限定的本发明的范围的情况下,可进行各种改变,并且这样的改变不应从本发明的技术精神和范围被单独地进行解释。

Claims (18)

1.一种用于3D图像解码的方法,所述方法包括:
通过将第一候选块插入到合并候选列表来推导合并候选列表;
确定在第一候选块中是否已经使用了视点合成预测VSP;
响应于第一候选块使用了VSP,产生指示在第一候选块中已经使用了VSP的信息;
当存在指示在第一候选块中已经使用了VSP的信息时,通过放弃将当前块的VSP候选插入到合并候选列表中以及通过插入一个或更多个其他候选块来构建合并候选列表;
基于合并候选列表对当前块执行帧间预测,以对3D图像进行解码。
2.如权利要求1所述的方法,其中,第一候选块是当前块的空间邻近块。
3.如权利要求2所述的方法,其中,第一候选块是位于当前块左侧的空间邻近块。
4.如权利要求1所述的方法,其中,合并候选列表包括作为合并候选的关于能够用于当前块的帧间预测的至少一个块的运动信息。
5.如权利要求1所述的方法,其中,指示已经使用了VSP的信息包括以下信息中的至少一个:指示第一候选块是否可用的信息、以及指示在第一候选块中是否已经使用了VSP的信息。
6.如权利要求1所述的方法,其中,推导合并候选列表的步骤包括:在将第一候选块插入到合并候选列表之后,将第二候选块插入到合并候选列表中,
其中,产生指示在第一候选块中已经使用了VSP的信息的步骤包括:当在第一候选块或第二候选块中已经使用了VSP时,产生指示在第一候选块中已经使用了VSP的信息。
7.如权利要求6所述的方法,其中,第一候选块是位于当前块左侧的空间邻近块,第二候选块是位于当前块上侧的空间邻近块。
8.如权利要求1所述的方法,其中,当前块是子预测块。
9.一种用于3D图像解码的设备,所述设备包括:
至少一个处理器;以及
存储器,存储由所述至少一个处理器执行的至少一个指令,其中,所述至少一个指令被配置为促使所述至少一个处理器执行以下操作:
通过将第一候选块插入到合并候选列表来推导合并候选列表;
确定在第一候选块中是否已经使用了视点合成预测VSP;
响应于第一候选块使用了VSP,产生指示在第一候选块中已经使用了VSP的信息;
当存在指示在第一候选块中已经使用了VSP的信息时,通过放弃将当前块的VSP候选插入到合并候选列表中以及通过插入一个或更多个其他候选块来构建合并候选列表;
基于合并候选列表对当前块执行帧间预测,以对3D图像进行解码。
10.如权利要求9所述的设备,其中,第一候选块是当前块的空间邻近块。
11.如权利要求10所述的设备,其中,第一候选块是位于当前块左侧的空间邻近块。
12.如权利要求9所述的设备,其中,合并候选列表包括作为合并候选的关于能够用于当前块的帧间预测的至少一个块的运动信息。
13.如权利要求9所述的设备,其中,指示已经使用了VSP的信息可包括以下信息中的至少一个:指示第一候选块是否可用的信息、以及指示在第一候选块中是否已经使用了VSP的信息。
14.如权利要求9所述的设备,其中,所述至少一个指令还被配置为促使所述至少一个处理器在将第一候选块插入到合并候选列表之后,将第二候选块插入到合并候选列表中,其中,所述至少一个指令还被配置为促使所述至少一个处理器:当在第一候选块或第二候选块中已经使用了VSP时,产生指示在第一候选块中已经使用了VSP的信息。
15.如权利要求14所述的设备,其中,第一候选块是位于当前块左侧的空间邻近块,第二候选块是位于当前块上侧的空间邻近块。
16.如权利要求9所述的设备,其中,当前块是子预测块。
17.一种用于3D图像编码的方法,所述方法包括:
通过将第一候选块插入到合并候选列表来推导合并候选列表;
确定在第一候选块中是否已经使用了视点合成预测VSP;
响应于第一候选块使用了VSP,产生指示在第一候选块中已经使用了VSP的信息;
当存在指示在第一候选块中已经使用了VSP的信息时,通过放弃将当前块的VSP候选插入到合并候选列表中以及通过插入一个或更多个其他候选块来重新推导合并候选列表;
基于合并候选列表对当前块执行帧间预测,以对3D图像进行编码。
18.一种用于3D图像编码的设备,所述设备包括:
至少一个处理器;以及
存储器,存储由所述至少一个处理器执行的至少一个指令,其中,所述至少一个指令被配置为促使所述至少一个处理器执行以下操作:
通过将第一候选块插入到合并候选列表来推导合并候选列表;
确定在第一候选块中是否已经使用了视点合成预测VSP;
响应于第一候选块使用了VSP,产生指示在第一候选块中已经使用了VSP的信息;
当存在指示在第一候选块中已经使用了VSP的信息时,通过放弃将当前块的VSP候选插入到合并候选列表中以及通过插入一个或更多个其他候选块来重新推导合并候选列表;
基于合并候选列表对当前块执行帧间预测,以对3D图像进行编码。
CN201580031649.2A 2014-06-30 2015-05-29 运动合并模式下消除视点合成预测候选冗余的装置和方法 Active CN106464907B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20140081191 2014-06-30
KR10-2014-0081191 2014-06-30
KR10-2015-0074951 2015-05-28
KR1020150074951A KR102378459B1 (ko) 2014-06-30 2015-05-28 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법
PCT/KR2015/005412 WO2016003074A1 (ko) 2014-06-30 2015-05-29 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법

Publications (2)

Publication Number Publication Date
CN106464907A CN106464907A (zh) 2017-02-22
CN106464907B true CN106464907B (zh) 2019-11-19

Family

ID=55169008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580031649.2A Active CN106464907B (zh) 2014-06-30 2015-05-29 运动合并模式下消除视点合成预测候选冗余的装置和方法

Country Status (5)

Country Link
US (1) US10194133B2 (zh)
EP (1) EP3163880A4 (zh)
JP (3) JP6673854B2 (zh)
KR (1) KR102378459B1 (zh)
CN (1) CN106464907B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3193505A4 (en) * 2014-10-07 2017-08-30 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image by means of view merging prediction
EP3202143B8 (en) * 2014-11-18 2019-09-25 MediaTek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
CN116866564A (zh) 2016-10-04 2023-10-10 株式会社Kt 用于处理视频信号的方法和装置
WO2018124850A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 예측 블록의 중복성을 고려한 화면 내 예측 방법 및 화면 내 예측을 수행하는 영상 복호화 장치
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
CN116866561A (zh) 2017-09-29 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质及图像数据的传输方法
US10645417B2 (en) * 2017-10-09 2020-05-05 Google Llc Video coding using parameterized motion model
CN110120229A (zh) * 2018-02-05 2019-08-13 北京三星通信技术研究有限公司 虚拟现实vr音频信号的处理方法及相应设备
WO2019225993A1 (ko) * 2018-05-23 2019-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN111869215B (zh) * 2018-05-31 2023-06-06 华为技术有限公司 受限长距离运动矢量预测方法及装置
CN112204982A (zh) * 2018-06-29 2021-01-08 株式会社Kt 用于处理视频信号的方法和设备
WO2020009960A1 (en) 2018-07-02 2020-01-09 Futurewei Technologies, Inc. Method and apparatus for motion vector prediction
US10924731B2 (en) * 2018-08-28 2021-02-16 Tencent America LLC Complexity constraints on merge candidates list construction
CN112218086A (zh) * 2019-07-11 2021-01-12 中兴通讯股份有限公司 编码、解码方法、传输方法、编码、解码装置及系统
WO2021055126A1 (en) * 2019-09-19 2021-03-25 Alibaba Group Holding Limited Methods for constructing a merge candidate list
KR102612539B1 (ko) 2019-12-17 2023-12-11 한국전자통신연구원 다시점 비디오 부호화 및 복호화 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081470A (zh) * 2010-09-02 2013-05-01 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR20120129944A (ko) * 2010-02-10 2012-11-28 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20130044189A (ko) 2011-10-21 2013-05-02 광운대학교 산학협력단 다시점 비디오 부호화/복호화 방법 및 그 장치
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
US20130188715A1 (en) 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
WO2013162272A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US9998755B2 (en) * 2012-10-03 2018-06-12 Mediatek Inc. Method and apparatus for motion information inheritance in three-dimensional video coding
CN104718760B (zh) 2012-10-05 2019-04-05 寰发股份有限公司 用于三维和多视图视频编码的方法和装置
CN104396248B (zh) 2012-10-12 2019-11-08 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US10158876B2 (en) * 2013-04-10 2018-12-18 Qualcomm Incorporated Backward view synthesis prediction
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
US9800895B2 (en) * 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
US9948915B2 (en) * 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding
US9906768B2 (en) * 2013-07-26 2018-02-27 Qualcomm Incorporated Use of a depth condition in 3DV codec
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
WO2015056955A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2015100710A1 (en) * 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Existence of inter-view reference picture and availability of 3dvc coding tools
US9948950B2 (en) * 2014-01-03 2018-04-17 Qualcomm Incorporated Disparity vector and/or advanced residual prediction for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081470A (zh) * 2010-09-02 2013-05-01 Lg电子株式会社 编码和解码视频的方法和使用该方法的装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D-HEVC Test Model 4;Gerhard Tech;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20130621;正文第24-25页 *
CE1.h: Results on View Synthesis Prediction;Feng Zou, Dong Tian*, Anthony Vetro;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20121012;正文第3页 *

Also Published As

Publication number Publication date
JP2017525201A (ja) 2017-08-31
EP3163880A4 (en) 2018-03-21
JP6673854B2 (ja) 2020-03-25
US20170127041A1 (en) 2017-05-04
EP3163880A1 (en) 2017-05-03
KR102378459B1 (ko) 2022-03-24
JP2022000948A (ja) 2022-01-04
US10194133B2 (en) 2019-01-29
JP2020092463A (ja) 2020-06-11
CN106464907A (zh) 2017-02-22
KR20160002344A (ko) 2016-01-07

Similar Documents

Publication Publication Date Title
CN106464907B (zh) 运动合并模式下消除视点合成预测候选冗余的装置和方法
EP3059970B1 (en) Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
JP6941656B2 (ja) サブ予測ユニット単位の時間的な視点間動き情報の誘導方法及び装置
KR102227279B1 (ko) 비디오 부호화/복호화 방법 및 장치
KR20150004289A (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
KR102343817B1 (ko) 멀티-뷰 비디오의 디코딩 방법 및 장치
KR20160072105A (ko) 멀티-뷰 비디오를 디코딩하는 비디오 디코딩 장치 및 방법
US20160255368A1 (en) Method and apparatus for coding/decoding video comprising multi-view
WO2015141977A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
RU2784475C1 (ru) Способ декодирования изображения, способ кодирования изображения и машиночитаемый носитель информации
KR20150114913A (ko) 변이 벡터를 사용한 병합 움직임 후보 유도 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant