CN105075250B - 对视差运动向量的导出、使用这种导出的3d视频编码和解码 - Google Patents

对视差运动向量的导出、使用这种导出的3d视频编码和解码 Download PDF

Info

Publication number
CN105075250B
CN105075250B CN201480010460.0A CN201480010460A CN105075250B CN 105075250 B CN105075250 B CN 105075250B CN 201480010460 A CN201480010460 A CN 201480010460A CN 105075250 B CN105075250 B CN 105075250B
Authority
CN
China
Prior art keywords
parallactic movement
list
vector
parallactic
movement vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480010460.0A
Other languages
English (en)
Other versions
CN105075250A (zh
Inventor
E.G.莫拉
J.琼格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN105075250A publication Critical patent/CN105075250A/zh
Application granted granted Critical
Publication of CN105075250B publication Critical patent/CN105075250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于对当前图像(Ik)进行解码的方法,该当前图像包括分别代表同一场景的至少两个视图,所述解码方法包括对视差运动向量的导出步骤(D3),所述解码方法的特征在于,在所述导出步骤过程中其包括在于以下各项的步骤:‑构造(S1)至少一个视差运动向量列表(L1),在该列表中,已经分别根据两种不同的估计方法得到了至少两个视差运动向量,‑将函数应用(S3)到所述列表的所述至少两个视差运动向量。这种方法适用于MVV或MVD类型的当前图像Ik

Description

对视差运动向量的导出、使用这种导出的3D视频编码和解码
技术领域
本发明总体上涉及三维(3D)图像处理领域,并且更具体地,涉及3D数字图像以及3D数字图像序列的编解码。本发明具体但不排他地涉及3D视频应用,这些3D视频应用实现对来自不同照相机的图像进行编码/解码。
本发明可以尤其但不排他地应用在当前AVC和HEVC视频编码器中所实现的视频编码及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等),并且应用在相应的解码上。
背景技术
可以通过复用由单个立体设备的两个不同照相机所记录的同一场景(立体格式)的两个视图来得到视频的3D表示。
通过利用两个视图之间所存在的冗余,通常使用两种类型的编码:MFC和MVC(分别是“多视图帧兼容编码”和“多视图视频编码”)来对由该两个视图组成的多个图像进行编码。
虽然目前立体编码格式统治了市场,新3D视频服务(诸如3DTV或FTV)的发展需要对三维场景进行更流畅的表示,这可以通过在一个3D设备上同时复用两个以上的视图得到。为此,可以根据MVV(多视图视频)格式来对来自不同视点的至少三个图像进行获取、编码然后传送,而且可以使用MVC编码以对这些图像进行编码。然而,与MVC编码相关联的成本较高,特别是当视点的数量非常大时。
目前正在开发一种被称为MVD(“多视图视频+深度”)的新的视频编码格式。根据此格式,除了纹理照相机还使用了深度照相机。给定图像的每一个纹理分量都与该图像的深度分量相关联。在编码然后传送之后,可以将经重构的纹理分量和深度分量传送到合成器,该合成器生成必要数量个中间视图。深度分量的优点是它们仅仅由亮度通道组成,并且它们主要由被边界分隔的平滑区域组成。因此,它们比纹理分量编码的成本更低。此外,为了提高编码效率,可以根据MVD格式(例如借助于3DVC(“3D视频编码”)编码解码器)来利用两个纹理分量之间或两个深度分量之间的相关性、以及纹理分量与深度分量之间的相关性。
并且,同样,为了提高编码效率,标准根据来自已经编码然后解码的多个块的编码信息来为当前块提供对编码信息的预测。
例如,一种类型的编码信息是时间运动向量,该时间运动向量描述了当前时刻的视图相对于前一个时刻此同一视图的运动。
AMVP(“高级运动向量预测”)模式引入了时间运动向量列表,这些时间运动向量是用于预测当前视图的当前块的时间运动向量的候选项。仅将当前块的运动向量与该列表中就比特率失真准则而言最佳候选时间运动向量之间的差异(残差)、以及标志此最佳候选向量的索引传送到解码器,从而降低了与当前块的时间运动向量有关的信息的传送成本。
MERGE模式避免对当前块的编码信息项(如例如,时间运动向量)进行预测。实际上,该MERGE模式使得当前视图的当前块能够直接从时间运动向量中得到继承,该时间运动向量选自于候选时间运动向量的列表,这些候选时间运动向量可以包括分别与当前块的多个相邻块相关联的多个时间运动向量,所述相邻块已经被编码然后解码,或者分别与对应于当前块并且被包含在先前编码然后解码的多个帧中的多个块相关联。在现有技术中,与当前块相对应的这种块也被称为并置块。因此,不需要以与可以应用于解码的原理相同的原理来对由此通过继承从候选向量列表中选择的当前块的时间运动向量进行编码。
在目前正在起草的3D-HEVC(“3D高效视频编码”)标准中,提出了采用预测和继承二者的多种技术。
该3D-HEVC标准使得具体在AMVP模式或MERGE模式的候选时间运动向量的列表中添加其他类型的运动向量成为可能,如:
-从视差运动向量中计算出来的时间运动向量,这种候选运动向量被称为“多视图候选项”;
-视差运动向量。
如本身已知的,视差运动向量是用在视图间预测的上下文中的运动向量。它是描述当前从属视图的当前块与在先前编码然后解码的基本视图中对应于此当前块的块之间的运动的运动向量,该当前从属视图与该基本视图各自代表在同一时刻的同一场景。
而且,这种视差运动向量可以用于对当前视图中的当前块的视图间残差预测的上下文中。根据此预测,在先前编码然后解码的基本视图中搜索对应于当前从属视图的当前块并且由该当前块的视差运动向量所指向的块。然后,计算此相应块的残差,以预测当前块的残差。
存在可以用于将来的3D-HEVC标准中的不同视差运动向量导出方法。
第一种方法(被称为DMDV(“深度图视差向量”))在于针对每一个从属视图来估计深度图、然后选择与在所估计的深度图中的并置块中的最大深度值相对应的视差运动向量。此第一种方法的缺点是其在计算和存储方面成本高昂。
第二种方法(被称为NBDV(“相邻视差向量”))在于针对当前视图的有待编码的当前块来考虑在当前视图中与当前块相邻的五个空间块以及在先前编码然后解码的两个参考帧中与当前块相邻的两个时间块。该五个相邻块是:位于正下方并且在当前块的左方的块A0、位于块A0的正下方并且位于当前块的左下角的块A1、位于正上方并且在当前块的右方的块B0、与块B0相邻并且位于当前块的正上方的块B1、以及位于正上方且在当前块的左方的块B2。该两个时间块是中心(CENTER)块与RB块,该CENTER块位于与当前块相对应的块的中心,该RB块位于正下方并且在与当前块相对应的块的右方。根据此第二种方法的视差运动向量导出方法在于检查块A0、A1、B0、B1、B2、CENTER1(第一参考帧)、CENTER2(第二参考帧)、RB1(第一参考帧)和RB2(第二参考帧)之一是否与视差运动向量相关联。这种检查以如下的具体次序进行:对于第一从属视图的CENTER1、RB1、CENTER2、RB2、A1、B1、B0、A0、B2,以及对于第二从属视图的RB1、CENTER1、RB2、CENTER2、A1、B1、B0、A0、B2。一旦在上述检查次序中针对这些块之一找到第一视差向量,该第一视差向量就被选择为最终导出的视差运动向量。然后,该检查停止,即使仍存在多个有待检查的块。
可能在检查结束时没有找到视差运动向量。在这种情况下,对于被认为在块A0、A1、B0、B1、B2之外并且已经根据AMVP或MERGE模式使用运动预测编码的块而言,如果选择多视图候选项来对此块进行编码(如在介绍部分所解释的),与本块相关联的时间运动向量可能已经涉及对视差运动向量的导出。那么根据第二种方法的视差运动向量导出方法在于检查块A0、A1、B0、B1、B2之一是否与从视差运动向量计算出来的时间运动向量相关联。这种检查以如下的具体次序进行:A0、A1、B0、B1、B2。一旦以上述检查次序结合这些块之一找到从视差运动向量中计算出来的时间运动向量,用来导出此时间运动向量的视差运动向量就被选择为最终导出的视差运动向量。
此第二种导出方法的缺点是:根据该情况所找到或读取的该第一视差运动向量可能不是将要优化该当前块的编码或解码效率的向量。
第三种导出方法可以用于以下情况中:当前视图具有MVD类型的格式,并且在其纹理分量之前已使用被称为FCO(“灵活编码次序”)的工具对其深度分量进行编码。为此,为导出当前视图中的纹理分量的当前块的视差运动向量,进行以下步骤:
-确定在与当前纹理分量相关联的被编码然后被解码的深度分量中在深度方面并置的块;
-确定与深度分量中在深度方面并置的块中的最大深度值相对应的视差运动向量;
-选择被确定为最终视差运动向量的视差运动向量。
这种导出方法的缺点是其被限制在必然包含纹理分量和深度分量的视图中。此外,该方法没有考虑到其他类型的视差运动向量,如例如用于导出时间运动向量的视差运动向量。
第四种方法在于对已经使用上述第二种方法NBDV得到的最终视差运动向量进行细化。这种方法被称为DoNBDV(“深度导向的相邻视差向量”)。这种方法用在以下情况中:当前视图具有MVD类型的格式,并且在其深度分量之前对其纹理分量进行编码。然后,使用最终视差运动向量来确定先前被编码然后被解码的基本视图中的深度块,该深度块对应于当前视图中的当前纹理块。新的最终视差运动向量DoNBDV是对应于在所确定的此深度块中的最大深度值的最终视差运动向量。
这种导出方法的缺点是其被限制在必然包含纹理分量和深度分量的视图中。而且,由于这种方法源自第二种方法,其必然继承第二种方法所特有的缺点。
J.康(J.Kang)、Y.陈(Y.Chen)、L.张(L.Zhang)以及M.卡尔兹威兹(M.Karczewicz)在文献“关于3D-CE2.h:增强型视差运动向量(3D-CE2.h related:Enhanced disparityvector derivation)”中提出了第五种导出方法,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC29/WG 11JCT3V-C0050旨在改进上述第二种导出方法。为此,在以如下的具体次序进行的块检查期间:CENTER1、RB1、CENTER2、RB2、A1、B1、B0、A0、B2(第一从属视图)或RB1、CENTER1、RB2、CENTER2、A1、B1、B0、A0、B2(第二从属视图),以下各项旨在被存储:
-在第一列表中的被称为SDVC(“空间视差向量候选项”)的最多三个空间视差运动向量,
-以及在第二列表中的被称为TDVC(“时间视差向量候选项”)的最多三个时间视差运动向量。
在检查完成时会出现多种情况。
第一种情况下,可能在检查结束时没有找到视差运动向量。在这种情况下,以与第二种方法中相同的方式来得到最终视差运动向量,通过用下列次序来选择用于导出与这些空间块相关联的时间运动向量的第一视差运动向量:A0、A1、B0、B1、B2。
第二种情况下,已经存储了单个视差运动向量,不论该视差运动向量是SDVC向量还是TDVC向量。然后,此单个存储的向量被选择为最终视差运动向量。
第三种情况下,如果只存储了两个视差运动向量,也就是说,或者两个SDVC向量、或者两个TDVC向量、或者一个SDVC向量和一个TDVC向量,该两个向量中较大的向量被选择为最终视差运动向量。
第四种情况下,如果存储了三个或更多个视差运动向量,将中值函数应用于在存储器中所读取的两个第一TDVC向量并且应用于在存储器中所读取的第一SDVC向量。然后,所产生的向量被选择为最终视差运动向量。如果没有足够的TDVC(对应地SDVC)向量,第一SDVC向量(对应地TDVC)被用作中值函数的输入。
虽然对最终视差运动向量的选择是从一个或两个列表中所包含的多个视差运动向量中得到的,与仅保留单个视差运动向量的第二种导出方法相反,此第五种方法的缺点是:正如第二TDVC向量列表,第一SDVC向量列表仅包含用于视图间预测的上下文中的多个视差运动向量。换言之,根据第五种方法的导出方法仅仅基于多个统一的视差运动向量。第一列表和第二列表均不包含另一种类型的视差向量,如例如从中导出时间运动向量的那些视差向量。因此,根据此第五种方法对视差运动向量的选择不是最优的。
发明内容
本发明的目的之一是补救上述现有技术的缺点。
为此,本发明的一个目标涉及一种视差运动向量导出方法。
这种导出方法值得注意的是其包括在于以下各项的步骤:
-构造至少一个视差运动向量列表,在该列表中,已经分别根据两种不同的估计方法得到了至少两个视差运动向量,
-将函数应用到该列表的所述至少两个视差运动向量。
鉴于至少一个视差向量列表中所包含的那些视差运动向量的多样性,对最终视差向量的选择比提出每个表中仅一种类型的视差向量的现有技术中所进行的要细化的多。
因为使得预测更加可靠并且更加准确,这种规定在以下情况下证明是特别有利的:视差运动向量旨在被添加到可能被选择为用于预测具有例如MVV或MVD类型的格式的当前图像的运动的运动向量的集合中。其结果是对当前图像进行更高效的编码和解码。
这种规定在下列情况下也证明是特别有利的:从该导出方法中所得到的视差运动向量被用于预测多视图图像的视图的当前块的残差,使得本次预测同样更加可靠并且更加准确。
根据具体实施例,当构造多个视差运动向量列表时,此类多个列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量的至少一个列表,上述应用步骤在于将函数应用到所述列表的该至少两个视差运动向量并且应用到至少一个其他列表的至少一个视差运动向量。
通过本具体实施例的替代方案,当构造多个视差运动向量列表时,此类多个列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量的至少一个列表,上述应用步骤在于:
-将函数应用到该列表的该至少两个视差运动向量,传送第一视差运动向量,
-将函数应用到其他列表中的每一个列表的至少一个视差运动向量,传送多个其他视差运动向量,
-将函数应用到所传送的第一视差运动向量以及所传送的其他视差运动向量。
这些规定通过提出多个视差运动向量列表使得增加视差运动向量的选择和多样性成为可能,用于优化最终视差向量的获得。在这些不同的列表中,可能同时存在若干列表,这些列表的一些列表包含分别根据两种不同的估计方法得到的至少两个视差运动向量,并且其他一些列表仅包含根据相同的估计方法得到的多个视差运动向量。
根据另一个具体实施例,在函数应用的步骤之前执行在于在至少一个列表中限制视差运动向量的数量的步骤。
这一规定具有节约编码器中的和解码器中的计算和存储资源的优点。
根据此另一具体实施例的第一变体,上述限制步骤在于例如将至少一个视差运动向量列表中的向量数量限制到至多Ki个元素。
根据此另一具体实施例的第二变体,上述限制步骤在于:
-在至少一个视差运动向量列表中检查至少两个视差运动向量是否关于它们的幅值和取向是冗余的,
-如果该检查是肯定的,从该列表中删除该两个向量之一。
这种第二变体通过在所考虑的至少一个视差运动向量列表中删除幅值和取向是相等或相似的多个视差运动向量使得加速获得最终视差运动向量成为可能,然后将函数应用到较小数量的视差向量上。
根据此另一具体实施例的第三变体,该限制步骤与第二变体的限制步骤的区别在于以下事实:该限制步骤被应用于先前已经在实施第一变体限制步骤之后关于向量的数量减少的至少一个视差运动向量列表。
因为将第三变体应用到大小在先前已经被减小的至少一个视差运动向量列表,这种第三变体使得进一步加速获得最终视差运动向量成为可能。
本发明还涉及一种视差运动向量导出设备,该设备旨在实现上述导出方法。
这种导出设备值得注意的是其包括:
-用于构造至少一个视差运动向量列表的装置,上述列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量,
-用于将函数应用到该列表的所述至少两个视差运动向量的装置。
本发明还涉及一种对当前图像进行解码的方法,该当前图像包括分别代表同一场景的至少两个视图,这种解码方法包括对视差运动向量的导出步骤。
这种解码方法值得注意的是上述导出步骤是依据根据本发明的导出方法执行的。
本发明还涉及一种对当前图像进行解码的设备,该当前图像包括分别代表同一场景的至少两个视图,这种设备被适配为用于实现上述解码方法并且包括视差运动向量导出装置。
这种解码设备值得注意的是上述导出装置被包含在根据本发明的导出设备中。
本发明还涉及一种对当前图像进行编码的方法,该当前图像包括分别代表同一场景的至少两个视图,这种编码方法包括对视差运动向量的导出步骤。
这种编码方法值得注意的是上述导出步骤是依据根据本发明的导出方法执行的。
本发明还涉及一种对当前图像进行编码的设备,该当前图像包括分别代表同一场景的至少两个视图,这种设备被适配为用于实现上述编码方法并且包括视差运动向量导出装置。
这种编码设备值得注意的是上述导出装置被包含在根据本发明的导出设备中。
本发明还涉及一种包括指令的计算机程序,当该程序在计算机上运行时,这些指令用于实现根据本发明的导出方法、编码方法或解码方法。
此程序可以使用任何编程语言,并且可以是源代码、目标代码、或在源代码与目标代码之间的中间代码的形式,如部分编译的形式或任何其他令人期望的形式。
本发明还将其上存储有计算机程序的计算机可读存储介质作为目标,如上所述,此程序包括适于实现根据本发明的编码方法或解码方法的多条指令。
该存储介质可以是能够存储程序的任何实体或设备。例如,该介质可以包括存储装置,如ROM(例如CD ROM或微电子电路ROM)、或甚至磁性存储装置(例如USB密钥或硬盘)。
并且,该存储介质可以是可通过电缆或光缆以无线或其他方式路由的可传输介质(如电信号或光信号)。根据本发明的程序可以具体通过互联网类型的网络进行下载。
可替换地,该存储介质可以是该程序所并入的集成电路,该电路被适配为用于执行或用于执行上述编码方法或解码方法。
上述编码设备以及相应的计算机程序至少提供与根据本发明的编码方法所赋予的优点相同的优点。
上述相应的导出设备、解码方法、解码设备、编码方法、编码设备、计算机程序以及存储介质至少提供与根据本发明的导出方法所赋予的优点相同的优点。
附图说明
在阅读参照附图所描述的优选实施例后,其他特点和优点将变明显,其中:
-图1表示根据本发明的导出方法的步骤,
-图2表示根据本发明的导出设备的实施例,
-图3表示根据本发明的编码方法的步骤,
-图4表示适用于实现图3中所表示的编码方法的编码设备的实施例,
-图5表示根据本发明的解码设备的实施例,
-图6表示适用于在图5中所表示的解码设备中实现的解码步骤。
具体实施方式
现在将对本发明的实施例进行描述,在该实施例中,根据本发明的视差运动向量导出方法例如旨在在以下情况下实现:根据二进制流对图像或图像序列进行编码/解码,该二进流与符合例如正在起草的3D-HEVC标准进行的编码/解码所获得的二进制流相近。
为此,所考虑的该一个或多个图像可以例如是MVV格式或MVD格式的。
在本实施例中,例如借助于软件或硬件通过对包含在初始符合3D-HEVC标准的编码器/解码器的导出设备进行修改实现根据本发明的导出方法。根据本发明的导出方法采用包括图1中所表示的步骤S1到步骤S3的算法的形式来表示。
根据本发明的实施例,根据本发明的导出方法在图2中所表示的导出设备DER中实现。
如图2所示,这种导出设备包括包含缓冲存储器MT_DER的存储器MEM_DER、配备有例如微处理器μP并且由计算机程序PG_DER驱动的处理单元UT_DER,该处理单元实现根据本发明的导出方法。在初始化时,在处理单元UT_DER的处理器执行计算机程序PG_DER的代码指令之前,这些代码指令被加载到例如RAM存储器中。
图1中所表示的导出方法适用于有待编码的图像序列SI中的MVV或MVD类型的任何当前图像。
参照图1,在步骤S1期间,构造一个视差运动向量列表或多个视差运动向量列表L1、L2、…、Li、…、LM,其中,1≤i≤M。所述单个列表或该m个列表中的至少一个列表Li包含至少两个不同类型的视差运动向量DVa和DVb,也就是说,该两个视差运动向量是分别根据两种不同的估计方法得到的。
这些向量DVa和DVb可能例如已经在以下导出方法之一的结束时得到,在说明书的介绍部分已经描述了这些导出方法。
-DMDV,
-DCP(“视差补偿预测”),或者在考虑了时间并置块CENTER1、RB1、RB2、CENTER2之后,或者在考虑了空间相邻块A1、B1、B0、A0、B2之后,
-NBDV,
-FCO,
-DoNBDV,
-等...
作为一种变体,也可以考虑上述列表中的至少一个视差运动向量,该视差运动向量已经根据上文所列出的导出方法之一得到的视差运动向量在x或y上移位一个或多个像素而得到。然后,这就是移位导出运动向量。
例如,在构造单个列表L1情况下,所述列表可以包括例如六个视差运动向量:DV11、DV12、DV13、DV14、DV15、DV16,其中:
-DV11已经根据上述DMDV导出方法得到;
-DV12和DV13已经利用视差补偿预测DCP得到;
-DV14和DV15已经根据上述NBDV导出方法得到;
-DV16已经根据上述DoNBDV导出方法得到。
例如,在构造若干个列表的情况下(例如三个列表L1、L2和L3),所述列表中的至少一个列表包括至少两个不同类型的视差运动向量。在本示例中,两个列表L1和L3各自包括至少两个不同类型的视差运动向量。构造列表L1至L3,从而使得:
-L1包括例如四个视差运动向量:DV11、DV12、DV13、DV14,其中,DV11和DV12已经根据上述NBDV导出方法得到,并且其中,DV13和DV14已经利用视差补偿预测DCP得到;
-L2包括例如两个视差运动向量DV21、DV22,其中,DV21和DV22已经根据上述DMDV导出方法得到;
-L3包括例如两个视差运动向量DV31、DV32,其中,DV31和DV32已经分别根据上述DoNBDV导出方法和FCO导出方法得到。
参照图2,所述构造步骤S1由构造模块CTR实现,该构造模块由处理单元UT_DER的微处理器μP驱动。
已经由此构造的所述列表L1、L2、…、Li、…、LM中的列表L1被存储在图2的导出设备的缓冲存储器MT_DER中。
参照图1,在步骤S2期间,在上述列表中的至少一个列表中,将限制应用到视差运动向量的数量上。
参照图2,所述限制步骤S2由限制模块LIM实现,该限制模块由处理单元UT_DER的微处理器μP驱动。
此类步骤S2是可选的,并且为此原因,像图2中的限制模块LIM一样,该步骤在图1中由虚线表示。在说明书的下文将更详细地描述此类步骤S2。
参照图1,在步骤S3期间,将函数f应用到至少一个列表的所述至少两个不同类型的视差运动向量DVa和DVb
参照图2,所述应用步骤S3由函数应用模块APP实现,该函数应用模块由处理单元UT_DER的微处理器μP驱动。
在步骤S3之后,对最终视差运动向量DVf进行传送。
所述函数f是数学函数或统计函数,如中值函数、最大值函数、最小值函数、平均函数、加权平均函数、加权中值函数等。在平均函数或加权中值函数的情况下,权重可以是所考虑的视差运动向量的类型的函数。
作为一种变体,所述函数f是预先确定的编码性能标准,例如,比特率/失真代价或者效率/复杂性折衷,这些都是领域技术人员所熟知的标准。
例如,在构造单个列表L1的情况下,如例如包括例如六个视差运动向量DV11、DV12、DV13、DV14,DV15、DV16的上述列表,可以将函数f应用到此列表中所考虑的所有视差运动向量或它们中的部分视差运动向量。
例如,在构造若干个列表的情况下,如例如上述三个列表L1、L2和L3,会出现若干种非限定的情况。
根据第一种情况,将上述函数f应用到上述列表L1、L2和L3中的每一个列表中所考虑的所有的视差运动向量。
根据第二种情况,如果将函数f应用到同一个列表(例如列表L3)中所考虑的至少两个不同类型的视差运动向量,则将上述函数f应用到上述列表L1、L2和L3中的每一个列表中所考虑的一些视差运动向量。
根据第三种情况:
-将与函数f相同类型的函数f1应用到列表L1的所有视差运动向量,传送第一视差运动向量,
-将与函数f相同类型的函数f2应用到列表L2的所有视差运动向量,传送第二视差运动向量,
-将与函数f相同类型的函数f3应用到列表L3的所有视差运动向量,传送第三视差运动向量,
-将与函数f相同类型的函数f4应用到所传送的第一、第二和第三视差运动向量。
根据第四种情况,如果将函数f1、f3中的至少一个函数应用到与其相关联的列表L1、L3中所考虑的至少两个不同类型的视差运动向量,则将函数f1、f2、f3应用到上述列表L1、L2和L3中的每一个列表中所考虑的视差运动向量中的一些视差运动向量。
现在将描述对视差运动向量的数量进行限制的步骤S2的不同变体实施例。
根据第一变体实施例,在上述步骤S1中构造列表L1或m个列表L1、L2、…、Li、…、LM时,实现步骤S2。例如,此类步骤S2在于:
-将列表L1中的向量个数限制到最大Ki个元素,或者在构造m个列表L1、L2、…、Li、…、LM的情况下,在所考虑的至少一个列表Li中限制例如Ki=3,以得到较小的列表L'1或者至少较小的列表L'i
-删除所考虑的至少一种类型的视差运动向量,例如,在上述DMDV导出方法的结尾得到的运动向量。
-在构造m个列表的情况下,删除m个列表L1、L2、…、Li、…、LM中的至少一个列表。
根据第二变体实施例,步骤S2在上述步骤S1之后实现。
例如,步骤S2在于:
-在列表L1中(或者在构造m个列表L1、L2、…、Li、…、LM的情况下在所考虑的至少一个列表Li中),检查至少两个视差运动向量是否关于它们的幅值和取向是冗余的,
-如果该检查是肯定的,则从所述列表中删除所述两个冗余向量之一。
在根据第二变体完成步骤S2时,得到了较小的列表L”1或者得到至少一个较小的列表L”i
根据第三变体实施例,例如,此类步骤S2在于:
-在该较小的列表L'1中或者在至少一个较小的列表L'i中检查至少两个视差运动向量是否关于它们的幅值和取向是冗余的,
-如果该检查是肯定的,则从所述较小的列表中删除所述两个冗余向量之一。
根据第四变体实施例,对于所考虑的列表来说,无论是否较小,可以仅对该列表中所包含的一定数量的视差运动向量进行冗余检查。
现在将根据本发明的导出方法的三个不同的场景作为非限制性示例进行描述。
场景1
在上述步骤S1期间,构造包含根据上述NBDV导出方法所得到的视差运动向量的单个列表L1。这种列表包含例如通过DCP预测所得到的至少一个向量以及通过导出时间运动向量所得到的至少一个向量。
在上述步骤S2期间,检查包含在列表L1中的那些向量的冗余,以便从中删除冗余的向量。
在上述步骤S3期间,将中值函数应用到包含在可能已经在步骤S2中减小的列表L1的向量上。
场景2
在上述步骤S1期间,构造两个列表L1和L2,列表L1包含根据上述NBDV导出方法得到的视差运动向量。这种列表包含例如通过DCP预测所得到的至少一个向量以及通过导出时间运动向量所得到的至少一个向量。列表L2包含分别根据DMDV、FCO以及DoNBDV导出方法得到的至少三个视差运动向量。
在上述步骤S2期间,检查仅包含在列表L1中的向量的冗余,以便从中删除冗余的向量。
在上述步骤S3期间,将平均函数应用到包含在可能已经在步骤S2中减小的列表L1的两个第一向量并且应用到列表L2的第一向量。
场景3
在上述步骤S1期间,构造三个列表L1、L2、L3。列表L1包含根据上述NBDV导出方法得到的视差运动向量。这种列表包含例如通过DCP预测所得到的至少一个向量以及通过导出时间运动向量所得到的至少一个向量。列表L2包含分别根据DMDV和DoNBDV导出方法得到的至少两个视差运动向量。列表L3包含根据FCO导出方法得到的至少一个视差运动向量。
未实施冗余检查步骤S2。
在上述步骤S3期间,将第一中值函数f1应用到包含在列表L1中的传送第一视差运动向量的向量,将第二中值函数f2应用到包含在列表L2中传送第二视差运动向量的向量,并且将第三中值函数f3应用到包含在列表L3中的传送第三视差运动向量的向量。然后,将第四中值函数f4同时应用到所传送的第一、第二和第三视差运动向量。
本发明的编码方法的详细说明
现在将对本发明的实施例进行描述,在该实施例中,根据本发明的编码方法用于根据比特流对图像序列进行编码,该比特流与通过根据正在起草的3D-HEVC标准进行编码所获得的比特流相近。在本实施例中,例如借助于软件或硬件通过对初始符合HEVC 3D标准的编码器的进行修改来实现根据本发明的编码方法。根据本发明的编码方法采用包括图3中所表示的步骤C1到步骤C9的算法的形式来表示。
根据本发明的实施例,根据本发明的编码方法在图4中所表示的编码设备CO中实现。这种编码设备包括包含缓冲存储器MT_CO的存储器MEM_CO、配备有例如微处理器μP并且由计算机程序PG_CO驱动的处理单元UT_CO,该处理单元实现根据本发明的编码方法。在初始化时,在处理单元UT_CO的处理器执行计算机程序PG_CO的代码指令之前,这些代码指令被加载到例如RAM存储器中。
如以上在说明书中已经解释的,根据本发明的编码方法旨在应用于根据比特流的图像或图像序列SI,该比特流与符合例如正在起草的3D-HEVC标准进行编码/解码所获得的比特流相近。
例如,所考虑的该一个或多个图像可以是MVV格式或MVD格式。参照图3,该图像序列SI包括N个(N≥1)图像,从而使得:
-在时刻t1,图像I1包括R个视图V11、V12、…、V1j、…V1R
-……
-在时刻tk,图像Ik包括R个视图Vk1、Vk2、…、Vkj、…VkR
-……
-在时刻tN,图像IN包括R个视图VN1、VN2、…、VNj、…VNR
其中,1≤j≤R,并且1≤k≤N。
那么,考虑在图像序列SI中的在时刻tk的当前图像Ik
在图3中所表示的预备步骤C1期间,如本身已知的,属于图像序列SI的当前图像Ik的当前视图Vkj被划分成例如像素尺寸为64×64的多个块CTB1、CTB2、…、CTBu、…、CTBs(1≤u≤S)。这一划分步骤是由图4中所表示的划分软件模块MP实现的,所述模块由处理单元UT_CO的微处理器μP驱动。
应指出的是,在本发明的含义内,术语“块”表示编码单元。后一个术语显著地用于HEVC标准中,例如,文件“B.布洛斯(B.Bross)、W.-J.韩(W.-J.Han)、J.-R.奥姆(J.-R.Ohm)、G.J.沙利文(G.J.Sullivan)和T.威甘德(T.Wiegand)的“高效率视频编码(HEVC)文本规范草案6(High efficiency video coding(HEVC)text specification draft 6)”HEVC标准、2012年2月美国圣何塞州JCT-VC的文件JCTVC-H1003”中。
具体地,这种编码单元将矩形或正方形形状(也被称为块、宏块)的像素集合或呈现其他几何形状的像素集合结合在一起。
在图3中所表示的步骤C2期间,选择当前视图Vkj的块CTBu作为有待编码的当前块。
参照图4,所述选择步骤C2由编码器CO的选择模块SEL_CO实现,所述模块由处理单元UT_CO的微处理器μP驱动。
参照图3,在步骤C3期间,导出视差运动向量。这一步骤是依据根据本发明的导出方法执行的。
参照图4,所述导出步骤C3通过导出模块DER_CO实现,该模块在所有方面都与图2中的导出模块DER完全相同,所述模块DER_CO由处理单元UT_CO的微处理器μP驱动。
参照图3,在步骤C4中,通过已知的帧内预测和/或帧间预测技术对当前块CTBu进行预测编码,在该预测编码期间,相对于至少一个先前被编码然后被解码的块来对当前块CTBu进行预测。
参照图4,由能够对当前块进行预测编码的预测编码单元UCP根据常规预测技术如例如以帧内和/或帧间的方式来实现所述预测编码步骤C4。所述UCP模块由处理单元UT_CO的微处理器μP驱动。
根据第一变体实施例,当前块CTBu的运动向量是根据AMVP模式确定的,也就是说,通过在运动向量的列表中选择运动向量来预测的,该运动向量列表可能包括时间运动向量和/或视差运动向量、以及在导出步骤C3之后得到的最终视差运动向量DVf
根据第二变体实施例,当前块CTBu的运动向量是根据MERGE模式确定的,也就是说,通过继承包含在运动向量的列表中的运动向量,该运动向量列表可能包括时间运动向量和/或视差运动向量、以及在导出步骤C3之后得到的最终视差运动向量DVf
从已经在步骤C4中确定的当前块的可能的预测中,根据本领域技术人员所熟知的比特率/失真准则选择最佳预测。
所述上述预测编码步骤使得构造预测块CTBpu成为可能,该预测块是当前块CTBu的近似。关于这种预测编码的信息将随后内接在如图5中所表示的传输到解码器DO的流中。在选择使用根据本发明的导出方法得到的视差运动向量为最佳预测向量的情况下,这种信息包括包含此向量的列表中该向量的定位索引。在已经了构造了若干列表的具体情况下,该信息还包括包含所选定的向量的列表的索引。
在图3中所表示的步骤C5期间,图4中的预测编码单元UCP进行到从该当前块CTBu中减去预测块CTBpu以产生残差块CTBru
在图3中所表示的步骤C6期间,根据常规直接变换操作(如,例如DCT类型的离散余弦变换)来变换该残差块CTBru,以产生变换块CTBtu
所述步骤C6由图4中所表示的变换单元UT实现,所述单元由处理单元UT_CO的微处理器μP驱动。
在图4中所表示的步骤C7期间,根据常规量化操作(如,例如标量量化)来量化该变换块CTBtu。然后得到具有量化系数CTBqu的块。
所述步骤C7由图4中所表示的量化单元UQ实现,所述单元由处理单元UT_CO的微处理器μP驱动。
在图3中所表示的步骤C8期间,对具有量化系数CTBqu的块进行熵编码。在该优选实施例中,本领域技术人员所熟知的是CABAC熵编码。
步骤C8由图4中所表示的熵编码单元UCE实现,所述单元由处理单元UT_CO的微处理器μP驱动。
针对所考虑的当前图像Ik的所有有待编码的块来实施上文刚刚描述的编码子步骤。
针对所考虑的当前视图Vkj的所有有待编码的块来实施上文刚刚描述的编码步骤C2至C8。
在图3中所表示的步骤C9期间,产生代表经编码的当前视图Vkj的比特流Fkj,同样产生其解码版VDkj,该比特流可能被重新用于参考视图以对图像序列SI的其他视图进行编码。
参照图4,当前流Fkj的产生步骤C9由流生成模块MGF实现,该流生成模块被设计成用于产生如例如比特的数据流。所述MGF模块由处理单元UT_CO的微处理器μP驱动。
然后,由通信网络(未示出)将该当前流Fkj传输到远程终端。后者包括图5中所表示的解码器DO,下文在说明书中将对该解码器进行更加详细的描述。
解码部分的实施例的详细说明
现在将描述根据本发明的解码方法的实施例,在该实施例中,借助于软件或硬件通过对初始符合3D-HEVC标准的解码器的修改来实现该解码方法。
根据本发明的解码方法采用包括图6中所表示的步骤D1到步骤D9的算法的形式来表示。
根据本发明实施列,根据本发明的解码方法在图5中所所表示的解码设备DO中实现。
如图5所示,这种解码设备包括包含缓冲存储器MT_DO的存储器MEM_DO、配备有例如微处理器μP并且由计算机程序PG_DO驱动的处理单元UT_DO,该处理单元实现根据本发明的解码方法。在初始化时,在处理单元UT_DO的处理器执行计算机程序PG_DO的代码指令之前,这些代码指令被加载到例如RAM存储器中。
将图6中所表示的解码方法应用到有待编码的所述图像序列SI中的任何当前图像。
为此,在解码器DO处所接收的流Fkj中对有待编码的当前图像Ik所表示的信息进行标识。
在图6中所表示的步骤D1期间,在流Fkj中选择有待解码的块CTBu
参考图5,所述选择步骤D1由解码器DO的选择模块SEL_DO实现,所述模块由处理单元UT_DO的微处理器μP驱动。
在图6中所表示的步骤D2期间,通过使用流指针读取流Fk来执行对链接到当前块CTBu的语法元素的熵解码。
更确切地,链接到当前块的这些语法元素通过图5中所表示的CABAC熵解码单元UDE进行解码,所述单元由处理单元UT_DO的微处理器μP驱动。这种单元是众所周知的,并且将不再赘述。
参照图6,在步骤D3期间,导出视差运动向量。这一步骤是依据根据本发明的导出方法执行的。
参照图5,所述导出步骤D3通过导出模块DER_DO实现,该模块在所有方面都与图2中的导出模块DER完全相同,所述模块DER_DO由处理单元UT_DO的微处理器μP驱动。
在图6中所表示的步骤D4期间,当前块CTBu的预测解码通过已知的帧内和/或帧间预测技术执行,在此期间,相对于至少一个先前解码的块来对该块CTBu进行解码。
在本步骤期间,使用在前一步骤中所解码的多个语法元素来进行预测解码,并且该预测解码显著地包括预测的类型(帧间或帧内)。
在将预测或运动向量继承应用到当前块CTBu的情况下,以及在根据比特率-失真准则在编码中已经选择使用根据本发明的导出方法所获得的视差运动向量作为向量优化该预测的情况下,所述解码语法元素包括在包含本向量的视差运动向量列表中这个向量的定位索引。在已经了构造了若干个列表的具体情况下,所述解码的语法元素也包括包含所选择的向量的列表的索引。
所述上述预测解码步骤D4使得相对于先前解码的块构造预测块CTBpu成为可能。
所述步骤D4由图5中所表示的预测解码单元UDP实现,所述单元由处理单元UT_DO的微处理器μP驱动。
在图6中所表示的步骤D5期间,图5的预测解码单元UDP进行到从该当前块CTBu中减去预测块CTBpu以产生残差块CTBru
在图6中所表示的步骤D6期间,根据常规的逆量化操作来对量化的残差块CTBru进行逆量化,该逆量化操作是对在上述步骤C7中进行的量化的逆操作,以产生解码逆量化的块CTBDtu
所述步骤D6由图5中所表示的逆量化单元UDQ实现,所述单元由处理单元UT_DO的微处理器μP驱动。
在图6中所表示的步骤D7期间,执行对逆量化块CTBDtu的逆变换,该逆变换是对在上述编码步骤C6中所进行的直接变换的逆操作。然后,得到解码残差块CTBDru
所述步骤D7由图5中所表示的逆变换单元UTI实现,所述单元由处理单元UT_DO的微处理器μP驱动。
在图6中所表示的步骤D8期间,通过将解码残差块CTBDru添加到预测块CTBpu上来构造解码块CTBDu。因此,解码块CTBDu将可供图5的解码器DO使用。
步骤D8由如图5中所表示的解码块构造单元UCBD实现,所述单元由处理单元UT_DO的微处理器μP驱动。
再次针对所考虑的当前视图Vkj的所有有待解码的块来实施上文刚刚描述的解码步骤D1至D8。
参照图6,在步骤D9期间,对解码视图VDkj进行重构。
参照图5,由重构单元URI执行重构步骤D9,该重构单元在这些解码块变得可用时将这些块写入解码视图VDkj中。所述单元由处理单元UT_DO的处理器μP驱动。
不言而喻,仅以指示性并且非限制性的方式给出了上文中已经描述的实施例,并且在不脱离本发明的框架的情况下,本领域的技术人员可以轻易地做出多种修改。

Claims (13)

1.一种对当前图像(Ik)进行解码的方法,该当前图像包括分别代表同一场景的至少两个视图,所述解码方法包括对视差运动向量的导出步骤(D3),所述解码方法的特征在于,其在所述导出步骤过程中包括在于以下各项的步骤:
-构造至少一个视差运动向量列表(L1),在该列表中,已经分别根据两种不同的估计方法得到了至少两个视差运动向量,
-将函数应用到所述列表的所述至少两个视差运动向量以获得一个视差运动向量。
2.如权利要求1所述的解码方法,其中,当构造多个视差运动向量列表时,所述多个列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量的至少一个列表,所述应用步骤在于将函数应用到所述列表的所述至少两个视差运动向量并且应用到至少一个其他列表的至少一个视差运动向量。
3.如权利要求1所述的解码方法,其中,当构造多个视差运动向量列表时,所述多个列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量的至少一个列表,所述应用步骤在于:
-将函数应用到所述列表的所述至少两个视差运动向量,传送第一视差运动向量,
-将函数应用到其他列表中的每一个列表的至少一个视差运动向量,传送多个其他视差运动向量,
-将函数应用到所传送的所述第一视差运动向量以及所传送的其他视差运动向量。
4.如权利要求1至3中任一项所述的解码方法,在所述函数应用的步骤之前包括在于在至少一个列表中限制视差运动向量的数量的步骤。
5.如权利要求4所述的解码方法,所述限制步骤在于:
-在至少一个视差运动向量列表中检查至少两个视差运动向量是否关于它们的幅值和取向是冗余的,
-如果该检查是肯定的,从所述列表中删除所述两个向量之一。
6.一种用于对当前图像(Ik)进行解码的设备(DO),该当前图像包括分别代表同一场景的至少两个视图,所述设备被适配为用于实现如权利要求1至5中任一项所述的解码方法,所述解码设备包括视差运动向量导出设备(DER),其特征在于,该导出设备包括:
-用于构造至少一个视差运动向量列表的装置(CTR),所述列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量,
-用于将函数应用到所述列表的所述至少两个视差运动向量以获得一个视差运动向量的装置(APP)。
7.一种其上存储有包括程序代码指令的计算机程序的计算机可读存储介质,当所述程序由计算机运行时,这些程序代码指令用于执行如权利要求1至5中任一项所述的解码方法的步骤。
8.一种用于对当前图像(Ik)的进行编码的方法,该当前图像包括分别代表同一场景的至少两个视图,所述编码方法包括对视差运动向量的导出步骤(C3),所述编码方法的特征在于,在所述导出步骤过程中其包括在于以下各项的步骤:
-构造至少一个视差运动向量列表(L1),在该列表中,已经分别根据两种不同的估计方法得到了至少两个视差运动向量,
-将函数应用到所述列表的所述至少两个视差运动向量以获得一个视差运动向量。
9.如权利要求8所述的编码方法,其中,当构造多个视差运动向量列表时,所述多个列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量的至少一个列表,所述应用步骤在于将函数应用到所述列表的所述至少两个视差运动向量并且应用到至少一个其他列表的至少一个视差运动向量。
10.如权利要求8所述的编码方法,其中,当构造多个视差运动向量列表时,所述多个列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量的至少一个列表,所述应用步骤在于:
-将函数应用到所述列表的所述至少两个视差运动向量,传送第一视差运动向量,
-将函数应用到其他列表中的每一个列表的至少一个视差运动向量,传送多个其他视差运动向量,
-将函数应用到所传送的所述第一视差运动向量并且应用到所传送的其他视差运动向量。
11.如权利要求8至10中任一项所述的编码方法,在所述函数应用的步骤之前包括在于在至少一个列表中限制视差运动向量的数量的步骤。
12.如权利要求11所述的编码方法,所述限制步骤在于:
-在至少一个视差运动向量列表中检查至少两个视差运动向量是否关于它们的幅值和取向是冗余的,
-如果该检查是肯定的,从所述列表中删除所述两个向量之一。
13.一种用于对当前图像(Ik)进行编码的设备(CO),该当前图像包括分别代表同一场景的至少两个视图,所述设备被适配为用于实现如权利要求8至12中任一项所述的编码方法,所述编码设备包括视差运动向量导出设备(DER_CO),其特征在于,该导出设备包括:
-用于构造至少一个视差运动向量列表的装置(CTR),所述列表包括分别根据两种不同的估计方法得到的至少两个视差运动向量,
-用于将函数应用到所述列表的所述至少两个视差运动向量以获得一个视差运动向量的装置(APP)。
CN201480010460.0A 2013-02-26 2014-02-24 对视差运动向量的导出、使用这种导出的3d视频编码和解码 Active CN105075250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1351701A FR3002716A1 (fr) 2013-02-26 2013-02-26 Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
FR1351701 2013-02-26
PCT/FR2014/050384 WO2014131975A2 (fr) 2013-02-26 2014-02-24 Dérivation de vecteur de mouvement de disparité, codage et décodage vidéo 3d utilisant une telle dérivation

Publications (2)

Publication Number Publication Date
CN105075250A CN105075250A (zh) 2015-11-18
CN105075250B true CN105075250B (zh) 2019-08-13

Family

ID=48795646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480010460.0A Active CN105075250B (zh) 2013-02-26 2014-02-24 对视差运动向量的导出、使用这种导出的3d视频编码和解码

Country Status (9)

Country Link
US (2) US10595044B2 (zh)
EP (2) EP2962459B1 (zh)
JP (1) JP6690944B2 (zh)
KR (1) KR102208951B1 (zh)
CN (1) CN105075250B (zh)
BR (2) BR112015020340B1 (zh)
ES (1) ES2799577T3 (zh)
FR (1) FR3002716A1 (zh)
WO (1) WO2014131975A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248670A (zh) * 2005-09-22 2008-08-20 三星电子株式会社 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
WO2012020358A1 (en) * 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
WO2012171442A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
JP2012034356A (ja) * 2010-07-02 2012-02-16 Panasonic Corp 画像符号化装置、画像符号化方法、プログラムおよび集積回路
CN103907346B (zh) * 2011-10-11 2017-05-24 联发科技股份有限公司 运动矢量预测子及视差矢量导出方法及其装置
EP2781099B1 (en) * 2011-11-15 2015-08-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
KR101682999B1 (ko) * 2012-04-16 2016-12-20 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
WO2014000664A1 (en) * 2012-06-28 2014-01-03 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
WO2014005503A1 (en) * 2012-07-02 2014-01-09 Mediatek Inc. Method and apparatus of inter-view candidate derivation in 3d video coding
US9843820B2 (en) * 2012-07-05 2017-12-12 Mediatek Inc Method and apparatus of unified disparity vector derivation for 3D video coding
US20150172714A1 (en) * 2012-07-09 2015-06-18 Mediatek Inc. METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
CN104521236B (zh) * 2012-07-27 2017-10-20 寰发股份有限公司 三维视频编码或解码方法
US10085039B2 (en) * 2012-09-21 2018-09-25 Hfi Innovation Inc. Method and apparatus of virtual depth values in 3D video coding
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
EP2941867A4 (en) * 2013-01-07 2016-07-06 Mediatek Inc METHOD AND DEVICE FOR DERIVING A PREDICTION OF SPATIAL MOTION VECTORS FOR DIRECT AND SKIP MODES IN A THREE-DIMENSIONAL VIDEO-CORDING
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
CN104424103B (zh) * 2013-08-21 2018-05-29 光宝科技股份有限公司 固态储存装置中高速缓存的管理方法
CN106105190B (zh) * 2014-03-13 2018-11-13 高通股份有限公司 用于3d-hevc的简化高级残余预测

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248670A (zh) * 2005-09-22 2008-08-20 三星电子株式会社 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
WO2012020358A1 (en) * 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
WO2012171442A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D-CE2.h related: Enhanced disparity vector derivation;Jewon Kang, Ying Chen等;《Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-C0050》;20130123;2.1-2.2

Also Published As

Publication number Publication date
BR122020021362B1 (pt) 2023-04-11
JP2016511593A (ja) 2016-04-14
KR20150122690A (ko) 2015-11-02
JP6690944B2 (ja) 2020-04-28
CN105075250A (zh) 2015-11-18
US10595044B2 (en) 2020-03-17
EP2962459B1 (fr) 2020-04-01
WO2014131975A2 (fr) 2014-09-04
WO2014131975A3 (fr) 2014-11-20
KR102208951B1 (ko) 2021-01-27
BR112015020340B1 (pt) 2023-04-18
US11102466B2 (en) 2021-08-24
US20200186834A1 (en) 2020-06-11
EP2962459A2 (fr) 2016-01-06
EP3672252A1 (fr) 2020-06-24
ES2799577T3 (es) 2020-12-18
BR112015020340A2 (pt) 2017-07-18
FR3002716A1 (fr) 2014-08-29
US20160014428A1 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
CN103238319B (zh) 推导运动向量预测项或运动向量预测项候选项的方法及装置
CN104969551B (zh) 可缩放及多视角视频译码中的高级残差预测
CN105637870B (zh) 使用不对称运动分割的视频译码技术
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN104137550B (zh) 用于多视图视频译码mvc兼容三维视频译码3dvc的深度分量去除
CN105637878B (zh) 在视频译码中用于基于子解码图片缓冲器(sub-dpb)的dpb操作的传信
CN104170380B (zh) 视频译码中的视差矢量预测
CN103650505B (zh) 视频译码中的运动向量预测
CN109792533A (zh) 在视频译码中用于仿射运动模型的运动向量预测
CN109792517A (zh) 用于编码和解码大视场视频的方法和装置
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104396244A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN103907346A (zh) 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
CN104247432A (zh) 使用深度图估计和更新的高效多视点编码
CN104641642A (zh) 用于视频编码的方法和装置
CN104350749A (zh) 深度图估计的推导
CN105230022A (zh) 使用基于相邻者的视差向量导出的用于3d视频译码的并行经导出视差向量
CN104995916B (zh) 视频数据解码方法和视频数据解码设备
CN102685488A (zh) 用于多视角视频编码的方法和装置
CN104303502A (zh) 用于3d-hevc的视差向量建构方法
CN103891291A (zh) 用于视频编码和解码的设备、方法和计算机程序
CN105027571A (zh) 三维视频译码中导出的视差向量
CN104798375B (zh) 用于多视点视频编码或解码的方法及装置
CN105075267A (zh) 在视频译码中停用用于参考图片列表的视图间预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant