CN104521236A - 三维视频编码中的被限制视差矢量获取方法 - Google Patents

三维视频编码中的被限制视差矢量获取方法 Download PDF

Info

Publication number
CN104521236A
CN104521236A CN201380039959.XA CN201380039959A CN104521236A CN 104521236 A CN104521236 A CN 104521236A CN 201380039959 A CN201380039959 A CN 201380039959A CN 104521236 A CN104521236 A CN 104521236A
Authority
CN
China
Prior art keywords
view
difference vector
difference
vector
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380039959.XA
Other languages
English (en)
Other versions
CN104521236B (zh
Inventor
陈渏纹
林建良
安基程
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN201710851631.8A priority Critical patent/CN107454426A/zh
Publication of CN104521236A publication Critical patent/CN104521236A/zh
Application granted granted Critical
Publication of CN104521236B publication Critical patent/CN104521236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明提出一种三维视频编解码方法。在一实施例中，本方法对视差矢量进行限制，以产生被限制视差矢量，其中该被限制视差矢量的水平分量以及/或者垂直分量被限制为0或位于M到N个视差矢量精度单元的范围内，且M和N为整数。在另一实施例中，从当前块的被限制相邻块集合中，确定基于视差矢量的运动补偿预测的所获取视差矢量。在另一实施例中，获取所获取视差矢量，以在当前块的视图间合并候选不可用或无效时代替该视图间合并候选。在另一实施例中，根据视差矢量确定当前块的视差矢量差值或运动矢量差值，且视差矢量差值/运动矢量差值被限制为0或位于一范围内。

Description

三维视频编码中的被限制视差矢量获取方法
交叉引用
本发明要求2012年7月27日递交的No.61/676,686，发明名称为“Disparity vectorderivation for video coding”的美国临时申请案的优先权，且将上述美国临时申请案作为参考。
技术领域
本发明有关于三维(three-dimensional，3D)视频编码，且尤其有关于3D视频编码的视差矢量(Disparity Vector，DV)的获取。
背景技术
近些年3D电视(television，TV)已成为技术潮流，其可带给观看者非常好的观看体验。已开发多种技术以用于3D观看，其中，多视图(multi-view)视频尤其是用于3DTV的一种关键技术。传统视频为二维(two-dimensional，2D)媒体，只能提供观看者摄像机角度的一场景的单一视图。然而，多视图视频可提供动态场景的任意视点(viewpoint)，并提供给观看者真实的感觉。
多视图视频通常通过同时采用多个相机捕捉一场景而建立，其中多个相机被适当放置，使得每个相机可从一个视点捕捉该场景。相应地，多个相机将捕捉对应于多个视图的多个视频序列(video sequence)。为了提供更多的视图，已采用更多的相机来产生具有与视图有关的大量视频序列的多视图视频。相应地，多视图视频需要大存储空间进行存储以及/或者高带宽进行传输。因此，本技术领域中已开发了多视图视频编码技术，以减少所需的存储空间或传输带宽。
ー种直接的方法是简单地对每个单ー视图的视频序列独立地应用传统视频编码技术而忽略不同视图之间的任何关联(correlation)。这种编码系统效率将非常低。为了改进多视图视频编码的效率，典型的多视图视频编码可利用视图间(inter-view)冗余(redundancy)。因此，大部分3D视频编码(3D Video Coding，3DVC)系统考虑视频数据与多个视图和深度地图(depth map)之间的关联。标准开发组织，国际电信联盟电信标准化部(International Telecommunication Union TelecommunicationStandardization Sector，ITU-T)视频编码专家组(Video Coding Experts Group，VCEG)的的联合视频组(Joint Video Team，JVT)以及国际标准化组织(International StandardOrganization，ISO)/国际电工委员会(International Electrotechnical Commission，IEC)运动图象专家组(Moving Picture Experts Group，MPEG)，将H.264/MPEG-4高级视频编码(Advanced Video Coding，AVC)扩展为多视图视频编码(multi-view videocoding，MVC)，用于立体声和多视图视频。
MVC采用时间以及空间预测，以改进压缩效率。在MVC的发展中，提出了一些宏块级的(macroblock-level)编码工具，包括亮度补偿(illumination compensation)、自适应参考滤波(adaptive reference filtering)、运动跳跃模式(motion skip mode)以及视图合成预测(view synthesis prediction)。这些编码工具被提出以利用多视图之间的冗余。亮度补偿用来补偿不同视图之间的亮度变化。自适应参考滤波用来降低相机之间聚焦不匹配(focus mismatch)造成的变化。运动跳跃模式允许当前视图中的运动矢量(Motion Vector，MV)从其他视图中推测出来。视图合成预测用于由其他视图预测当前视图中的图片。
然而在MVC中，深度地图和相机参数并不被编码。在新一代3DVC最近的标准化发展中，纹理(texture)数据、深度数据以及相机参数均被编码。举例来说，图1显示了3D视频编码中的通用预测架构，其中符合标准视频编码器(standardconforming video coder)被用于基础视图(base-view)视频。输入的3D视频数据包括对应于多个视图的图片(110-0,110-1,110-2,…)。为每个视图收集的图片形成对应视图的图片序列。通常，对应于基础视图(也被称为独立视图)的图片序列110-0通过视频编码器130-0独立编码，其中视频编码器130-0符合如H.264/AVC或高效率视频编码(High Efficiency Video Coding，HEVC)的视频编码标准。用于与依赖视图(即视图1,2,…)有关的图片序列的视频编码器(130-1,130-2,…)除采用时间预测外，进一步采用视图间预测。视图间预测通过图1中的短虚线指示。
为了支持交互应用，与每个视图上的场景有关的深度地图(120-0,120-1,120-2,…)也包含在视频比特流(bitstream)中。为了减少与深度地图有关的数据，如图1所示，深度地图通过深度地图编码器(140-0,140-1,140-2,…)进行压缩，且已压缩深度地图数据包含在比特流中。多工器(multiplexer)150用来将来自图片编码器和深度地图编码器的已压缩数据进行组合。深度信息可用来在所选中间视点处合成虚拟视图。对应于所选视图的图片可基于对应于另一视图的图片，采用视图间预测进行编码。在此情况下，所选视图的图片被称为依赖视图。
在基于3D视频编码的HEVC版本3.1(HEVC based 3D video coding version 3.1，HTM 3.1)的参考软件中，视图间候选被添加为用于帧间(Inter)、合并(Merge)和跳跃(Skip)模式的MV或DV候选，以重用(re-use)相邻视图的先前已编码运动信息。在HTM3.1中，被称为编码单元(Coding Unit，CU)的压缩的基本单元为2Nx2N方形块。每个CU可被递归地分成4个更小的CU，直到达到预定最小尺寸。每个CU包括一个或多个预测单元(Prediction Unit，PU)。在本文件的其余部分中，除非明确指出，否则术语“块”代表PU。
为了共享相邻视图的先前已编码纹理信息，一种被称为视差补偿预测(Disparity-Compensated Prediction，DCP)的技术已被包括在HTM3.1中，以作为运动补偿预测(Motion-Compensated Prediction，MCP)的代替方案。MCP代表采用同一视图的先前已编码图片的帧间图片预测，而DCP代表采用同一访问单元(accessunit)中其他视图的先前已编码图片的帧间图片预测。图2显示了3D视频编码系统采用MCP和DCP的示范例。用于DCP的矢量(210)被称为DV，其是MCP采用的MV的模拟。图2显示了与MCP有关的三个MV(220、230和240)。此外，DCP块的DV也可通过视差矢量预测子(Disparity Vector Predictor，DVP)候选预测，其中DVP候选从相邻块或同样采用视图间参考图片的时间并置块(temporal collocatedblock)获取。在HTM3.1中，当为合并/跳跃模式获取视图间合并候选时，若对应块的运动信息不可用(available)或无效(valid)，视图间合并候选由DV代替。
为了共享相邻视图的先前已编码残余(residual)信息，如图3所示，当前块(PU)的残余信号可通过视图间图片中对应块的残余信号预测。对应块可通过各自的DV定位。对应特定相机位置的视频图片和深度地图通过视图识别符(即图3中的V0、V1和V2)指示。属于同一相机位置的所有视频图片和深度地图与相同的视图识别符(identifier，Id)有关。视图识别符用于明确访问单元内的编码顺序和检测易错(error-prone)环境中的丢失视图。访问单元包括对应于同一时间点(time instant)的所有视频图片和深度地图。在访问单元内部，具有等于0的视图Id的视频图片以及相关深度地图(若存在)被首先进行编码，随后是具有等于1的视图Id的视频图片和深度地图，以此类推。具有等于0的视图Id的视图(即图3中的V0)也被称为基础视图或独立视图。基础视图视频图片可采用传统HEVC视频编码器进行编码，而不需要依赖其他图片。
如图3所示，对于当前块来说，运动矢量预测子(Motion Vector Predictor，MVP)/DVP可从视图间图片的视图间块中获取。接下来，视图间图片的视图间块将被缩写为视图间块。所获取候选被称为视图间候选，其中视图间候选可为视图间MVP或DVP。此外，相邻视图中的对应块也被称为视图间块，且视图间块采用当前图片中当前块的深度信息中所获取视差矢量定位。
图3中所示的示范例对应于从V0(即基础视图)、V1到V2的视图编码顺序。正被编码的当前图片中的当前块位于V2。根据HTM3.1，先前已编码视图中参考块的所有MV可被当做视图间候选，即使视图间图片并不位于当前图片的参考图片列表中。在图3中，帧310、320和330分别对应于时间为t1时视图V0、V1和V2的视频图片或深度地图。块332为当前视图中的当前块，块312和322分别为V0和V1中的当前块。对于V0中的当前块312来说，视差矢量(316)被用来对视图间并置块(314)进行定位。类似地，对于V1中的当前块322来说，视差矢量(326)被用来对视图间并置块(324)进行定位。根据HTM3.1，与来自任何已编码视图的视图间并置块有关的运动矢量或视差矢量可被包括在视图间候选中。因此，视图间候选的数目可能相当大，而这需要更多的处理时间和较大的存储空间。需要开发一种方法，来降低处理时间以及或者存储空间，且不会对BD率(BD-rate)或其他性能度量等方面的系统性能造成显著影响。
在3DV-HTM中，视差矢量可被用作帧间模式的DVP候选或合并/跳跃模式的合并候选。所获取视差矢量也可被用作视图间运动预测和视图间残余预测的偏移矢量(offset vector)。当被用作偏移矢量时，如图4A和4B所示，DV从空间或时间相邻块中获取。多个空间和时间相邻块被确定，且空间和时间相邻块的DV可用性根据预定顺序被检查。如图4A所示，空间相邻块集合包括当前块的左下角斜对面的位置(即A0)、当前块的左下边旁边的位置(即A1)、当前块的左上角斜对面的位置(即B2)、当前块的右上角斜对面的位置(即B0)以及当前块的右上边旁边的位置(即B1)。如图4B所示，时间相邻块集合包括时间参考图片中当前块中心的位置(即BCTR)以及当前块的右下角斜对面的位置(即RB)。除了中心位置之外，时间参考图片中当前块的其他位置(如右上块)也可被采用。换句话说，与当前块并置的任何块可被包括在时间块集合中。一旦某块被认定为具有DV，则检查进程将终止。图4A中空间相邻块的示范性搜索顺序为(A1,B1,B0,A0,B2)。图4B中时间相邻块的时间相邻块的示范性搜索顺序为(BR,BCTR)。空间和时间相邻块与HEVC中先进运动矢量预测(Advanced Motion Vector Prediction，AMVP)和合并模式中的空间和时间相邻块相同。
若DCP已编码块并未在相邻块集合(即如图4A和图4B所示的空间和时间相邻块)中找到，从基于视差矢量的运动补偿预测(Disparity-Vector basedMotion-Compensated-Prediction，DV-MCP)中获取的视差信息被采用。图5显示了DV-MCP块的示范例，其中DV-MCP块(510)的运动信息由视图间参考图片中的对应块(520)预测。对应块(520)的位置通过视差矢量(530)明确。DV-MCP块中采用的视差矢量代表当前和视图间参考图片之间的运动对应(motioncorrespondence)。对应块(520)的运动信息(522)用来预测当前视图中的当前块(510)的运动信息(512)。
为了指示MCP块是否采用DV-MCP编码以及为了储存视差矢量以用于视图间运动参数预测，两个变量用来代表每个块的运动矢量信息：
-dvMcpFlag，以及
-dvMcpDisparity。
当dvMcpFlag等于1时，dvMcpDisparity被设定为指示视差矢量用于视图间运动参数预测。在AMVP和合并候选列表的构建过程中，若候选通过视图间运动参数预测产生，则候选的dvMcpFlag被设定为1，否则被设定为0。来自DV-MCP块的视差矢量按照以下顺序被采用：A0、A1、B0、B1、B2、Col(即并置块，BCTR或RB)。
如上所述，DV获取进程涉及多个空间和时间相邻块。需要降低DV获取的复杂度，且不会对系统性能造成显著影响。
发明内容
本发明提出一种三维视频编码或解码方法。在一实施例中，本方法对视差矢量进行限制，以产生被限制视差矢量，其中该被限制视差矢量的水平分量以及/或者垂直分量被限制为0或位于M到N个视差矢量精度单元的范围内，其中DV精度单元如四分之一像素，且M和N为整数。基于该被限制视差矢量，将视图间预测编码或解码应用于当前帧的当前块。视图间预测编码或解码可包括基于该被限制视差矢量，为视差补偿预测、视图间运动预测或视图间残余预测在视图间图片中定位对应块。视图间预测编码或解码可包括基于该被限制视差矢量预测视差补偿预测块的第二视差矢量。此外，视图间预测编码或解码可包括若在视图间合并候选获取中，视图间图片中对应块的运动信息不可用或无效，则基于该被限制视差矢量代替不可用视图间运动矢量。若三维视频编码或解码系统采用的多个相机的光轴被配置为在水平/垂直面平行，且与该多个相机有关的视图已被调整使得没有垂直/水平视差存在，则该视差矢量的该垂直/水平分量被限制为0或位于M到N个视差矢量精度单元的范围内。一语法元素在序列级、视图级、图片级、条带级、最大编码单元级、编码单元级或预测单元级发送，以指示限制该第一视差矢量是开启还是关闭。
在另一实施例中，从当前块的被限制相邻块集合中，确定当前帧的当前块的基于视差矢量的运动补偿预测的所获取视差矢量。随后基于该所获取视差矢量，将视图间预测编码或解码应用于当前块。被限制相邻块集合对应于该当前块左边的空间相邻块以及/或者该当前块的并置块。从被限制相邻块集合中确定该所获取视差矢量的搜索顺序对应于(A0,A1,Col)、(A0,Col)或(A1,Col)，其中A1对应于该当前块的左下边旁边的位置，A0对应于该当前块的左下角斜对面的位置，Col对应于与该当前块并置的位置。在另一实施例中，基于最大编码单元中当前块的相邻块获取所获取视差矢量，其中所获取视差矢量从该当前块的被限制相邻块集合中获取，该被限制相邻块集合排除任何位于并置最大编码单元的底部边界以下的时间相邻块，其中该并置最大编码单元和包括该当前块的该最大编码单元在时间上并置。在一实施例中，若该当前块位于该最大编码单元的最后一行，对应于该并置最大编码单元右下角斜对面的右下位置的时间相邻块被排除。
在另一实施例中，当前帧的当前块的视差矢量差值或运动矢量差值根据采用视差补偿预测为该三维视频编码或解码系统获取的第一视差矢量，或根据采用帧间模式或先进运动矢量预测用于该三维视频编码或解码系统的第二视差矢量确定，且该第二视差矢量被选作帧间或先进运动矢量预测候选。该视差矢量差值或运动矢量差值被限制以生成被限制视差矢量差值或运动矢量差值，其中该被限制视差矢量差值或运动矢量差值的水平分量以及/或者垂直分量被限制为0，或者视差矢量差值或运动矢量差值的发送或解析被跳过。基于该被限制视差矢量差值或运动矢量差值，将视图间预测编码或解码被应用于当前块。
在另一实施例中，根据搜索顺序基于当前块的相邻块集合的运动矢量确定所获取视差矢量，以在当前块的视图间合并候选不可用或无效时代替该视图间合并候选。基于所获取视差矢量作为视图间合并模式候选，视图间预测编码或解码被用于当前块。相邻块集合可包括A0、A1、B0、B1、B2和Col，其中A0、A1、B0、B1和B2分别对应于当前块的左下角斜对面的位置、左下边旁边的位置、右上角斜对面的位置、右上边旁边的位置和左上角斜对面的位置，Col对应于与当前块并置的位置。根据搜索顺序，所获取视差矢量对应于当前块的相邻块集合的第一或第二可用运动矢量。偏移视差矢量可被用作该视图间合并候选，其中偏移值被添加到该所获取视差矢量的垂直或水平分量，以生成该偏移视差矢量。
附图说明
图1是三维视频编码系统的预测架构的示范性示意图。
图2是三维编码系统采用DCP作为MCP替代的示范性示意图。
图3是三维编码采用相邻视图的先前已编码信息或残余信息的示范性示意图。
图4A-图4B分别是用于获取当前块的视差矢量的当前块的空间相邻块和时间相邻块。
图5是DV-MCP块的示范性示意图，其中相应块的位置通过视差矢量确定。
图6是根据本发明一实施例的视图间预测编码系统采用被限制视差矢量的示范性流程图。
图7是根据本发明一实施例的视图间预测编码系统采用被限制相邻块集合来获取视差矢量的示范性流程图，其中当前块的任何上行DV-MVP块被从视差矢量获取中排除。
图8是根据本发明一实施例的视图间预测编码系统采用被限制相邻块集合来获取视差矢量的示范性流程图，其中被限制相邻块集合排除任何位于LCU底部边界以下的时间相邻块。
图9是根据本发明一实施例的视图间预测编码系统采用被限制DVD或MVD的示范性流程图。
图10是根据本发明一实施例的视图间预测编码系统采用所获取视差矢量来在当前块的视图间合并候选不可用或无效时，代替视图间合并候选的示范性流程图。
具体实施方式
如前面所述，特别是对于具有大量视图的系统来说，HTM3.1中采用的视图间候选获取包括大量MV/DV候选。本发明的实施例限制所获取视差矢量的数据范围，或者基于所获取视差矢量的视差矢量差值(DV Difference，DVD)或运动矢量差值(MVDifference，MVD)的数据范围。当前块的视差矢量被用于DCP，而本发明的实施例扩展到采用所获取视差矢量的其他应用。举例来说，视差矢量可被用于基于被限制视差矢量(constrained disparity vector)，为DCP、视图间运动预测或视图间残余预测在视图间图片中定位对应块。所获取视差矢量可被用来预测DCP块的视差矢量。所获取视差矢量也可用来在视图间合并候选不可用或无效时，代替视图间合并候选。
根据本发明的实施例限制所获取DV的水平分量以及/或者垂直分量。举例来说，所获取DV的垂直分量可被限制为0或者从M到N个DV精度(precision)单元的范围内，其中DV精度单元如四分之一像素(quarter-pixel)、二分之一像素(half-pixel)或八分之一像素，M和N为整数。DV精度通常遵循MV精度，且当前HEVC标准中采用的MV精度单元为四分之一像素。类似地，所获取DV的水平分量可被强制为0或者从M到N个DV精度单元的范围内，其中M和N为整数。若三维视频系统中多个相机的光轴(optical axes)被配置为在水平面平行，且视图已被调整使得没有垂直视差存在，则DV的垂直分量被强制为0或位于一范围内。若三维视频系统中多个相机的光轴被配置为在垂直面平行，且视图已被调整使得没有水平视差存在，则DV的水平分量被强制为0或位于一范围内。一语法元素可在序列级、视图级、图片级、条带(slice)级、最大编码单元(Largest Coding Unit，LCU)级、CU级、PU级或其他级发送，以指示对所获取DV的限制开启还是关闭。
本发明的一方面提出对相邻DV-MCP块的选择进行限制。举例来说，当获取DV时，只有当前视图中当前块左边的相邻DV-MCP块或当前块的并置块才能被采用。由于没有当前块上边块的相邻DV-MCP块被采用，不需要采用线缓冲器(line buffer)来储存上行LCU/宏块的DV信息。举例来说，来自DV-MCP块的视差矢量可按照以下顺序被采用：(A0,A1,Col)、(A0,Col)、(A1,Col)、(A0,A1,RB以及/或者BCTR)、(A0,RB以及/或者BCTR)或(A1,RB以及/或者BCTR)，其中Col对应于与当前块并置的时间参考图片中的块。一语法元素可在序列级、视图级、图片级、条带级、LCU级、CU级、PU级或其他级发送，以指示对相邻DV-MCP块的限制是开启还是关闭。
在本发明的另一实施例中，在DV获取中，对应于从位于当前LCU底部边界处的块的右下角斜对面的位置的时间相邻块(即图4B中的RB)被从候选列表中排除。在此情况下，只有对应于其他位置的时间相邻块(如中间位置BCTR)的视差矢量被检查。本发明的一实施例排除任何位于并置LCU底部边界以下的时间相邻块，其中并置LCU和包括当前块的LCU在时间上并置。上述限制可减小存储需求以及/或者允许基于LCU行的并行处理。一语法元素可在序列级、视图级、图片级或条带级发送，以指示对时间相邻块的限制是开启还是关闭。
上述对所获取DV的限制(即对所获取DV的水平分量以及/或者垂直分量的限制，对相邻DV-MCP块选择的限制，以及对时间相邻块选择的限制)可被用于三维视频编码的多种应用中。举例来说，限制可用于当DV被用来在参考图片中定位对应块以用于DCP、视图间运动预测或视图间残余预测的情况。限制可被用于DCP块(PU)的DV，即DV预测子待预测的情况。限制可被用于获取视图间合并候选的情况，其中若对应块的运动信息不可用或无效，视图间合并候选被DV代替。此外，限制可被用于编码系统需要在视图间图片指示对应块的任何情况。
本发明的另一方面提出在DV获取时对DVD/MVD的限制。举例来说，当所获取DV被用于预测DCP块时，DVD/MVD的垂直分量被强制为0，且不需要发送DVD或MVD的垂直分量。类似地，当DV被用于预测DCP块时，DVD/MVD的水平分量被强制为0，且不需要发送DVD或MVD的水平分量。若三维视频系统中多个相机的光轴被配置为在水平面平行，且视图已被调整使得没有垂直视差存在，则DVD或MVD的垂直分量被强制为0，且不需要发送DVD或MVD的垂直分量。若三维视频系统中多个相机的光轴被配置为在垂直面平行，且视图已被调整使得没有水平视差存在，则DVD或MVD的水平分量可被强制为0，且不需要发送DVD或MVD的水平分量。当所获取DV的垂直分量被强制为0时，DVD或MVD的垂直分量可被强制为0，且不需要发送DVD或MVD。当DV的水平分量被强制为0时，DVD或MVD的水平分量也可被强制为0，且不需要发送DVD或MVD。尽管上述对DVD/MVD的限制总是将DVD或MVD限制为0，但DVD或MVD的垂直分量以及/或者水平分量也可被限制为从M到N个DV精度单元的范围内，DV精度单元如四分之一像素、二分之一像素或八分之一像素，其中M和N为整数。一语法元素可在序列级、视图级、图片级、条带级、LCU级、CU级、PU级或其他级发送，以指示对DVD/MVD的限制是开启还是关闭。
本发明的另一方面提出对用于帧间模式或AMVP的DV获取进行限制。举例来说，在帧间模式或AMVP，当所选候选为DV时，DVD/MVD的垂直分量可被强制为0，且不需要发送DVD或MVD。类似地，DVD/MVD的水平分量可被强制为0，且不需要发送DVD或MVD。或者，DVD/MVD的水平分量以及/或者垂直分量可被限制为从M到N个DV精度单元的范围内，其中M和N为整数。
当获取视图间合并候选时，若对应块的运动信息不可用或无效，视图间合并候选可被DV代替。用来代替合并候选的DV可按照如下获取。DV可基于候选块之中的第一可用DV获取。候选块可对应于空间相邻块和时间相邻块，或空间DV-MCP块和时间DV-MCP块。在一实施例中，只有基于空间和时间相邻块或DV-MCP块的第一可用DV获取的DV的水平或垂直分量被用作代替视图间合并候选的DV。用来代替合并候选的DV也可通过对基于候选块中第一可用DV获取的DV的水平或垂直分量添加偏移值(offset value)获取。偏移值可为任何整数，如-1、1、-2、2、-4或4。DV也可为候选块中的第二可用DV。
图6显示了三维编码或解码系统采用根据本发明一实施例的被限制视差矢量的示范性流程图。如步骤610所示，系统接收与对应于当前视图的当前纹理帧的当前纹理块有关的第一数据。对于编码来说，与当前纹理块有关的第一数据对应于要被编码的原始像素数据、深度数据或与当前块有关的其他信息(如运动矢量、视差矢量、运动矢量差值或视差矢量差值)。第一数据也可对应于待视图间预测的残余像素数据。在后一种情况下，残余像素数据进一步采用视图间预测进行预测，以产生残余像素数据的另一残余数据。对于解码来说，第一数据对应于残余数据(残余像素数据或深度数据)，或用来重建像素数据或深度数据的另一残余数据的视图间残余数据，或与当前块有关的其他已压缩或已编码信息(如运动矢量、视差矢量、运动矢量差值或视差矢量差值)所用的或另一残余数据的视图间残余数据。第一数据可从存储器中获取，其中存储器如计算机存储器、缓冲器(RAM或者DRAM)或者其他媒介。第一数据也可从处理器中获取，其中处理器如控制器、中央处理单元、数字信号处理器(DigitalSignal Processor，DSP)或产生第一数据的电子电路。如步骤620所示，当前块的视差矢量被确定。如步骤630所示，视差矢量随后被限制，以产生被限制视差矢量，其中被限制视差矢量的水平分量以及/或者垂直分量被限制为0或位于M到N个DV精度单元的范围内，其中M和N为整数。基于被限制视差矢量，视图间预测编码或解码被用于第一数据。
图7显示了三维编码或解码系统采用根据本发明一实施例的被限制相邻块集合的示范性流程图。如步骤710所示，系统接收与对应于当前视图的当前纹理帧的当前纹理块有关的第一数据，这与图6中的步骤610类似。在步骤720中，用于当前块的DV-MCP的所获取视差矢量被确定。所获取视差矢量可从当前块的被限制相邻块集合中获取。被限制相邻块集合对应于当前块左边的空间相邻块以及/或者当前块的并置块。如步骤730所示，得到所获取视差矢量后，基于所获取视差矢量，视图间预测编码或解码被用于第一数据。
图8显示了三维编码或解码系统采用根据本发明一实施例的被限制相邻块集合的示范性流程图。如步骤810所示，系统接收与对应于当前视图的当前纹理帧中LCU的当前纹理块有关的第一数据，这与图6中的步骤610类似。如步骤820所示，基于当前块的相邻块，所获取视差矢量被确定。所获取视差矢量可从当前块的被限制相邻块集合中获取，且被限制相邻块集合排除任何位于并置LCU底部边界以下的时间相邻块，其中并置LCU和包括当前块的LCU在时间上并置。举例来说，若当前块位于LCU的最后一行，对应于并置LCU的右下角斜对面的右下位置的时间相邻块被从被限制相邻块集合中排除。如步骤830所示，得到所获取视差矢量后，基于所获取视差矢量，视图间预测编码或解码被用于第一数据。
图9显示了三维编码或解码系统采用根据本发明一实施例的被限制DVD或MVD的示范性流程图。如步骤910所示，系统接收与对应于当前视图的当前纹理帧的当前纹理块有关的第一数据，这与图6中的步骤610类似。在步骤920中，当前块的DVD或MVD被确定。DVD或MVD可根据采用DCP为三维视频编码或解码系统所获取的DV确定。DVD或MVD可根据采用帧间模式或AMVP用于三维视频编码或解码系统的DV确定，且DV被选作帧间或AMVP候选。如步骤930所示，基于被限制DVD或MVD，视图间预测编码或解码随后被用于第一数据。
图10显示了三维编码或解码系统采用根据本发明一实施例的利用视差矢量代替不可用或无效视图间合并候选的示范性流程图。如步骤1010所示，系统接收与对应于当前视图的当前纹理帧的当前纹理块有关的第一数据，这与图6中的步骤610类似。在步骤1020中，根据搜索顺序，基于当前块的相邻块集合的运动矢量确定所获取视差矢量，以在当前块的视图间合并候选不可用或无效时，代替该视图间合并候选。相邻块集合包括A0、A1、B0、B1、B2和Col，其中A0、A1、B0、B1和B2分别对应于当前块的左下角斜对面的位置、左下边旁边的位置、右上角斜对面的位置、右上边旁边的位置和左上角斜对面的位置，Col对应于与当前块并置的位置。如步骤1030所示，基于所获取视差矢量作为视图间合并候选，视图间预测编码或解码被用于第一数据。
上述流程图意图说明采用视差矢量进行视图间预测的示范例。在不脱离本发明的精神下，所属技术领域中普通技术人员可修改每个步骤、重新安排上述步骤、拆分某步骤或组合步骤以实现本发明。
呈现上述描述是为了使所属技术领域中普通技术人员可以结合特定应用以及需求而实现本发明。所描述实施例的各种变形对于所属技术领域中普通技术人员是显而易见的，而且所定义的一般原则可以用于其他实施例。因此，本发明不限于上述特定实施例，而是根据所揭示的原则和新颖性特征符合最宽范围。在上述详细描述中，各种特定细节被描述以提供对于本发明的透彻理解。虽然如此，实现本发明可以被所属技术领域中普通技术人员所理解。
上述本发明的实施例可以以各种硬件、软件代码或者上述两者的组合而实现。举例说明，本发明的一实施例可以为集成到视频压缩芯片的电路或者集成到视频编码软件的程序代码，以实施上述处理。本发明的另一实施例也可为程序代码，在DSP上执行以实施上述处理。本发明也可以包含多个功能以被计算机处理器、DSP、微处理器或者现场可编程门阵列(Field Programmable Gate Array，FPGA)所实施。这些处理器可以配置为通过执行机器可读软件代码或者固件代码，根据本发明而实施特定任务，其中机器可读软件代码或者固件代码定义了本发明所体现的特定方法。软件代码或者固件代码可以以不同程序语言、不同格式或者风格而实现。也可以为不同目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
本发明可以体现为其他特定格式，而不脱离本发明的精神或者实质特征。上述例子被认为是只用于说明而不是限制。本发明的保护范围，由所附权利要求所指示，而不会被上述描述所限制。在权利要求的意思以及等同范围内的所有变形均在权利要求的保护范围之内。

Claims (19)

1.一种三维视频编码或解码方法，该方法包括：
接收与对应于当前视图的当前帧的当前块有关的第一数据；
确定该当前块的第一视差矢量；
限制该第一视差矢量以产生被限制视差矢量，其中该被限制视差矢量的水平分量以及/或者垂直分量被限制为0或位于M到N个视差矢量精度单元的范围内，且M和N为整数；以及
基于该被限制视差矢量，将视图间预测编码或解码应用于该第一数据。
2.如权利要求1所述的方法，其特征在于，其中该视图间预测编码或解码包括：
基于该被限制视差矢量，为视差补偿预测、视图间运动预测或视图间残余预测在视图间图片中定位对应块，
基于该被限制视差矢量预测视差补偿预测块的第二视差矢量，或者
若在视图间合并候选获取中，视图间图片中对应块的运动信息不可用或无效，则基于该被限制视差矢量代替不可用视图间运动矢量。
3.如权利要求1所述的方法，其特征在于，其中若该三维视频编码或解码系统采用的多个相机的光轴被配置为在水平面平行，且与该多个相机有关的视图已被调整使得没有垂直视差存在，则该视差矢量的该垂直分量被限制为0或位于M到N个视差矢量精度单元的范围内。
4.如权利要求1所述的方法，其特征在于，其中若该三维视频编码或解码系统采用的多个相机的光轴被配置为在垂直面平行，且与该多个相机有关的视图已被调整使得没有水平视差存在，则该视差矢量的该水平分量被限制为0或位于M到N个视差矢量精度单元的范围内。
5.如权利要求1所述的方法，其特征在于，其中一语法元素在序列级、视图级、图片级、条带级、最大编码单元级、编码单元级或预测单元级发送，以指示限制该第一视差矢量是开启还是关闭。
6.一种三维视频编码或解码方法，该方法包括：
接收与对应于当前视图的当前帧的当前块有关的第一数据；
确定用于该当前块的基于视差矢量的运动补偿预测的所获取视差矢量，其中该所获取视差矢量从该当前块的被限制相邻块集合中获取，且该被限制相邻块集合对应于该当前块左边的一个或多个空间相邻块以及/或者该当前块的一个或多个并置块；以及
基于该所获取视差矢量，将视图间预测编码或解码应用于该第一数据。
7.如权利要求6所述的方法，其特征在于，其中从被限制相邻块集合中确定该所获取视差矢量的搜索顺序对应于(A0,A1,Col)、(A0,Col)或(A1,Col)，其中A0对应于该当前块的左下角斜对面的第一位置，A1对应于该当前块的左下边旁边的第二位置，Col对应于与该当前块并置的第三位置。
8.如权利要求6所述的方法，其特征在于，其中该视图间预测编码或解码包括：
基于该所获取视差矢量，为视差补偿预测、视图间运动预测或视图间残余预测在视图间图片中定位对应块，
基于该所获取视差矢量预测视差补偿预测块的视差矢量，或者
若在视图间合并候选获取中，视图间图片中对应块的运动信息不可用或无效，则基于该所获取视差矢量代替不可用视图间运动矢量。
9.如权利要求6所述的方法，其特征在于，其中一语法元素在序列级、视图级、图片级、条带级、最大编码单元级、编码单元级或预测单元级发送，以指示基于该被限制相邻块集合确定基于视差矢量的运动补偿预测的该所获取视差矢量是开启还是关闭。
10.一种三维视频编码或解码方法，该方法包括：
接收与对应于当前视图的当前帧中最大编码单元的当前块有关的第一数据；
基于该当前块的相邻块确定所获取视差矢量，其中该所获取视差矢量从该当前块的被限制相邻块集合中获取，该被限制相邻块集合排除任何位于并置最大编码单元的底部边界以下的时间相邻块，其中该并置最大编码单元和包括该当前块的该最大编码单元在时间上并置；以及
基于该所获取视差矢量，将视图间预测编码或解码应用于该第一数据。
11.如权利要求10所述的方法，其特征在于，其中该视图间预测编码或解码包括：
基于该所获取视差矢量，为视差补偿预测、视图间运动预测或视图间残余预测在视图间图片中定位对应块，
基于该所获取视差矢量预测视差补偿预测块的视差矢量，或者
若在视图间合并候选获取中，视图间图片中对应块的运动信息不可用或无效，则基于该所获取视差矢量代替不可用视图间运动矢量。
12.如权利要求10所述的方法，其特征在于，其中一语法元素在序列级、视图级、图片级、条带级、最大编码单元级、编码单元级或预测单元级发送，以指示基于该被限制相邻块集合确定基于视差矢量的运动补偿预测的该所获取视差矢量是开启还是关闭。
13.如权利要求10所述的方法，其特征在于，其中若该当前块位于该最大编码单元的最后一行，该被限制相邻块集合排除对应于该并置最大编码单元右下角斜对面的右下位置的时间相邻块。
14.一种三维视频编码或解码方法，该方法包括：
接收与对应于当前视图的当前帧的当前块有关的第一数据；
确定该当前块的视差矢量差值或运动矢量差值，其中该视差矢量差值或运动矢量差值根据采用视差补偿预测为该三维视频编码或解码系统获取的第一视差矢量确定，或者该视差矢量差值或运动矢量差值根据采用帧间模式或先进运动矢量预测用于该三维视频编码或解码系统的第二视差矢量确定，且该第二视差矢量被选作帧间或先进运动矢量预测候选；
限制该视差矢量差值或运动矢量差值以生成被限制视差矢量差值或运动矢量差值，其中该被限制视差矢量差值或运动矢量差值的水平分量以及/或者垂直分量被限制为0，或者该视差矢量差值或运动矢量差值的发送或解析被跳过；以及
基于该被限制视差矢量差值或运动矢量差值，将视图间预测编码或解码应用于该第一数据。
15.如权利要求14所述的方法，其特征在于，其中一语法元素在序列级、视图级、图片级、条带级、最大编码单元级、编码单元级或预测单元级发送，以指示限制该视差矢量差值或运动矢量差值是开启还是关闭。
16.一种三维视频编码或解码方法，该方法包括：
接收与对应于当前视图的当前帧的当前块有关的第一数据；
根据搜索顺序基于该当前块的相邻块集合的运动矢量确定所获取视差矢量，以在该当前块的视图间合并候选不可用或无效时代替该视图间合并候选，其中该相邻块集合包括A0、A1、B0、B1、B2和Col，其中A0、A1、B0、B1和B2分别对应于该当前块的左下角斜对面的第一位置、左下边旁边的第二位置、右上角斜对面的第三位置、右上边旁边的第四位置和左上角斜对面的第五位置，Col对应于与该当前块并置的第六位置；以及
采用该所获取视差矢量作为该视图间合并候选，将视图间预测编码或解码应用于该第一数据。
17.如权利要求16所述的方法，其特征在于，其中根据该搜索顺序，该所获取视差矢量对应于该当前块的该相邻块集合的第一或第二可用运动矢量。
18.如权利要求16所述的方法，其特征在于，其中只有该所获取视差矢量的垂直或水平分量被用作该视图间合并候选。
19.如权利要求16所述的方法，其特征在于，其中偏移视差矢量被用作该视图间合并候选，其中偏移值被添加到该所获取视差矢量的垂直或水平分量，以生成该偏移视差矢量。
CN201380039959.XA 2012-07-27 2013-07-25 三维视频编码或解码方法 Active CN104521236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710851631.8A CN107454426A (zh) 2012-07-27 2013-07-25 三维视频编码或解码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261676686P 2012-07-27 2012-07-27
US61/676,686 2012-07-27
PCT/CN2013/080074 WO2014015807A1 (en) 2012-07-27 2013-07-25 Method of constrain disparity vector derivation in 3d video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710851631.8A Division CN107454426A (zh) 2012-07-27 2013-07-25 三维视频编码或解码方法

Publications (2)

Publication Number Publication Date
CN104521236A true CN104521236A (zh) 2015-04-15
CN104521236B CN104521236B (zh) 2017-10-20

Family

ID=49996601

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710851631.8A Withdrawn CN107454426A (zh) 2012-07-27 2013-07-25 三维视频编码或解码方法
CN201380039959.XA Active CN104521236B (zh) 2012-07-27 2013-07-25 三维视频编码或解码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710851631.8A Withdrawn CN107454426A (zh) 2012-07-27 2013-07-25 三维视频编码或解码方法

Country Status (5)

Country Link
US (2) US20150201215A1 (zh)
EP (2) EP3247116A1 (zh)
KR (1) KR101638752B1 (zh)
CN (2) CN107454426A (zh)
WO (1) WO2014015807A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110679151A (zh) * 2017-10-09 2020-01-10 谷歌有限责任公司 使用参数化运动模型的视频代码化
CN113382234A (zh) * 2018-11-08 2021-09-10 Oppo广东移动通信有限公司 视频信号编码/解码方法以及用于所述方法的设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
AU2013321333B2 (en) * 2012-09-28 2017-07-27 Sony Corporation Image processing device and method
CN102946535B (zh) * 2012-10-09 2015-05-13 华为技术有限公司 预测块的视差矢量预测值获取的方法和装置
US9936219B2 (en) * 2012-11-13 2018-04-03 Lg Electronics Inc. Method and apparatus for processing video signals
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9521389B2 (en) 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US9762905B2 (en) * 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
CN105659604B (zh) * 2013-10-18 2018-12-21 Lg电子株式会社 在多视图视频编译中预测视图合成的方法和用于通过使用其构建合并候选列表的方法
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
KR102362513B1 (ko) * 2017-12-04 2022-02-14 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
US10728542B2 (en) * 2018-04-09 2020-07-28 Tencent America LLC Methods and apparatuses for sub-block motion vector prediction
WO2020143832A1 (en) * 2019-01-12 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction constraints
KR20220002897A (ko) 2019-04-25 2022-01-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 벡터 차에 대한 제한
KR20220023338A (ko) * 2019-06-25 2022-03-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 벡터 차이에 대한 제약
US11146818B1 (en) 2020-09-21 2021-10-12 Tencent America LLC Methods of intra picture block prediction for multi-view video compression
US11418810B2 (en) * 2020-09-21 2022-08-16 Tencent America LLC Methods of inter picture motion prediction for multi-view video compression

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696551A (en) * 1995-09-27 1997-12-09 Nec Corporation Three-dimension picture coding system
US20060133493A1 (en) * 2002-12-27 2006-06-22 Suk-Hee Cho Method and apparatus for encoding and decoding stereoscopic video
US20070177810A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
CN101248670A (zh) * 2005-09-22 2008-08-20 三星电子株式会社 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
JP2009509454A (ja) * 2005-09-22 2009-03-05 サムスン エレクトロニクス カンパニー リミテッド 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
CN101415115A (zh) * 2007-10-15 2009-04-22 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
US20110044550A1 (en) * 2008-04-25 2011-02-24 Doug Tian Inter-view strip modes with depth
US20110141239A1 (en) * 2009-12-11 2011-06-16 Dish Network L.L.C. Three-Dimensional Recording and Display System Using Near- and Distal-Focused Images
WO2011094034A2 (en) * 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
KR100720722B1 (ko) * 2005-06-21 2007-05-22 삼성전자주식회사 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
EP2177036A2 (en) * 2007-08-15 2010-04-21 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
CN101540926B (zh) * 2009-04-15 2010-10-27 南京大学 基于h.264的立体视频编解码方法
CN101600108B (zh) * 2009-06-26 2011-02-02 北京工业大学 一种多视点视频编码中的运动和视差联合估计方法
GB2478157A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
CN101895749B (zh) * 2010-06-29 2012-06-27 宁波大学 一种快速视差估计和运动估计方法
CN101917619B (zh) * 2010-08-20 2012-05-09 浙江大学 一种多视点视频编码快速运动估计方法
CN102006480B (zh) * 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
JP5092011B2 (ja) * 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
US10171813B2 (en) * 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
CN103416064A (zh) * 2011-03-18 2013-11-27 索尼公司 图像处理设备、图像处理方法和程序
US9247266B2 (en) * 2011-04-18 2016-01-26 Texas Instruments Incorporated Temporal motion data candidate derivation in video coding
US9131239B2 (en) * 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
CN102291579B (zh) * 2011-07-06 2014-03-05 北京航空航天大学 一种快速的多目立体视频分形压缩与解压缩方法
RU2583040C2 (ru) * 2011-08-30 2016-05-10 Нокиа Текнолоджиз Ой Устройство, способ и компьютерная программа для кодирования и декодирования видеосигналов
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
US9525861B2 (en) * 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
JP6422011B2 (ja) * 2012-05-11 2018-11-14 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
US20130336405A1 (en) * 2012-06-15 2013-12-19 Qualcomm Incorporated Disparity vector selection in video coding
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
WO2014075625A1 (en) * 2012-11-16 2014-05-22 Mediatek Inc. Method and apparatus of constrained disparity vector derivation in 3d video coding
WO2014107853A1 (en) * 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696551A (en) * 1995-09-27 1997-12-09 Nec Corporation Three-dimension picture coding system
US20060133493A1 (en) * 2002-12-27 2006-06-22 Suk-Hee Cho Method and apparatus for encoding and decoding stereoscopic video
CN101248670A (zh) * 2005-09-22 2008-08-20 三星电子株式会社 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
JP2009509454A (ja) * 2005-09-22 2009-03-05 サムスン エレクトロニクス カンパニー リミテッド 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
US20070177810A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
CN101415115A (zh) * 2007-10-15 2009-04-22 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
US20110044550A1 (en) * 2008-04-25 2011-02-24 Doug Tian Inter-view strip modes with depth
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
US20110141239A1 (en) * 2009-12-11 2011-06-16 Dish Network L.L.C. Three-Dimensional Recording and Display System Using Near- and Distal-Focused Images
WO2011094034A2 (en) * 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEIKO SCHWARZ ET AL: "Test model under consideration for HEVC based on 3D video coding v3.0", 《MPEG MEETING， MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110679151A (zh) * 2017-10-09 2020-01-10 谷歌有限责任公司 使用参数化运动模型的视频代码化
CN110679151B (zh) * 2017-10-09 2023-06-06 谷歌有限责任公司 用于使用参数化运动模型的视频代码化的方法和设备
CN110679151B9 (zh) * 2017-10-09 2023-06-30 谷歌有限责任公司 用于使用参数化运动模型的视频代码化的方法和设备
CN113382234A (zh) * 2018-11-08 2021-09-10 Oppo广东移动通信有限公司 视频信号编码/解码方法以及用于所述方法的设备

Also Published As

Publication number Publication date
WO2014015807A1 (en) 2014-01-30
EP3247116A1 (en) 2017-11-22
KR20150032695A (ko) 2015-03-27
US20150201215A1 (en) 2015-07-16
CN104521236B (zh) 2017-10-20
US20160309186A1 (en) 2016-10-20
KR101638752B1 (ko) 2016-07-11
EP2878125A1 (en) 2015-06-03
EP2878125A4 (en) 2016-10-12
CN107454426A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN104521236B (zh) 三维视频编码或解码方法
CN104412587B (zh) 用于三维视频编码或解码系统的方法和设备
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
AU2013284038B2 (en) Method and apparatus of disparity vector derivation in 3D video coding
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
CA2896905C (en) Method and apparatus of view synthesis prediction in 3d video coding
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
CA2896805A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
US10341638B2 (en) Method and apparatus of depth to disparity vector conversion for three-dimensional video coding
US10075690B2 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160829

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: Hsinchu Science Park, Taiwan, China

Applicant before: MediaTek.Inc

GR01 Patent grant
GR01 Patent grant