CN104718760A - 运动矢量推导三维视频编码的方法和装置 - Google Patents

运动矢量推导三维视频编码的方法和装置 Download PDF

Info

Publication number
CN104718760A
CN104718760A CN201380052367.1A CN201380052367A CN104718760A CN 104718760 A CN104718760 A CN 104718760A CN 201380052367 A CN201380052367 A CN 201380052367A CN 104718760 A CN104718760 A CN 104718760A
Authority
CN
China
Prior art keywords
candidate
view
reference picture
inter
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380052367.1A
Other languages
English (en)
Other versions
CN104718760B (zh
Inventor
张凯
安基程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Publication of CN104718760A publication Critical patent/CN104718760A/zh
Application granted granted Critical
Publication of CN104718760B publication Critical patent/CN104718760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种用于三维和多视图视频编解码的方法和装置，其中块的运动矢量或视差矢量候选列表构建进程基于目标参考图片是否对应于视图间参考图片，或者视图间候选是否指向视图间参考图片。在一实施例中，以合并模式编码的块的运动矢量或视差矢量候选列表被构建，且若视图间候选指向视图间参考图片，运动矢量或视差矢量候选列表中的视图间候选被设定地比第一候选位置低。在另一实施例中，以先进运动矢量预测模式编码的块的运动矢量或视差矢量候选列表被构建，且若视图间候选指向视图间参考图片，视图间候选被设定地比第一候选位置低。

Description

运动矢量推导三维视频编码的方法和装置
交叉引用
本发明要求2012年10月5日递交的No.61/710,064，发明名称为“Improvements onMV Candidates”的美国临时专利申请案的优先权，且将上述美国临时专利申请案作为参考。
技术领域
本发明有关于视频编码，且尤其有关于三维(three-dimensional,3D)视频编码和多视图(multi-view)视频编码中用于先进运动矢量预测(Advanced Motion Vector Prediction,AMVP)和合并(Merge)模式的运动矢量候选列表推导(derivation)。
背景技术
近些年3D电视已成为技术潮流，其目标是带给观看者非常好的观看体验。多视图视频是一种捕捉和渲染(render)3D视频的技术。多视图视频通常通过同时采用多个相机捕捉一场景(scene)而建立，其中多个相机被适当放置，使得每个相机可从一个视点(viewpoint)捕捉该场景。具有与视图有关的大量视频序列的多视图视频代表大量数据。相应地，多视图视频需要大存储空间进行存储以及/或者高带宽进行传输。因此，本技术领域中已发展了多视图视频编码技术，以减少所需的存储空间或者所需的传输带宽。ー种直接的方法是对每个单ー视图视频序列独立地应用传统视频编码技术而忽略不同视图之间的任何关联(correlation)。这样的直接的技术可能会导致不好的编码性能。为了改进多视图视频编码效率，多视图视频编码总是利用视图间的冗余。两个相机各自的位置和角度会导致两个视图之间的视差(disparity)。
对于3D视频来说，除了与多个视图有关的传统的纹理(texture)数据之外，深度数据也常被捕捉或推导。可捕捉与一个视图或多个视图有关的视频的深度数据。深度信息也可从不同视图的图片中推导。与纹理数据相比，深度数据可以较低的空间解析度表示。深度信息可用于视图合成和视图间预测。
为了共享相邻视图的先前已编码纹理信息，一种被称为视差补偿预测(Disparity-Compensated Prediction,DCP)的技术已被包括在基于高效视频编码(HighEfficiency Video Coding,HEVC)的测试模型(HEVC-based Test Model,HTM)软件测试平台中，作为运动补偿预测(Motion-Compensated Prediction,MCP)的一种替代。MCP代表采用同一视图的先前已编码图片的图片间预测(inter-picture prediction)，而DCP代表采用同一访问单元中的其他视图的先前已编码图片的图片间预测。图1是3D视频编码系统采用MCP和DCP的示范性示意图。用于DCP的矢量(110)被称为视差矢量(DisparityVector,DV)，其中上述视差矢量模拟自MCP中采用的运动矢量(Motion Vector,MV)。图1显示了与MCP有关的3个MV(120、130和140)。此外，DCP块的DV也可由视差矢量预测子(Disparity Vector Predictor,DVP)候选预测。其中，DVP候选从也采用视图间参考图片的相邻块或时间并置块(temporal collocated block)中推导。
图2显示了视图间运动预测的推导。为当前图片(220)中的当前块(222)推导出一已估计(estimated)视差矢量210(DV)。通过将当前块和已估计DV的位置进行组合，已估计DV(210)与当前块(222)一起可对基础视图图片(230)中的对应块(232)定位。检查一条件，以确定对应块(232)是否为帧间编码(Inter-coded)，以及参考图片(240)的图片序列号(Picture Order Count,POC)是否位于当前块(222)中的参考列表中。若该存在条件为真，则对应块(232)的MV(260)将被提供为用于当前块(222)的视图间运动预测，其中对应块(232)的MV(260)被当前块(222)用来指向与当前图片(220)位于同一视图的参考图片(250)。否则，已估计DV本身(其中垂直分量被设定为0)可被视为“运动矢量预测(Motion Vector Prediction,MVP)”，其实际上是DV预测。
已估计DV在视图间运动预测进程中起到关键作用。在传统HTM中，已估计DV通过检查空间或时间相邻块是否具有任何可用(available)DV而被推导出。若有一可用DV，则该可用DV将被用作当前块的已估计DV。若相邻块均没有任何可用DV，传统的HTM采用一种称为视差矢量-运动补偿预测(Disparity Vector-Motion Compensated Prediction,DV-MCP)的技术来提供一已估计DV。DV-MCP技术基于当前块的深度图(depth map)确定已估计DV。若DV-MCP方法也无法找到已估计DV，则零DV被用作默认DV。
在HTM中，合并模式提供给帧间编码块，以允许块与相邻块进行“合并”。对于以合并模式编码的所选块来说，运动信息可由已编码相邻块确定。合并模式中的可能候选集合包括空间相邻候选和时间候选。索引信息被发送，以从几个可用候选中选出一个。因此，只有所选块的残差(residual)信息需要发送。跳跃(Skip)模式与合并模式类似，其中运动信息不需要被明确发送。对于以跳跃模式编码的块来说，也不需要明确发送残差信息。残差信息可被推断为默认值(如0)。一般来说，有两种类型的帧间编码块：合并和非合并。当帧间编码块并未以合并/跳跃模式编码时，帧间编码块根据AMVP编码。合并编码块和AMVP编码块的MV候选列表构建不同。
在3D视频编码(3D Video Coding,3DVC)中，视图间候选被引入MV候选列表中。如上所述，基于合并编码块的存在条件，以及基于AMVP编码块的目标参考图片，视图间候选可为视图间运动预测或DV预测。视图间候选被放置在合并编码块的第一候选位置(即位置0)以及AMVP编码块的第三候选位置(即位置2)。对于AMVP编码块来说，无论当前图片的目标参考图片对应视图间参考图片还是时间参考图片，MV候选列表以相同方式构建。类似地，对于合并编码块来说，无论当前块的视图间候选指向视图间参考图片还是时间参考图片，MV候选列表以相同方式构建。
对于AMVP来说，目标参考图片被明确定义。对于为AMVP编码块构建的MV候选列表来说，DV估计进程被首先调用，以找到已估计DV。AMVP推导进程将填充候选列表，其中候选列表包括空间候选、时间候选和视图间候选。本发明中的术语“候选”可代表DV候选、MV候选或MVP候选。如图3A所示，空间候选可基于相邻块推导得出，其中相邻块包括左上块(B2)、上块(B1)、右上块(B0)、左块(A1)和左下块(A0)。一空间块从B0-B2中选出，另一空间块从A0和A1中选出。推导出空间MV候选后，视图间候选被检查，以确定其是否指向目标参考图片。如图3B所示，时间候选随后基于时间相邻块推导出，其中时间相邻块包括并置中央块(BCTR)和右下块(RB)。在HTM中，为了时间候选，右下块(RB)首先被检查，若没有找到MV，则检查并置中央块(BCTR)。
图3C显示了AMVP候选列表推导进程的简化流程图。如步骤310所示，已估计DV作为可能的视图间候选接收。从步骤320到步骤360检查相邻块的DV，以推导空间候选。如步骤320所示，左下块被检查，且若MV可用，第一空间MV候选推导出。如此一来，本进程继续推导第二空间MV候选。否则，如步骤330所示，检查左块。对于第二空间MV候选来说，首先检查上块。若MV可用，第二空间MV候选推导出。否则，如步骤350所示，本进程进一步检查右上块。若MV可用，第二空间MV推导出。否则，如步骤360所示，进一步检查左上块。如步骤370所示，视图间候选被检查，以确定其是否指向目标参考图片。在步骤380中，时间候选被检查。若时间候选存在，则其被添加到AMVP的MV候选列表中。POC缩放(scaling)检查在以下讨论中被省略。空间候选、时间候选和视图间候选均被称为候选列表中的“候选成员”。
图4中显示了示范性DV估计进程(400)。如图4中的步骤410-450所示，相邻块被挨个检查，以确定该相邻块中是否有可用DV。只要找到可用DV，则不需要进一步检查剩余的相邻块或采用DV-MCP。已估计DV被当做指向视图间参考图片的“MV”。空间相邻块被检查之后，若没有找到可用DV，在步骤460中检查时间相邻块的DV，以确定是否有可用DV。若空间和时间相邻块均没有可用DV，则DV-MCP方法被用来推导已估计DV。如此一来，如步骤470所示，当前块的深度图被用来推导出已估计DV。
若为AMVP编码块确定的目标参考图片为视图间参考图片，则DV估计进程和AMVP候选列表推导进程的相邻块检查之间可能会有冗余。两个进程均在空间和时间相邻块中检查运动信息(DV和MV均被当做与块有关的运动信息的一部分)的可用性，以确定是否有“MV”指向视图间参考图片。。在最坏的情况下，如图5所示，所有的相邻块将以不同的顺序被检查第二次。已估计DV推导进程(400)将确定已估计DV。已估计DV在AMVP候选列表推导进程中使用，以填充列表中的所需候选。此外，当目标参考图片为视图间参考图片时，视图间候选被用作DVP，而不是用于视图间运动预测的候选。在此情况中，视图间候选基于空间和时间相邻块的DV。另一方面，由于目标参考图片为视图间参考图片，AMVP的MV候选列表的空间和时间候选对应于指向视图间参考图片的空间和时间相邻块的DV。因此，视图间候选和空间/时间候选基于相同的运动信息推导出。因此，本情况下的视图间候选可能没有效率。
在传统HTM中描述的传统3D视频编码的另一个问题有关于合并模式的候选列表推导。在合并模式中，视图间候选被放置在候选列表中的第一候选位置上。如前面所述，基于存在条件，视图间候选可用于视图间运动预测或DVP。在视图间运动预测中，视图间候选指向时间参考图片。在DVP的情况中，DVP指向视图间参考图片。当视图间候选被用作DVP时，将视图间候选放置在第一候选位置可能没有效率。
发明内容
本发明提出一种三维视频编码和多视图视频编码的方法和装置。根据本发明的实施例为以AMVP模式或合并模式编码的块构建MV或DV候选列表。指向对应于视图间参考图片的参考图片的第一候选被推导出。指向对应于非视图间参考图片的参考图片的第二候选被推导出。包括至少第一候选和第二候选的AMVP候选列表被相应构建出，其中与第二候选相比，第一候选被设定在位于AMVP候选列表中优先级较低的位置。若当前块以AMVP模式编码，采用AMVP候选列表，三维或多视图视频编码或解码被用于与当前块有关的输入数据。
在第一候选推导进程中，从与当前块的相邻块有关的相邻DV推导出已估计DV，其中该已估计DV用来推导第一候选。已估计DV可从相邻DV中的第一可用DV中推导。在一实施例中，AMVP候选列表中的候选成员也在产生已估计DV的进程中产生。在此情况下，与一个相邻块有关的每个相邻运动信息最多被搜索一次。在另一实施例中，第二候选为视图间候选，被放置在第一候选位置。在推导已估计DV的进程中，若已估计DV不可用，第一候选将不被包括在AMVP候选列表中，或者默认非零DV被用作已估计DV。与默认非零DV有关的信息可在三维视频编解码或多视图视频编解码产生的比特流中发送。此外，与默认非零DV有关的信息科在序列、图片或图片的片或区域的比特流中发送。
根据本发明的实施例为以合并模式编码的块构建合并候选列表。指向对应于视图间参考图片的参考图片的第一候选被推导出。指向对应于非视图间参考图片的参考图片的第二候选被推导出。包括至少第一候选和第二候选的合并候选列表被构建出，其中与第二候选相比，第一候选被设定在位于合并候选列表中优先级较低的位置。采用合并候选列表，三维或多视图视频编码或解码被用于与当前块有关的输入数据。在一实施例中，合并候选列表中的第一候选被放置在所选候选位置。举例来说，第一候选可被放置在合并候选列表的第四候选位置。合并候选列表中的第一候选可对应于视差矢量预测，合并候选列表中的第二候选可对应于时间运动预测或视图间运动预测。若第二候选对应于视图间运动预测，则其可被放置在合并候选列表的第一位置。
附图说明
图1是三维/多视图视频编码的示范性示意图，其中采用了MCP和DCP。
图2是基于已估计视差矢量的用于视图间运动预测的推导进程的示范性示意图。
图3A是用于为AMVP推导运动矢量成员列表的候选成员的空间相邻块的示意图。
图3B是用于为AMVP推导运动矢量成员列表的候选成员的时间相邻块的示意图。
图3C是为AMVP填充运动矢量成员列表的候选成员进程的示范性示意图。
图4是AMVP采用视差矢量估计来推导视图间候选的推导进程的示范性示意图。
图5是用于AMVP的已估计视差矢量和填充运动矢量成员列表的候选成员的推导进程的示范性示意图。
图6是用于AMVP的已估计视差矢量和填充运动矢量成员列表的候选成员的单一推导进程的示范性示意图。
图7是基于本发明一实施例的三维或多视图编解码采用AMVP的候选列表构建的示范性流程图。
图8是基于本发明一实施例的三维或多视图编解码采用合并模式的候选列表构建的示范性流程图。
具体实施方式
如上所述，基于HTM的3D视频编码中候选的推导存在很多问题。本发明的实施例基于目标参考图片是否为视图间参考图片，为AMVP编码块推导候选列表。本发明的实施例也基于视图间候选是否指向视图间参考图片，为合并编码块推导候选列表。
如上所述，在当前的已估计DV推导进程中，若相邻块中的DV和DV-MCP推导进程中的DV均不可用，则采用零DV。两个视图间图片之间的零DV暗示两个对应的相机位于相同的位置，或者两个相机位于无限远的距离。显然，零DV并非好的默认值。相应地，根据本发明的一实施例，若相邻块的DV或DV-MCP推导进程中的DV均不可用，将禁止将DV设置为0。相反，根据本发明的一实施例将不在这种情况下采用视图间候选。当视图间候选被声明为不可用，而不是采用默认的零DV时，将为额外的候选提供被选择的机会。克服上述默认零DV的问题的另一种方式是采用全局DV或默认非零DV，其可在比特流中发送。而且，当DV估计进程失败时，上述全局DV或非零DV将被看作默认已估计DV。全局DV可对应于典型的平均DV。
采用本发明一实施例的系统的性能已与传统3D视频编码进行比较。若相邻块的DV或DV-MCP推导进程中的DV均不可用，传统3D视频编码采用默认零DV，而采用本发明一实施例的系统禁止使用默认零DV。对于多种测试视频材料来说，采用本发明一实施例的系统的性能在BD率上略胜一筹(0％到0.1％)，其中BD率是视频编码领域常用的性能测量。编码、解码和渲染(即视图合成)的所需处理时间显示了可观的改进(处理时间分别减少4％、3.1％和5.4％)。
至于AMVP候选推导，如上所述，DV估计进程和AMVP候选列表推导进程的相邻块检查之间可能会有冗余。根据本发明的一实施例，通过在目标参考图片为视图间参考图片时采用DV估计进程来填充MV或DV候选列表，可解决上述冗余处理问题。因此，本情况中DV估计进程将不会如前面那样返回第一个找到的相邻DV。图6是AMVP候选推导进程采用本发明一实施例的示范性流程图。与传统方法相比，采用本发明一实施例的AMVP候选推导进程有几种好处。除了避免检查相邻块的运动信息(即DV和MV)时的冗余的好处之外，具有零垂直分量的低效率DV候选也被移除。此外，DV-MCP可用作AMVP候选，这会导致更多的编码增益。举例来说，若只有左上相邻块具有DV，且DV值为(dx,dy)，则根据传统HTM将只有两个非零候选(dx,dy)和(dx,0)。然而，根据本发明的候选列表推导，由于(dx,0)的冗余，则将其移除。因此，一个或多个DV-MCP候选可被添加到候选列表中。由于在检查相邻块的DV时，一些冗余候选将被移除，候选的推导可更合理和有效。
若目标参考图片并非视图间参考图片(被称为非视图间参考图片)，即参考图片为时间参考图片，根据本发明的一实施例，AMVP候选列表推导进程将视图间候选放置在候选列表中的第一候选位置。本实施例背后的原理在于此时的视图间候选可能比传统3D先进视频编码(3D Advanced Video Coding,3D-AVC)中采用的DVP更加高效。
采用如上所述的本发明一实施例的系统性能已与传统3D视频编码进行比较。采用本发明一实施例的系统在目标参考图片为视图间参考图片时，利用DV估计进程来填充MV或DV候选列表。对于多种测试视频材料来说，采用本发明一实施例的系统的性能在BD率上略胜一筹(0％到0.1％)。编码、解码和渲染(即视图合成)的所需处理时间显示了可观的改进(处理时间分别减少5.6％、6.7％和5.9％)。
对于以AMVP模式编码的块来说，当DV估计进程未能找到可用DV时，DV估计进程也可禁止采用默认零DV。
对于合并模式来说，当视图间候选指向视图间参考图片时，本发明的一实施例改变视图间候选在候选列表中的位置。当视图间候选指向视图间参考图片时，视图间候选被DVP实际采用。在此情况下，视图间候选很可能并非好的选择。然而，根据传统候选推导进程，视图间候选被放置在第一候选位置(即最高优先级)。相应地，根据本发明一实施例，在用于合并模式的候选列表推导中，当视图间候选指向视图间参考图片时，将视图间候选放置在第四候选位置。尽管第四位置用来当做降低视图间候选在候选列表中优先级的示范例，也可采用其他低优先级候选位置。当视图间候选指向时间参考图片时，进行视图间运动预测。在此情况下，有理由将视图间候选保持在第一候选位置。
采用如上所述的本发明一实施例的系统性能已与传统3D视频编码进行比较。采用本发明一实施例的系统在视图间候选指向视图间参考图片时，将视图间候选放置在第四候选位置；且在视图间候选指向时间参考图片时，将视图间候选留在第一候选位置。对于多种测试视频材料来说，采用本发明一实施例的系统的性能在BD率上略胜一筹(0％到0.2％)。编码、解码和渲染(即视图合成)的所需处理时间显示了可观的改进(处理时间分别减少0.3％、5.3％和1.8％)。
根据本发明的系统也可将上述技术组合。举例来说，系统可采用DV估计进程未能找到可用DC时禁止默认零DV的DV估计进程，当目标参考图片对应于视图间参考图片时采用DV估计进程来填充候选列表的AMVP候选列表推导进程，以及若视图间候选指向视图间参考图片时将视图间候选放置在候选列表的第四位置的用于合并模式的候选列表推导进程。采用上述组合技术的系统性能已与传统系统相比。对于多种测试视频材料来说，采用本发明一实施例的系统在BD率上具有更好的性能(0％到0.5％)。此外，编码、解码和渲染(即视图合成)的所需处理时间显示了可观的改进(处理时间分别减少2.8％、6.7％和5.1％)。
图7是根据本发明一实施例的用于以AMVP编码的当前块的三维/多视图编码或解码系统采用MV或DV候选列表构建进程的示范性流程图。如步骤710所示，系统接收与依赖视图中的当前块有关的输入数据。对于编码来说，与当前块有关的输入数据对应于需被编码的原始像素数据、深度数据或与当前块有关的其他信息(如MV、DV、运动矢量差值或视差矢量差值)。对于解码来说，输入数据对应于与依赖视图中当前块有关的已编码数据。输入数据可从存储器中获取，其中存储器如计算机内存、缓存(如RAM或DRAM)或其他媒介。输入数据也可从处理器中获取，其中处理器如控制器、中央处理单元、数字信号处理器或产生输入数据的电子电路。如步骤720所示，推导出指向对应于视图间参考图片的参考图片的第一候选。如步骤730所示，推导出指向对应于非视图间参考图片的参考图片的第二候选。如步骤740所示，构建包括第一候选和第二候选的AMVP候选列表，其中与第二候选相比，第一候选被设定在位于AMVP候选列表中优先级较低的位置。如步骤7450所示，采用AMVP候选列表，三维或多视图视频编码或解码随后应用于与当前块有关的输入数据。
图8是根据本发明一实施例的用于以合并模式编码的当前块的三维/多视图编码或解码系统采用MV或DV候选列表构建进程的示范性流程图。如步骤810所示，系统接收与依赖视图中的当前块有关的输入数据。如步骤820所示，推导出指向对应于视图间参考图片的参考图片的第一候选。如步骤830所示，推导出指向对应于非视图间参考图片的参考图片的第二候选。如步骤840所示，构建包括第一候选和第二候选的合并候选列表，其中与第二候选相比，第一候选被设定在位于合并候选列表中优先级较低的位置。如步骤850所示，采用合并候选列表，三维或多视图视频编码或解码随后应用于与当前块有关的输入数据。
上述流程图意图说明基于目标参考图片是否为视图间参考图片或者视图间候选是否是否指向视图间参考图片来构建MV或DV候选列表。本领域技术人员可在不脱离本发明的精神的前提下，修改每个步骤，重新安排上述步骤，拆分某步骤，或组合某些步骤，以实现本发明。
上面的描述可允许本领域技术人员根据特定应用及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。此外，本领域技术人员可以理解本发明是可实施的。
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成到视频压缩芯片的电路或集成到视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数字信号处理器(Digital Signal Processor,DSP)中执行的执行上述处理的程序代码。本发明也可涉及计算机处理器、DSP、微处理器或现场可程序设计门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式，也可为了不同的目标平台编解软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
虽然本发明已就较佳实施例及其优势揭露如上，本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。本发明的保护范围当视之前的权利要求书所界定为准。

Claims (17)

1.一种用于三维视频编解码和多视图视频编解码的方法，其中为当前块选择先进运动矢量预测模式，该方法包括：
接收与依赖视图中的该当前块有关的输入数据；
推导出指向对应于视图间参考图片的参考图片的第一候选；
推导出指向对应于非视图间参考图片的参考图片的第二候选；
构建包括该第一候选和该第二候选的先进运动矢量预测模式候选列表，其中与该第二候选相比，该第一候选被设定在位于该先进运动矢量预测模式候选列表中优先级较低的位置；以及
采用该先进运动矢量预测模式候选列表，将三维或多视图视频编码或解码应用于与该当前块有关的该输入数据。
2.如权利要求1所述的方法，其特征在于，推导该第一候选包括从与该当前块的相邻块有关的相邻视差矢量中推导已估计视差矢量。
3.如权利要求2所述的方法，其特征在于，推导该已估计视差矢量产生该已估计视差矢量是通过在与该当前块的该相邻块有关的该相邻视差矢量中搜索，并将第一可用视差矢量选作该已估计视差矢量。
4.如权利要求2所述的方法，其特征在于，推导该已估计视差矢量生成该已估计视差矢量以及生成该先进运动矢量预测模式候选列表中候选成员是通过在与该当前块的该相邻块有关的相邻运动信息中搜索。
5.如权利要求4所述的方法，其特征在于，与一相邻块有关的每个相邻运动信息最多被搜索一次。
6.如权利要求2所述的方法，其特征在于，若已估计视差矢量不可用，默认非零视差矢量被用作该已估计视差矢量。
7.如权利要求6所述的方法，其特征在于，与该默认非零视差矢量有关的信息在该三维视频编解码或该多视图视频编解码产生的比特流中发送。
8.如权利要求7所述的方法，其特征在于，与该默认非零视差矢量有关的信息在序列、图片或图片的片或区域的比特流中发送。
9.如权利要求1所述的方法，其特征在于，该第二候选包括与对应块有关的运动矢量，其中该对应块位于由视差矢量推导出的参考视图中，且该第二候选被放置在该先进运动矢量预测模式候选列表中的第一位置。
10.一种用于三维视频编解码和多视图视频编解码的方法，其中为当前块选择合并模式，该方法包括：
接收与依赖视图中的该当前块有关的输入数据；
推导出指向对应于视图间参考图片的参考图片的第一候选；
推导出指向对应于非视图间参考图片的参考图片的第二候选；
构建包括该第一候选和该第二候选的合并候选列表，其中与该第二候选相比，该第一候选被设定在位于该合并候选列表中优先级较低的位置；以及
采用该合并候选列表，将三维/多视图视频编码或解码应用于与该当前块有关的该输入数据。
11.如权利要求10所述的方法，其特征在于，其中该合并候选列表中的该第一候选对应于视差矢量预测，且该合并候选列表中的该第二候选对应于视图间运动预测。
12.如权利要求10所述的方法，推导该第一候选包括从与该当前块的相邻块有关的相邻视差矢量中推导已估计视差矢量。
13.如权利要求12所述的方法，其特征在于，推导该已估计视差矢量产生该已估计视差矢量是通过在与该当前块的该相邻块有关的该相邻视差矢量中搜索，并将第一可用视差矢量选作该已估计视差矢量。
14.如权利要求10所述的方法，其特征在于，该第二候选包括与对应块有关的运动矢量，其中该对应块位于由视差矢量推导出的参考视图中，且该第二候选被放置在该合并候选列表中的第一位置。
15.如权利要求10所述的方法，其特征在于，该第二候选包括从该当前块的相邻块推导出的运动矢量。
16.一种用于三维和多视图视频编解码的装置，包括：
一个或多个电子电路，其中该一个或多个电子电路用来：
接收与依赖视图中的当前块有关的输入数据；
推导出指向对应于视图间参考图片的参考图片的第一候选；
推导出指向对应于非视图间参考图片的参考图片的第二候选；
构建包括该第一候选和该第二候选的先进运动矢量预测模式候选列表，其中与该第二候选相比，该第一候选被设定在位于该先进运动矢量预测模式候选列表中优先级较低的位置；以及
采用该先进运动矢量预测模式候选列表，将三维或多视图视频编码或解码应用于与该当前块有关的该输入数据。
17.一种用于三维和多视图视频编解码的装置，包括：
一个或多个电子电路，其中该一个或多个电子电路用来：
接收与依赖视图中的当前块有关的输入数据；
推导出指向对应于视图间参考图片的参考图片的第一候选；
推导出指向对应于非视图间参考图片的参考图片的第二候选；
构建包括该第一候选和该第二候选的合并候选列表，其中与该第二候选相比，该第一候选被设定在位于该合并候选列表中优先级较低的位置；以及
采用该合并候选列表，将三维/多视图视频编码或解码应用于与该当前块有关的该输入数据。
CN201380052367.1A 2012-10-05 2013-09-02 用于三维和多视图视频编码的方法和装置 Active CN104718760B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261710064P 2012-10-05 2012-10-05
US61/710,064 2012-10-05
PCT/CN2013/082800 WO2014053086A1 (en) 2012-10-05 2013-09-02 Method and apparatus of motion vector derivation 3d video coding

Publications (2)

Publication Number Publication Date
CN104718760A true CN104718760A (zh) 2015-06-17
CN104718760B CN104718760B (zh) 2019-04-05

Family

ID=50434361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380052367.1A Active CN104718760B (zh) 2012-10-05 2013-09-02 用于三维和多视图视频编码的方法和装置

Country Status (5)

Country Link
US (1) US9924168B2 (zh)
EP (1) EP2904800A4 (zh)
CN (1) CN104718760B (zh)
SG (1) SG11201502627QA (zh)
WO (1) WO2014053086A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110140355A (zh) * 2016-12-27 2019-08-16 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201405038RA (en) * 2012-04-24 2014-09-26 Mediatek Inc Method and apparatus of motion vector derivation for 3d video coding
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
WO2016003074A1 (ko) * 2014-06-30 2016-01-07 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법
KR102378459B1 (ko) 2014-06-30 2022-03-24 한국전자통신연구원 움직임 병합 모드에서 시점 합성 예측 후보의 중복성 제거 장치 및 방법
US9743110B2 (en) 2014-10-09 2017-08-22 Hfi Innovation Inc. Method of 3D or multi-view video coding including view synthesis prediction
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2019240215A1 (ja) 2018-06-13 2019-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN111010571B (zh) 2018-10-08 2023-05-16 北京字节跳动网络技术有限公司 组合仿射Merge候选的生成和使用
WO2020098695A1 (en) * 2018-11-13 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Construction method for a single type motion candidate list
JP7377894B2 (ja) 2019-05-21 2023-11-10 北京字節跳動網絡技術有限公司 サブブロックマージモードでのシンタックスシグナリング
JP7425808B2 (ja) 2019-06-04 2024-01-31 北京字節跳動網絡技術有限公司 動き候補リスト構築プロセスの条件付き実行
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
KR102662603B1 (ko) 2019-06-06 2024-04-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 움직임 후보 리스트 구성
WO2021008511A1 (en) 2019-07-14 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Geometric partition mode candidate list construction in video coding
CN114402610A (zh) * 2019-09-13 2022-04-26 北京字节跳动网络技术有限公司 视频编解码中的加权样点双向预测
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012099692A1 (en) * 2011-01-21 2012-07-26 Qualcomm Incorporated Motion vector prediction
US20120230408A1 (en) * 2011-03-08 2012-09-13 Minhua Zhou Parsing Friendly and Error Resilient Merge Flag Coding in Video Coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR101893559B1 (ko) * 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN103597837B (zh) 2011-06-15 2018-05-04 寰发股份有限公司 推导运动和视差矢量的方法及装置
CN102946535B (zh) * 2012-10-09 2015-05-13 华为技术有限公司 预测块的视差矢量预测值获取的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012099692A1 (en) * 2011-01-21 2012-07-26 Qualcomm Incorporated Motion vector prediction
US20120230408A1 (en) * 2011-03-08 2012-09-13 Minhua Zhou Parsing Friendly and Error Resilient Merge Flag Coding in Video Coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN BARTNIK 等: "HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding", 《ITU - TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 44ND MEETING: SAN JOSE, CA, USA,VCEG-AR13》 *
HEIKO SCHWARZ 等: "Description of 3D Video Coding Technology Proposal by Fraunhofer HHI(HEVC compatible; configuration A)", 《ISO/IEC JTC1/WG11 MPEG2011/M22570》 *
HEIKO SCHWARZ 等: "inter-view prediction of motion data in multiview video coding", 《IEEE 2012 PICTURE CODING SYMPOSIUM》 *
JAEWON SUNG 等: "3D-CE5.h: Simplification of disparity vector derivation for HEVC-based 3D video coding.", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 1ST MEETING: STOCKHOLM, SE, JCT2-A0126》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110140355A (zh) * 2016-12-27 2019-08-16 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置
CN110140355B (zh) * 2016-12-27 2022-03-08 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置

Also Published As

Publication number Publication date
CN104718760B (zh) 2019-04-05
WO2014053086A1 (en) 2014-04-10
US9924168B2 (en) 2018-03-20
EP2904800A1 (en) 2015-08-12
SG11201502627QA (en) 2015-05-28
EP2904800A4 (en) 2016-05-04
US20150264347A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
CN104718760A (zh) 运动矢量推导三维视频编码的方法和装置
CN106471807B (zh) 包括视角合成预测的三维或多视角视频的编码方法
KR101706309B1 (ko) 3차원 비디오 코딩을 위한 뷰간 후보자 유도 방법 및 장치
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
US20150341664A1 (en) Method and apparatus of disparity vector derivation in three-dimensional video coding
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
CN104301739A (zh) 多视点视频编码方法
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
US9998760B2 (en) Method and apparatus of constrained disparity vector derivation in 3D video coding
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
CN104704819A (zh) 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
CN104904206B (zh) 空间运动矢量预测推导方法和装置
US10110923B2 (en) Method of reference view selection for 3D video coding
CN104662910A (zh) 3d视频编码中的虚拟深度值的方法和装置
US9509972B2 (en) Encoding/decoding method and apparatus using a skip mode
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN104904219A (zh) 基于视差向量导出的三维视频编码装置及方法
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105432084A (zh) 用于三维视频编码的参考视图选择的方法
CN104412238B (zh) 获取图片中块的视图间候选运动矢量的方法和装置
KR20180117095A (ko) 비디오 글로벌 디스패리티 벡터에 대한 부호화 방법, 복호화 방법, 및 장치.
CN105474643A (zh) 3d视频编码中简化的视图合成预测的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160929

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: Singapore Singapore

Applicant before: Mediatek (Singapore) Pte. Ltd.

GR01 Patent grant
GR01 Patent grant