CN105072449B - 对图像进行解码的装置 - Google Patents

对图像进行解码的装置 Download PDF

Info

Publication number
CN105072449B
CN105072449B CN201510426709.2A CN201510426709A CN105072449B CN 105072449 B CN105072449 B CN 105072449B CN 201510426709 A CN201510426709 A CN 201510426709A CN 105072449 B CN105072449 B CN 105072449B
Authority
CN
China
Prior art keywords
motion vector
prediction
vector
block
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510426709.2A
Other languages
English (en)
Other versions
CN105072449A (zh
Inventor
金守年
全炳宇
杨政烨
元光玹
文柱禧
李英烈
金海光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of CN105072449A publication Critical patent/CN105072449A/zh
Application granted granted Critical
Publication of CN105072449B publication Critical patent/CN105072449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

对图像进行编码/解码的装置和方法。一种用于对当前块的当前运动矢量进行解码的装置,所述装置包括:预测模式解码器,配置为从比特流解码一标记,所述标记指示是否使用从邻近当前块的多个相邻块得到的预测的运动矢量来重构当前块的当前运动矢量;残差矢量解码器,配置为从比特流重构当前块的残差矢量;预测的运动矢量确定器,配置为当所述标记指示使用预测的运动矢量时:从邻近当前块的所述多个相邻块的运动矢量得到备选运动矢量的集合,从备选运动矢量的集合选择备选运动矢量,将当前块的预测运动矢量设置为选择的备选运动矢量;运动矢量重构器,配置为通过将当前块的预测运动矢量增加至当前块的残差矢量来重构当前块的当前运动矢量。

Description

对图像进行解码的装置
本申请是申请号为201080013412.9、国际申请号为PCT/KR2010/000248、申请日为2010年1月15日、发明名称为“选择性进行语法元素编码/解码的装置和方法、以及使用其对图像进行编码/解码的装置和方法”的发明专利申请的分案申请。
技术领域
本公开涉及用于对语法元素(syntax element)进行选择性编码/解码的装置和方法,并且涉及使用对语法元素(syntax element)进行选择性编码/解码的装置和方法对图像进行编码/解码的装置和方法。
背景技术
随着多媒体技术的快速进步,针对包括音频、图像和视频的高质量多媒体数据的需求也在增长。因此,为了满足在有限的网络环境中发送、存储和恢复这种多媒体数据的需要,正在制定用于高效的视频压缩的国际标准。更具体地说,关于视频,ISO/IEC JTC1/SC29MPEG小组和ITU-T VCEG小组建立了H.264/AVC MPEG-4Part.10标准,该标准试图通过利用各种预测编码方法(例如,可变块大小运动估计和补偿、帧内预测编码等)来达到高压缩效率。预测编码是减小数据之间存在的相关性的有效的方法,并且广泛用于压缩各种类型的数据。特别是因为运动矢量与相邻块的运动矢量具有高的相关性,所以可以首先根据相邻块的运动矢量来计算针对当前块的运动矢量的预测值或者预测的运动矢量(PMV:predicted motion vector),然后并不对当前块的运动矢量的真实值进行编码,而仅仅对相对于预测值的残差值或者残差运动矢量(DMV:differential motion vector)进行编码,从而充分地减小比特量以提高编码效率。
通常,在朝向利用这种预测的运动矢量对运动矢量的编码进行有效压缩的努力中,更精确地预测的运动矢量成比例地提高编码效率。因此,提高预测的编码的效率的有效的方式是生成有限数量的预测的运动矢量目标(其不仅包括空间上相邻的块的运动矢量,也包括时间上、空间上或者时-空相邻的块或者这些运动矢量的组合计算 得到的另外的运动矢量),并且在所生成的运动矢量目标之中选择最适合进行运动矢量的预测编码的一个运动矢量。在该情况中,为了根据基于预测的编码后的运动矢量数据来正确地重构原始运动矢量,必需知道使用了有限数量的运动矢量中的哪一个运动矢量。针对任务的最简单的运动矢量预测编码方法是对与用于执行运动矢量的预测编码的正确预测值相关的信息另外进行编码。另选地,为了减少对用于指示对于预测的运动矢量的这种选择的附加信息进行编码所需的比特量,当前的H.264/AVC标准利用包含在相邻块(当前块的左侧、上侧和右上侧)中的运动矢量的各个水平分量和垂直分量的中间值作为用于对运动矢量进行预测编码的预测的运动矢量(PMV)。该方法以中间值的形式确定了通常在编码和解码操作中认可的预定的默认方法,并且利用默认的方法产生了预测值(预测的运动矢量),因而排除了对与被使用的预测值相关的信息另外进行编码的需要。预先确定供使用的中间值的默认方法的常规的方法实际上仅节省了关于识别用作预测的运动矢量的运动矢量的附加的信息传输,但是由于实际上是被使用的中间值的预测的运动矢量并不是可以最小限度地产生对残差运动矢量进行编码所需的比特量的最佳的预测的运动矢量,所以常规的方法仍然是有缺陷的。
通常,在视频压缩编码方法中,提供了各种非常复杂的编码技术,这些技术受到彼此之间的竞争,进而应用预定的评估标准来选择显示出最佳编码效率的编码技术,从而提高编码效率。以这种方式压缩的数据遵循在编码器和解码器之间约定的规则或协议,这种规则或协议以比特流的形式进行存储或传送,并且具有各自称为语法元素(syntaxelement)的成分。例如,响应于在利用去除时间冗余的运动补偿方法对视频执行压缩编码的过程中对运动矢量进行编码所需的编码器,在搜索和发现最佳的运动矢量之前在搜索范围内准备有不同的运动矢量,其后,通过发信号来通知解码器使用了上述哪一个预测的运动矢量。在这种情况下,可以将用于通知可能使用的预测的运动矢量的信息认为是语法元素的示例。另选地,替代仅仅转发可能使用的预测的运动矢量,可以针对与特定预定的预测的运动矢量(例如中间值)的差异进行编码。此外,适应性地取决于不同的情况,可以使用不同的预定的预测的运动矢量。在这种情况下,也应该将选择预测的运动矢量的方法通知给解码器,并且通知信息也可以成为语法元素的示例。
当解码器需要对通过使用更加多样化的和复杂的编码方法压缩的数据进行正确的解码时,应该将大量的语法元素信息增加至比特流。在这种情况下,对语法元素信息的必需的传送和存储伴随有增加的比特量,进而增加了对视频和静止图像进行编码所需的数据量。使用更加多样化和复杂的编码方法可以提高编码效率,但是正确解码的先决条件是向解码器通知编码方法的标识以及它是如何使用的。因此,必需传送或存储所关注的信息,因而通过使用更加复杂的编码方法所得到的编码效率的可能的提高会被来自向解码器表达或通知可能使用的编码方法的标识(导致更高的比特开销)的过度开销所挫败,即,增加用于用信号发送语法元素的语法元素的效果结果导致视频压缩性能的实际劣化。
对于这种问题的一个理想的解决方案是,在解码器的解码操作中,通过使解码器自身通过其自己的语法元素估计处理来估计语法元素值,使编码器不需存储或向解码器传送通过预先设置的编码标准所确定的语法元素值。然而,该解决方案有一个缺点,即,因为解码器被制成只能执行非常有限的估计处理,因此当编码器可以进行各种决定确定时,该解决方案不适用于一般的情况。因此,该方法仅选择性地适用于某些情况,即,由编码器所确定的语法元素同样地由解码器进行独立地估计。然而,由于包含偶尔不足的传送(absenttransmission)和在其他时间充分的传送(positive transmission)的选择性语法传送方法需要解码器利用之前解码的图像值或者解码处理本身、通过对预定的语法元素的估计处理来确定语法元素的存在,所以出现了对语法进行解析的步骤不会与解码处理分离的问题。此外,如果在语法元素估计过程中所必需的解码的处理或者结果中包含差错,则没有办法来正常地确定语法元素的存在,因而会担心解码器甚至会在没有接收对应的语法元素的传送的情况下而错误地尝试解析对应的语法元素,或者甚至在接收对应的语法元素的传送之后确定不需要解析,这将会在解析或者解码过程中导致严重的和关键的干扰。为了应对遇到的困难,本发明提供了用于解决长期的问题的方法和装置。
此外,本公开提供了这样的方法和装置:通过各个预定的单元将相等的语法元素收集起来并且将它们进行传送,以提高压缩效率并简化解码器的操作。
此外,为了通过摒弃语法元素的选择性传送和存储来获得提高的效率并解决以上识别的问题,需要对这种语法元素进行编码/解码的方法。本公开包含用于对视频和静止图像的语法元素进行编码/解码以达到上述目标的方法和装置。
发明内容
技术问题
因此,为了解决上述问题,本公开允许通过使用多个运动矢量预测模式来选择当前运动矢量的预测的运动矢量,以精确地改善预测的运动矢量的选择,从而减少用于对残差矢量进行编码的比特量,并且提高运动预测和/或运动补偿的性能。
此外,当为了提高编码效率允许编码装置提供对更加精确预测的运动矢量的选择时,本公开选择不直接向解码装置通知在其编码中所使用的预测的运动矢量,而是向解码装置提供求解预测的运动矢量的信息,或者与解码装置分享该信息,从而根据用于预测的运动矢量的通知的额外的信息来减轻比特量的增加,以进一步提高编码和解码效率。
此外,本公开利用这样的情况,即,根据由包含图像比特流的语法元素所产生的图像重构来获知在比特流中存在语法,并且通过向解码器单独地通知在预定单元中存在(或不存在)的那些情况的数目将解析语法元素的处理与解码处理分开。
此外,本公开通过对相等的语法元素一起进行分组编码来向解码器单独地通知语法元素的数目和对应的值,简化了解码的处理。
技术方案
本公开的一个方面提供了一种运动矢量编码装置,其包括:预测的运动矢量选择器,其从当前块的备选运动矢量集合中选择最佳的预测的运动矢量;预测模式确定器,其利用基于与运动矢量解码装置预先设置的确定标准从多个运动矢量预测模式中选择的运动矢量预测模式来确定所述当前块的运动矢量预测模式;以及编码器,其根据来自所述预测模式确定器的确定的运动矢量预测模式将所述最佳的预测的运动矢量或者默认的预测的运动矢量确定为针对当前运动矢量的预测的并且确定的运动矢量,对所述当前块和所述预测的并且确定的运动矢量之间的残差矢量进行编码,并且根据所确定的运动矢量预测模式来选择性地对所确定的运动矢量预测模式进行编码,并且作为编码后的运动矢量预测模式进行输出。
此处,如果在当前块和预测的并且确定的运动矢量之间的残差矢量是零矢量,则可以不对残差矢量进行编码。
此处,多个运动矢量预测模式可以包括竞争预测模式和非竞争预测模式,并且所述预测模式确定器可以根据与运动矢量解码装置预先设置的确定标准来确定所述当 前块的所述运动矢量预测模式是否是所述非竞争预测模式,以在所述竞争预测模式和所述非竞争预测模式之间进行选择得到所述当前块的运动矢量预测模式。
此外,在所述最佳的预测的运动矢量等于所述默认的预测的运动矢量的情况下,所述预测模式确定器可以将所述非竞争预测模式确定为所述当前块的运动矢量预测模式。同时,所述最佳的预测的运动矢量等于所述默认的预测的运动矢量的情况可以是以下情况中的一种或更多种情况:所述备选运动矢量集合不包含用作针对所述当前块的当前运动矢量的预测的运动矢量的可用备选运动矢量的情况;存在一个备选运动矢量的情况;备选运动矢量是两个或更多个、但是全部相同的情况;以及所述最佳的预测的运动矢量是从两个或更多个不相等的备选运动矢量中选出、并且与所述默认的预测的运动矢量相同的情况。
此外,编码器可以包括:第一编码器,其响应于所确定的运动矢量预测模式是非竞争预测模式而将所述默认的预测的运动矢量确定为所述预测的并且确定的运动矢量,以生成所述残差矢量并对所述残差矢量进行编码;第二编码器,其响应于所确定的运动矢量预测模式是竞争预测模式,并且根据所述运动矢量解码装置是否能够预测所述最佳的预测的运动矢量,该第二编码器将所述最佳的预测的运动矢量或者所述默认的预测的运动矢量确定为所述预测的并且确定的运动矢量,以生成所述残差矢量并对所述残差矢量进行编码;以及第三编码器,其仅响应于所确定的运动矢量预测模式是所述竞争预测模式而对所确定的运动矢量预测模式进行编码。
此外,确定的运动矢量预测模式可以包括一个比特,并且可以由比特值来表示竞争预测模式或者非竞争预测模式,并且可以将编码后的运动矢量预测模式插入至比特流片段报头或者图片报头。
本公开的另一方面提供了一种运动矢量编码方法,该方法包括:利用基于与运动矢量解码装置预先设置的确定标准从多个运动矢量预测模式中选择的运动矢量预测模式来确定当前块的运动矢量预测模式;根据所选择的运动矢量预测模式来确定针对当前运动矢量的预测的并且确定的运动矢量;将所述当前块和所述预测的并且确定的运动矢量之间的残差矢量编码为编码后的残差矢量;根据所确定的运动矢量预测模式来选择性地对从确定所述运动矢量预测模式的步骤中确定的运动矢量预测模式进行编码;以及生成包括编码后的残差矢量和从对所确定的运动矢量预测模式进行选择性地编码的步骤中编码的运动矢量预测模式的比特流,并输出该比特流。
本公开的另一方面提供了一种运动矢量解码装置,该装置包括:残差矢量解码器,其通过根据与运动矢量编码装置预先设置的确定标准来确定当前块的运动矢量预测模式是否是非竞争预测模式来对编码后的残差矢量进行解码,以重构并输出残差矢量;预测模式解码器,其对编码后的运动矢量预测模式进行解码,以重构并输出所述运动矢量预测模式;第一预测的运动矢量确定器,其响应于所述当前块的运动矢量预测模式是非竞争预测模式而将默认的预测的运动矢量确定为针对当前运动矢量的预测的并且确定的运动矢量;第二预测的运动矢量确定器,其响应于所述当前块的运动矢量预测模式不是非竞争预测模式并且根据从所述预测模式解码器重构的运动矢量预测模式,该第二预测的运动矢量确定器将最佳的预测的运动矢量或者默认的预测的运动矢量确定为针对所述当前运动矢量的所述预测的并且确定的运动矢量;以及运动矢量重构器,其用于通过将所述预测的并且确定的运动矢量增加至来自所述残差矢量解码器的重构的残差矢量来重构所述当前运动矢量。
本公开的另一方面提供了一种运动矢量解码方法,所述方法包括:通过对编码后的运动矢量预测模式和编码后的残差矢量进行解码来重构运动矢量预测模式和残差矢量;根据与运动矢量编码装置预先设置的确定标准来确定当前块的运动矢量预测模式是否是非竞争预测模式;如果已确定的所述运动矢量预测模式是所述非竞争预测模式,则将默认的预测的运动矢量确定为针对当前运动矢量的预测的并且确定的运动矢量;如果已确定的所述运动矢量预测模式不是所述非竞争预测模式而是竞争预测模式,则基于在重构所述运动矢量预测模式的步骤中重构的运动矢量预测模式、利用所述默认的预测的运动矢量或者从备选运动矢量集合选出的最佳的预测的运动矢量来确定针对所述当前块的当前运动矢量的所述预测的并且确定的运动矢量;以及通过将所述预测的并且确定的运动矢量增加至所述残差矢量来重构所述当前运动矢量。
此处,编码后的运动矢量预测模式可以包括用于表示运动矢量预测模式的数目的比特以及用于表示该数目的运动矢量预测模式的另一比特,并且,所述运动矢量解码方法可以通过在所述运动矢量预测模式的数目和包括在当前片段或当前图片内重构的全部块中的并且分配至所述竞争预测模式的块的数目之间进行比较,来确定是否正常地重构了所有的运动矢量。
本公开的另一方面提供了一种编码方法,该方法包括:将块的各个单元的语法元素选择性地编码为编码后的语法元素;并且将编码后的语法元素插入至包括一个或更 多个块的上层单元的预定区域中,其中,编码后的语法元素包含关于根据所述语法元素已经被编码的块的数目的信息。
此处,上层单元可以是片段或图片,并且上层单元的预定区域可以是上层单元的报头或者报尾。
本公开的另一方面提供了一种解码方法,该方法包括:将按照块的各个单元进行了选择性编码后的语法元素解码为解码后的语法元素,并且将编码后的语法元素插入至包括一个或更多个块的上层单元的预定区域中,并且通过对所述语法元素进行编码来包含关于块的数目的信息;确定包括在所述上层单元中的各个块是否需要被分配所述语法元素;根据解码后的语法元素对所确定的分配了所述语法元素的块进行解码;并且在已解码的块的数目与包含在编码后的语法元素中的、关于块的数目的信息之间进行比较。该比较步骤可以帮助确定在解码装置中执行的正常解码。
此处,上层单元可以是片段或图片,并且上层单元的预定区域可以是上层单元的报头或者报尾。
有益效果
根据以上描述的本公开,受益于在预测图像块时选择接近实际的运动矢量使用的能力,可以减少对运动矢量进行编码所需的比特量,以提高编码效率,此外,即使在解码处理中出现例如传送差错的差错,解码装置可以自主地确定差错的出现,并且执行用于消除该差错的随后措施,或者以其他方式处理该差错,以防止解码器进入无序状态,从而提高了解码器的性能。
附图说明
本文所描述的附图仅为了说明的目的,并不旨在以任何方式限制本公开的范围。
图1是示出根据一个方面的用于对要编码的运动矢量进行编码的块的示意性视图;
图2是示出根据一个方面的运动矢量编码装置的示意性框图;
图3是示出根据一个方面的运动矢量解码装置的框图;
图4是示出根据一个方面的运动矢量编码方法的示意性流程图;
图5是示出根据一个方面的运动矢量编码方法的特定实施例的流程图;
图6是例示根据一个方面定义一组备选运动矢量的步骤的流程图;
图7是例示根据一个方面选择预测的运动矢量的步骤的流程图;
图8是例示根据一个方面确定最佳预测的运动矢量的可预测性的处理的流程图;
图9是例示根据一个方面利用最佳的预测的运动矢量对当前运动矢量进行编码的步骤的流程图;
图10是例示根据一个方面利用默认的预测的运动矢量对当前运动矢量进行编码的步骤的流程图;
图11是例示根据一个方面执行第三编码的步骤的流程图;
图12是示出根据一个方面的运动矢量预测模式的数目和用于对运动矢量预测模式进行共同地编码的规则的示意性视图;
图13是示出根据一个方面的运动矢量解码方法的流程图;
图14是示出根据一个方面的运动矢量解码方法的特定的实施例的流程图;
图15是例示根据一个方面的将默认的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量的步骤的流程图;
图16是示出根据另选的方面的运动矢量解码方法的流程图;
图17是示出根据一个方面的视频编码装置的示意性框图;
图18是示出根据一个方面的视频编码装置的具体的框图;
图19是示出根据一个方面的视频解码装置的示意性框图;以及
图20是示出根据一个方面的视频解码装置的具体的框图。
具体实施方式
下面,将参照附图具体描述本公开的方面。在以下描述中,尽管在不同的图中示出了相同的元件,但是将由相同的标号来指定相同的元件。此外,在本公开的以下描述中,当合并于此的已知的功能和配置的描述使本公开的主题更加不清楚时,省略对合并于此的已知的功能和配置的描述。
而且,在本公开的组件的描述中,会使用像第一、第二、A、B、(a)和(b)的措辞。这些仅是为了将一个组件与另一组件进行区分,而不暗示或建议组件的本质、顺序或次序。如果将一个组件描述为“连接”、“耦接”或“链接”至另一组件,则它们可以表示组件不仅是直接地“连接”、“耦接”或“链接”至另一组件,还标识通过第三组件间接地“连接”、“耦接”或“链接”至另一组件。
在以下描述中,将要提及的视频编码装置、视频解码装置、运动矢量编码装置、运动矢量解码装置分别可以是个人计算机或PC、笔记本或膝上型计算机、个人数字助理或PDA、便携式多媒体播放器或PMP、掌上游戏机(PlayStation Portable)或PSP、或者移动通信终端、智能电话或这样的装置,并且表示多种例如配备有如下装置的设备:用于在各种装置或者有线/无线通信网络之间执行通信的通信装置(例如调制解调器)、用于存储对视频进行编码和解码的各种程序或者对运动矢量和相关的数据进行编码和解码的各种程序的存储器、以及用于执行程序来实施操作和控制的微处理器。
此外,可以将通过视频编码装置或运动矢量编码装置编码为比特流的视频通过有线/无线通信网络实时地或者非实时地传送至视频解码装置或者运动矢量解码装置,视频在视频解码装置或者运动矢量解码装置中被重构并再现为视频或运动矢量,其中,有线/无线通信网络包括因特网、短距离无线通信网络、无线局域网(LAN)网络、也称为WiMax网络的WiBro(无线宽带)网络、以及移动无线网络或者例如电缆、USB(通用串行总线)的通信接口、或者其它各种方式。
图1是示出根据一个方面的用于对要编码的运动矢量进行编码的块的示例图。
在图1中,块D是对应于要编码的运动矢量的“当前块”,并且块A、块B和块C是针对块D的“相邻块”。参照图1,MVA、MVB、MVC和MVD分别是块A、块B、块C和块D的运动矢量(MV),并且将它们分别定义为具有水平分量(MVA x、MVB x、MVC x和MVD x)和垂直分量(MVA y、MVB y、MVC y和MVD y)。如本文所使用的,当前块(块D)的运动矢量MVD被称为当前运动矢量。
等式1
从等式1可知,可以利用特定的函数F()来计算当前运动矢量的预测的运动矢量PMVD,其中,将相邻块A、B和C的运动矢量MVA、MVB和MVC用作特定的函数F()的变量。
在H.264/AVC标准中,利用用作特定的函数F()的用于计算中间值的函数来计算当前运动矢量的预测的运动矢量PMVD。换言之,以相邻块A、B和C的运动矢量MVA、MVB和MVC的中间值来获得当前运动矢量的预测的运动矢量PMVD。以这种方式来计算,以下面的等式2来表示当前运动矢量MVD的预测的运动矢量PMVD
等式2
当所使用的等式1(或等式2)给出当前运动矢量MVD的预测的运动矢量PMVD时,可以通过利用等式3、从期望要压缩的当前运动矢量MVD减去预测的运动矢量PMVD来得到残差运动矢量DMVD,然后通过例如熵编码的预定的方法来对残差运动矢量DMVD进行编码以进行传送。
等式3
如图1所例示的,如果在用于常规地将中间值计算为预测的运动矢量PMVD的等式2中将当前运动矢量MVD的值定为(2,0),则其预测的运动矢量PMVD为(2,1)。
利用中间值作为预测的运动矢量的该矢量编码方法使编码装置和解码装置利用用于计算预测的运动矢量的中间值来互相理解,从而不需要编码和传送与识别用作当前运动矢量的预测的运动矢量的运动矢量相关的附加信息,因此提高了编码效率。在本文中,编码装置旨在包括运动矢量编码装置和视频编码装置,并且解码装置旨在包括运动矢量解码装置和视频解码装置。将在下面的步骤中具体描述运动矢量编码装置、运动矢量解码装置、视频编码装置和视频解码装置。
然而,如以上所指出的,利用中间值计算的预测的运动矢量PMVD会与原始的当前运动矢量MVD不同。从图1的示例中注意到,利用中间值计算的预测的运动矢量PMVD(2,1)与当前运动矢量MVD(2,0)不同,并且使用针对残差运动矢量DMVD的等式3的尝试将产生要编码的残差运动矢量DMVD是(0,-1)。
然而,如果将块A运动矢量MVA(2,0)用作预测的运动矢量PMVD,则该预测的运动矢量相对于原始的当前运动矢量MVD(2,0)没有出现差异,并且执行针对残差运动矢量DMVD的等式3将产生要编码的残差运动矢量DMVD(0,0)。换言之,与利用中间值计算得到的预测的运动矢量PMVD(2,1)相比,将块A运动矢量MVA(2,0)用作预测的运动矢量PMVD以得到残差运动矢量DMVD(0,0)可以有效地减少对运动矢量进行编码所需的比特量。
然而,在利用中间值的方法中,必须始终用中间值来计算当前运动矢量MVD的预测的运动矢量PMVD,其使得无法采用块A运动矢量作为预测的运动矢量PMVD。 即使将块A运动矢量用作预测的运动矢量PMVD,也需要准备并传送关于运动矢量MVA、MVB和MVC中的哪一个用作预测的运动矢量PMVD的另外的信息,其中对另外的信息的编码抵消了为了确保更好的压缩效率所作的努力。
因此,在本公开的一个方面,使用多个运动矢量预测模式以使得能够对预测的运动矢量进行更加精确的选择,因而解决了选择中间值作为预测的运动矢量的问题。此外,在本公开的一个方面,不仅对预测的运动矢量的更精确的选择提高了编码效率,而且提供了有效的方法来向解码装置通知已被选择的预测运动矢量,以解决由于为了告知预测的运动矢量而对附加的信息进行编码所导致的增加的比特量的问题。此外,在一个方面,在特定的条件从随后要进行传送或存储的比特流中省略了运动矢量预测模式以提高编码效率,同时允许在解码装置中对比特流进行解析,以使得实现稳定的操作。这里,运动矢量预测模式是指这种适合于识别预测运动矢量的方式的运动矢量预测模式。
将贯穿以下描述普遍地使用块A、B、C、D及其各自运动矢量MVA、MVB、MVC和MVD在图1中的例示。然而,虽然在图1中为了方便将运动矢量MVA、MVB、MVC和MVD描述为具有其垂直分量和水平分量的2维矢量,但是本发明不限于此而是可以延伸至包括针对应用的n维运动矢量。此外,仅为了方便,图1的描述仅使用了关于当前块D空间上相邻的三个块A、B和C,然而,在它们的位置中可以存在一个或更多个时间上或空间上相邻的块。
根据一个方面的运动矢量预测模式包括竞争预测模式和非竞争预测模式。在本文中,竞争预测模式表示存在多种彼此竞争的用于预测运动矢量的方法,并且非竞争预测模式表示没有用于预测运动矢量的不同的方法而仅有一个模式可供使用。
如果没有可用的备选运动矢量以用作当前运动矢量的预测的运动矢量,或者仅有一个或者有一个或更多个同样的备选运动矢量,则将非竞争预测模式确定为运动矢量预测模式。这是因为编码装置和解码装置它们自身可以识别用作预测的运动矢量的相同的备选运动矢量,而不需为了相同的目的在它们之间交换额外的信息。
此外,即使存在多个彼此之间具有差异的备选运动矢量,并且如果通过预定的处理所选择的最佳的预测的运动矢量与例如通过等式2所描述的中间值的预定的默认预测的运动矢量相同,也将非竞争预测模式确定为运动矢量预测模式。这是基于解码装置独立地获得例如中间值的预定的默认预测的运动矢量、然后自动地执行检查默认 预测的运动矢量是否等于通过预定的处理所预测的最佳的预测的运动矢量的能力,以及解码装置独立地认知到这种相等、以将默认预测的运动矢量用作预测的运动矢量而不需与编码装置交换额外的信息的能力。
换言之,如果运动矢量预测模式是非竞争预测模式,则解码装置可以独立地将运动矢量预测模式视为非竞争预测模式,并且可以确定默认的预测的运动矢量适合用作预测的运动矢量。因此,非竞争预测模式的该确定可以称为非竞争情形(occasion),其中,解码装置可以独立地认识到默认的预测的运动矢量适合用作预测的运动矢量、并且当前块落入非竞争预测模式之下,使编码装置免于对当前块是非竞争预测模式的信息进行编码和传送耗费另外的精力。即,在这种情况下,不需对运动矢量预测模式进行编码和传送。
另一方面,在除了非竞争预测模式以外的以上提及的情形(以下称为“竞争情形”)中,除非解码装置从编码装置接收到附加信息,否则解码装置不知道哪一个备选的运动矢量被用作预测的运动矢量,因而需要对相关的信息进一步进行编码和传送。因而,将在竞争情形之下被分类的运动矢量运动模式称为竞争预测模式。在这种情况下,必须通过对告知哪一个备选的运动矢量适合于解码装置在重构当前运动矢量时用作预测的运动矢量的信息进行附加的编码和传送来通知属于竞争预测模式的当前块。例如,附加的信息可以是解码装置使用如下运动矢量来重构当前运动矢量的指令:即,使用通过预先设置的标准或方法从备选运动矢量中选出的运动矢量(或者最佳的预测的运动矢量)、或者使用默认的预测的运动矢量(例如,中间值或者在上部、左侧或其它相邻位置的运动矢量的值),该指令表示运动矢量预测模式。
如本文所使用的,最佳的预测的运动矢量仅仅是指通过预先设置的标准或方法从当前运动矢量得到的预测的运动矢量,而不是指所得到的这种预测的运动矢量始终具有最佳的预测的值。此外,如果附加的信息要使用最佳的预测的运动矢量,则它指示编码装置通过解码装置来确定最佳的预测的运动矢量的可预测性的情形,这表示并且被称为可预测的情形,并且可以通过例如指示为“1”的单一比特标志来表示运动矢量预测模式。此外,如果附加信息使用默认的预测的运动矢量,则它指示编码装置通过解码装置来确定最佳的预测的运动矢量的不可预测性的情形,这表示并且被称为不可预测的情形,并且可以通过例如指示为“0”的单一比特标志来表示运动矢量预测模式。
图2是示出根据一个方面的运动矢量编码装置200的示意性框图。
参照图2,根据一个方面的运动矢量编码装置200包括预测的运动矢量选择器210、预测模式确定器220、第一编码器230、第二编码器240和第三编码器250。
预测的运动矢量选择器210定义备选运动矢量集合,并且从定义的备选运动矢量集合选择预测的运动矢量,其中,备选运动矢量集合是用作针对当前块的当前运动矢量的预测的运动矢量的备选运动矢量组。存在各种可能的方法用于从定义的备选运动矢量集合中选择预测的运动矢量,例如,通过选择与当前运动矢量具有最小差异的备选运动矢量作为预测的运动矢量。因而,通过预测的运动矢量选择器210从备选运动矢量集合所选择的预测的运动矢量以下将被方便地称为最佳的预测的运动矢量。然而,这仅仅是定义特定的示例来方便描述,并且在公开的方面中所使用的最佳的预测的运动矢量是指通过预先设置的标准或方法从当前运动矢量获得的预测的运动矢量。
预测模式确定器220判断是使用由预测的运动矢量选择器210所选择的最佳的预测的运动矢量来在运动矢量解码装置中重构当前运动矢量,还是针对相同的目的使用默认的预测的运动矢量,相应地在竞争预测模式和非竞争预测模式之间确定作为运动矢量预测模式的选择。此时,如果运动矢量预测模式为非竞争预测模式,则运动矢量解码装置可以判断要解码的块是否与非竞争预测模式等价,从而不必对运动矢量预测模式进行其它必须的编码和传送,以提高压缩效率。
此处,预测模式确定器220响应于由预测的运动矢量选择器210所选择的最佳的预测的运动矢量为默认的预测的运动矢量,将非竞争预测模式确定为当前块的运动矢量预测模式。将非竞争预测模式确定为当前块的运动矢量预测模式不仅发生在最佳的预测的运动矢量或者从多个不同的备选运动矢量中选择的一个运动矢量与默认的预测的运动矢量相同的情况,而且发生在没有备选运动矢量可供选择为预测的运动矢量的情况、在仅有单个备选运动矢量可用的情况、以及在存在两个以上相同的备选运动矢量的情况。这是因为这些缺少供预测的运动矢量选择器210选择作为预测的运动矢量的可用的备选运动矢量(在这种情况下,缺乏用作预测的运动矢量的备选运动矢量可以使得将所有可用的备选运动矢量定义为(0,0))、或者出现单个备选运动矢量或者多个备选运动矢量全部相同的情形会使运动矢量编码装置200和运动矢量解码装置搜索与默认的预测的运动矢量相同的公共的最佳的预测的运动矢量。
因此,在所描述的非竞争情形中,运动矢量编码装置200和运动矢量解码装置可以通过共享预定的确定处理来选择相同的预测的运动矢量,该预定的确定处理即使通 过任何预测模式来选择最佳的预测的运动矢量也产生相同的结果。在这种非竞争情形中,通过第一编码器230对残差矢量(当前运动矢量和预测的运动矢量之间的差异)进行编码。
第一编码器230响应于预测模式确定器220将运动矢量预测模式确定为非竞争预测模式而进行操作,以将默认的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量,并且计算在预测的运动矢量和当前运动矢量之间残差矢量,并对计算的残差矢量进行编码。
此时,如果残差矢量是零矢量,则不对其进行编码。
第二编码器240响应于预测模式确定器220将运动矢量预测模式确定为竞争预测模式而进行操作,以通过利用预测的运动矢量(即,通过在预测模式确定器220中所确定的相同的运动矢量预测模式的比特标志值所确定的最佳的预测的运动矢量(其中,运动矢量预测模式的比特标志值例如为“1”))或者通过利用预定的默认预测的运动矢量(例如中间值(例如,运动矢量预测模式的比特标志值为“0”))来确定针对当前运动矢量的预测的运动矢量,并且计算在预测的运动矢量和当前运动矢量之间残差矢量,并对计算的残差矢量进行编码。
第三编码器250对块(组合成片段、图片等)的运动矢量预测模式进行选择性地编码,特别是将它们的由预测模式确定器220所确定的运动矢量预测模式作为竞争预测模式。按照预定的单元从块中分离其运动矢量预测模式被确定为竞争预测模式的这种块以对分离的块进行编码,是为了通过运动矢量编码装置针对属于竞争预测模式的运动矢量预测模式对比特流进行解析做准备,使得独立于用于对块的当前运动矢量或者纹理信息进行重构的解码处理来执行解析处理。
换言之,第三编码器250总体上按照比特定的编码单元(例如,宏块单元或块单元)更上位的编码单元(包括片段单元或者图片单元并且被称为“上层单元”)存在的运动矢量预测模式进行编码。此时,虽然上层单元可以比片段单元之上的图片单元更高,但是上层单元也可以是片段单元。
此处,在对运动矢量预测模式进行编码的处理中,第三编码器250对第一信息标识符和第二信息标识符进行编码,其中,所述第一信息标识符表示属于块的、并且被确定为竞争预测模式的运动矢量预测模式的数目,即,被传送或存储的运动矢量预测模式的数目,所述第二信息标识符表示用于识别该数目的运动矢量预测模式的信息 (指示运动矢量预测模式的比特标志),其中,第一标识符可以是例如在图12中通过总数量小于1的“num_mv_mode_flag_minus1”所指示的比特值,并且第二标识可以是例如在图12中的通过“mv_mode_flag[i],0≤i≤num_mv_mode_flag_minus1”所指示的比特标志的比特值的排列。此时,第三编码器250在编码中可以使用例如熵编码或各种无损耗压缩方法的编码技术,从而对运动矢量预测模式的数目的信息标识符以及用于识别该数目的运动矢量预测模式的信息进行压缩,当然这些信息也可以不经过压缩而进行传送。
由第一编码器230或者第二编码器240进行编码之后,将残差矢量插入比特流中,所以成为由第三编码器250进行编码运动预测模式。为此,虽然没有在图2中示出,但是可以将编码后的运动预测模式和由复用器解码的残差矢量插入比特流中。然而,取决于上层单元,可以在将残差矢量插入不同的报头之前将由第三编码器250编码的运动预测模式插入比特流。例如,如果上层单元是片段单元,则可以插入至片段报头,而如果上层单元是图片单元,则可以插入至图像报头。
可以通过将以这种方式编码的比特流通过有线的或无线的或者包括存储介质的其它传输信道传送至运动矢量解码装置以进行解码处理。
图3是示出根据一个方面的运动矢量解码装置300的框图。
参照图3,根据一个方面的运动矢量解码装置300可以包括预测模式解码器310、运动矢量预测模式确定器和残差矢量解码器320、第一预测的运动矢量确定器330、第二预测的运动矢量确定器340以及运动矢量重构器350。
通过运动矢量编码装置200对编码后的运动矢量预测模式和编码后的残差矢量两者进行处理,并且将经过处理的运动矢量预测模式和残差矢量插入至按照预定的不同单元进行解码的比特流中,这些预定的不同单元被预先布置在运动矢量编码装置200和运动矢量解码装置300之间。更具体地说,按照上层单元对编码后的运动矢量预测模式进行解码,并且按照其下层单元中或者以块为单位对编码的残差矢量进行解码。
为此,虽然在图3中未示出,解复用器被用于从比特流中区分编码后的运动矢量预测模式和编码后的残差矢量,将按照上层单元编码的运动矢量预测模式输入预测模式解码器310,并且将针对各个块编码后的残差矢量输入运动矢量预测模式确定器和残差矢量解码器320。如果按照SKIP模式对当前块进行编码,则没有残差矢量出现, 因而运动矢量预测模式确定器和残差矢量解码器320认为没有输入编码后的残差矢量。
预测模式解码器310对在上层单元中分配至竞争预测模式的块的编码后的运动矢量预测模式进行解码,以生成用于输出的重构的运动矢量预测模式,并且将输出的运动矢量预测模式存储在例如存储器的存储介质中,直至它们每次被一个接一个地顺序读出,第二预测的运动矢量确定器340确定各个块的预测的运动矢量,由此将通过顺序地读取运动矢量预测模式所确定的运动矢量最终确定为各个块的预测的运动矢量。此时,重构的运动矢量预测模式包括用于指示运动矢量预测模式的数目的比特以及用于识别该数目的运动矢量预测模式的比特,因而,预测模式解码器310首先读取用于指示运动矢量预测模式的数目的比特以得到相同的数目,然后通过一个接一个地按照该数目读取比特来读取用于识别该数目的运动矢量预测模式的比特,由此解析运动矢量预测模式以仅输出并存储用于指示解析的运动矢量预测模式的比特。
此外,预测模式解码器310响应于与如在图12中所示的比特流中分类的上层单元相对应的运动矢量预测模式而没有经过例如熵编码的额外的压缩处理,该预测模式解码器通过解析着手对运动矢量预测模式进行重构,然而,如果涉及熵编码或者其它无损压缩编码,则它相反地采用各个编码方法的适当的步骤来重构运动矢量预测模式。在任何一种情形中,都独立于之前的或下面的解码处理(例如,对编码后的残差矢量或者编码后的纹理信息进行解码)执行这种运动矢量预测模式解码处理。
残差矢量解码器320利用在运动矢量编码装置200和运动矢量解码装置300之间共享的预定的确定处理来确定当前将要解码的当前块的运动矢量预测模式是否是非竞争预测模式,如果不是,则判定该模式是竞争预测模式。此处,残差矢量解码器320用于确定当前块的运动矢量预测模式是否是非竞争预测模式的方法与参照图2所描述的预测模式确定器220做出决定的方法相同或相似,因而省略了具体的描述。此外,残差矢量解码器320对编码后的残差矢量进行解码以重构当前块的残差矢量。此时,如果残差矢量解码器320没有找到编码后的残差矢量(如按照SKIP模式进行编码的情况),则输出(0,0)作为解码后的残差矢量。
此外,残差矢量解码器320响应于当前块的运动矢量预测模式是非竞争预测模式,该残差矢量解码器向第一预测的运动矢量确定器330通知该事实,以将默认的预测的运动矢量确定为当前块的预测的运动矢量,而响应于当前块的运动矢量预测模式 是竞争预测模式,残差矢量解码器320向第二预测的运动矢量确定器340通知该事实,以将由重构的运动矢量预测模式所确定的运动矢量确定为当前块的预测的运动矢量。
如果当前块处于非竞争预测模式,则第一预测的运动矢量确定器330进行操作以将通过与运动矢量编码装置200约定的方式所确定的默认的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量。
如果当前块处于竞争预测模式,则第二预测的运动矢量确定器340进行操作以利用从一组备选运动矢量中选出的运动矢量针对当前运动矢量确定预测的运动矢量,该选出的运动矢量是可通过重构的运动矢量预测模式从预测模式解码器310选择的,即,通过与运动矢量编码装置200约定的方式来确定最佳的预测的运动矢量或者默认的预测的运动矢量。
此处,第二预测的运动矢量确定器响应于当前块的运动矢量预测模式不是非竞争预测模式而是竞争预测模式,该第二预测的运动矢量确定器应当确定是否使用最佳的预测的运动矢量(运动矢量预测模式是否具有例如值为“1”的比特标志)或者是否使用默认的预测的运动矢量(运动矢量预测模式是否具有例如值为“0”的比特标志)。为此,第二预测的运动矢量确定器340每当确定块的预测的运动矢量时都执行顺序地读取在被预测模式解码器310重构之后存储的运动矢量预测模式的比特,从而将通过读取运动矢量预测模式所确定的运动矢量确定为各个块的预测的运动矢量。此时,因为在被预测模式解码器310重构之后所存储的运动矢量预测模式的比特由指示运动矢量预测模式的比特构成,所以试图获取运动矢量预测模式以确定各个块的预测的运动矢量的第二预测的运动矢量确定器340顺序地读取指示运动矢量预测模式的比特、并且获得所读取的比特的值来确定在最佳的预测的运动矢量和默认的预测的运动矢量之间使用哪一个运动矢量。例如,如果读取的比特的值为“1”,则使用最佳的预测的运动矢量,如果读取的比特的值为“0”,则将使用默认的预测的运动矢量。
如果解码器根据其与编码器的配置清楚地知道使用哪一个运动矢量预测模式,则不需读取用于表示运动矢量预测模式的比特,其中,可以使编码器免于传送这种运动矢量预测模式。
运动矢量重构器350将在第一预测的运动矢量确定器330或者第二预测的运动矢量确定器340中确定的预测的运动矢量(最佳的预测的运动矢量或者默认的预测的运动矢量)增加至在残差矢量解码器320中所重构的残差矢量,以重构当前块的当前运 动矢量。
下面将参照图4至图12具体描述根据一个方面的通过运动矢量编码装置200的运动矢量编码方法。
图4是示出根据一个方面的运动矢量编码方法的示意性流程图。
在步骤S410中,运动矢量编码装置200在从多个运动矢量预测模式选出的运动矢量预测模式中选择当前运动矢量的预测的运动矢量,在步骤S420中对当前运动矢量以及预测的和选择的运动矢量之间的残差矢量进行编码,在步骤S430中对在所选择的运动矢量预测模式中的运动矢量预测模式进行编码,并且在步骤S440产生并输出包括编码后的残差矢量和编码后的运动矢量预测模式的比特流。
在步骤S430中,其中,在通过运动矢量编码装置200对所选择的运动矢量预测模式中的运动矢量预测模式进行的编码中,假设运动矢量编码装置200与运动矢量解码装置300共享确定当前块的运动矢量预测模式的确定处理,如果运动矢量预测模式是非竞争的但是仅当是竞争预测模式时才着手对运动矢量预测模式进行编码,运动矢量解码装置200可以保持对运动矢量预测模式进行编码。换言之,如果根据解码器与编码器的配置该解码器清楚地知道所使用的恰当的运动矢量预测模式,则可以不需要对运动矢量预测模式进行编码。例如,如果预先配置使用在上部、左侧或其它相邻位置的运动矢量作为运动矢量预测模式,则可以省略对运动矢量预测模式进行编码。
例如,如果没有可用的备选运动矢量来用作当前运动矢量的预测的运动矢量(在这种情况下,缺少用作预测的运动矢量的备选运动矢量的情况可以使得将所有可用的备选运动矢量定义为(0,0))或者仅有一个可用的运动矢量、或者存在多个但相同的备选运动矢量、或者存在不同的可用的备选运动矢量因而所确定的最佳的预测的运动矢量与默认的预测的运动矢量相同,则可以看出运动矢量编码装置200和运动矢量解码装置300将找到相同的结果,而不管在其最佳的预测的运动矢量的选择中使用了哪个运动矢量预测模式。因此,运动矢量编码装置200和运动矢量解码装置300可以通过共享预定的确定处理来选择相同的最佳的预测的运动矢量,其中,所述预定的确定处理在选择最佳的预测的运动矢量中使用任何预测模式都可以产生相同的结果。
如所描述的,当运动矢量编码装置200和运动矢量解码装置300共享预定的确定处理并且认识到对运动矢量预测模式进行存储或传送时,由于当利用通过非竞争预测模式所确定的预测的运动矢量产生残差矢量并对其进行编码时,可以将残差矢量识别 为相同的,因此运动矢量编码装置200和运动矢量解码装置300将在其互相约定的方法中所确定的默认的预测的运动矢量确定为当前运动矢量的预测的运动矢量。
在步骤S410中,如果所选择的运动矢量预测模式是非竞争预测模式,运动矢量编码装置200将在预测的方法中所确定的默认的预测的运动矢量确定为当前运动矢量的预测的运动矢量。
另外在步骤S410中,如果所选择的运动矢量预测目的不是非竞争预测模式,运动矢量编码装置200在最佳的运动预测矢量和默认的运动预测矢量之间进行选择以用作预测的运动矢量。为此,运动矢量编码装置200以预定的方法从多个备选运动矢量中选择一个备选运动矢量以将该选择的备选运动矢量用作当前运动矢量的预测的运动矢量(即,最佳的预测的运动矢量)。此外,使用所述的相同的处理来确定运动矢量解码装置300是否能够选择其最佳的预测的运动矢量,所述最佳的预测的运动矢量具有与通过运动矢量编码装置200所确定的最佳的预测的运动矢量相同的运动矢量,换言之,使用所述的相同的处理来确定由运动矢量编码装置200所选择的最佳的预测的运动矢量是否是通过运动矢量解码装置300可预测的。
如果运动矢量解码装置300要选择的最佳的预测的运动矢量与由运动矢量编码装置200所选择的最佳的预测的运动矢量相同,则将用于识别运动矢量预测模式的比特确定为用于表示可预测模式的值(例如,“1”),并且将最佳的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量。然而,如果运动矢量解码装置300要选择的最佳的预测的运动矢量与由运动矢量编码装置200所选择的最佳的预测的运动矢量不同,则将用于识别运动矢量预测模式的比特确定为用于表示不可预测模式的值(例如,“0”),并且将默认的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量。
参照图4所描述的根据该方面的运动矢量编码方法可以在图5中进行详细说明和执行。
图5是示出根据一个方面的运动矢量编码方法的特定实施例的流程图。
参照图5,在步骤S500中,运动矢量编码装置200针对当前块的当前运动矢量定义了备选运动矢量集合,在步骤S502中,从备选运动矢量集合中选择最佳的预测的运动矢量,在步骤S504中,确定运动矢量预测模式是否是非竞争预测模式,如果是,则在步骤S506中确定运动矢量解码装置300是否能够预测最佳的预测的运动矢量,如果可以,则在步骤S508中通过利用最佳的预测的运动矢量来对当前运动矢量 进行编码,但是如果步骤S506确定装置300不能预测或者在步骤S504确定运动矢量预测模式不是非竞争模式或者是竞争模式,则在步骤S510中用默认的预测的运动矢量来对当前运动矢量进行编码。
如果在步骤S504中确定运动矢量预测模式是非竞争预测模式,并且与解码器的预先布置明显地清楚是非竞争预测模式,则可以省去用于确定运动矢量解码装置300是否能够预测最佳的预测的运动矢量的步骤S506。在这种情况下,步骤S508通过利用最佳的预测的运动矢量来对当前运动矢量进行编码。因此,这是步骤S510可以免于用默认的预测的运动矢量对当前运动矢量进行编码后的情况。
此外,运动矢量编码装置200在步骤S512中确定在块中按照上层单元的完整块中是否存在任何错过从S500至S510的步骤的剩余的块,如果存在,则转到步骤S500并且对剩余的块执行步骤S500至S510,如果没有剩余的步骤,则在步骤S514针对按照上层单元的块的运动矢量预测模式执行第三编码。
此外,运动矢量编码装置200将根据步骤S508或步骤S510编码后的当前运动矢量(即,残差矢量)以及根据步骤S514编码后的运动矢量预测模式插入至比特流,并且输出这种比特流。
在步骤S504,运动矢量编码装置200基于与运动矢量解码装置300共享的预先设置的确定标准来确定运动矢量预测模式是否是非竞争模式(以及编码是否相应地是可省略的)。此处,确定是否可以省略对运动矢量预测模式进行编码(即,运动矢量预测模式是否等同于非竞争预测模式)是通过确定运动矢量编码装置200和运动矢量解码装置300是否共享预定的确定处理(因而不需在它们之间交换信息来获知应该使用哪个运动矢量预测模式)来执行的。换言之,对应于非竞争预测模式情况为有0个或1个可用的备选运动矢量、或者有一个或更多个同样的备选运动矢量、或者存在两个或更多个不同的备选运动矢量但是导致选择了最佳的预测的运动矢量并且该最佳的预测的运动矢量与默认的预测的运动矢量相同。因此,在由默认的预测的运动矢量所生成并编码后的残差矢量与由最佳的预测的运动矢量所生成并编码后的残差矢量可以视为彼此相等的情况下确定省略对运动矢量预测模式进行编码的选择,即,确定运动矢量预测模式是否等于非竞争预测模式。参照图2提供了相关的描述,并且将省略另外的具体的说明。或者,根据解码器与编码器的配置该解码器清楚地知道哪个运动矢量用作预测的运动矢量的情况对应于非竞争预测模式。例如,可以与编码器预 先配置为如下情形,即,针对识别为具有特定形状的块,基于块的形状和位置选择特定相邻的运动矢量用作预测的运动矢量。
如果步骤S504将运动矢量预测模式确定为非竞争预测模式、或者步骤S506得出运动矢量解码装置300不能预测在步骤S502中所选择的最佳的运动矢量的结论,则运动矢量编码装置200在步骤S514中不对运动矢量预测模式进行编码。然而,如果步骤S504将运动矢量预测模式确定为非竞争预测模式、并且步骤S506得出运动矢量解码装置300能够预测在步骤S502中所选择的最佳的运动矢量的结论,则运动矢量编码装置200在步骤S514中对块运动矢量预测模式进行编码。
此外,运动矢量编码装置200在步骤S514中通过按照比块单元更上层的单元在多个块中对分配至竞争预测模式的块的运动矢量预测模式共同进行编码,来对运动矢量预测模式进行编码。为此,运动矢量编码装置200通过利用无压缩编码或无损压缩编码对运动矢量预测模式的数目(例如,指示数目的比特)以及该数目的运动矢量预测模式(例如,指示该数目的运动矢量预测模式的比特)进行编码,来对属于上层单元的、并且属于竞争预测模式的块的运动矢量预测模式进行处理。此时,考虑到通过运动矢量编码装置200对在按照层单元的、并且分配至竞争预测模式的块的运动矢量预测模式进行的共同编码,步骤S512检查在块的上层单元中是否存在任何未处理的块,并且确保在块的上层单元中的全部的块都经历了步骤S500至S512,以获得分配至竞争预测模式的全部上层单元块的运动矢量预测模式,并且在步骤S514中对运动矢量预测模式进行编码。
最终,分别将从步骤S512编码后的残差矢量和编码后的运动矢量预测模式作为语法插入至比特流。通过有线的、无线的或包括存储介质的其它传输信道将比特流传送至运动矢量解码装置300。
下面将分别参照图6、图7、图8、图9和图12具体地描述步骤S500、S502、S506、S508和S510。
图6是例示根据一个方面定义一组备选运动矢量的步骤的流程图。
参照图6,根据一个方面的步骤S500用于定义一组备选运动矢量的步骤S500包括:步骤S600,其用于搜索当前块的一个或更多个相邻的块;步骤S602,其用于计算所搜索的一个或更多个相邻的块的各自的运动矢量;以及步骤S604,其用于收集各个计算的备选运动矢量、并且定义备选运动矢量集合。
参照图1的例示,在步骤S500中定义的备选运动矢量集合为{MVA、MVB、MVC},其由包含在分别位于当前块D的左侧、上侧和右侧的相邻块A、B和C中的运动矢量构成。然而,更广义上来说,可以通过收集更加多样化的运动矢量来定义备选运动矢量集合。
例如,之前存在于与当前块相同位置的时间轴上的块的运动矢量或者在空间轴上的左上侧的块的运动矢量可以用作备选运动矢量。而且,这种运动矢量可以用于定义被包括在备选运动矢量集合中的其他运动矢量(例如,多个运动矢量的评价值或中间值)。
因此,针对一个或更多个相邻的块,步骤S600可以搜索至少一个第一块和至少一个第二块中的一个或更多个,其中,所述第一块包括在在时间轴上之前和未来存在于与当前块相同位置的一个或更多个图片中,所述第二块位于与当前块相邻的空间轴上。
此外,针对所搜索的一个或更多个相邻的块的各个运动矢量,步骤S602可以计算以下的一项:至少一个第一块的各个运动矢量、至少一个第二块的各个运动矢量、以及第一块和第二块的一个或更多个各个运动矢量的平均值或者中间值。
可以在编码装置200和解码装置300的现有知识之下,以许多不同的方法来定义所描述的备选运动矢量集合。此外,如果备选运动矢量集合的备选运动矢量某些分量或全部分量具有相同的值,则可以使备选运动矢量集合仅包括不同值的备选运动矢量。
图7是例示根据一个方面选择预测的运动矢量的步骤的流程图。
参照图7,选择预测的运动矢量的步骤S502包括:步骤S700,其利用在编码装置200和解码装置300之间预定的选择函数来计算一个或更多个各个备选运动矢量的选择函数的值;以及步骤S702,其基于选择函数的计算的值来选择备选运动矢量作为最佳预测的运动矢量。
例如,所提及的“选择函数的值”可以包括以下各项中的一个或更多个、或者以下各项组合的一个或更多个:对在根据当前运动矢量定义的备选运动矢量集合中的一个或更多个各个备选运动矢量的残差矢量进行编码所需的比特量、在根据当前运动矢量定义的备选运动矢量集合中的一个或更多个各个备选运动矢量的残差矢量的数量、以及对运动矢量预测模式进行编码所需的比特量。
如果将残差矢量的比特量用于选择函数值,所述步骤S702可以计算例如在定义的备选的运动矢量集合中的一个或更多个各个备选运动矢量的残差矢量进行编码所需的比特量,并且选择具有所计算的最低比特量的备选运动矢量作为最佳预测的运动矢量。
除了利用选择函数值的比特量作为选择最佳预测的运动矢量的基础以外,步骤S502还可以通过利用率失真优化方法达到相同的目的,其中,所述率失真优化根据在定义的备选运动矢量集合中的一个或更多个备选运动矢量的可能的选择连同要重构的图像的附带质量来考虑进行编码所需的比特量。
选择预测的运动矢量的步骤S502可以使用等式4中的拉格朗日成本函数(Lagrangian cost function)作为用于选择最佳的预测的运动矢量的选择函数。
J(n,k)=(n,k)+λ×[RH(n,k)+RM(n,k)] 等式4
此处,J是拉格朗日成本,D是从原始图像重构的图像的差错,并且λ是拉格朗日乘子。RH是对运动矢量预测模式进行编码所需的比特量,并且RM是对当前运动矢量的残差矢量进行编码所需的比特量。通过n和k来定义等式4中的J、D、RH、RM,其中,n用于表示当前块所处于的图像的数目,并且k用于表示块的数目。这表示图像单元和块单元针对应用是可选择的。
此外,针对从原始图像重构的图像的差错D处于选择最佳的预测的运动矢量的过程中或者方便计算的情形,可以通过移除D和λ对用于计算拉格朗日成本J的等式4进行简化。
在由运动矢量编码方法所引起的计算拉格朗日成本的处理中,RH是对运动矢量预测模式进行编码所需的比特量,并且RM是针对根据编码后的当前运动矢量的残差矢量进行编码所需的比特量,并且按照运动矢量预测模式进行可变的计算。具体地,如果运动矢量预测模式指示解码装置300不能预测最佳的预测的运动矢量,则RM是对通过中间值计算或这种预定的默认的方法(即,针对当前运动矢量的默认的预测的运动矢量)所生成的预测的运动矢量的残差矢量进行编码所需的比特量。此外,如果运动矢量预测模式指示解码装置300能够预测最佳的预测的运动矢量,则RM为对针对当前运动矢量所选择的最佳的预测的运动矢量的残差矢量进行编码所需的比特量。
除了使用如等式4的拉格朗日成本函数来选择最佳的预测的运动矢量以外,选择预测的运动矢量的步骤S502可以通过使用一些包括更加通用的选择函数的公式的等 式5来实现相同的操作。然而,通过假设当前块的当前运动矢量要编码为块D运动矢量MVD来表示等式5。
等式5
在等式5中,PMVenc是所选择的最佳的预测的运动矢量,并且PMVC表示属于备选运动矢量的备选运动矢量集合CS的要素(运动矢量),其中,所述备选运动矢量可选择为当前运动矢量MVD的预测的运动矢量。“h()”是用于从其预测的运动矢量选择预测的运动矢量的选择函数,该选择出的预测的运动矢量最有利于通过对当前运动矢量MVD进行残差运算来对当前运动矢量MVD进行编码。
供使用的选择函数h()的一个示例可以是在残差运算之后对当前运动矢量进行编码所需的比特量、或者是在残差运算之后对当前运动矢量进行编码所需的比特量与对运动矢量预测模式进行编码所需的比特量的和。此外,为了简化计算,可以利用残差矢量量或者在当前运动矢量和预测的运动矢量之间的差异来代替实际所需的比特量。更普遍地,在编码装置200和解码装置300的现有认知之下,可以按照许多不同的方法来定义选择函数h()。假定这样的选择函数h(),可以从备选运动矢量集合CS选择优化选择函数h()的备选运动矢量PMVC作为最佳的预测的运动矢量PMVenc,所述备选运动矢量集合CS包括作为预测的运动矢量的备选的备选运动矢量。
图8是例示根据一个方面的确定最佳预测的运动矢量的可预测性的处理的流程图。
参照图8,确定最佳的预测的运动矢量的可预测性的步骤S506包括:步骤S800,其计算包括在通过在编码装置200和解码装置300之间预定的确定函数来定义的备选运动矢量集合中的一个或更多个各个备选运动矢量的确定函数值;步骤S802,其根据所计算的确定函数选择至少一个备选的运动矢量中的一个作为当前运动矢量的估计的预测的运动矢量;步骤S804,其在所选择的估计的预测的运动矢量和所选择的最佳的预测的运动矢量之间进行比较;以及步骤S806,其确定从比较结果所选择的最佳的预测的运动矢量是否通过解码装置300是可预测的。
如果编码器和解码器的预先配置清楚地断定解码装置300可以预测所选择的最佳的预测的运动矢量,则可以省略确定的步骤S806。
也可以利用等式5的表达式来描述确定最佳的预测的运动矢量的可预测性的步骤S506,利用在先前的步骤S502中所选择的最佳的预测的运动矢量PMVenc计算的 残差矢量、可以成为预测的运动矢量的备选的有限数目的备选运动矢量、在运动补偿中所使用的参考图像、以及关于已经重构的相邻块的信息可以用于确定通过运动矢量解码装置300是否能够预测在先前的步骤S502中所选择的最佳的预测的运动矢量。
另选地,也可以利用等式5的表达式来描述确定最佳的预测的运动矢量的可预测性的步骤S506,利用在先前的步骤S502中所选择的最佳的预测的运动矢量PMVenc计算的残差矢量、可以成为预测的运动矢量的备选的有限数目的备选运动矢量、在运动补偿中所使用的参考图像、关于已经重构的相邻块的信息、以及根据像素值的运动补偿的残差信号可以用于确定通过运动矢量解码装置300是否可以预测在先前的步骤S502中所选择的最佳的预测的运动矢量。
为此,运动矢量解码装置300利用DMVD(=MVD-PMVenc)(DMVD是通过运动矢量编码装置200进行计算并传送的、针对当前运动矢量(MVD)的残差矢量)、关于已经重构的相邻块的信息、以及在运动补偿中所使用的参考图像来通过例如等式6的预定的确定方法求解估计的预测的运动矢量PMVdec
等式6
在等式6中,确定函数g()用于运动矢量编码装置200确定运动矢量解码装置300是否能够通过利用要由运动矢量编码装置200计算并传送的残差矢量以及关于已经重构的相邻块的信息来预测最佳的预测的运动矢量PMVenc。运动矢量解码装置300也可以在对预测的运动矢量进行预测时使用确定函数g()。如先前描述的,如果编码器和解码器的预先配置清楚地断定解码装置300可以预测所选择的最佳的预测的运动矢量,则可以不使用确定函数。
在运动矢量编码装置200和运动矢量解码装置300的现有的认知之下,可以以不同的方法定义确定函数g(),并且下面将详细说明这种确定函数g()的一个方面。
通过等式6,运动矢量编码装置200对即将由运动矢量解码装置300算出的估计的预测的运动矢量PMVdec执行预先的计算,然后检查运动矢量解码装置300是否能够通过利用所提供的残差矢量DMVD(=MVD-PMVenc)以及关于已经重构的相邻块的信息来预测最佳的预测的运动矢量PMVenc并且获得正确地重构的图像数据。换言之,运动矢量编码装置200提前执行由运动矢量解码装置300来求解最佳的预测的运动矢量的未来处理,以在该运动矢量编码装置的编码操作中采用该结果。
下面将对所描述的步骤S804和S806的各个方面进行描述。首先,如下是用于确定最佳的预测的运动矢量PMVenc是否能够由运动矢量解码装置300预测的方法的一个方面。
如果在步骤S506中通过等式6所计算的估计的预测的运动矢量PMVdec等于在步骤S502中所选择的最佳的预测的运动矢量PMVenc,则运动矢量解码装置300可以将其自己估计的预测的运动矢量PMVdec增加至由运动矢量编码装置200所提供的残差矢量DMVD,从而重构精确的当前运动矢量MVD,并且获得正确重构的图像数据。因此,运动矢量解码装置200响应于其自己对估计的预测的运动矢量PMVdec(其与估计为由运动矢量解码装置300所算出的估计的预测的运动矢量PMVdec相同)的选择以确定运动矢量解码装置300对最佳的预测的运动矢量PMVenc的可预测性,否则确定不可预测性。
另选地,取决于各个方面,运动矢量解码装置200响应于其自己对估计的预测的运动矢量PMVdec(其与估计为由运动矢量解码装置300所算出的估计的预测的运动矢量PMVdec相差小于预定的边界值的量)的选择以确定运动矢量解码装置300对最佳的预测的运动矢量PMVenc的可预测性,否则确定不可预测性。
下面是用于确定最佳的预测的运动矢量PMVenc通过运动矢量解码装置300是否是可预测的方法的另一方面。在图像的压缩率高或者图像像素的改变不大或者图像的运动矢量的改变不大情况下,即使最佳的预测的运动矢量PMVenc和估计的预测的运动矢量PMVdec不相同,经由通过利用以估计的预测的运动矢量PMVdec所重构的运动矢量(即,MV'D=DMVD+PMVdec)的运动补偿的图像数据恰巧与经由通过利用以最佳的预测的运动矢量PMVenc所重构的运动矢量(即,MVD=DMVD+PMVenc)运动补偿的图像数据相同,其中,最佳的预测的运动矢量PMVenc被确定为可由运动矢量解码装置300利用估计的预测的运动矢量PMVdec进行预测,并且不管最佳的预测的运动矢量PMVenc和估计的预测的运动矢量PMVdec之间的不相等,否则确定为不可预测的。
下面是用于确定最佳的预测的运动矢量PMVenc通过运动矢量解码装置300是否是可预测的方法的另一方面。如果在通过利用用于提高压缩率的估计的预测的运动矢量PMVdec所得到的重构的图像数据和通过利用最佳的预测的运动矢量PMVenc所得到的重构的图像数据之间的差异等于或小于预定的边界值(例如当两个重构的图像数据 之间的差异或SAD的和等于或小于预定的边界值时),则确定最佳的预测的运动矢量PMVenc可通过运动矢量解码装置300利用估计的预测的运动矢量PMVdec进行预测,否则最佳的预测的运动矢量PMVenc不可通过运动矢量解码装置300利用估计的预测的运动矢量PMVdec进行预测。
另选地,在解码器根据该解码器与编码器的配置清楚已知将哪个运动矢量用作预测的运动矢量的情况下,确定运动矢量解码装置300能够预测最佳的预测的运动矢量PMVenc。例如,将对编码器进行这样的预先配置:针对识别为具有特定的形状的块,根据其形状或者位置选择特定的相邻的运动矢量作为预测的运动矢量。
将确定可预测性的上述几个方面换句话说,所描述的步骤S804和S806查看所选择的估计的预测的运动矢量是否与所选择的最佳的预测的运动矢量相同、或者相差等于或小于预定的边界值的值,如果是这样,则将所选择的最佳的预测的运动矢量确定为可由运动矢量解码装置300进行预测。
或者,在解码器根据该解码器与编码器的配置清楚已知将哪个运动矢量用作预测的运动矢量的情况下,确定运动矢量解码装置300可以预测最佳的预测的运动矢量PMVenc。例如,由于将对编码器进行这样的预先配置:针对识别为具有特定的形状的块,根据其形状或者位置选择特定的相邻的运动矢量作为预测的运动矢量,可以将所选择的最佳的预测的运动矢量确定为可由运动矢量解码装置300进行预测。
此外,如果所述步骤S804和S806发现利用估计的并且选择的预测的运动矢量所重构的图像数据与利用选择的最佳的预测的运动矢量所重构的图像数据相同、或者相差等于或小于预定的边界值的值,则将所选择的最佳的预测的运动矢量确定为可由运动矢量解码装置300进行预测。
参照图8,在步骤S800中,运动矢量编码装置200通过利用在运动矢量编码装置200和运动矢量解码装置300之间预定的确定函数(等式6中的g())来计算确定函数值,并且根据所计算的确定函数值,在步骤S802中选择具有在等式6最小的函数值的备选运动矢量作为估计的预测的运动矢量PMVdec。随后,在步骤S804中对估计的预测的运动矢量PMVdec和最佳的预测的运动矢量PMVenc进行比较,并且在步骤S806中最终确定可预测性。
可以以各种形式实现在运动矢量编码装置200和运动矢量解码装置300之间预定的确定函数。
针对等式6的确定函数g()可以使用利用模板匹配(TM:template matching)和边界匹配(BM:boundary match)的函数。
为了首先描述利用TM的确定函数,可以将模板匹配像素索引集合或者模板匹配集合(TMS:template matching set)定义为用于表示所选择的像素关于给定的指定的块位置(例如,接近于指定的块的周围在其左侧、左上侧和上侧的M个像素的位置)的相对位置的索引的集合。其它方法根据需要也是可用的。通常,像素TMS越多,计算量越大。模板匹配的方法是在可用于选择为预测的运动矢量的集合(CS)中对所有的备选的预测的运动矢量进行定义之后,并且利用等式7、等式6的一个方面来计算针对当前块的TMS指示性像素和针对由在定义的备选运动矢量集合中的各个备选运动矢量所指定的参考块的TMS指示性像素之间的差,从而计算由于各个备选运动矢量所导致的匹配误差,接着选择具有最小的匹配误差的备选作为前述的估计的预测的运动矢量PMVdec
等式7
等式7具有f(PMVC+DMV,i),其中,(PMVC+DMV)表示由索引i所表示的像素位置(包括在TMS中)以及邻近在参考图像中由i所指示的参考块的像素位置,并且f(PMVC+DMV,i)表示在这些位置中的像素值。此外,C(i)表示邻近当前块的、并且由索引i所指示的像素的像素值。
在确定函数的一个方面,g(PMVC|DMV)将残差矢量DMVD和备选运动矢量PMVC引入PMVC+DMV以计算对应的块的运动矢量并且接着计算通过用算出的运动矢量对对应的块进行运动补偿所得到的重构的块的正确性,其中,残差矢量DMVD是由运动矢量编码装置200所提供的,并且备选运动矢量PMVC是备选运动矢量集合CS的要素并且用作预测的运动矢量。为了进行所述计算,虽然不同的应用会建议其它可用的方法(包括绝对误差的和SAD),但是等式7使用了均方误差的和。PMVdec表示将确定函数g(PMVC|DMV)的一个方面最小化的备选运动矢量PMVC。
换言之,作为执行预定的确定函数并计算确定函数值的方法,图8中的步骤S800计算由针对当前块的模板匹配像素索引所指示的像素和由针对参考块的TMS(模板匹配集合)所指示的像素之间的像素值的差,其中,所述参考块是由在定义的备选运 动矢量集合中的一个或更多个各个备选运动矢量指定的,并且根据所计算的像素值的差,计算一个或更多个各个备选运动矢量的匹配误差以用作确定函数值。
接着,为了利用边界匹配(BM)来描述确定函数,以与TMS的方面相似的方式,可以将边界匹配索引集合BMS定义为用于指示在当前块的最左边和最上边的像素值的位置的索引的集合。当然,根据应用,可以通过在当前块中的、在块边界的某些像素或全部像素的位置来定义BMS。
在用于选为预测的运动矢量的集合CS中定义了所有可用的备选运动矢量之后,为了获知在备选运动矢量集合CS中的哪个备选运动矢量PMVC是最佳的,执行边界像素匹配,以计算在通过用运动补偿进行编码所重构的当前块和其相邻块之间的边界处的连接有多平滑,以从备选运动矢量集合CS中选择将边界像素匹配的误差最小化的备选运动矢量PMVC,并且将该选择的备选运动矢量设置为估计的预测的运动矢量PMVdec
为了进一步细化该处理,首先通过将运动矢量编码装置200所计算的残差矢量DMV增加至参考块的值来重构当前块的像素值,其中,通过备选运动矢量PMVC+DMV来指定所述参考块,备选运动矢量PMVC+DMV是用备选运动矢量集合CS的备选运动矢量要素PMVC和由运动矢量编码装置200所确定的残差矢量DMV算出的,然后,在利用根据各个运动矢量施加了运动补偿的当前块重构中,确定产生当前块的、与之前重构的相邻像素具有最高的边界匹配度的重构块的预测的运动矢量。为此,用如图8所示的均方误差的和来计算属于各个备选运动矢量的匹配误差。当然,SAD(绝对误差的和)或者其它方法对于匹配误差计算也是可用的。
等式8
在等式8中,C(i)表示这样的像素的像素值,即,所述像素通过在当前块的重构的像素之中的边界匹配像素索引集合BMS之内的索引i来进行指定,其中,通过将在运动矢量编码装置200计算了运动补偿之后的像素残差信号增加至由备选运动矢量PMVC+DMV所指定的参考块的值来重构所述当前块,其中,用备选运动矢量集合CS的备选运动矢量要素PMVC以及由运动矢量编码装置200所确定的DMV来计算所述备选运动矢量PMVC+DMV。此外,f(i)表示这样的像素的像素值,即,所述 像素在当前块的相邻块中的边界像素之中、并且与由BMS中的索引i所指示的像素直接相邻。利用等式8,计算了在备选运动矢量集合CS中的各个备选运动矢量PMVC的边界像素匹配误差,并且将其具有最小的生成的匹配误差的备选运动矢量选作估计的预测的运动矢量PMVdec。这被称为通过运动矢量解码装置300所选择的预测的运动矢量。
换言之,关于包括在定义的备选运动矢量集合中一个或更多个各个备选的运动矢量,在图8中的步骤S800可以使用在像素值(A)和像素值(B)之间的像素值差,作为计算要成为确定函数值的、一个或更多个各个备选运动矢量的匹配误差的基础,由此执行预定的确定函数来计算确定函数值,其中,所述像素值(A)的像素通过这样的索引来指定,即,所述索引在边界匹配像素索引集合BMS中、并且从当前块的重构的像素选出,其中,通过将在由运动矢量编码装置200计算的运动补偿之后的残差信号(1)增加至由备选运动矢量所指定的参考块的值(2)来重构所述当前块,其中,通过由运动矢量编码装置200所确定的残差矢量(i)以及对应的运动矢量(ii)来计算所述备选运动矢量;所述像素值(B)的像素位于与由在边界匹配像素索引集合BMS中的索引所指定的、并且从在当前块的相邻块中的边界像素所选出的像素相邻的位置。
参照图8,为了完成步骤S506,在步骤S800和S802中,运动矢量编码装置200选择通过模板匹配或者边界像素匹配的设置的确定方法所确定的具有最小的匹配误差的估计的预定的运动矢量PMVdec
在步骤S804中,通过对所选择的估计的预定的运动矢量PMVdec和在步骤S502中选择的最佳的预测的运动矢量PMVenc进行比较来进行相等性检查。在步骤S806中,如在所描述的确定方法中,如果估计的预定的运动矢量PMVdec和最佳的预测的运动矢量PMVenc相等,则运动矢量解码装置300明确地能够预测针对当前块的当前运动矢量的最佳的预测的运动矢量,否则,确定为不可预测性。此外,如上所述,虽然在估计的预定的运动矢量PMVdec和最佳的预测的运动矢量PMVenc之间发现不相等,但是如果它们趋向于相等或者相差小于预定的边界值以使得有助于重构图像,则仍然将估计的预定的运动矢量PMVdec和最佳的预测的运动矢量PMVenc估计为相等,并且将运动矢量解码装置300视为能够预测针对当前块的当前运动矢量的最佳的预测的运动矢量。
图9是例示根据一个方面利用最佳的预测的运动矢量对当前运动矢量进行编码的步骤的流程图。
参照图9,通过利用最佳的预测的运动矢量对当前运动矢量进行编码的步骤S508包括:步骤S900,其用于将所选择的最佳的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量;步骤S902,其用于计算在当前运动矢量和所选择的最佳的预测的运动矢量之间的残差矢量;以及步骤S904,其用于通过编码所计算的残差矢量来对当前运动矢量进行编码,并且将指示可预测性的运动矢量预测模式传送至第三编码器250。
图10是例示根据一个方面利用默认的预测的运动矢量对当前运动矢量进行编码的步骤的流程图。
参照图10,通过利用默认的预测的运动矢量来对当前的运动矢量进行编码的步骤S510包括:步骤S1000,其用于将预设的默认的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量;步骤S1002,其用于计算当前运动矢量和预设的默认的预测的运动矢量之间的残差矢量;步骤S1004,其用于确定步骤S504的运动矢量预测模式是否是非竞争预测模式;如果运动矢量预测模式不是非竞争预测模式,或者如果运动矢量预测模式是不可忽略的,则步骤S1006对其进行响应:通过对所计算的残差矢量进行编码来对当前运动矢量进行编码,并且将指示不可预测性的运动矢量预测模式传送至第三编码器250;如果运动矢量预测模式是非竞争预测模式,或者如果运动矢量预测模式是可忽略的,则步骤S1008对其进行响应:通过对所计算的残差矢量进行编码来对当前运动矢量进行编码,并且省略对运动矢量运动模式进行编码。
在步骤S1002中的预设的默认的预测的运动矢量是当前块的一个或更多个相邻块的运动矢量的中间值,并且被预设在运动矢量编码装置200和运动矢量解码装置300之间。
或者,在解码器根据该解码器与编码器的配置清楚已知将哪个运动矢量用作预测的运动矢量的情况下,在步骤S1002中明显的预测的运动矢量是指预设的默认的预测的运动矢量。例如,编码器和解码器可以提前约定,针对识别为具有特定的形状的块,根据块的形状和位置将特定的相邻运动矢量用作预测的运动矢量。
图11是例示根据一个方面执行第三编码的步骤的流程图。
参照图11,对运动矢量预测模式进行编码的步骤S514包括:步骤S1110,其用 于对存在于与上层单元等效的单独的编码单元中(而不是预定的包括运动矢量的非单独的编码单元)的运动矢量预测模式的数目进行编码并计算;以及步骤S1120,其用于对存在于与上层单元等效的单独的编码单元中(而不是预定的包括运动矢量的非单独的编码单元)的运动矢量预测模式进行共同地编码。
图12是示出根据一个方面的运动矢量解码方法的特定实施示例的流程图。
参照图12,可以看到存在于上层单元(例如,片段单元的单独的编码单元的)而不是对运动矢量进行编码的其下层块单元中的运动矢量预测模式的数目与运动矢量预测模式一起被共同地编码。
下面将参照图13至图15进一步描述利用运动矢量解码装置300根据图3的方面所描述的运动矢量解码方法。
图13是示出根据一个方面的运动矢量解码方法的流程图。
参照图13,在步骤S1300中,运动矢量解码装置300对比特流进行解码以重构在当前运动矢量和预测的运动矢量之间的残差矢量以及当前运动矢量的运动矢量预测模式,在步骤S1302,根据运动矢量预测模式选择当前运动矢量的预测的运动矢量,并且在步骤S1304通过利用所选择的预测的运动矢量重构当前运动矢量。此时,如果解码器清楚地知道是否使用预定的默认的预测的运动矢量,例如,在上侧、左侧或其它相邻位置的运动矢量的值,则步骤S1300可以免于重构当前运动矢量的运动矢量预测模式。
在步骤S1300,运动矢量编码装置200以在运动矢量编码装置200和运动矢量解码装置300之间预定的并相互约定的不同的独立的或非独立的单元对选择性编码后的运动矢量预测模式和残差矢量进行解码。换言之,通过在运动矢量编码装置200和运动矢量解码装置300之间预先约定的预定的确定处理,确定运动矢量预测模式的存在或者不存在。
如果将运动矢量预测模式确定为不存在,则将运动矢量预测模式确定为非竞争预测模式,并且步骤S1302选择预测的运动矢量作为默认的预测的运动矢量。如果根据在步骤S1300中重构的上层单元中分配至竞争预测模式的块的运动矢量预测模式,将运动矢量预测模式确定为存在,则该方法读出用于表示对应块的运动矢量预测模式的比特值,并且选择被该值指示为对应的块的预测的运动矢量的运动矢量。
在步骤S1302中,如果用于表示运动矢量预测模式的比特值指示相同的运动矢量预测模式同时是竞争预测模式和不可预测模式(例如,比特值是“0”),则运动矢量解码装置300对此作出响应并选择由之前的约定所确定的默认的预测的运动矢量。此外在步骤S1302中,如果用于表示运动矢量预测模式的比特值指示相同的运动矢量预测模式同时是竞争预测模式和可预测模式(例如,比特值是“1”),则运动矢量解码装置300对此作出响应并选择多个备选运动矢量中的一个作为针对当前运动矢量的预测的运动矢量,即,通过利用预定的方法的最佳的预测的运动矢量。这里,预定的方法可以根据模板匹配或者边界像素匹配。
在以下描述中,将参照图14和图15具体描述根据图13的方面的运动矢量解码方法的具体示例。
图14是示出根据另选的方面的特定的示例性运动矢量解码方法的流程图。
参照图14,该解码方法包括:步骤S1400,其用于运动矢量解码装置对通过运动矢量编码装置200所编码后的运动矢量预测模式和编码后的残差矢量进行解码;步骤S1402,其用于确定运动矢量预测模式的存在或不存在;步骤S1404,其用于确定解码后的运动矢量预测模式指示可预测性还是指示不可预测性;步骤S1406,其响应于解码后的运动矢量预测模式指示可预测性,定义可以用来被选作用于对当前块的当前运动矢量进行重构的预测的运动矢量的备选运动矢量的集合,从定义的备选运动矢量的集合中选择最佳的预测的运动矢量,并且将所选择的最佳的预测的运动矢量确定为当前运动矢量的预测的运动矢量;步骤S1408,其响应于运动矢量预测模式不存在或者解码后的运动矢量预测模式指示不可预测性,将通过预设的方法确定的默认的预测的运动矢量确定为当前运动矢量的预测的运动矢量;以及步骤S1410,其通过将在步骤S1406或S1408中所确定的预测的运动矢量增加至解码的残差矢量来重构当前块的当前运动矢量。
如果解码器根据其与编码器的配置清楚地知道是哪个运动矢量预测模式,则不需读取用于表示重构运动矢量预测模式的步骤S1400的比特、用于确定运动矢量预测模式的存在或不存在的步骤S1402的比特、以及用于确定运动矢量预测模式指示预测性还是不可预测性的步骤S1404的比特,其中,编码器也免于传送这种运动矢量预测模式。
在步骤S1400中的编码后的残差示例可以是当前运动矢量和预设的默认的预测的运动矢量之间的残差矢量、或者是当前运动矢量和最佳的预测的运动矢量之间的残 差矢量。
图15是例示根据一个方面的将默认的预测的运动矢量确定为针对当前运动矢量的预测的运动矢量的步骤的流程图。
参照图15,用于将默认的预测的运动矢量确定为当前运动矢量的预测的运动矢量的步骤S1404包括:步骤S1500,其定义可以用来被选作用于对当前块的当前运动矢量进行重构的预测的运动矢量的备选运动矢量的集合;步骤S1502,其用于通过利用由运动矢量编码装置200和运动矢量解码装置300共同地定义的确定函数来计算用于包括在该集合中的一个或更多个各个备选运动矢量的确定函数值;步骤S1504,其用于选择具有计算出的最小的确定函数值的备选运动矢量作为最佳的预测的运动矢量,并且确定所选择的最佳的预测的运动矢量作为当前运动矢量的预测的运动矢量。
在步骤S1504中,由运动矢量解码装置300所确定的作为当前运动矢量的预测的运动矢量的最佳的预测的运动矢量可以等于运动矢量编码装置200估计运动矢量解码装置300将会求解得到的估计的预测的运动矢量PMVdec,或者最佳的预测的运动矢量可以与估计的预测的运动矢量PMVdec相差预定的边界值。
此外,在步骤S1502中,运动矢量解码装置300计算由当前块的模板匹配像素索引所指示的像素和由参考块的TMS(模板匹配集合)所指示的像素之间的像素值差,其中,参考块是由包含在定义的备选运动矢量集合中的一个或更多个各个备选运动矢量所指定的,并且根据所计算的像素值差,计算一个或更多个各个备选运动矢量的匹配误差,以用作确定函数值。
此外,在步骤S1502中,关于包括在定义的备选运动矢量集合中的一个或更多个各个备选运动矢量,运动矢量解码装置300利用由在边界匹配像素索引集合BMS中的索引指定的、并且从当前块的重构的像素所选出的像素的值以及位于由在边界匹配像素索引集合BMS中的索引所指定的像素附近的、并且从在当前块的相邻块中的边界像素所选出的像素的值之间的差,作为计算一个或更多个各个备选运动矢量的匹配误差(要成为确定函数值)的基础,其中,通过将在运动矢量编码装置200所计算的运动补偿之后的残差信号增加至由备选运动矢量所指定的参考块的值来重构当前块,其中利用由运动矢量编码装置200所确定的残差矢量和对应的运动矢量来计算备选运动矢量。
图16是示出根据另选的方面的运动矢量解码方法的流程图。
参照图16,由运动矢量解码装置300所执行的解码方法包括:步骤S1600,其用于对通过运动矢量编码装置200所编码后的运动矢量预测模式以及编码后的残差矢量进行解码;步骤S1602,其用于确定运动矢量预测模式的存在或不存在;步骤S1604,其用于确定解码后的运动矢量预测模式指示可预测性还是指示不可预测性;步骤S1606,其响应于解码后的运动矢量预测模式指示可预测性,定义可以用来被选作用于对当前块的当前运动矢量进行重构的预测的运动矢量的备选运动矢量的集合,从定义的备选运动矢量的集合选择最佳的预测的运动矢量,并且将所选择的最佳的预测的运动矢量确定为当前运动矢量的预测的运动矢量;步骤S1608,其响应于运动矢量预测模式不存在或者解码后的运动矢量预测模式指示不可预测性,将通过预设的方法确定的默认的预测的运动矢量确定为当前运动矢量的预测的运动矢量;步骤S1610,其通过将在步骤S1606或S1608中所确定的预测的运动矢量增加至解码后的残差矢量来重构当前块的当前运动矢量;步骤S1612,其用于通过利用运动矢量预测模式的数目来确定正常的解码操作;以及步骤S1614,其用于响应于不正常的解码操作来执行选择性的附加的处理。
在公开的方面,在运动矢量编码装置200和运动矢量解码装置300之间具有共享的并预先约定的预定的确定处理的前提之下,由于它们能够自主地并独立地确定要编码的或解码的块的运动矢量预测模式是否是非竞争预测模式,因此仅当块运动矢量预测模式是竞争预测模式时才仅传送用于将不可预测模式与可预测模式进行区别的比特,并且当块运动矢量预测模式是非竞争预测模式时,免于对运动矢量预测模式进行编码,由此可以充分地减少对当前运动矢量进行编码所需的比特量。
此时,为了使运动矢量编码装置200能够确定块运动矢量预测模式是否是非竞争预测模式,必须遵守另一前提,即,之前解码的相邻块信息是精确的。即,如果在之前解码的相邻块的重构的运动矢量中出现差错,并且导致重构了与在编码操作中所使用的运动矢量不同的运动矢量,则在确定要解码的块的运动矢量预测模式是否是非竞争预测模式时,会出现差错并导致解码器崩溃。
例如,在之前解码的相邻块的重构的运动矢量正确地保持要解码的块的运动矢量预测模式(假定是非竞争预测模式)的情况下,如果在之前解码的相邻块的重构的运动矢量中出现差错并且要解码的块的运动矢量预测模式被错误地确定为竞争预测模式,则运动矢量解码装置300读取重构的运动矢量预测模式的比特值(通过该比特值 选择选择可预测模式或者不可预测模式)、并且将最佳的预测的运动矢量或默认的预测的运动矢量确定为当前块的预测的运动矢量。然而,由于除非在之前解码的相邻块的重构的运动矢量中存在差错,否则块的运动矢量预测模式应该是竞争预测模式,所以不必要地读取了重构的运动矢量预测模式的比特值,导致为了后面的块而节约的比特值的超支,后面的块将面临读取重构的运动矢量预测模式的比特值的短缺,将很可能出现解码器崩溃,并停止对视频的整个解码处理。
因此,为了解决这种问题,在通过运动矢量编码装置200对运动矢量预测模式进行编码的本方面中,不仅提供了对指示运动矢量预测模式(即,表示可预测模式的比特和/或表示不可预测模式的比特)的比特进行编码,而且对指示运动矢量预测模式的数目的比特进行编码,并且将编码后的比特插入至比确定运动矢量的块单元更上层的单元(例如,片段单元或图片单元)的比特流中。
此外,使运动矢量解码装置300对从比特流向回插入至上层单元的编码后的运动矢量预测模式进行解析,以独立于块单元解码的处理之外对运动矢量预测模式进行解码,并且该装置不仅输出表示运动矢量预测模式的比特,还在所获得的运动矢量预测模式的数目和解码出的块的数目之间进行比较,并且使运动矢量预测模式查看是否正在进行正确的解码。例如,如果数目不同,则判定出现差错,该装置会采取下面将要描述的跟进措施。换言之,运动矢量解码装置300通过利用运动矢量预测模式的数目可以自主地确定差错的出现,并且在对出现的差错进行判断之后,它可以自动复位或者尝试通过自主地追踪差错来正常地重构运动矢量。
参照图16描述运动矢量解码装置300的这种操作,如果在从对编码后的运动矢量预测模式和编码后的残差矢量进行解码的步骤(S1600)所获得的运动矢量预测模式的数目以及通过确定运动矢量预测模式的存在或不存在的步骤(S1602)所计算的运动矢量预测模式的数目之间存在差异,则通过利用运动矢量预测模式的数目来确定正常的解码操作的步骤(S1612)可以确定对应的比特流没有被正常地解码,直到完成了对上层单元中的整个块(例如,片段的预定的单独的编码单元)的解码。在对相应的比特流的正常的重构失败时,响应于不正常解码操作的选择性附加处理的步骤(S1614)可以尝试用于运动矢量重构的各种方法。
例如,如果运动矢量编码装置200所传送的(或者经由步骤S1600所获得的)运动矢量预测模式的数目大于完成了在对应的上层单元(例如,片段)中的解码处理时 所计算的运动矢量预测模式的数目,则忽略剩余的运动矢量预测模式的组,完全可以推测不存在运动矢量预测模式。相反地,如果运动矢量预测模式的数目小于完成了在对应的上层单元中的解码处理时所计算的运动矢量预测模式的数目,则表示在存储的(或者传送的)比特流中出现差错,该比特流将被忽略,并且改为通过差错隐藏方法来重构图像。
在图4至图16的流程图中的步骤的顺序和相关的描述仅仅是用于理解本公开的方面的示例。因此,根据其实现方式可以对顺序进行修改。换言之,可以选择性地修改部分的或全部的步骤的顺序,并且在某些情况下可以并行地执行部分的或全部的步骤。
图17是示出根据一个方面的视频编码装置1700的示意性框图。
视频编码装置1700可以包括纹理编码器1710、运动矢量编码器1720和复用器1730。
纹理编码器1710预测输入图像中跟随当前块的当前运动矢量的要编码的当前块以对该预测块与当前块之间的差(残差块)进行编码,并且输出编码后的纹理。将参照图18具体描述纹理编码器1710。
运动矢量编码器1720选择多个运动矢量预测模式中的一个,选择在运动矢量预测模式选择之后的当前运动矢量的预测的运动矢量,对当前运动矢量和预测并选择的运动矢量之间的差异(即,残差矢量)进行编码,并且对在运动矢量预测模式选择之后的运动矢量预测模式进行编码,以输出编码后的残差矢量和编码后的运动矢量预测模式。此处,运动矢量编码器1720执行与参照图2所描述的运动矢量编码装置200相同或相似的功能,并且省略其具体的描述。
复用器1730生成并输出包括编码后的纹理、编码后的残差矢量和编码后的运动矢量预测模式的比特流。此处,在将从运动矢量编码器1720编码的并输出的运动矢量预测模式插入至比特流中,复用器1730不是以块为单位来实现在插入有编码后的纹理和编码后的残差矢量的比特流中的插入,而是以上层单元(例如,片段或者图片单元)为单位来实现插入,使得图像解码装置能够单独地对运动矢量预测模式进行解码。
图18是示出根据一个方面的视频编码装置1800的具体的框图。
为了例示参照图17所描述的视频编码装置1800的结构细节,可以如在图18中 所例示的来描绘视频编码装置1800。
纹理编码器1710可以包括具有运动估计器1812和运动补偿器1814的预测器1810、减法器1820、变换器1830、量化器1840、编码器1850、逆量化器1860、逆变换器1870、加法器1880和去块滤波器1890。
预测器1810产生并输出当前块的预测的块。更具体地说,预测器1810预测要编码的当前块的各个像素的像素值,以生成具有各个预测的像素的预测的像素值的预测的块。这种预测器1810在执行帧间预测中可以类似包括运动估计器1812和运动补偿器1814的例示。
运动矢量估计器1812通过针对一个或更多个参考图像、按照与当前块的块模式或者预设的块模式相对应的块为单位(例如,16×16块、16×8块、8×16块、8×8块、8×4块、4×8块、4×4块)估计当前块的运动矢量来确定当前运动矢量。通过运动估计器1812所确定的当前运动矢量被输出至运动矢量编码器1720,运动矢量编码器1720接着对残差矢量和运动矢量预测模式进行编码。
此处,用于利用参考图像来预测当前块运动矢量的运动矢量估计器1812确定当前运动矢量的步骤对于本领域技术人员是已知的,因此省略其具体描述。
运动补偿器1814通过利用从运动矢量估计器1812输出的当前运动矢量来生成并输出当前块的预测的块。即,运动补偿器1814输出由当前块所指示的、参考图像中的块作为预测的块。
减法器1820通过从当前块减去预测的块来生成残差块。即,减法器1820通过计算当前块的各个像素的像素值和来自预测器1810的预测的块的各个像素的预测的像素值之间的差来以块的形式生成具有残差信号的残差块。
变换器1830和量化器1840对残差块进行变换和量化,以输出量化后的残差块。即,变换器1830和量化器1840将残差块的残差信号变换为频域,因而将残差块的各个像素值变换为变换系数,然后用频率系数对残差块进行量化。
此处,变换器1830在将残差信号变换为频域信号时可以使用各种用于将空间轴上的图像信号变换为频率轴上的图像信号的变换技术(例如,哈达马(Hadamard)变换、基于离散余弦变换(DCT:discrete cosine transform)的变换等),其中,已经变换至频域的残差信号成为了变换系数。此外,量化器1840可以通过死区均匀阈值量化(以下称为“DZUTQ”)、量化加权矩阵或者其它改进的量化技术对变换的残差 块执行量化。
编码器1850对从量化器1840输出的残差块进行编码,以输出编码后的纹理。即,编码器1850以各种扫描方法(例如Z字型扫描或其它方法)对量化的频率系数、变换系数或者残差信号进行扫描,以生成量化的变换系数序列、变换后的系数序列或者信号序列,并且通过熵编码技术或者其它各种编码技术对其进行编码。
从编码器1850输出的编码后的纹理与从运动矢量编码器1720输出的编码后的残差矢量和编码后的运动矢量预测模式结合,共同被生成为比特流并输出。
逆量化器1860和逆变换器1870对量化后的残差块执行逆量化和逆变换。具体地说,逆量化器1860和逆变换器1870对量化后的残差块的量化后的频率系数进行逆量化,以产生具有变换系数的残差块,并且对逆量化后的残差块进行逆变换,以生成具有像素值的残差块,即,重构的残差块。此处,逆量化器1860和逆变换器1870可以将上述的变换方法和量化方法逆转以执行其逆变换和逆量化操作。
加法器1880将来自逆变换器1870的重构的残差块与来自预测器1810的预测的块相加,从而重构当前块。去块滤波器1890对重构的当前块执行去块滤波,并且输出结果。此处,去块滤波表示用于减少在图像的块单元编码中所产生的块失真的操作,并且它可以选择性地使用以下方法:将去块滤波器应用至块的边界和宏块的边界、将去块滤波器仅应用至宏块的边界、以及不应用去块滤波器。
在图18中,可以通过第一编码器来实现变换器1830和量化器1840,并且可以通过第二编码器来实现编码器1850,其中,第一编码器不必一定包括在纹理编码器1710中,而是选择性地取决于实现的方式。换言之,从减法器1820输出的残差信号不必一定经历变换和量化两者,而是可以经历变换和量化中的一个,或者甚至既不经历变换也不经历量化。在这种情况下,根据变换和/或量化的期望的操作,逆量化器1860和逆变换器1870的并入也可以是任选的。此外,不必一定将去块滤波器1890包括在纹理编码器1710中,而根据实现的方式可以是任选的。
可以实时地或非实时地将通过上述的视频编码装置1800编码为视频流的视频通过有线/无线通信网络传送至下述的视频解码装置,在视频解码装置中被重构并再现为视频,其中,所述有线/无线通信网络包括互联网、短距离无线通信网络、无线LAN网络、WiBro(无线宽带,也被称为WiMax网络)以及移动通信网络或例如电缆、USB(通用串行总线)或者各种其它装置的通信接口。
图19是示出根据一个方面的视频解码装置1900的示意性框图。
视频解码装置1900可以包括解复用器1910、运动矢量解码器1920和纹理解码器1930。
解复用器1910从比特流提取编码后的纹理、编码后的残差矢量和编码后的运动矢量预测模式以将其输出。此处,编码后的纹理被输出至纹理解码器1930,并且编码后的残差矢量和编码后的运动矢量预测模式被输出至运动矢量解码器1920。此时,解复用器1910可以根据对按照比块单元更上层的单元(例如,例如,片段或者图片单元)进行编码的编码后的运动矢量预测模式进行解析来执行提取。
运动矢量解码器1920对编码后的残差矢量和编码后的运动矢量预测模式进行解码,以重构残差矢量和运动矢量预测模式,基于重构的运动矢量预测模式来选择针对当前块的当前运动矢量的预测的运动矢量,并且将预测并选择的运动矢量增加至重构的残差矢量以重构当前块。由于运动矢量解码器1920执行与参照图3所述的运动矢量解码装置300相同或相似的功能,所以省略了具体的描述。
纹理解码器1930对编码后的纹理进行解码以重构残差块,并且将重构的残差块增加至通过利用来自运动矢量解码器1920的重构的当前运动矢量预测当前块所生成的预测的块。将参照图20来描述实现纹理解码器1930的具体示例。
图20是示出根据一个方面的视频解码装置2000的具体的框图。
为了例示参照图19所描述的并入视频解码装置1900的纹理解码器1930的结构细节,在图20中例示了视频解码装置2000。
纹理解码器1930可以包括解码器2010、逆量化器2020、逆变换器2030、运动补偿器2040、加法器2050和去块滤波器2060。
解码器2010对从解复用器1910输出的编码后的纹理进行解码,以重构量化的残差块。逆量化器2020和逆变换器2030执行与参照图18所描述的逆量化器1860和逆变换器1870相同或相似的功能,并且省略其具体的描述。然而,在视频编码装置1800对残差块执行变换和量化中任意一个或者都不执行的情况下,逆量化器1860和逆变换器1870可以相适配地提供对应的操作或者不提供操作。
运动补偿器2040利用来自运动矢量解码器1920的重构的当前运动矢量来预测当前块,以输出预测的块。换言之,运动补偿器2040生成重构的当前运动矢量在一个或更多个参考图像中所指示的块,输出预测的块。
加法器2050将从运动补偿器2040输出的预测的块增加至来自逆变换器2030的重构的残差块,以重构并输出当前块。
根据所述方面,运动矢量预测模式包括竞争预测模式和非竞争预测模式。被描述为竞争预测模式的示例是用于表示最佳的预测的运动矢量的不可预测性的运动矢量预测模式以及用于表示最佳的预测的运动矢量的可预测性的运动矢量预测模式。此处,虽然所选择的预测的运动矢量的值并不总是最佳值,但是最佳的预测的运动矢量表示按照预设的标准或方法从有限数目的备选运动矢量集合所选出的预测的运动矢量。
此外,可以将竞争预测模式理解为这样的模式,即,按照预定的方法从除了默认的预测的运动矢量之外的其它预测的运动矢量选出的、可供对当前矢量进行编码和/或解码使用的模式。在这种情况下,可以在预定的方法中从所描述的多个备选运动矢量中选出预测的运动矢量。
本公开所公开的方面允许选择运动矢量预测模式,并且相应地可以选择更加近似当前运动矢量预测模式的运动矢量作为预测的运动矢量,以最小化用于编码残差矢量的比特量,从而提高编码效率。
此外,根据本公开的方面,除了选择有助于提高编码效率的更加精确的预测的运动矢量以外,运动矢量编码装置200不会干扰将关于所选择的预测的运动矢量的通知发送至运动矢量解码装置300的操作,反而发送前导信息(例如,运动矢量预测模式)或者共享用于得到该模式的函数,由此缓解用于在通知预测的运动矢量时产生的附加信息的编码比特量的增加,因而另外地提高编码效率和解码效率。
此外,根据本公开的方面,即使传送差错或其它情形影响了之前重构的相邻块的运动矢量,运动矢量解码装置300也能够单独地识别差错的出现,并且采取误差隐藏和误差解决的跟进措施,以防止发生解码器崩溃并最终增强解码器的性能。
此外,为了将本公开在运动矢量和解码技术中的方面应用至视频服务或者多媒体流服务,利用减少的比特量进行编码后的能力将向用户提供高满意度的服务。具体地,经历相对窄的带宽、大的数据丢失和延迟的无线移动环境实际上将发现更大的益处。
下面将描述在实现本发明的方面的过程中的研究结果。
本公开的方面是在MVOP方法之上的进一步的增强。目前改进的MVOP方法可以支持SKIP模式,并且能够进行独立的解析。在针对基本档次(baseline profile)的 VCEG公共测试条件下,与KTA 2.0软件相比,该改进的MVOP方法表现出平均4.46%的BDBR性能改进(QCIF方面1.66%的改进、CIF方面3.60%的改进、以及HD方面6.84%的改进)。
常规的MVOP方法利用针对当前块的全部可用的备选PMV来构成备选集合,以选择更加精确的预测的运动矢量或者PMV。备选集合包括时间上/空间上相邻块的运动矢量的水平分量和垂直分量的组合。编码器利用率失真优化方法从备选集合选择最佳的PMV。解码器利用模板匹配方法来自主地选择最佳的PMV。为了以最少的模板匹配差错选择最佳的PMV,对所有可用的备选集合进行测试。最终,将PMV增加至所传送的残差运动矢量或者DMV,以计算得到运动矢量。
在本改进的MVOP方法中,单比特的附加信息(mvop_flag)用于通过信号来通知解码器是否需要使用预测的最佳的PMV。现有的MVOP方法不支持SKIP模式。例如,即便提出的方法使DMV为零并且满足所有其它的SKIP条件,但是对应的宏块不在SKIP模式编码,而是在P16×16模式编码。该改进的MVOP方法允许已知的MVOP方法的扩展,以更加有效地使用SKIP模式。
在常规的MVOP方法中,解码器不能明确地预测使用了什么PMV,其中,需要标记来告知必须使用哪一预测值,并且一个比特的附加信息(mvop_flag)是必需的。为此,现有的MVOP方法考虑三个不同的运动矢量编码模式(例外模式、替换模式、竞争模式),但是改进的MVOP方法将这种运动矢量编码模式简化如下:
非竞争预测模式
非竞争预测模式表示很容易即可给出最佳的PMV选择。这导致以下两种情况。第一种情况是仅存在一个用于PMV选择的备选PMV。在这种情况下,使用哪一预测值对于编码器/解码器两者明显的。当相邻的运动矢量全部相同或者它们都不有效时出现这种情况。编码器(和解码器)将始终使用仅一个可用的PMV。第二种情况是可预测的最佳的PMV等于中间的PMV(即,预测的最佳的PMV与中间PMV相同)。因此,在这种模式中,编码器(和解码器)使用可用的PMV和中间PMV。因此,由于解码器可以识别这两种情况而无需来自编码器的附加的信息,所以它不单独使用标记。
竞争预测模式
如果块不是所述的非竞争预测模式,则解码器可以将其识别为竞争模式。在这种模式中,应该向解码器指示是否使用预测的最佳的PMV。为此,使用一个比特的标记mvop_flag。如果标记mvop_flag是1,则通过使用经由模板匹配预测的最佳的PMV来对DMV进行解码,如果标记是0,则解码器使用中间PMV来对DMV进行解码。
单独地解析
为了减小附加信息的比特量,仅在竞争模式中传送mvop_flag。本发明人之前提出的MVOP方法需要使用重构的相邻图像数据来确定是否读取mvop_flag。因此,它不能满足单独的解析条件。此外,如果在参考图像中发生传送差错,很可能错误地读取非预想的标记比特,导致解码器崩溃的问题。
新提供的方法是通过将解析处理与解码处理完全地分离开来消除潜在的解码器崩溃问题的语法分割。如在表1中所示,编码num_mvop_flag_minus1用于表示包括在片段中的全部mvop_flag的数目,并且在片段中包括进片段报头信息中的该数目的mvop_flag成功地完全将解码处理与解析处理分离。
解析处理读取片段中的mvop_flag并接着将其存储。此外,解码处理根据是否确定为竞争模式选择性地读取mvop_flag。因此,不存在其它的语法改变。在这种情况下,所提供的MVOP方法能够满足单独的解析条件,因而避免了解码器崩溃的问题。此外,所提供的方法在对比特流具有传送差错的概率的检测能力方面具有额外的优势。例如,如果在完成了片段的编码后总是可识别的全部竞争模式的数目不等于num_mvop_flag_minus1+1,则意味着出现差错。作为响应,可以设计不同的解码方法并用于使该差错最小化。
表1
评价测试
通过修改KTA 2.0软件来实现改进的MVOP方法。在针对基本档次的公共测试 条件下进行测试,并且在BDBR和BDPSNR方面测量性能。为了更加实际的对比,还呈现了MVC(运动矢量补偿)方法的性能。MVC方法使用两个PMV备选(空间MV和时间MV),其示出了MVC性能的最佳的情况。所有的对比在KTA 2.0软件的结果中是固定的。
利用CSSPTP的评价测试
表2
表3
表2是参照KTA 2.0软件的MVOP方法和MVC方法之间的比较。表2中的测试结果示出所提供的MVOP方法优于KTA 2.0软件达1.658%(QCIF)至6.838%(HDTV)。所提出的MVOP方法在更高的分辨率甚至示出更好的性能。应注意的是,改进的MVOP方法始终表现出优于KTA2.0软件的性能,而MVC方法在QCIF偶尔表现不佳。
表3直接示出了使用BDBR的改进的MVOP和在MVC方法中固定的BDPSNR的比较优越性。所提供的MVOP方法优于MVC方法达大约1.899%。性能在更高的分辨率中有更大的提高。因为MVOP方法可以在不需要用于指示最佳的PMV的附加的信息信令的情况下使用最佳的PMV,因此相比较而言MVOP方法更具优势。当备选PMV的数目增加时,MVC方法需要更多的额外信息来指示最佳的PMV。因此,相比较而言编码的增益将随着PMV数目的增加而增大。
在本发明的上述方面中,针对在执行编码操作中适合于对各个块确定竞争预测模式还是非竞争预测模式的编码装置进行了描述,并且选择性地仅针对要在竞争预测模式中进行编码的块将关于运动预测模式的信息编码为语法元素,并且其后将编码后的运动预测模式信息插入至上层单元(片段或者图片)的预设的区域(报头或者报尾) 中,以在比特流中传送该信息。此外,运动预测模式信息通过对运动预测模式进行编码来包含块的数目数据。
然而,解码装置被描述为对关于包括在从编码装置接收到的比特流内的上层单元的预设的区域中的运动预测模式的信息进行处理。此外,解码装置采用之前与编码装置约定的标准来确定在哪一模式预测各个块,并且根据解码后的运动预测模式信息对确定为处于竞争预测模式的块执行解码操作。然后,在对包括在上层单元中的所有的块进行了完全解码时,在根据解码后的运动预测模式信息经历了解码的块的数目和从在从编码装置所接收的运动预测模式信息中的、其运动预测模式已编码的块的数目数据之间进行比较,以确定是否正在进行正确的解码。
然而,不将用于选择性地对语法元素进行编码/解码的这种方法限于对运动矢量进行预测,也可以应用于对用于通知分配一个还是一些用于对各个下层单元(即,块单元)进行视频编码的编码技术的信息进行编码的情形。
例如,可以将用于选择性地对语法元素进行编码/解码的相同的方法应用于这样的图像编码,即,根据图像的特征来开启/关闭用于去除出现在编码后的图像中的噪声的滤波器进行的图像编码。由于图像的特征通常在图像中局部地具有高的差异,所以与在例如图片或片段内的特定单元中一致地进行整体滤波相比,考虑局部图像特征来执行滤波是有利的。然而,从压缩效率的意义上说,频繁地传送仅被局部图像特征所使用的滤波器的系数绝对是不理想的。为了解决本公开中的这个问题,在为了贯穿图像在预定的单元内得到适合的滤波效果能够局部地开启/关闭滤波器的条件下(例如,图片单位或者片段单位),应均匀地按照预定的单位传送修正滤波系数,这是有利的。换言之,以预定的单位、连同关于是否局部地开启/关闭滤波器的信息来传送滤波系数是有利的。
此时,编码器适合于以预定的单位分析属于其单位的图像,因此获得最佳的滤波系数。其后,针对在预定的单元中的各个局部的区域(例如,块),根据与解码装置预先设置并传送的标准来确定开启/关闭滤波。同时,按照各个预定的单元对关于将滤波应用到确定应用滤波的局部区域、或者没有应用滤波的其它局部区域的信息进行分组,并且将所述信息作为预定的单元中的报头信息的一部分进行提前传送,或者将所述信息作为预定的单元中的报尾信息的一部分进行传送。可以将关于确定了滤波的开启或关闭的局部区域的数目的信息并入预定的单元的报头或者报尾。
然而,解码装置对在预定的单元中的报头或者报尾进行解码,从而对开启/关闭滤波的信息以及确定了滤波开启或者关闭的局部区域的数目数据进行解码。此外,解码装置针对各个局部区域(即,根据预定的标准包括在预定的单元中的块)做出应用开启/关闭滤波的决定,然后将滤波系数应用至决定开启滤波的局部区域以执行解码。随后,在完成了对包括在上层单元中的所有局部区域的解码时,可以在经历了解码的、应用了滤波系数的局部区域的数目和从编码装置接收的数目数据之间进行比较,以能够确定是否正在进行正常的解码,或者可以执行纠错处理。
在以上描述中,虽然本公开的实施方式的所有组件被解释为组装为或操作地连接为整体,但是本公开不旨在将其限制为这种实施方式。而且,在本发明的客观范围内,各个组件可以以任意数目选择性地并且操作地进行连接。每一个组件还可以本身实现为硬件,然而每一个组件可以选择性地部分地或者作为整体组合,并且实现为具有用于执行硬件等同物的功能的程序模块的计算机程序。本领域技术人员可以容易地推导出组成这种程序的代码或者代码段。可以将计算机程序存储在计算机可读介质中,计算机程序在操作时可以实现本公开的各个方面。备选的计算机可读介质包括磁记录介质、光记录介质和载波介质。
此外,除非明确地定义为相反的情况,否则类似“包含”、“包括”和“具有”的措辞应被默认地解读为包含的或者开放的,而不是排它的或者封闭的。除非定义为相反的情况,否则所有技术的、科学的或者其它术语与本领域技术人员所理解的含义相一致。在字典中找到的公共的术语应当在相关技术著作的背景下、而不应过于理想地或者不切实际地进行解释,除非本公开明确地将它们如此定义。
虽然为了示例目的描述了本公开的示例性方面,但是本领域技术人员应该理解的是,在不脱离本公开的本质特征的情况下,各种修改、增加和替换是可行的。因此,描述本公开的示例性方面并非为了限制性的目的。相应地,本公开的范围不被以上方面所限制,而是由权利要求及其等价物来进行限定。
工业适用性
如上所述,本公开对于在运动矢量编码或者解码技术以及视频服务或者多媒体流服务的领域中的应用是非常有用的,以允许以较少的比特量进行图像编码以向用户提供满意的服务,用户也将在涉及相对窄的带宽、大的数据丢失和延迟的无线移动环境中发现本公开的更大的预期的效果。
相关申请的交叉引用
如果适用,本申请要求2009年1月23日在韩国提交的专利申请10-2009-0006308的优先权,将其全部内容以引证的方式并入于此。此外,该非临时性申请出于相同的原因在除了美国以外的其它国家要求基于韩国专利申请的优先权,将其全部内容以引证的方式并入于此。

Claims (6)

1.一种用于对当前块的当前运动矢量进行解码的装置,所述装置包括:
预测模式解码器,其配置为从比特流解码一标记,所述标记指示是否使用从邻近所述当前块的多个相邻块得到的预测的运动矢量来重构所述当前块的当前运动矢量;
残差矢量解码器,其配置为从所述比特流重构所述当前块的残差矢量;
预测的运动矢量确定器,其配置为当所述标记指示使用所述预测的运动矢量时:
从邻近所述当前块的所述多个相邻块的运动矢量得到备选运动矢量的集合,
从所述备选运动矢量的集合选择备选运动矢量,
将所述当前块的预测运动矢量设置为选择的备选运动矢量;以及
运动矢量重构器,其配置为通过将所述当前块的预测运动矢量增加至所述当前块的所述残差矢量来重构所述当前块的当前运动矢量。
2.根据权利要求1所述的装置,其中所述多个相邻块选自所述当前块的至少一个空间上的相邻块或所述当前块的至少一个时间上的相邻块。
3.根据权利要求2所述的装置,其中所述至少一个空间上的相邻块包括位于所述当前块的左侧、上侧、右上侧、左上侧的一个或多个块。
4.根据权利要求2所述的装置,其中所述至少一个时间上的相邻块包括在不同于包括所述当前块的第一图片的第二图片内获得的至少一个块,
其中所述第二图片内的所述至少一个时间上的相邻块的位置与包括所述当前块的当前图片内的所述当前块的位置相同。
5.根据权利要求1所述的装置,其中所述预测的运动矢量确定器配置为当所述集合中包括的两个元素具有相同的值时,从所述集合中排除所述两个元素中的一个。
6.根据权利要求1所述的装置,其中所述预测的运动矢量确定器配置为当所述标记指示不使用所述预测的运动矢量时,将所述当前块的预测运动矢量设置为默认的预测的运动矢量。
CN201510426709.2A 2009-01-23 2010-01-15 对图像进行解码的装置 Active CN105072449B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2009-0006308 2009-01-23
KR1020090006308A KR101590511B1 (ko) 2009-01-23 2009-01-23 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
CN201080013412.9A CN102362498B (zh) 2009-01-23 2010-01-15 选择性进行语法元素编码/解码的装置和方法、以及使用其对图像进行编码/解码的装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080013412.9A Division CN102362498B (zh) 2009-01-23 2010-01-15 选择性进行语法元素编码/解码的装置和方法、以及使用其对图像进行编码/解码的装置和方法

Publications (2)

Publication Number Publication Date
CN105072449A CN105072449A (zh) 2015-11-18
CN105072449B true CN105072449B (zh) 2017-09-29

Family

ID=42356306

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201080013412.9A Active CN102362498B (zh) 2009-01-23 2010-01-15 选择性进行语法元素编码/解码的装置和方法、以及使用其对图像进行编码/解码的装置和方法
CN201510426709.2A Active CN105072449B (zh) 2009-01-23 2010-01-15 对图像进行解码的装置
CN201510426737.4A Active CN104935939B (zh) 2009-01-23 2010-01-15 对图像进行编码/解码的装置和方法
CN201510426699.2A Active CN105072448B (zh) 2009-01-23 2010-01-15 对图像进行解码的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080013412.9A Active CN102362498B (zh) 2009-01-23 2010-01-15 选择性进行语法元素编码/解码的装置和方法、以及使用其对图像进行编码/解码的装置和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201510426737.4A Active CN104935939B (zh) 2009-01-23 2010-01-15 对图像进行编码/解码的装置和方法
CN201510426699.2A Active CN105072448B (zh) 2009-01-23 2010-01-15 对图像进行解码的方法

Country Status (4)

Country Link
US (5) US9070179B2 (zh)
KR (1) KR101590511B1 (zh)
CN (4) CN102362498B (zh)
WO (1) WO2010085064A2 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
KR101590511B1 (ko) 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101702553B1 (ko) * 2009-07-04 2017-02-03 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
US8908755B2 (en) * 2010-07-16 2014-12-09 Sony Corporation Multi-parameter motion for efficient prediction in video compression
MX2013001659A (es) 2010-09-24 2013-03-21 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen, y aparato de decodificacion de imagen.
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
KR101377528B1 (ko) 2011-01-15 2014-03-27 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
WO2012096551A2 (ko) * 2011-01-15 2012-07-19 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
KR101484171B1 (ko) * 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
CN103477637B (zh) 2011-02-10 2017-04-26 太阳专利托管公司 动态图像编码方法、动态图像编码装置
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
GB2493210B (en) * 2011-07-29 2014-04-23 Canon Kk Method and device for error concealment in motion estimation of video data
JPWO2013031071A1 (ja) * 2011-09-02 2015-03-23 パナソニックIpマネジメント株式会社 動画像復号装置、動画像復号方法、及び集積回路
US9300975B2 (en) * 2011-09-11 2016-03-29 Texas Instruments Incorporated Concurrent access shared buffer in a video encoder
EP2773111B1 (en) 2011-10-28 2020-01-01 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
ES2780188T3 (es) 2011-10-28 2020-08-24 Sun Patent Trust Método de codificación de imagen, método de decodificación de imagen, aparato de codificación de imagen y aparato de decodificación de imagen
CN107580223B (zh) * 2011-11-08 2020-12-08 株式会社Kt 利用解码装置对视频信号进行解码的方法
EP2777273B1 (en) * 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
KR102318349B1 (ko) 2011-11-11 2021-10-27 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP3739886A1 (en) 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
JPWO2013105622A1 (ja) * 2012-01-13 2015-05-11 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
US10218999B2 (en) * 2012-01-19 2019-02-26 Electronics And Telecommunications Research Institute Method and apparatus for image coding/decoding
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2014053517A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using derivation of subblock subdivision for prediction from base layer
CN103338377A (zh) * 2013-07-11 2013-10-02 青岛海信信芯科技有限公司 用于确定运动估计中最优运动矢量的方法
WO2015055111A1 (en) * 2013-10-14 2015-04-23 Mediatek Inc. Method of lossless mode signaling for video system with lossless and lossy coding
US10924746B2 (en) * 2014-01-29 2021-02-16 Mediatek Inc. Method and apparatus for adaptive motion vector precision
CN105338363B (zh) * 2014-07-30 2018-12-14 联想(北京)有限公司 一种视频帧的编码及解码方法和装置
WO2017048008A1 (ko) * 2015-09-17 2017-03-23 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
GB2543492B (en) * 2015-10-16 2021-11-10 Digital Barriers Services Ltd Data Compression
CN111526360A (zh) * 2016-02-06 2020-08-11 华为技术有限公司 图像编解码方法及装置
CN106170089B (zh) * 2016-08-25 2020-05-22 上海交通大学 基于h.265的多路编码方法
WO2019072371A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. MEMORY ACCESS WINDOW FOR PREDICTION SUB-BLOCK MOTION VECTOR CALCULATION
CN118042153A (zh) * 2018-01-25 2024-05-14 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
CN108390871B (zh) * 2018-02-09 2020-05-22 西安交通大学 一种基于自回归模型帧预测的雷达数据压缩方法
CN109361922B (zh) * 2018-10-26 2020-10-30 西安科锐盛创新科技有限公司 预测量化编码方法
US10931954B2 (en) * 2018-11-20 2021-02-23 Sony Corporation Image coding modes selection for an embedded codec circuitry
JP7164813B2 (ja) * 2018-11-21 2022-11-02 日本電信電話株式会社 予測装置、予測方法、及びプログラム。
CN113489997A (zh) * 2021-05-27 2021-10-08 杭州博雅鸿图视频技术有限公司 一种运动矢量预测方法、装置、存储介质及终端
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023131347A1 (en) * 2022-01-10 2023-07-13 Mediatek Inc. Method and apparatus using boundary matching for overlapped block motion compensation in video coding system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774933A (zh) * 2003-04-10 2006-05-17 Sk电信有限公社 确定视频编码器中的自适应运动矢量的搜索范围的方法及设备

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557331A (en) * 1993-03-11 1996-09-17 Matsushita Electric Industrial Co., Ltd. Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
US6185312B1 (en) * 1997-01-28 2001-02-06 Nippon Telegraph And Telephone Corporation Method for embedding and reading watermark-information in digital form, and apparatus thereof
KR100226722B1 (ko) * 1997-07-30 1999-10-15 구자홍 동영상 움직임 벡터 추정 방법
US6404817B1 (en) * 1997-11-20 2002-06-11 Lsi Logic Corporation MPEG video decoder having robust error detection and concealment
US6972774B2 (en) * 2000-02-21 2005-12-06 Fujitsu Limited Image processing system for inserting plurality of images into composite area, and medium
JP4244492B2 (ja) * 2000-03-24 2009-03-25 ソニー株式会社 情報処理装置、情報配信システム、情報処理方法、及び記録媒体
US6687384B1 (en) * 2000-03-27 2004-02-03 Sarnoff Corporation Method and apparatus for embedding data in encoded digital bitstreams
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US20040022202A1 (en) * 2002-08-05 2004-02-05 Chih-Lung Yang Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
AU2003213360A1 (en) * 2002-03-14 2003-09-22 Matsushita Electric Industrial Co., Ltd. Motion vector detection method
US7230745B1 (en) * 2002-04-08 2007-06-12 Captaris, Inc. Document transmission and routing with recipient control, such as facsimile document transmission and routing
EP3525466B1 (en) * 2002-04-19 2022-02-09 Panasonic Intellectual Property Corporation of America Motion vector determining method and apparatus
JP2004208258A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7450642B2 (en) * 2002-11-13 2008-11-11 Sony Corporation Fast motion vector prediction method
EP1610560A1 (en) * 2004-06-24 2005-12-28 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating and for decoding coded picture data
KR100606140B1 (ko) * 2004-11-09 2006-08-01 (주)씨앤에스 테크놀로지 적응적 모드 결정에 의한 움직임 예측방법
JP2007228560A (ja) * 2006-01-25 2007-09-06 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像符号化装置
KR101330630B1 (ko) * 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
EP1835749A1 (en) * 2006-03-16 2007-09-19 THOMSON Licensing Method for coding video data of a sequence of pictures
TW200814785A (en) * 2006-09-13 2008-03-16 Sunplus Technology Co Ltd Coding method and system with an adaptive bitplane coding mode
US8379733B2 (en) * 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR100901874B1 (ko) * 2007-07-11 2009-06-09 한국전자통신연구원 비디오 인코딩을 위한 인터 모드 결정 방법
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
JP5045371B2 (ja) * 2007-10-30 2012-10-10 Kddi株式会社 動画像の各画素の前景背景分類装置、方法及びプログラム
KR101348601B1 (ko) * 2008-01-31 2014-01-16 삼성전자주식회사 적응적인 임장감 향상 예측에 따른 임장감 향상 시스템 및방법
TWI398169B (zh) * 2008-12-23 2013-06-01 Ind Tech Res Inst 移動向量之編碼模式選擇方法及其相關編碼模式選擇裝置,及其機器可讀取媒體
KR101590511B1 (ko) 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101441874B1 (ko) * 2009-08-21 2014-09-25 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
US8194918B2 (en) * 2010-02-05 2012-06-05 Seiko Epson Corporation Embedded message extraction for visible watermarking
US9848197B2 (en) * 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774933A (zh) * 2003-04-10 2006-05-17 Sk电信有限公社 确定视频编码器中的自适应运动矢量的搜索范围的方法及设备

Also Published As

Publication number Publication date
CN104935939A (zh) 2015-09-23
US20110317930A1 (en) 2011-12-29
US20150256849A1 (en) 2015-09-10
CN104935939B (zh) 2018-05-01
US9445118B2 (en) 2016-09-13
US9070179B2 (en) 2015-06-30
CN102362498A (zh) 2012-02-22
KR20100086864A (ko) 2010-08-02
US20150256848A1 (en) 2015-09-10
US20130279819A1 (en) 2013-10-24
CN105072449A (zh) 2015-11-18
US8908981B2 (en) 2014-12-09
US9363531B2 (en) 2016-06-07
CN105072448B (zh) 2017-09-29
US20150256847A1 (en) 2015-09-10
WO2010085064A2 (ko) 2010-07-29
US9420304B2 (en) 2016-08-16
KR101590511B1 (ko) 2016-02-02
CN105072448A (zh) 2015-11-18
CN102362498B (zh) 2015-07-29
WO2010085064A3 (ko) 2010-09-23

Similar Documents

Publication Publication Date Title
CN105072449B (zh) 对图像进行解码的装置
CN104584549B (zh) 用于视频编码的方法和装置
US10051284B2 (en) Method and apparatus for encoding/decoding the motion vectors of a plurality of reference pictures, and apparatus and method for image encoding/decoding using same
CN103354614B (zh) 对运动矢量进行编码的装置
CN102067601B (zh) 视频编码和解码中模板匹配预测(tmp)的方法和装置
CN104041048B (zh) 利用跳过模式进行视频编码和解码的方法和设备
CN104967857B (zh) 对图像进行编码/解码的方法和设备
CN106331725B (zh) 运动信息重构设备和运动信息产生设备
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN104969553B (zh) 用于编码/解码图像的方法以及使用其的设备
US20120269268A1 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
CN107580230A (zh) 视频解码方法和视频编码方法
CN109587479A (zh) 视频图像的帧间预测方法、装置及编解码器
CN108391135A (zh) 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
CN110326296A (zh) 用于对运动信息进行编码和解码的方法和装置
US20130202030A1 (en) Method and device for image encoding/decoding using block split prediction
CN103262538B (zh) 利用运动信息集成来生成编码运动信息/恢复运动信息的方法和装置、使用该方法和装置的图像编码/解码方法和装置
CN105025298B (zh) 对图像进行编码/解码的方法和设备
CN107258081A (zh) 对使用非正方形分割编码视频数据的优化
CN101682787A (zh) 空间增强的变换编码
CN110324637A (zh) 一种双向帧间预测方法及装置
CN106031173A (zh) 视频译码中的闪烁检测及缓解
CN105847845B (zh) 视频解码方法
CN103959788B (zh) 通过模式匹配在解码器层面的运动估计
CN105684444A (zh) 用于单独地界定对基于子层的层间预测的相依性的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant