CN102918842A - 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序 - Google Patents

动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序 Download PDF

Info

Publication number
CN102918842A
CN102918842A CN2011800267337A CN201180026733A CN102918842A CN 102918842 A CN102918842 A CN 102918842A CN 2011800267337 A CN2011800267337 A CN 2011800267337A CN 201180026733 A CN201180026733 A CN 201180026733A CN 102918842 A CN102918842 A CN 102918842A
Authority
CN
China
Prior art keywords
mentioned
motion vector
piece
prediction
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800267337A
Other languages
English (en)
Other versions
CN102918842B (zh
Inventor
福岛茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010217755A external-priority patent/JP2011234338A/ja
Priority claimed from JP2010217754A external-priority patent/JP2011234337A/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN102918842A publication Critical patent/CN102918842A/zh
Application granted granted Critical
Publication of CN102918842B publication Critical patent/CN102918842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

虚区域分割部（101）将编码对象块用预定的虚边界分割成多个虚区域。运动矢量检测部（102）针对各虚区域检测运动矢量。实区域分割·运动补偿部（103）使用各虚区域的运动矢量，基于参照图像生成与编码对象块对应的多个预测块，基于多个预测块的活动决定实边界，使将各预测块用实边界分割而得到的区域在各预测块间结合，由此生成合成预测块。可变长度编码部（105）对从编码对象块减去合成预测块的预测差分块和各虚区域的运动矢量进行编码。

Description

动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
技术领域
本发明涉及动图像的编码和解码技术，特别涉及使用了运动补偿预测的动图像的编码及解码技术。
背景技术
在以MPEG（Moving Picture Experts Group：运动图像专家组）为代表的动图像压缩编码中，多是采样利用画面间的相关来压缩编码量的运动补偿预测。在MPEG等所使用的运动补偿预测中，按照每个预定尺寸的块，基于已解码的参照图像，使用表示编码对象图像与参照图像的相对位置关系的运动矢量来生成预测图像。之后，在编码侧算出编码对象原图像与通过运动补偿预测而生成的预测图像的差分、即预测误差，仅将预测误差传送到解码侧。由此，与不使用运动补偿预测的情况相比，能大幅度地削减要传送的编码量。
一般，编码、解码处理是按宏块（预定块尺寸的像素群、例如16×16）单位进行的。运动补偿预测多也按照宏块单位进行，此时，难以捕捉比宏块更小的物体等的运动，结果编码效率下降。因此，作为使运动补偿预测进一步高效地发挥功能的方法，采用多块模式（pattern）运动补偿预测。
在多块模式运动补偿预测中，将宏块内进一步分割成子块，能针对各个子块使用不同的运动矢量进行运动补偿预测。所使用的运动补偿预测块的分割模式事先作为编码侧和解码侧的同一规则进行定义。在编码侧，从所定义的块模式中选择运动补偿预测的块模式，将块模式的选择信息传送给解码侧。在解码侧，基于收到的块模式的选择信息进行运动补偿预测。在多块模式运动补偿预测中，在编码侧选择最适于运动补偿预测的块模式时，运动补偿预测后的预测误差减少，编码效率提高。
作为具体的块模式的例子，在ISO／IEC和ITU－T的联合视频编码组（JVT）所国际标准化了的MPEG－4AVC（Advanced Video Coding）中，能够将宏块（16×16块）内进一步分割成16×8／8×16／8×8／8×4／4×8／4×4的块模式进行运动补偿预测。在编码侧，选择块模式，并将块模式的选择信息编码在比特流内。在解码侧，根据被编码在比特流内的块模式对宏块进行区域分割，按所分割的每个区域分别进行运动补偿预测。
此外，专利文献1和专利文献2中公开了定义各种各样的运动补偿预测形状模式，以更灵活的形状进行运动补偿预测的技术。
〔在先技术文献〕
〔专利文献〕
〔0007〕〔专利文献1〕专利第4025570号公报
〔专利文献2〕再公表专利第WO2003－026315号公报
发明内容
〔发明所要解决的课题〕
然而，在专利文献1和专利文献2所公开的方法中，若增加要定义的运动补偿预测形状模式，则随着形状模式数的増加，要传送的形状模式的选择信息所耗费的编码量也变多。即，形状模式増加所导致的预测误差的减少与关于形状模式选择的编码量増加处于此消彼长（trade-off）的关系，故仅简单地增加形状模式数是难以提高整体的编码效率的。
这样，在以往的动图像编码／解码中，仅能进行预先定义的形状模式的运动补偿预测，故无法以最佳的形状进行运动补偿预测，无法提高编码效率。此外，在增加了要定义的运动补偿预测形状模式的情况下，由于关于运动补偿预测形状模式的选择的附加信息的编码量増加，故整体的编码效率未必提高。
本发明是鉴于这样的状况而研发的，其目的在于提供一种通过使得能不增加与运动补偿预测的块模式相关的附加信息的编码量地、进行各种各样块模式的运动补偿预测，来减少预测误差，提高编码效率的技术。
〔用于解决课题的手段〕
为解决上述课题，本发明一个方案的动图像编码装置包括：虚区域分割部（101），将编码对象块用预定的虚边界分割成多个虚区域；运动矢量检测部（102），针对各虚区域检测运动矢量；运动补偿部（103），使用各虚区域的运动矢量，基于参照图像生成与上述编码对象块对应的多个预测块，基于多个预测块的活动决定实边界，使将上述各预测块用上述实边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块；以及编码部（105），对从上述编码对象块减去上述合成预测块的预测差分块和各虚区域的运动矢量进行编码。
本发明的另一方案是一种动图像编码方法。该方法包括：将编码对象块用预定的虚边界分割成多个虚区域的步骤；针对各虚区域检测运动矢量的步骤；使用各虚区域的运动矢量，基于参照图像生成与上述编码对象块对应的多个预测块，基于多个预测块的活动决定实边界，使将上述各预测块用上述实边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块的步骤；以及对从上述编码对象块减去上述合成预测块的预测差分块和各虚区域的运动矢量进行编码的步骤。
本发明一个方案的动图像解码装置包括：解码部（201），从编码流中解码出针对解码对象块的多个运动矢量；运动补偿部（203），使用多个运动矢量，基于参照图像生成与上述解码对象块对应的多个预测块，基于多个预测块的活动决定边界，使将上述各预测块用上述边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块；以及加法部（209），通过使上述合成预测块与从上述解码对象块解码出的预测差分块相加，来生成解码图像。
本发明的另一方案是一种动图像解码方法。该方法包括：从编码流中解码出针对解码对象块的多个运动矢量的步骤；使用多个运动矢量，基于参照图像生成与上述解码对象块对应的多个预测块，基于多个预测块的活动决定边界，使将上述各预测块用上述边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块的步骤；以及通过使上述合成预测块与从上述解码对象块解码出的预测差分块相加，来生成解码图像的步骤。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的实施方式，作为本发明的方案也是有效的。
〔发明效果〕
根据本发明，通过使得能不增加与运动补偿预测的块模式相关的附加信息的编码量地、进行各种各样的块模式的运动补偿预测，能够减少预测误差，提高编码效率。
附图说明
图1是表示实施方式1的动图像编码装置的构成的功能块图。
图2是表示实施方式1的动图像解码装置的构成的功能块图。
图3是说明将宏块在水平方向上2分割的模式的图。
图4是说明将宏块在垂直方向上2分割的模式的图。
图5是表示针对宏块的每个虚区域所检测的运动矢量的图。
图6是表示基于针对每个虚区域所检测出的运动矢量而生成的运动补偿预测图像的图。
图7是表示将基于各虚区域的运动矢量所生成的运动补偿预测图像合成而得到的合成运动补偿预测图像的图。
图8是说明将基于各虚区域的运动矢量而生成的运动补偿预测图像合成，生成合成运动补偿预测图像的图。
图9是说明图1的实区域分割·运动补偿部所进行的实边界的决定步骤的流程图。
图10是说明与关于运动补偿预测图像的实边界决定相关的活动（Activity）的图。
图11是说明按2像素间隔定义实边界候选时的第1活动及第2活动的算出例子的图。
图12是说明实施方式2的动图像编码装置所进行的运动矢量的调整步骤的流程图。
图13是说明实施方式3的动图像编码装置所进行的虚边界的调整步骤的流程图。
图14是表示由实施方式1～3的动图像编码装置编码的动图像的比特流的第一语法模式的图。
图15是表示第1标志分别为ON／OFF时的宏块类型mb_type的语义（semantics）的图，该第1标志用于表示是否在解码侧按片（slice）单位自动决定运动补偿预测的形状。
图16是表示传送第2标志的第二语法模式的图，该第2标志用于表示是否在解码侧按宏块单位自动决定运动补偿预测的形状。
图17是表示切换在解码侧按片级别自动决定运动补偿预测的形状的算法的第三语法模式的图。
图18是表示在语法上不区别宏块的分割方向的第四语法模式的图。
图19是表示第四语法模式的宏块类型的语义的图。
图20是表示不与宏块类型相联动地决定区域分割的第五语法模式的图。
图21是说明针对双向预测适用本发明的实施方式的图。
图22是表示2维地区域分割宏块的方法的图。
图23是说明2维地分割宏块进行运动补偿的步骤的流程图。
图24是表示将宏块分割为3个区域的方法的图。
图25是说明将宏块3分割进行运动补偿的步骤的流程图。
具体实施方式
以下参照附图说明本发明的实施方式。
（实施方式1）
图1是表示实施方式1的动图像编码装置的构成的功能块图。实施方式1的动图像编码装置包括虚区域分割部101、运动矢量检测部102、实区域分割·运动补偿部103、正交变换·量化部104、可变长度编码部105、逆量化·逆正交变换部106、参照图像存储器107、减法器108、以及加法部109。
虚区域分割部101针对例如16×16宏块等成为编码对象的像素群，以任意的边界分割区域。该区域分割是用于运动矢量检测的编码侧的独立方式，以任何边界进行区域分割都可以，但优选以提高运动补偿预测的效率的边界进行区域分割。在此，作为最单纯的虚区域分割，以仅在水平方向或垂直方向上将宏块2分割的情况为例进行说明。
图3的（a）～（c）是说明将宏块在水平方向上2分割的模式的图。图3的（a）是以上数第4像素的水平边界将宏块2分割成16×4的上侧区域和16×12的下侧区域的模式，图3的（b）是以上数第8像素的水平边界将宏块2分割成16×8的上侧区域和16×8的下侧区域的模式，图3的（c）是以上数第12像素的水平边界将宏块2分割成16×12的上侧区域和16×4的下侧区域的模式。
图4的（a）～（c）是说明将宏块在垂直方向上2分割的模式的图。图4的（a）是以左起第4像素的垂直边界将宏块2分割成4×16的左侧区域和12×16的右侧区域的模式，图4的（b）是以左起第8像素的垂直边界将宏块2分割成8×16的左侧区域和8×16的右侧区域的模式，图4的（c）是以左起第12像素的垂直边界将宏块2分割成12×16的左侧区域和4×16的右侧区域的模式。
将虚区域分割部101所决定的宏块的边界称作“虚边界”（provisional boundary），将由虚边界分割的宏块内的各区域称作“虚区域”（provisional region）。
在此表示了按水平方向或垂直方向2分割的模式，但也可以增加水平边界或垂直边界的候选位置，设置4以上的分割模式。此外，还可以以斜方向的边界进行分割，或以曲折的边界进行分割。
虚区域分割部101针对成为编码对象的原图像信号，计算关于各水平边界的水平活动、或关于各垂直边界的垂直活动。如后所述，在以曲折的边界分割宏块的情况下，沿曲折的边界计算活动。
所谓图像信号的活动（Activity），是指对像素施以某种运算后的值。作为关于对宏块进行区域分割的边界的活动，例如可以使用跨边界的2像素间的绝对差分和（SAD）。例如将宏块内的X坐标记为i，将Y坐标记为j，将点（i，j）的像素值记为Ai，j，则上数第j像素的水平边界j的水平活动如下这样定义。
水平活动＝Σi＝0 15｜Ai，j－Ai，j-1｜
在此，Σi＝0 15是使下标i从0变到15的总和。
但活动也可以不是绝对差分和（SAD）。可以是如下所示那样的绝对平方和（SSD）。
水平活动＝Σi＝0 15（Ai，j－Ai，j-1）2
同样地，宏块的左起第i像素的垂直边界i的垂直活动如下这样定义。
垂直活动＝Σj＝0 15｜Ai，j－Ai-1，j｜
活动在物体的边缘等成为较大的值。虚区域分割部101以活动值最大的边界对宏块的区域进行虚分割。
运动矢量检测部102针对由虚区域分割部101分割的各虚区域检测运动矢量。
图5是表示针对宏块的每个虚区域分别检测的运动矢量的图。以虚区域分割部101将宏块如图3的（a）那样用上数第4像素的水平边界虚分割的情况为例，运动矢量检测部102如图5所示那样针对16×4的上侧区域和16×12的下侧区域分别检测运动矢量。
在此，用块匹配法检测运动矢量。关于运动矢量检测的算法，除对指定的检查区域内的候选矢量全部进行评价的全搜索（full search）方法外，还有基于各种运动特性筛选要检查的候选矢量来进行检查的高速搜索等各种各样的方法。只要是能针对虚区域分割部101所分割的每个块检测运动矢量的算法，可以采用任意的运动矢量检测算法。
实区域分割·运动补偿部103使用运动矢量检测部102所检测出的各虚区域的运动矢量，基于保存在参照图像存储器107中的参照图像进行运动补偿预测。实区域分割·运动补偿部103在后述的步骤中将基于各虚区域的运动矢量而生成的多个运动补偿预测图像合成，生成合成运动补偿预测图像。
图6的（a）、（b）表示基于针对每个虚区域检测出的运动矢量而生成的运动补偿预测图像。图7的（a）～（c）表示将基于各虚区域的运动矢量生成的运动补偿预测图像合成而得到的合成运动补偿预测图像。
以虚区域分割部101将宏块如图3的（a）所示那样用上起第4像素的水平边界虚分割的情况为例进行说明。运动矢量检测部102如图5所示那样针对16×4的上侧区域和16×12的下侧区域分别检测运动矢量的结果是，编码对象宏块中存在2个运动矢量（第1、第2运动矢量）。实区域分割·运动补偿部103如图6的（a）、（b）所示那样针对运动矢量检测部102所检测出的每个运动矢量，使用参照图像，临时地生成以该宏块的大小（在此是16×16）进行运动补偿预测时的图像。图6的（a）是使用16×4的上侧区域的第1运动矢量生成的第1运动补偿预测图像，图6的（b）是使用16×12的下侧区域的第2运动矢量生成的第2运动补偿预测图像。
实区域分割·运动补偿部103将图6的（a）、（b）所示的第1、第2运动补偿预测图像按图7所示的（a）～（c）的任一种模式合成，生成合成运动补偿预测图像。第1、第2运动补偿预测图像与编码对象宏块是相同大小，为生成合成运动补偿预测图像而被以某边界分割。将实区域分割·运动补偿部103所决定的宏块的边界称作“实边界”（actual boundary），将由实边界分割的宏块的区域称作“实区域”（actualregion），以与虚区域分割部101所决定的“虚边界”、“虚区域”相区别。
图7的（a）～（c）表示了实区域分割·运动补偿部103要决定的实边界的候选。图7的（a）以上数第4像素的水平边界为实边界，图7的（b）以上数第8像素的水平边界为实边界，图7的（c）以上数第12像素的水平边界为实边界，各自的实边界上侧的实区域用第1运动补偿预测图像的对应区域来表现，实边界下侧的实区域用第2运动补偿预测图像的对应区域来表现。
实区域分割·运动补偿部103基于表示边缘强度等的评价值决定实边界，以所决定的实边界对第1、第2运动补偿预测图像进行分割合成。
图8的（a）～（c）是说明将基于各虚区域的运动矢量生成的运动补偿预测图像合成，生成合成运动补偿预测图像的方法的图。实区域分割·运动补偿部103在实边界决定后，使用图8的（a）的与第1运动矢量对应的第1运动补偿预测图像和图8的（b）的与第2运动矢量对应的第2运动补偿预测图像，将实边界上方的区域运动补偿预测为第1运动补偿预测图像，将实边界下方的区域运动补偿预测为第2运动补偿预测图像。在该例中，实边界上方的16×4的区域内被复制第1运动补偿预测图像的对应区域，实边界下方的16×12的区域内被复制第2运动补偿预测图像的对应区域。
在此以水平方向的区域分割为例进行了说明，但垂直方向的区域分割时也可以用同样的方法来实施。此外，本次说明了使实边界候选为图7的（a）～（c）的3种的情况，但也可以再增加实边界的候选。但是，如后所述，需要充分考虑到与正交变换·量化部104的正交变换尺寸的关系。
回到图1，减法器108通过编码对象原图像与实区域分割·运动补偿部103所算出的运动补偿预测图像的差分，算出预测残差分量，送往正交变换·量化部104。正交变换·量化部104进行预测残差分量的正交变换和量化。
在此，正交变换·量化部104使用与运动补偿预测的尺寸对应的正交变换尺寸进行正交变换。即，作为运动补偿预测的尺寸，容许16×4／16×8／16×12（垂直方向上4的倍数）的情况下，使得至少能使用16×4或8×4或4×4（垂直方向上4的倍数）的正交变换尺寸。作为另一例，在运动补偿预测的尺寸容许16×2／16×4／16×6／16×8／16×10／16×12（垂直方向上2的倍数）的情况下，使得至少能使用16×2或8×2或4×2（垂直方向上2的倍数）的正交变换尺寸。由此，在对运动补偿预测的预测误差进行正交变换时，正交变换的预测误差集合中就不包含运动补偿预测的边界了。由此，能防止将跨运动补偿预测的边界的像素作为预测误差一起进行正交变换所导致的正交变换效率的下降，发挥进一步提高编码效率的效果。
可变长度编码部105对由正交变换·量化部104正交变换和量化后的预测残差分量进行可变长度编码，并对由运动矢量检测部102检测出的运动矢量进行可变长度编码。在如以往那样用固定边界分割宏块的情况下，运动矢量是按光栅（raster）顺序（即从左上方的块向右下方的块的顺序）传送的。在如本实施方式那样在解码侧自动决定运动补偿预测的形状的情况下，以运动补偿预测的各区域内的最左上方像素的位置为光栅顺序的起始，按顺序传送运动矢量。由此，通过与以往技术同样地传送多个运动矢量的顺序，能够唯一地表现运动补偿预测的对象区域。
逆量化·逆正交变换部106对被正交变换·量化部104正交变换和量化后的预测残差分量进行逆正交变换和逆量化。预先使得能同正交变换·量化部104一样地以与运动补偿预测的尺寸对应的尺寸进行逆正交变换。
加法部109通过使由逆量化·逆正交变换部106解码的预测残差分量与由实区域分割·运动补偿部103算出的运动补偿预测图像相加，来生成参照图像，并存储到参照图像存储器107中。
图2是表示实施方式1的动图像解码装置的构成的功能块图。实施方式1的动图像解码装置包括可变长度解码部201、实区域分割·运动补偿部203、逆量化·逆正交变换部206、加法部209、以及参照图像存储器207。
可变长度解码部201对被正交变换和量化了的预测残差分量信号及运动矢量进行可变长度解码。在被图1的动图像编码装置编码了的比特流中，由于运动矢量是按分割宏块后的每个区域被编码的，故通过可变长度解码部201，针对每个分割区域解码运动矢量。在此，通过宏块内的运动矢量被解码的顺序，能唯一地决定运动补偿预测的对象区域。
实区域分割·运动补偿部203具有与图1的动图像编码装置的实区域分割·运动补偿部103相同的功能，使用在可变长度解码部201中被解码出的运动矢量，基于保存在参照图像存储器207中的参照图像进行运动补偿预测。在此，运动矢量是按宏块的每个分割区域分别取得的。实区域分割·运动补偿部203按与图1的动图像编码装置的实区域分割·运动补偿部103同样的步骤，将基于各分割区域的运动矢量而生成的多个运动补偿预测图像合成，生成合成运动补偿预测图像。
逆量化·逆正交变换部206具有与图1的动图像编码装置的逆量化·逆正交变换部106相同的功能，对在可变长度解码部201中解码出的预测残差分量进行逆正交变换和逆量化。
加法部209通过使逆量化·逆正交变换部206所解码出的预测残差分量与实区域分割·运动补偿部203所算出的运动补偿预测图像相加，来解码图像信号。参照图像存储器207与图1的动图像编码装置的参照图像存储器107相同，保存被解码了的参照图像。
下面说明以上构成的动图像编码装置的动作，特别说明实区域分割·运动补偿部103的动作。
图9是说明实区域分割·运动补偿部103的实区域决定步骤的流程图。
首先，针对虚区域分割部101所分割的N个（N≧2）虚区域，运动矢量检测部102分别检测运动矢量。在此假定N＝2。使用在运动矢量检测部102中检测出的第1运动矢量，按与宏块相同的大小进行运动补偿预测，生成第1运动补偿预测图像（S01）。同样，使用在运动矢量检测部102中检测出的第2运动矢量，按与宏块相同的大小进行运动补偿预测，生成第2运动补偿预测图像（S02）。
然后，针对实边界的各候选算出图10的（a）～（d）所示的第1～第4活动（S03～S06）。但是，步骤S03～S06可以顺序不同地进行。此外，当然也可以完全不进行步骤S03～S06，仅算出想要在边界评价中使用的活动。
首先，如图10的（a）那样，针对第1运动补偿预测图像算出关于实边界候选的边界活动（第1活动）（S03）。在此，对于活动，采用跨实边界候选的2像素间的绝对差分和（SAD）。由于第1活动在物体的边缘等值变大，故值越大，用相应边界分割区域时运动补偿预测的预测效率就越提高。同样地，如图10的（b）那样，针对第2运动补偿预测图像算出关于实边界候选的边界活动（第2活动）（S04）。第2活动同第1活动一样，值越大，用相应边界分割区域时运动补偿预测的预测效率就越提高。
在此，说明不按1像素间隔边界定义实边界候选时的第1活动及第2活动的算出方法。在实边界候选未被按n像素（n≧2）间隔定义的情况下，在算出关于某实边界候选的边界活动时，在该实边界候选Y的周边过滤未被定义有实边界候选的区域の边界活动进行使用。
图11是说明按2像素间隔定义实边界候选时的第1活动及第2活动的算出例子的图。图11是针对16×16像素的宏块，按2像素间隔（2，4，6，8，10，12，14）设定有实边界候选的情况。实边界候选的位置是实线，未被设定有实边界候选的位置用虚线图示。对于实边界位置Y处的第1和第2活动，考虑未设定有实边界候选的周边位置Y－1、Y＋1处的活动地以下式求出。
新的活动（Y）＝（ACT（Y－1）＋2*ACT（Y）＋ACT（Y＋1）＋2）／4
在此，ACT（Y）、ACT（Y－1）、ACT（Y＋1）分别是位置Y、Y－1、Y＋1处的由图10的（a）、（b）所说明的边界活动。
这样，在实边界是按2像素间隔设定的时，使得不作为实边界候选来使用的位置（Y－1）及（Y＋1）处的活动对作为实边界候选来使用的位置Y的活动产生影响。由此，例如即使在陡峭的边缘发生于非边界候选的位置时，也能使存在陡峭边缘的位置的活动反映于边界候选位置的活动。即使不针对每1像素将所有边界都设定为边界候选，也能参考偏离候选的位置的活动，故能既抑制运算量又有助于恰当的实边界判定。
在本例中是使活动计算的过滤系数为1：2：1的，但当然也可以用其它系数进行过滤。此外，实边界候选也可以不是按2像素间隔，而是按3像素间隔以上。例如使实边界候选为4像素间隔时，对于实边界位置Y处的第1和第2活动，考虑未设定有实边界候选的周边位置Y－2、Y－1、Y＋1、Y＋2处的活动地、基于过滤系数1：2：4：2：1以下式求出。
新的活动（Y）＝（ACT（Y－2）＋2*ACT（Y－1）＋4*ACT（Y）＋2*ACT（Y＋1）＋ACT（Y＋2）＋5）／10
接下来，针对如图10的（c）那样将宏块内的实边界候选上方的区域运动补偿预测为第1运动补偿预测图像，将实边界候选下方的区域作为第2运动补偿预测图像而进行合成后的合成运动补偿预测图像，算出关于实边界候选的边界活动（第3活动）（S05）。第3活动是跨实边界候选的2像素间的绝对差分和，故成为位于实边界候选的上下位置的第1运动补偿预测图像的像素与第2运动补偿预测图像的像素的值的绝对差分之和。因此，第3活动的值越小，合成运动补偿预测图像的边界就越平滑，预测误差信号中越难以出现高频分量，故运动补偿预测的预测效率提高。
在此，在针对第3活动算出关于某实边界候选的边界活动时，当然也可以在该实边界候选Y的周边对未定义有实边界候选的区域的边界活动进行过滤地使用。
最后，如图10的（d）那样，针对第1运动补偿预测图像与第2运动补偿预测图像的差分图像，算出关于实边界候选的边界活动（第4活动）（S06）。第4活动在物体的边界等值会变大，故值越大，用相应边界分割区域时运动补偿预测的预测效率越提高。
在此，在针对第4活动算出关于某实边界候选的边界活动时，当然也可以在该实边界候选Y的周边过滤使用未被定义实边界候选的区域的边界活动。
在算出所有用于边界评价的活动后，使用预先定义的评价值评价实边界候选（S07）。例如评价值如下这样定义。
评价值＝－A*ACT1－B*ACT2＋C*ACT3－D*ACT4
在此，ACT1表示第1活动值，ACT2表示第2活动值，ACT3表示第3活动值，ACT4表示第4活动值。此外，A，B，C，D分别是0以上的常数。
针对所有实边界候选算出上述评价值，将具有最小值的实边界候选决定为最终的实边界（S08）。
在此，优选实边界与虚边界相同，但所决定的实边界未必要与虚边界相同。运动矢量检测用的虚边界是用于在编码侧求取最佳的运动矢量的边界，能使用仅编码侧可使用的编码对象原图像来算出。另一方面，实边界必须在编码侧和解码侧都能唯一地算出，用算出的（在解码侧是被传送来的）多个运动矢量和其运动补偿预测图像（即加上预测残差分量之前的图像）来判断。因此，即使实边界与虚边界不相同，也不会发生编码侧和解码侧的失配等。
然而，实边界与虚边界不同意味着无法对实边界决定后的合成运动补偿预测图像检测最佳的运动矢量，预测效率有时并不一定提高。因此，只要通过调整虚区域分割部101所设定的虚区域、或调整运动矢量检测部102所检测的运动矢量，同时实现最佳的虚边界或最佳的运动矢量和最佳的实边界这两者，就能进一步提高编码效率。
以下，作为实施方式2，说明通过调整运动矢量检测部102所检测的运动矢量，来使实区域分割·运动补偿部103所生成的合成运动补偿预测图像的预测效率最佳化的构成。此外，作为实施方式3，说明通过调整虚区域分割部101所设定的虚边界，来使实区域分割·运动补偿部103所生成的合成运动补偿预测图像的预测效率最佳化的构成。
（实施方式2）
实施方式2的动图像编码装置是与图1的动图像编码装置相同的构成，但在实施方式2中，增加了从实区域分割·运动补偿部103向运动矢量检测部102发送用于指示运动矢量的调整的信号的路径。由此，运动矢量检测部102和实区域分割·运动补偿部103的处理形成循环，运动矢量检测部102调整运动矢量，直到实区域分割·运动补偿部103决定的实边界与虚区域分割部101的虚边界相一致或足够接近。
图12是说明实施方式2的动图像编码装置进行的运动矢量的调整步骤的流程图。运动矢量检测部102基于虚边界检测运动矢量（S11），然后实区域分割·运动补偿部103基于运动矢量检测部102所检测出的运动矢量进行实边界决定处理（S12）。如图9所述那样，通过从实边界候选中选择边界活动的评价值最佳的实边界来进行实边界决定处理。
当实区域分割·运动补偿部103所决定的实边界与虚边界相等时，结束运动矢量检测部102的运动矢量检测，若所决定的实边界与虚边界不同，则继续进行运动矢量检测部102的运动矢量检测（S13）。实边界与虚边界不同时，运动矢量检测部102例如在被虚分割为2个区域的某个区域中重新进行运动矢量检测。重新进行的方法可以是任意的方法，例如可以采用保留运动矢量检查时的误差评价值内第二小的值（第2最小值），基于第2最小值的位置继续进行运动矢量检测等方法。
使用运动矢量检测部102所再次检测出的运动矢量，实区域分割·运动补偿部103再次进行实边界决定处理。反复进行运动矢量检测部102的运动矢量检测处理和实区域分割·运动补偿部103的实边界决定处理，直到实边界与虚边界相一致或足够接近。
（实施方式3）
实施方式3的动图像编码装置是与图1的动图像编码装置相同的构成，在实施方式3中，虚区域分割部101设定多个虚边界候选，运动矢量检测部102针对每个虚边界候选检测运动矢量，实区域分割·运动补偿部103针对每个虚边界进行实边界决定处理。然后，实区域分割·运动补偿部103在多个虚边界中选择合成运动补偿预测图像的预测效率最佳者。
图13是说明实施方式3的动图像编码装置进行的虚边界的调整步骤的流程图。虚区域分割部101设定多个虚边界候选，运动矢量检测部102针对由各虚边界候选分割的每个虚区域检测运动矢量（S21）。实区域分割·运动补偿部103基于针对由各虚边界候选分割的每个虚区域检测出的运动矢量，进行实边界决定处理（S22），评价合成运动补偿预测图像的预测效率（S23）。关于预测效率的评价，通过针对原图像与合成运动补偿预测图像的差分的SAD等来进行评价。针对多个虚边界候选进行该评价（S24），选择虚边界候选中运动补偿预测图像的预测效率最佳的虚边界。实区域分割·运动补偿部103基于实边界，将所生成的合成运动补偿预测图像作为最终结果输出，该实边界是针对运动矢量决定的实边界，而该运动矢量是针对所选择的虚边界的运动矢量。
作为另一方法，也可以如实施方式2那样增加从实区域分割·运动补偿部103向虚区域分割部101发送用于指示虚边界的调整的信号的路径，虚区域分割部101、运动矢量检测部102及实区域分割·运动补偿部103的处理形成循环。虚区域分割部101调整虚边界，直到实区域分割·运动补偿部103决定的实边界与虚区域分割部101的虚边界相一致或足够接近。当实区域分割·运动补偿部103所决定的实边界与虚边界相等时，虚区域分割部101所进行的虚边界的设定结束，但若所决定的实边界与虚边界不同，则虚区域分割部101设定另一虚边界的候选，运动矢量检测部102针对由再次设定的虚边界分割的每个虚区域再次检测运动矢量，实区域分割·运动补偿部103再次进行实边界决定处理。反复进行虚区域分割部101的虚边界设定处理和实区域分割·运动补偿部103的实边界决定处理，直到实边界与虚边界相一致或足够接近。
不论采取哪种方法，结果，实区域分割·运动补偿部103最终决定的实边界都变得与虚区域分割部101所设定的虚边界相一致或足够接近，预测效率提高。
接下来，说明由实施方式1～3的动图像编码装置编码的动图像的比特流的语法。
图14表示以MPEG－4AVC的语法为基础的第一语法模式。如图14的（a）那样，首先，传送表示在解码侧是否按片单位使用预测图像的特征量自动决定运动补偿预测的形状的第1标志（use_auto_mc_size）。第1标志use_auto_mc_size为OFF时，如以往那样基于图14的（b）所示的宏块类型mb_type固定地分割宏块，进行运动补偿预测。第1标志use_auto_mc_size为ON时，在解码侧使用预测图像的特征量自动决定运动补偿预测的形状，进行运动补偿预测。按宏块单位，同MPEG－4AVC一样传送mb_type，判断运动补偿预测的形状。
图15表示第1标志use_auto_mc_size分别为ON／OFF时的宏块类型mb_type的语义。宏块类型mb_type＝0时，不对16×16的宏块进行区域分割地进行运动补偿预测。宏块类型mb_type＝1时，若第1标志use_auto_mc_size为OFF，则按16×8进行运动补偿预测，若第1标志use_auto_mc_size为ON，则将宏块自动分割为16×A和16×（16－A）的两个区域，进行运动补偿预测。同样地，宏块类型mb_type＝2时，若第1标志use_auto_mc_size为OFF，则按8×16块进行运动补偿预测，若第1标志use_auto_mc_size为ON，则将宏块自动分割成A×16和（16－A）×16的两个区域，进行运动补偿预测。宏块类型mb_type＝3时，按8×8块进行运动补偿预测。
图16表示传送第2标志（auto_mc_size_enable）的第二语法模式，该第2标志表示是否不仅按片级别、还按宏块单位在解码侧自动决定运动补偿预测的形状。若第2标志auto_mc_size_enable为OFF，则按片级别，同第1标志use_auto_mc_size为OFF时一样如以往那样基于宏块类型mb_type固定地分割宏块，进行运动补偿预测。若第2标志auto_mc_size_enable为ON，则使用预测图像的特征量，在解码侧自动决定运动补偿预测的形状，进行运动补偿预测。若采用第二语法，则由于自动地决定实边界，能够排除预测效率下降的情况。
图17表示切换按片级别在解码侧自动决定运动补偿预测的形状的算法的第三语法模式。按片单位，第1标志use_auto_mc_size为ON时，传送表示在解码侧自动决定运动补偿预测的形状的算法类型的算法类型auto_mc_algorithm。例如，算法类型auto_mc_algorithm＝0时，基于使用了第1～第4活动ACT1～ACT4的全部的评价值来决定运动补偿预测的形状。算法类型auto_mc_algorithm＝1时，基于使用了除第4活动ACT4外的第1～第3活动ACT1～ACT3的评价值，决定运动补偿预测的形状等。这样，通过时要使用的活动的种类与算法类型auto_mc_algorithm的值建立对应，能切换决定运动补偿预测的形状的算法。若采用第三语法，则能在编码侧判断最佳的算法类型，在解码侧进行区域的自动分割，故编码效率进一步提高。
图18表示在语法上不区别将宏块在水平方向和垂直方向的哪个方向上分割区域（分割方向）的第四语法模式。按宏块单位传送宏块类型mb_type并判断运动补偿预测的形状，这与第一语法模式是一样的，但宏块类型mb_type的语义不同。
图19表示第四语法模式的宏块类型mb_type的语义。第1标志use_auto_mc_size为OFF时，如以往那样基于宏块类型mb_type固定地分割宏块，进行运动补偿预测，第1标志use_auto_mc_size为ON时，使用预测图像的特征量，在解码侧自动决定运动补偿预测的形状，进行运动补偿预测，这与第一语法模式是同样的。但是，作为宏块类型mb_type＝1，是不区别在水平方向上分割成16×A和16×（16－A）的两个区域和在垂直方向上分割成A×16和（16－A）×16的两个区域的，这与第一语法模式不同。宏块类型mb_type＝1时，算出水平方向实边界候选和垂直方向实边界候选的所有边界评价值，将具有最小评价值的边界候选决定为实边界。即，在解码侧包含分割方向（水平方向·垂直方向）在内地自动决定运动补偿预测的形状。若采用第四语法模式，则无需传送用于区别水平方向和垂直方向的分割方向信息，故宏块类型mb_type的编码量减少，编码效率进一步提高。
图20表示不与宏块类型mb_type相联动地决定区域分割的第五语法模式。按宏块单位，传送运动矢量数motion_vector_num_minus1来取代宏块类型mb_type。运动矢量数motion_vector_num_minus1表示（宏块内的运动矢量的条数－1）的值。在本发明的实施方式中，要传送的运动矢量的数量分割运动补偿预测的区域，故只要至少传送运动矢量的条数，就有可能在解码侧能自动决定运动补偿预测的形状。在实施方式1～3中，说明了运动矢量为2条的情况，但在实施方式5中，说明运动矢量为比2条多的例如3条的情况。
至此，针对在MPEG的P图像等中所使用的片方向预测说明了本发明的实施方式。下面参照图21，说明对在B图像等中使用的双向预测（通常为前向预测和后向预测）适用本发明实施方式的情况。在此，以将宏块在水平方向上2分割的情况为例进行说明。所谓双向预测，是通过将基于2个参照图像进行运动补偿预测而得到的2个图像平均化或加权平均化，来得到预测图像的技术。
首先，针对每个虚区域检测各预测方向（前向、后向）的运动矢量。图21的（a）、（b）表示针对第1虚区域的各预测方向（前向、后向）的第1运动矢量。图21的（a）、（b）表示针对第2虚区域的各预测方向（前向、后向）的第2运动矢量。
图21的（e）表示使用前向和后向的第1运动矢量进行双向预测后的第1运动补偿预测图像，图21的（f）表示使用前向和后向的第2运动矢量进行双向预测后的第2运动补偿预测图像。
图21的（g）表示在实边界决定后，将宏块的实边界上侧的实区域从第1运动补偿预测图像的对应区域中复制，将实边界下侧的实区域从第2运动补偿预测图像的对应区域复制而生成的合成运动补偿预测图像。
这样，对双向预测适用本发明的实施方式较为容易，能通过双向预测减少预测误差，并通过恰当的区域分割进一步减少预测误差。
此外，本发明的实施方式当然也可以不直接传送运动矢量，而是使用基于周边块的运动矢量或参照图像的运动矢量自动算出的运动矢量，自动地决定运动补偿预测的形状。
此外，至此说明了单一的图像分量（Component）（亮度），但也可适用于YUV4：4：4／YUV4：2：2／YUV4：2：0等多个分量（亮度及色差）。但是，由于在运动补偿预测中同时进行亮度和色差，故在YUV4：2：2或YUV4：2：0等亮度与色差的采样数不同的格式下，若以采样数多的亮度为基准分割区域，则有可能色差的区域分割位置变得不明确。例如为YUV4：2：0格式时，若将亮度分割成16×5和16×11，则色差的区域分割不明确是8×2还是8×3等。作为防止这样的不明确的策略，有预先以采样数少的色差为基准分割区域或预先决定不明确的位置的色差的分割规则（以块的中心为基准切除）的方法、边界上的像素采用两运动补偿预测图像的平均值（过滤）的方法等。
（实施方式4）
实施方式4的动图像编码装置和动图像解码装置采用与实施方式1～3相同的构成，但实施方式4的动图像编码装置将宏块2维地分割来进行运动补偿，传送2个运动矢量，动图像解码装置将运动补偿预测的形状在解码侧2维地分割，进行使用了传送来的2个运动矢量的运动补偿。
图22的（a）～（f）表示对宏块进行2维区域分割的方法。通过如图22的（a）那样执行在实施方式1～3中说明的步骤，对宏块设定水平方向边界和垂直方向边界。通过水平方向边界上或下、与垂直方向边界左或右的组合，能定义图22的（b）～（e）的4种2维分割模式。
在图22的（b）的2维分割模式中，以水平方向边界上方且垂直方向边界左方的区域为第1区域，将剩余的区域（水平方向边界下方或垂直方向边界左方的区域）作为第2区域。
在图22的（c）的2维分割模式中，将水平方向边界下方或垂直方向边界左方的区域作为第1区域，将剩余区域（水平方向边界上方且垂直方向边界右方的区域）作为第2区域。
在图22的（d）的2维分割模式中，将水平方向边界上方或垂直方向边界右方的区域作为第1区域，将剩余区域（水平方向边界下方且垂直方向边界左方的区域）作为第2区域。
在图22的（e）的2维分割模式中，将水平方向边界上方或垂直方向边界左方的区域作为第1区域，将剩余区域（水平方向边界下方且垂直方向边界右方的区域）作为第2区域。
图22的（f）表示从这四种2维分割模式中选其一，向第1区域复制基于第1运动矢量的运动补偿预测图像的对应区域，向第2区域复制基于第2运动矢量的运动补偿预测图像的对应区域后所得到的合成运动补偿预测图像。
图23是说明2维地分割宏块进行运动补偿的步骤的流程图。首先，以与实施方式1同样的方法决定水平方向边界和垂直方向边界这两个边界（S31）。然后，针对由水平方向边界和垂直方向边界的组合所2分割的宏块的2维分割区域，算出边界活动的评价值（S32）。例如若将对宏块内的X坐标赋以i、将Y坐标赋以j时的像素值记作Ai，j，则能如下这样定义在2维分割区域内沿边界从i＝a至i＝b适用水平方向边界j的水平活动，从j＝c至j＝d适用垂直方向边界i的垂直活动时的2维平均活动。
2维平均活动＝Σi＝a b｜Ai，j－Ai，j-1｜／（b－a）＋∑j＝c d｜Ai，j－Ai-1，j｜／（d－c）
通过将上述的2维平均活动用于评价值，能不依赖于算出活动所使用的采样数地评价2维区域分割。按所有2维分割模式（在此是4个模式）反复执行步骤S32（S33），选择具有最小评价值的2维分割候选，生成合成运动补偿预测图像。
这样，在实施方式4中，能以比实施方式1更灵活的形状进行运动补偿预测，故编码效率进一步提高。
（实施方式5）
实施方式5的动图像编码装置和动图像解码装置采用与实施方式1～3相同的构成，但实施方式5的动图像编码装置采用3个运动矢量分割宏块进行运动补偿，传送3个运动矢量，动图像解码装置利用所传送来的3个运动矢量，将运动补偿预测的形状在解码侧3分割，进行运动补偿。
图24的（a）、（b）表示将宏块分割成3个区域的方法。如图24的（a）那样，首先执行实施方式1～3中所说明的步骤，通过水平方向边界或垂直方向边界将宏块2分割。然后，如图24的（b）那样针对2分割后的区域中的较大的区域，进一步设定水平方向边界或垂直方向边界，由此将较大的区域2分割。由此，宏块被3分割，在各区域中检测运动矢量。
图25是说明将宏块3分割进行运动补偿的步骤的流程图。为将宏块分割成3个区域进行运动补偿，需要检测并传送3个运动矢量。首先，按与实施方式1同样的方法，使用第1条运动矢量和第2条运动矢量在水平方向或垂直方向上进行区域分割，进行运动补偿（S41）。然后，比较由第1条运动矢量和第2条运动矢量分割出的区域的大小，判断较大的区域（S42）。这是因为较大的区域受区域分割的影响大，有助于更大地提高预测效率。此外，针对区域的大小相同的情况，预先决定好哪个区域优先。最后，针对较大的区域，使用该区域的运动矢量（第1条运动矢量或第2条运动矢量）和第3个运动矢量，在水平方向或垂直方向上区域分割，进行运动补偿（S43）。
这样，在实施方式5中，能使用3个运动矢量将运动补偿预测的区域3分割。由此，能应对多个小的运动等，故编码效率进一步提高。通过同样地进一步推进区域的分割，能使运动补偿预测的区域在4分割以上，使运动矢量的数量在4以上。
如上所述通过本发明的实施方式，使用从多个运动矢量得到的多个预测图像的特征量，在解码侧自动决定运动补偿预测的形状，由此，能不传送运动补偿预测形状模式的信息地使运动补偿预测的形状成为可变。因此，能进行各种各样形状的灵活的运动补偿预测，其结果，能不增加附加信息的编码量地减少运动补偿预测的预测误差，编码效率得到提高。
此外，在编码侧的运动矢量检测过程中，通过一边算出在解码侧决定的实边界一边运动矢量，同时实现了最佳的运动矢量和最佳的实边界这两者。由此，运动补偿预测的预测效率提高。此外，在解码侧使用基于所传送来的运动矢量算出的实边界进行运动补偿预测，就能解码动图像。
以上关于编码和解码的处理显然能作为使用了硬件的传送、保存、接收装置来实现，也能通过ROM（只读存储器）或闪速存储器等中所存储的固件及计算机等的软件来实现。能将该固件程序、软件程序记录在计算机等可读取的记录介质中提供，也可通过有线或无线的网络从服务器提供，还可以以地面波或卫星数字广播的的数据广播的形式来提供。
以上基于实施方式说明了本发明。实施方式仅是例示，本领域技术人员当理解其各构成要素和各处理过程的组合可以有各种各样的变形例，并且这样的变形例也包含在本发明的范围内。
〔标号说明〕
101虚区域分割部、102运动矢量检测部、103实区域分割·运动补偿部、104正交变换·量化部、105可变长度编码部、106逆量化·逆正交变换部、107参照图像存储器、108减法器、109加法部、201可变长度解码部、203实区域分割·运动补偿部、206逆量化·逆正交变换部、207参照图像存储器、209加法部。
〔工业可利用性〕
本发明能适用于动图像的编码技术，特别适用于利用了运动补偿预测的动图像编码技术。

Claims (15)

1.一种动图像编码装置，其特征在于，包括：
虚区域分割部，将编码对象块用预定的虚边界分割成多个虚区域，
运动矢量检测部，针对各虚区域检测运动矢量，
运动补偿部，使用各虚区域的运动矢量，基于参照图像生成与上述编码对象块对应的多个预测块，基于多个预测块的活动决定实边界，使将上述各预测块用上述实边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块，以及
编码部，对从上述编码对象块减去上述合成预测块的预测差分块和各虚区域的运动矢量进行编码。
2.如权利要求1所述的动图像编码装置，其特征在于，
上述运动补偿部基于多个预测块的各相邻像素间的活动算出与实边界候选对应的评价值，使用上述评价值从实边界候选中决定实边界。
3.如权利要求2所述的动图像编码装置，其特征在于，
上述实边界候选是按2像素间隔以上的预定像素间隔而设的，上述运动补偿部基于实边界候选的活动和与实边界候选相邻的未被设定为实边界候选的边界的活动，算出与实边界候选对应的上述评价值。
4.如权利要求1至3的任一项所述的动图像编码装置，其特征在于，
当由上述运动补偿部决定的上述实边界与上述虚边界不同时，上述运动矢量检测部将至少1个虚区域的运动矢量再设定为不同于前次的值，上述运动补偿部基于在再设定对象的虚区域中使用各虚区域的运动矢量而生成的多个预测块的活动，再决定上述实边界，其中，所述各虚区域的运动矢量采用了该再设定的运动矢量。
5.如权利要求1至3的任一项所述的动图像编码装置，其特征在于，
上述虚区域分割部设定多个虚边界候选，将上述编码对象块按每个上述虚边界候选分别分割成多个虚区域；
上述运动矢量检测部针对每个虚边界候选分别检测相对于各虚区域的运动矢量；
上述运动补偿部针对每个虚边界候选，使用各虚区域的运动矢量生成上述合成预测块的候选，将预测效率最佳的合成预测块的候选选为最终的合成预测块。
6.如权利要求1至3的任一项所述的动图像编码装置，其特征在于，
当上述运动补偿部所决定的上述实边界与上述虚边界不同时，上述虚区域分割部再设定另一虚边界，上述运动矢量检测部针对由再设定的虚边界分割的每个虚区域再检测运动矢量，上述运动补偿部基于使用再检测出的各虚区域的运动矢量而生成的多个预测块的活动，再决定上述实边界。
7.如权利要求1至6的任一项所述的动图像编码装置，其特征在于，
上述预测块的活动是对跨分割上述预测块的实边界的像素值进行评价后的边界活动。
8.一种动图像编码方法，其特征在于，包括：
将编码对象块用预定的虚边界分割成多个虚区域的步骤，
针对各虚区域检测运动矢量的步骤，
使用各虚区域的运动矢量，基于参照图像生成与上述编码对象块对应的多个预测块，基于多个预测块的活动决定实边界，使将上述各预测块用上述实边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块的步骤，以及
对从上述编码对象块减去上述合成预测块的预测差分块和各虚区域的运动矢量进行编码的步骤。
9.一种用于使计算机实现以下功能的动图像编码程序：
将编码对象块用预定的虚边界分割成多个虚区域的功能，
针对各虚区域检测运动矢量的功能，
使用各虚区域的运动矢量，基于参照图像生成与上述编码对象块对应的多个预测块，基于多个预测块的活动决定实边界，使将上述各预测块用上述实边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块的功能，以及
对从上述编码对象块减去上述合成预测块的预测差分块和各虚区域的运动矢量进行编码的功能。
10.一种动图像解码装置，其特征在于，包括：
解码部，从编码流中解码出针对解码对象块的多个运动矢量，
运动补偿部，使用多个运动矢量，基于参照图像生成与上述解码对象块对应的多个预测块，基于多个预测块的活动决定边界，使将上述各预测块用上述边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块，以及
加法部，通过使上述合成预测块与从上述解码对象块解码出的预测差分块相加，来生成解码图像。
11.如权利要求10所述的动图像解码装置，其特征在于，
上述运动补偿部基于多个预测块的各相邻像素间的活动算出与边界候选对应的评价值，使用上述评价值从边界候选中决定边界。
12.如权利要求11所述的动图像解码装置，其特征在于，
上述边界候选是按2像素间隔以上的预定像素间隔而设的，上述运动补偿部基于边界候选的活动和与边界候选相邻的未被设定为边界候选的边界的活动，算出与边界候选对应的上述评价值。
13.如权利要求10至12的任一项所述的动图像解码装置，其特征在于，
上述预测块的活动是对跨分割上述预测块的边界的像素值进行评价后的边界活动。
14.一种动图像解码方法，其特征在于，包括：
从编码流中解码出针对解码对象块的多个运动矢量的步骤，
使用多个运动矢量，基于参照图像生成与上述解码对象块对应的多个预测块，基于多个预测块的活动决定边界，使将上述各预测块用上述边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块的步骤，以及
通过使上述合成预测块与从上述解码对象块解码出的预测差分块相加，来生成解码图像的步骤。
15.一种用于使计算机实现以下功能的动图像解码程序：
从编码流中解码出针对解码对象块的多个运动矢量的功能，
使用多个运动矢量，基于参照图像生成与上述解码对象块对应的多个预测块，基于多个预测块的活动决定边界，使将上述各预测块用上述边界分割而得到的区域在上述各预测块间结合，由此生成合成预测块的功能，以及
通过使上述合成预测块与从上述解码对象块解码出的预测差分块相加，来生成解码图像的功能。
CN201180026733.7A 2010-04-07 2011-03-23 动图像编码装置和方法、以及动图像解码装置和方法 Active CN102918842B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2010-088529 2010-04-07
JP2010088528 2010-04-07
JP2010-088528 2010-04-07
JP2010088529 2010-04-07
JP2010217755A JP2011234338A (ja) 2010-04-07 2010-09-28 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2010-217755 2010-09-28
JP2010217754A JP2011234337A (ja) 2010-04-07 2010-09-28 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2010-217754 2010-09-28
PCT/JP2011/001690 WO2011125299A1 (ja) 2010-04-07 2011-03-23 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム

Publications (2)

Publication Number Publication Date
CN102918842A true CN102918842A (zh) 2013-02-06
CN102918842B CN102918842B (zh) 2016-05-18

Family

ID=47439506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026733.7A Active CN102918842B (zh) 2010-04-07 2011-03-23 动图像编码装置和方法、以及动图像解码装置和方法

Country Status (5)

Country Link
US (1) US20130064299A1 (zh)
EP (1) EP2557791A4 (zh)
KR (2) KR20140017018A (zh)
CN (1) CN102918842B (zh)
WO (1) WO2011125299A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417617A (zh) * 2016-06-22 2019-03-01 韩国电子通信研究院 帧内预测方法和装置
CN113056918A (zh) * 2018-09-21 2021-06-29 日本放送协会 图像编码装置、图像解码装置及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206772B2 (ja) * 2010-11-22 2013-06-12 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
WO2013113170A1 (en) * 2012-02-03 2013-08-08 Thomson Licensing System and method for error controllable repetitive structure discovery based compression
KR102327617B1 (ko) * 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
KR20180040517A (ko) * 2015-09-10 2018-04-20 삼성전자주식회사 비디오 부호화, 복호화 방법 및 장치
WO2019050300A1 (ko) * 2017-09-06 2019-03-14 가온미디어 주식회사 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
EP3668096A1 (en) 2018-12-11 2020-06-17 Axis AB Method and device for encoding a sequence of image frames using a first and a second encoder

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
US20040240554A1 (en) * 1996-08-15 2004-12-02 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム
CN1691783A (zh) * 2004-04-28 2005-11-02 松下电器产业株式会社 运动图像编码和解码方法,装置,程序及程序产品
CN1921628A (zh) * 2005-08-23 2007-02-28 松下电器产业株式会社 一种运动矢量检测装置及运动矢量检测方法
CN101605262A (zh) * 2009-07-09 2009-12-16 杭州士兰微电子股份有限公司 可变块尺寸运动预测方法和装置
JP2010081635A (ja) * 2009-11-20 2010-04-08 Casio Computer Co Ltd 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5936849A (ja) 1982-08-26 1984-02-29 Toshiba Corp フオ−ムオ−バレイ制御方式
DE69133350D1 (de) * 1990-03-05 2004-01-29 Canon Kk Bildverarbeitungsgerät
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
EP2720466A1 (en) * 2005-09-26 2014-04-16 Mitsubishi Electric Corporation Moving image coding method
JPWO2008120577A1 (ja) 2007-03-29 2010-07-15 株式会社東芝 画像符号化及び復号化の方法及び装置
BRPI0818344A2 (pt) * 2007-10-12 2015-04-22 Thomson Licensing Métodos e aparelhos para codificação e decodificação de vídeo de partições de modo bi-preditivo geometricamente particionadas
US8401311B2 (en) * 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
US20040240554A1 (en) * 1996-08-15 2004-12-02 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム
CN1691783A (zh) * 2004-04-28 2005-11-02 松下电器产业株式会社 运动图像编码和解码方法,装置,程序及程序产品
CN1921628A (zh) * 2005-08-23 2007-02-28 松下电器产业株式会社 一种运动矢量检测装置及运动矢量检测方法
CN101605262A (zh) * 2009-07-09 2009-12-16 杭州士兰微电子股份有限公司 可变块尺寸运动预测方法和装置
JP2010081635A (ja) * 2009-11-20 2010-04-08 Casio Computer Co Ltd 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417617A (zh) * 2016-06-22 2019-03-01 韩国电子通信研究院 帧内预测方法和装置
CN109417617B (zh) * 2016-06-22 2023-10-20 Lx 半导体科技有限公司 帧内预测方法和装置
CN113056918A (zh) * 2018-09-21 2021-06-29 日本放送协会 图像编码装置、图像解码装置及程序
CN113056918B (zh) * 2018-09-21 2024-04-12 日本放送协会 图像编码装置、图像解码装置及程序

Also Published As

Publication number Publication date
US20130064299A1 (en) 2013-03-14
EP2557791A4 (en) 2016-09-07
KR20130009833A (ko) 2013-01-23
KR101419634B1 (ko) 2014-07-16
CN102918842B (zh) 2016-05-18
WO2011125299A1 (ja) 2011-10-13
KR20140017018A (ko) 2014-02-10
EP2557791A1 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
CN102918842B (zh) 动图像编码装置和方法、以及动图像解码装置和方法
US9936198B2 (en) Moving picture coding device, moving picture coding method, and moving picture coding program, and moving picture decoding device, moving picture decoding method, and moving picture decoding program
KR101379255B1 (ko) 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
RU2715015C1 (ru) Устройство кодирования с предсказанием видео, способ кодирования с предсказанием видео, устройство декодирования с предсказанием видео и способ декодирования с предсказанием видео
CN103024382B (zh) 动态图像编码装置、方法以及动态图像解码装置、方法
KR101772459B1 (ko) 신규한 인트라 예측 모드
KR102164752B1 (ko) 인트라 예측 장치
CN1323553C (zh) 隐藏由宏块流构成的编码图像中的空间差错的方法
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
TWI764012B (zh) 擴充參考圖像內預測技術
US9031125B2 (en) Image predictive encoding and decoding device
EP2555523A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
CN101682777A (zh) 图像预测编码装置、图像预测解码装置、图像预测编码方法、图像预测解码方法、图像预测编码程序及图像预测解码程序
JP2005151017A (ja) 画像符号化装置
US9055294B2 (en) Method and device for encoding an image using a prediction mask decoding method and device and corresponding signals and computer programs
CN109845256A (zh) 影像编码方法/装置、影像解码方法/装置以及保存有比特流的记录介质
KR20170093833A (ko) 인트라 모드들의 코딩
CN104718761A (zh) 视频编码/解码方法、装置、程序、记录介质
JPWO2010067529A1 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
US10965938B2 (en) Method and apparatus for encoding a video
KR102231969B1 (ko) 증가된 수의 가능한 코딩 모드를 이용한 공간 예측
CN108924551B (zh) 视频图像编码模式的预测方法及相关设备
CN101179731A (zh) 获得基于块的运动估计中的运动向量
KR101842551B1 (ko) 모션 파티션 모드 판정 방법 및 부호화기
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant