CN107105228B - 图像编码装置、图像编码方法、图像解码装置及图像解码方法 - Google Patents

图像编码装置、图像编码方法、图像解码装置及图像解码方法 Download PDF

Info

Publication number
CN107105228B
CN107105228B CN201610814925.9A CN201610814925A CN107105228B CN 107105228 B CN107105228 B CN 107105228B CN 201610814925 A CN201610814925 A CN 201610814925A CN 107105228 B CN107105228 B CN 107105228B
Authority
CN
China
Prior art keywords
block
motion vector
candidate list
candidate
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610814925.9A
Other languages
English (en)
Other versions
CN107105228A (zh
Inventor
西谷胜义
中村博哉
竹原英树
福岛茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011146770A external-priority patent/JP5246303B2/ja
Priority claimed from JP2011146769A external-priority patent/JP5644701B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN107105228A publication Critical patent/CN107105228A/zh
Application granted granted Critical
Publication of CN107105228B publication Critical patent/CN107105228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Abstract

本发明提供图像编码装置、图像编码方法、图像解码装置及图像解码方法。第1模式检测部在使用运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引。第2模式检测部在使用基于运动矢量信息的预测运动矢量与编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量。

Description

图像编码装置、图像编码方法、图像解码装置及图像解码方法
本申请是国际申请日为2012年6月26日、国际申请号为PCT/JP2012/004135、国家申请号为201280029864.5、发明名称为“图像解码装置、图像解码方法”的发明专利申请的分案申请。
技术领域
本发明涉及动图像的编码技术，特别涉及将图片分割成矩形块，在图片间按块单位进行运动估计、补偿的图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序。
背景技术
在以MPEG(Moving Picture Coding Experts Group：运动图像专家组)为代表的、将图片分割成矩形块，在图片间按块单位进行运动估计、补偿的动图像编码方式中，为削减按各块而生成的运动矢量的码量，对运动矢量进行预测处理。
在MPEG-2中，按宏块单位检测的运动矢量与之前刚被编码了的宏块的运动矢量取差分，对该差分矢量进行编码，由此来削减码量。在MPEG-4AVC/H.264中，利用运动矢量与周围相邻块的运动矢量具有较强的相关这一特点，进行基于周围相邻块的预测，通过对其差分矢量编码来削减码量。具体来说，基于处理对象块的左、上及右上方的相邻块的运动矢量导出(derivate)中央值，通过取与该中央值的差分来实现运动矢量的预测。
在这些预测方法中，用于预测的运动矢量只有1个，故存在若预测不准，则运动矢量的差分会变大、产生码量会増加的课题。此外，尽管运动矢量的码量被削减了，但其它运动信息还是按各处理对象块分别进行编码的。因此，即使具有与周围相邻块相同的运动信息，也会重复进行编码，故存在未达到高效的编码这样的课题。
为解决这些课题，在ISO/IEC及ITU-T中的动图像编码的标准作业中讨论了两种新的技术。一种涉及运动矢量的预测方法，是针对已编码的周围相邻块的运动矢量和已编码的时间不同的其它图片的相同位置的周边块的运动矢量，根据分别适用其作为预测运动矢量的候选时的产生码量来进行评价的方法。
图1的(a)、(b)中表示了成为预测运动矢量的候选的相邻块的一例。图1的(a)是相同图片内的相邻块的例子，图1的(b)是时间不同的其它图片的相同位置的周边块的例子。将这些块的运动矢量作为预测运动矢量的候选，选择使处理对象块的运动矢量与预测运动矢量的候选的差分值的产生码量成为最小的预测运动矢量。然后，将与该预测运动矢量的差分值编码、传送，根据需要，还将选择了预测运动矢量的相邻块的相关附加信息编码、传送。
另一种方法是若处理对象块的运动信息与周围的已编码的相邻块的运动信息相同，则处理对象块不编码自身的运动信息，而是将相邻块的运动信息用于编码。具体来说，是通过对用于指定具有要参照的运动信息的相邻块的附加信息进行编码，来削减运动信息的码量的方法(例如参照专利文献1)。这样的方法被称作融合(merge)，作为削减运动信息的码量的方法而受到关注。
〔在先技术文献〕
〔专利文献〕
〔专利文献1〕日本特开平10-276439号公报
发明内容
〔发明所要解决的课题〕
在上述运动矢量的预测方法和融合方法中，要使用已编码的周围相邻块、时间不同的其它图片的相同位置的周边块的运动矢量、表示要参照的图片的参照图片编号、以及参照列表等编码信息。但是，由于各个技术中所参照的周围相邻块的位置不同，故存在对记录有已编码的编码信息的存储器进行访问的次数増加这样的问题。
另外，在一般的编码过程中，为选择最佳的参照目标，利用参照目标的相邻块的编码信息进行运动补偿，以产生码量和编码畸变为指标进行判定。然而，若参照的周围相邻块不同，则块数会増加，存在处理负荷増加这样的问题。此外，还存在解码时读取已解码的编码信息的定时被限制、保存已解码的编码信息的临时存储器増加这样的问题。
本发明是鉴于这样的状况而研发的，其目的在于提供一种既抑制处理运动信息时的负荷，又提高运动信息的编码效率的技术。
〔用于解决课题的手段〕
为解决上述课题，本发明一个方案的图像编码装置是一种将动图像的各图片按分割后的块单位、利用运动矢量进行编码的图像编码装置，包括：取得部(104)，取得编码对象块的多个候选参照块的编码信息；第1模式检测部(106)，在利用通过索引而确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引；第2模式检测部(103)，在利用预测运动矢量与上述编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量，其中所述预测运动矢量是基于由索引确定的参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量；预测方法决定部(107)，基于上述第1模式检测部(106)及上述第2模式检测部(103)的输出结果，决定各上述编码对象块的参照块和图像间预测模式；以及码串生成部(109)，将上述预测方法决定部(107)所决定的参照块的索引、表示上述预测方法决定部(107)所决定的图像间预测模式的预测模式信息、以及与被决定第2图像间预测模式时的参照块对应的上述差分运动矢量编码。上述第1模式检测部(106)及上述第2模式检测部(103)使用共用的多个块作为上述多个候选参照块。
上述第1模式检测部(106)可以对上述第1预定顺位越高的候选参照块的索引，越分配少的码字。
用于在上述第1模式检测部(106)所生成的上述第1候选列表中排列上述多个候选参照块的上述第1预定顺位、与用于在上述第2模式检测部(103)所生成的上述第2候选列表中排列上述多个候选参照块的上述第2预定顺位可以是不同的。
上述第1模式检测部(106)可以限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第1候选列表。上述第2模式检测部(103)限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第2候选列表。
在上述多个候选参照块中，可以包括与上述编码对象块空间上相邻的已被编码的块、和与包含上述编码对象块的图片时间上不同的图片中所包含的块。上述第1模式检测部(106)及上述第2模式检测部(103)可以在上述多个候选参照块中、将上述时间上不同的图片中所包含的块的上述第1预定顺位及第2预定顺位时的顺位、设定得比上述空间上相邻的块的上述第1预定顺位及第2预定顺位时的顺位低。
上述第1模式检测部(106)可以在针对上述空间上相邻的已被编码的多个块、基于上述第1预定顺位生成上述第1候选列表时，对将上述空间上相邻的多个块排列到上述第1候选列表中的候选数设置预定的上限值，利用按上述第1预定顺位从最高位起至上述预定的上限值量的顺位为止的参照块，来生成上述第1候选列表。
上述第2模式检测部(103)可以将上述空间上相邻的已被编码的多个块中的、被配置于上述编码对象块左侧的块作为左块群，将被配置于上述编码对象块上侧的块作为上块群，从上述块群中导出代表各自上述块群的候选，并按照上述左块群的候选、上述上块群的候选的顺序设定上述第2预定顺位，生成上述第2候选列表。
上述第1模式检测部(106)可以设定要排列于上述第1候选列表的候选参照块的最大个数，并基于上述候选参照块的最大个数来生成上述第1候选列表。上述码串生成部(109)可以将表示上述候选参照块的最大个数的信息编码而包含在码串中。
本发明的其它方案是图像编码方法。该方法是一种将动图像的各图片按分割后的块单位、利用运动矢量进行编码的图像编码方法，包括：第1步骤，取得编码对象块的多个候选参照块的编码信息；第2步骤，在利用通过索引而确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引；第3步骤，在利用预测运动矢量与上述编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量，其中所述预测运动矢量是基于由索引确定的参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量；第4步骤，基于上述第2步骤及上述第3步骤所输出的输出结果，决定各上述编码对象块的参照块和图像间预测模式；以及第5步骤，将由上述第4步骤决定的参照块的索引、表示上述第4步骤所决定的图像间预测模式的预测模式信息、以及与被决定第2图像间预测模式时的参照块对应的上述差分运动矢量编码。上述第2步骤及上述第3步骤使用共用的多个块作为上述多个候选参照块。
本发明一个方案的图像解码装置是一种对将动图像的各图片按分割后的块单位、利用运动矢量而编码后的码串进行解码的图像解码装置，其特征在于，包括：码串解码部(202)，从上述码串中，针对各解码对象块、解码出表示图像间预测模式的预测模式信息和参照块的索引，或者表示图像间预测模式的预测模式信息、参照块的索引、以及与参照块对应的差分运动矢量；编码信息保存部(210)，用于保存各块的编码信息；取得部(205)，从上述编码信息保存部(210)取得上述解码对象块的多个候选参照块的编码信息；第1模式输出部(206)，在由上述码串解码部(202)解码出的预测模式信息所表示的图像间预测模式为利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式时，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并基于上述码串解码部(202)所解码出的参照块的索引，从上述第1候选列表中确定上述解码对象块的参照块，输出该编码信息；第2模式输出部(204)，在由上述码串解码部(202)解码出的预测模式信息所表示的图像间预测模式为利用与由索引确定的参照块对应的差分运动矢量的第2图像间预测模式时，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并基于上述码串解码部(202)解码出的参照块的索引，从上述第2候选列表中确定上述解码对象块的参照块，基于预测运动矢量和上述码串解码部解码出的差分运动矢量导出上述解码对象块的运动矢量并输出，其中所述预测运动矢量是基于该参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量；运动补偿预测部(207)，基于从上述第1模式输出部(206)或上述第2模式输出部(204)输出的信息，利用由上述码串解码部(202)解码出的预测模式信息所表示的图像间预测模式来进行运动补偿，生成预测图像。上述第1模式输出部(206)及上述第2模式输出部(204)使用共用的多个块作为上述多个候选参照块。
可以越是上述第1预定顺位高的候选参照块的索引，上述第1模式输出部(206)越分配较少的码字。
用于在上述第1模式输出部(206)所生成的上述第1候选列表中排列候选参照块的上述第1预定顺位、与用于在上述第2模式输出部(204)所生成的上述第2候选列表中排列候选参照块的上述第2预定顺位可以是不同的。
上述第1模式输出部(206)可以限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第1候选列表。上述第2模式输出部(204)可以限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第2候选列表。
在上述多个候选参照块中，可以包括与上述解码对象块空间上相邻的已被解码的块、和与包含上述解码对象块的图片时间上不同的图片中所包含的块。上述第1模式输出部(206)及上述第2模式输出部(204)可以在上述多个候选参照块中将上述时间上不同的图片所包含的块的上述第1预定顺位及第2预定顺位时的顺位、设定得比上述空间上相邻的块的上述第1预定顺位及第2预定顺位时的顺位低。
上述第1模式输出部(206)在针对上述空间上相邻的已被解码的多个块、基于上述第1预定顺位来生成上述第1候选列表时，可以对将上述空间上相邻的多个块排列到上述第1候选列表中的候选数设置预定的上限值，并利用按上述第1预定顺位从最高位起至上述预定的上限值量的顺位的参照块，生成上述第1候选列表。
上述第2模式输出部(204)可以将上述空间上相邻的已被解码的多个块中的、被配置在上述解码对象块左侧的块作为左块群、将被配置在上述解码对象块上侧的块作为上块群，从上述块群中导出分别代表各自上述块群的候选，按上述左块群的候选、上述上块群的候选的顺序设定上述第2预定顺位，生成上述第2候选列表。
上述第1模式输出部(206)可以基于由上述码串解码部从上述码串中解码出的上述第1候选列表内所排列的候选参照块的最大个数，来生成上述第1候选列表。
本发明的其它方案是一种图像解码方法。该方法是一种对将动图像的各图片按分割后的块单位、利用运动矢量而编码后的码串进行解码的图像解码方法，包括：第1步骤，从上述码串中，针对各解码对象块、解码出表示图像间预测模式的预测模式信息和参照块的索引，或者表示图像间预测模式的预测模式信息、参照块的索引、以及与参照块对应的差分运动矢量；第2步骤，取得上述解码对象块的多个候选参照块的编码信息；第3步骤，在由上述第1步骤解码出的预测模式信息所表示的图像间预测模式为利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式时，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并基于上述码串解码部所解码出的参照块的索引，从上述第1候选列表中确定上述解码对象块的参照块，输出该编码信息；第4步骤，在由上述第1步骤解码出的预测模式信息所表示的图像间预测模式为利用与由索引确定的参照块对应的差分运动矢量的第2图像间预测模式时，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并基于上述码串解码部解码出的参照块的索引，从上述第2候选列表中确定上述解码对象块的参照块，基于预测运动矢量和上述码串解码部解码出的差分运动矢量导出上述解码对象块的运动矢量并输出，其中所述预测运动矢量是基于该参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量；第5步骤，基于由上述第3步骤或上述第4步骤输出的信息，利用由上述第1步骤解码出的预测模式信息所表示的图像间预测模式来进行运动补偿，生成预测图像。上述第3步骤及上述第4步骤使用共用的多个块作为上述多个候选参照块。
此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的实施方式，作为本发明的方案也是有效的。
〔发明效果〕
通过本发明，能既抑制处理运动信息时的负荷，又提高运动信息的编码效率。
附图说明
图1的(a)、(b)是用于说明处理对象预测块、和在相同图片或时间不同的其它图片中相邻的预测块的一例的图。
图2是表示本发明实施例中的动图像编码装置的构成的功能块图。
图3的(a)、(b)是用于说明本发明实施例中的预测模式的分类的定义的图。
图4是表示本发明实施例中的动图像解码装置的构成的功能块图。
图5是用于说明本发明实施例中的编码块的定义的图。
图6是说明关于本发明实施例中的参照相邻块的选出方法的、预测块级(level)的比特流的句法模式的图。
图7的(a)～(d)是用于说明本发明实施例中的预测块的形状的种类的图。
图8是说明本发明实施例中的编码信息保存存储器中所记录的编码信息的保存形式的图。
图9的(a)、(b)是说明本发明实施例中的成为针对处理对象预测块的参照目标的相邻块的配置的图。
图10是表示本发明实施例中的帧间预测信息检测部的详细构成的功能块图。
图11是表示实施例1中的融合检测部的详细构成的功能块图。
图12是用于说明实施例1的融合检测部的编码信息导出部的动作的流程图。
图13是用于说明在实施例1的编码信息导出部中、选出相同图片上的周围相邻块的动作的流程图。
图14的(a)～(c)是说明在实施例1的编码信息导出部中、选出处理对象预测块的参照图片编号候选的动作的图。
图15是在实施例1的编码信息导出部中、从处理对象预测块的参照图片编号候选列出参照图片编号的选出模式的图。
图16是用于说明在实施例1的编码信息导出部中、选出时间不同的其它图片的与相同位置相邻的块的编码信息的动作的流程图。
图17是用于说明在实施例1的编码信息导出部中、导出时间不同的其它图片的与相同位置相邻的块的编码信息的详细动作的流程图。
图18是说明将col图片与其参照图片的距离换算成处理对象图片与其参照图片的距离，将运动矢量加到处理对象图片中的缩放的图。
图19是用于说明在实施例1的参照候选列表生成部中、将由编码信息导出部选出的参照相邻块的编码信息登录到参照候选列表中的动作的流程图。
图20是表示在实施例1中、由参照候选列表生成部生成的参照候选列表的一例的图。
图21是用于说明在实施例1的相同信息检测部中、检测并删除参照候选列表中所登录的相同的编码信息，更新参照候选列表的动作的流程图。
图22是表示实施例1的融合判定部的详细构成的功能块图。
图23是表示实施例1的运动矢量预测部的详细构成的功能块图。
图24是用于说明实施例1的运动矢量预测部的编码信息导出部的动作的流程图。
图25是用于说明在实施例1的编码信息导出部中、选出相同图片上的周围相邻块的动作的流程图。
图26是用于说明在实施例1的编码信息导出部中、选出相同图片上的周围相邻块的动作的另一方法的流程图。
图27是说明运动矢量的缩放的图。
图28是表示在实施例1中、由参照候选列表生成部生成的参照候选列表的一例的图。
图29是用于说明在实施例1的相同信息检测部中、检测并删除参照候选列表中所登录的具有相同运动矢量的编码信息，更新参照候选列表的动作的流程图。
图30是表示实施例1的运动矢量导出部的详细构成的功能块图。
图31的(a)、(b)是说明实施例2中的成为针对处理对象预测块的参照目标的相邻块的配置的图。
图32是用于说明实施例2的融合检测部的编码信息导出部的动作的流程图。
图33是用于说明在实施例2的编码信息导出部中、选出相同图片上的周围相邻块的动作的流程图。
图34是说明在实施例2的编码信息导出部中、选出处理对象预测块的参照图片编号候选的动作的图。
图35是在实施例2的编码信息导出部中、从处理对象预测块的参照图片编号候选列出参照图片编号的选出模式的图。
图36是表示在实施例2中、由融合检测部的参照候选列表生成部生成的参照候选列表的一例的图。
图37是用于说明实施例2的运动矢量预测部的编码信息导出部的动作的流程图。
图38是用于说明在实施例2的编码信息导出部中、选出相同图片上的周围相邻块的动作的流程图。
图39是用于说明在实施例2的编码信息导出部中、选出相同图片上的周围相邻块的动作的另一方法的流程图。
图40是表示在实施例2中、由运动矢量预测部的参照候选列表生成部生成的参照候选列表的一例的图。
图41是表示在实施例3中、在融合模式和运动估计模式下利用不同的选出方法生成的参照候选列表的一例的图。
图42是用于说明实施例4的融合检测部的编码信息导出部的动作的流程图。
图43是用于说明在实施例4的编码信息导出部中、选出相同图片上的周围相邻块的动作的流程图。
图44是用于说明实施例4的运动矢量预测部的编码信息导出部的动作的流程图。
图45是用于说明在实施例4的编码信息导出部中、选出相同图片上的周围相邻块的动作的方法的流程图。
图46是用于说明在实施例5的参照候选列表生成部中、将由编码信息导出部选出的参照相邻块的编码信息登录到参照候选列表中的动作的流程图。
图47是表示在实施例6中、由参照候选列表生成部生成的参照候选列表的一例的图。
图48是表示实施例7的融合检测部的详细构成的功能块图。
图49是用于说明在实施例7的相同信息检测部中、限制参照候选列表中所登录的编码信息地更新参照候选列表的动作的流程图。
图50是表示实施例7的融合检测部的详细构成的功能块图。
图51是用于说明在实施例7的参照候选列表生成部中、限制参照候选列表中所登录的编码信息地更新参照候选列表的动作的流程图。
图52是表示实施例7的运动矢量预测部的详细构成的功能块图。
图53是用于说明在实施例7的编码信息导出部中、选出周围的相邻块的动作的流程图。
图54是用于说明实施例7的编码信息导出部的运动矢量的导出的详细动作的流程图。
图55是用于说明在实施例7的参照候选列表生成部中、将由编码信息导出部选出的参照相邻块的编码信息登录到参照候选列表中的动作的流程图。
图56是用于说明在实施例7的相同信息检测部中、限制参照候选列表中所登录的编码信息来更新参照候选列表的动作的流程图。
图57是表示实施例7的运动矢量预测部的详细构成的功能块图。
图58是用于说明在实施例8的参照候选列表生成部中、将由编码信息导出部选出的参照相邻块的编码信息登录到参照候选列表中的动作的流程图。
图59是表示在实施例8中、在融合模式和运动估计(estimate)模式下所生成的参照候选列表的一例的图。
图60是用于说明在实施例9的参照候选列表生成部中、将由编码信息导出部选出的参照相邻块的编码信息登录到参照候选列表中的动作的流程图。
图61是用于说明在实施例9的参照候选列表生成部中、进行变换表的生成和更新的动作的流程图。
图62是表示在实施例9的参照候选列表生成部中、参照候选列表的索引与变换表的索引的对应关系的一例的图。
图63是表示在实施例9中、由参照候选列表生成部生成的参照候选列表的一例的图。
图64是表示实施例12的运动矢量预测部的详细构成的功能块图。
图65是用于说明在实施例12的参照候选控制部中、对参照候选列表中所登录的编码信息实施替换的动作的流程图。
具体实施方式
说明实施本发明的优选的动图像编码装置及动图像解码化装置。图2是表示本发明实施例的动图像编码装置100的构成的功能块图。动图像编码装置100包括图像存储器101、运动矢量估计部102、运动矢量预测部103、帧间预测信息检测部104、运动补偿预测部105、融合检测部106、预测方法决定部107、开关108、第1编码比特串生成部109、残差信号生成部110、正交变换·量化部111、逆量化·逆正交变换部112、解码图像信号重叠部113、编码信息保存存储器114、解码图像存储器115、第2编码比特串生成部116及编码比特串多路化部117。此外，连接各块间的粗实线的箭头表示图片的图像信号的流向，细实线的箭头表示控制编码的参数信号的流向。
图像存储器101临时保存按拍摄/显示时间顺序供给来的编码对象的图像信号。图像存储器101将所保存的编码对象的图像信号按预定的像素块单位提供给运动矢量估计部102、预测方法决定部107及残差信号生成部110。此时，按拍摄/显示时间顺序保存的图像被按编码顺序重排后，按像素块单位从图像存储器101输出。
运动矢量估计部102在从图像存储器101供给的图像信号与从解码图像存储器115供给的解码图像(参照图片)间通过块匹配等，按预测块单位估计各预测块尺寸、各预测模式的运动矢量，将估计出的运动矢量提供给运动补偿预测部105、运动矢量预测部103及预测方法决定部107。在此，预测模式大体如图3的(a)所示那样分类，检测图3的(a)、(b)中的单向预测或双预测模式的运动矢量。预测模式会在后述的句法的定义中说明。
运动矢量预测部103在预测模式为运动估计模式时，以帧间预测信息检测部104输出的编码信息的运动矢量为预测运动矢量，根据运动矢量估计部102检测出的运动矢量和该预测运动矢量，导出差分运动矢量，将导出的差分运动矢量提供给预测方法决定部107。进而，将用于确定所选择的预测运动矢量的索引提供给预测方法决定部107。运动矢量预测部103的详细构成和动作将在后面叙述。
帧间预测信息检测部104从编码信息保存存储器114取得在处理对象预测块要参照的相同图片上、处理对象预测块的周边相邻的已编码的预测块，或者在时间不同的其它图片中、与处理对象预测块相同位置的块的周边相邻的预测块的编码信息。从编码信息保存存储器114中所保存的已编码的周边相邻块或时间不同的其它图片的相邻块的编码信息中的、处理对象预测块的位置信息，检测出多个参照目标候选的相邻块的编码信息，将被选为参照目标的相邻块的编码信息及用于确定该相邻块的索引，按照被输入到开关108的由动图像编码装置100控制的预测模式，切换地供给。帧间预测信息检测部104的详细构成和动作将在后面叙述。
运动补偿预测部105利用由运动矢量估计部102估计出的运动矢量或由帧间预测信息检测部104检测出的被选为参照目标的相邻块的编码信息，根据参照图片，通过运动补偿预测生成预测图像信号，将该预测图像信号提供给预测方法决定部107。此外，在双预测的情况下，对主要作为前向预测来使用的L0预测和主要作为后向预测来使用的L1预测的两个运动补偿预测图像信号自适应地乘以权重系数后进行重叠，生成最终的预测图像信号。该加权系数是按片(slice)单位或预测块单位设定的。
融合检测部106在预测模式为融合模式时，为将帧间预测信息检测部104所取得的处理对象预测块要参照的相邻块(以下称作参照相邻块)的编码信息作为处理对象预测块的编码信息来使用，将相邻块重排为优先参照的顺位地登录到参照候选列表中。融合检测部106检测出该参照候选列表中所登录的编码信息作为处理对象预测块的编码信息，将检测出的编码信息的运动矢量、参照图片编号、参照列表等提供给运动补偿预测部105。进而，融合检测部106将用于确定具有所检测出的编码信息的参照相邻块的索引提供给预测方法决定部107。融合检测部106的详细构成和动作将在后面叙述。
预测方法决定部107通过评价参照相邻块的编码信息、用于确定相邻块的索引的码量、运动补偿预测信号与图像信号间的畸变量等，来从多个预测方法中决定包含最佳预测块尺寸、分割模式(PartMode)、预测模式(PredMode)等的预测方法。预测方法决定部107将包含表示所决定的预测方法的信息及与所决定的预测方法相应的差分运动矢量等的编码信息提供给第1编码比特串生成部109。此外，关于预测块尺寸、分割模式及预测模式的详细情况，将在后面叙述。
开关108根据由动图像编码装置100控制的预测模式，将作为帧间预测信息检测部104所检测出的参照目标而选择的相邻块的编码信息在与运动矢量预测部103或融合检测部106之间切换地供给。进而，开关108将包含表示所决定的预测方法的信息和与所决定的预测方法相应的运动矢量等的编码信息保存在编码信息保存存储器114中，并将与所决定的预测模式相应的运动补偿预测图像信号提供给残差信号生成部110和解码图像信号重叠部113。
残差信号生成部110进行要编码的图像信号与预测信号的减法运算，生成残差信号，提供给正交变换·量化部111。正交变换·量化部111对残差信号进行正交变换及量化，生成被正交变换和量化后的残差信号，提供给第2编码比特串生成部116和逆量化·逆正交变换部112。
第1编码比特串生成部109将预测方法决定部107所决定的预测方法信息和关于与该预测方法信息相应的差分运动矢量的信息，按照规定的句法规则进行编码，生成第1编码比特串，提供给编码比特串多路化部117。
此外，根据需要，从预测方法决定部107供给的加权预测的加权参数、交错编码时的识别帧/场预测的标志、量化的量化参数、表示是否已将残差信号编码的标志、识别正交变换的方法的标志、识别残差信号的编码顺序的标志、去块滤波器等后滤波器(postfilter)的信息等、编码信息的预测值与实际使用的值的差分被提供给第1编码比特串生成部109进行编码。进而，将识别残差信号的编码顺序的标志等被预测出的编码信息保存在编码信息保存存储器114中。
第2编码比特串生成部116对被正交变换和量化后的残差信号按照规定的句法规则进行熵编码，生成第2编码比特串，提供给编码比特串多路化部117。编码比特串多路化部117将第1编码比特串和第2编码比特串按规定的句法规则多路化，输出比特流。
逆量化·逆正交变换部112对从正交变换·量化部111供给来的被正交变换和量化后的残差信号进行逆量化和逆正交变换，导出残差信号，提供给解码图像信号重叠部113。解码图像信号重叠部113将与预测方法决定部107的决定相应的预测信号、和在逆量化·逆正交变换部112中逆量化及逆正交变换后的残差信号进行重叠，生成解码图像，保存到解码图像存储器115中。另外，有时也对解码图像施以使编码所导致的块畸变等畸变减少的滤波处理后保存到解码图像存储器115中。在该情况下，根据需要，将识别去块滤波器等后滤波器的信息的标志等被预测出的编码信息保存到编码信息保存存储器114中。
图4是表示与图2的动图像编码装置100对应的实施例中的动图像解码装置200的构成的功能块图。该动图像解码装置200包括比特串分离部201、第1编码比特串解码部202、第2编码比特串解码部203、运动矢量导出部204、帧间预测信息检测部205、融合判定部206、运动补偿预测部207、逆量化·逆正交变换部208、解码图像信号重叠部209、编码信息保存存储器210、解码图像存储器211及开关212。此外，同图2的动图像编码装置100一样，连接各块间的粗实线的箭头表示图片的图像信号是流向，细实线的箭头表示控制编码的参数信号的流向。
图4的动图像解码装置200的解码处理是与图2的动图像编码装置100的内部所设的解码处理对应的，故图4的运动补偿预测部207、逆量化·逆正交变换部208、解码图像信号重叠部209、编码信息保存存储器210及解码图像存储器211的各构成分别具有对应于图2的动图像编码装置100的运动补偿预测部105、逆量化·逆正交变换部112、解码图像信号重叠部113、编码信息保存存储器114及解码图像存储器115的各构成的功能。
提供给比特串分离部201的比特流被按规定的句法规则分离，分离出的编码比特串被提供给第1编码比特串解码部202及第2编码比特串解码部203。
第1编码比特串解码部202对供给来的编码比特串进行解码，输出与预测模式、运动矢量等相关的编码信息，将编码信息提供给运动矢量导出部204或帧间预测信息检测部205、以及运动补偿预测部207，并保存到编码信息保存存储器210中。
第2编码比特串解码部203将供给来的编码比特串解码，导出被正交变换和量化后的残差信号，将正交变换和量化后的残差信号提供给逆量化·逆正交变换部208。
运动矢量导出部204在预测模式为运动估计模式时，将由帧间预测信息检测部205判定并输出的编码信息的运动矢量作为预测运动矢量，基于被第1编码比特串解码部202解码出的差分矢量及该预测运动矢量导出运动矢量，将该运动矢量提供给运动补偿预测部207，并提供给编码信息保存存储器210。
帧间预测信息检测部205从编码信息保存存储器210取得在处理对象预测块所参照的相同图片上、处理对象预测块的周边相邻的已解码的预测块，或者在时间不同的其它图片中、与处理对象预测块相同位置的块的周边相邻的预测块的编码信息。基于编码信息保存存储器210中所保存的已解码的周边的相邻块、或者时间不同的其它图片的相邻块的编码信息中的、处理对象预测块的位置信息，检测多个参照目标候选的相邻块的编码信息，将被选为参照目标的相邻块的编码信息和用于确定该相邻块的索引按被输入到开关212的由动图像解码装置200解码出的预测模式切换地供给。帧间预测信息检测部205的详细构成和动作将在后面叙述。
融合判定部206在预测模式为融合模式时，为将帧间预测信息检测部205所取得的处理对象预测块要参照的相邻块的编码信息作为处理对象预测块的编码信息来使用，将相邻块重排为优先参照的顺位地登录到参照候选列表中。融合判定部206从该参照候选列表中检测按由第1编码比特串解码部202解码出的用于确定参照相邻块的索引所指定的相邻块，将该编码信息提供给运动补偿预测部207，并提供给编码信息保存存储器210。融合判定部206的详细构成和动作将在后面叙述。
运动补偿预测部207利用由运动矢量导出部204导出的运动矢量或由融合判定部206检测出的被选为参照目标的相邻块的编码信息，基于参照图片，通过运动补偿预测生成预测图像信号，将预测图像信号提供给解码图像信号重叠部209。此外，在双预测的情况下，对L0预测、L1预测的两个运动补偿预测图像信号适应性地乘以权重系数地进行重叠，生成最终的预测图像信号。
逆量化·逆正交变换部208对由第1编码比特串解码部202解码出的被正交变换·量化了的残差信号进行逆正交变换及逆量化，得到被逆正交变换和逆量化后的残差信号。
解码图像信号重叠部209通过将由运动补偿预测部207运动补偿预测出的预测图像信号和由逆量化·逆正交变换部208逆正交变换和逆量化后的残差信号重叠，来解码出解码图像信号，保存到解码图像存储器211中。在保存到解码图像存储器211中时，有时还对解码图像施以减少编码所引起的块畸变等的滤波处理后，保存到解码图像存储器211中。
开关212根据第1编码比特串解码部202所解码出的预测模式，将由帧间预测信息检测部205检测出的被选为参照目标的相邻块的编码信息，在与运动矢量导出部204或融合判定部206之间切换地供给。
在以下实施例中，说明将在动图像编码装置100的帧间预测信息检测部104及动图像解码装置200的帧间预测信息检测部205中共用地实施的运动矢量的预测方法和融合方法中所参照的周边相邻块的配置统合，并从其中选出参照相邻块的方法的详细情况。
在用本发明的实施例说明参照相邻块的选出方法前，先定义要在本实施例中使用的用语。
(本发明中使用的用语的定义)
·编码块的定义
在本实施例中，如图5所示，将画面内用相同尺寸的正方形的矩形块均等分割。将该块称作编码块，作为进行编码及解码时的处理的基础。编码块可以根据画面内的纹理，为使编码处理最佳而将编码块内4分割，使之成为块尺寸较小的编码块。将以均等尺寸在图5所示的画面内分割后的编码块称作最大编码块，将根据编码条件对其内部进行4分割后的块总地作为编码块。将无法对编码块进一步4分割的最小尺寸的编码块称作最小编码块。
·预测块的定义
在将画面内分割成块进行运动补偿时，使运动补偿的块尺寸越小，就越能进行更加细致的预测，故采取了从几个块尺寸中选择最佳者来进行运动补偿的方式。将该进行运动补偿的块称作预测块。预测块在分割编码块内部时被使用，根据运动补偿，以不分割编码块内部地视为1块时为最大，有水平或垂直方向2分割的情况、和通过水平和垂直的均等分割而4分割的情况。根据分割方法，定义了与分割类型对应的分割模式(PartMode)，示于图6。图7的(a)～(d)中的矩形内部的编号表示被分割后的预测块的编号。在最小编码块内部，为管理预测块，按从上至下、从左至右的顺序对预测块分配从0开始的编号。
在如上这样对编码块进行运动估计和补偿时，作为运动估计和补偿的单位，将编码块本身的尺寸、使编码块2分割或4分割后的各个小块、进一步4分割后的各个小块作为编码块而同样地进行分割，直到预测块的最小尺寸，成为递归地得到的尺寸的块。在以下说明中，在无特别说明的情况下，进行运动估计和补偿的单位不论形状、尺寸如何都记为“预测块”。
(参照列表)
接下来说明参照列表。在编码及解码时，基于各参照列表LX的参照索引指定参照图片编号进行参照。准备有L0和L1两种，X为0或1。将参照被登录在参照列表L0中的参照图片的帧间预测称为L0预测(Pred_L0)，将参照被登录在参照列表L1中的参照图片的运动补偿预测称作L1预测(Pred_L1)。L0预测主要作为前向预测使用，L1预测主要作为后向预测使用，针对P片仅使用L0预测，针对B片可以使用L0预测、L1预测及将L0预测和L1预测平均或加权相加的双预测。在以后的处理中，对于输出赋有后缀LX的值，以分别按L0预测、L1预测进行处理为前提。
(编码信息的记录)
接下来，说明通过运动估计和补偿而检测出的运动矢量等编码信息的记录。在此，编码信息由运动矢量、参照列表、表示登录在参照列表中的参照图片的参照图片编号、预测模式等编码所使用的信息构成。虽然是按预测块单位进行运动估计、补偿的，但检测出的运动矢量等编码信息不按预测块单位记录，而是按上述的最小预测块单位记录。即，对构成预测块内部的多个最小预测块记录相同的编码信息。
预测块的尺寸是根据编码条件而变的，故为按预测块单位记录到编码信息保存存储器114、210中，除检测出的运动矢量外还需要预测块在图片上的位置、预测块的形状等附加信息，用于取得编码信息的访问会复杂化。因此，虽然会有信息的重复记录所导致的冗余度，但分割为均一的最小预测块单位并记录，访问会更容易。
图8是将图片按最小预测块分割后的一例，使用该图来说明记录到编码信息保存存储器114、210中的编码信息的保存形式。图8中的w表示图片的宽度，h表示图片的高度。若将最小预测块的宽度及高度记作p，则图片由横向w/p个、纵向h/p个最小预测块构成，与该一个一个最小预测块对应的编码信息被按图8中粗实线所表示的光栅扫描顺序记录到编码信息保存存储器114、210中。
在此，将图8中粗线包围的矩形区域作为预测块(图8中阴影所示的区域)。针对预测块，通过运动估计来检测运动矢量等编码信息。检测出的编码信息被记录在与构成预测块的最小预测块对应的编码信息保存存储器114、210中。以图8中的左上方为原点表示编码信息保存存储器114、210的编码信息记录区域的起始地址，预测块的起始位置被以图6中的黑圆点来表示。预测块的起始位置处于按最小预测块单位从原点起向右x个、向下y个的位置时，预测块的起始地址用w/p×y+x来表示。从该起始位置的最小预测块起，在与阴影所示的预测块内的最小预测块对应的编码信息保存存储器114、210内的保存区域依次记录预测块的编码信息。这样，在与预测块中的最小预测块对应的编码信息保存存储器114、210的记录区域中记录相同的编码信息。
接下来，说明本发明实施例中的、具备参照相邻块的选出方法的动图像编码装置所编码的动图像的比特流的句法。
(句法的定义)
上述的图3的(a)是根据预测模式而区分编码的情况。在图像间预测(Inter模式)时，首先按是否使用融合方法而分为融合模式和非融合模式。非融合模式是实际进行块匹配等运动矢量的预测的模式，也可称之为运动估计模式。融合模式进一步分为skip模式和非skip模式。skip模式将根据参照相邻块的编码信息而预测出的预测图像信号作为解码图像，故图像残差信号为0。因此，skip模式是不需要编码传送，近将表示编码信息的参照目标的索引进行编码传送的模式。skip模式的编码信息同融合模式一样，在此，将对图像残差信号进行编码传送的情形限定为融合模式。图3的(b)表示将成为Inter模式的编码对象的信号分类后的表。在skip模式下，与其它模式不同，不需要图像残差信号的编码传送，故与按图3的(a)的预测模式的分岔顺序进行判定时相比，先进行skip模式的判定更能抑制模式判定所使用的标志的码量。
上述的图6表示按片中的预测块单位记述的句法模式。首先，设置表示是否为skip模式的标志skip_flag。在skip_flag为真(1)、且参照相邻块的候选总数NumMergeCand超过1的情况下，skip模式被适用，针对编码信息，设置作为参照相邻块的候选列表的融合列表的索引的句法要素merge_idx。在NumMergeCand为1时，该1者成为参照相邻块，故不传送merge_idx也能确定参照相邻块的候选。
接下来，在预测块的预测模式为图像间预测(Inter模式)时，设置表示是否为融合模式的标志merge_flag。在merge_flag为真(1)、且参照相邻块的候选总数NumMergeCand超过1的情况下，融合模式被适用，针对编码信息，设置作为参照相邻块的候选列表的融合列表的索引的句法要素merge_idx。在NumMergeCand为1时，该1者成为参照相邻块，故不传送merge_idx也能确定参照相邻块的候选。
在merge_flag为假(0)的情况下，不适用融合模式，进行通常的运动矢量估计，传送运动矢量和参照图片编号等编码信息(相当于运动估计模式)。针对每个预测块，根据预测块所属的片的片类型，选择编码及解码时使用的参照列表。在片类型slice_type为“B”时，设定表示单向预测或双预测的标志inter_pred_flag。
inter_pred_flag设定为Pred_L0(L0预测)、Pred_L1(L1预测)或Pred_BI(双预测)。基于inter_pred_flag，设定参照列表LX(X＝0或1)。针对所设定的各参照列表，设置通过运动矢量估计而求得的、表示参照图片编号的句法要素ref_idx_lX、和运动矢量与预测块的周围相邻块的预测运动矢量的差分运动矢量的句法要素mvd_lX[i]。在此，X用0或1表示参照列表，i表示差分运动矢量的分量，i＝0表示x分量，i＝1表示y分量。
其次，在预测运动矢量的候选总数NumMvpCand(LX)超过1的情况下，设置作为要参照的预测运动矢量的候选列表的MVP列表的索引的句法要素mvp_idx_lX。NumMvpCand(LX)表示按参照列表LX(X为0或1)导出预测块的预测运动矢量的候选总数的函数。此外，根据运动矢量的预测方法，在预测运动矢量的候选总数NumMvpCand(LX)为1时，索引mvp_idx_lX不被设置、不被编码。因为若预测运动矢量的候选总数为1，则该1者成为预测运动矢量，故不传送mvp_idx_lX也能确定要参照的预测运动矢量的候选。基于以上的句法，能进行动图像的比特流的编码及解码。
接下来，在图9的(a)、(b)中表示具有运动估计模式下的要参照的预测运动矢量的周围相邻块、或成为融合模式下的编码信息的参照目标的周围相邻块的配置的一例。在图9的(a)、(b)中，针对成为处理对象预测块，用最小预测块表示了相邻的块。
该构成在基于处理对象预测块的位置和大小(块的宽度及高度)而访问编码信息保存存储器114、210中所记录的已编码的编码信息时较好。对于图9的(a)、(b)所示的周围相邻块，用记号“A”表示处理对象预测块的左侧相邻的块，用“B”表示上侧相邻的块。后缀的数字表示位置。
块“T”是时间不同的其它图片的相同位置所相邻的块的一例。在本发明的实施例中，假定相对于处理对象预测块，设定在其它图片的右下方。此外，根据处理对象预测块的位置，若块T在图片外，则相对于处理对象预测块、定为其它图片的中央附近的最小预测块的位置。图9的(a)中，在相同图片上的空间内取5个相邻块候选，再加上在时间不同的其它图片内的候选，共由6个候选构成。图9的(b)中，在相同图片上的空间内取4个相邻块的候选，再加上时间不同的其它图片中的候选，共由5个候选构成。
如图1所示，也可以将相邻的所有块都作为候选，但例如在处理对象预测块的尺寸为64×64像素、编码信息保存存储器114、210中保存编码信息的块的尺寸为4×4像素时，与处理对象预测块相邻的左侧16个、上侧16个、角部3个块为成为参照目标的相邻块。在用硬件来实现时，需要考虑所能想到的最大的存储器访问次数、存储器量、及处理量(处理时间)。
在本发明的实施例中，如图9的(a)所示，将左侧相邻的块、上侧相邻的块分别限定为1个，由此来缩减参照的候选，并将左斜下侧、右斜上侧及左斜上侧相邻的块加为候选。另外，在图9的(b)中，通过将左侧相邻的块、上侧相邻的块分别限定为与图9的(a)不同的1个，来缩减参照的候选，将左斜下侧及右斜上侧相邻的块作为候选。
这样，通过预先限定候选，本发明的实施例具有几乎不使编码效率下降，削减存储器访问次数、存储器量、及处理量(处理时间)的效果。此外，在后述的实施例3以后的实施例中，除能削减存储器访问次数、存储器量、及处理量(处理时间)外，还能削减融合索引、MVP索引的码量，故还具有削减产生码量的效果。另外，在本发明的实施例中，在融合模式和运动估计模式下使候选的位置共用化，由此能谋求存储器访问次数、存储器量、及处理量(处理时间)的进一步削减。
以下，利用图9的(a)的配置例来进行说明。在使用图9的(b)的配置例的情况下，通过在以下说明中省略C0，能进行与图9的(a)的配置例同样的处理。此外，关于参照相邻块的配置，只要动图像编码装置100及动图像解码装置200中不发生矛盾，采用哪种构成都可以。另外，关于参照相邻块的编码信息，在动图像编码装置100中为已编码的信息，在动图像解码装置200中为已解码的信息，只要能保存到编码信息保存存储器114、210中，哪种信息都可以。
图10表示在表示动图像编码装置100的构成的图2及表示动图像解码装置200的构成的图4中设置的实施例1的帧间预测信息检测部104、205的详细情况。图10中的粗虚线所包围的部分表示了帧间预测信息检测部104、205，使用该图进行说明。帧间预测信息检测部104、205包括处理对象块位置检测部301、相邻块指定部302及临时存储器303。在融合模式和运动估计模式这两个模式下，将候选的位置共用化为图9的(a)的配置，说明从编码信息保存存储器114、210取得图9的(a)的配置的相邻块的编码信息的步骤。
开始，处理对象预测块在图片内的位置和尺寸的信息被输入到处理对象块位置检测部301。以图片的左上方的像素为原点，用处理对象预测块距左上方像素的水平及垂直方向的像素单位的距离来表示处理对象预测块的位置。进而，根据表示处理对象编码块的分割模式的PartMode和编码块被递归地分割的次数，导出处理对象预测块的宽度和高度，导出处理对象预测块要参照的参照相邻块的位置。
基于所导出的相邻块的位置，相邻块指定部302访问编码信息保存存储器114、210，从其中将相当于图9的(a)所示的相邻块的位置的编码信息读入到临时存储器303中。临时存储器303被设于帧间预测信息检测部104、205内部，是保存处理对象预测块所参照的参照相邻块的编码信息的存储器。在此，当所导出的相邻块的位置为画面外时，该相邻块不存在，故假定将“0”记录到临时存储器303中。
通过如上这样在融合模式和运动估计模式这两个模式下使候选的位置共用化，在编码侧能削减向临时存储器303保存相邻块的编码信息的保存处理量。此外，由于针对每种预测模式变更预测方法，并每次取得所需的相邻块的编码信息，故无需访问编码信息保存存储器114。另一方面，能在解码侧进行融合模式和运动估计模式的判别之前，就开始向临时存储器303保存相邻块的编码信息的保存处理，故能提高解码处理的速度。
在具有本发明实施例的编码信息的选出方法的动图像编码装置100及动图像解码装置200中，并非直接将处理对象预测块的运动矢量和参照图片编号等编码信息编码，而是参照并使用保存在编码信息保存存储器114、210中的已编码/已解码的周围相邻块的编码信息。然后，通过将表示参照相邻块的位置的索引和对运动矢量进行预测的预测运动矢量的索引编码，能实现编码信息所涉及的码量的削减。以下，说明从帧间预测信息检测部104、205所取得的相邻块的编码信息导出编码过程中表示参照相邻块的位置的索引和对运动矢量进行预测的预测运动矢量的索引的方法，以及基于在与编码过程对应的解码过程中被解码的表示参照相邻块的位置的索引和对运动矢量进行预测的预测运动矢量的索引来取得编码信息的方法的具体实施例。
(实施例1)
首先，说明在表示动图像编码装置100的构成的图2中设置的实施例1的融合检测部106。图11表示融合检测部106的详细构成。图11中的粗虚线包围的部分表示融合检测部106，用该图进行说明。融合检测部106包括编码信息导出部310、参照候选列表生成部311、相同信息检测部312、输出部313及参照候选列表保存存储器314。
开始，根据被输入到开关108的由动图像编码装置100控制的预测模式，将帧间预测信息检测部104的输出目标切换为融合检测部106。在帧间预测信息检测部104内部的临时存储器303中保存的处理对象预测块参照的参照相邻块的编码信息被输入到编码信息导出部310。
用图12的流程图说明编码信息导出部310的动作。从开始输入的相邻块中判定与处理对象预测块位于相同图片内的相邻块的编码信息是否有效并导出(S100)。
图13中表示与处理对象预测块处于相同图片内的各相邻块的判定处理的详细流程。首先，将变量N初始化(S200)。变量N被设定为处于图9的(a)所示的相同图片上的相邻块A1,B1,B0,A0,C0。在此，假定初始化时设定为N＝A1，变量N的更新按B1,B0,A0,C0顺序进行。
然后，对用于保存在以后的判定中使用的相邻块的编码信息的变量进行初始化。在此，变量是表示相邻块是否有效的标志availableFlagN、运动矢量mvLXN、参照图片编号refIdxLXN及表示参照列表的有效性的标志predFlagLXN，如下这样被初始化(S201)。
availableFlagN＝0
mvLXN＝(0,0)
refIdxLXN＝0
predFlagLXN＝0
在此，后缀X被设定表示参照列表的0或1。取得变量N的相邻块(以下记作相邻块N)的位置及编码信息(S202)。
基于所取得的相邻块N的位置，判定相邻块N是否有效(S203)。例如，当处理对象预测块位于图片左端时，不存在处理对象预测块的左边的相邻块，故编码信息保存存储器114中没有相应的编码信息，被判定为无效。若相邻块N无效(S203的N)，则将availableFlagN设定为“0”(S207)。若相邻块N有效(S203的Y)，则判定相邻块N的预测模式是否为画面内编码(Intra)模式(S204)。
若相邻块N的预测模式为Intra模式(S204的Y)，则将availableFlagN设定为“0”(S207)。若相邻块N的预测模式非Intra模式(S204的N)，则将availableFlagN设定为“1”(S205)。然后，将相邻块N的编码信息代入refIdxLXN、mvLXN及predFlagLXN进行设定(S206)。
在如上这样针对相邻块N的判定处理结束后，实施变量N是否为相邻块的最后一个的判定(S208)。由于变量N的更新是按A1,B1,B0,A0,C0的顺序进行的，故在此判定N是否为C0。若N为C0(S208的Y)，则表示对所有相邻块都进行了判定，结束处理。若N非C0(S208的N)，则进行N的更新(S209)。按上述的相邻块的顺序更新N，并针对相邻块N反复进行步骤S201之后的处理。如上这样将存在于与处理对象预测块相同图片上的周围的相邻块作为参照块，导出其编码信息。
接下来回到图12，决定以时间不同的其它图片为融合候选时的处理对象预测块的参照图片编号(S101)。该处理是为决定接下来要说明的、处理对象预测块参照相邻于时间不同的其它图片的相同位置的块的运动矢量进行帧间预测时的参照图片而进行的。此时，根据已编码的相邻块的编码信息决定处理对象预测块要参照的图片的参照图片编号。在此，用图14说明基于之前的处理(S100)中所导出的相同图片上的相邻块的编码信息的方法。
首先，将步骤S100所导出的4个相邻块分类成3个组。作为组，将处理对象预测块的左边相接的相邻块记作组A，将上边相接的相邻块记作组B，将在角部相接的相邻块记作组C，按各个组来进行判定。
首先，使用图14的(a)来说明组A。由于属于组A的相邻块是A1，故查询步骤S100中的表示A1是否有效的标志availableFlagA1(S300)。若availableFlagA1为1(S300的Y)，则将组A的参照图片编号refIdxLXA设定为A1的参照图片编号。若不为1(S300的N)，则将refIdxLXA设定为表示没有参照图片编号的-1。
同样地，用图14的(b)来说明组B。由于属于组B的相邻块是B1，故查询步骤S100中的表示B1是否有效的标志availableFlagB1(S301)。若availableFlagB1为1(S301的Y)，则将组B的参照图片编号refIdxLXB设定为B1的参照图片编号。若不为1(S301的N)，则将refIdxLXB设定为-1。
属于组C的相邻块是A0、B0和C0，如图14的(c)所示那样，按B0、A0、C0的顺序进行判定。同A1、B1一样，查询B0的标志availableFlagB0(S302)。若availableFlagB0为1(S302的Y)，则将组C的参照图片编号refIdxLXC设定为B0的参照图片编号，若不为1(S302的N)，则查询A0的标志availableFlagA0(S303)。若availableFlagA0为1(S303的Y)，则将组C的参照图片编号refIdxLXC设定为A0的参照图片编号。若不为1(S303的N)，则查询C0的标志availableFlagC0(S304)。若availableFlagC0为1(S304的Y)，则将组C的参照图片编号refIdxLXC设定为C0的参照图片编号。若不为1(S304的N)，则将refIdxLXC设定为-1。
此外，如图9的(b)所示的相同图片上的相邻块那样，在没有C0的位置的块时，对B0和A0这两个相邻块进行判定。通过选择这样导出的各组的参照图片编号refIdxLXN(N为A,B或C)的多数决或最小值，来决定时间不同的其它图片的相同位置的相邻的块的参照图片编号。
图15表示了基于参照图片编号refIdxLXN的判定。从图15的上方起按顺序说明。第1～4行是refIdxLXN存在相同值的情况，通过多数决来选择。第1行是refIdxLXN全都相同的情况，若是-1则取0，若非-1则取refIdxLXA的值。第2～4行是3个refIdxLXN中的两个相同的情况，若两个相同时的值为-1，则取剩余的1个的refIdxLXN的值，若非如此则取两个相同时的值。
第5～8行是refIdxLXN不存在相同的值的情况，从中选择最小值。从3个中除为-1的refIdxLXN外，选择最小参照图片编号的值。如上这样决定处理对象预测块的参照图片编号，但也可以采用该方法以外的方法。
回到图12，接下来判定时间不同的其它图片的相同位置的相邻块的编码信息是否有效并导出(S102)。图16表示了处理对象预测块和处于其它图片的相邻块的判定处理的详细流程。开始，指定与包含处理对象预测块的图片时间不同的其它图片(S400)。包含处理对象预测块的片为P片时，仅能使用L0预测，故指定L0的参照列表中的参照图片编号0所示的图片。在为B片时，能使用L0预测、L1预测的一者、以及L0,L1的双预测，但指定L0或L1的某一方的参照列表的参照图片编号0所示的图片。在此，提到了B片时的时间不同的其它图片的指定，但例如也可以考虑在片首部内插入预先决定好在为B片时参照哪一方的参照列表的参数等方法。
接下来，指定参照的时间不同的其它图片的相同位置的相邻的块的位置(S401)。在实施例1中，由于是将图9的(a)所示的参照相邻块“T”作为时间不同的其它图片的相同位置的相邻的块，故根据处理对象预测块的位置、表示分割模式的PartMode、及分割次数，导出处理对象预测块的宽度和高度，导出相邻块“T”的位置。当导出的相邻块的位置为图片外时，在时间不同的其它图片中，取与处理对象预测块相同位置的中央附近的位置。在以下的说明中，将时间不同的其它图片记为col图片、使该图片的处理对象块的相同位置的相邻的块记为col块，对其运动矢量和参照图片编号后缀“Col”来表示。
基于col图片和与其中的处理对象预测块相同位置的相邻的块col块的位置，访问编码信息保存存储器114访问读入col块的编码信息，判定编码信息是否有效，导出运动矢量(S402)。
图17表示其导出的详细处理，用该图进行说明。根据从编码信息保存存储器114读入的col块的编码信息和位置判定col块是否有效(S500)。若不存在col块或者col块的预测模式为Intra(S500的Y)，则将col块的基准运动矢量mvCol设定为(0,0)，将基准有效标志availableFlagCol设定为0(S501)，进入步骤S509。若并非如此(S500的N)，则进入表示col块的L0参照列表的有效性的标志predFlagL0的判定(S502)。
若predFlagL0为0(S502的Y)，则L0预测无效，故选择L1预测的编码信息，将mvCol设定为mvL1，将基准参照图片编号refIdxCol设定为refIdxL1(S503)，进入步骤S507。若并非如此(S502のN)，即L0预测有效，则进入表示col块的L1参照列表的有效性的标志predFlagL1的判定(S504)。
若predFlagL1为0(S504的Y)，则L1预测无效，故选择L0预测的编码信息，将mvCol设定为mvL0，将refIdxCol设定为refIdxL0(S505)，进入步骤S507。若并非如此(S504的N)、即L0和L1预测都有效，则进入Pred_BI模式时的导出(S506)。在Pred_BI模式时的导出中，选择L0预测或L1预测的某一方。
关于选择方法，例如可以举出选择与在步骤S500中选择的col图片相同的参照列表的方法、在col块的L0预测、L1预测各自的参照图片中选择与col图片的图像间距离较近者的方法、或者选择col块的L0预测、L1预测各自的运动矢量与处理对象的图片交差者等。
图18表示第3个判定基准的一例。在该例中，在处理对象图片与col块的运动矢量交差时，即按col图片的参照图片、处理对象图片、col图片的时间顺序显示，相当于col块的块必然存在于处理对象图片内部，在微小时间内评价周边区域的运动的情况下，选择交差的那侧的预测，在运动矢量预测中得到接近的值的可靠性更高。因此，选择与处理对象图片交差的运动矢量的参照列表侧，设定mvCol及refIdxCol。
回到图17，接下来，由于存在运动矢量，故将基准有效标志availableFlagCol设定为1(S507)。将表示参照列表的变量X设定为0(S508)，导出col块的L0及L1预测的运动矢量。根据在上述过程中求得的基准运动矢量mvCol和基准参照图片编号refIdxCol指定参照图片的位置，导出与col图片的图像间距离colDist。
另一方面，根据步骤S401所决定的处理对象预测块的参照图片编号refIdxLX指定参照图片的位置，导出与处理对象图片的图像间距离currDist。进行currDist与colDist的比较(S509)。若currDist与colDist相同(S509的OK)，则直接将基准运动矢量mvCol作为mvLXCol(S510)。
若currDist与colDist不同(S509的NG)，则施以基于缩放的距离换算。缩放是使相邻块参照的图片的图像间距离符合与处理对象预测块参照的图片的图像间距离，对相邻块的运动矢量进行距离换算，来作为处理对象预测块的运动矢量的处理。图18表示了缩放的一例。col图片上的col块与处理对象预测块的各个参照的图片的图像间距离是colDist、currDist，故通过下式使col块的运动矢量mvCol符合处理对象预测块的图像间距离，导出运动矢量(S511)。
【数1】
Figure GDA0002205804110000331
判定X是否为1(S512)。若X不为1、即为0(S512的N)则针对L1预测的方向也以同样的步骤导出。因此，将X更新为1(S513)，反复执行步骤S509以后的处理。若X为1(S512的Y)，则结束处理。
这样得到的相邻块的编码信息被输入到参照候选列表生成部311。在实施例1中，在参照候选列表保存存储器314设置参照候选列表作为登录参照相邻块的编码信息的候选的保存区域。然后，对该参照相邻块的编码信息的候选赋予优先顺位，按优先顺位由高到低的顺序向参照候选列表登录该参照相邻块的编码信息的候选。由此，能削减参照候选列表的索引merge_idx的码量。
通过将参照候选列表中的各要素的位置较高的要素配置在参照候选列表的前面，来削减码量。从0起升序分配表示优先顺位的索引merge_idx。例如，在参照候选列表的要素为3个时，使参照候选列表的索引0为“0”(2进制数表示)、使索引1为“10”(2进制数表示)、使索引2为“11”(2进制数表示)，由此，表示索引0的码量成为1比特，通过对索引0登录被认为发生频率高的要素，来削减码量。
参照候选列表保存存储器314中所设的参照候选列表呈列表构造，设有将表示参照候选列表内部的所在的索引、和与索引对应的参照相邻块的编码信息的候选作为要素来保存的排列区域。该排列区域用candList来表示。索引的数字从0开始，在参照候选列表candList的保存区域保存参照相邻块的编码信息的候选。在以后的处理中，登录在参照候选列表candList中的索引i的编码信息用candList[i]来表示，并通过排列标记来与参照候选列表candList区别。此外，关于保存到参照候选列表的保存区域的编码信息，若无特别说明，则用参照相邻块的位置名(A0,A1,B0,B1,C0,T)来表示。
利用图19的流程图说明参照候选列表生成部311的动作。首先，将变量N和参照候选列表的索引k初始化(S600)。变量N被初始设定为图9的(a)所示的相邻块A1，k被设定为0。索引k表示参照候选列表的保存区域中所设的编码信息的候选的保存区域的优先顺位。
然后，进行参照相邻块N的有效标志availableFlagN的判定(S601)。若availableFlagN为1(S601的Y)，则将相邻块N的编码信息登录到参照候选列表candList[k]中(S602)，并更新k(S603)。若availableFlagN为0(S601的N)，则不向参照候选列表进行登录，进入下一步骤。
判定相邻块N是否为最后的参照块(S604)。若是最后的块(S604的Y)，则将索引的值设定给候选列表总数NumListCand后(S605)，结束处理。若非最后的块(S604的N)，则更新变量N(S606)，重复步骤S601以后的处理。
在此，更新变量N的相邻块的顺序成为保存到参照候选列表的优先顺位，在实施例1中，若为融合模式，则设定顺序(A1,B1,B0,A0,C0,T)。越是处于优先顺位的上位，就越登录到参照候选列表的前面，对用于确定参照候选列表中的融合候选的融合索引分配较短的码长的码。
若是融合模式，则将编码信息被认为与处理对象预测块的边相等的可能性最高的、与处理对象预测块的边相接的相邻块A1及B1优先登录到参照候选列表的前面。由此来削减融合索引的码量，提高编码效率。
通过以上处理，若参照候选列表中所登录的参照相邻块全都有效，则按图20所示的顺序生成了参照候选列表。以优先顺位为索引，各码字在参照候选列表的右列表示，最大码字长为NumListCand-1。图20中，NumListCand为6，码字最大用5比特表示。若参照相邻块仅1个有效，则最大码字长为0，故无需索引，仅1个被判定为有效的相邻块的编码信息的候选被唯一决定为参照目标。
所生成的参照候选列表被输入给相同信息检测部312。在相同信息检测部312中，比较参照候选列表中所保存的编码信息的候选，当存在相同的编码信息的候选时，除具有最小的参照候选列表索引的编码信息的候选外全部删除。利用图21所示的流程图来说明其动作。
首先，将表示参照候选列表的索引的变量n和m分别设定为0和1(S700)。将参照候选列表中所保存的索引n和m的编码信息进行比较(S701)。在此，比较的编码信息是预测模式、所使用的参照列表、所使用的各参照列表的参照图片编号、以及所使用的各参照列表的运动矢量。若被判定为不一致(S701的N)，则进入步骤S704。若判定为一致(S701的Y)，则判定n和m中索引较大者、即m是否已被记录到删除列表中(S702)。
若m已被记录到删除列表中(S702的Y)，则进入步骤S704。若尚未记录(S702的N)，则将m记录到删除列表中(S703)。删除列表是设在相同信息检测部312内的临时保存用的存储器。
然后，使m加1进行更新(S704)。进行m与候选列表总数NumListCand的比较(S705)。若m不为NumListCand(S705的N)，则重复进行步骤S701以后的与索引n的编码信息的比较。若m已成为NumListCand(S705的Y)，则使n加1进行更新(S706)。
然后，进行n与(NumListCand-1)的比较(S707)。若n不为(NumListCand-1)(S707的N)，则将m设定为(n+1)(S709)，重复进行步骤S701以后的编码信息的比较。若n已成为(NumListCand-1)(S707的Y)，则删除与删除列表中所记录的索引相应的列表的保存区域的编码信息，以索引0为基准按索引由小到大的候选顺序填充，并更新码字和参照候选列表的总数NumListCand(S708)，结束处理。
最后，输出部313将所生成的参照候选列表中的索引和编码信息输出。参照候选列表以参照候选列表为融合列表，以列表中的索引为融合索引进行输出。在动图像编码装置100中，被输出给运动补偿预测部105和预测方法决定部107。
下面说明与上述动图像编码装置100中设置的实施例1的融合检测部106对应的、动图像解码装置200中所设置的实施例1的融合判定部206。图22是表示融合判定部206的详细构成的图。图22中的粗虚线包围的部分表示了融合判定部206。融合判定部206包括编码信息导出部310、参照候选列表生成部311、相同信息检测部312、参照候选列表保存存储器314及选择部。
融合判定部206与动图像编码装置100的融合检测部106相对应，内部构成仅在选择部315和输出部313这两点上不同，这以外的编码信息导出部310、参照候选列表生成部311、相同信息检测部312及参照候选列表保存存储器314具备相同的功能。因此，在至相同信息检测部312的处理中，生成与编码过程相同的参照候选列表。
以下，说明从所生成的参照候选列表取得融合模式下的参照相邻块的编码信息的选择部315。选择部315从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的用于确定参照相邻块的索引所指定的参照候选列表的相邻块。将选中的编码信息提供给运动补偿预测部207，并提供给编码信息保存存储器210。
接下来，说明表示动图像编码装置100的构成的图2中所设置的实施例1的运动矢量预测部103。图23是表示运动矢量预测部103的详细构成的图。图23中的粗虚线包围的部分表示了运动矢量预测部103，使用该图来进行说明。运动矢量预测部103包括编码信息导出部320、参照候选列表生成部321、相同信息检测部322、输出部323、参照候选列表保存存储器324及差分运动矢量导出部326。
帧间预测信息检测部104内部的临时存储器303中所保存的处理对象预测块参照的参照相邻块的编码信息被输入给编码信息导出部320。利用图24的流程图说明编码信息导出部320的动作。
从最初输入的相邻块中判定并导出与处理对象预测块同一图片内的相邻块的编码信息是否有效(S800)。图25表示与处理对象预测块同一图片内的各相邻块的判定处理的详细流程。此外，图25的判定处理是针对L0、L1的各列表分别独立进行的。
根据处理对象预测块的预测模式，在单向预测、L0预测的情况下，仅对参照列表L0中所登录的编码信息进行判定处理，在单向预测、L1预测的情况下，仅对参照列表L1中所登录的编码信息进行判定处理，在双预测的情况下，对参照列表L0,L1中所登录的各编码信息进行判定处理。在本说明书中，在无特别注释的情况下，对于运动估计模式时的判定处理，将参照候选列表的一者记作LX来进行说明，图示的参照候选列表也仅举出1个。
首先，将变量N初始化(S900)。变量N被设定图9的(a)所示的相同图片上的相邻块A1,B1,B0,A0,C0。在此，初始化时设定为N＝A1，变量N的更新按B1,B0,A0,C0的顺序来进行。
接下来，将在以后的判定中使用的保存相邻块的编码信息的变量初始化。在此，变量是表示相邻块是否有效的标志availableFlagLXN、运动矢量mvLXN、参照图片编号refIdxLXN及表示参照列表的有效性的标志predFlagLXN，被如下这样初始化(S901)。
availableFlagLXN＝0
mvLXN＝(0,0)
refIdxLXN＝0
predFlagLXN＝0
此处，后缀X被设定表示参照列表的0或1。取得变量N的相邻块(以下记作相邻块N)的位置及编码信息(S902)。
基于所取得的相邻块N的位置，判定相邻块N是否有效(S903)。例如，当处理对象预测块位于图片左端时，不存在处理对象预测块左边的相邻块，故编码信息保存存储器114中没有相应的编码信息，被判定为无效。
若相邻块N无效(S903的N)，则将availableFlagLXN设定为“0”(S908)。若相邻块N有效(S903的Y)，则判定相邻块N的预测模式是否为画面内编码(Intra)模式(S904)。
若相邻块N的预测模式为Intra模式(S904的Y)，则将availableFlagLXN设定为“0”(S908)。若相邻块N的预测模式不是Intra模式(S904的N)，则判定在相邻块N是否也进行了按与处理对象预测块的导出对象的预测相同的参照列表、利用了相同的参照图片编号的预测(S905)。
若未进行(S905的N)，则将availableFlagLXN设定为“0”(S908)。若进行了(S905的Y)，则将availableFlagLXN设定为“1”(S906)。接下来，将相邻块N的运动矢量的值代入mvLXN来进行设定(S907)。
如上这样对相邻块N的判定处理结束后，判定变量N是否为最后的相邻块(S909)。变量N的更新被按A1,B1,B0,A0,C0顺序进行，故在此判定N是否为C0。若N是C0(S909的Y)，则对所有相邻块都进行了判定，结束处理。若N不是C0(S909的N)，则进行N的更新(S910)。按上述的相邻块顺序更新N，针对相邻块N反复进行步骤S901以后的处理。
此外，在实施例1中，在步骤S905中判定了是否在相邻块N也进行了按与处理对象预测块的导出对象的预测相同的参照列表、采用了相同的参照图片编号的预测。这若是相同的参照图片编号及参照列表的条件，则相邻的处理对象预测块与相邻块N的运动矢量成为相同或接近的值的概率较高，故运动矢量的差分值变小、使编码效率提高。
然而，相同图片上未必存在进行使用了相同的参照图片编号及参照列表的预测的相邻块，当不存在时，无法导出运动矢量的差分值，会使编码效率下降。因此，不以步骤S905的相同的参照列表及参照图片编号的条件来限制判定，在相邻块进行的预测满足如下条件时，也使表示相邻块是否有效的标志availableFlagLXN为1(有效)，作为参照相邻块的候选而导出其编码信息。
条件1:相同的参照列表、相同的参照图片编号
条件2:不同的参照列表、相同的参照图片编号
条件3:相同的参照列表、不同的参照图片编号
条件4:不同的参照列表、不同的参照图片编号
将此时的处理的流程示于图26。图26不同于图25之处在于，删除了图25的步骤S905的仅条件1的条件判定，并进行步骤S911的条件1至4的条件判定，在不满足条件1或2时追加运动矢量的缩放处理(S912)。这之外的步骤S900至步骤S910与图25的说明是同等的，故以下针对变更和追加之处进行说明。
若相邻块N的预测模式不是Intra模式(S904的N)，则将availableFlagLXN设定为“1”(S906)。然后，通过将处理对象预测块的导出对象的预测的编码信息与相邻块N的编码信息进行比较来判定条件1至4(S911)。在满足条件1或条件2时，将相邻块N的相同的参照列表(符合条件1时)或不同的参照列表(符合条件2时)的运动矢量的值代入mvLXN进行设定(S907)。
在满足条件3或条件4时，实施相同的参照列表(符合条件3时)或不同的参照列表(符合条件4时)的相邻块N的运动矢量的缩放处理(S912)。在运动估计模式下，为以更少的码量传输处理对象预测块的运动矢量，进行运动矢量预测。运动矢量预测是取处理对象预测块的运动矢量与相邻块的运动矢量的差分，对该差分值进行编码的处理。此时，若各自参照的图片不同，则会对运动矢量的大小产生影响，差分值有时变得比实际的处理对象预测块的运动矢量大。
因此，使相邻块参照的图片的图像间距离与处理对象预测块参照的图片的图像间距离相一致，实施对相邻块的运动矢量进行距离换算的缩放。图27表示缩放的一例。对于处理对象预测块，由运动矢量估计部102进行运动矢量估计，检测处理对象预测块的运动矢量、参照图片编号及参照列表。
另一方面，处理对象图片上的相邻块自身的编码信息是已知的，故根据各自的参照图片编号选出参照的图片。导出处理对象图片上的相邻块和处理对象预测块各自参照的图片的图像间距离td、tb，通过下式进行距离换算，以使得相邻块N的相同的参照列表LX的运动矢量mvLX(符合条件3时)、或不同的参照列表LY(X＝0时Y＝1、X＝1时Y＝0)的运动矢量mvLY(符合条件4时)与处理对象预测块的图像间距离相一致。
Figure GDA0002205804110000411
回到图26，将这样换算后的运动矢量mvLX或mvLY代入mvLXN进行设定(S907)。通过实施该缩放处理，能针对处理对象预测块导出更接近的预测运动矢量，谋求精度的提高。如上这样以存在于与处理对象预测块相同图片上的周围的相邻块为参照块，导出其编码信息。
回到图24，接下来判定时间不同的其它图片的相同位置的相邻的块的编码信息是否有效，并导出(S801)。该处理是与融合检测部106中的编码信息导出部310的步骤S103的处理基本同等的。在融合模式时，融合检测部106中的编码信息导出部310在进行步骤S103的处理前，进行了处理对象预测块的参照图片编号的导出(S102)。
与此不同，在运动估计模式的情况下，针对处理对象预测块，由运动矢量估计部102进行运动矢量估计，检测出处理对象预测块的运动矢量、参照图片编号及参照列表。根据这些检测出的处理对象预测块的编码信息和已知的时间不同的其它图片的相同位置的相邻的块的编码信息，基于各自的参照图片编号导出要参照的图片，将时间不同的其它图片的相同位置的相邻的块的运动矢量换算成处理对象预测块与其参照图片的图像间距离导出。
这样得到的相邻块的编码信息被输入到参照候选列表生成部321。关于参照候选列表生成部321所生成的参照候选列表，是根据处理对象预测块的Inter模式，针对L0预测和L1预测的两个参照列表分别生成参照候选列表的。在Inter模式下，作为单向预测定义了L0预测和L1预测，作为双预测定义了Bi-pred预测，在Bi-pred预测中，使用L0预测及L1预测的两个参照列表。因此，根据编码时的预测模式，可以对参照候选列表保存存储器314设置1至2个参照候选列表，也可以预先设置L0预测和L1预测的两个量的参照候选列表。在本说明书中，只要无特别注释，就为说明方便而仅举一者说明运动估计模式时的参照候选列表，图示的参照候选列表也仅举出1个。
在实施例1中，在参照候选列表保存存储器324内设置参照候选列表作为登录参照相邻块的编码信息的候选的保存区域。对该参照相邻块的编码信息的候选赋予优先顺位，从优先顺位高者起向参照候选列表保存存储器324登录该参照相邻块的编码信息的候选。由此，能削减参照候选列表的索引mvp_idx_l0及mvp_idx_l1的码量。
通过将优先顺位高的要素配置在参照候选列表的前面，来削减码量。从0起升序分配表示参照候选列表中的各要素的位置的索引。参照候选列表保存存储器324内所设的参照候选列表呈列表构造，设有将表示参照候选列表内部的所在的索引和与索引对应的参照相邻块的编码信息的候选作为要素来保存的排列区域。
该排列区域用candListLX来表示。索引的数字从0开始，在参照候选列表candListLX的保存区域内保存参照相邻块的编码信息的候选。在以后的处理中，登录在参照候选列表candListLX中的索引i的编码信息用candListLX[i]来表示，通过进行排列标记来与参照候选列表candListLX相区别。此外，保存到参照候选列表的保存区域的编码信息在无特别说明的情况下用参照相邻块的位置名(A0,A1,B0,B1,C0,T)来表示。
参照候选列表生成部321的动作与融合检测部106的参照候选列表生成部311是同等的，按运动估计模式下定义的顺序A1,B1,A0,B0,C0,T判定表示编码信息导出部320所得到的相邻块是否有效的标志availableFlagLXN，若为1(有效)，则登录到参照候选列表保存存储器324内所设的参照候选列表中。
通过以上处理，被登录于参照候选列表，若参照相邻块全部有效，则按图20所示的顺序生成参照候选列表。以优先顺位为索引，各码字在参照候选列表的右列表示，最大码字长为NumListCand-1。图20中，NumListCand是6，码字用最大5比特表示。若参照相邻块仅1个有效，则最大码字长成为0，故无需码字，该1个被判定为有效的相邻块的编码信息的候选被唯一决定为参照目标。
所生成的参照候选列表被输入到相同信息检测部322。在相同信息检测部322中，比较参照候选列表中所保存的运动矢量，若存在具有相同运动矢量的候选，则除具有最小的参照候选列表索引的候选外将其都删除。利用图29所示的流程图说明动作。
首先，将表示参照候选列表的索引的变量n和m分别设定为0和1(S1000)。比较参照候选列表中所保存的索引n和m的运动矢量(S1001)。若判定为不一致(S1001的N)，则进入步骤S1004。若判定为一致(S1001的Y)，则判定n和m中索引较大者、即m是否已被记录在删除列表中(S1002)。
若m已被记录在删除列表中(S1002的Y)，则进入步骤S1004。若尚未记录(S1002的N)，则将m记录在删除列表中(S1003)。删除列表是设于相同信息检测部322内的临时保存用的存储器。
然后使m加1进行更新(S1004)。进行m与候选列表总数NumListCand的比较(S1005)。若m非NumListCand(S1005的N)，则反复进行步骤S1001以后的与索引n的运动矢量的比较。若m已成为NumListCand(S1005的Y)，则使n加1来更新(S1006)。
然后进行n与(NumListCand-1)的比较(S1007)。若n非(NumListCand-1)(S1007的N)，则将m设定为(n+1)(S1009)，反复进行步骤S1001以后的运动矢量的比较。若n已成为(NumListCand-1)(S1007的Y)，则删除与被记录在删除列表中的索引相应的列表的保存区域的编码信息，以索引0为基准，按索引由小到大的候选顺序填充，并更新码字和参照候选列表的总数NumListCand(S1008)，结束处理。
差分运动矢量导出部326以这样生成的参照候选列表中的编码信息的运动矢量为预测运动矢量，根据运动矢量估计部102预测出的运动矢量和预测运动矢量导出差分运动矢量，并将导出的差分运动矢量提供给输出部323。
最后，输出部323输出所生成的参照候选列表中的索引和差分运动矢量。参照候选列表将参照候选列表作为MVP列表，将列表中的索引作为MVP索引而输出。在动图像编码装置100中，被输出到预测方法决定部107。
下面说明与上述动图像编码装置100中所设置的实施例1的运动矢量预测部103对应的、动图像解码装置200中所设置的实施例1的运动矢量导出部204。图30是表示运动矢量导出部204的详细构成的图。图30中粗虚线所包围的部分表示运动矢量导出部204。运动矢量导出部204包括编码信息导出部320、参照候选列表生成部321、相同信息检测部322、参照候选列表保存存储器324、选择部325及运动矢量相加部327。
运动矢量导出部204对应于动图像编码装置100的运动矢量预测部103，其内部构成仅选择部325、输出部323及运动矢量相加部327不同，这以外的编码信息导出部320、参照候选列表生成部321、相同信息检测部322及参照候选列表保存存储器324具有相同的功能。因此，在至相同信息检测部322的处理中，生成与编码过程相同的参照候选列表。
以下说明从所生成的参照候选列表取得运动估计模式下的参照相邻块的编码信息的选择部325。选择部325从所生成的参照候选列表中选择由第1编码比特串解码部202所解码出的用于确定参照相邻块的索引所指定的参照候选列表的相邻块。从所选择的列表的相邻块的编码信息中将运动矢量作为预测运动矢量输出，并在运动矢量相加部327中将预测运动矢量与第1编码比特串解码部202解码出的差分运动矢量相加而导出运动矢量。将该运动矢量提供给运动补偿预测部207，并将所选择的参照候选列表的相邻块的编码信息提供给编码信息保存存储器210。
(实施例2)
图31的(a)、(b)中表示了实施例2中的相对于处理对象预测块的参照相邻块的配置。各相邻块的记号同图9的(a)、(b)是一样的，在此使用图31的(a)的配置例进行说明。实施例2将与处理对象预测块相同图片上的相邻块分组成左侧相邻的块群(在图31的(a)中是A0和A1)、上侧相邻的块群(在图31的(a)中是B0、B1及C0)，从各个块群中选择1个参照相邻块作为块群的代表值。
作为选择的方法，基于相邻块的编码信息的预测模式及位置判定相邻块是否有效，这一点在实施例1、2中是同样的，但在按块群单位各选一个代表相邻块这一点上不同。将像这样从由多个相邻块构成的块群中选出代表该块群的相邻块的方法称作扫描。通过该扫描，代表左侧相邻的块群的相邻块、代表上侧相邻的块群的相邻块、及时间不同的其它图片的相同位置所相邻的块这3个相邻块被登录在参照候选列表中。
因此，与实施例1相比，能削减登录到参照候选列表中的相邻块的总数，能削减相同信息检测部312中的编码信息的比较次数、及相同信息检测部322中的运动矢量的比较次数。进而，分配给参照候选列表的索引的码字长度变短，能削减参照候选列表的索引的码量。此外，通过根据预测模式变更左侧及上侧相邻的块群中的相邻块的处理顺序，能选择与预测模式相适的相邻块，能期待编码效率的改善。
关于处理顺序，在预测模式为融合模式时，融合检测部106及融合判定部206如图31的(a)、(b)中的细虚线箭头那样，对于左侧相邻的块群按从上到下的顺序进行处理，对于上侧相邻的块群，以左上的相邻块C0为最后、按B1,B0,C0的顺序进行处理。在预测模式为运动估计模式时，运动矢量预测部103及运动矢量导出部204如图31的(a)、(b)中的细实线箭头那样，对于左侧相邻的块群按从下到上的顺序进行处理，对于上侧相邻的块群按从右至左的顺序进行处理。
在融合模式下，优先对被认为最可能与处理对象预测块的编码信息相同的相邻块A1,B1进行判定处理和选择，来提高编码效率。另一方面，在运动估计模式下，为扩大预测运动矢量的选择的宽度，优先对左侧和上侧的候选间的距离较远的相邻块A0,B0进行判定处理和选择，以使得在左侧和上侧的相邻块的候选间容易出现编码信息的差。由此，削减差分运动矢量的码量，提高编码效率。
以下，仅对实施例2的不同于实施例1的动作进行详细说明。首先，说明动图像编码装置100中的融合检测部106的动作。融合检测部106具有与实施例1中所说明的图11相同的构成，但编码信息导出部310的处理与实施例1不同，故说明实施例2中的编码信息导出部310的动作。图32是表示实施例2中的编码信息导出部310的动作的流程图。
首先，根据被输入到开关108的由动图像编码装置100控制的预测模式，帧间预测信息检测部104的输出目标被切换为融合检测部106，帧间预测信息检测部104的内部的临时存储器303中所保存的、处理对象预测块参照的参照相邻块的编码信息被输入到编码信息导出部310。
从所输入的相邻块中判定与处理对象预测块相同图片内的相邻块的编码信息是否有效，并导出(S103)。图33中表示了与处理对象预测块相同图片内的各相邻块的判定处理的详细流程。与实施例1的图13所示的流程图不同，步骤S210、步骤S211、步骤S212、步骤S213及步骤S214是新追加的处理，这以外与实施例1是同等的，故在此仅详细说明所追加的处理。
首先，将块群M初始化(S210)。在此，假定设定为左侧相邻的块群，M被设定为表示左侧的块群的值A。然后，将块群中的变量N初始化(S200)。变量N是根据上述块群内的处理顺序而被设定的，在N更新时，假定在左侧块群中按A1,A0顺序更新，在上侧块群中按B1,B0,C0的顺序更新。
图33中的步骤S201至步骤S209的处理基本上与实施例1的图13是一样的，但判定相邻块N的预测模式是否为画面内编码(Intra)模式(S204)、相邻块N的预测模式非Intra模式时(S204的N)之后的处理与实施例1不同。
判定相邻块N的预测模式是否为画面内编码(Intra)模式(S204)，若相邻块N的预测模式非Intra模式(S204的N)，则进入M是否为左侧块群的判定(S211)，若M是左侧块群(S211的Y)，则将availableFlagM设定为“1”(S205)，将相邻块N的编码信息代入refIdxLXM、mvLXM及predFlagLXM来设定(S206)。仅在M为上侧块群时(S211的N)，判定在左侧块群中选择的相邻块的编码信息与相邻块N的编码信息是否相同(S212)。
由于首先选择了代表左侧块群的相邻块，故保持有其编码信息，使用于上侧块群的判定。通过该处理，就不会与代表左侧块群的相邻块的编码信息相重复，故作为参照目标，选项的范围变广。此外，为削减处理量，也可以省略步骤S211及步骤S212的处理，直接进入步骤S205。
若左侧块群所选择的相邻块的编码信息与相邻块N的编码信息不同、或不存在左侧块群所选择的相邻块的编码信息(S212的N)，则将availableFlagM设定为“1”(S205)，将相邻块N的编码信息代入refIdxLXM、mvLXM及predFlagLXM来设定(S206)。
然后，在块群M的编码信息被设定后，为针对下一块群、即针对上侧相邻的块群进行处理，判定变量M是否为表示上侧块群的值B(S213)。若M不是B(上侧)(S213的N)，则将M更新为B(上侧)(S214)，重复进行步骤S200以后的处理。若M为上侧(S213的Y)，则结束处理。
若相邻块N非有效(S203的N)，则在相邻块N的预测模式不是画面内编码(Intra)模式时(S204的Y)、且左侧块群所选择的相邻块的编码信息与相邻块N的编码信息相同时(S212的Y)，将availableFlagM设定为“0”(S207)，实施相邻块N是否为块群M内的最后的相邻块的判定(S208)。
变量N的更新被按上述块群内的处理顺序设定，在此，判定N是否为A0(左侧块群时)或C0(上侧块群时)。若相邻块N是最后的块(S208的Y)，则进入块群M的判定(S213)，若非如此(S208的N)，则根据块群内的处理顺序更新变量N(S209)，并重复步骤S201以后的处理。如上这样，作为代表存在于与处理对象预测块相同图片的块群的相邻块的参照块，其编码信息被导出。
返回图32，接下来，决定以时间不同的其它图片为融合候选时的处理对象预测块的参照图片编号(S104)。可以直接利用实施例1中的步骤S101的处理，但在此，利用图34的(a)、(b)说明基于之前处理(S103)所导出的相同图片上的左侧及上侧相邻的块群的编码信息的方法。
首先，被输入在步骤S103中导出的表示左侧相邻的块群A及上侧相邻的块群B各自块群的相邻块是否有效的标志availableFlagM、参照图片编号refIdxLXM。在此，M是A和B。
首先利用图34的(a)说明左侧的相邻块群A。查询表示左侧的相邻块群的相邻块是否有效的标志availableFlagA(S1100)。若availableFlagA为1(S1100的Y)，则设定左侧的相邻块群的相邻块的参照图片编号refIdxLXA，若非如此(S1100的N)，则将refIdxLXA设定为-1。
同样地，利用图34的(b)说明上侧的相邻块群B。查询表示上侧的相邻块群的相邻块是否有效的标志availableFlagB(S1101)。若availableFlagB为1(S1101的Y)，则设定上侧的相邻块群的相邻块的参照图片编号refIdxLXB，若非如此(S1101的N)，则将refIdxLXB设定为-1。
基于这样导出的各块群的参照图片编号refIdxLXM(M为A,B)的条件，决定时间不同的其它图片的相同位置的相邻块的参照图片编号refIdxLXCol。图35中表示了基于参照图片编号refIdxLXM的判定。图35的第1行是refIdxLXA与refIdxLXB为相同的值，是不为-1的情况，选择refIdxLXA。第2行是refIdxLXA与refIdxLXB为不同的值，是都不为-1的情况，选择最小的参照图片编号的值。第3行和第4行是其中一者为-1的情况，选择不为-1的那一者。第5行是两者都为-1的情况，此时设定“0”。如上这样，处理对象预测块的参照图片编号被决定，但也可以采用该方法以外的方法。
回到图32，接下来判定时间不同的其它图片的相同位置的相邻的块的编码信息是否有效，并导出(S102)。由于与实施例1的步骤S102是同样的，故省略说明。这样得到的相邻块的编码信息被输入参照候选列表生成部311。
在实施例2中也同实施例1一样，在参照候选列表保存存储器314中设置参照候选列表作为登录参照相邻块的编码信息的候选的保存区域，对参照相邻块的编码信息的候选赋予优先顺位，从优先顺位高者起向参照候选列表登录参照相邻块的编码信息的候选。由此，削减参照候选列表的索引merge_idx的码量。
参照候选列表生成部311进行与实施例1同样的动作，判定要参照的左侧及上侧的相邻块群、及时间不同的其它图片的相同位置的相邻的块的有效标志availableFlagM(在此，M为A,B,T)，将相邻块的编码信息登录到参照候选列表candList中。在此，更新变量N的相邻块的顺序成为向参照候选列表保存的优先顺位，在实施例2中，假定设定左侧、上侧、不同时间的相同顺序(A,B,T)。
通过以上处理，若被登录在参照候选列表中的参照相邻块全都有效，则按图36所示的顺序生成参照候选列表。以优先顺位为索引，各码字被表示在参照候选列表的右列，最大码字长度为2。在此，参照候选列表内部的括号表示从左侧或上侧的相邻块群中、由编码信息导出部310按括号内的从左至右的顺序处理、选择的1个相邻块。
所生成的参照候选列表由相同信息检测部312删除掉编码信息相同的被保存在参照候选列表中的编码信息，输出由参照候选列表生成部311生成的参照候选列表中的索引和编码信息。关于参照候选列表，以参照候选列表为融合列表，将该列表中的索引作为融合索引而输出。在动图像编码装置100中，被输出到运动补偿预测部105和预测方法决定部107。
下面说明与上述动图像编码装置100中所设置的实施例2的融合检测部106对应的、动图像解码装置200中所设置的实施例2的融合判定部206。融合判定部206具有与实施例1中说明过的图22相同的构成，编码信息导出部310的处理与实施例1不同。这之外的参照候选列表生成部311、相同信息检测部312、参照候选列表保存存储器314及选择部315具有与实施例1相同的功能。
此外，实施例2中的融合判定部206的编码信息导出部310具有与上述实施例2中的融合检测部106的编码信息导出部310相同的功能，故在直到实施例2中的融合判定部206的融合判定部206的相同信息检测部312的处理中，生成与实施例2的融合检测部106相同的参照候选列表。说明从所生成的参照候选列表在融合模式下取得参照相邻块的编码信息的选择部315。选择部315从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的、由确定参照相邻块的索引所指定的参照候选列表的相邻块。将所选择的编码信息提供给运动补偿预测部207，并提供给编码信息保存存储器210。
接下来，说明在表示动图像编码装置100的构成的图2中设置的实施例2的运动矢量预测部103。实施例2的运动矢量预测部103具有与实施例1中说明过的图23相同的构成，但编码信息导出部320的处理与实施例1不同，故在实施例2中针对编码信息导出部320的动作进行说明。图37是表示实施例2中的编码信息导出部320的动作的流程图。
首先，根据被输入到开关108的由动图像编码装置100控制的预测模式，帧间预测信息检测部104的输出目标被切换为运动矢量预测部103。帧间预测信息检测部104内部的临时存储器303中所保存的处理对象预测块参照的相邻块的编码信息被输入到编码信息导出部320。从输入的相邻块中判定并导出与处理对象预测块相同图片中的相邻块的编码信息是否有效(S802)。图38中表示了与处理对象预测块相同图片中的各相邻块的判定处理的详细流程。
相对于实施例1的图25所示的流程图，步骤S913、步骤S914、步骤S915、步骤S916及步骤S917是新追加的处理，这以外与实施例1是同等的，故在此仅说明所追加的处理的详细情况。
首先，将块群的变量M初始化(S913)。在此，假定设定为左侧相邻的块群，M被设定为表示左侧块群的值A。然后，将块群中的变量N初始化(S900)。变量N是根据上述块群内的处理顺序而设定的，在N更新时，假定左侧块群按A0,A1顺序更新，上侧按B0,B1,C0顺序更新。之后的步骤S901至步骤S910的处理基本上与实施例1是同样的，但在判定相邻块N的预测模式是否为画面内编码(Intra)模式(S904)、相邻块N的预测模式非Intra模式时(S904的N)以后的处理方面，与实施例1不同。
判定相邻块N的预测模式是否为画面内编码(Intra)模式(S904)，若相邻块N的预测模式非Intra模式(S904的N)，则进入M是否为左侧块群的判定(S914)，若M是左侧块群(S914的Y)，则进入步骤S905的处理。仅在M为上侧块群时(S914的N)，判定在左侧块群中选择的相邻块的运动矢量mvLXA与相邻块N的运动矢量是否相同(S915)。
由于最初选择了代表左侧块群的相邻块，故保持有其运动矢量，用于上侧块群的判定。通过该处理，就不会有与代表左侧块群的相邻块的运动矢量重复的情况，故作为参照目标，选项的范围扩大。此外，为削减处理量，还可以省略步骤S914及步骤S915的处理，直接进入步骤S905。
若在左侧块群中选择的相邻块的运动矢量mvLXA与相邻块N的运动矢量相同(S915的Y)，则进入步骤S908。若不同(S915的N)，则判定在与处理对象预测块的导出对象的预测相同的参照列表中，是否在相邻块N中也进行了使用相同的参照图片编号的预测(S905)。
若在与使用了处理对象预测块的导出对象的运动矢量的预测相同的参照列表中，在相邻块N也进行了使用相同的参照图片编号的预测(S905的Y)，则将availableFlagLXN设定为“1”(S906)，将相邻块N的运动矢量代入mvLXM来设定(S907)。在块群M的运动矢量被设定后，为针对下一块群、即上侧相邻的块群进行处理，判定变量M是否为表示上侧块群的值B(S916)。若M非B(上侧)(S916的N)，则将M更新为B(上侧)(S917)，重复步骤S900以后的处理。若M为B(上侧)(S916的Y)，则结束处理。
若相邻块N非有效(S903的N)，则在相邻块N的预测模式不是画面内编码(Intra)模式(S904的Y)、在左侧块群中选择的相邻块的运动矢量mvLXA与上侧块群的相邻块N的运动矢量相同(S915的Y)、没有进行在相同的参照列表中使用了相同的参照图片编号的预测的情况下(S905的N)，将availableFlagLXM设定为“0”(S908)，实施相邻块N是否为块群M内的最后的相邻块的判定(S909)。变量N的更新是根据上述块群内的处理顺序设定的，在此，进行N是否为A1(左侧块群时)或C0(上侧块群时)的判定。
若相邻块N是最后的块(S909的Y)，则进入块群M的判定(S916)。若非如此(S909的N)，则根据块群内的处理顺序更新变量N(S910)，重复步骤S901以后的处理。如上这样，作为存在于与处理对象预测块相同图片上的代表块群的相邻块的参照块，其编码信息被导出。
在实施例2中同实施例1一样，在相邻块所被进行的预测满足以下条件时，也能使表示相邻块是否有效的标志availableFlagLXM成为1(有效)，并作为参照相邻块的候选，导出其编码信息。
条件1:相同的参照列表、相同的参照图片编号
条件2:不同的参照列表、相同的参照图片编号
条件3:相同的参照列表、不同的参照图片编号
条件4:不同的参照列表、不同的参照图片编号
图39表示此时的处理的流程。与上述图38不同之处在于，删除了步骤S905的仅条件1的条件判定，进行步骤S911的条件1至4的条件判定，并在满足条件1或2时追加了运动矢量的缩放处理(S912)。
首先，将块群的变量M初始化(S913)。在此，假定设定为左侧相邻的块群，M被设定为A。然后，将块群中的变量N初始化(S900)。变量N是根据上述块群内的处理顺序而设定的，在N更新时，左侧块群按A0,A1顺序更新，上侧块群按B0,B1,C0顺序更新。以后的步骤S901至步骤S910的处理基本上与实施例1的图26一样。判定相邻块N的预测模式是否为画面内编码(Intra)模式(S904)，相邻块N的预测模式非Intra模式时(S904的N)之后的处理与实施例2的图38不同。
若相邻块N的预测模式不是Intra模式(S904的N)、即为Inter模式，则通过比较处理对象预测块的导出对象的预测的编码信息和相邻块N的编码信息来进行条件1至4的判定处理(S911)。若满足条件1或条件2，则进入M是否为左块群的判定处理(S914)。另一方面，在满足条件3或条件4时，同实施例1的图26的S912一样，实施相邻块N的运动矢量的缩放处理(S912)，进入M是否为左块群的判定处理(S914)。
若M是左侧块群(S914的Y)，则将availableFlagLXM设定为“1”(S906)。若M是上侧块群(S914的N)，则判定左侧块群中选择的相邻块的运动矢量mvLXA与相邻块N的运动矢量是否相同(S915)。此外，为削减处理量，也可以省略步骤S914及步骤S915的处理，直接进入步骤S906。
若左侧块群中选择的相邻块的运动矢量mvLXA与相邻块N的编码信息相同(S915的Y)，则将availableFlagLXN设定为“0”(S908)，若不同(S915的N)，则将availableFlagLXM设定为“1”(S906)。
同实施例1的图26的步骤S907一样，将相邻块N的相同参照列表(符合条件1时)的运动矢量mvLX或不同参照列表(符合条件2时)的运动矢量mvLY、或者相同参照列表(符合条件3时)的通过缩放而换算出的运动矢量mvLX或不同参照列表(符合条件4时)的通过缩放而换算出的运动矢量mvLY代入mvLXM进行设定(S907)。
块群M的运动矢量被设定后，为针对下一块群、即上侧相邻的块群进行处理，判定变量M是否为上侧(S916)。若M不是上侧(S916的N)，则将M更新为B(上侧)(S917)，重复步骤S900以后的处理。若M是上侧(S916的Y)，则结束处理。
在将availableFlagLXM设定为“0”时(S908)，实施相邻块N是否为块群M内的最后的相邻块的判定(S909)。变量N的更新根据上述块群内的处理顺序而设定，在此判定N是否为A1(左侧块群时)或C0(上侧块群时)。若相邻块N是最后的块(S909的Y)，则进入块群M的判定(S916)，若非如此(S909的Y)，则根据块群内的处理顺序更新变量N(S910)，重复步骤S901以后的处理。如上这样，作为与处理对象预测块相同图片上存在的代表块群的相邻块的参照块，其运动矢量被导出。
回到图37，接下来，判定时间不同的其它图片的相同位置的相邻的块的编码信息是否有效，并导出(S801)。这与实施例1的步骤S801是同样的，故省略说明。这样得到的相邻块的编码信息被输入到参照候选列表生成部321。关于参照候选列表生成部321所生成的参照候选列表，针对L0预测及L1预测这两个参照列表分别生成参照候选列表。在本说明书中，只要无特别注释，运动估计模式时的参照候选列表为说明方便都仅举1个来进行说明，图示的参照候选列表也仅举1者。
在实施例2中，在参照候选列表保存存储器324中设置参照候选列表作为登录参照相邻块的编码信息的候选的保存区域。对参照相邻块的编码信息的候选赋予优先顺位，从优先顺位高者起向参照候选列表保存存储器324登录参照相邻块的编码信息的候选。由此，能削减参照候选列表的索引mvp_idx_l0及mvp_idx_l1的码量。
通过将优先顺位高的要素配置在参照候选列表的前面，来削减码量。表示优先顺位的索引是从0起升序分配的。参照候选列表保存存储器324中所设的参照候选列表呈列表构造，设有将表示参照候选列表内部的所在的索引、和与索引对应的参照相邻块的编码信息的候选作为要素来保存的排列区域。该排列区域用candListLX表示。索引的数字从0开始，在参照候选列表candListLX的保存区域中保存参照相邻块的编码信息的候选。在以后的处理中，参照候选列表candListLX中所登录的索引i的编码信息用candListLX[i]来表示，通过进行排列标记，来与参照候选列表candListLX相区别。此外，被保存到参照候选列表的保存区域的编码信息在无特别限制的情况下，用参照相邻块的位置名(A0,A1,B0,B1,C0,T)来表示。
参照候选列表生成部321进行与实施例1同样的动作，判定要参照的左侧及上侧的相邻块群、时间不同的其它图片的相同位置的相邻的块的有效标志availableFlagLXM(在此，M为A,B,T)，并将相邻块的编码信息登录到参照候选列表candListLX中。在此，更新变量N的相邻块的顺序成为向参照候选列表保存的优先顺位，在实施例2中，假定设定左侧、上侧、不同时间的相同顺序(A,B,T)。通过以上处理，若参照候选列表中所登录的参照相邻块全都有效，则按图40所示的顺序生成参照候选列表。
以优先顺位为索引，各码字被表示在参照候选列表的右列，最大码字长度为2。在此，参照候选列表内部的括号表示从左侧或上侧的相邻块群中、由编码信息导出部320按括号内的从左至右的顺序处理并选择的1个相邻块。若参照相邻块仅1个有效，则最大码字长度成为0，故不需要码字，那1个被判定有效的相邻块的编码信息的候选就被唯一决定为参照目标。
关于所生成的参照候选列表，在相同信息检测部322中将成为相同编码信息的参照候选列表中所保存的编码信息删除，并将在差分运动矢量导出部326中生成的参照候选列表中的编码信息的运动矢量作为预测运动矢量，根据运动矢量估计部102估计出的运动矢量和预测运动矢量导出差分运动矢量，将所导出的差分运动矢量提供给输出部323。
最后，输出部323输出所生成的参照候选列表中的索引和差分运动矢量。参照候选列表将参照候选列表作为MVP列表，将列表中的索引作为MVP索引而输出。在动图像编码装置100中，被输出给预测方法决定部107。
说明与上述动图像编码装置100中设置的实施例2的运动矢量预测部103对应的、动图像解码装置200中所设置的实施例2的运动矢量导出部204。运动矢量导出部204具有与图30相同的构成，编码信息导出部320的处理与实施例1不同。这之外的参照候选列表生成部321、相同信息检测部322、参照候选列表保存存储器324、选择部325及运动矢量相加部327具有与实施例1相同的功能。
另外，编码信息导出部320具有与上述实施例2中的运动矢量预测部103的编码信息导出部320相同的功能，故在至运动矢量导出部204的相同信息检测部322的处理中，生成与实施例2的运动矢量预测部103相同的参照候选列表。针对从所生成的参照候选列表中、在运动估计模式下取得参照相邻块的编码信息的选择部325进行说明。选择部325从所生成的参照候选列表中选择由第1编码比特串解码部202所解码出的用于确定参照相邻块的索引所指定的参照候选列表的相邻块。从所选择的参照候选列表的相邻块的编码信息中，将运动矢量作为预测运动矢量输出，并在运动矢量相加部327中将预测运动矢量与由第1编码比特串解码部202解码出的差分运动矢量相加，导出运动矢量，提供给运动补偿预测部207，并将所选择的列表的相邻块的编码信息提供给编码信息保存存储器210。
此外，在实施例2中，是从各块群中选择1个相邻块作为参照相邻块的代表的，但也可以选出多个相邻块。但要在不超过块群中的块数的范围内设定。
(实施例3)
在实施例3中，根据预测模式而改变参照相邻块的选择方法。利用图31的(a)的相邻块的配置进行说明。在融合模式下，从6个相邻块A0,A1,B0,B1,C0,T中选择1个相邻块的编码信息作为参照目标。在运动估计模式下将6个相邻块A0,A1,B0,B1,C0,T中的A0和A1分类成左侧相邻的块群，将B0、B1和C0分类成上侧相邻的块群，从各块群中选择一个1个作为代表相邻块。从左侧及上侧相邻的块群的各代表块和T这三个相邻块中选择1个相邻块的编码信息作为参照目标。即，是分别将实施例1的方法适用于融合模式、将实施例2的方法适用于运动估计模式的融合方法。
在融合模式下，直接利用参照相邻块的候选的编码信息进行图像间预测，故为留有选择的余地，向列表中登录比运动估计模式更多的候选。这是由于融合模式与运动估计模式相比，能用很少的码量传输较多的信息(运动矢量、参照索引、参照列表)，与其削减融合索引的码量，保留相邻块的候选来扩展选择的范围更能提高编码效率。另一方面，在运动估计模式下，不是直接使用参照相邻块的候选的编码信息，而是对差分运动矢量等编码信息进行编码，故进行扫描，缩小候选范围登录于列表。这是因为，通过缩小候选范围来削减MVP索引的码量，更能提高编码效率。
关于实施例3中生成的候选列表，参照相邻块全都有效时，按预测模式分别如图41那样表示。在融合检测部106及运动矢量预测部103中分别生成参照候选列表，候选列表总数也不同，故码字在第3项之后是不同的，但由于是分别作为最佳的码字而生成的，故能期待编码效率的改善。此外，虽然码字长度会变长，但也可以使运动估计模式的码字“11”(2进制数表示)成为同行的融合模式的“110”(2进制数表示)，来使出现的码字的种类共用化。
(实施例4)
实施例4是从与处理对象预测块相同图片上的相邻块(以下记作空间相邻块)中选择2个块作为代表相邻块的方法。此点与实施例2是同样的，但在实施例2中，将空间相邻块分成2个块群来定义，按块群单位各选出1个代表相邻块。在实施例4中，将空间相邻块整体作为1个块群，从中选出2个代表相邻块，在这一点上不同。
同实施例2一样，与处理对象预测块同一图片上的代表相邻块的2个相邻块、和时间不同的其它图片的相同位置的相邻块这三个相邻块被登录到参照候选列表中。由于与实施例1相比能削减登录到参照候选列表中的相邻块的总数，故能削减相同信息检测部312中的编码信息的比较次数、相同信息检测部322中的运动矢量的比较次数。并且，分配给参照候选列表的索引的码字长度变短，能削减参照候选列表的索引的码量。此外，通过根据预测模式来变更相邻块的选出处理顺序，能选择适于预测模式的相邻块，能期待编码效率的改善。
关于处理顺序，在预测模式为融合模式时，融合检测部106及融合判定部206按图9的(a)的A1,B1,B0,A0,C0(或B1,A1,A0,B0,C0)的顺序进行处理。在运动估计模式时，运动矢量预测部103及运动矢量导出部204按图9的(a)的B0,A0,A1,B1,C0(或A0,B0,B1,A1,C0)的顺序进行处理。
在融合模式下，优先选择相邻块A1,B1登录于候选列表。这是由于相邻块A1,B1的边与处理对象预测块相接，故与其它相邻块(A0,B0,C)相比，处理对象预测块与编码信息相等的可能性较高，登录可能性高的候选有助于融合模式下的编码效率的提高。另一方面，在运动估计模式下，优先选择相邻块A0,B0登录于候选列表。相邻块A0,B0是相邻块中候选间的距离最远的，能登录不同性质的运动矢量的可能性较高，能扩展预测运动矢量的选择范围。由此，在传输差分运动矢量时不易产生大码量，有助于运动估计模式时的编码效率的提高。
实施例4的动图像编码装置100及动图像解码装置200的构成与实施例1、2相同。另外，实施例4的动作除图11及图22的编码信息导出部310、图23及图30的编码信息导出部320的动作外、与实施例2相同。以下仅针对与实施例2不同的实施例4的动作进行详细说明。
首先，说明动图像编码装置中的融合检测部106的动作。融合检测部106具有与实施例2的图11相同的构成，但编码信息导出部310的处理与实施例2不同，故针对实施例4中的编码信息导出部310的动作进行说明。图42是表示实施例4中的编码信息导出部310的动作的流程图。
首先，根据被输入到开关108的由动图像编码装置100控制的预测模式，帧间预测信息检测部104的输出目标被切换为融合检测部106，帧间预测信息检测部104内部的临时存储器303中所保存的、处理对象预测块参照的相邻块的编码信息被输入到编码信息导出部310。
从所输入的相邻块中判定与处理对象预测块同一图片内的相邻块的编码信息是否有效，并导出2个相邻块(S105)。图43中表示与处理对象预测块同一图片内的各相邻块的判定处理的详细流程。
首先，将表示所选择的相邻块的变量F设定为S0，将计数值k设定为0(S1600)。表示所选择的相邻块的变量F的S0表示首先选出的第1候选的相邻块，S1表示其次选出的第2候选的相邻块。
接下来，将表示处理中的相邻块的变量N初始化为A1(S1601)。假定表示处理中的相邻块的变量N被按A1,B1,B0,A0,C0的处理顺序设定，在N更新时按该顺序更新。
然后，将保存要在以后的判定中使用的相邻块的编码信息的变量初始化(S1602)。在此，变量是表示相邻块是否有效的标志availableFlagF、运动矢量mvLXF、参照图片编号refIdxLXF及表示预测方向的有效性的标志predFlagLXF，被如下这样初始化。
availableFlagF＝0
mvLXF＝(0,0)
refIdxLXF＝0
predFlagLXF＝0
在此，后缀X被设定为表示预测方向的0或1。取得表示处理中的相邻块的变量N的相邻块(以下称作相邻块N)的位置及编码信息(S1603)。
基于所取得的相邻块N的位置，判定相邻块N是否有效(S1604)。例如当处理对象预测块位于图片左端时，由于不存在处理对象预测块左边的相邻块，故编码信息保存存储器114中没有相应的编码信息，被判定为无效。
当相邻块N无效时(S1604的N)，将availableFlagF设定为“0”(S1613)。若相邻块N有效(S1604的Y)，则判定相邻块N的预测模式是否为画面内编码(Intra)模式(S1605)，若相邻块N的预测模式为Intra模式(S1605的Y)，则将availableFlagF设定为“0”(S1613)。
若相邻块N的预测模式不是Intra模式(S1605的N)、即是Inter模式，则进入F是否为S0的判定(S1606)，若F是S0(S1606的Y)，则将availableFlagF(availableFlagS0)设定为1(S1608)。
若F不是S0(S1606的N)，则判定已选择的相邻块的编码信息与相邻块N的编码信息是否相同(S1607)。若已选择的相邻块的编码信息与相邻块N的编码信息相同(S1607的Y)，则将availableFlagF设定为“0”(S1613)。
具体来说，将空间相邻块的最大数定为2时，保持好首先作为第1候选而选择的编码信息，用于选出第2候选时的比较判定。通过该处理，第2候选的相邻块的编码信息就不会与代表的第1候选的相邻块的编码信息相重复，故能选择更多的候选作为参照目标。此外，为削减处理量，也可以省略步骤S1606及步骤S1607的处理，直接进入步骤S1608。
若被选为第1候选的相邻块的编码信息与相邻块N的编码信息不同(S1607的N)，则将availableFlagF(availableFlagS1)设定为“1”(S1608)。然后，将相邻块N的编码信息代入refIdxLXF、mvLXF及predFlagLXF进行设定(S1609)。
然后，使计数值k加1来更新(S1610)，判定计数值k是否小于空间候选的最大候选数2(S1611)。若计数值k为空间候选的最大候选数2(S1611的Y)，则将表示所选择的空间相邻块的候选数的变量NumListCand设定为k(S1616)，结束处理。
将availableFlagF设定为“0”时(S1613)，判定相邻块N是否为最后的相邻块(S1614)。此外，若k比空间候选的最大候选数2小(S1611的N)，则将F更新为S1(S1612)，判定相邻块N是否为最后的相邻块(S1614)。变量N的更新是根据上述的A1,B1,B0,A0,C0的处理顺序而设定的，在此，判定N是否为C0。
若相邻块N是最后的块(S1614的Y)，则将表示所选择的空间相邻块的候选数的变量NumListCand设定为k(S1616)，结束处理。若相邻块N不是最后的块(S1614的N)，则根据A1,B1,B0,A0,C0的处理顺序更新变量N(S1615)，并重复步骤S1602以后的处理。如上这样，作为存在于与处理对象预测块相同图片上的块群的代表相邻块的2个参照块，各自的编码信息被导出。
回到图42，在步骤S105后，决定以时间不同的其它图片的相同位置的相邻的块的编码信息为候选时的、处理对象预测块的参照图片编号(S104)。该步骤S104的处理与实施例1、2的步骤S104是同样的。然后，判定时间不同的其它图片的相同位置的相邻的块的编码信息是否有效，并导出(S102)。该实施例4的步骤S102的处理也与实施例1、2的步骤S102是同样的。
这样得到的相邻块的编码信息被输入到参照候选列表生成部311。在实施例4中也与实施例2一样，在参照候选列表保存存储器314中设置参照候选列表作为登录参照相邻块的编码信息的候选的保存区域。对参照相邻块的编码信息的候选赋予优先顺位，从优先顺位高者起向参照候选列表登录参照相邻块的编码信息的候选。由此削减参照候选列表的索引merge_idx的码量。
参照候选列表生成部311进行与图19的流程图所示的实施例1、2同样的动作。但将实施例4的变量F的值作为图19的变量N的值来设定，使之进行动作。判定空间的第1候选的相邻块S0、空间的第2候选的相邻块S1、及时间不同的其它图片的相同位置的相邻的块T的有效标志availableFlagN(在此，N为S0,S1,T)，将相邻块的编码信息登录于参照候选列表candList。这里，更新变量N的相邻块的顺序成为向参照候选列表保存的优先顺位，在实施例4中，假定按相同时间的第1候选、相同时间的第2候选、不同时间的同一顺序(S0,S1,T)的顺序来进行设定。
同实施例1、2一样，关于所生成的参照候选列表，在相同信息检测部312中删除成为相同编码信息的参照候选列表中所保存的编码信息，由输出部313输出所生成的参照候选列表中的索引和编码信息。关于参照候选列表，将参照候选列表作为融合列表，将列表中的索引作为融合索引而输出。在动图像编码装置100中，被输出到运动补偿预测部105和预测方法决定部107。
针对与上述动图像编码装置100中设置的实施例4的融合检测部106对应的、动图像解码装置200中设置的实施例4的融合判定部206进行说明。融合判定部206具有与实施例2的图22相同的构成，编码信息导出部310的处理与实施例2不同。这之外的参照候选列表生成部311、相同信息检测部312、参照候选列表保存存储器314及选择部315具有与实施例2相同的功能。
此外，融合判定部206的编码信息导出部310具有与上述实施例4中的融合检测部106的编码信息导出部310相同的功能，融合判定部206的参照候选列表生成部311具有与上述实施例4中的融合检测部106的参照候选列表生成部311相同的功能，融合判定部206的相同信息检测部312具有与上述实施例4中的融合检测部106的相同信息检测部312相同的功能，故通过至融合判定部206的相同信息检测部312的处理，生成与实施例4的融合检测部106相同的参照候选列表。
同实施例2一样，在选择部315中，从生成的参照候选列表中选择由第1编码比特串解码部202解码出的确定参照相邻块的索引所指定的参照候选列表的相邻块。将所选择的编码信息提供给运动补偿预测部207，并提供给编码信息保存存储器210。
接下来，说明表示动图像编码装置100的构成的图2中设置的实施例4的运动矢量预测部103。运动矢量预测部103具有与实施例2的图23相同的构成，但编码信息导出部320的处理与实施例2不同，故下面说明实施例4中的编码信息导出部320的动作。图44是表示实施例4中的编码信息导出部320的动作的流程图。
首先，根据被输入到开关108的由动图像编码装置100控制的预测模式，帧间预测信息检测部104的输出目标被切换为运动矢量预测部103。帧间预测信息检测部104内部的临时存储器303中所保存的、处理对象预测块参照的相邻块的编码信息被输入到编码信息导出部320。
从所输入的相邻块中判定与处理对象预测块同一图片上的相邻块的编码信息是否有效，并导出2个相邻块(S803)。图45表示与处理对象预测块同一图片上的各相邻块的判定处理的详细流程。根据处理对象块的预测模式，在L0预测时进行图45所示的处理，在L1预测时进行图45所示的处理，在L0预测和L1预测的双预测时分别进行图45所示的处理。
首先，将空间候选索引F设定为S0，将计数值k设定为0(S1700)。空间候选索引F的S0表示首先选出的第1候选的相邻块，S1表示其次选出的第2候选的相邻块。
然后，将块群中的变量N初始化为A1(S1701)。表示处理中的相邻块的变量N根据B0,A0,A1,B1,C0的处理顺序而被设定，在N更新时按该顺序被更新。
然后，将保持以后判定中要使用的相邻块的编码信息的变量初始化(S1702)。在此，变量是表示相邻块是否有效的标志availableFlagF、运动矢量mvLXF、参照图片编号refIdxLXF及表示预测方向的有效性的标志predFlagLXF，被如下这样初始化。
availableFlagLXF＝0
mvLXF＝(0,0)
refIdxLXF＝0
predFlagLXF＝0
这里，后缀X被设定为表示预测方向的0或1。取得表示处理中的相邻块的变量N的相邻块(以下称作相邻块N)的位置及编码信息(S1703)。
基于所取得的相邻块N的位置，判定相邻块N是否有效(S1704)。例如，当处理对象预测块位于图片左端时，由于不存在处理对象预测块左边的相邻块，故编码信息保存存储器114中没有相应的编码信息，被判定为无效。
若相邻块N无效(S1704的N)，则将availableFlagLXF设定为“0”(S1715)。若相邻块N有效(S1704的Y)，则判定相邻块N的预测模式是否为画面内编码(Intra)模式(S1705)，若相邻块N的预测模式是Intra模式(S1705的Y)，则将availableFlagLXF设定为“0”(S1715)。
若相邻块N的预测模式不是Intra模式(S1705的N)、即是Inter模式，则通过比较处理对象预测块的导出对象的预测和相邻块N的编码信息，来进行条件1至4的判定处理(S1709)。当满足条件1或条件2时，进入F是否为S0的判定处理(S1706)。另一方面，若满足条件3或条件4，则同实施例2的图39的S912一样，实施相邻块N的运动矢量的缩放处理(S1710)，进入F是否为S0的判定处理(S1706)。
若F为S0(S1706的Y)，则将availableFlagLXF(availableFlagLXS0)设定为1(S1708)。若F不是S0(S1706的N)，则判定已选择的相邻块的运动矢量与相邻块N的运动矢量或相邻块N的运动矢量被缩放后的运动矢量mvLXN是否相同(S1707)。
若已选择的相邻块的运动矢量与相邻块N的运动矢量相同(S1707的Y)，则将availableFlagLXF设定为“0”(S1715)。具体来说，在将空间相邻块的最大数定为2时，保持最初被选为第1候选的运动矢量，用于选出第2候选时的比较判定。通过该处理，第2候选的相邻块的编码信息就不会与代表的第1候选的相邻块的运动矢量重复，故作为参照目标，选项的范围较广。另外，为削减处理量，也可以省略步骤S1706及步骤S1707的处理，直接进入步骤S1708，将availableFlagLXF(availableFlagLXS1)设定为“1”(S1708)。
若被选为第1候选的相邻块的运动矢量mvLXS0与相邻块N的运动矢量mvLXN不同(S1707的N)，则将availableFlagLXF(availableFlagLXS1)设定为“1”(S1708)。将相邻块N的相同参照列表(符合条件1时)的运动矢量mvLX或不同参照列表(符合条件2时)的运动矢量mvLY、或者相同参照列表(符合条件3时)的通过缩放而换算出的运动矢量mvLX或不同参照列表(符合条件4)的通过缩放而换算出的运动矢量mvLY代入mvLXM来设定(S1711)。
使计数值k加1来更新(S1712)，判定计数值k是否小于空间候选的最大候选数2(S1713)。若计数值k是空间候选的最大候选数2(S1713的N)，则将表示所选择的空间相邻块的候选数的变量NumListCand设定为k(S1718)，结束处理。
在将availableFlagF设定为“0”时(S1715)，判定相邻块N是否为最后的相邻块(S1716)。此外，若k小于空间候选的最大候选数2(S1713的Y)，则将F更新为S1(S1714)，实施相邻块N是否为最后的相邻块的判定(S1716)。
变量N的更新被根据上述的B0,A0,A1,B1,C0的处理顺序设定，在此，判定N是否为C0。若相邻块N是最后的块(S1716的Y)，则将表示所选择的空间相邻块的候选数的变量NumListCand设定为k(S1718)，结束处理。若相邻块N不是最后的块(S1716的N)，则根据B0,A0,A1,B1,C0的处理顺序更新变量N(S1717)，并重复步骤S1702以后的处理。如上这样，作为代表存在于与处理对象预测块相同图片上的块群的相邻块的参照块，其编码信息被导出。
回到图44，接下来，判定时间不同的其它图片的相同位置的相邻的块的编码信息是否有效，并导出(S801)。该实施例4的S801的处理与实施例1的S801是同样的，故省略说明。
这样得到的相邻块的编码信息被输入到参照候选列表生成部321。作为在参照候选列表生成部321中生成的参照候选列表，根据预测模式(L0预测、L1预测、双预测)，针对L0预测及L1预测的两个预测方向生成某一方向的参照候选列表，或者生成两方各自的参照候选列表。在本说明书中，只要无特别注释，对于运动估计模式时的参照候选列表，为说明方便而仅举一者来说明，对于图示的参照候选列表也仅举出一者。
在实施例4中，在参照候选列表保存存储器324内设置参照候选列表作为登录参照相邻块的编码信息的候选的保存区域。对参照相邻块的编码信息的候选赋予优先顺位，从优先顺位高者起向参照候选列表保存存储器324登录参照相邻块的编码信息的候选。由此，能削减参照候选列表的索引mvp_idx_l0及mvp_idx_l1的码量。
通过将优先顺位高的要素配置在参照候选列表的前面，来削减码量。表示优先顺位的索引从0起升序分配。参照候选列表保存存储器324中所设的参照候选列表具有列表构造，设有将表示参照候选列表内部的所在的索引和与索引对应的参照相邻块的编码信息的候选作为要素来保存的排列区域。该排列区域用candListLX来表示。索引的数字从0开始，在参照候选列表candListLX的保存区域内保存参照相邻块的编码信息的候选。
在以后的处理中，登录于参照候选列表candListLX的索引i的编码信息用candListLX[i]来表示，通过排列标记而与参照候选列表candListLX区别。此外，关于保存于参照候选列表的保存区域的编码信息，只要无特别说明，就用参照相邻块的位置名(A0,A1,B0,B1,C0,T)来表示。
参照候选列表生成部321进行与图19的流程图所示的实施例1、2同样的动作。但将实施例4的变量F的值设定为图19的变量N的值来使之动作。判定空间的第1候选的相邻块S0、空间的第2候选的相邻块S1、以及时间不同的其它图片的相同位置的相邻的块的有效标志availableFlagLXN(在此，N为S0,S1,T)，将相邻块的编码信息登录于参照候选列表candListLX。在此，更新变量N的相邻块的顺序成为向参照候选列表保存的优先顺位，在实施例4中，假定设定为相同时间的第1候选、相同时间的第2候选、不同时间的同一顺序(S0,S1,T)。
同实施例1、2一样，所生成的参照候选列表由相同信息检测部322删除成为相同编码信息的参照候选列表内所保存的编码信息，将差分运动矢量导出部326所生成的参照候选列表中的编码信息的运动矢量作为预测运动矢量。根据运动矢量估计部102估计出的运动矢量和预测运动矢量导出差分运动矢量，将所导出的差分运动矢量提供给输出部323。
最后，输出部323输出所生成的参照候选列表中的索引和差分运动矢量。关于参照候选列表，将参照候选列表作为MVP列表、将列表中的索引作为MVP索引而输出。在动图像编码装置100中，被输出给预测方法决定部107。
下面说明与上述动图像编码装置100中设置的实施例4的运动矢量预测部103对应的、动图像解码装置200中设置的实施例4的运动矢量导出部204。运动矢量导出部204具有与实施例2的图30相同的构成，编码信息导出部320的处理与实施例2不同。这以外的参照候选列表生成部321、相同信息检测部322、参照候选列表保存存储器324、选择部325及运动矢量相加部327具有与实施例2相同的功能。
此外，编码信息导出部320具有与上述实施例2中的运动矢量预测部103的编码信息导出部320相同的功能，融合判定部206的参照候选列表生成部311具有与上述实施例4中的融合检测部106的参照候选列表生成部311相同的功能，融合判定部206的相同信息检测部312具有与上述实施例4中的融合检测部106的相同信息检测部312相同的功能，故在至运动矢量导出部204的相同信息检测部322的处理中，生成与实施例4的运动矢量预测部103相同的参照候选列表。
同实施例2一样，选择部325从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的、确定参照相邻块的索引所指定的参照候选列表的相邻块。从所选择的参照候选列表的相邻块的编码信息，将运动矢量作为预测运动矢量而输出，并由运动矢量相加部327将预测运动矢量和第1编码比特串解码部202解码出的差分运动矢量相加而导出运动矢量，提供给运动补偿预测部207，并将所选择的列表的相邻块的编码信息提供给编码信息保存存储器210。
此外，在实施例4中，选出了两个相邻块作为参照相邻块的代表，但也可以针对融合模式、运动估计模式分别选出1个或3个以上的相邻块作为代表。但要在不超出块群中的块数的范围内设定。此外，在本发明的说明所用的图9的配置中，代表的数量以6个为最大数。在融合模式时，若将代表数量设定为6个，则与实施例1是等价的。在运动估计模式下，取2个空间相邻块为代表，在融合模式下，取3个以上的空间相邻块为代表等，通过在融合模式下比运动估计模式时取更多的空间相邻块为代表，能得到以下那样的效果。
即、在融合模式下，直接使用参照相邻块的候选的编码信息进行图像间预测，故为留有选择的余地，将比运动估计模式多的候选登录于列表。这是因为，融合模式与运动估计模式相比能以很少的码量传输较多的信息(运动矢量、参照索引、预测方向)，故与其削减融合索引的码量，保留相邻块的候选而扩展选择的范围更能提高编码效率。
另一方面，在运动估计模式下，不是直接使用参照相邻块的候选的编码信息，而是对差分运动矢量等编码信息进行编码，故比融合模式更缩减候选地登录于列表。这是因为，通过缩减候选而削减MVP索引的码量，更能提高编码效率。
在融合模式下，当选出3个以上的空间相邻块作为代表时，在图43的步骤S1607中，判定所有已选择的各相邻块的编码信息与相邻块N的编码信息是否相同。在运动估计模式下，当选出3个以上的空间相邻块作为代表时，在图45的步骤S1707中，判定所有已选择的各相邻块的运动矢量与相邻块N的运动矢量或相邻块N的运动矢量被缩放后的运动矢量mvLXN是否相同。
融合模式时，也能使用实施例4的方法，运动估计模式时，也能使用其它实施例的方法。同样地，在运动估计模式时也可以使用实施例4的方法，在融合模式时也可以使用其它实施例的方法。特别的，在融合模式时使用实施例1的方法、运动估计模式时使用实施例4的方法的情况下，能得到与实施例3同样的效果。
即，在融合模式下，直接使用参照相邻块的候选的编码信息进行图像间预测，故为留有选择的余地，将比运动估计模式更多的候选登录于列表。这是因为，融合模式与运动估计模式相比能以很少的码量传输较多的信息(运动矢量、参照索引、预测方向)，故与其削减融合索引的码量，尽量保留相邻块的候选来增加运动信息的候选更有助于提高编码效率。
另一方面，在运动估计模式下，不是直接使用参照相邻块的候选的编码信息，而是对差分运动矢量等编码信息进行编码，故进行扫描来缩减候选地登录于列表。这是因为，运动估计模式下的候选仅被用于预测矢量，故即使保留较多的相邻块候选、登录候选间较近的运动矢量，也无法减少差分运动矢量的码量，MVP索引的码量只会増加。因此，通过缩减登录于列表的候选而削减MVP索引的码量，有助于编码效率的提高。
融合模式、运动估计模式都能仅利用相邻块是否能作为参照目标候选来使用的信息来决定登录于列表的候选，故无需进行复杂的判定，能针对融合模式、运动估计模式分别将适当的候选登录于列表。
此外，实施例4仅将时间不同的其它图片的相同位置的相邻的块作为另行处理而登录于参照候选列表的最后。同一图片上的相邻块彼此具有相同编码信息的可能性较高，时间不同的其它图片的相同位置的相邻的块具有与之不同的编码信息的可能性较高，故可以说另行作为候选来登录的效果较好。例如，即使位于同一图片上的相邻块全都在帧内，时间不同的其它图片的相同位置的相邻的块具有帧间预测的编码信息的可能性也较高。但是，时间不同的其它图片的相同位置的相邻的块相比于同处理对象预测块处于同一图片上的相邻块，编码信息与处理对象预测块相等或接近的可能性较低，故降低了优先顺位。
(实施例5)
针对表示动图像编码装置100的构成的图2中所设置的实施例5的融合检测部106进行说明。融合检测部106具有与实施例1中说明过的图11相同的构成，但参照候选列表生成部311的处理与实施例1不同，故针对实施例5中的融合检测部106的参照候选列表生成部311的动作进行说明。参照候选列表生成部311在参照候选列表保存存储器314中设置参照候选列表作为登录参照相邻块的编码信息的候选的保存区域，对参照相邻块的编码信息的候选赋予优先顺位，从优先顺位较高者起向参照候选列表登录参照相邻块的编码信息的候选。由此，削减参照候选列表的索引merge_idx的码量。
通过将优先顺位高的要素配置在参照候选列表的前面，来削减码量。表示优先顺位的索引从0起升序分配。在此，假定在融合模式时设定顺序(A1,B1,B0,A0,C0,T)。在融合模式时，优先将编码信息被认为与处理对象预测块的边相等的可能性最高的、与编码对象预测块的边相接的相邻块A1及B1登录于列表前面，由此来削减融合索引的码量、提高编码效率。
参照候选列表保存存储器314中所设的参照候选列表具有列表构造，设有将表示参照候选列表内部所在的索引和与索引对应的参照相邻块的编码信息的候选作为要素来保存的排列区域。该排列区域用candList表示。索引的数字从0开始，在参照候选列表candList的保存区域中保存参照相邻块的编码信息的候选。在以后的处理中，参照候选列表candList内所登录的索引i的编码信息用candList[i]来表示，通过排列标记而与参照候选列表candList相区别。另外，关于保存在参照候选列表的保存区域中的编码信息，只要没有特别说明，就用参照相邻块的位置名(A0,A1,B0,B1,C0,T)来表示。
图46是表示实施例5中的参照候选列表生成部311的动作的流程图。在实施例5中，在参照候选列表生成前，从图31的(a)所示的相邻块中分类成左侧及上侧的块群，并设定各块群的参照相邻块的个数NA及NB。在此，左侧块群的相邻块是A0,A1，上侧块群的相邻块是B0,B1,C0，将NA及NB都设定为1。即，意味着从各个块群中选择1个相邻块。此外，NA及NB不超过各自块群中的相邻块总数。
首先，将变量N和参照候选列表的索引k初始化(S1200)。变量N初始被设定为与预测模式对应的优先顺位最高的相邻块。在融合模式下为A1，在运动估计模式下为A0。K被设定为0。索引k表示参照候选列表的保存区域中所设定的编码信息的候选的保存区域优先顺位。
然后，将左侧及上侧的块群的计数值na及nb初始化为0(S1201)。首先，判定相邻块N是否为属于左侧或上侧的块群的相邻块(S1202)。若不属于(S1202的N)，则进入步骤S1206，若属于(S1202的Y)，则判定属于左侧或上侧的哪一个块群(S1203)。
若为左侧，则进入计数值na与NA的比较(S1204)，若na小于NA(S1204的Y)，则进入步骤S1206，若非如此(S1204的N)，则进入步骤S1210。若为上侧，则进入计数值nb与NB的比较(S1205)，若nb小于NB(S1205的Y)，则进入步骤S1206，若非如此(S1205的N)，则进入步骤S1210。
若na及nb在NA及NB以上，则表示超出了各块群中被选出到参照候选列表中的相邻块数，此时，不判定是否登录于参照候选列表，不被登录。
进行相邻块N的有效标志availableFlagN的判定(S1206)。若availableFlagN为1(S1206的Y)，则将相邻块N的编码信息登录于参照候选列表candListLX[k](S1207)，并更新k(S1208)。进而，若相邻块N属于左侧或上侧的块群，则更新计数值na或nb(S1209)。若availableFlagN为0(S1206的N)，则不登录于参照候选列表，进入步骤S1210。
判定相邻块N是否为最后的参照块(S1210)。若为最后的块(S1210的Y)，则在将索引的值设定于候选列表总数NumListCand后(S1211)，结束处理。若非最后的块(S1210的Y)，则更新变量N(S1212)，重复步骤S1202以后的处理。
通过以上处理，被登录于参照候选列表。在此，登录于参照候选列表的最大数用NA+NB+1来表示。对最初设定的NA和NB加上一个不同时间的候选，在此，NA,NB都为1，故最大为3。在参照相邻块仅1个有效时，最大码字长度成为0，故不需要码字，那一个被判定有效的相邻块的编码信息的候选被唯一决定为参照目标。
在上述处理中，例如相邻块A1的有效标志availableFlagA1为0时，优先顺位为A1,B1,B0,A0,C0,T，故参照候选列表中被按优先顺序登录B1,A0,T。在实施例2中按相同条件进行处理，成为A0,B1,T。实施例5中，既保持原来的优先顺位，又将认为编码信息与处理对象预测块相等可能性最高的相邻块优先登录在参照候选列表的前面，由此来削减索引的码量、提高编码效率。
此外，此时，代表左侧及上侧相邻的块群的相邻块和时间不同的其它图片的相同位置的相邻的块这3个相邻块被登录于参照候选列表，与实施例1相比能削减参照相邻块的总数，故分配的码字长度变短，能改善编码效率。
针对与上述动图像编码装置100中设置的实施例5的融合检测部106对应的、动图像解码装置200中设置的实施例5的融合判定部206进行说明。融合判定部206具有与实施例1中说明的图22相同的构成，但参照候选列表生成部311的处理与实施例1不同。这以外的编码信息导出部310、相同信息检测部312、参照候选列表保存存储器314及选择部315具有与实施例1相同的功能。
此外，参照候选列表生成部311具有与上述实施例5中的融合检测部106的参照候选列表生成部311相同的功能，故在至融合判定部206的相同信息检测部312的处理中，生成与实施例5的融合检测部106相同的参照候选列表。
针对从所生成的参照候选列表取得融合模式下的参照相邻块的编码信息的选择部315进行说明。选择部315从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的、确定参照相邻块的索引所指定的参照候选列表的相邻块。将所选择的编码信息提供给运动补偿预测部207，并提供给编码信息保存存储器210。
接下来，针对表示本发明的动图像编码装置100的构成的图2中所设置的实施例5的运动矢量预测部103进行说明。运动矢量预测部103具有与实施例1中说明的图23相同的构成，但参照候选列表生成部321的处理与实施例1不同。参照候选列表生成部321具有与融合检测部106的参照候选列表生成部311基本相同的功能，故判定参照相邻块的编码信息的候选是否有效、并登录于参照候选列表的动作是同样的，在此省略说明。
参照候选列表生成部321与融合检测部106的参照候选列表生成部311的不同之处在于向参照候选列表保存存储器324中所设的参照候选列表登录参照相邻块的编码信息的候选时的优先顺位。运动估计模式时，在参照候选列表生成部321中，按A0,B0,A1,B1,C0,T顺序设定。
运动估计模式是用于传输差分运动矢量的模式，为扩展预测运动矢量的选择范围，分离左侧和上侧的候选间的距离地进行登录，以使得左侧和上侧的相邻块的候选的运动矢量的差变大，由此来削减差分运动矢量的码量、提高编码效率。该运动估计模式下的优先顺位的决定方法与尽可能地将作为相同编码信息的概率高的相邻块登录为优先候选的融合模式相比，目的不同。如上这样，赋予优先顺位，从优先顺位高者起向参照候选列表登录参照相邻块的编码信息的候选，由此削减参照候选列表的索引mvp_idx_l0及mvp_idx_l1的码量。
关于与上述动图像编码装置100中设置的实施例5的运动矢量预测部103对应的、动图像解码装置200中设置的实施例5的运动矢量导出部204，运动矢量导出部204的参照候选列表生成部321具有与对应的运动矢量预测部103的参照候选列表生成部321相同的功能，故生成与运动矢量预测部103相同的参照候选列表。
下面说明在运动估计模式下从所生成的参照候选列表中取得参照相邻块的编码信息的选择部325。选择部325从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的、用于确定参照相邻块的索引所指定的列表的相邻块。从所选择的列表的相邻块的编码信息中将运动矢量作为预测运动矢量而输出，在运动矢量相加部327中将预测运动矢量和第1编码比特串解码部202解码出的差分运动矢量相加，导出运动矢量，提供给运动补偿预测部207，并将所选择的列表的相邻块的编码信息提供给编码信息保存存储器210。
此外，在实施例5中，将NA和NB都设定为1，但也可以设定不超出各自块群的相邻块总数的数量，还可以在预测模式下分别改变设定。
(实施例6)
在实施例6中，定义与实施例2不同的参照相邻块的块群，是改变了从中分别选择1个作为代表相邻块的方法的实施例。利用图31的(a)的相邻块的配置进行说明。对于图31的(a)中配置的6个相邻块A0,A1,B0,B1,C0,T，将A1作为左侧相邻的代表块，将B1作为上侧相邻的代表块，将时间不同的其它图片的相同位置的相邻的块T、和位于处理对象预测块的角部的相邻块A0,B0及C0，作为角部相邻的块群。从该块群中选择1个作为代表相邻块。从左侧、上侧、不同时间及角部的4个相邻块中选择1个相邻块的编码信息作为参照目标。
将被认为编码信息与处理对象预测块的边相等的可能性最高的、与处理对象预测块的边相接的相邻块A1及B1优先登录在参照候选列表的前面，将相对可能性较低的角部的3个相邻块作为一组，削减索引的码量、提高编码效率，故特别在融合模式时是有效的方法。
在动图像编码装置100中设置的实施例6的融合检测部106和对应的动图像解码装置200中设置的实施例6的融合判定部206的参照候选列表生成部311、以及动图像编码装置100中设置的实施例6的运动矢量预测部103和对应的动图像解码装置200中设置的实施例6的运动矢量导出部204的参照候选列表生成部321中，将位于处理对象预测块的角部的相邻块A0,B0,C0定义为角部相邻的块群。按A1,B1,(B0,A0,C0),T的顺序设定优先顺位，从优先顺位高者起向参照候选列表登录参照相邻块的编码信息的候选，由此削减参照候选列表的索引的码量。在此，参照候选列表内部的括号表示从左侧或上侧的相邻块群中，按括号内的从左至右的顺序被处理、选择的1个相邻块。
在参照候选列表生成部311及321中，作为从角部相邻的块群中选择代表相邻块的方法，例如如实施例2中所说明的那样，按预先规定的处理顺序扫描块群中的相邻块。也可以判定是否满足相邻块有效且非Intra模式的条件，选择满足该条件的最初的相邻块。在此，将处理顺序定为B0,A0,C0，但未必一定是该顺序。此外，也可以比较角部相邻的块群中的相邻块B0,A0,C0的编码信息，选择具有相同编码信息的相邻块。即，在块群中进行多数决，选择具有相同编码信息的相邻块中的、按处理顺序B0,A0,C0在前的相邻块。实施例6中生成的参照候选列表在参照相邻块全都有效时被如图47那样表示。
(实施例7)
实施例7是对登录于参照候选列表中的、参照相邻块的数量进行限制的方案。实施例1、3(实施例为融合模式的情况)的登录于参照候选列表的参照相邻块数，在图9的(a)或图31的(a)的相邻块配置的情况下，最大存在6个。若从中选择相邻块，则索引最大需要5比特的码量，故不能说提高了编码效率。因此，进行限定，使得仅使用同实施例2、4等一样生成的参照候选列表中的上位的相邻块的编码信息。
首先，说明表示动图像编码装置100的构成的图2中设置的实施例7的融合检测部106。图48表示在图11所示的实施例1的动图像编码装置100的融合检测部106中追加了参照候选限制部318后的融合检测部106的构成。图48所示的各部具有与图11所示的各部相同的功能，故在此仅说明参照候选限制部318的功能。
参照候选限制部318被输入由相同信息检测部312从参照候选列表中删除具有相同编码信息的参照相邻块后的参照候选列表。参照候选限制部318从参照候选列表中保留所设定的限制数量的索引上位的相邻块，将这之外的删除或者判定为选择范围外。例如针对实施例1表示不存在相同编码信息时的参照候选列表的一例的图20，若在融合模式时限制为3个，则将索引0至2的上位3个相邻块作为参照候选，其余的不使用，故从参照候选对象中排除。
如上这样，作为参照候选，相邻块被限制地登录于参照候选列表，与实施例1相比能削减参照相邻块的总数，故分配的码字长度变短，能改善编码效率。此外，由于缩减限制为参照候选列表的优先顺位高的相邻块，故能抑制编码效率的下降。关于参照候选列表的限制数，例如可以在SPS(SequenceParameterSet)或SliceHeader这样的首部信息中设定限制数。此外，也可以在编码侧和解码侧作为默认条件来设定，只要在编码侧和解码侧不发生矛盾地设定即可，不限方法。此外，也可以按照预测模式分别设定限制数。此外，还可以基于处理对象预测块参照的已编码或已解码的相邻块的编码信息，适应性地变更参照候选列表的限制数。
说明了如上这样通过在相同信息检测部312之后设置参照候选限制部318来限制参照候选的方法，但不将参照候选限制部318设置在融合检测部106中、而是使相同信息检测部312中具有参照候选限制部318的功能，也能得到同等的效果。此时，在相同信息检测部312中，比较参照候选列表中所保存的编码信息的候选，若存在相同编码信息的候选，则除具有最小的参照候选列表索引的编码信息的候选外全部删除，并将具有最小的参照候选列表索引的编码信息的候选再次登录于参照候选列表，当其登录数达到限制数时处理结束。
图49是表示实施例7中的相同信息检测部312的动作的流程图，是对实施例1的进行图21所示动作的相同信息检测部312追加了实施例7的限制参照候选的功能后的流程图。相对于图21的流程图，新追加了步骤S710至步骤S712的处理步骤，针对这些追加的处理进行说明。
在设定表示参照候选列表的索引的变量n和m后，将表示删除列表中记录的参照候选列表的候选数的计数值s设定为0(S710)。然后，在步骤S702中，判定m是否已被记录在删除列表中，若m尚未被记录在删除列表中(S702的N)，则将m记录到删除列表中，并使计数值s加1更新(S711)。
然后，判定s是否与閾值TH相等(S712)。在此，閾值TH表示候选列表总数NumListCand减去限制数后的数。即，表示在参照候选列表中保留限制数的候选，并向删除列表记录后的候选数的最大数。若s与TH不相等(S712的Y)，则参照候选列表中留有限制数量的候选，故结束相同信息判定的处理，进入步骤S708，删除与删除列表中所记录的索引相应的列表的保存区域的编码信息，以索引0为基准按索引由小到大的候选顺序填充，更新码字后结束。此外，参照候选列表的总数NumListCand被更新为限制数。
此外，也可以将参照候选限制部318设置在相同信息检测部312之前。此时，限制参照候选列表生成部311所生成的参照候选列表中的参照候选、缩减候选数，故在相同信息检测部312中检测相同信息的最大次数被削减，因而具有削减处理量的效果。
图50表示以图11所示的实施例1的动图像编码装置100的融合检测部106为基础，追加实施例7的参照候选限制部318后的融合检测部106的构成。图50所示的各部具有与图11所示的各部相同的功能。与上述图48的构成相比仅参照候选限制部318的位置不同，参照候选限制部318的动作都是同样的。参照候选限制部318从参照候选列表生成部311所生成的参照候选列表中保留所设定的限制数量的索引上位的相邻块，将这之外的删除或判定为选择范围外。
说明了如上这样在相同信息检测部312之前设置参照候选限制部318来限制参照候选的的方法，但不将参照候选限制部318设置在融合检测部106中、使参照候选列表生成部311中具有参照候选限制部318的功能，也能得到同等的效果。此时，在参照候选列表生成部311中，将由编码信息导出部310导出的参照相邻块的编码信息登录于参照候选列表，并对参照候选列表中所登录的参照相邻块的数量计数，当该数量达到限制数时结束处理。
图51是表示实施例7中的参照候选列表生成部311的动作的流程图，是对实施例1的进行图19所示动作的参照候选列表生成部311追加了实施例7的限制参照候选的功能的图。相对于图19的流程图，新追加了步骤S607的处理步骤，针对该追加的处理进行说明。
首先，将变量N和参照候选列表的索引k初始化(S600)。索引k表示参照候选列表的保存区域内所设定的编码信息的候选的保存区域的优先顺位。
然后，判定参照相邻块N的有效标志availableFlagN(S601)，若availableFlagN是1(S601的Y)，则将相邻块N的编码信息登录于参照候选列表(S602)，并更新k(S603)。
接下来，判定k是否已达限制数(S607)。若k不足限制数(S607的N)，参照候选列表中尚未登录有限制数量的编码信息，故进入步骤S604。若k已达限制数(S607的Y)，则参照候选列表内已被登录了限制数量的编码信息，故在将索引的值设定给候选列表总数NumListCand后(S605)，结束处理。
此外，以上说明了对实施例1的融合检测部106追加参照候选限制部318的例子，但也可以在其它实施例中追加参照候选限制部318。另外，也可以对与融合检测部106对应的动图像解码装置200中设置的实施例7的融合判定部206追加参照候选限制部318，不在融合判定部206中设置参照候选限制部318、使融合判定部206的参照候选列表生成部311或相同信息检测部312中具有参照候选限制部318的功能，也能得到同等的效果。但是，需要在编码侧和解码侧使设置参照候选限制部318的位置或具备参照候选限制部318的功能的处理部相同。
接下来，说明在表示动图像编码装置100的构成的图2中设置的实施例7的运动矢量预测部103。图52表示以图23所示的实施例1的动图像编码装置的运动矢量预测部103为基础，追加了实施例7的参照候选限制部328的运动矢量预测部103的构成。图52所示的各部基本上具有与图23所示的各部相同的功能，但编码信息导出部320及参照候选列表生成部321的处理与实施例1不同。针对实施例7中的编码信息导出部320及参照候选列表生成部321、和新追加的参照候选限制部328的功能进行说明。
图53是表示实施例7中的编码信息导出部320的动作的流程图。在实施例1的编码信息导出部320中，根据处理对象预测块的预测模式，在单向预测、L0预测的情况下，仅进行参照列表L0中所登录的编码信息的判定，在单向预测、L1预测的情况下，仅进行参照列表L1中所登录的编码信息的判定，在双预测的情况下，针对L0和L1各列表分别独立地进行参照列表L0,L1中所登录的各编码信息的判定。
在实施例7中，首先，与列表无关地判定相邻块的有效性，之后根据处理对象预测块的预测模式，检测并取得编码信息。通过该处理，无需针对每个列表进行相邻块的有效性判定，能削减处理工序。
首先，将变量N初始化(S900)。变量N被设定图9的(a)所示的位于相同图片上的相邻块B0,A0,A1,B1,C0。在此，假定初始化时设定为N＝B0，变量N的更新按A0,A1,B1,C0顺序进行。
运动估计模式是用于传输差分运动矢量的模式，为扩展预测运动矢量的选择范围，分离左侧和上侧的候选间的距离地进行登录，以使得左侧和上侧的相邻块的候选的运动矢量的差变大，削减差分运动矢量的码量、提高编码效率。该运动估计模式下的优先顺位的决定方法与尽可能将具有相同编码信息的概率高的相邻块作为优先候选来登录的融合模式相比，其目的不同。
然后，取得变量N的相邻块(以下称作相邻块N)的位置及编码信息(S902)。基于所取得的相邻块N的位置，判定相邻块N是否有效(S903)。例如，当处理对象预测块位于图片左端时，不存在处理对象预测块左边的相邻块，故编码信息保存存储器114中没有相应的编码信息，被判定为无效。
若相邻块N无效(S903的N)，则将availableFlagN设定为“0”(S908)。若相邻块N有效(S903的Y)，则判定相邻块N的预测模式是否为画面内编码(Intra)模式(S904)。若相邻块N的预测模式不是Intra模式(S904的Y)、即是Inter模式，则将availableFlagN设定为“1”(S906)。然后，导出运动矢量(S916)。在导出运动矢量后，将相邻块N的编码信息代入refIdxLXN、mvLXN及predFlagLXN进行设定(S907)。
如上这样，在结束针对相邻块N的判定处理后，判定变量N是否为最后的相邻块(S909)。变量N的更新按B0,A0,A1,B1,C0顺序进行，故在此判定N是否为C0。若N是C0(S909的Y)，则针对所有相邻块都进行了判定，结束处理。若N不是C0(S909的N)，则进行N的更新(S910)。按上述相邻块的顺序更新N，针对相邻块N重复步骤S902以后的处理。
在此，针对运动矢量的导出过程，利用图54的流程图进行说明。首先，将保存L0预测的相邻块N的编码信息的变量初始化。在此，变量是相邻块N的运动矢量mvL0N、参照图片编号refIdxL0N及表示参照列表的有效性的标志predFlagL0N，被如下这样初始化(S920)。
mvL0N＝(0,0)
refIdxL0N＝0
predFlagL0N＝0)
然后，判定处理对象预测块的Inter模式是否为单向的L0预测或Bi-pred预测(双预测)(S921)。在Bi-pred预测下，要使用L0预测及L1预测的两个参照列表，故在单向的L0预测或Bi-pred预测时(S921的Y)，进入相邻块N的运动矢量mvL0N的导出(S922)。
若处理对象预测块与相邻块N的参照图片编号及参照列表相同，则将相邻块N的L0预测的运动矢量代入mvL0N进行设定。若处理对象预测块与相邻块N的参照图片编号及参照列表不相同，则实施相邻块N的运动矢量的缩放处理。关于缩放处理，已在实施例1中进行了说明，故在此省略说明。通过实施缩放处理，能导出更接近处理对象预测块的运动矢量，谋求精度的提高。如上这样将被缩放处理后的运动矢量代入mvL0N，将相邻块N的L0预测的编码信息代入refIdxL0N及predFlagL0N进行设定。
在既非单向的L0预测、又非Bi-pred预测时(S921的N)，进入L1预测的运动矢量判定。然后，将保存L1预测的相邻块N的编码信息的变量初始化。在此，变量是相邻块N的运动矢量mvL1N、参照图片编号refIdxL1N及表示参照列表的有效性的标志predFlagL1N，被如下这样初始化(S923)。
mvL1N＝(0,0)
refIdxL1N＝0
predFlagL1N＝0
接下来，判定处理对象预测块的Inter模式是否为单向的L1预测或Bi-pred预测(双预测)(S924)。在Bi-pred预测下，要使用L0预测及L1预测的两个参照列表，故在单向的L1预测或Bi-pred预测时(S924的Y)，进入相邻块N的运动矢量mvL1N的导出(S925)。
若处理对象预测块与相邻块N的参照图片编号及参照列表相同，则将相邻块N的L1预测的运动矢量代入mvL0N进行设定。若处理对象预测块与相邻块N的参照图片编号及参照列表不相同，则实施相邻块N的运动矢量的缩放处理。关于缩放处理，已在实施例1中进行了说明，故在此省略说明。将如上这样被缩放处理后的运动矢量代入mvL1N，将相邻块N的L1预测的编码信息代入refIdxL1N及predFlagL1N进行设定。若既非单向的L1预测也非Bi-pred预测(S924的N)，则结束处理。
如上这样，将存在于与处理对象预测块相同图片上的周围的相邻块作为参照块，导出其编码信息。时间不同的其它图片的相同位置的相邻的块的编码信息的导出与实施例1是同样的，故在此省略说明。
这样得到的相邻块的编码信息被输入到参照候选列表生成部321。作为在参照候选列表生成部321中生成的参照候选列表，根据处理对象预测块的Inter模式，针对L0及L1预测的两个参照列表分别生成参照候选列表。在实施例1中，是针对各参照列表分别生成参照候选列表的，但在实施例7中，与参照列表无关地用1个标志availableFlagN来表示要用于以后的判定的表示相邻块的有效性的标志，故能一次性生成L0,L1两预测的参照候选列表，能削减处理工序。
使用图55的流程图说明参照候选列表生成部321的动作。首先，将变量N和参照候选列表的索引k初始化(S600)。变量N被初始设定为图9的(a)所示的相邻块B0，k被设定为0。变量N表示向参照候选列表保存的优先顺位，按相邻块B0,A0,A1,B1,C0的顺序来进行。索引k表示参照候选列表的保存区域中所设定的编码信息的候选的保存区域编号，与优先顺位相对应。
然后，判定参照相邻块N的有效标志availableFlagN(S601)。若availableFlagN为1(S601的Y)，则将相邻块N的编码信息同时登录到L0及L1预测的两个参照候选列表candListLX[k]中(S602)，并更新k(S603)。在此，后缀X表示0或1。若availableFlagN为0(S601的N)，则不登录到参照候选列表中，进入下一步骤。判定相邻块N是否为最后的参照块(S604)。若是最后的块(S604的Y)，则在将索引的值设定给候选列表总数NumListCand后(S605)，结束处理。若非最后的块(S604的N)，则更新变量N(S606)，重复步骤S601以后的处理。
参照候选限制部328被输入由相同信息检测部322从参照候选列表中删除掉具有相同运动矢量的参照相邻块后的参照候选列表。参照候选限制部328从参照候选列表中保留所设定的限制数量的索引上位的相邻块，将这之外的删除或判定为选择范围外。例如，在表示实施例1的不存在相同运动矢量时的参照候选列表的一例的图28中，若在运动估计模式时限制为3个，则将索引0至2的上位3个相邻块作为参照候选，其余的因不使用而从参照候选对象中排除。
如上这样，作为参照候选，相邻块被限制地登录于参照候选列表，与实施例1相比能削减参照相邻块的总数，故分配的码字长度变短，能改善编码效率。此外，由于缩减限制为参照候选列表的优先顺位高的相邻块，故能抑制编码效率的下降。关于参照候选列表的限制数，例如可以在SPS(SequenceParameterSet)或SliceHeader这样的首部信息中设定限制数。
此外，也可以在编码侧和解码侧作为默认的条件来设定，只要设定得在编码侧和解码侧不发生矛盾即可，不限定方法。此外，也可以按照预测模式分别设定限制数。还可以基于处理对象预测块要参照的已编码或已解码的相邻块的编码信息，适应性地变更参照候选列表的限制数。
以上说明了通过在相同信息检测部322之后设置参照候选限制部328来限制参照候选的方法，但也可以不将参照候选限制部328设置在运动矢量预测部103中，而是使相同信息检测部322中具有参照候选限制部328的功能，这样也能得到同等的效果。此时，在相同信息检测部322中，比较参照候选列表中所保存的编码信息的候选，若存在具有相同运动矢量的候选，则除具有最小的参照候选列表索引的编码信息的候选外全部删除，并将具有最小的参照候选列表索引的编码信息的候选再次登录于参照候选列表，当其登录数达到限制数时结束处理。
图56是表示实施例7中的相同信息检测部322的动作的流程图，相对于实施例1的进行图29所示的动作的相同信息检测部322，追加了实施例7的限制参照候选的功能。相对于图29的流程图，新追加了步骤S1010至步骤S1012的处理步骤，针对这些追加的处理进行说明。
在设定表示参照候选列表索引的变量n和m后，将表示记录于删除列表的参照候选列表的候选数的计数值s设定成0(S1010)。然后，在步骤S1002中，判定m是否已被记录在删除列表中，若m尚未被记录在删除列表中(S1002的N)，则将m记录到删除列表中(S1003)，并使计数值s加1更新(S1011)。
然后判定s是否与閾值TH相等(S1012)。在此，閾值TH表示从候选列表总数NumListCand减去限制数后的数。即，表示在参照候选列表中保留限制数的候选后，删除列表中所记录的候选数的最大数。若s与TH相等(S1012的Y)，则在参照候选列表中保留了限制数量的候选，故结束相同信息判定的处理，进入步骤S1008，将与删除列表中记录的索引相应的列表的保存区域的编码信息删除，并以索引0为基准，按索引由小到大的候选顺序填充后，更新码字并结束。另外，参照候选列表的总数NumListCand被变更成限制数。
另外，也可以将参照候选限制部328设置在相同信息检测部322之前。此时，限制参照候选列表生成部321所生成的参照候选列表中的参照候选，缩减候选数，故在相同信息检测部322中检测相同信息的最大次数被削减，因而具有处理量被削减的效果。
图57表示以图23所示的实施例1的动图像编码装置的运动矢量预测部103为基础、追加了实施例7的参照候选限制部328后的运动矢量预测部103的构成。图57所示的各部具有与图23所示的各部相同的功能。与上述图52的构成相比仅参照候选限制部328的位置不同，参照候选限制部328的动作是同样的。参照候选限制部328从参照候选列表生成部321所生成的参照候选列表中，保留所设定的限制数量的索引上位的相邻块，将这以外的删除或判定为选择范围外。
以上说明了通过在相同信息检测部322之前设置参照候选限制部328来限制参照候选的方法，但不将参照候选限制部328设置在运动矢量预测部103中、而是使参照候选列表生成部321中具备参照候选限制部328的功能，也能得到同等的效果。此时，在参照候选列表生成部321中，将编码信息导出部320所导出的参照相邻块的编码信息登录到参照候选列表中，并对参照候选列表中所登录的参照相邻块的数量进行计数，当其数量达到限制数时结束处理。参照候选列表生成部321除了能根据处理对象预测块的预测模式同时生成L0及L1预测的参照候选列表外，进行与实施例7中的表示参照候选列表生成部311的动作的图51的流程图相同的动作，故在此省略说明。
(实施例8)
在实施例8中，与实施例2、5不同，定义参照相邻块的块群，并从中选择K个代表的相邻块。利用图31的(a)的相邻块的配置进行说明。与实施例4同样，从图31的(a)所配置的6个相邻块A0,A1,B0,B1,C0,T中，将位于与处理对象预测块同一图片上的相邻块A0,A1,B0,B1,C0作为1个块群，从该块群中选择K个代表的相邻块。
将所选择的同一图片上的代表的K个相邻块、和时间不同的其它图片的相同位置的相邻的块T，共K+1个相邻块的编码信息作为参照候选登录于参照候选列表。在实施例4中，是在编码信息导出部310、编码信息导出部320中选择K个(2个)代表的相邻块的，与此不同，在实施例8中，同实施例1一样，编码信息导出部310及编码信息导出部320选择所有相邻块，并在参照候选列表生成时之后的处理中，选择K个(2个)代表的相邻块，在这一点上是不同的。
实施例8等价于将对选为参照候选的相邻块的数量施以限制的实施例7适用于与处理对象预测块相同图片上的块群的情况，但在仅将时间不同的其它图片的相同位置的相邻的块另行登录在参照候选列表的最后这一点上不同。相同图片上的相邻块彼此具有相同编码信息的可能性较高，而时间不同的其它图片的相同位置的相邻的块具有与之不同的编码信息的可能性较高，故可以说另行作为候选来登录的效果较好。例如，即使相同图片上的相邻块都为帧内，时间不同的其它图片的相同位置的相邻的块具有帧间预测的编码信息的可能性也较高。但是，时间不同的其它图片的相同位置的相邻的块与处于与处理对象预测块同一图片上的相邻块相比，编码信息与处理对象预测块相等或接近的可能性较低，故降低了优先顺位。
因此，将优先顺位降低得比从相同图片上的块群选择的相邻块还要低，登录在参照候选列表的下位的位置。以下，说明实施例8具有与实施例7中说明过的动图像编码装置100及动图像解码装置200同样的构成的情况。但未设置实施例7的参照候选限制部318及328，而是将参照候选限制部的功能设置在参照候选列表生成部311、321、或相同信息检测部312、322中，并适用于与处理对象预测块同一图片上的相邻块的块群。
在动图像编码装置100中设置的融合检测部106、对应的动图像解码装置200中设置的融合判定部206的参照候选列表生成部311、和动图像编码装置100中设置的运动矢量预测部103、对应的动图像解码装置200中设置的运动矢量导出部204的参照候选列表生成部321中，将与处理对象预测块同一图片上的相邻块A0,A1,B0,B1,C0定义为相同图片上的块群。按代表相同图片上的块群的相邻块、T的顺序设定优先顺位，从优先顺位高者起向参照候选列表登录参照相邻块的编码信息的候选，由此削减参照候选列表的索引的码量。
首先，说明表示动图像编码装置100的构成的图2中所设置的实施例8的融合检测部106。融合检测部106具有与实施例1中说明过的图11相同的构成，但参照候选列表生成部311的处理与实施例1不同。针对实施例8中的融合检测部106的参照候选列表生成部311的动作进行说明。
图58是表示实施例8中的参照候选列表生成部311的动作的流程图。在实施例8中，在参照候选列表生成前，设定相同图片上的块群的、要登录于参照相邻块的参照候选列表的数量K。在此，K设定为2。此外，K不超过相同图片上的块群中的相邻块总数。
首先，将变量N和参照候选列表的索引k初始化(S1300)。变量N被初始设定为与预测模式对应的优先顺位最高的相邻块。融合模式下的优先顺位定为A1,B1,B0,A0,C0，故被设定为A1，N的更新按该顺序进行。k被设定为0。索引k表示参照候选列表的保存区域所被设定的编码信息的候选的保存区域的优先顺位。
首先，判定相邻块N的有效标志availableFlagN(S1301)。若availableFlagN为0(S1301的N)，则不登录到参照候选列表中，进入步骤S1305。若availableFlagN为1(S1301的Y)，则将相邻块N的编码信息登录到参照候选列表中(S1302)，并更新k(S1303)。
在k更新后，进入k与K的比较(S1304)。若k小于K(S1304的Y)，即登录于参照候选列表的相邻块的数量未达到设定数K，则进入步骤S1305。若k在K以上(S1304的N)，则登录于参照候选列表的相邻块的数量已达设定数K，故从是否登录于参照候选列表的判定中跳出，进入步骤S1307。
然后，判定相邻块N是否为最后的参照块(S1305)。若相邻块N不是最后的块(S1305的N)，则更新变量N(S1306)，重复步骤S1301以后的处理。若相邻块N是最后的块(S1305的Y)，则进入步骤S1307。
在相同图片上的块群的登录判定结束后，判定时间不同的其它图片的相同位置的相邻的块T的有效标志availableFlagT(S1307)。若availableFlagT为1(S1307的Y)，则将相邻块T的编码信息登录到参照候选列表中(S1308)，并更新k(S1309)。若availableFlagT为0(S1307的N)，则不向参照候选列表登录，进入步骤S1310。在将参照候选列表中所登录的数量设定给候选列表总数NumListCand后(S1310)，结束处理。
通过以上处理，被登录到参照候选列表中。在此，登录于参照候选列表的最大数用K+1表示。若参照相邻块仅1个有效，则最大码字长度成为0，故不需要码字，该1个被判定为有效的相邻块的编码信息的候选被唯一决定为参照目标。
针对与上述动图像编码装置100中设置的融合检测部106对应的、动图像解码装置200中设置的实施例8的融合判定部206进行说明。融合判定部206具有与实施例1中说明的图22相同的构成，但参照候选列表生成部311的处理与实施例1不同。这以外的编码信息导出部310、相同信息检测部312、参照候选列表保存存储器314及选择部315具有与实施例1相同的功能。
此外，参照候选列表生成部311具有与上述实施例8中的融合检测部106的参照候选列表生成部311相同的功能，故在至融合判定部206的相同信息检测部312的处理中，生成与实施例8的融合检测部106相同的参照候选列表。针对从所生成的参照候选列表取得融合模式下的参照相邻块的编码信息的选择部315进行说明。选择部315从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的用于确定参照相邻块的索引所指定的参照候选列表的相邻块。将所选择的编码信息提供给运动补偿预测部207，并提供给编码信息保存存储器210。
接下来，说明表示动图像编码装置100的构成的图2中设置的实施例8的运动矢量预测部103。运动矢量预测部103具有与实施例1中说明过的图23相同的构成，但参照候选列表生成部321的处理与实施例1不同。针对实施例8中的参照候选列表生成部321的动作进行说明。
参照候选列表生成部321同上述的融合检测部106的参照候选列表生成部311一样，将位于与处理对象预测块同一图片上的相邻块A0,A1,B0,B1,C0作为1个块群，从该块群中选择K个代表的相邻块。与融合检测部106的参照候选列表生成部311相比，在同时生成L0及L1预测各自的参照候选列表这一点上不同，但处理的流程没有太大差异，故在此省略说明。另外，将运动估计模式下的优先顺位定为B0,A0,A1,B1,C0。
关于与上述动图像编码装置100中设置的运动矢量预测部103对应的、动图像解码装置200中设置的实施例8的运动矢量导出部204，运动矢量导出部204的参照候选列表生成部321具有与对应的运动矢量预测部103的参照候选列表生成部321相同的功能，生成与运动矢量预测部103相同的参照候选列表，故省略此处的说明。
通过以上处理，实施例8中生成的候选列表中，参照相邻块全都有效时，与预测模式不同，如图59所示。这是融合模式、运动估计模式下都使相同图片上的块群的参照相邻块的个数为2时的例子，各预测模式的优先顺位高的有效相邻块被登录到参照候选列表中。
在实施例8中，在融合模式时将优先顺位定为A1,B1,B0,A0,C0的顺序，在运动估计模式时将优先顺位定为B0,A0,A1,B1,C0的顺序，但未必一定是该顺序。但在融合模式时，将被认为编码信息与处理对象预测块的边相等的可能性最高的、与处理对象预测块的边相接的相邻块A1及B1优先登录到参照候选列表的前面，由此能削减融合索引的码量、提高编码效率。
运动估计模式是用于传输差分运动矢量的模式，为扩展预测运动矢量的选择范围，使左侧和上侧的候选间的距离远离地进行登录，以使得左侧和上侧的相邻块的候选的运动矢量的差变大，由此，能削减差分运动矢量的码量、提高编码效率。该运动估计模式下的优先顺位的决定方法与尽可能将成为相同编码信息的概率较高的相邻块作为优先候选而登录的融合模式相比，目的不同。此外，还能如在实施例3中说明的那样，在融合模式时使用实施例8、在运动估计模式时使用实施例2或其它实施例等，根据预测模式而改变组合。
(实施例9)
在实施例9中，同实施例1一样，针对与处理对象预测块处于同一图片上的相邻块和时间不同的其它图片的相同位置的相邻的块，若相邻块有效则登录到参照候选列表中，并从参照候选列表中选择最佳的相邻块的编码信息，将表示相邻块的参照候选列表的索引编码、传送。
利用图9的(a)的相邻块的配置进行说明。在实施例1中，在生成参照候选列表时，针对相邻块的位置建立预先决定的优先顺位的对应，按优先顺位的顺序判定相邻块是否满足预定的条件，并在满足条件时登录于参照候选列表的前面，生成参照候选列表。即，与相邻块的位置建立了对应的优先顺位直接被反映于参照候选列表的索引，优先顺位越高，越被保存到小索引的参照候选列表的保存区域。
一般，处理对象预测块周围的相邻块与处理对象预测块相接的区域越大，其编码信息被认为与处理对象预测块相等的可能性越高，故将这样的相邻块优先登录于参照候选列表的前面，由此削减索引的码量、提高编码效率。
基于以上这些点，在实施例9中，在运动估计模式下，彼此独立地定义生成运动矢量预测的参照候选列表时判定相邻块的有效性的顺序、和分配给参照相邻块的码字的顺序。为扩展预测运动矢量的选择范围，将在生成参照候选列表时判定相邻块的有效性的顺序定为使相邻块间的距离远离的顺位，以使得左侧和上侧的相邻块的候选的运动矢量的差变大。
在此，将生成运动矢量预测的参照候选列表时判定相邻块的有效性的顺序定为B0,A0,A1,B1,C0,T。另一方面，关于分配给参照相邻块的码字，使与处理对象预测块相接的区域较大的相邻块优先，按A1,B1,B0,A0,C0,T顺序分配少的码字。
针对表示动图像编码装置100的构成的图2中设置的实施例9的运动矢量预测部103进行说明。实施例9的运动矢量预测部103具有与实施例1中说明过的图23相同的构成，但参照候选列表生成部321的动作不同。针对实施例9中的参照候选列表生成部321的动作进行说明。图60是表示实施例9的运动估计模式下的参照候选列表生成部321的动作的流程图，利用该图进行说明。
参照候选列表生成部321基本上实施与运动矢量预测部103中的参照候选列表生成部321同样的动作。在运动估计模式下，需要根据参照列表生成L0预测和L1预测各自的参照候选列表，故运动估计模式下的参照候选列表的生成是针对L0预测和L1预测实施2次的。因此，在判定相邻块的有效性的步骤S601中，对表示相邻块的有效性的标志availableFlagLXN(X为0或1，N记述表示相邻块的记号)附加表示参照列表的LX后缀，但判定动作与融合模式时是同样的。
在图60中，相对于表示运动矢量预测部103中的参照候选列表生成部321的动作的图19的流程图，新追加了变换表的生成、更新(S608)，包括该判定部在内，说明参照候选列表生成部321的动作。在此仅说明一方的参照列表，关于另一方的参照列表，判定动作是同样的，故省略说明。
首先，将变量N和参照候选列表的索引k初始化(S600)。变量N被初始设定图9的(a)所示的相邻块B0，k被设定为0。索引k表示在参照候选列表保存存储器324中设置的参照候选列表的保存区域所被设定的编码信息的候选的保存区域的优先顺位。该保存区域呈排列构造，用candList来表示。索引的数字从0开始，在参照候选列表candList的保存区域内保存参照相邻块的编码信息的候选。在以后的处理中，参照候选列表candList中所登录的索引i的编码信息用candList[i]来表示。
然后，判定参照相邻块N的有效标志availableFlagLXN(S601)。在此，X为0或1。若availableFlagLXN为0(S601的N)，则不向参照候选列表登录，进入下一步骤。判定相邻块N是否为最后的参照块(S604)。若为最后的块(S604的Y)，则在将索引k的值设定给候选列表总数NumListCand后(S605)，结束处理。若非最后的块(S604的N)，则更新变量N(S606)，重复步骤S601以后的处理。在此，更新变量N的相邻块顺序成为向参照候选列表保存的优先顺位，在实施例9中，假定设定顺序(B0,A0,A1,B1,C0,T)。
另一方面，若availableFlagLXN为1(S601的Y)，则将相邻块N的编码信息登录于参照候选列表candList[k](S602)，实施变换表的生成和更新(S608)，并更新k(S603)。
在此，说明变换表的生成和更新(S608)的详细情况。在变换表的生成和更新中，生成使在运动矢量预测的参照候选列表生成时判定相邻块的有效性的顺序、与分配给参照相邻块的码字的顺序相对应的变换表。变换表是设于参照候选列表保存存储器324的呈排列构造的保存区域，保存表示与参照候选列表的索引对应的码字的变换表索引。
利用图61进行说明。变量N和参照候选列表的索引k被输入，变换表的生成和更新开始。首先，将变量M和变换表的索引j初始化(S1400)。变量M被初始设定为图9的(a)所示的相邻块A1，j被设定为0。变量M被按A1,B1,B0,A0,C0,T的顺序更新。然后，进行M与N的相同判定(S1401)。若M与N不同(S1401的N)，则不向变换表登录，更新j(S1403)。
接下来，判定变量M是否为最后的相邻块(S1404)。最后的相邻块是T，若M为T(S1404的Y)，则结束处理。若非最后的块(S1404的N)，则更新变量M(S1405)，重复步骤S1401以后的处理。
若M为N(S1401的Y)，则将参照候选列表的索引k登录到变换表起始起的第j个保存区域(S1402)。索引k登录后结束处理，返回图60的k的更新(S603)。通过以上处理，参照候选列表的索引k被登录到变换表中，若参照相邻块全都有效，则与图62所示的变换表的索引所表示的码字建立对应。
使用该变换表，所登录的参照候选列表若参照相邻块全部有效，则按图63所示的顺序生成参照候选列表、被分配码字。若参照相邻块仅1个有效，则不需要码字，该1个被判定有效的相邻块的编码信息的候选被唯一决定为参照目标。
在此，对参照候选列表生成部321刚生成的参照候选列表的索引进行了说明，但本来是优选在由相同信息检测部322从参照候选列表中删除掉具有相同编码信息的参照候选的相邻块后，使参照候选列表的索引与变换表的索引建立对应。与被相同信息检测部322删除后的参照候选的相邻块的参照候选列表索引相应的变换表的保存区域也被删除，向变换表的起始方向填充。
例如，在图62中，在与参照候选列表的索引1相应的相邻块被删除的情况下，与参照候选列表的索引1相应的变换表的索引3的位置被删除。变换表的索引4和5分别成为3和4，与之分别对应的码字也被更新为1110和1111。
如上这样，将所生成的参照候选列表的运动矢量作为预测运动矢量，在差分运动矢量导出部326中根据运动矢量估计部102估计出的运动矢量和预测运动矢量导出差分运动矢量，并将导出的差分运动矢量提供给输出部323。输出部323将所生成的参照候选列表中的索引和差分运动矢量输出。关于参照候选列表，将参照候选列表作为MVP列表输出，将列表中的索引作为MVP索引而输出。
与上述动图像编码装置100中设置的运动矢量预测部103对应的、动图像解码装置200中设置的运动矢量导出部204中也具有实现与运动矢量预测部103同样功能的实施例9的参照候选列表生成部321或相同信息检测部322，故生成与运动矢量预测部103相同的参照候选列表。所生成的参照候选列表输出给选择部325。
选择部325从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的确定参照相邻块的索引所指定的参照候选列表的相邻块。从所选择的列表的相邻块的编码信息中将运动矢量作为预测运动矢量输出，由差分运动矢量导出部326将预测运动矢量和第1编码比特串解码部202解码出的差分运动矢量相加而导出运动矢量，提供给运动补偿预测部207，并将所选择的参照候选列表的相邻块的编码信息提供给编码信息保存存储器210。
(实施例10)
实施例10是在运动估计模式下、针对生成参照候选列表时判定相邻块的有效性的顺序，按最初的相邻块是否有效而变更其后的相邻块的判定顺序的实施例。利用图9的(a)的相邻块的配置进行说明。将实施例9的生成参照候选列表时判定相邻块的有效性的顺序B0,A0,A1,C0,B1,T作为一例来进行说明。
最初判定的相邻块是B0，若B0是有效的，则其后的相邻块的顺序不被变更。若B0无效，则其后的相邻块的顺序被变更成A0,B1,C0,A1顺序。若B0无效，则A0成为最初判定的相邻块，其次的相邻块为A1。A1处于与A0接近的位置，故成为接近A0的值的运动矢量的可能性较高，A1被选为预测运动矢量的可能性变低。
运动估计模式是用于传输差分运动矢量的模式，若参照相邻块具有的块为接近的值，则预测运动矢量的选择范围变窄，将不能检测出适当的预测运动矢量。因此，当B0无效时，在A0之后进行判定的相邻块为扩展预测运动矢量的选择范围而选择与A0距离较远的相邻块B1，以使得与A0的运动矢量的差变大。这样变更判定的顺序，以使得成为预测运动矢量的候选的相邻块的距离尽可能远离。
(实施例11)
在实施例11中，表示了在运动估计模式时，将与处理对象预测块处于同一图片上的相邻块定义为相同图片上的块群，从中选择代表块群的2个相邻块的一种方法。利用图9的(a)的相邻块的配置进行说明。将生成参照候选列表时判定相邻块的有效性的顺序定为B0,B1,C0,A1,A0。
最初，按排列的从左至右的顺序B0,B1,C0,A1,A0(顺方向)判定相邻块的有效性，将最初被判定有效的相邻块首先作为第1个代表块群的相邻块而登录于参照候选列表。然后，按排列顺序的逆顺序、即从右向左的顺序A0,A1,C0,B1,B0(逆方向)判定相邻块的有效性，作为另一个代表块群的相邻块登录于参照候选列表。
判定相邻块的有效性的顺序在从处理对象预测块的右上角部至左下角部时，使有效性的判定顺序反转，加大候选间距离地进行登录，以使得相邻块的候选的运动矢量的差变大，由此扩展预测运动矢量的选择的范围，削减差分运动矢量的码量、提高编码效率。
此外，在按顺方向、逆方向判定相邻块的有效性时，在顺方向时可以省略A0的判定、在逆方向时可以省略B0的判定，即省略各相当于最后顺序的相邻块的判定。这是因为，在顺方向的判定中选择最后的A0时，就是逆方向的最初判定中成为有效的相邻块，故作为在顺方向的判定中选择的相邻块并不恰当。
此外，也可以进行限制，使得在各方向的判定中仅判定至C0的3个相邻块。例如，在顺方向的判定中A0被选择、在逆方向的判定中A1被选择的情况下，成为具有相同运动矢量的相邻块的可能性较高，运动矢量预测的选择范围变窄，将无法导出效果好的预测运动矢量。为避免选择这样的接近的相邻块，至处于中间位置的C0为止进行有效性判定。通过以上这样的有效性判定的限制，要判定的相邻块数变少，故可削减处理工序。
(实施例12)
实施例12是在运动估计模式时，针对实施例9，将与处理对象预测块同一图片上的相邻块定义为相同图片上的块群，从中选择代表块群的相邻块。在实施例12中，同实施例9一样，分别定义生成运动矢量预测的参照候选列表时判定相邻块的有效性的顺序、和分配给参照相邻块的码字的顺序。
在生成参照候选列表时，为扩展预测运动矢量的选择范围，采用使相邻块间的距离相远离的顺位，以使得左侧和上侧的相邻块的候选的运动矢量的差变大，在码字分配中，对被认为与处理对象预测块的编码信息相等可能性最高的、与处理对象预测块相接的区域较大的相邻块优先分配较小的码字。
在此，将生成运动矢量预测的参照候选列表时判定相邻块的有效性的顺序定为B0,A0,A1,C0,B1,T。另一方面，关于对参照相邻块分配的码字，使与处理对象预测块相接的区域大的相邻块优先，按A1,B1,B0,A0,C0,T的顺序分配少的码字。
首先，说明表示动图像编码装置100的构成的图2中设置的成为实施例12的特征的运动矢量预测部103。运动矢量预测部103具有图64所示的构成，相对于实施例9中说明的图23，在参照候选列表生成部321后面追加了参照候选控制部329，在这一点上不同。
此外，在实施例12中，要选择代表与处理对象预测块相同图片上的块群的相邻块，故参照候选列表生成部321进行与实施例8中说明过的从与处理对象预测块相同图片上的块群进行选择的方法同样的动作。在此，从相同图片上的块群中选择K个代表的相邻块。将所选择的代表相同图片上的块群的K个相邻块、和时间不同的其它图片的相同位置的相邻的块T，共K+1个相邻块的编码信息作为参照候选登录于参照候选列表。
在此，K定为2，在参照候选列表生成部321中，从参照候选列表的起始起，代表相同图片上的块群的2个相邻块、和时间不同的其它图片的相同位置的相邻的块、共计3个的编码信息被登录于参照候选列表，以下基于此进行说明。
图65是表示参照候选控制部329的动作的流程图。被输入参照候选列表生成部321中生成的参照候选列表和被登录于参照候选列表的参照候选数NumListCand。首先，进行NumListCand的判定(S1500)。若NumListCand不足2(S1500的Y)、即参照候选列表中所登录的参照候选为1，则该1个候选被唯一决定为参照目标，故结束处理。
若NumListCand比2大(S1500的N)，则将具有从参照候选列表的起始起第2个登录的编码信息CandListLX[1]的相邻块定为N。在此，参照候选列表的排列CandListLX是以0为参照候选列表的起始索引开始的，故CandListLX[1]成为保存从参照候选列表的起始起登录的第2个编码信息的保存区域，后缀X为表示参照列表的参照列表的0(L0预测)或1(L1预测)。
接下来，判定N是否为相邻块A1或B1(S1502)。若N既非A1也非B1(S1502的N)，则结束处理。若N为A1或B1(S1502的Y)，则实施参照候选列表中的编码信息调换(S1503)。进行参照候选列表的起始的编码信息CandListLX[0]和第2个编码信息CandListLX[1]的调换。
参照候选列表的生成的顺序是B0,A0,A1,C0,B1，故在A1或B1位于参照候选列表的第2个时，起始的相邻块的码字长度会比A1或B1更长。这是因为，用于确定相邻块的索引的码字分配顺序被定义为A1,B1,B0,A0,C0,T，故码字长度为A1<B1<B0<A0<C0<T。因此，将A1或B1调换至参照候选列表的起始，提高码字长度短的索引的相邻块在参照候选列表中的优先度，削减索引的码量。
此外，作为调换前的参照候选列表中的顺序，在为A1,B1时也实施调换，码字长的B1成为参照候选列表的起始，但与其它相邻块成为参照候选列表的起始时相比，能抑制编码效率的损失。如上这样实施参照候选列表中的调换，能向参照候选列表的上位分配以较少码字确定相邻块的相邻块，能提高编码效率。
如上这样，在相同信息检测部322后，将所生成的参照候选列表的运动矢量作为预测运动矢量，差分运动矢量导出部326根据运动矢量估计部102估计出的运动矢量和预测运动矢量导出差分运动矢量，将导出的差分运动矢量提供给输出部323。输出部323输出所生成的参照候选列表中的索引和差分运动矢量。关于参照候选列表，将参照候选列表作为MVP列表输出，将列表中的索引作为MVP索引输出。
在与上述动图像编码装置100中设置的运动矢量预测部103对应的、动图像解码装置200中设置的运动矢量导出部204中，也设置具有与运动矢量预测部103同样功能的实施例12的参照候选控制部329，故生成与运动矢量预测部103相同的参照候选列表。所生成的参照候选列表被输出到选择部325。选择部325从所生成的参照候选列表中选择由第1编码比特串解码部202解码出的确定参照相邻块的索引所指定的参照候选列表的相邻块。从所选择的列表的相邻块的编码信息中，将运动矢量作为预测运动矢量而输出，由差分运动矢量导出部326将预测运动矢量和第1编码比特串解码部202解码出的差分运动矢量相加，导出运动矢量，提供给运动补偿预测部207，并将所选择的参照候选列表的相邻块的编码信息提供给编码信息保存存储器210。
如以上说明，在本发明的实施例中，在运动矢量的预测方法和融合方法中统合各自要参照的周边的相邻块的配置，由此削减保存相邻块的信息的临时存储器，从共用化了的参照相邻块中针对各预测方法分别决定候选的优先顺位，由此能削减图像间预测时的运动矢量的预测方法和融合方法的编码效率的冗余度，并能提高解码时的处理效率。此外，在进行运动补偿前，根据要参照的周围相邻块的预测模式和位置信息等，判定参照该块的有效性，由此能削减运动补偿的处理次数。
以下更具体地进行说明。为削减所能想到的最大存储器访问次数、存储器量、处理量(处理时间)，如图9的(a)所示那样，将左侧相邻的块、上侧相邻的块分别限定为1个，由此来缩减候选。通过像这样预先限定候选，具有几乎不使编码效率下降地削减存储器访问次数、存储器量、处理量(处理时间)的效果。
此外，除能削减存储器访问次数、存储器量、处理量(处理时间)外，还能削减融合索引、MVP索引的码量，故还具有削减码量的效果。此外，通过在融合模式和运动估计模式下使候选的位置共用化，来谋求进一步的削减存储器访问次数、存储器量、处理量(处理时间)。进而，按与融合模式及运动估计模式各自的特性相应的配置向候选列表中保存候选，由此，在融合模式下削减融合索引的码量，在运动估计模式下削减MVP索引、及差分运动矢量的码量，从而改善编码效率。
此外，本发明并非限定于以上的实施例，例如还包括用于使计算机实现上述动图像编码/解码装置的功能的动图像编码/解码程序。该动图像编码/解码程序可以被从记录媒体读取出来装到计算机中，也可以介由通信网络传输而装到计算机中。
以上所述的实施例的动图像编码装置所输出的动图像的编码比特流具有规定的数据格式，以使得能根据实施例中所用的编码方法而解码，与动图像编码装置对应的动图像解码装置能解码该规定的数据格式的编码比特流。
为在动图像编码装置与动图像解码装置间传输编码比特流而采用有线或无线的网络时，可以将编码比特流变换成适于通信路径的传输方式的数据形式。此时，设置将动图像编码装置输出的编码比特流变换成适于通信路径的传输方式的数据形式的编码数据而发送于网络的动图像发送装置、和从网络接收编码数据并复原成编码比特流提供给动图像解码装置的动图像接收装置。
动图像发送装置包括对动图像编码装置输出的编码比特流进行缓存的存储器、将编码比特流打包的包处理部、介由网络发送被打包后的编码数据的发送部。动图像接收装置包括介由网络接收被打包的编码数据的接收部、对接收到的编码数据进行缓存的存储器、对编码数据进行包处理而生成编码流并提供给动图像解码装置的包处理部。
以上基于几个实施例说明了本发明。本领域技术人员当理解，这些实施例仅为例示，其各构成要素和各处理过程的组合可以有各种变形例，且这样的变形例也包含在本发明的范围内。
〔项目1〕一种将动图像的各图片按分割后的块单位、利用运动矢量进行编码的图像编码装置，其特征在于，包括：
取得部，取得编码对象块的多个候选参照块的编码信息，
第1模式检测部，在利用通过索引而确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引，
第2模式检测部，在利用预测运动矢量与上述编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量，其中所述预测运动矢量是基于由索引确定的参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量，
预测方法决定部，基于上述第1模式检测部及上述第2模式检测部的输出结果，决定各上述编码对象块的参照块和图像间预测模式，以及
码串生成部，将上述预测方法决定部所决定的参照块的索引、表示上述预测方法决定部所决定的图像间预测模式的预测模式信息、以及与被决定第2图像间预测模式时的参照块对应的上述差分运动矢量编码；
其中，上述第1模式检测部及上述第2模式检测部使用共用的多个块作为上述多个候选参照块。
〔项目2〕如权利要求1所述的图像编码装置，其特征在于，
越是上述第1预定顺位高的候选参照块的索引，上述第1模式检测部越分配较少的码字。
〔项目3〕如权利要求1或2所述的图像编码装置，其特征在于，
用于在上述第1模式检测部所生成的上述第1候选列表中排列上述多个候选参照块的上述第1预定顺位、与用于在上述第2模式检测部所生成的上述第2候选列表中排列上述多个候选参照块的上述第2预定顺位是不同的。
〔项目4〕如权利要求1至3的任一项所述的图像编码装置，其特征在于，
上述第1模式检测部限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第1候选列表；
上述第2模式检测部限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第2候选列表。
〔项目5〕如权利要求1至4的任一项所述的图像编码装置，其特征在于，
在上述多个候选参照块中，包括与上述编码对象块空间上相邻的已被编码的块、和与包含上述编码对象块的图片时间上不同的图片中所包含的块；
上述第1模式检测部及上述第2模式检测部在上述多个候选参照块中、将上述时间上不同的图片中所包含的块的上述第1预定顺位及第2预定顺位时的顺位、设定得比上述空间上相邻的块的上述第1预定顺位及第2预定顺位时的顺位低。
〔项目6〕如权利要求5所述的图像编码装置，其特征在于，
上述第1模式检测部在针对上述空间上相邻的已被编码的多个块、基于上述第1预定顺位生成上述第1候选列表时，对将上述空间上相邻的多个块排列到上述第1候选列表中的候选数设置预定的上限值，利用按上述第1预定顺位从最高位起至上述预定的上限值量的顺位为止的参照块，来生成上述第1候选列表。
〔项目7〕如权利要求5或6所述的图像编码装置，其特征在于，
上述第2模式检测部将上述空间上相邻的已被编码的多个块中的、被配置于上述编码对象块左侧的块作为左块群，将被配置于上述编码对象块上侧的块作为上块群，从上述块群中导出代表各自上述块群的候选，并按照上述左块群的候选、上述上块群的候选的顺序设定上述第2预定顺位，生成上述第2候选列表。
〔项目8〕如权利要求1至7的任一项所述的图像编码装置，其特征在于，
上述第1模式检测部设定要排列于上述第1候选列表的候选参照块的最大个数，并基于上述候选参照块的最大个数来生成上述第1候选列表；
上述码串生成部将表示上述候选参照块的最大个数的信息编码而包含在码串中。
〔项目9〕一种将动图像的各图片按分割后的块单位、利用运动矢量进行编码的图像编码方法，其特征在于，包括：
第1步骤，取得编码对象块的多个候选参照块的编码信息，
第2步骤，在利用通过索引而确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引，
第3步骤，在利用预测运动矢量与上述编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量，其中所述预测运动矢量是基于由索引确定的参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量，
第4步骤，基于上述第2步骤及上述第3步骤所输出的输出结果，决定各上述编码对象块的参照块和图像间预测模式，以及
第5步骤，将由上述第4步骤决定的参照块的索引、表示上述第4步骤所决定的图像间预测模式的预测模式信息、以及与被决定第2图像间预测模式时的参照块对应的上述差分运动矢量编码；
其中，上述第2步骤及上述第3步骤使用共用的多个块作为上述多个候选参照块。
〔项目10〕一种将动图像的各图片按分割后的块单位、利用运动矢量进行编码的图像编码程序，其特征在于，使计算机执行：
第1处理，取得编码对象块的多个候选参照块的编码信息，
第2处理，在利用通过索引而确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引，
第3处理，在利用预测运动矢量与上述编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量，其中所述预测运动矢量是基于由索引确定的参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量，
第4处理，基于上述第2处理及上述第3处理所输出的输出结果，决定各上述编码对象块的参照块和图像间预测模式，以及
第5处理，将由上述第4处理决定的参照块的索引、表示上述第4处理所决定的图像间预测模式的预测模式信息、以及与被决定第2图像间预测模式时的参照块对应的上述差分运动矢量编码；
其中，上述第2处理及上述第3处理使用共用的多个块作为上述多个候选参照块。
〔项目11〕一种对将动图像的各图片按分割后的块单位、利用运动矢量而编码后的码串进行解码的图像解码装置，其特征在于，包括：
码串解码部，从上述码串中，针对各解码对象块、解码出表示图像间预测模式的预测模式信息和参照块的索引，或者表示图像间预测模式的预测模式信息、参照块的索引、以及与参照块对应的差分运动矢量，
取得部，取得上述解码对象块的多个候选参照块的编码信息，
第1模式输出部，在由上述码串解码部解码出的预测模式信息所表示的图像间预测模式为利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式时，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并基于上述码串解码部所解码出的参照块的索引，从上述第1候选列表中确定上述解码对象块的参照块，输出该编码信息，
第2模式输出部，在由上述码串解码部解码出的预测模式信息所表示的图像间预测模式为利用与由索引确定的参照块对应的差分运动矢量的第2图像间预测模式时，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并基于上述码串解码部解码出的参照块的索引，从上述第2候选列表中确定上述解码对象块的参照块，基于预测运动矢量和上述码串解码部解码出的差分运动矢量导出上述解码对象块的运动矢量并输出，其中所述预测运动矢量是基于该参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量，
运动补偿预测部，基于从上述第1模式输出部或上述第2模式输出部输出的信息，利用由上述码串解码部解码出的预测模式信息所表示的图像间预测模式来进行运动补偿，生成预测图像；
其中，上述第1模式输出部及上述第2模式输出部使用共用的多个块作为上述多个候选参照块。
〔项目12〕如权利要求11所述的图像解码装置，其特征在于，
越是上述第1预定顺位高的候选参照块的索引，上述第1模式输出部越分配较少的码字。
〔项目13〕如权利要求11或12所述的图像解码装置，其特征在于，
用于在上述第1模式输出部所生成的上述第1候选列表中排列候选参照块的上述第1预定顺位、与用于在上述第2模式输出部所生成的上述第2候选列表中排列候选参照块的上述第2预定顺位是不同的。
〔项目14〕如权利要求11至13的任一项所述的图像解码装置，其特征在于，
上述第1模式输出部限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第1候选列表；
上述第2模式输出部限制上述多个候选参照块的数量地生成上述多个候选参照块的上述第2候选列表。
〔项目15〕如权利要求11至14的任一项所述的图像解码装置，其特征在于，
在上述多个候选参照块中，包括与上述解码对象块空间上相邻的已被解码的块、和与包含上述解码对象块的图片时间上不同的图片中所包含的块；
上述第1模式输出部及上述第2模式输出部在上述多个候选参照块中将上述时间上不同的图片所包含的块的上述第1预定顺位及第2预定顺位时的顺位、设定得比上述空间上相邻的块的上述第1预定顺位及第2预定顺位时的顺位低。
〔项目16〕如权利要求15所述的图像解码装置，其特征在于，
上述第1模式输出部在针对上述空间上相邻的已被解码的多个块、基于上述第1预定顺位来生成上述第1候选列表时，对将上述空间上相邻的多个块排列到上述第1候选列表中的候选数设置预定的上限值，并利用按上述第1预定顺位从最高位起至上述预定的上限值量的顺位的参照块，生成上述第1候选列表。
〔项目17〕如权利要求15或16所述的图像解码装置，其特征在于，
上述第2模式输出部将上述空间上相邻的已被解码的多个块中的、被配置在上述解码对象块左侧的块作为左块群、将被配置在上述解码对象块上侧的块作为上块群，从上述块群中导出分别代表各自上述块群的候选，按上述左块群的候选、上述上块群的候选的顺序设定上述第2预定顺位，生成上述第2候选列表。
〔项目18〕如权利要求11至17的任一项所述的图像解码装置，其特征在于，
上述第1模式输出部基于由上述码串解码部从上述码串中解码出的上述第1候选列表内所排列的候选参照块的最大个数，来生成上述第1候选列表。
〔项目19〕一种对将动图像的各图片按分割后的块单位、利用运动矢量而编码后的码串进行解码的图像解码方法，其特征在于，包括：
第1步骤，从上述码串中，针对各解码对象块、解码出表示图像间预测模式的预测模式信息和参照块的索引，或者表示图像间预测模式的预测模式信息、参照块的索引、以及与参照块对应的差分运动矢量，
第2步骤，取得上述解码对象块的多个候选参照块的编码信息，
第3步骤，在由上述第1步骤解码出的预测模式信息所表示的图像间预测模式为利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式时，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并基于上述码串解码部所解码出的参照块的索引，从上述第1候选列表中确定上述解码对象块的参照块，输出该编码信息，
第4步骤，在由上述第1步骤解码出的预测模式信息所表示的图像间预测模式为利用与由索引确定的参照块对应的差分运动矢量的第2图像间预测模式时，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并基于上述码串解码部解码出的参照块的索引，从上述第2候选列表中确定上述解码对象块的参照块，基于预测运动矢量和上述码串解码部解码出的差分运动矢量导出上述解码对象块的运动矢量并输出，其中所述预测运动矢量是基于该参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量，
第5步骤，基于由上述第3步骤或上述第4步骤输出的信息，利用由上述第1步骤解码出的预测模式信息所表示的图像间预测模式来进行运动补偿，生成预测图像；
其中，上述第3步骤及上述第4步骤使用共用的多个块作为上述多个候选参照块。
〔项目20〕一种对将动图像的各图片按分割后的块单位、利用运动矢量而编码后的码串进行解码的图像解码程序，其特征在于，使计算机执行：
第1处理，从上述码串中，针对各解码对象块、解码出表示图像间预测模式的预测模式信息和参照块的索引，或者表示图像间预测模式的预测模式信息、参照块的索引、以及与参照块对应的差分运动矢量，
第2处理，取得上述解码对象块的多个候选参照块的编码信息，
第3处理，在由上述第1处理解码出的预测模式信息所表示的图像间预测模式为利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式时，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并基于上述码串解码部所解码出的参照块的索引，从上述第1候选列表中确定上述解码对象块的参照块，输出该编码信息，
第4处理，在由上述第1处理解码出的预测模式信息所表示的图像间预测模式为利用与由索引确定的参照块对应的差分运动矢量的第2图像间预测模式时，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并基于上述码串解码部解码出的参照块的索引，从上述第2候选列表中确定上述解码对象块的参照块，基于预测运动矢量和上述码串解码部解码出的差分运动矢量导出上述解码对象块的运动矢量并输出，其中所述预测运动矢量是基于该参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量，
第5处理，基于由上述第3处理或上述第4处理输出的信息，利用由上述第1处理解码出的预测模式信息所表示的图像间预测模式来进行运动补偿，生成预测图像；
其中，上述第3处理及上述第4处理使用共用的多个块作为上述多个候选参照块。
〔标号说明〕
100动图像编码装置、101图像存储器、102运动矢量估计部、103运动矢量预测部、104帧间预测信息检测部、105运动补偿预测部、106融合检测部、107预测方法决定部、108开关、109第1编码比特串生成部、110残差信号生成部、111正交变换·量化部、112逆量化·逆正交变换部、113解码图像信号重叠部、114编码信息保存存储器、115解码图像存储器、116第2编码比特串生成部、117编码比特串多路化部、200动图像解码装置、201比特串分离部、202第1编码比特串解码部、203第2编码比特串解码部、204运动矢量导出部、205帧间预测信息检测部、206融合判定部、207运动补偿预测部、208逆量化·逆正交变换部、209解码图像信号重叠部、210编码信息保存存储器、211解码图像存储器、212开关、301处理对象块位置检测部、302相邻块指定部、303临时存储器、310编码信息导出部、311参照候选列表生成部、312相同信息检测部、313输出部、314参照候选列表保存存储器、315选择部、318参照候选限制部、320编码信息导出部、321参照候选列表生成部、322相同信息检测部、323输出部、324参照候选列表保存存储器、326差分运动矢量导出部、328参照候选限制部、329参照候选控制部。
〔工业可利用性〕
本发明能适用于利用了运动补偿预测的动图像编码及解码技术。

Claims (4)

1.一种按将动图像的各图片分割后的块单位利用运动矢量而进行编码的图像编码装置，其特征在于，包括：
取得部，取得编码对象块的多个候选参照块的编码信息；
第1模式检测部，在利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引；
第2模式检测部，在利用预测运动矢量与上述编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量，其中，所述预测运动矢量是基于由索引确定的参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量；以及
码串生成部，将上述候选参照块的索引和表示上述图像间预测模式的类型的预测模式信息编码，并在上述图像间预测模式的类型是上述第2图像间预测模式的情况下，将与第2图像间预测模式时所使用的参照块对应的上述差分运动矢量编码，
上述第1模式检测部及上述第2模式检测部使用在上述第1图像间预测模式和上述第2图像间预测模式下使候选的位置共用化的多个块作为上述多个候选参照块，
用于在上述第1模式检测部所生成的上述第1候选列表中排列上述多个候选参照块的上述第1预定顺位与用于在上述第2模式检测部所生成的上述第2候选列表中排列上述多个候选参照块的上述第2预定顺位是不同的，
上述第1预定顺位是空间上相邻的左候选块、上候选块、右上候选块、左下候选块、左上候选块、时间上不同的图片中所包含的候选块的顺序。
2.一种按将动图像的各图片分割后的块单位利用运动矢量而进行编码的图像编码方法，其特征在于，具有：
第1步骤，取得编码对象块的多个候选参照块的编码信息；
第2步骤，在利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式下，基于第1预定顺位从上述多个候选参照块生成第1候选列表，并赋予用于确定上述第1候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引；
第3步骤，在利用预测运动矢量与上述编码对象块的运动矢量的差分运动矢量的第2图像间预测模式下，基于第2预定顺位从上述多个候选参照块生成第2候选列表，并赋予用于确定上述第2候选列表中所登录的候选参照块的索引，输出上述多个候选参照块的索引及上述差分运动矢量，其中，所述预测运动矢量是基于由索引确定的参照块的上述编码信息所具备的运动矢量的信息的预测运动矢量；以及
第4步骤，将上述候选参照块的索引和表示上述图像间预测模式的类型的预测模式信息编码，并在上述图像间预测模式的类型是上述第2图像间预测模式的情况下，将与第2图像间预测模式时所使用的参照块对应的上述差分运动矢量编码，
上述第2步骤及上述第3步骤使用在上述第1图像间预测模式和上述第2图像间预测模式下使候选的位置共用化的多个块作为上述多个候选参照块，用于在上述第2步骤所生成的上述第1候选列表中排列上述多个候选参照块的上述第1预定顺位与用于在上述第3步骤所生成的上述第2候选列表中排列上述多个候选参照块的上述第2预定顺位是不同的，
上述第1预定顺位是空间上相邻的左候选块、上候选块、右上候选块、左下候选块、左上候选块、时间上不同的图片中所包含的候选块的顺序。
3.一种对按将动图像的各图片分割后的块单位利用运动矢量而编码后的码串进行解码的图像解码装置，其特征在于，包括：
码串解码部，从上述码串中，针对各解码对象块，解码出表示图像间预测模式的预测模式信息和第1索引或者表示图像间预测模式的预测模式信息、第2索引以及差分运动矢量；
取得部，取得上述解码对象块的多个参照块的编码信息；
第1模式输出部，在由上述码串解码部解码出的预测模式信息所表示的图像间预测模式为利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式时，基于第1预定顺位从上述多个参照块导出编码信息并生成第1候选列表，并基于上述码串解码部所解码出的第1索引，从上述第1候选列表中确定第1候选，输出该第1候选的编码信息；
第2模式输出部，在由上述码串解码部解码出的预测模式信息所表示的图像间预测模式为利用与由索引确定的参照块对应的差分运动矢量的第2图像间预测模式时，基于第2预定顺位从上述多个参照块导出预测运动矢量并生成第2候选列表，并基于上述码串解码部所解码出的第2索引，从上述第2候选列表中确定第2候选，从该第2候选的预测运动矢量和上述码串解码部所解码出的差分运动矢量导出上述解码对象块的运动矢量并输出；以及
运动补偿预测部，基于从上述第1模式输出部或上述第2模式输出部输出的信息，利用由上述码串解码部解码出的预测模式信息所表示的图像间预测模式来进行运动补偿，生成预测图像，
上述第1模式输出部及上述第2模式输出部使用在上述第1图像间预测模式和上述第2图像间预测模式下使候选的位置共用化的多个块作为上述多个参照块，
用于由上述第1模式输出部生成上述第1候选列表的上述第1预定顺位与用于由上述第2模式输出部生成上述第2候选列表的上述第2预定顺位是不同的，
上述第1预定顺位是空间上相邻的左候选块、上候选块、右上候选块、左下候选块、左上候选块、时间上不同的图片中所包含的候选块的顺序。
4.一种对按将动图像的各图片分割后的块单位利用运动矢量而编码后的码串进行解码的图像解码方法，其特征在于，具有：
第1步骤，从上述码串中，针对各解码对象块，解码出表示图像间预测模式的预测模式信息和第1索引或者表示图像间预测模式的预测模式信息、第2索引以及差分运动矢量；
第2步骤，取得上述解码对象块的多个参照块的编码信息；
第3步骤，在由上述第1步骤解码出的预测模式信息所表示的图像间预测模式为利用由索引确定的参照块的上述编码信息所具备的运动矢量的信息的第1图像间预测模式时，基于第1预定顺位从上述多个参照块导出编码信息并生成第1候选列表，并基于上述第1步骤所解码出的第1索引，从上述第1候选列表中确定第1候选，输出该第1候选的编码信息；
第4步骤，在由上述第1步骤解码出的预测模式信息所表示的图像间预测模式为利用与由索引确定的参照块对应的差分运动矢量的第2图像间预测模式时，基于第2预定顺位从上述多个参照块导出预测运动矢量并生成第2候选列表，并基于上述第1步骤所解码出的第2索引，从上述第2候选列表中确定第2候选，从该第2候选的预测运动矢量和上述第1步骤所解码出的差分运动矢量导出上述解码对象块的运动矢量并输出；以及
第5步骤，基于由上述第3步骤或上述第4步骤输出的信息，利用由上述第1步骤解码出的预测模式信息所表示的图像间预测模式来进行运动补偿，生成预测图像，
上述第3步骤及上述第4步骤使用在上述第1图像间预测模式和上述第2图像间预测模式下使候选的位置共用化的多个块作为上述多个参照块，
用于在上述第3步骤中生成上述第1候选列表的上述第1预定顺位与用于在上述第4步骤中生成上述第2候选列表的上述第2预定顺位是不同的，
上述第1预定顺位是空间上相邻的左候选块、上候选块、右上候选块、左下候选块、左上候选块、时间上不同的图片中所包含的候选块的顺序。
CN201610814925.9A 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法 Active CN107105228B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-146770 2011-06-30
JP2011-146769 2011-06-30
JP2011146770A JP5246303B2 (ja) 2011-06-30 2011-06-30 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP2011146769A JP5644701B2 (ja) 2011-06-30 2011-06-30 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
CN201280029864.5A CN103609120B (zh) 2011-06-30 2012-06-26 图像解码装置、图像解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280029864.5A Division CN103609120B (zh) 2011-06-30 2012-06-26 图像解码装置、图像解码方法

Publications (2)

Publication Number Publication Date
CN107105228A CN107105228A (zh) 2017-08-29
CN107105228B true CN107105228B (zh) 2020-03-20

Family

ID=47423713

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201610815954.7A Active CN107071403B (zh) 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN201610814160.9A Active CN107105227B (zh) 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN201610814925.9A Active CN107105228B (zh) 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN201610816241.2A Active CN106851267B (zh) 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN201280029864.5A Active CN103609120B (zh) 2011-06-30 2012-06-26 图像解码装置、图像解码方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201610815954.7A Active CN107071403B (zh) 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN201610814160.9A Active CN107105227B (zh) 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201610816241.2A Active CN106851267B (zh) 2011-06-30 2012-06-26 图像编码装置、图像编码方法、图像解码装置及图像解码方法
CN201280029864.5A Active CN103609120B (zh) 2011-06-30 2012-06-26 图像解码装置、图像解码方法

Country Status (9)

Country Link
US (5) US8982956B2 (zh)
EP (5) EP3422714B1 (zh)
KR (5) KR101729429B1 (zh)
CN (5) CN107071403B (zh)
BR (1) BR112013033818B1 (zh)
HU (3) HUE052632T2 (zh)
PL (3) PL3422714T3 (zh)
TW (5) TWI577183B (zh)
WO (1) WO2013001793A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184918B1 (en) 2011-03-21 2024-02-07 LG Electronics Inc. Video decoding method, video encoding method, computer-readable digital storage medium and transmission method of data for a video
KR101729429B1 (ko) * 2011-06-30 2017-04-21 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법, 화상 인코딩 프로그램, 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
JP6422011B2 (ja) 2012-05-11 2018-11-14 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
CN110223236B (zh) * 2013-03-25 2023-09-26 图象公司 用于增强图像序列的方法
WO2014163458A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
US10070070B2 (en) * 2014-05-28 2018-09-04 Mediatek Inc. Video processing apparatus with transform unit size selection, mode information unit size selection and/or picture width/height decision, and related video processing method thereof
US20150350686A1 (en) * 2014-05-29 2015-12-03 Apple Inc. Preencoder assisted video encoding
EP3200461A4 (en) 2014-10-31 2017-10-18 Samsung Electronics Co., Ltd. Video encoding device and video decoding device using high-precision skip encoding and method thereof
KR20160131526A (ko) * 2015-05-07 2016-11-16 삼성전자주식회사 시스템 온 칩, 상기 시스템 온 칩을 포함하는 디스플레이 시스템, 및 상기 디스플레이 시스템의 동작 방법
WO2017142876A1 (en) 2016-02-15 2017-08-24 University Of Georgia Research Foundation, Inc. lPA-3-LOADED LIPOSOMES AND METHODS OF USE THEREOF
EP3435673A4 (en) 2016-03-24 2019-12-25 Intellectual Discovery Co., Ltd. VIDEO SIGNAL ENCODING / DECODING METHOD AND APPARATUS
WO2017195608A1 (ja) * 2016-05-13 2017-11-16 シャープ株式会社 動画像復号装置
TWI610558B (zh) * 2016-05-26 2018-01-01 晨星半導體股份有限公司 位元分配方法及視訊編碼裝置
CN113784144B (zh) * 2017-06-26 2023-11-28 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法、解码方法和非暂时性存储介质
JPWO2019082318A1 (ja) * 2017-10-25 2020-11-19 株式会社ソシオネクスト 動画像処理装置、動画像処理システム、及び動画像処理方法
WO2019112072A1 (ko) * 2017-12-04 2019-06-13 엘지전자 주식회사 영상 코딩 시스템에서 수정된 움직임 정보 후보 리스트에 기반한 영상 디코딩 방법 및 장치
US10491897B2 (en) 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
US10469869B1 (en) * 2018-06-01 2019-11-05 Tencent America LLC Method and apparatus for video coding
TWI719523B (zh) * 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
GB2588006B (en) 2018-06-29 2023-03-22 Beijing Bytedance Network Tech Co Ltd Number of motion candidates in a look up table to be checked according to mode
MX2020013829A (es) 2018-06-29 2022-05-18 Beijing Bytedance Network Tech Co Ltd Poda parcial/total cuando se añade un candidato a hmvp para fusión/amvp.
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
TWI748202B (zh) 2018-07-02 2021-12-01 大陸商北京字節跳動網絡技術有限公司 Lamvr中取整和修剪的順序
WO2020032531A1 (ko) * 2018-08-06 2020-02-13 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN117241039A (zh) * 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
WO2020060319A1 (ko) * 2018-09-21 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN111434110B (zh) * 2018-11-06 2023-06-20 北京字节跳动网络技术有限公司 用于视频处理的方法、装置和存储介质
US10887611B2 (en) * 2018-12-27 2021-01-05 Qualcomm Incorporated Pruning for illumination compensation mode
EP3905685B1 (en) * 2018-12-28 2024-03-20 JVCKenwood Corporation Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, and image decoding program
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
CN111698506B (zh) * 2019-03-11 2022-04-26 杭州海康威视数字技术股份有限公司 运动信息候选者列表构建方法、三角预测解码方法及装置
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
KR20210141712A (ko) 2019-05-24 2021-11-23 후아웨이 테크놀러지 컴퍼니 리미티드 Ibc 병합 리스트를 사용하는 인코더, 디코더 및 대응 방법들

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237579A (zh) * 2007-02-02 2008-08-06 三星电子株式会社 上变换解码的帧的帧频的设备和方法
CN101600108A (zh) * 2009-06-26 2009-12-09 北京工业大学 一种多视点视频编码中的运动和视差联合估计方法
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
WO2010041624A1 (ja) * 2008-10-09 2010-04-15 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3703836C2 (de) 1987-02-07 1995-12-21 Heinrich Lindert Bearbeitungsanlage für Geflügelfleisch
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
JP3637996B2 (ja) 1997-03-28 2005-04-13 シャープ株式会社 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
KR100407691B1 (ko) * 2000-12-21 2003-12-01 한국전자통신연구원 계층탐색을 이용한 움직임 추정장치 및 방법
JP3823767B2 (ja) * 2001-07-18 2006-09-20 日本電信電話株式会社 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP3944225B2 (ja) * 2002-04-26 2007-07-11 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
US8320453B2 (en) * 2005-07-08 2012-11-27 Lg Electronics Inc. Method for modeling coding information of a video signal to compress/decompress the information
JP4828543B2 (ja) * 2005-09-26 2011-11-30 三菱電機株式会社 動画像符号化装置及び動画像復号装置
KR20070056627A (ko) * 2005-11-30 2007-06-04 삼성전자주식회사 움직임 추정장치, 움직임 추정방법 및 전역 움직임추정장치
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
JP5025286B2 (ja) * 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
CN100571370C (zh) 2007-05-24 2009-12-16 中兴通讯股份有限公司 将传统iptv终端接入ims域的装置、系统和方法
CN100496127C (zh) * 2007-06-05 2009-06-03 南京大学 Mpeg-2到h.264码的快速转换方法
US20090003449A1 (en) * 2007-06-28 2009-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
CN101953167B (zh) * 2007-12-20 2013-03-27 高通股份有限公司 减少光晕的图像插值
CA2730383A1 (en) * 2008-07-10 2010-01-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
CN101931739A (zh) * 2009-06-23 2010-12-29 鸿富锦精密工业（深圳）有限公司 绝对误差总和值估算系统及方法
CN101860754B (zh) * 2009-12-16 2013-11-13 香港应用科技研究院有限公司 运动矢量编码和解码的方法和装置
US8885711B2 (en) * 2009-12-17 2014-11-11 Sk Telecom Co., Ltd. Image encoding/decoding method and device
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
US9602813B2 (en) * 2010-08-18 2017-03-21 Sk Telecom Co., Ltd. Image encoding/decoding device and method, and reference picture indexing device and method
US9282338B2 (en) 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
KR101729429B1 (ko) * 2011-06-30 2017-04-21 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법, 화상 인코딩 프로그램, 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
JP5644701B2 (ja) 2011-06-30 2014-12-24 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
AU2012326895B2 (en) * 2011-10-17 2015-12-17 Kt Corporation Adaptive transform method based on in-screen prediction and apparatus using the method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237579A (zh) * 2007-02-02 2008-08-06 三星电子株式会社 上变换解码的帧的帧频的设备和方法
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
WO2010041624A1 (ja) * 2008-10-09 2010-04-15 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
CN101600108A (zh) * 2009-06-26 2009-12-09 北京工业大学 一种多视点视频编码中的运动和视差联合估计方法

Also Published As

Publication number Publication date
KR20160023917A (ko) 2016-03-03
KR101681011B1 (ko) 2016-11-29
EP3419290A1 (en) 2018-12-26
TW201608879A (zh) 2016-03-01
TW201309039A (zh) 2013-02-16
CN107071403B (zh) 2019-09-24
PL3419290T3 (pl) 2021-05-31
US9706208B2 (en) 2017-07-11
TW201722158A (zh) 2017-06-16
CN107105228A (zh) 2017-08-29
US20140219356A1 (en) 2014-08-07
EP3285489B1 (en) 2019-04-24
EP2728882A4 (en) 2015-03-25
US8982956B2 (en) 2015-03-17
EP3419289B1 (en) 2020-12-23
EP3419289A1 (en) 2018-12-26
TWI605708B (zh) 2017-11-11
EP3285489A1 (en) 2018-02-21
US9363529B2 (en) 2016-06-07
US9800873B2 (en) 2017-10-24
KR20170064554A (ko) 2017-06-09
US20160080759A1 (en) 2016-03-17
US20160241857A1 (en) 2016-08-18
BR112013033818B1 (pt) 2020-02-04
HUE053035T2 (hu) 2021-06-28
HUE052632T2 (hu) 2021-05-28
CN106851267B (zh) 2019-10-22
US9191680B2 (en) 2015-11-17
TW201722159A (zh) 2017-06-16
CN103609120B (zh) 2016-09-28
US20170105000A1 (en) 2017-04-13
TWI577183B (zh) 2017-04-01
EP3419290B1 (en) 2020-12-23
EP2728882A1 (en) 2014-05-07
KR20150085093A (ko) 2015-07-22
KR101729429B1 (ko) 2017-04-21
PL3419289T3 (pl) 2021-04-19
BR112013033818A2 (pt) 2017-02-14
KR20160139044A (ko) 2016-12-06
WO2013001793A1 (ja) 2013-01-03
EP3422714B1 (en) 2020-12-23
TWI521951B (zh) 2016-02-11
EP3422714A1 (en) 2019-01-02
HUE052633T2 (hu) 2021-05-28
CN107105227A (zh) 2017-08-29
KR101744468B1 (ko) 2017-06-07
TW201707456A (zh) 2017-02-16
CN103609120A (zh) 2014-02-26
TWI605707B (zh) 2017-11-11
CN106851267A (zh) 2017-06-13
KR101777097B1 (ko) 2017-09-08
CN107071403A (zh) 2017-08-18
KR101598306B1 (ko) 2016-02-26
KR20140031384A (ko) 2014-03-12
EP2728882B1 (en) 2017-11-22
TWI563835B (zh) 2016-12-21
CN107105227B (zh) 2019-10-25
US20150131734A1 (en) 2015-05-14
PL3422714T3 (pl) 2021-05-31

Similar Documents

Publication Publication Date Title
CN107105228B (zh) 图像编码装置、图像编码方法、图像解码装置及图像解码方法
JP6233490B2 (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP5644701B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP6036976B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム
JP6036977B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム
JP5776714B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP5246303B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP6036975B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム
JP6036974B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム
WO2013024588A1 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
JP6288209B2 (ja) 画像符号化装置
JP5776712B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP5776711B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP5776713B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法、及び受信プログラム
JP5999230B2 (ja) 受信装置
JP2013059023A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant