CN104704834A - 图像处理装置及方法 - Google Patents

图像处理装置及方法 Download PDF

Info

Publication number
CN104704834A
CN104704834A CN201380051783.XA CN201380051783A CN104704834A CN 104704834 A CN104704834 A CN 104704834A CN 201380051783 A CN201380051783 A CN 201380051783A CN 104704834 A CN104704834 A CN 104704834A
Authority
CN
China
Prior art keywords
reference picture
picture
unit
image
listing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380051783.XA
Other languages
English (en)
Other versions
CN104704834B (zh
Inventor
高桥良知
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104704834A publication Critical patent/CN104704834A/zh
Application granted granted Critical
Publication of CN104704834B publication Critical patent/CN104704834B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Abstract

本公开涉及一种使得能够减少处理量的图像处理装置及方法。选择单元基于限制识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有不同的参考图片类型的多个参考图片，该限制识别信息用于识别作为识别指定当前图片的参考图片的参考图片识别指定信息的列表的参考列表在当前图片内是共同使用的。预测图像生成单元基于具有与当前图片的时间不同的时间的并列图片的运动向量以及在由选择单元所选择的多个参考图片之中具有与并列图片的参考图片类型相同的参考图片类型的参考图片来生成用于当前图片的预测图像。本公开可以被应用于图像处理装置。

Description

图像处理装置及方法
技术领域
本公开涉及一种图像处理装置和图像处理方法，并且更具体地，涉及一种能够减少处理量的图像处理装置和图像处理方法。
背景技术
近来，图像信息被处理为数字数据，并且出于在该时刻高效的传送和累积信息的目的，下述装置广泛地被用于广播站等中的信息递送以及普通家庭中的信息接收两者：该装置遵照通过使用图像信息所特有的冗余来执行诸如离散余弦变换的正交变换和使用运动补偿进行的压缩的运动图像专家组(MPEG)系统等。
发明内容
具体地，MPEG2(国际标准化组织(ISO)/国际电工委员会(IEC)13818-2)系统被定义为通用图像编码系统，并且作为涵盖了隔行扫描图像和逐行扫描图像两者、以及标准分辨率图像和高清晰度图像的标准当前广泛地被用于针对专业用途和消费者用途的大范围应用程序。通过使用MPEG2压缩系统，例如，在具有720×480像素的标准分辨率的隔行扫描图像的情况下，分配4至8Mbps的编码量(比特率)，而在具有1920×1088像素的高清晰度的隔行扫描图像的情况下，分配18至22Mbps的编码量(比特率)，借此可以实现高压缩比和改进的图像质量。
MPEG2目标在于主要适合于广播的高图像质量编码，但是不对应于具有低于MPEG1的编码量(比特率)的编码系统(换言之，具有较高的压缩比的编码系统)。依照移动终端的普及化，将来对于这样的编码系统的需求被预期为增加，并且响应于此MPEG4编码系统已经被标准化。关于图像编码系统，其规范在1998年12月被核准为ISO/IEC 14496-2的国际标准。
此外，近年来，针对用于电视会议的图像编码的最初目的，H.26L(国际电信联盟远程通信标准部(ITU-T)Q6/16视频编码专家组(VCEG))已经被标准化。已知与诸如MPEG2或MPEG4的传统编码系统的计算量相比，H.26L由于其编码处理和解码处理而需要更多的计算量，并且实现较高的编码效率。另外，当前，作为MPEG4活动的一部分，基于H.26L、通过引入根据H.26L而不支持的功能来实现较高编码效率的标准被形成为增强的压缩视频编码的联合模型。
作为其标准化的时间表，在2003年3月，基于H.264和MPEG-4部分10(高级视频编码，在下文中称为AVC)的名称形成了国际标准。
然而，在宏块大小被设置为16个像素×16个像素的情况下，存在下述担忧：对于成为用于下一代编码系统的目标的、具有UHD(超高清晰度：4000个像素×2000个像素)的大图片帧，宏块大小被设置为16个像素×16个像素不是最优的。
因此，出于进一步改进编码效率以高于AVC的编码效率的目的，作为ITU-T和ISO/IEC的联合标准化组织的联合合作组-视频编码(JCTVC)对被称为高效视频编码(HEVC)的编码系统的标准化取得了进展(例如，参见非专利文献1)。
在HEVC编码系统中，类似于AVC中的宏块，编码单位(CU)被定义为处理单位。不同于AVC的宏块，CU未被固定为16×16个像素的大小，而是在每个序列的图像压缩信息中进行指定。
顺便提及，为了改进使用在AVC中所定义的中值预测进行的运动向量的编码，考虑了下述方法：在该方法中，对于预测运动向量，不仅“空间预测器”可以作为候选，而且“时间预测器”和“空间-时间预测器”也可以作为候选。
另外，作为用于运动信息的编码系统之一，提出了被称为运动分区合并的技术，在该技术中，传送Merge_Flag和Merge_Left_Flag。
然而，仅提出了在同一视点(viewpoint)内的处理，而在多视点编码的情况下，不可以进行跨视点的向量预测，从而存在编码效率降低的担忧。
因此，针对在多视点编码时进行合并的时间运动向量预测(TMVP)，已经提出了各种提议(例如，参见非专利文献2)。
在非专利文献2中所公开的发明中，在由当前块的参考索引0所指示的参考图片(参考图像)的参考图片类型为短期(short-term)时而并列的块的参考图片类型为长期(long-term)时，从参考图像列表中选择为“0”以外的参考索引，其指示参考图片类型为长期的参考图片。
另外，在由当前块的参考索引0所指示的参考图片的参考图片类型为长期而并列块的参考图片类型为短期时，从参考图像列表中选择为“0”以外的参考索引，其指示参考图片类型为短期的参考图片。
因此，在执行CU(编码单位)级别的编码之前，需要找到具有与参考索引0的图片类型不同的图片类型的一个参考索引。
引用列表
非专利文献
非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC)text specification draft 8",JCTVC-J1003_d7,2012.7.28
非专利文献2：Ying Chen,Li Zhang,Vadim Seregin,MartaKarczewicz,"Temporal modion vector prediction hook for MV-HEVC",JCTVC-K0239,2012.10.10-19
发明内容
发明要解决的问题
然而，因为对参考索引的搜索处理量大，所以需要减少处理量。
考虑到这样的情形形成了本公开，并且本公开的目的是减少处理量。
问题的解决方案
根据本公开的第一方面，提供了一种图像处理装置，包括：选择单元，选择单元基于限制识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，限制识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表在当前图片内是共同使用的；以及预测图像生成单元，预测图像生成单元基于具有与当前图片的时间不同的时间的并列图片(collocated picture)的运动向量以及在由选择单元所选择的多个参考图片之中具有与并列图片的参考图片类型相同的参考图片类型的参考图片，生成当前图片的预测图像。
根据本公开的第一方面的图像处理方法对应于根据本公开的第一方面的图像处理装置。
根据本公开的第一方面，基于限制识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，限制识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表在当前图片内是共同使用的；以及基于具有与当前图片的时间不同的时间的并列图片的运动向量以及在所选择的多个参考图片之中具有与并列图片的参考图片类型相同的参考图片类型的参考图片，生成当前图片的预测图像。
根据本公开的第二方面，提供了一种图像处理装置，包括：选择单元，基于改变识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，改变识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表发生改变；以及预测图像生成单元，基于具有与当前图片的时间不同的时间的并列图片的运动向量以及在由选择单元所选择的多个参考图片之中具有与并列图片的参考图片类型相同的参考图片类型的参考图片，生成当前图片的预测图像。
根据本公开的第二方面的图像处理方法对应于根据本公开的第二方面的图像处理装置。
根据本公开的第二方面，基于改变识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，改变识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表发生改变；以及基于具有与当前图片的时间不同的时间的并列图片的运动向量以及在所选择的多个参考图片之中具有与并列图片的参考图片类型相同的参考图片类型的参考图片，生成当前图片的预测图像。
发明的效果
根据本公开，可以对图像进行处理。具体地，可以减少处理量。
附图说明
图1是示出了根据第一实施例应用了本公开的图像编码设备的配置的示例的框图。
图2是示出了图1所示的编码单元的配置的示例的框图。
图3是示出了图2所示的运动视差预测/补偿单元的合并帧间预测单元的配置的示例的框图。
图4是示出了由图1所示的图像编码设备所执行的流(stream)生成处理的流程图。
图5是详细地示出了图4所示的编码处理的流程图。
图6是示出了在图5所示的帧间预测处理中所包括的合并帧间预测处理的流程图。
图7是示出了根据第一实施例应用了本公开的图像解码设备的配置的示例的框图。
图8是示出了图7所示的解码单元的配置的示例的框图。
图9是示出了图8所示的运动视差补偿单元的合并帧间预测单元的配置的示例的框图。
图10是示出了由图7所示的图像解码设备所执行的图像生成处理的流程图。
图11是详细地示出了图10所示的解码处理的流程图。
图12是示出了在图11所示的预测处理中所包括的合并帧间预测处理的流程图。
图13是示出了根据第二实施例应用了本公开的图像编码设备的配置的示例的框图。
图14是示出了图13所示的编码单元的合并帧间预测单元的配置的框图。
图15是示出了由图13所示的图像编码设备所执行的流生成处理的流程图。
图16是示出了由图13所示的编码设备所执行的合并帧间预测处理的流程图。
图17是详细地示出了图16所示的参考索引指定处理的流程图。
图18是示出了参考索引的图。
图19是示出了根据第二实施例应用了本公开的图像解码设备的配置的示例的框图。
图20是示出了图19所示的解码单元的合并帧间预测单元的配置的框图。
图21是示出了由图19所示的图像解码设备所执行的图像生成处理的流程图。
图22是示出了由图20所示的合并帧间预测单元所执行的合并帧间预测处理的流程图。
图23是示出了个人计算机的配置的示例的框图。
图24是示出了电视机设备的示意性配置的示例的框图。
图25是示出了移动电话的示意性配置的示例的框图。
图26是示出了记录和再现设备的示意性配置的示例的框图。
图27是示出了成像设备的示意性配置的示例的框图。
具体实施方式
在下文中，将描述用于执行本公开的实施例(在下文中称为实施例)。将按照下面的顺序对说明进行介绍。
1.第一实施例(图像编码设备/图像解码设备)
2.第二实施例(图像编码设备/图像解码设备)
3.第三实施例(计算机)
4.第四实施例(应用示例)
<1.第一实施例>
(图像编码设备的配置示例)
图1是示出了作为应用了本公开的图像处理装置的根据第一实施例的图像编码设备的配置的示例的框图。
图1所示的图像编码设备1000由下述构成：编码单元1001、设置单元1002以及传送单元1003。图像编码设备1000根据用于由多个视点(视图)的图像所构成的多视点图像的运动预测或视差预测执行帧间编码。
更具体地，图像编码设备1000的编码单元1001根据用于从外部所输入的多视点图像的运动预测或视差预测执行帧内编码或帧间编码。当执行帧间编码处理时，编码单元1001参考从设置单元1002所提供的限制识别信息(restricted_ref_pic_lists_flag)。
限制识别信息是被用于识别图片内的所有切片的参考列表被限制为同一参考列表的信息，参考列表是被用于指定参考图像的参考图像指定信息的列表。换言之，限制识别信息是被用于识别参考列表在图片内是共同使用的信息。在代表图片内的所有切片的参考列表被限制为同一参考列表的情况下，限制识别信息为“1”；而在代表参考列表未被限制为同一参考列表时，限制识别信息为“0”。
在限制识别信息为“1”的情况下，在合并模式中，编码单元1001使用在非专利文献2中所描述的方法执行合并的TMVP。编码单元1001将多视点图像的编码数据提供给设置单元1002。
设置单元1002基于用户输入等设置限制识别信息，并且将所设置的限制识别信息提供给编码单元1001。设置单元1002设置参数集，诸如包括限制识别信息的SPS以及PPS(图片参数集)。设置单元1002通过将参数集相加到从编码单元1001所提供的编码数据生成编码流，并且将所生成的编码流提供给传送单元1003。
传送单元1003将从设置单元1002所提供的编码流传送到稍后描述的解码设备。
(编码单元的配置示例)
图2是示出图1所示的编码单元1001的配置的示例的框图。
类似于诸如AVC或HEVC的编码系统，例如，图2所示的编码单元1001使用预测处理针对每个视点对多视点图像进行编码。
图2所示的编码单元1001包括：A/D转换器1011；画面重排缓冲器1012；计算单元1013；正交变换单元1014；量化单元1015；无损编码单元1016；以及累积缓冲器1017。另外，编码单元1001包括：逆量化单元1018；逆正交变换单元1019；计算单元1020；环路滤波器1021；解码图片缓冲器1022；选择单元1023；帧内预测单元1024；运动视差预测/补偿单元1025；预测图像选择单元1026；以及多视点解码图片缓冲器1027。
A/D转换器1011对所输入的一个视点的图像执行A/D转换，并且将转换后的图像输出到画面重排缓冲器1012以便被存储在其中。画面重排缓冲器1012依照图片组(GOP)结构将以帧为单位构成的并且按照显示顺序存储的图像重排为用于编码的顺序。画面重排缓冲器1012将重排后的图像连同该图像的视图ID和图片顺序计数(POC)一起提供给计算单元1013、帧内预测单元1024以及运动视差预测/补偿单元1025。在此，视图ID是被用于识别视点的信息，而POC是被用于识别时间的信息。
计算单元1013在从画面重排缓冲器1012所读取的图像中，减去通过预测图像选择单元1026从帧内预测单元1024或运动视差预测/补偿单元1025所提供的预测图像，并且将其差分信息输出到正交变换单元1014。
正交变换单元1014针对从计算单元1013所提供的差分信息执行诸如离散余弦变换或Karhuren-Loeve变换的正交变换。在此，被用于正交变换的方法是任意的。正交变换单元1014将其正交变换系数提供给量化单元1015。
量化单元1015对从正交变换单元1014所提供的正交变换系数进行量化。量化单元1015基于与编码量的目标值有关的信息设置量化参数，并且对其执行量化。在此，被用于量化处理的方法是任意的。量化单元1015将量化正交变换系数提供给无损编码单元1016。
无损编码单元1016使用任意的编码系统对由量化单元1015所量化的正交变换系数执行无损编码，从而生成编码图像。另外，无损编码单元1016从帧内预测单元1024获取包括代表最佳帧内预测模式的信息等的帧内预测信息。无损编码单元1016从运动视差预测/补偿单元1025获取包括代表最佳帧间预测模式的信息、代表运动向量或视差向量的运动视差向量信息等的帧间预测信息。另外，无损编码单元1016获取被用于环路滤波器1021的滤波器系数等。
无损编码单元1016使用任意的编码系统对这样的各种信息进行编码，并且将编码信息配置成编码图像的数据头信息的一部分。无损编码单元1016将由通过编码处理所获取的编码图像和数据头信息所构成的编码数据提供给累积缓冲器1017以便被存储在其中。
无损编码单元1016的编码系统的示例包括可变长度编码、算术编码等。作为可编程长度编码的示例，存在有在H.264/AVC系统中所定义的CAVLC(上下文自适应可变长度编码)等。作为算术编码的示例，存在有CABAC(上下文自适应二进制算术编码)等。
累积缓冲器1017临时地存储从无损编码单元1016所提供的编码数据。另外，累积缓冲器1017以预定的定时将所存储的编码数据提供给图1所示的设置单元1002。
另外，由量化单元1015所量化的正交变换系数还被提供给逆量化单元1018。逆量化单元1018通过使用与由量化单元1015所执行的量化处理相对应的方法对量化正交变换系数执行逆量化。被用于逆量化处理的方法可以是与由量化单元1015所执行的量化处理相对应的任何方法。逆量化单元1018将所获取的正交变换系数提供给逆正交变换单元1019。
逆正交变换单元1019通过使用与由正交变换单元1014所执行的正交变换处理相对应的方法对从逆量化单元1018所提供的正交变换系数执行逆正交变换，从而获取局部地恢复的差分信息。被用于逆正交变换的方法可以是与由正交变换单元1014所执行的正交变换处理相对应的任何方法。差分信息被提供给计算单元1020。
计算单元1020将通过预测图像选择单元1026从帧内预测单元1024或运动视差预测/补偿单元1025所提供的预测图像相加到从逆正交变换单元1019所提供的局部地恢复的差分信息。因此，生成局部地构成(解码)的图像(在下文中，称为重构图像)。重构图像被提供给环路滤波器1021或解码图片缓冲器1022。
环路滤波器1021包括去块滤波器、自适应偏移滤波器(SAO(采样自适应偏移))、自适应环路滤波器(ALF)等，并且针对从计算单元1020所提供的重构图像适当地执行滤波器处理。
例如，环路滤波器1021通过针对重构图像执行去块滤波器处理来移除重构图像的块失真。另外，例如，环路滤波器1021针对去块滤波器处理的结果使用维纳(Wiener)滤波器执行自适应环路滤波器处理，从而改进图像质量。
另外，环路滤波器1021可以被配置成针对重构图像执行任意的滤波器处理。另外，环路滤波器1021将被用于滤波器处理的滤波器系数等提供给无损编码单元1016。
环路滤波器1021将滤波器处理的结果(在下文中，称为解码图像)提供给解码图片缓冲器1022。
解码图片缓冲器1022存储从计算单元1020所提供的重构图像和从环路滤波器1021所提供的解码图像。另外，解码图片缓冲器1022存储图像的视图ID和POC。
解码图片缓冲器1022以预定的定时或基于来自诸如帧内预测单元1024的外部单元的请求，将所存储的重构图像以及该图像的视图ID和POC通过选择单元1023提供给帧内预测单元1024。另外，解码图片缓冲器1022以预定的定时或基于来自诸如运动视差预测/补偿单元1025的外部单元的请求，将所存储的解码图像以及该图像的视图ID和POC通过选择单元1023提供给运动视差预测/补偿单元1025。
选择单元1023指示从解码图片缓冲器1022所输出的图像的供给目的地。例如，在帧内预测的情况下，选择单元1023从解码图片缓冲器1022读取针对其尚未执行滤波器处理的重构图像，并且将所读取的重构图像提供给帧内预测单元1024作为周边图像，该周边图像为位于当前预测处理区域的周边的周边区域的图像。
另一方面，例如，在帧间预测的情况下，选择单元1023从解码图片缓冲器1022读取针对其已经执行了滤波器处理的解码图像，并且将所读取的解码图像提供给运动视差预测/补偿单元1025作为参考图像。
当从解码图片缓冲器1022获取周边图像时，帧内预测单元1024通过使用周边图像的像素值执行帧内预测以用于采用预测单位(PU)生成预测图像，该预测单位基本上被设置为处理单位。帧内预测单元1024在预先准备的多个帧内预测模式中执行帧内预测。
帧内预测单元1024通过使用每个帧内预测模式的预测图像和从画面重排缓冲器1012所提供的图像对每个预测图像的成本函数值进行评估，并且选择最佳帧内预测模式。当选择最佳帧内预测模式时，帧内预测单元1024将在最佳帧内预测模式中所生成的预测图像和成本函数值提供给预测图像选择单元1026。
另外，在预测图像选择单元1026选择由帧预测单元1024所生成的预测图像的情况下，帧内预测单元1024将与最佳帧内预测有关的帧内预测信息提供给无损编码单元1016。
运动视差预测/补偿单元1025通过使用从画面重排缓冲器1012所提供的图像以及从解码图片缓冲器1022所提供的参考图像采用PU执行运动预测或视差预测(帧间预测)，PU基本上被设置为处理单位。
更具体地，在不是合并模式的情况下，运动视差预测/补偿单元1025通过使用从画面重排缓冲器1012所提供的图像和参考图像检测运动向量或视差向量。在下文中，在不需要彼此特别地区分运动向量与视差向量的情况下，其将被统称为运动视差向量。运动视差预测/补偿单元1025通过基于所检测的运动视差向量针对参考图像执行补偿处理生成预测图像。
另一方面，在合并模式的情况下，运动视差预测/补偿单元1025基于从图1所示的设置单元1002所提供的限制识别信息执行合并的TMVP，从而生成预测图像。运动视差预测/补偿单元1025在预先准备的多个帧间预测模式中执行帧间预测。
运动视差预测/补偿单元1025通过使用每个帧间预测模式的预测图像和从画面重排缓冲器1012所提供的图像对每个预测图像的成本函数值进行评估，并且选择最佳帧间预测模式。当选择最佳帧间预测模式时，运动视差预测/补偿单元1025将在最佳帧间预测模式中所生成的预测图像和成本函数值提供给预测图像选择单元1026。
另外，在预测图像选择单元1026选择由运动视差预测/补偿单元1025所生成的预测图像的情况下，运动视差预测/补偿单元1025将与最佳帧间预测有关的帧间预测信息提供给无损编码单元1016。
预测图像选择单元1026基于从帧内预测单元1024和运动视差预测/补偿单元1025所提供的成本函数值，选择被提供给计算单元1023和计算单元1020的预测图像的供给源。
例如，在从帧内预测单元1024所提供的成本函数值小于从运动视差预测/补偿单元1025所提供的成本函数值的情况下，预测图像选择单元1026选择帧内预测单元1024作为预测图像的供给源。然后，预测图像选择单元1026将从帧内预测单元1024所提供的预测图像提供给计算单元1013和计算单元1020。
另一方面，在从运动视差预测/补偿单元1025所提供的成本函数值小于从帧内预测单元1024所提供的成本函数值的情况下，预测图像选择单元1026选择运动视差预测/补偿单元1025作为预测图像的供给源。然后，预测图像选择单元1026将从运动视差预测/补偿单元1025所提供的预测图像提供给计算单元1013和计算单元1020。
虽然解码图片缓冲器1022仅存储当前处理视点的图像以及该图像的视图ID和POC，但是多视点解码图片缓冲器1027存储每个视点的图像以及该图像的视图ID和POC。换言之，多视点解码图片缓冲器1027获取从解码图片缓冲器1022所提供的解码图像以及该解码图像的视图ID和POC，并且将解码图像以及该解码图像的视图ID和POC连同解码图片缓冲器1022一起存储。
在当前处理视点发生改变时，解码图片缓冲器1022移除前一个当前处理视点的解码图像，但是多视点解码图片缓冲器1027如原样地存储解码图像。然后，根据来自解码图片缓冲器1022等的请求，多视点解码图片缓冲器1027将所存储的解码图像以及该解码图像的视图ID和POC提供给解码图片缓冲器1022作为“除了当前处理视点之外的视点的解码图像以及该解码图像的视图ID和POC”。解码图片缓冲器1022将从多视点解码图片缓冲器1027所读取的“除了当前处理视点之外的视点的解码图像以及该解码图像的视图ID和POC”通过选择单元1023提供给运动视差预测/补偿单元1025。
(合并帧间预测单元的配置示例)
图3是示出了在图2所示的运动视差预测/补偿单元1025中所包括的、在合并模式中执行帧间预测的合并帧间预测单元1030的配置的示例的框图。
图3所示的合并帧间预测单元1030由下述构成：参考列表生成单元1031；选择单元1032；合并候选列表生成单元1033；预测图像生成单元1034；计算单元1035；以及最佳模式确定单元1036。
合并帧间预测单元1030的参考列表生成单元1031基于从图1所示的设置单元1002所提供的限制识别信息生成参考列表。
更具体地，在使用按照显示顺序在当前编码图像之前或之后的图像执行帧间预测的情况下，换言之，在执行单向预测的情况下，参考列表生成单元1031生成参考列表L0，在参考列表L0中登记有将该图像以及在与当前编码图像的时间相同的时间处具有不同视点的图像指定为参考图像的参考图像指定信息。
另一方面，在使用按照显示顺序在当前编码图像之前和之后的图像执行帧间预测的情况下，换言之，在执行双向预测的情况下，参考列表生成单元1031生成参考列表L0，在参考列表L0中登记有指定按照显示顺序在当前编码图像之前的图像作为参考图像的参考图像指定信息。另外，在这样的情况下，参考列表生成单元1031还生成参考列表L1，在参考列表L1中登记有指定按照显示顺序在当前编码图像之后的图像作为参考图像的参考图像指定信息。此外，在参考列表L0和参考列表L1中，还登记有将在与当前编码图像的时间相同的时间处具有不同视点的图像指定为参考图像的参考图像指定信息。
在参考图像指定信息为“1”的情况下，以图片为单位生成这样的参考列表；而在参考图像指定信息为“0”的情况下，以切片为单位生成这样的参考列表。
在参考列表的每个条目中，作为指定条目的信息分配有参考索引。在参考索引“0”的条目中，包括有下述参考图像的参考图像指定信息：该参考图像具有与作为当前编码图像的当前处理预测块的当前块的参考图片类型相同的参考图片类型。
例如，在参考图像是具有与当前编码图像的视点相同的视点并且具有与当前编码图像的时间不同的时间的图像的情况下，参考图像指定信息是代表参考图像的POC的信息；而在参考图像是具有与当前编码图像的时间相同的时间并且具有与当前编码图像的视点不同的视点的图像的情况下，参考图像指定信息是参考图像的视图ID。
作为这样的参考图片类型，存在有短期(短时间参考图片)和长期(长时间参考图片)两种类型。短期是具有与当前编码图像的时间接近的时间并且具有与当前编码图像的视点相同的视点的参考图像的类型。另一方面，长期是下述参考图像的类型：该参考图像具有与当前编码图像的时间不接近的时间并且具有与当前编码图像的视点相同的视点，或该参考图像具有与当前编码图像的视点不同的视点并且具有与当前编码图像的时间相同的时间。
参考列表被存储在参考列表生成单元1031中。例如，被用于生成参考列表的信息由图2所示的无损编码单元1016编码并且被包括在编码数据中作为头数据信息的一部分。
选择单元1032基于从设置单元1002所提供的限制识别信息，从在参考列表生成单元1031中所存储的参考列表中选择具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。换言之，选择单元1032选择被分配给下述条目的参考索引：该条目包括具有与在参考列表中所登记的当前块的参考图片类型不同的参考图片类型的参考图像的参考图像指定信息。选择单元1032将所选择的参考索引的参考图像指定信息和参考索引“0”的参考图像指定信息提供给预测图像生成单元1034。
合并候选列表生成单元1033基于从设置单元1002所提供的限制识别信息生成合并候选列表。在合并候选列表中，并列块(稍后将详细描述)的参考图片类型被登记在条目中，以及并列块的运动视差向量被登记在条目中作为用于预测向量的候选。然而，在参考图片类型为短期的情况下，运动视差向量被处理为基于参考图像与当前编码图像之间的时间距离或基于参考图像与当前编码图像的视点之间的距离而被缩放，并且运动视差向量被当做用于预测向量的候选。
并列块是具有与当前块的位置相同的位置并且具有与当前块的视点或时间不同的视点或时间的预测块。出于简化描述的目的，在此，尽管仅并列块的运动视差向量被当做用于预测向量的候选，但是实际上，当前块的周边预测块的运动视差向量也被当做用于预测向量的候选。
为合并候选列表中的每个条目分配被用于识别该条目的向量索引。合并候选列表生成单元1013存储所生成的合并候选列表。
预测图像生成单元1034从合并候选列表生成单元1033读取合并候选列表。预测图像生成单元1034针对合并候选列表的每个条目、基于并列图片的运动视差向量和由具有与从选择单元1032所提供的并列图片的参考图片类型相同的参考图片类型的参考图像指定信息所指定的参考图像，生成预测图像。
更具体地，当在条目中所包括的参考图片类型与当前块的参考图片类型相同的情况下，预测图像生成单元1034从选择单元1032获取作为具有与当前块的参考图片类型相同的参考图片类型的参考图像指定信息的参考索引“0”的参考图像指定信息。
另一方面，当在条目中所包括的参考图片类型与当前块的参考图片类型不同的情况下，预测图像生成单元1034从选择单元1032获取作为具有与当前块的参考图片类型不同的参考图片类型的参考图像指定信息的除了参考索引“0”之外的参考索引的参考图像指定信息。
预测图像生成单元1034通过选择单元1023从解码图片缓冲器1022获取由所获取的参考图像指定信息所指定的参考图像。然后，预测图像生成单元1034通过基于在条目中所包括的运动视差向量针对所读取的参考图像执行补偿处理来生成预测图像。
以这种方式，在预先准备的所有帧间预测模式的每个中执行生成预测图像的处理。换言之，生成具有互相不同的大小的当前块的预测图像。预测图像生成单元1034将所生成的预测图像连同帧间预测模式以及与其相对应的向量索引一起提供给计算单元1035。
计算单元1035基于从预测图像生成单元1034所提供的预测图像、帧间预测模式和向量索引以及从画面重排缓冲器1012所提供的图像，针对每个预测图像生成成本函数值。计算单元1035将预测图像和成本函数值、帧间预测模式以及与其相对应的向量索引提供给最佳模式确定单元1036。
最佳模式确定单元1036将从计算单元1035所提供的成本函数值最小的预测图像的帧间预测模式确定为最佳帧间预测模式。最佳模式确定单元1036将最佳帧间预测模式的预测图像和成本函数值提供给预测图像选择单元1026。
另外，在预测图像选择单元1026选择由合并帧间预测单元1030所生成的预测图像的情况下，最佳模式确定单元1036将包括代表最佳帧间预测模式的信息和作为运动视差向量信息的向量索引的帧间预测信息提供给无损编码单元1016。
(图像编码设备的处理的说明)
图4是示出了由图1所示的图像编码设备1000所执行的流生成处理的流程图。当输入多视点图像时开始此流生成处理。
在步骤S11中，图像编码设备1000的编码单元1001基于从设置单元1002所提供的基于用户输入等所设置的限制识别信息执行用于对每个视点的图像进行编码的编码处理。稍后将参照图5(将稍后描述)详细地描述此编码处理。
在步骤S12中，设置单元1002设置参数集，诸如包括限制识别信息的SPS以及PPS。在步骤S13中，设置单元1002通过将参数集相加到从编码单元1001所提供的编码数据生成编码流，并且将所生成的编码流提供给传送单元1003。
在步骤S14中，传送单元1003将从设置单元1002所提供的编码流传送到稍后描述的解码设备。
图5是详细地示出图4所示的步骤S11的编码处理的流程图。针对每个视点对多视点图像执行此编码处理。
在步骤S101中，A/D转换器1011对输入图像执行A/D转换。在步骤S102中，画面重排缓冲器1012存储A/D转换后的图像，并且将图片从显示顺序重排为编码顺序。
在步骤S103中，帧内预测单元1024执行预先准备的多个帧内预测模式的帧内预测处理，从而生成预测图像。另外，帧内预测单元1024基于预测图像和从画面重排缓冲器1012所提供的图像，针对每个帧内预测模式计算成本函数值。然后，帧内预测单元1024选择成本函数值最小的帧内预测模式作为最佳帧内预测模式。帧内预测单元1024将在最佳帧内预测模式中所生成的预测图像和成本函数值提供给预测图像选择单元1026。
在步骤S104中，运动视差预测/补偿单元1025通过基于从设置单元1002所提供的限制识别信息执行预先准备的多个帧间预测模式的帧间预测处理生成预测图像。另外，运动视差预测/补偿单元1025针对每个帧间预测模式基于预测图像和从画面重排缓冲器1012所提供的图像计算成本函数值。然后，运动视差预测/补偿单元1025选择成本函数值最小的帧间预测模式作为最佳帧间预测模式。运动视差预测/补偿单元1025将在最佳帧间预测模式中所生成的预测图像和成本函数值提供给预测图像选择单元1026。
在步骤S105中，预测图像选择单元1026选择从帧内预测单元1024所提供的预测图像和从运动视差预测/补偿单元1025所提供的预测图像之中具有较小成本函数值的预测图像。在选择从帧内预测单元1024所提供的预测图像的情况下，帧内预测单元1024将帧内预测信息提供给无损编码单元1016。另一方面，在选择从运动视差预测/补偿单元1025所提供的预测图像的情况下，运动视差预测/补偿单元1025将帧间预测信息提供给无损编码单元1016。
在步骤S106中，计算单元1013计算通过步骤S102的处理所重排的图像与通过步骤S105的处理所选择的预测图像之间的差分。所生成的差分信息的数据量小于原始图像的数据量。因此，与直接地对图像进行编码的情况相比，可以压缩数据量。
在步骤S107中，正交变换单元1014对通过步骤S106的处理所生成的差分信息执行正交变换。更具体地，执行诸如离散余弦变换或Karhuren-Loeve变换的正交变换，以及输出正交变换系数。在步骤S108中，量化单元1015对通过步骤S107的处理所获取的正交变换系数进行量化。
通过步骤S108的处理，如下地对量化的差分信息局部地进行解码。换言之，在步骤S109中，逆量化单元1018根据与量化单元1015的特性相对应的特性对通过步骤S108的处理所生成的量化正交变换系数执行逆量化。在步骤S110中，逆正交变换单元1019根据与正交变换单元1014的特性相对应的特性对通过步骤S109的处理所获取的正交变换系数执行逆正交变换。以这种方式，恢复差分信息。
在步骤S111中，计算单元1020将在步骤S105中所选择的预测图像相加到在步骤S110中所生成的差分信息，从而生成重构图像。
在步骤S112中，环路滤波器1021针对通过步骤S111的处理所获取的重构图像，适当地执行滤波器处理包括去块滤波器处理、自适应环路滤波器处理等，从而生成解码图像。环路滤波器1021将用于滤波器处理的滤波器系数等提供给无损编码单元1016。
在步骤S113中，解码图片缓冲器1022存储通过步骤S112的处理所生成的解码图像等，以及通过步骤S111的处理所生成的重构图像等。多视点解码图片缓冲器1027存储通过步骤S112的处理所生成的解码图像等。
在步骤S114中，无损编码单元1016对通过步骤S108的处理所量化的正交变换系数执行无损编码，从而生成编码图像。另外，无损编码单元1016对帧内预测信息或帧间预测信息、滤波器系数等进行编码，从而生成数据头信息。然后，无损编码单元1016基于编码图像和数据头信息生成编码数据。
在步骤S115中，累积缓冲器1017对通过步骤S114的处理所获取的编码数据进行累积。在累积缓冲器1017中所存储的编码数据被适当地读取并且被提供给图1所示的设置单元1002。
在步骤S116中，量化单元1015基于通过步骤S115的处理在累积缓冲器1017中所累积的编码数据的编码量(所生成的编码量)对量化操作的速率执行控制，使得不发生上溢或下溢。
当步骤S116的处理结束时，处理返回到图4所示的步骤S11，并且执行步骤S12的处理。
图6是示出了在图5所示的步骤S104的帧间预测处理中所包括的、为合并模式的帧间预测处理的合并帧间预测处理的流程图。当在合并模式中对多视点图像进行编码的情况下，以图片为单位执行此合并帧间预测处理。
在步骤S1201中，合并帧间预测单元1030的参考列表生成单元1031(图3)确定从设置单元1002所提供的限制识别信息(restricted_ref_pic_lists_flag)是否为“1”。当在步骤S1201中限制识别信息被确定为“1”的情况下，处理继续到步骤S1202。
在步骤S1202中，参考列表生成单元1031以图片为单位生成并且存储参考列表。被用于生成参考列表的信息，例如，由图2所示的无损编码单元106所编码，并且被包括在编码数据中作为数据头信息的一部分。
在步骤S1203中，选择单元1032在由参考列表生成单元1031所生成的参考列表L0中搜索具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。
更具体地，选择单元1032在参考列表L0中按照升序搜索一个或更多个参考索引，并且继续搜索直到发现具有与参考索引“0”的参考图片类型不同的参考图片类型的参考图像的参考图像指定信息为止。
例如，当参考索引“0”的参考图片类型为短期时，选择单元1032按照升序继续搜索一个或更多个参考索引，直到发现下述参考索引为止：该参考索引在条目中包括参考图片类型为长期的参考图像的参考图像指定信息。
另一方面，当对应于参考索引“0”的参考图片类型为长期时，选择单元1032按照升序继续搜索一个或更多个参考索引，直到发现下述参考索引为止：该参考索引在条目中包括参考图片类型为短期的参考图像的参考图像指定信息。选择单元1032将在所检索到的参考索引的条目中所包括的参考图像指定信息提供给预测图像生成单元1034。
在步骤S1204中，在由参考列表生成单元1031生成参考列表L1的情况下，与参考列表L0的情况类似，选择单元1032在参考列表L1中搜索具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。选择单元1032将在所检索到的参考索引的条目中所包括的参考图像指定信息提供给预测图像生成单元1034。另外，选择单元1032将在参考索引“0”的条目中所包括的参考图像指定信息提供给预测图像生成单元1034。
针对帧间预测模式的每个预测块执行随后的步骤S1205、S1206以及S1209至S1212的处理。
在步骤S1205中，合并候选列表生成单元1033生成合并候选列表，并且存储所生成的合并候选列表，该合并候选列表将所有并列块的参考图片类型连同相对应的运动视差向量一起作为用于预测向量的候选登记在条目中。
在步骤S1206中，预测图像生成单元1034针对合并候选列表的每个条目，确定当前块的参考图片类型与在条目中所包括的并列块的参考图片类型是否彼此一致。然后，参考图片类型彼此不同的情况下，预测图像生成单元1034在从选择单元1032所提供的参考图像指定信息之中，选择为“0”以外的参考索引的参考图像指定信息作为当前块的参考图像指定信息。
另一方面，在参考图片类型相同的情况下，预测图像生成单元1034在从选择单元1032所提供的参考图像指定信息之中，选择参考索引“0”的参考图像指定信息作为当前块的参考图像指定信息。然后，处理继续到步骤S1210。
另一方面，在步骤S1201中，在限制识别信息被确定为不为“1”的情况下，换言之，在限制识别信息为“0”的情况下，参考列表生成单元1031在步骤S1207中以切片为单位生成并且存储参考列表。例如，被用于生成此参考列表的信息由无损编码单元1016编码，并且被包括在编码数据中作为数据头信息的一部分。
在步骤S1208中，选择单元1032将所生成的参考列表的参考索引“0”的参考图像指定信息提供给预测图像生成单元1034。预测图像生成单元1034将参考图像指定信息设置为当前块的参考图像指定信息。
在步骤S1209中，合并候选列表生成单元1033确定当前块的参考图片类型与每个并列块的参考图片类型是否彼此一致。然后，在并列块的参考图片类型与当前块的参考图片类型不同的情况下，合并候选列表生成单元1033从用于预测向量的候选中排除并列块的运动视差向量，并且生成和存储合并候选列表。然后，处理继续到步骤S1210。
在步骤S1210中，预测图像生成单元1034基于由当前块的参考图像指定信息所指定的参考图像以及在合并候选列表的每个条目中所包括的预测向量生成预测图像。预测图像生成单元1034将所生成的预测图像连同帧间预测模式以及与其相对应的向量索引一起提供给计算单元1035。
在步骤S1211中，计算单元1035基于从预测图像生成单元1034所提供的预测图像、帧间预测模式和向量索引以及从画面重排缓冲器1012所提供的图像，针对每个预测图像生成成本函数值。计算单元1035将预测图像和成本函数值、帧间预测模式以及与其相对应的向量索引提供给最佳模式确定单元1036。
在步骤S1212中，最佳模式确定单元1036选择从计算单元1035所提供的成本函数值最小的预测图像的帧间预测模式作为最佳帧间预测模式。最佳模式确定单元1036将最佳帧间预测模式的预测图像和成本函数值提供给预测图像选择单元1026。然后，处理结束。
(图像解码设备的配置示例)
图7是示出了作为应用了本公开的图像处理装置、根据第一实施例对从图1所示的图像编码设备1000所传送的编码流进行解码的图像解码设备的配置的示例的框图。
图7所示的图像解码设备1100由下述构成：接收单元1101；提取单元1102；以及解码单元1103。
图像解码设备1100的接收单元1101接收从图像编码设备1000所传送的编码流，并且将所接收的编码流提供给提取单元1102。
提取单元1102在从接收单元1101所提供给的编码流中提取诸如包括限制识别信息的SPS和PPS的参数集以及多视点图像的编码数据，并且将参数集和多视点图像的编码数据提供给解码单元1103。
解码单元1103使用与图像编码设备1000相对应的系统、针对从提取单元1102所提供的编码数据、根据运动预测或视差预测执行帧内解码或帧间解码。更具体地，当在从提取单元1102所提供的SPS中所包括的限制识别信息为“1”的情况下，在合并模式中，解码单元1103使用在非专利文献2中所描述的方法执行合并的TMVP。解码单元1013将作为解码处理的结果所获取的多视点图像输出。
(解码单元的配置示例)
图8是示出了图7所示的解码单元1103的配置的示例的框图。
图8所示的解码单元1103通过使用与图2所示的编码单元1001相对应的系统针对每个视点对多视点图像进行解码。
解码单元1103包括：累积缓冲器1121；无损解码单元1122；逆量化单元1123；逆正交变换单元1124；计算单元1125；环路滤波器1126；画面重排缓冲器1127；以及D/A转换器1128。另外，解码单元1103包括：解码图片缓冲器1129；选择单元1130；帧内预测单元1131；运动视差补偿单元1132；选择单元1133；以及多视点解码图片缓冲器1134。
累积缓冲器1121对从图7所示的提取单元1102所提供的编码数据进行累积并且以预定的定时将编码数据提供给无损解码单元1122。无损解码单元1122通过使用与无损编码单元1016的编码系统相对应的系统对从累积缓冲器1121所提供的编码数据进行解码。无损解码单元1122将通过解码处理所获取的量化正交变换系数提供给逆量化单元1123。
另外，无损解码单元1122将通过对编码数据进行解码所获取的帧内预测信息提供给帧内预测单元1131，并且将帧间预测信息等提供给运动视差补偿单元1132。无损解码单元1122将通过对编码数据进行解码所获取的滤波器系数等提供给环路滤波器1126。
逆量化单元1123通过使用与图2所示的量化单元1015的量化系统相对应的系统对从无损解码单元1122所提供的量化正交变换系数执行逆量化，并且将所获取的正交变换系数提供给逆正交变换单元1124。逆正交变换单元1124通过使用与图2所示的正交变换单元1014的正交变换系统相对应的系统对从逆量化单元1123所提供的正交变换系数执行逆正交变换。
通过逆正交变换处理所获取的差分信息被提供给计算单元1125。另外，预测图像通过选择单元1133从帧内预测单元1131或运动视差补偿单元1132被提供给计算单元1125。
计算单元1125通过将差分信息与预测图像相加在一起获取重构图像。计算单元1125将重构图像提供给环路滤波器1126和解码图片缓冲器1129。
类似于图2所示的环路滤波器1121，环路滤波器1126通过使用从无损解码单元1122所提供的滤波器系数等针对从计算单元1125所提供的重构图像执行滤波器处理，从而生成解码图像。
环路滤波器1126将解码图像提供给画面重排缓冲器1127和解码图片缓冲器1129。
画面重排缓冲器1127对所提供的解码图像进行重排。换言之，由图2所示的画面重排缓冲器1012按照编码顺序所重排的帧的顺序被重排为原始显示顺序。D/A转换器1128对从画面重排缓冲器1127所提供的解码图像执行D/A转换，并且将转换后的解码图像输出到在附图中未示出的显示器，以便被显示在其上。
解码图片缓冲器1129存储所提供的重构图像、该图像的视图ID和POC、解码图像以及该图像的视图ID和POC。另外，解码图片缓冲器1129以预定的定时或基于来自帧内预测单元1131等的外部请求，将所存储的重构图像以及该图像的视图ID和POC通过选择单元1130提供给帧内预测单元1131。
另外，解码图片缓冲器1129以预定的定时或基于来自运动视差补偿单元1132等的外部请求，将所存储的解码图像以及该图像的视图ID和POC通过选择单元1130提供给运动视差补偿单元1132。
帧内预测单元1131基于由从无损解码单元1122所提供的帧内预测模式信息所代表的帧内预测信息，通过选择单元1130从解码图片缓冲器1129获取重构图像，并且将所获取的重构图像设置为预测图像。帧内预测单元1131通过选择单元1133将预测图像提供给计算单元1125。
运动视差补偿单元1132基于从无损解码单元1122所提供的帧间预测信息以及从提取单元1102所提供的限制识别信息读取解码图像作为参考图像，并且针对所读取的解码图像执行补偿处理。运动视差补偿单元1132将作为其结果所生成的预测图像通过选择单元1133提供给计算单元1125。
选择单元1133将从帧内预测单元1131所提供的预测图像或从运动视差补偿单元1132所提供的预测图像提供给计算单元1125。
虽然解码图片缓冲器1129仅存储当前处理视点的图像以及该图像的视图ID和POC时，但是多视点解码图片缓冲器1134存储每个视点的图像以及该图像的视图ID和POC。换言之，多视点解码图片缓冲器1134获取被提供给解码图片缓冲器1129的解码图像以及该解码图像的视图ID和POC，并且将解码图像以及该解码图像的视图ID和POC连同解码图片缓冲器1129一起存储。
在当前处理视点发生改变时，解码图片缓冲器1129移除解码图像，但是多视点解码图片缓冲器1134如原样地存储解码图像。然后，多视点解码图片缓冲器1134响应于来自解码图片缓冲器1129的请求等将所存储的解码图像以及该解码图像的视图ID和POC提供给解码图片缓冲器1129作为“除了当前处理视点之外的视点的解码图像”。解码图片缓冲器1129将从多视点解码图片缓冲器1134所读取的“除了当前处理视点之外的视点的解码图像以及该解码图像的视图ID和POC”通过选择单元1130提供给运动视差补偿单元1132。
(合并帧间预测单元的配置示例)
图9是示出在图8所示的运动视差补偿单元1132中所包括的、在合并模式中执行帧间预测的合并帧间预测单元1150的配置的示例的框图。
图9所示的合并帧间预测单元1150由下述构成：参考列表生成单元1151；选择单元1152；合并候选列表生成单元1153；以及预测图像生成单元1154。
合并帧间预测单元1150的参考列表生成单元1151基于从无损解码单元1122所提供的用于生成参考列表的信息以及限制识别信息，生成与由图3所示的参考列表生成单元1301所生成的参考列表相同的参考列表。参考列表被存储在参考列表生成单元1151中。
类似于图3所示的选择单元1032，选择单元1152基于从提取单元1102所提供的限制识别信息，从参考列表中选择具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。选择单元1152将所选择的参考索引的参考图像指定信息以及参考索引“0”的参考图像指定信息提供给预测图像生成单元1154。
类似于图3所示的合并候选列表生成单元1033，合并候选列表生成单元1153基于限制识别信息，针对由从图8所示的无损解码单元1122所提供的帧间预测信息所指示的帧间预测模式的预测块生成合并候选列表。合并候选列表生成单元1153存储所生成的合并候选列表。
预测图像生成单元1154从合并候选列表读取在帧间预测信息中所包括的向量索引的条目。当在所读取的条目中所包括的参考图片类型与当前块的参考图片类型相同的情况下，预测图像生成单元1154从选择单元1152获取参考索引“0”的参考图像指定信息。
另一方面，当在条目中所包括的参考图片类型与当前块的参考图片类型不同的情况下，预测图像生成单元1154从选择单元1152获取参考索引“0”之外的参考索引的参考图像指定信息。预测图像生成单元1154通过选择单元1130从解码图片缓冲器1022获取由所获取的参考图像指定信息所指定的参考图像。
预测图像生成单元1154通过基于在条目中所包括的运动视差向量针对所读取的参考图像执行补偿处理生成预测图像。预测图像生成单元1154将所生成的预测图像提供给选择单元1133。
(图像解码设备的处理的说明)
图10是示出由图7所示的图像解码设备1100所执行的图像生成处理的流程图。例如，当从图像编码设备1000传送了编码流时开始此图像生成处理。
在步骤S1221中，图像解码设备1100的接收单元1101接收从图像编码设备1000所传送的编码流，并且将所接收的编码流提供给提取单元1102。
在步骤S1222中，提取单元1102在从接收单元1101所提供的编码流中提取诸如包括限制识别信息的SPS和PPS的参数集以及编码数据，并且将参数集以及编码数据提供给解码单元1103。
在步骤S1223中，解码单元1103通过使用与图像编码设备1000相对应的系统，针对每个视点对从提取单元1102所提供的编码数据执行解码处理。将参照稍后描述的图11详细地描述此解码处理。在步骤S1223的处理之后，处理结束。
图11是详细地示出了图10所示的步骤S1223的解码处理的流程图。针对每个视点对多视点图像的编码数据执行此解码处理。
在步骤S1241中，累积缓冲器1121对从提取单元1102所提供的编码数据进行累积。在步骤S1242中，无损解码单元1122对从累积缓冲器1121所提供的编码数据执行无损解码。无损解码单元1122将通过解码处理所获取的量化正交变换系数提供给逆量化单元1123。
另外，无损解码单元1122将通过对编码数据进行解码所获取的帧内预测信息提供给帧内预测单元1131，并且将帧间预测信息等提供给运动视差补偿单元1132。无损解码单元1122将通过对编码数据进行解码所获取的滤波器系数等提供给环路滤波器1126。
在步骤S1243中，逆量化单元1123通过使用与图2所示的量化单元1015的量化系统相对应的系统对从无损解码单元1122所提供的量化正交变换系数执行逆变换，并且将所获取的正交变换系数提供给逆正交变换单元1124。
在步骤S1244中，逆正交变换单元1124通过使用与图2所示的正交变换单元104的正交变换系统相对应的系统对从逆量化单元1123所提供的正交变换系数执行逆正交变换。逆正交变换单元1124通过逆正交变换获取差分信息，并且将所获取的差分信息提供给计算单元1125。
在步骤S1245中，当从无损解码单元1122提供帧内预测信息时，帧内预测单元1131基于帧内预测信息执行帧内预测处理。另外，当从无损解码单元1122提供帧间预测信息时，运动视差补偿单元1132基于帧间预测信息和从提取单元1102所提供的限制识别信息执行帧间预测处理。作为帧内预测处理或帧间预测处理的结果所获取的预测图像通过选择单元1133被提供给计算单元1125。
在步骤S1246中，计算单元1125将差分信息与预测图像相加到一起，从而生成重构图像。
在步骤S1247中，环路滤波器1126通过使用从无损解码单元1122所提供的滤波器系数等针对由计算单元1125所生成的重构图像执行滤波器处理。因此，生成解码图像。
在步骤S1248中，画面重排缓冲器1127对由环路滤波器1126所生成的解码图像进行重排。换言之，由编码单元1001的画面重排缓冲器1012针对编码所重排的帧的顺序被重排为原始显示顺序。
在步骤S1249中，D/A转换器1128对已经由画面重排缓冲器1127重排的解码图像执行D/A转换。此解码图像被输出到在附图中未示出的显示器，以便被显示在其上。
在步骤S1250中，解码图片缓冲器1129和多视点解码图片缓冲器1134存储由环路滤波器1126所生成的解码图像等。此解码图像被用作用于帧间预测处理的参考图像。另外，解码图片缓冲器1129存储由计算单元1125所生成的重构图像等。此重构图像被用作用于帧内预测处理的周边图像。
当步骤S1250的处理结束时，处理返回到图10所示的步骤S1223，并且处理结束。
图12是示出了在图11所示的步骤S1245的预测处理中所包括的为合并模式的帧间预测处理的合并帧间预测处理的流程图。当在合并模式中对多视点图像进行解码的情况下，以图片为单位执行此合并帧间预测处理。
在图12所示的步骤S1301中，合并帧间预测单元1150的参考列表生成单元1151(图9)确定从提取单元1102所提供的限制识别信息(restricted_ref_pic_lists_flag)是否为“1”。当在步骤S1301中限制识别信息被确定为“1”的情况下，处理继续到步骤S1302。
在步骤S1302中，参考列表生成单元1151基于从无损解码单元1122所提供的用于生成参考列表的信息以图片为单位生成并且存储参考列表。
在步骤S1303中，选择单元1152在由参考列表生成单元1151所生成的参考列表L0中搜索具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。
在步骤S1304中，类似于参考列表L0的情况，在由参考列表生成单元1031生成参考列表L1的情况下，选择单元1152在参考列表L1中搜索具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。
以由帧间预测信息所指示的最佳帧间预测模式的预测块为单位执行步骤S1305、S1306、S1309以及S1310的随后的处理。
在步骤S1305中，合并候选列表生成单元1153生成合并候选列表，并且存储所生成的合并候选列表，该合并候选列表将所有并列块的参考图片类型连同相对应的运动视差向量一起作为用于预测向量的候选登记在条目中。
在步骤S1306中，预测图像生成单元1154确定当前块的参考图片类型与在帧间预测信息中所包括的向量索引的合并候选列表的条目中所包括的并列块的参考图片类型是否彼此一致。然后，在参考图片类型彼此不同的情况下，预测图像生成单元1034在从选择单元1152所提供的参考图像指定信息之中选择为“0”以外的参考索引的参考图像指定信息作为当前块的参考图像指定信息。
另一方面，在参考图片类型相同的情况下，预测图像生成单元1154在从选择单元1152所提供的参考图像指定信息之中，选择参考索引“0”的参考图像指定信息作为当前块的参考图像指定信息。
然后，处理继续到步骤S1310。
另一方面，在步骤S1301中，在限制识别信息被确定为不为“1”的情况下，换言之，在限制识别信息为“0”的情况下，在步骤S1307中，参考列表生成单元1151基于从无损解码单元1122所提供的用于生成参考列表的信息以切片为单位生成并且存储参考列表。
在步骤S1308中，选择单元1152将所生成的参考列表的参考索引“0”的参考图像指定信息提供给预测图像生成单元1154。预测图像生成单元1154将参考图像指定信息设置为当前块的参考图像指定信息。
在步骤S1309中，合并候选列表生成单元1153确定当前块的参考图片类型与每个并列块的参考图片类型是否彼此一致。然后，在并列块的参考图片类型与当前块的参考图片类型不同的情况下，合并候选列表生成单元1153从用于预测向量的候选中排除并列块的运动视差向量，以及生成并且存储合并候选列表。然后，处理继续到步骤S1310。
在步骤S1310中，预测图像生成单元1154基于由当前块的参考图像指定信息所指定的参考图像以及在帧间预测信息的向量索引的合并候选列表的条目中所包括的预测向量生成预测图像。然后，处理结束。
在非专利文献2所公开的发明中，以切片为单位针对具有与参考索引“0”的参考图片类型不同的参考图片类型的最小参考索引执行搜索。在HEVC标准中，作为切片，图片可以被分割为最大上至600个切片。另外，作为参考索引的数量，在每个列表中可以分配最大16个参考索引。因此，在非专利文献2的搜索处理中执行搜索的次数在最差的情况下为：600(切片的数量)×[15(L0的参考索引数量“16”-1(因为从索引“1”起开始执行搜索))+15(L1的参考索引数量“16”-1(因为从索引“1”起开始执行搜索))]＝18000次。
与此相反，在第一实施例中，仅在限制识别信息为“1”的情况下，以图片为单位针对具有与参考索引“0”的参考图片类型不同的参考图片类型的最小参考索引执行搜索。因此，执行搜索的次数在最差的情况下可以减少至30次，其为上述次数的1/600。
<2.第二实施例>
(图像编码设备的配置示例)
图13是示出了作为应用了本公开的图像处理装置、根据第二实施例的图像编码设备的配置的示例的框图。
图13所示的图像编码设备由下述构成：编码单元1301；设置单元1302；以及传送单元1303。图像编码设备1300基于识别参考列表中的改变的改变识别信息(lists_modification_present_flag)针对具有与参考索引“0”的参考图片类型不同的参考图片类型的最小的参考索引执行搜索。
更具体地，图像编码设备1300的编码单元1301针对从外部所输入的多视点图像根据运动预测或视差预测执行帧内预测或帧间预测。当执行帧间编码处理时，编码单元1301参考从设置单元1302所提供的改变识别信息。
如更详细地描述地，在改变识别信息为指示参考列表发生改变的“1”的情况下，编码单元1301通过使用在非专利文献2中所描述的方法在合并模式中执行合并的TMVP。换言之，编码单元1301针对具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值执行搜索。
在改变识别信息为指示参考列表尚未发生改变的“0”的情况下，在合并模式中，编码单元1301未针对参考索引的最小值执行搜索，而是将预定参考索引设置为具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引。编码单元1301将作为编码处理的结果所获取的编码数据提供给设置单元1302。
设置单元1302基于用户输入等设置改变识别信息、包括短期图片的数量的RPS(参考图集)、长期图片的数量、参考图像的数量等，并且将其提供给编码单元1301。在此，短期图片是参考图片类型为短期的参考图像，而长期图片是参考图片类型为长期的参考图像。
设置单元1302设置长期图片的数量、包括参考图像的数量等的SPS、包括改变识别信息的PPS等。设置单元1302通过将诸如SPS、PPS或RPS的参数集相加到从编码单元1301所提供的编码数据来生成编码流，并且将所生成的编码流提供给传送单元1303。
传送单元1303将从设置单元1302所提供的编码流传送到稍后描述的解码设备。
(编码单元的配置示例)
除了运动视差预测/补偿单元1025的合并帧间预测单元之外，图13所示的编码单元1301的配置与图2所示的编码单元1001的配置相同。因此，在此，将仅描述编码单元1301的合并帧间预测单元的配置。
(合并帧间预测单元的配置示例)
图14是示出了图13所示的编码单元1301的合并帧间预测单元1320的配置的框图。
在图14所示的配置之中，为与图3所示的配置相同的配置分配相同的附图标记，并且适当地将不介绍重复的说明。
在图14所示的合并帧间预测单元1320的配置中，与图3所示的合并帧间预测单元1030的配置不同之处在于，代替参考列表生成单元1031、选择单元1032以及合并候选列表生成单元1033布置参考列表生成单元1321、选择单元1322以及合并候选列表生成单元1323。
合并帧间预测单元1320的参考列表生成单元1321以切片为单位生成参考列表并且存储参考列表。作为生成参考列表的方法，可以使用与参考列表生成单元1031的方法类似的方法。
选择单元1322从在参考列表生成单元1321中所存储的参考列表中检测参考索引“0”的参考图像指定信息，并且将所检测到的参考图像指定信息提供给预测图像生成单元1034。另外，在从设置单元1302所提供的改变识别信息为“1”的情况下，选择单元1322从参考列表中选择具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。选择单元1032将参考索引的参考图像指定信息提供给预测图像生成单元1034。
另一方面，在改变识别信息为“0”的情况下，选择单元1322基于从设置单元1302所提供的RPS、长期图片的数量、参考图像的数量等选择与不同于参考索引“0”的参考图片类型相对应的参考索引的最小值。选择单元1032从参考列表中检测参考索引的参考图像指定信息，并且将所检测到的参考图像指定信息提供给预测图像生成单元1034。
合并候选列表生成单元1323生成合并候选列表，合并候选列表用于将所有并列块的参考图片类型连同相对应的运动视差向量一起作为用于预测向量的候选登记在条目中。合并候选列表生成单元1033存储所生成的合并候选列表。
(图像编码设备的说明)
图15是示出了由图13所示的图像编码设备1300所执行的流生成处理的流程图。当输入多视点图像时开始此流生成处理。
在步骤S1321中，图像编码设备1300的编码单元1301基于从设置单元1302所提供的改变识别信息执行用于对每个视点的图像进行编码的编码处理。稍后将详细地描述此编码处理。
在步骤S1322中，设置单元1302基于用户的输入等设置改变识别信息并且将所设置的改变识别信息提供给编码单元1301，以及设置包括改变识别信息的PPS。另外，设置单元1302设置长期图片的数量和参考图像的数量并且将所设置的数量提供给编码单元1301，以及设置包括长期图片的数量、参考图像的数量等的SPS。另外，设置单元1302设置包括短期图片的数量的RPS，并且将所设置的RPS提供给编码单元1301。
在步骤S1323中，设置单元1302通过将诸如SPS、PPS以及RPS的参数集相加到从编码单元1301所提供的编码数据生成编码流，并且将所生成的编码流提供给传送单元1303。
在步骤S1324中，传送单元1303将从设置单元1302所提供的编码流传送到稍后描述的解码设备，并且处理结束。
除了合并帧间预测处理之外，图15所示的步骤S1321的编码处理与图5所示的编码处理类似。因此，在下文中，将仅描述合并帧间预测处理。
图16是示出了由图像编码设备1300的合并帧间预测单元1320(图14)所执行的合并帧间预测处理的流程图。当在合并模式中对多视点图像进行编码的情况下，以切片为单位执行此合并帧间预测处理。
在图16所示的步骤S1400中，合并帧间预测单元1320的参考列表生成单元1321生成参考列表并且存储参考列表。例如，被用于生成此参考列表的信息被编码，并且被包括在编码数据中作为数据头信息的一部分。
在步骤S1401中，选择单元1322确定从设置单元1302所提供的改变识别信息(lists_modification_present_flag)是否为指示参考列表尚未发生改变的“0”。
当在步骤S1401中改变识别信息被确定为“0”的情况下，处理继续到步骤S1402。在步骤S1402中，选择单元1322执行参考索引指定处理，该参考索引指定处理用于指定具有与参考索引为“0”的参考图片类型不同的参考图片类型的参考索引的最小值。稍后将参照图17详细地描述此参考索引指定处理。在步骤S1402的处理之后，处理继续到步骤S1405。
另一方面，当在步骤S1401中改变识别信息被确定为为“0”以外的情况下，换言之，当改变识别信息为“1”的情况下，处理继续到步骤S1403。步骤S1403至S1409的处理与图6所示的步骤S1203至S1206以及S1210至S1212的处理类似，并且将不介绍其说明。在步骤S1409的处理之后，处理结束。
图17是详细地示出了图16所示的步骤S1402的参考索引指定处理的流程图。
在图17所示的步骤S1451中，选择单元1322获取在从设置单元1302所提供的RPS中所包括的短期图片的数量。在步骤S1452中，选择单元1322获取在从设置单元1302所提供的SPS中所包括的长期图片的数量。在此，长期图片的数量可以被包括在切片数据头中。
在步骤S1453中，选择单元1322获取在从设置单元1302所提供的PPS中所包括的参考图像的数量。在此，参考图像的数量可以被包括在切片数据头中。另外，针对参考列表L0和参考列表L1中的每个执行步骤S1454至S1457的随后的处理。
在步骤S1454中，选择单元1322确定参考图像的数量是否为两个或更多个。当在步骤S1454中参考图像的数量被确定为两个或更多个的情况下，选择单元1322在步骤S1455中确定长期图片的数量是否为一个或更多个。
当在步骤S1455中长期图片的数量被确定为一个或更多个的情况下，选择单元1322在步骤S1456中确定短期图片的数量是否为一个或更多个。
当在步骤S1456中短期图片的数量被确定为一个或更多个的情况下，选择单元1322在步骤S1457中确定短期图片的总数量是否小于参考图像的数量。
当在步骤S1457中短期图片的总数量被确定为小于参考图像的数量的情况下，换言之，当在参考列表中登记有短期图片和长期图片两者的参考图像指定信息的情况下，处理继续到步骤S1458。在步骤S1458中，选择单元1322获取第一长期图片的参考索引。
在此，在改变识别信息为“0”的情况下，如图18所示，按照短期和长期的顺序分配较小的参考索引。因此，因为参考索引0必须为短期，所以选择单元1322可以搜索第一长期图片的参考索引。因为可以从RPS获取在参考列表内的短期图片的数量，所以选择单元1322获取该数量作为具有最小的参考索引的第一长期图片的参考索引。选择单元1322将该参考索引和参考索引“0”的参考图像指定信息提供给预测图像生成单元1034。然后，处理返回到图16所示的步骤S1402，以及处理继续到步骤S1405。
另一方面，当在步骤S1454至S1457的处理中确定了“否”的情况下，处理继续到步骤S1459。
在步骤S1459中，选择单元1322将所生成的参考列表的参考索引“0”的参考图像指定信息提供给预测图像生成单元1034。预测图像生成单元1034将其参考图像指定信息设置为当前块的参考图像指定信息。
在步骤S1460中，合并候选列表生成单元1323确定参考索引“0”的参考图片类型与每个并列块的参考图片类型是否彼此一致。然后，在并列块的参考图片类型与参考指标“0”的参考图片类型不同的情况下，合并候选列表生成单元1323从用于预测向量的候选中排除并列块的运动视差向量，并且生成合并候选列表。然后，处理继续到图16中所示的步骤S1407，并且执行步骤S1407以及在其之后处的处理。
(解码设备的配置示例)
图19是示出了作为应用了本公开的图像处理装置的、根据第二实施例对从图13所示的图像编码设备1300所传送的编码流进行解码的图像解码设备的配置的示例的框图。
图19所示的图像解码设备1400由下述构成：接收单元1401；提取单元1402；以及解码单元1403。
图像解码设备1400的接收单元1401接收从图像编码设备1300所传送的编码流，并且将所接收的编码流提供给提取单元1402。
提取单元1402在从接收单元1401所提供给的编码流中提取诸如SPS、包括改变识别信息的PPS和RPS的参数集以及编码数据，并且将参数集和编码数据提供给解码单元1403。
解码单元1403通过使用与图像编码设备1300相对应的系统，针对从提取单元1402所提供的编码数据，根据运动预测或视差预测执行帧内解码或帧间解码。更具体地，当在从提取单元1102所提供的PPS中所包括的改变识别信息为“1”的情况下，解码单元1103在合并模式中搜索具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引。
另一方面，在改变识别信息为“0”的情况下，在合并模式中，编码单元1301不搜索参考索引，而将预定的参考索引设置为具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引。解码单元1403将作为解码处理的结果所获取的多视点图像输出。
(解码单元的配置示例)
除了运动视差补偿单元1132的合并帧间预测单元1103之外，图19所示的解码单元1403的配置与图8所示的解码单元1103的配置相同。因此，在此，将仅描述解码单元1403的合并帧间预测单元的配置。
(合并帧间预测单元的配置示例)
图20是示出了图19所示的解码单元1403的合并帧间预测单元1420的配置的框图。
在图20所示的配置之中，为与图9所示的配置相同的配置分配相同的附图标记，并且适当地将不介绍重复的说明。
在图20所示的合并帧间预测单元1420的配置中，与图9所示的合并帧间预测单元1150的配置的不同之处在于，代替参考列表生成单元1151、选择单元1152以及合并候选列表生成单元1153布置参考列表生成单元1421、选择单元1422以及合并候选列表生成单元1423。
合并帧间预测单元1420的参考列表生成单元1421基于从无损解码单元1122所提供的用于生成参考列表的信息，以切片为单位生成与由图14所示的参考列表生成单元1321所生成的参考列表相同的参考列表。参考列表被存储在参考列表生成单元1421中。
类似于图14所示的选择单元1322，选择单元1422基于从提取单元1102所提供的改变识别信息从参考列表中选择具有与参考索引“0”的参考图片类型不同的参考图片类型的参考索引的最小值。选择单元1422将所选择的参考索引的参考图像指定信息以及参考索引“0”的参考图像指定信息提供给预测图像生成单元1154。
类似于图14所示的合并候选列表生成单元1323，合并候选列表生成单元1423针对由从无损解码单元1122所提供的帧间预测信息所指示的帧间预测模式的预测块，生成合并候选列表。合并候选列表生成单元1423存储所生成合并候选列表。
(图像解码设备的处理的说明)
图21是示出了由图19所示的图像解码设备1400所执行的图像生成处理的流程图。例如，当从图像编码设备1300传送编码流时开始此图像生成处理。
在步骤S1471中，图像解码设备1400的接收单元1401接收从图像编码设备1300所传送的编码流，并且将所接收的编码流提供给提取单元1402。
在步骤S1472中，提取单元1402在从接收单元1401所提供的编码流中提取诸如SPS、包括改变识别信息的PPS和RPS的参数集以及编码数据，并且将参数集和编码数据提供给解码单元1403。
在步骤S1473中，解码单元1403通过使用与图像编码设备1300相对应的系统针对每个视点对从提取单元1402所提供的编码数据执行解码处理。稍后将详细描述此解码处理。在步骤S1473的处理之后，处理结束。
除了合并帧间预测处理之外，图21所示的步骤S1473的解码处理与图11所示的解码处理相同。因此，在下文中，将仅描述合并帧间预测处理。
图22是示出了由图20所示的合并帧间预测单元1420所执行的合并帧间预测处理的流程图。当在合并模式中对多视点图像进行解码的情况下，以切片为单位执行此合并帧间预测处理。
在图22所示的步骤S1500中，合并帧间预测单元1420的参考列表生成单元1421基于从无损解码单元1122所提供的用于生成参考列表的信息生成并且存储参考列表。
在步骤S1401中，选择单元1422确定从提取单元1402所提供的改变识别信息(lists_modification_present_flag)是否为“0”。当在步骤S1501中改变识别信息被确定为“0”的情况下，处理继续到步骤S1502。
在步骤S1502中，选择单元1422执行图17所示的参考索引指定处理。然而，以由帧间预测信息所指示的最佳帧间预测模式的预测块为单位执行步骤S1460的处理。在步骤S1502的处理之后，处理继续到步骤S1505。
另一方面，当在步骤S1501中改变识别信息被确定为“1”的情况下，处理继续到步骤S1503。步骤S1503至S1507的处理类似于图12所示的步骤S1303至S1306以及S1310的处理，并且将不介绍其说明。在步骤S1507的处理之后，处理结束。
如上所述，在第二实施例中，在改变识别信息为“0”的情况下，未针对参考索引执行搜索，而是通过参考索引指定处理来指定参考索引，借此可以减少处理量。
另外，可以将第一实施例和第二实施例组合到一起。在这样的情况下，基于限制识别信息和改变识别信息执行合并帧间预测处理。另外，在第二实施例中，参考列表可以被配置为以图片为单位生成。
此外，以上所述的处理系列还可以应用到层级图像编码(空间可伸缩性)/层级图像解码(多层编码器/解码器)。换言之，同样地在执行层级图像编码/层级图像解码的情况下，可以减少处理量。
另外，例如，本技术可以应用到通过诸如卫星广播、有线电视、互联网或移动电话的网络介质接收类似于MPEG、H.26x等使用诸如离散余弦变换的正交变换和运动补偿而压缩的图像信息(比特流)时所使用的图像编码设备和图像解码设备。另外，本技术可以应用到当在诸如光盘、磁盘或闪速存储器的存储介质上对信息进行处理时所使用的图像解码设备和图像解码设备。此外，本技术还可以应用到在以上所述的图像编码设备和图像解码设备中所包括的运动预测/补偿装置等。
<3.第三实施例>
(计算机的配置示例)
以上所述的处理系列可以通过硬件或通过软件执行。在通过软件执行处理系列的情况下，构成软件的程序被安装到计算机。在此，计算机包括内置在专用硬件中的计算机、诸如通过将各种程序安装至其可以执行各种功能的共同使用个人计算机的计算机等。
如图23所示，个人计算机1700的CPU(中央处理单元)1701根据在ROM(只读存储器)1702中所存储的程序或从存储单元1713载入到RAM(随机存取存储器)1703中的程序执行各种处理。在RAM 1703中根据需要还存储有CPU 1701执行各种处理所需要的数据等。
CPU 1701、ROM 1702以及RAM 1703通过总线1704彼此互联。输入/输出接口1710也连接至总线1704。
使用键盘、鼠标等配置的输入单元1711；使用由CRT(阴极射线管)、LCD(液晶显示器)等构成的显示器、扬声器等配置的输出单元1712；使用硬盘等配置的存储单元1713；以及由调制解调器等配置的通信单元1714连接至输入/输出接口1710。通信单元1714通过包括互联网的网络执行通信处理。
驱动器1715根据需要连接到输入/输出接口1710，诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质1721适当地安装在其上，以及从其所读取的计算机程序根据需要被安装到存储单元1713。
在通过软件执行以上所述的处理系列的情况下，从网络或记录介质安装构成软件的程序。
如图23所示地，例如，记录介质不仅由程序被记录在其中、被分发至用户以用于与装置主体分离地分发程序的可移除介质1721构成，而且还由程序被记录在其中、以预先嵌入装置主体、存储单元1173中所包括的硬盘等的状态被分发至用户的ROM 1702构成，可移除介质1721由下述构成：磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘只读存储器)、DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器。
另外由计算机所执行的程序可以是按照在本说明书中所描述的序列以时间序列执行处理的程序，或可以是以并行方式或在需要的定时(诸如被调用的定时)处执行处理的程序。
此外，在本说明书中，描述被记录在记录介质上的程序的步骤不仅包括按照所描述的序列以时间序列所执行的处理，而且还包括以并行方式或以独立的方式所执行的处理，而无需一定以时间序列进行处理。
另外，在本说明书中，系统代表由多个装置(设备)所构成的整个设备。
此外，以上被描述为一个装置(或一个处理单元)的配置可以被分割以便被配置为多个装置(或处理单元)。与此相反，以上被描述为多个装置(或处理单元)的配置可以被布置以配置为一个装置(或处理单元)。另外，以上尚未描述的配置可以被相加到每个装置(或每个处理单元)的配置。只要系统的整体配置和整体操作基本上相同，则特定的装置(或特定的处理单元)的配置的一部分可以被配置为被包括在另一装置(或另一处理单元)的配置中。换言之，本技术不限于以上所述的实施例，而且在不背离本技术的概念的范围中可以进行各种改变。
<4.第四实施例>
根据以上所述的实施例的图像编码设备和图像解码设备可以被应用到各种电子设备，诸如，用于诸如卫星广播或有线电视的有线广播、互联网上的传输、通过蜂窝通信到终端的传输等的传送器或接收器；将图像记录在诸如光盘、磁盘或闪速存储器的介质上的记录设备；或从存储介质对图像进行再现的再现设备。在下文中，将描述四个应用示例。
<第一应用示例：电视机接收器>
图24示出了应用了以上所述的实施例的电视机设备的示意性配置的示例。电视机设备1900包括天线1901、调谐器1902、解复用器1903、解码器1904、视频信号处理单元905、显示单元1906、音频信号处理单元1907、扬声器1908、外部接口1909、控制单元1910、用户接口1911以及总线1912。
调谐器1902从通过天线1901所接收的广播信号中提取期望的频道的信号，并且对所提取的信号进行解调。然后，调谐器1902将通过解调所获取的编码比特流输出到解复用器1903。换言之，调谐器1902用作接收在其中图像被编码的编码流的电视机设备1900的传送单元。
解复用器1903从编码比特流中分离要被观看的节目的视频流和音频流，并且将每个所分离的流输出到解码器1904。另外，解复用器1903从编码比特流提取诸如EPG(电子节目向导)的辅助数据，并且将所提取的数据提供给控制单元1910。此外，在编码比特流是加扰的情况下，解复用器1903可以执行解扰。
解码器1904对从解复用器1903所输入的视频流和音频流进行解码。然后，解码器1904将通过解码处理所生成的视频数据输出到视频信号处理单元1905。另外，解码器1904将通过解码处理所生成的音频数据输出到音频信号处理单元1907。
视频信号处理单元1905对从解码器1904所输入的视频数据进行再现，并且使得显示单元1906显示视频。视频信号处理单元1905还可以使得显示单元1906显示通过网络所提供的应用画面。另外，视频信号处理单元1905可以根据设置针对视频数据执行额外的处理，诸如噪声移除。此外，视频信号处理单元1905可以生成GUI(图形用户接口)图像，诸如菜单、按钮以及光标，并且将所生成的图像叠加在输出图像上。
根据从视频信号处理单元1905所提供的驱动信号驱动显示单元1906，以便在显示装置(例如，液晶显示器、等离子显示器、OELD(有机电致发光显示器)(有机EL显示器)等)的视频画面上显示视频或图像。
音频信号处理单元1907针对从解码器1904所输入的音频数据执行诸如D/A转换和放大的再现处理，并且使得扬声器1908输出音频。另外，音频信号处理单元1907可以针对音频数据执行额外的处理，诸如噪声移除。
外部接口1909是用于将电视机设备1900连接到外部装置或网络的接口。例如，通过外部接口1909所接收的视频流或音频流可以由解码器1904解码。换言之，外部接口1909还用作接收在其中对图像进行编码的编码流的电视机设备1900的传送单元。
控制单元1910包括诸如CPU的处理器以及诸如RAM或ROM的存储器。存储器存储由CPU所执行的程序、节目数据、EPG数据、通过网络所获取的数据等。例如，当电视机设备1900通电时，在存储器中所存储的程序，由CPU所读取并且执行。例如，CPU根据从用户接口1911所输入的操作信号，通过执行程序来控制电视机设备1900的操作。
用户接口1911连接到控制单元1910。用户接口1911例如包括用户操作电视机设备1900的按钮和开关、用于远程控制信号的接收单元等。用户接口1911通过这样的组件检测用户的操作，生成操作信号，以及将所生成的操作信号输出到控制单元1910。
总线1912将调谐器1902、解复用器1903、解码器1904、视频信号处理单元1905、音频信号处理单元1907、外部接口1909以及控制单元1910彼此连接。
在按照这种方式所配置的电视机设备1900中，解码器1904具有根据以上所述的实施例的图像解码设备的功能。因此，当由电视机设备1900对图像进行解码时，可以减少处理量。
<第二应用示例：移动电话>
图25示出了应用了以上所述的实施例的移动电话的示意性配置的示例。移动电话1920包括天线1921、通信单元1922、音频编解码器1923、扬声器1924、麦克风1925、摄像装置单元1926、图像处理单元1927、复用/分离单元1928、记录/再现单元1929、显示单元1930、控制单元1931、操作单元1932以及总线1933。
天线1921连接到通信单元1922。扬声器1924和麦克风1925连接到音频编解码器1923。操作单元1932连接到控制单元1931。总线1933将通信单元1922、音频编解码器1923、摄像装置单元1926、图像处理单元1927、复用/分离单元1928、记录/再现单元1929、显示单元1930以及控制单元1931彼此连接。
移动电话1920在包括语音呼叫模式、数据通信模式、成像模式以及视频电话模式的各种操作模式中执行操作，诸如，音频信号的传送/接收、电子邮件或图像数据的传送/接收、图像捕获以及数据的记录。
在语音呼叫模式中，由麦克风1925所生成的模拟音频信号被提供给音频编解码器1923。音频编解码器1923将模拟音频信号转换为音频数据，对转换后的音频数据执行A/D转换，以及对音频数据进行压缩。然后，音频编解码器1923将压缩的音频数据输出通信单元1922。通信单元1922对音频数据进行编码和调制以生成传送信号。然后，通信单元1922将所生成的传送信号通过天线1921传送到基站(在附图中未示出)。另外，通信单元1922对通过天线1921所接收的无线信号进行放大，并且对无线信号执行频率转换，从而获取接收信号。然后，通信单元1922通过对接收信号进行解调和解码生成音频数据，并且将所生成的音频数据输出到音频编解码器1923。音频编解码器1923对音频数据执行解压缩和D/A转换，从而生成模拟音频信号。然后，音频编解码器1923将所生成的音频信号提供给扬声器1924以使得音频被输出。
在数据通信模式中，例如，控制单元1931根据通过操作单元1932所执行的用户操作生成构成电子邮件的字符数据。另外，控制单元1931使得显示单元1930显示字符。控制单元1931根据通过操作单元1932来自用户的传送指令生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元1922。通信单元1922对电子邮件数据进行编码和调制，从而生成传送信号。然后，通信单元1922将所生成的传送信号通过天线1921传送到基站(在附图中未示出)。另外，通信单元1922对通过天线1921所接收的无线信号执行放大和频率转换，从而获取接收信号。然后，通信单元1922对接收信号进行解调和解码，以恢复电子邮件数据并且将所恢复的电子邮件数据输出到控制单元1931。控制单元1931使得显示单元1930显示电子邮件数据的内容并且将电子邮件数据提供给记录/再现单元1929以及使电子邮件数据被写入在其记录介质上。
记录/再现单元1929包括任意可读并且可写的存储介质。例如，存储介质可以是诸如RAM和闪速存储器的内置存储介质，或可以是外部安装类型存储介质，诸如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储器卡。
在成像模式中，例如，摄像装置单元1926对物体成像以生成图像数据，并且将所生成的图像数据输出到图像处理单元1927。图像处理单元1927对从摄像装置单元1926所输入的图像数据进行编码，并且将编码流提供给记录/再现单元1929以使编码流被写入在其记录介质上。
另外，在视频电话模式中，例如，复用/分离单元1928对由图像处理单元1927所编码的视频流和从音频编解码器1923所输入的音频流进行复用，并且将所生成的复用流输出到通信单元1922。通信单元1922对流进行编码和调制，从而生成传送信号。然后，通信单元1922将所生成的传送信号通过天线1921传送到基站(在附图中未示出)。另外，通信单元1922对通过天线1921所接收的无线信号执行放大和频率转换，从而获取接收信号。在编码比特流被包括在其中的情况下获取传送信号和接收信号。然后，通信单元1922通过对接收信号进行接调和解码来恢复流，并且将所恢复的流输出到复用/分离单元1928。复用/分离单元1928从输入流中分离视频流和音频流，并且将视频流和音频流分别地输出到图像处理单元1927和音频编解码器1923。图像处理单元1927对视频流进行解码以生成视频数据。视频数据被提供给显示单元1930，并且一系列图像被显示单元1930所显示。音频编解码器1923对音频流执行解压缩和D/A转换，从而生成模拟音频信号。然后，音频编解码器1923将所生成的音频信号提供给扬声器1924以使音频被输出。
在按照此方式所配置的移动电话1920中，图像处理单元1927具有根据以上所述的实施例的图像编码设备和图像解码设备的功能。因此，当在移动电话1920中对图像进行编码和解码时，可以减少处理量。
<第三应用示例：记录和再现设备>
图26示出了应用了以上所述的实施例的记录和再现设备的示意性配置的示例。记录和再现设备1940例如对所接收的广播节目的音频数据和视频数据进行编码，并且将编码数据记录在记录介质上。另外，记录和再现设备1940例如可以对从另一设备所获取的音频数据和视频数据进行编码，并且将编码数据记录在记录介质上。此外，记录和再现设备1940例如根据用户的指令使用监视器和扬声器对记录在记录介质上的数据进行再现。此时，记录和再现设备1940对音频数据和视频数据进行解码。
记录和再现设备1940包括调谐器1941、外部接口单元1942、编码器1943、HDD(硬盘驱动器)1944、盘驱动器1945、选择器1946、解码器1947、OSD(屏幕上显示)1948、控制单元1949以及用户接口单元1950。
调谐器1941从通过天线(在附图中未示出)所接收的广播信号中提取期望的频道的信号，并且对所提取的信号进行解调。然后，调谐器1941将通过解调处理所获取的编码比特流输出到选择器1946。换言之，调谐器1941用作记录和再现设备1940的传送单元。
外部接口单元1942是用于将记录和再现设备1940与外部装置或网络连接的接口。外部接口单元1942例如可以是IEEE(电子电气工程师协会)1394接口、网络接口、USB接口、闪速存储器接口等。例如，通过外部接口单元1942所接收的视频数据和音频数据被输入到编码器1943。换言之，外部接口单元1942用作记录和再现设备1940的传送单元。
在从外部接口单元1942所输入的视频数据和音频数据未被编码的情况下，编码器1943对视频数据和音频数据进行编码。然后，编码器1943将编码比特流输出到选择器1946。
HDD 1944将在其中诸如视频和音频的内容数据被压缩的编码比特流、各种节目以及其他数据记录在内部硬盘上。当对视频和音频进行再现时，HDD 1944从音频读取其数据。
盘驱动器1945将数据记录在所加载的记录介质上，以及从所加载的记录介质读取数据。加载到盘驱动器1945的记录介质例如可以是DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。
当记录视频和音频时，选择器1946选择从调谐器1942或编码器1943所输入的编码比特流，并且将所选择的编码比特流输出到HDD 1944或盘驱动器1945。另外，当对视频和音频进行再现时，选择器1946将从HDD1944或盘驱动器1945所输入的编码比特流输出到解码器1947。
解码器1947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器1947将所生成的音频数据输出到OSD 1948。另外，解码器1904将所生成的音频数据输出到外部扬声器。
OSD 1948对从解码器1947所输入的视频数据进行再现，从而显示视频。OSD 1948可以将GUI的图像诸如菜单、按钮或光标叠加在所显示的视频上。
控制单元1949包括诸如CPU的处理器以及诸如RAM或ROM的存储器。存储器存储由CPU所执行的程序、节目数据等。例如，当记录和再现设备1940通电时，在存储器中所存储的程序由CPU所读取并且执行。CPU例如根据从用户接口单元1950所输入的操作信号通过执行程序来控制记录和再现设备1940的操作。
用户接口单元1950连接到控制单元1949。用户接口单元1950例如包括用户操作记录和再现设备1940的按钮和开关，以及用于远程控制信号的接收单元。用户接口单元1950通过组成元件检测用户的操作，以生成操作信号，并且将所生成的操作信号输出到控制单元1949。
在按照这种方式所配置的记录和再现设备1940中，编码器1943具有根据以上所述的图像编码设备的功能。另外，解码器1947具有根据以上所述的实施例的图像解码设备的功能。因此，当在记录和再现设备1940中对图像进行编码和解码时，可以减少处理量。
<第四应用示例：成像设备>
图27示出了应用了以上所述的实施例的成像设备的示意性配置的示例。成像设备1960对物体成像以生成图像，对图像数据进行编码，以及将编码图像数据记录在记录介质上。
成像设备1960包括光学块1961、成像单元1962、信号处理单元1963、图像处理单元1964、显示单元1965、外部接口1966、存储器1967、媒体驱动器1968、OSD 1969、控制单元1970、用户接口1971以及总线1972。
光学块1961连接到成像单元1962。成像单元1962连接到信号处理单元1963。显示单元1965连接到图像处理单元1964。用户接口1971连接到控制单元1970。总线1972将图像处理单元1964、外部接口1966、存储器1967、媒体驱动器1968、OSD 1969以及控制单元1970彼此连接。
光学块1961包括聚焦透镜、光圈机构等。光学块1961在成像单元1962的成像平面上形成物体的光学图像。成像单元1962包括图像传感器，诸如CCD(电耦合器件)和CMOS(补偿金属氧化物半导体)，并且通过光电转换将在成像平面上所形成的光学图像转换为作为电信号的图像信号。然后，成像单元1962将图像信号输出到信号处理单元1963。
信号处理单元1963针对从成像单元1962所输入的图像信号执行各种摄像装置信号处理，诸如拐点校正、伽马校正以及颜色校正。信号处理单元1963将摄像装置信号处理之后的图像数据输出到图像处理单元1964。
图像处理单元1964对从信号处理单元1963所输入的图像数据进行编码，以生成编码数据。然后，图像处理单元1964将所生成的编码数据输出到外部接口1966或媒体驱动器1968。另外，图像处理单元1964对从外部接口1966或媒体驱动器1968所输入的编码数据进行解码以生成图像数据。然后，图像处理单元1964将所生成的图像数据输出到显示单元1965。另外，图像处理单元1964可以将从信号处理单元1963所输入的图像数据输出到显示单元1965以显示图像。此外，图像处理单元1964可以将从OSD 1969所获取的用于显示的数据叠加在输出到显示单元1965的图像上。
OSD 1969例如生成GUI的图像，诸如菜单、按钮或光标，并且将所生成的图像输出到图像处理单元1964。
外部接口1966例如被配置为USB输入/输出端子。例如，当打印图像时，外部接口1966将成像设备1960与打印机连接。另外，根据需要驱动器连接到外部接口1966。诸如磁盘或光盘的可移除介质被加载到驱动器，并且从可移除介质所读取的程序可以被安装到成像设备1960。此外，外部接口1966可以被配置为连接到诸如LAN或互联网的网络的网络接口。换言之，外部接口1966用作成像设备1960的传送单元。
例如，被加载到媒体驱动器1968的记录介质可以是任意可写/可读的可移除介质，诸如磁盘、磁光盘、光盘、或半导体存储器。另外，其可以配置成使得记录介质固定地安装至媒体驱动器1968以构成非便携式存储单元，诸如内置硬盘驱动器或SSD(固态驱动器)。
控制单元1970包括诸如CPU的处理器以及诸如RAM或ROM的存储器。存储器存储由CPU所执行的程序、节目数据等。例如，当成像设备1960通电时，在存储器中所存储的程序由CPU读取并且执行。例如，CPU根据从用户接口1971所输入的操作信号通过执行程序来控制成像设备1960的操作。
用户接口1971连接到控制单元1970。用户接口1971例如包括用户操作成像设备1960的按钮、开关等。用户接口1971通过组成元件检测用户的操作以生成操作信号，并且将所生成的操作信号输出到控制单元1970。
在按照这种方式所配置的成像设备1960中，图像处理单元1964具有根据以上所述的实施例的图像编码设备和图像解码设备的功能。因此，当在成像设备1960中对图像进行编码和解码时，可以减少处理量。
在本说明书中，描述了下述示例：在该示例中，诸如限制识别信息和改变识别信息的各种信息被复用到编码流的数据头中，并且被从编码侧传送到解码侧。然而，用于传送这样的信息的技术不限于这样的示例。例如，这样的信息可以作为与编码比特流相关联的单独数据被传送或记录，而不被复用到编码比特流中。在此，术语“相关联”代表当对图像和信息进行解码时，在比特流中所包括的图像(可以是图像的一部分，诸如切片或块)和与该图像相对应的信息彼此链接地被获取。换言之，可以以与图像(或比特流)的传送线的不同的传送线传送信息。另外，信息可以被记录在与用于图像(或比特流)的记录介质不同的记录介质(或相同记录介质的不同记录区域)上。此外，信息和图像(或比特流)例如可以以任意部分为单位(诸如，多个帧、一个帧、或帧的一部分)彼此相关联。
虽然参照附图详细地描述了本公开的优选实施例，但是本公开不限于这样的示例。具有本公开的技术领域中的常识的技术人员显然可以在权利要求所描述的技术构思的范围内想到各种变换或修改，并且自然地这样的改变和修改被理解为属于本公开的技术范围。
本公开可以采用下述配置。
(1)一种图像处理装置，包括：选择单元，所述选择单元基于限制识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述限制识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表在所述当前图片内是共同使用的；以及
预测图像生成单元，所述预测图像生成单元基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在由所述选择单元所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
(2)根据(1)所述的图像处理装置，其中，在所述限制识别信息代表所述参考列表在所述当前图片内是共同使用的情况下，所述选择单元选择具有与所述当前图片的参考图片类型相同的参考图片类型的参考图片以及具有与所述当前图片的参考图片类型不同的参考图片类型的参考图片。
(3)根据(2)所述的图像处理装置，其中，所述选择单元选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、具有与所述当前图片的参考图片类型相同的参考图片类型的参考图片，以及由所述参考列表的索引为“0”以外的参考图片指定信息所代表的、具有与所述当前图片的参考图片类型不同的参考图片类型的参考图片。
(4)根据(3)所述的图像处理装置，其中，所述选择单元选择在由所述参考列表的索引为“0”以外的参考图片指定信息所代表的、具有与所述当前图片的参考图片类型不同的参考图片类型的参考图片之中的所述索引最小的参考图片。
(5)根据(4)所述的图像处理装置，其中，所述选择单元基于识别所述参考列表发生改变的改变识别信息，选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、所述参考图片类型为短期的参考图片，以及由具有在所述参考列表中所登记的所述参考图片类型为短期的参考图片的参考图片指定信息的数量作为索引的参考图片指定信息所代表的、所述参考图片类型为长期的参考图片。
(6)根据(5)所述的图像处理装置，其中，所述改变识别信息为lists_modification_present_flag。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，所述参考图片类型为长期或短期。
(8)根据(1)至(7)中任一项所述的图像处理装置，其中，所述限制识别信息为restricted_ref_pic_lists_flag。
(9)一种使用图像处理装置的图像处理方法，所述图像处理方法包括：
选择步骤，基于限制识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述限制识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表在所述当前图片内是共同使用的；以及
预测图像生成步骤，基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在所述选择步骤的处理中所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
(10)一种图像处理装置，包括：
选择单元，所述选择单元基于改变识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述改变识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表发生改变；以及
预测图像生成单元，所述预测图像生成单元基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在由所述选择单元所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
(11)根据(10)所述的图像处理装置，其中，在所述改变识别信息代表所述参考列表尚未发生改变的情况下，所述选择单元选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、所述参考图片类型为短期的参考图片，以及由具有在所述参考列表中所登记的所述参考图片类型为短期的参考图片的参考图片指定信息的数量作为索引的参考图片指定信息所代表的、所述参考图片类型为长期的参考图片。
(12)根据(11)所述的图像处理装置，其中，在所述参考图片类型为短期的参考图片和所述参考图片类型为长期的参考图片的参考图片指定信息登记在所述参考列表中的情况下，所述选择单元选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、所述参考图片类型为短期的参考图片，以及由具有在所述参考列表中所登记的所述参考图片类型为短期的参考图片的参考图片指定信息的数量作为索引的参考图片指定信息所代表的、所述参考图片类型为长期的参考图片。
(13)一种使用图像处理装置的图像处理方法，所述图像处理方法包括：
选择步骤，基于改变识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述改变识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表发生改变，以及
预测图像生成步骤，基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在所述选择步骤的处理中所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
参考标记列表
1000 图像编码设备
1032 选择单元
1034 预测图像生成单元
1100 图像解码设备
1152 选择单元
1154 预测图像生成单元
1300 图像编码设备
1322 选择单元
1400 图像解码设备
1422 选择单元

Claims (13)

1.一种图像处理装置，包括：
选择单元，所述选择单元基于限制识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述限制识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表在所述当前图片内是共同使用的；以及
预测图像生成单元，所述预测图像生成单元基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在由所述选择单元所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
2.根据权利要求1所述的图像处理装置，其中，在所述限制识别信息代表所述参考列表在所述当前图片内是共同使用的情况下，所述选择单元选择具有与所述当前图片的参考图片类型相同的参考图片类型的参考图片以及具有与所述当前图片的参考图片类型不同的参考图片类型的参考图片。
3.根据权利要求2所述的图像处理装置，其中，所述选择单元选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、具有与所述当前图片的参考图片类型相同的参考图片类型的参考图片，以及由所述参考列表的索引为“0”以外的参考图片指定信息所代表的、具有与所述当前图片的参考图片类型不同的参考图片类型的参考图片。
4.根据权利要求3所述的图像处理装置，其中，所述选择单元选择在由所述参考列表的索引为“0”以外的参考图片指定信息所代表的、具有与所述当前图片的参考图片类型不同的参考图片类型的参考图片之中的所述索引最小的参考图片。
5.根据权利要求4所述的图像处理装置，其中，所述选择单元基于识别所述参考列表发生改变的改变识别信息，选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、所述参考图片类型为短期的参考图片，以及由具有在所述参考列表中所登记的所述参考图片类型为短期的参考图片的参考图片指定信息的数量作为索引的参考图片指定信息所代表的、所述参考图片类型为长期的参考图片。
6.根据权利要求5所述的图像处理装置，其中，所述改变识别信息为lists_modification_present_flag。
7.根据权利要求1所述的图像处理装置，其中，所述参考图片类型为长期或短期。
8.根据权利要求1所述的图像处理装置，其中，所述限制识别信息为restricted_ref_pic_lists_flag。
9.一种使用图像处理装置的图像处理方法，所述图像处理方法包括：
选择步骤，基于限制识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述限制识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表在所述当前图片内是共同使用的；以及
预测图像生成步骤，基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在所述选择步骤的处理中所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
10.一种图像处理装置，包括：
选择单元，所述选择单元基于改变识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述改变识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表发生改变；以及
预测图像生成单元，所述预测图像生成单元基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在由所述选择单元所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
11.根据权利要求10所述的图像处理装置，其中，在所述改变识别信息代表所述参考列表尚未发生改变的情况下，所述选择单元选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、所述参考图片类型为短期的参考图片，以及由具有在所述参考列表中所登记的所述参考图片类型为短期的参考图片的参考图片指定信息的数量作为索引的参考图片指定信息所代表的、所述参考图片类型为长期的参考图片。
12.根据权利要求11所述的图像处理装置，其中，在所述参考图片类型为短期的参考图片和所述参考图片类型为长期的参考图片的参考图片指定信息登记在所述参考列表中的情况下，所述选择单元选择由所述参考列表的索引为“0”的参考图片指定信息所代表的、所述参考图片类型为短期的参考图片，以及由具有在所述参考列表中所登记的所述参考图片类型为短期的参考图片的参考图片指定信息的数量作为索引的参考图片指定信息所代表的、所述参考图片类型为长期的参考图片。
13.一种使用图像处理装置的图像处理方法，所述图像处理方法包括：
选择步骤，基于改变识别信息从由被包括在参考列表中的参考图片指定信息所代表的参考图片中选择具有互相不同的参考图片类型的多个参考图片，所述改变识别信息识别作为指定当前图片的参考图片的参考图片指定信息的列表的参考列表发生改变，以及
预测图像生成步骤，基于具有与所述当前图片的时间不同的时间的并列图片的运动向量以及在所述选择步骤的处理中所选择的所述多个参考图片之中具有与所述并列图片的参考图片类型相同的参考图片类型的参考图片，生成所述当前图片的预测图像。
CN201380051783.XA 2012-10-09 2013-09-30 图像处理装置及方法 Expired - Fee Related CN104704834B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012224625 2012-10-09
JP2012-224625 2012-10-09
PCT/JP2013/076485 WO2014057831A1 (ja) 2012-10-09 2013-09-30 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN104704834A true CN104704834A (zh) 2015-06-10
CN104704834B CN104704834B (zh) 2019-04-02

Family

ID=50477299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380051783.XA Expired - Fee Related CN104704834B (zh) 2012-10-09 2013-09-30 图像处理装置及方法

Country Status (6)

Country Link
US (2) US10291929B2 (zh)
EP (1) EP2908528A4 (zh)
JP (1) JP6274527B2 (zh)
CN (1) CN104704834B (zh)
TW (1) TW201415898A (zh)
WO (1) WO2014057831A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347602A (zh) * 2017-01-22 2018-07-31 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201415898A (zh) 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法
CN104618715B (zh) * 2014-07-22 2018-10-30 腾讯科技（北京）有限公司 一种获取最小率失真代价的方法及装置
US10726631B1 (en) * 2019-08-03 2020-07-28 VIRNECT inc. Augmented reality system and method with frame region recording and reproduction technology based on object tracking

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340666A (zh) * 2010-07-16 2012-02-01 索尼公司 图像处理设备和图像处理方法
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
US20120106634A1 (en) * 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
CN102638683A (zh) * 2011-02-10 2012-08-15 索尼公司 图片编码设备、图片编码方法和程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US10298952B2 (en) * 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
KR20110139304A (ko) * 2009-04-22 2011-12-28 엘지전자 주식회사 다시점 영상의 참조 픽쳐 리스트 변경 방법
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
TW201415898A (zh) 2012-10-09 2014-04-16 Sony Corp 影像處理裝置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106634A1 (en) * 2009-04-21 2012-05-03 Lg Electronics Inc. Method and apparatus for processing multi-view video signal
CN102340666A (zh) * 2010-07-16 2012-02-01 索尼公司 图像处理设备和图像处理方法
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
CN102638683A (zh) * 2011-02-10 2012-08-15 索尼公司 图片编码设备、图片编码方法和程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENDRY等: "AHG 9: On restricted reference picture list", 《JCT-VC OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
YING CHEN等: "Temporal motion vector prediction hook for MV-HEVC", 《JCT-VC OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347602A (zh) * 2017-01-22 2018-07-31 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置

Also Published As

Publication number Publication date
CN104704834B (zh) 2019-04-02
US20150264389A1 (en) 2015-09-17
US10873758B2 (en) 2020-12-22
EP2908528A4 (en) 2016-04-13
TW201415898A (zh) 2014-04-16
US20190200034A1 (en) 2019-06-27
JP6274527B2 (ja) 2018-02-07
US10291929B2 (en) 2019-05-14
WO2014057831A1 (ja) 2014-04-17
JPWO2014057831A1 (ja) 2016-09-05
EP2908528A1 (en) 2015-08-19

Similar Documents

Publication Publication Date Title
JP6670812B2 (ja) 符号化装置および符号化方法
US10623761B2 (en) Image processing apparatus and image processing method
EP2869558B1 (en) Image processing device and method
CN106412610B (zh) 图像处理装置和方法
TWI592011B (zh) Image processing device and method
US20230247217A1 (en) Image processing apparatus and method
JPWO2015005367A1 (ja) 画像復号装置および方法
US10873758B2 (en) Image processing device and method
JPWO2012176684A1 (ja) 画像処理装置および方法
CN103548355A (zh) 图像处理装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190402

CF01 Termination of patent right due to non-payment of annual fee