CN103348678B - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN103348678B
CN103348678B CN201280003437.XA CN201280003437A CN103348678B CN 103348678 B CN103348678 B CN 103348678B CN 201280003437 A CN201280003437 A CN 201280003437A CN 103348678 B CN103348678 B CN 103348678B
Authority
CN
China
Prior art keywords
prediction parameters
picture
unit
predicting unit
prognostic chart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280003437.XA
Other languages
English (en)
Other versions
CN103348678A (zh
Inventor
天野博史
田中健
大贺健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201710564881.3A priority Critical patent/CN107257482A/zh
Publication of CN103348678A publication Critical patent/CN103348678A/zh
Application granted granted Critical
Publication of CN103348678B publication Critical patent/CN103348678B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Abstract

图像处理装置具备:第一存储部(101),用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数;第二存储部(102),用于存储在多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数;以及传输部(110),将用于预测图像的生成的两个以上的预测参数从第一存储部(101)一起传输到第二存储部(102),或者,将在预测图像的生成中所利用的两个以上的预测参数从第二存储部(102)一起传输到第一存储部(101)。

Description

图像处理装置以及图像处理方法
技术领域
本发明涉及,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成的图像处理装置。
背景技术
与进行预测图像的生成的图像处理装置有关的技术有,专利文献1、专利文献2及非专利文献1所示的技术。
(现有技术文献)
(专利文献)
专利文献1:日本专利第4625096号公报
专利文献2:国际公开第2010/131422号
(非专利文献)
非专利文献1:“Working Draft3of High-Efficiency Video Coding”,[online],Joint Collaborative Team on Video Coding(JCT-VC),2011年9月8日,[2011年9月22日检索],互联网<URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v3.zip>
然而,在图像处理装置进行预测图像的生成时,会有进行预测单元的信息的传输的情况。会有因该传输,而发生大的处理负荷、或大的处理延迟的情况。
发明内容
于是,本发明,提供能够使因预测单元的信息的传输而引起的处理负荷以及处理延迟变小的图像处理装置。
本发明的实施方案之一涉及的图像处理装置,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成,所述图像处理装置具备:第一存储部,用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数;第二存储部,用于存储在所述多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数;以及传输部,将用于预测图像的生成的所述两个以上的预测参数从所述第一存储部一起传输到所述第二存储部,或者,将在预测图像的生成中所利用的所述两个以上的预测参数从所述第二存储部一起传输到所述第一存储部。
而且,这样的总括性或具体的形态,可以由系统、方法、集成电路、计算机程序或计算可读取的CD-ROM等的非暂时的记录介质实现,也可以由系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合实现。
根据本发明,传输次数减少。因此,因预测单元的信息的传输而引起的处理负荷以及处理延迟减少。
附图说明
图1是示出实施例1涉及的图像处理装置的结构的图。
图2是示出实施例1涉及的与运动补偿部有关的结构的图。
图3A是示出实施例1涉及的序列的例子的图。
图3B是示出实施例1涉及的图片的例子的图。
图3C是示出实施例1涉及的编码流的例子的图。
图4A是示出实施例1涉及的编码单元和编码单元层数据的结构例的图。
图4B是示出实施例1涉及的编码单元数据的结构例的图。
图5A是示出实施例1涉及的预测单元的尺寸的例子的图。
图5B是示出实施例1涉及的变换单元的尺寸的例子的图。
图6是示出实施例1涉及的当前预测单元以及对应预测单元的关系的图。
图7是示出实施例1涉及的对应预测单元的位置的图。
图8是示出实施例1涉及的图像处理装置的工作的流程图。
图9是示出实施例1涉及的对编码单元进行解码的处理的流程图。
图10是示出实施例1涉及的运动矢量计算处理的流程图。
图11是示出实施例1涉及的传输的区域的例子的图。
图12是示出不利用实施例1涉及的技术时的运动矢量计算处理的时序图。
图13是示出利用实施例1涉及的技术时的运动矢量计算处理的时序图。
图14是示出实施例2涉及的传输的区域的概念图。
图15是示出实施例2涉及的运动矢量计算处理的流程图。
图16是示出实施例2涉及的传输的区域的例子的图。
图17是示出实施例3涉及的传输的区域的概念图。
图18是示出实施例3涉及的运动矢量计算处理的流程图。
图19是示出实施例3涉及的传输的区域的例子的图。
图20是示出实施例4涉及的传输的概念图。
图21是示出实施例4涉及的运动矢量计算处理的流程图。
图22是示出实施例4涉及的传输的例子的图。
图23是示出实施例5涉及的运动矢量计算处理的流程图。
图24是示出实施例5涉及的传输的例子的图。
图25是示出实施例5涉及的传输的区域的第一例的图。
图26是示出实施例5涉及的传输的区域的第二例的图。
图27A是示出实施例6涉及的图像处理装置的结构的图。
图27B是示出实施例6涉及的图像处理装置的工作的流程图。
图28A是示出实施例7涉及的图像处理装置的结构的图。
图28B是示出实施例7涉及的图像处理装置的工作的流程图。
图29是实现内容分发服务的内容提供系统的整体结构图。
图30是数字广播用系统的整体结构图。
图31是示出电视机的结构例的方框图。
图32是示出对作为光盘的记录介质进行信息的读写的信息再生/记录部的结构例的方框图。
图33是示出作为光盘的记录介质的构造例的图。
图34是示出实现图像解码处理的集成电路的结构例的结构图。
图35是示出实现图像解码处理及图像编码处理的集成电路的结构例的结构图。
具体实施方式
(成为本发明的基础的见解)
本发明人,对于“背景技术”的栏中记载的进行预测图像的生成的图像处理装置,发现了问题的存在。以下,进行详细说明。
对图像进行编码的图像编码装置,将构成图像的各个图片分割为分别由16x16像素构成的多个宏块(Macroblock,也简称为MB)。而且,图像编码装置,以光栅扫描顺序,对各个宏块进行编码。图像编码装置,编码并压缩图像,从而生成编码流。
对图像进行解码的图像处理装置,以光栅扫描顺序,按每个宏块,对该编码流进行解码,再生原来的图像的各个图片。例如,专利文献1及专利文献2,按每个宏块对图像进行解码的装置。
并且,以往的图像编码方式之一有ITU-T H.264标准。对以H.264标准编码后的图像进行解码的图像处理装置,首先,读入编码流。而且,图像处理装置,各种头信息的解码后,进行可变长解码。图像处理装置,将通过可变长解码而得到的系数信息逆量化,来进行逆频率变换。据此,生成差分图像。
接着,图像处理装置,按照通过可变长解码而得到的宏块类型,进行帧内预测或运动补偿。在此,运动补偿是对最大16x16像素进行的。据此,图像处理装置,生成预测图像。然后,图像处理装置,将预测图像与差分图像相加,从而进行重构处理。而且,图像处理装置,对重构图像进行内环(inloop)滤波处理,从而对解码对象图像进行解码。
内环滤波器是,在重构图像作为参考图像被存放到帧存储器之前适用的滤波器。对于内环滤波器,会有利用去块滤波器、取样自适应偏置滤波器、以及有源环路滤波器的情况。另一方面,显示时适用的滤波器,被称为外环(outloop)滤波器。
H.264标准涉及的图像编码装置,如上所述,以由16x16像素构成的宏块为单位,对图像进行编码。但是,作为编码的单位的16x16像素,并不一定是最佳的。一般,图像的分辩率越高,相邻块间的相关性就越高。因此,在图像的分辩率高的情况下,图像编码装置,通过将编码的单位变大,来能够更提高压缩效率。
近几年,进行4k2k(3840x2160像素)等那样的、超高精细的显示器的开发。因此,可以预测为图像的分辩率越来越高。H.264标准涉及的图像编码装置,随着图像的高分辨率化进展,越来越难以高效率地编码高分辨率的图像。
另一方面,在提出了的作为下一代的图像编码标准的技术中,有解决这样的问题的技术(非专利文献1)。根据该技术,与以往的H.264标准对应的编码单位块的尺寸成为可变。而且,该技术涉及的图像编码装置,也能够以比以往的16x16像素大的块来对图像进行编码,能够适当地对超高精细图像进行编码。
具体而言,在非专利文献1中,定义了作为编码的数据单位的编码单元(CU:CodingUnit)。该编码单元是,与以往的编码标准的宏块同样,能够切换帧内预测、和进行运动补偿的帧间预测的数据单位,被规定为编码的最基本的块。
该编码单元的尺寸是,8x8像素、16x16像素、32x32像素、64x64像素之中的任一个。最大的编码单元,被称为最大编码单元(LCU:Largest Coding Unit)。
进而,定义了作为频率变换的数据单位的变换单元(TU:Transform Unit,也被称为频率变换单元)。该变换单元被设定为,4x4像素、8x8像素、16x16像素、16x12像素、32x32像素等的4x4像素以上的各种矩形的尺寸。
并且,进一步,定义了作为帧内预测或帧间预测的数据单位的预测单元(PU:Prediction Unit)。预测单元,在编码单元的内部被设定为,64x64像素、64x32像素、32x64像素、32x32像素、32x16像素、16像素x32像素、16x12像素等的4x4像素以上各种矩形的尺寸。预测单元,最大为64x64像素。并且,按每个预测单元进行预测。
图像处理装置,在进行预测单元的图像的预测时,会有参考其他的预测单元的信息的情况。因此,图像处理装置,需要进行预测单元的信息的传输。因该传输,而处理负荷及处理延迟变大。以下,进行更具体说明。
运动补偿是,对预测单元进行的。例如,图像处理装置,对作为解码对象的预测单元的当前预测单元,进行运动补偿。此时,图像处理装置,计算当前预测单元的运动补偿所需要的运动矢量。对于当前预测单元的运动矢量的计算,会有利用作为在时间上与当前预测单元相邻的预测单元的对应预测单元的信息的情况。
在此情况下,图像处理装置,参考与包含当前预测单元的图片不同的图片中包含的对应预测单元的预测参数,计算当前预测单元的运动矢量。预测参数是,在预测图像的生成中所利用的参数,包含示出利用了帧内预测以及运动补偿(帧间预测)的哪一方的预测模式、运动矢量、以及参考图片号等的信息。
并且,预测参数,会有被称为运动矢量信息、或colPU信息的情况。并且,包含当前预测单元的图片,会有被称为当前图片的情况。并且,与当前图片不同的图片,会有被称为co-located图片、colPic、或对应图片的情况。并且,对应图片中包含的对应预测单元,会有被称为co-located宏块或colPU的情况。
在非专利文献1的情况下,图像处理装置,首先,参考作为第一对应预测单元的预测参数的第一预测参数。第一对应预测单元是,对应图片中包含的对应预测单元,且与当前预测单元的右下的位置对应。
在不能利用第一预测参数的情况下,图像处理装置,参考作为第二对应预测单元的预测参数的第二预测参数。第二对应预测单元是,对应图片中包含的对应预测单元,且与当前预测单元的位置对应。不能利用第一预测参数的情况有,第一对应预测单元以帧内预测被编码的情况,或者,第一对应预测单元为对应图片的外部的情况等。
在能够利用第一预测参数的情况下,图像处理装置,通过利用第一预测参数进行非专利文献1所示的计算,从而计算运动矢量。在不能利用第一预测参数、能够利用第二预测参数的情况下,图像处理装置,通过利用第二预测参数进行非专利文献1所示的计算,从而计算运动矢量。
在不能利用第一预测参数及第二预测参数这双方的情况下,图像处理装置,对运动矢量的计算,不利用对应预测单元的预测参数。
如上所述,在非专利文献1的情况下,在当前预测单元的预测图像的生成时,首先,参考第一预测参数。在不能利用第一预测参数的情况下,参考第二预测参数。也就是说,优先利用第一预测参数。据此,有效地利用右下的信息,编码效率提高。
然而,在根据第一预测参数判断第二预测参数的要否的处理中,频繁发生向保存有这样的预测参数的存储部的通信。因此,因运动矢量计算处理而引起的负荷以及延迟变大。
专利文献1涉及的解码装置,先行获得在正在解码的宏块以后的宏块的解码中利用的信息。据此,用于获得信息的传输时间被隐藏。但是,在非专利文献1中,在预测图像的生成中利用的信息,有选择地被切换为第一预测参数以及第二预测参数的任一方。因此,预先获得在预测图像的生成中利用的信息是困难的。
在专利文献2中,根据宏块类型,先行判断是否需要co-located宏块的信息。而且,在不需要co-located宏块的信息的情况下,不传输co-located宏块的信息。据此,减少传输量。
但是,在非专利文献1中,为了判断第二预测参数的传输的要否,需要第一预测参数的传输。而且,根据判断的结果,会有还需要第二预测参数的传输的情况。因此,即使在利用专利文献2技术的情况下,因传输处理而引起的处理负荷也不减少。
也就是说,即使在利用专利文献1或专利文献2所示的情况下,也频繁发生向保存有预测参数的存储部的通信。因此,处理负荷以及处理延迟变大。
为了解决这样的问题,本发明的实施方案之一涉及的图像处理装置,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成,所述图像处理装置具备:第一存储部,用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数;第二存储部,用于存储在所述多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数;以及传输部,将用于预测图像的生成的所述两个以上的预测参数从所述第一存储部一起传输到所述第二存储部,或者,将在预测图像的生成中所利用的所述两个以上的预测参数从所述第二存储部一起传输到所述第一存储部。
据此,预测单元的信息的传输次数减少。因此,因预测单元的信息的传输而引起的处理负荷以及处理延迟减少。
例如,也可以是,所述传输部,将分别包含运动矢量的信息的所述两个以上的预测参数一起传输。
据此,高效率地传输运动矢量的信息。因此,利用其他的预测单元的运动矢量时的处理负荷以及处理延迟减少。
并且,例如,也可以是,所述传输部,将用于预测图像的生成的所述两个以上的预测参数从所述第一存储部一起传输到所述第二存储部。
据此,高效率地传输用于预测图像的生成的预测参数。因此,因用于预测图像的生成的预测参数的传输而引起的处理负荷以及处理延迟减少。
并且,例如,也可以是,所述传输部,将在预测单元的预测图像的生成中有可能利用的所述两个以上的预测参数一起传输。
据此,能够抑制预测参数的传输的反复。因此,处理负荷以及处理延迟减少。
并且,例如,也可以是,所述传输部,将包含(i)在第二预测单元的预测图像的生成中所利用的预测参数、以及(ii)在第三预测单元的预测图像的生成中所利用的预测参数的所述两个以上的预测参数一起传输,所述第二预测单元是与包含第一预测单元的第一图片不同的第二图片中包含的、与进行预测图像的生成的所述第一预测单元的右下的位置对应的预测单元,所述第三预测单元是所述第二图片中包含的、与所述第一预测单元的位置对应的预测单元。
据此,同时将与右下的位置对应的预测参数、以及与同一位置对应的预测参数一起传输。因此,传输次数减少。
并且,例如,也可以是,所述传输部,将包含在预测单元的预测图像的生成中有可能利用的预测参数和在该预测单元的预测图像的生成中没有可能利用的预测参数的所述两个以上的预测参数一起传输。
据此,以一次的传输,传输更多的预测参数。因此,能够抑制预测参数的传输的反复。因而,处理负荷以及处理延迟减少。
并且,例如,也可以是,所述传输部,将用于预先规定的最大编码单元中包含的所有的预测单元的预测图像的生成的所述两个以上的预测参数一起传输。
据此,在最大编码单元中包含的多个预测单元的预测图像的生成中,能够抑制传输的反复。因而,处理负荷以及处理延迟减少。
并且,例如,也可以是,所述传输部,将在预测图像的生成中所利用的所述两个以上的预测参数从所述第二存储部一起传输到所述第一存储部。
据此,高效率地传输在预测图像的生成中所利用的预测参数。因此,因在预测图像的生成中所利用的预测参数的传输而引起的处理负荷以及处理延迟减少。
并且,例如,也可以是,所述传输部,将在空间上彼此相邻的所述两个以上的预测单元的预测图像的生成中所利用的所述两个以上的预测参数,从所述第二存储部一起传输到所述第一存储部中的连续的地址。
据此,将多个预测参数一起传输到连续的地址。一起传输的多个预测参数,与空间上相邻的多个预测单元对应。因此,以后,容易将作为用于预测图像的生成的多个预测参数的、与空间上相邻的多个预测单元对应的多个预测参数一起传输。
并且,例如,也可以是,所述传输部,将在空间上的水平方向上彼此相邻的所述两个以上的预测单元的预测图像的生成中所利用的所述两个以上的预测参数,从所述第二存储部一起传输到所述第一存储部中的连续的地址。
据此,以后,容易将作为用于预测图像的生成的多个预测参数的、与水平方向上相邻的多个预测单元对应的多个预测参数一起传输。
并且,例如,也可以是,所述传输部,将在空间上的垂直方向上彼此相邻的所述两个以上的预测单元的预测图像的生成中所利用的所述两个以上的预测参数,从所述第二存储部一起传输到所述第一存储部中的连续的地址。
据此,以后,容易将作为用于预测图像的生成的多个预测参数的、与垂直方向上相邻的多个预测单元对应的多个预测参数一起传输。
并且,例如,也可以是,所述传输部,将在预先规定的最大编码单元中包含的所有的预测单元的预测图像的生成中所利用的所述两个以上的预测参数一起传输。
据此,在最大编码单元中包含的多个预测单元的预测图像的生成中,能够抑制传输的反复。因此,处理负荷以及处理延迟减少。
并且,例如,也可以是,所述传输部,将在处理顺序上连续的所述两个以上的预测单元的预测图像的生成中所利用的所述两个以上的预测参数,从所述第二存储部一起传输到所述第一存储部中的连续的地址。
据此,以后,容易将作为用于预测图像的生成的多个预测参数的、与处理顺序上连续的多个预测单元对应的多个预测参数一起传输。
并且,例如,也可以是,所述传输部,通过复制在预测单元的预测图像的生成中所利用的预测参数,从而生成与该预测单元中包含的等间隔的多个坐标位置对应的多个预测参数,将生成后的所述多个预测参数分别与其他的预测参数作为所述两个以上的预测参数,从所述第二存储部一起传输到所述第一存储部。
据此,以后,容易将与预测单元中包含的坐标位置对应的预测参数,作为用于预测图像的生成的预测参数来传输。
并且,例如,也可以是,图像处理装置还具备预测图像生成部,该预测图像生成部,利用从所述第一存储部传输到所述第二存储部的预测参数进行预测单元的预测图像的生成。
据此,利用传输的预测参数、即输入的预测参数,进行适当的预测。
并且,例如,也可以是,所述图像处理装置还具备预测图像生成部,该预测图像生成部,利用从所述第一存储部一起传输到所述第二存储部的所述两个以上的预测参数之中的一个预测参数进行预测单元的预测图像的生成。
据此,即使在有选择地利用多个预测参数中的一个的情况下,也由于将多个预测参数一起传输,因此能够抑制传输的反复。因此,处理负荷以及处理延迟减少。
而且,这样的总括性或具体的形态,可以由系统、方法、集成电路、计算机程序或计算可读取的CD-ROM等的非暂时的记录介质实现,也可以由系统、装置、方法、集成电路、计算机程序或记录介质的任意的组合实现。
以下,利用附图详细说明本发明的实施例。而且,以下说明的实施例,都示出总括性或具体的例子。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等,是一个例子,而不是限定本发明的宗旨。并且,对于以下的实施例的构成要素中的、示出最上位概念的独立请求项中没有记载的构成要素,作为任意的构成要素进行说明。
并且,64x64像素、以及32x32像素等的表现分别意味着,64像素x64像素、以及32像素x32像素等的尺寸。
并且,以下,块、数据单位及编码单元等的表现分别意味着,汇集的区域。会有他们分别意味着图像区域的情况。或者,会有他们分别意味着编码流中的数据区域的情况。
并且,图像也可以是,构成静止画像或运动图像的多个图片、一个图片、以及图片的一部分等的任一个。
(实施例1)
(1-1.概要)
首先,说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置,参照对应预测单元的预测参数,计算当前预测单元的运动矢量。此时,图像处理装置,投机获得在当前预测单元的预测图像的生成中有可能利用的所有的预测参数。据此,用于获得对应预测单元的预测参数的存储器访问次数减少。因此,解码处理整体成为高速化。
(1-2.结构)
接着,说明本实施例涉及的图像处理装置的结构。
图1是本实施例涉及的图像处理装置的结构图。本实施例涉及的图像处理装置具备,控制部501、帧存储器502、重构图像存储器509、可变长解码部503、逆量化部504、逆频率变换部505、运动补偿部506、帧内预测部507、重构部508、内环滤波器部510及运动矢量运算部511。
控制部501,控制图像处理装置整体。帧存储器502是,用于存储解码后的图像数据的存储器。重构图像存储器509是,用于存储生成后的重构图像的一部分的存储器。可变长解码部503,读入编码流,对可变长码进行解码。逆量化部504,进行逆量化。逆频率变换部505,进行逆频率变换。
运动矢量运算部511,根据预测运动矢量以及差分运动矢量等,计算运动矢量。运动矢量运算部511也可以,根据对应预测单元的信息,计算运动矢量。而且,运动矢量运算部511,将运动矢量输出到运动补偿部506。运动补偿部506,从帧存储器502读出参考图像,进行运动补偿,生成预测图像。帧内预测部507,从重构图像存储器509读出参考图像,进行帧内预测,生成预测图像。
重构部508,将差分图像和预测图像相加来生成重构图像,将重构图像的一部分存放到重构图像存储器509。内环滤波器部510,除去重构图像的块声,使重构图像成为高画质化。
图2是本实施例涉及的运动补偿部506的周边的结构图。对于与图1同样的构成要素分配相同的符号,省略说明。图2中,除了图1所示的构成要素以外,还示出DMA(DirectMemory Access:直接存储器访问)控制部512、参考图像存储部513、预测图像存储部514以及运动矢量存储部515。他们,也可以被包含在运动补偿部506中。并且,运动矢量存储部515也可以被包含在运动矢量运算部511中。
DMA控制部512,根据当前预测单元的坐标以及尺寸,从帧存储器502向运动矢量存储部515,传输对应预测单元的预测参数。运动矢量存储部515,存储由DMA控制部512传输的预测参数。DMA控制部512,从运动矢量存储部515向帧存储器502,传输包含由运动矢量运算部511计算出的运动矢量的预测参数。
并且,DMA控制部512,根据由运动矢量运算部511计算出的运动矢量,从帧存储器502向参考图像存储部513传输参考图像。在参考图像存储部513中,存储由DMA控制部512传输的参考图像。并且,在预测图像存储部514中,存储由运动补偿部506生成的预测图像。
(1-3.工作)
接着,说明本实施例涉及的图像处理装置的工作。本实施例涉及的图像处理装置解码的编码流,由编码单元、变换单元、和预测单元构成。
编码单元是,以64x64像素至8x8像素的尺寸设定的、能够切换帧内预测和帧间预测的数据单位。变换单元,在编码单元的内部的区域中,以64x64像素至4x4像素的尺寸设定。预测单元,在编码单元的内部的区域中,以64x64像素至4x4像素的尺寸设定,具有用于帧内预测的预测模式、或者用于帧间预测的运动矢量。以下,利用图3A至图5B说明编码流的结构。
图3A及图3B示出,本实施例涉及的图像处理装置解码的图像的层次结构。如图3A,多个图片的集合,被称为序列。并且,如图3B,各个图片被分割为片,各个片还被分割为编码单元。也会有图片不被分割为片的情况。在本实施例中,最大编码单元的尺寸为,64x64像素。
图3C是示出本实施例涉及的编码流的图。图3A以及图3B所示的数据分层地被编码,从而得到图3C所示的编码流。
图3C所示的编码流,由控制序列的序列头、控制图片的图片头、控制片的片头、以及编码单元层数据(CU层数据)构成。在H.264标准中,序列头,也被称为SPS(SequenceParameter Set:序列参数集),图片头,也被称为PPS(Picture Parameter Set:图片参数集)。
图4A是示出本实施例涉及的编码单元和编码单元层数据的结构例的图。与编码单元对应的编码单元层数据,由CU分割标志、以及CU数据(编码单元数据)构成。该CU分割标志,在“1”的情况下,示出将编码单元4分割,在“0”的情况下,示出不将编码单元4分割。在图4A中,64x64像素的编码单元,不被分割。也就是说,CU分割标志是“0”。
图4B是示出本实施例涉及的CU数据的结构例的图。CU数据包含,CU类型、运动矢量或帧内预测模式、以及系数。根据CU类型,决定预测单元的尺寸。
图5A是示出能够选择的预测单元的尺寸的例子的图。具体而言,示出64x64像素、32x64像素、64x32像素、32x32像素、16x32像素、32x16像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、以及4x4像素的预测单元。预测单元的尺寸是,从4x4像素以上的尺寸中能够选择的。并且,预测单元的形状也可以是长方形。
而且,按每个预测单元,指定运动矢量或帧内预测模式。在本实施例中,由于仅利用运动矢量,因此,在图5B中仅示出运动矢量。并且,如图5A,会有将正方形分割为1:3而得到的16x64像素的预测单元及48x64像素的预测单元被选择的情况。
图5B是示出能够选择的变换单元的尺寸的例子的图。具体而言,示出32x32像素、16x32像素、32x16像素、16x16像素、16x8像素、8x16像素、8x8像素、8x4像素、4x8像素、以及4x4像素等的预测单元。如图5B,会有将正方形分割为1:3而得到的8x32像素的变换单元及24x32像素的变换单元被选择的情况。
图6是示出本实施例涉及的当前预测单元以及对应预测单元的关系的图。当前预测单元是,解码对象(预测对象)的预测单元。当前预测单元,被包含在当前图片中。对应图片是,与当前图片不同的图片。第一对应预测单元是,对应图片中包含的预测单元,且与当前预测单元的右下的位置对应。第二对应预测单元是,对应图片中包含的预测单元,且与当前预测单元的位置对应。
对于当前预测单元的预测图像的生成,相对于在第二对应预测单元的预测图像的生成中所利用的预测参数,优先利用在第一对应预测单元的预测图像的生成中所利用的预测参数。在不能利用在第一对应预测单元的预测图像的生成中所利用的预测参数的情况下,对于当前预测单元的预测图像的生成,利用在第二对应预测单元的预测图像的生成中所利用的预测参数。
图7是示出本实施例涉及的对应预测单元的位置的例子的图。第一对应预测单元,与当前预测单元的右下的位置对应。第二对应预测单元,与当前预测单元的位置对应。更具体地说,第一对应预测单元是,包含针对当前预测单元的右下的坐标位置,以16像素进行舍入处理而得到的位置的预测单元。第二对应预测单元是,包含针对当前预测单元的中央的坐标位置,以16像素进行舍入处理而得到的位置的预测单元。
而且,对应预测单元的位置,不仅限于根据所述的基准决定的位置。也可以根据其他的基准决定,对应预测单元的位置。
图8是示出编码流中包含的1序列的解码工作的流程图。利用图8示出的流程图,说明图1示出的图像处理装置的工作。图像处理装置,首先,对序列头进行解码(S901)。此时,可变长解码部503,根据控制部501的控制,对编码流进行解码。接着,图像处理装置,同样,对图片头进行解码(S902),对片头进行解码(S903)。
接着,图像处理装置,对编码单元进行解码(S904)。对于编码单元的解码,在后面进行详细说明。图像处理装置,在编码单元的解码后,判断解码后的编码单元是否为片的最后的编码单元(S905)。而且,在解码后的编码单元不是片的最后的情况下(S905的“否”),再次,图像处理装置,对下一个编码单元进行解码(S904)。
进而,图像处理装置,判断包含解码后的编码单元的片是否为图片的最后的片(S906)。而且,在片不是图片的最后的情况下(S906的“否”),图像处理装置,再次,对片头进行解码(S903)。
进而,图像处理装置,判断包含解码后的编码单元的图片是否为序列的最后的图片(S907)。而且,在图片不是序列的最后的情况下(S907的“否”),图像处理装置,再次,对图片头进行解码(S902)。图像处理装置,在序列的所有的图片的解码后,结束一连串的解码工作。
图9是示出一个编码单元的解码工作的流程图。利用图9示出的流程图,说明图8的编码单元的解码(S904)的工作。
首先,可变长解码部503,针对输入的编码流中包含的处理对象的编码单元,进行可变长解码(S1001)。
在可变长解码处理(S1001)中,可变长解码部503,输出编码单元类型、帧内预测模式、运动矢量及量化参数等的编码信息。在本实施例中,被输出的编码信息中包含,编码单元的尺寸、编码单元的处理顺序、预测单元的尺寸、变换单元的尺寸、以及变换单元的处理顺序等。并且,可变长解码部503,输出与各个像素数据对应的系数信息。
编码信息,被输出到控制部501,然后,被输入到各个处理部。系数信息,被输出到下一个逆量化部504。接着,逆量化部504,进行逆量化处理(S1002)。然后,逆频率变换部505,进行逆频率变换来生成差分图像(S1003)。
接着,控制部501,判断对处理对象的编码单元利用帧间预测还是利用帧内预测(S1004)。
在利用帧间预测的情况下(S1004的“是”),控制部501,启动运动矢量运算部511。运动矢量运算部511,进行运动矢量的计算(S1005)。而且,运动矢量运算部511,从帧存储器502传输运动矢量所指示的参考图像。接着,控制部501,启动运动补偿部506。而且,运动补偿部506,生成1/2像素精度或1/4像素精度等的预测图像(S1006)。
另一方面,在不利用帧间预测的情况下(S1004的“否”),即,在利用帧内预测的情况下,控制部501,启动帧内预测部507。帧内预测部507,进行帧内预测的处理,生成预测图像(S1007)。
重构部508,将由运动补偿部506或帧内预测部507输出的预测图像、与由逆频率变换部505输出的差分图像相加,从而生成重构图像(S1008)。
生成后的重构图像,被输入到内环滤波器部510。同时,用于帧内预测的部分,被存放到重构图像存储器509。最后,内环滤波器部510,对得到的重构图像,进行用于减少噪声的内环滤波处理。而且,内环滤波器部510,向帧存储器502存放结果(S1009)。以上,图像处理装置,结束编码单元的解码工作。
在图9的例子中,所述的多个处理被分割为多个阶段。而且,这样的多个处理,构成流水线处理。
图10是示出本实施例涉及的运动矢量计算处理的流程图。图10中示出,运动矢量运算部511利用对应预测单元的运动矢量,计算当前预测单元的运动矢量的处理。
首先,运动矢量运算部511,根据当前预测单元的坐标以及尺寸,计算第一对应预测单元的位置。而且,DMA控制部512,根据第一对应预测单元的位置,从帧存储器502向运动矢量存储部515,传输作为第一对应预测单元的预测参数的第一预测参数(S1100)。据此,运动矢量运算部511,能够获得第一预测参数。
并且,同样,运动矢量运算部511,根据当前预测单元的坐标以及尺寸,计算第二对应预测单元的位置。而且,DMA控制部512,根据第二对应预测单元的位置,从帧存储器502向运动矢量存储部515,传输作为第二对应预测单元的预测参数的第二预测参数(S1101)。据此,运动矢量运算部511,能够获得第二预测参数。
接着,运动矢量运算部511,判断是否能够利用传输到运动矢量存储部515的第一预测参数(S1102)。例如,运动矢量运算部511,通过判断第一预测参数所示的预测模式是否为帧间预测,从而判断是否能够利用第一预测参数。
在能够利用第一预测参数的情况下(S1102的“是”),运动矢量运算部511,利用第一预测参数计算运动矢量(S1103)。
在不能利用第一预测参数的情况下(S1102的“否”),运动矢量运算部511,判断是否能够利用传输到运动矢量存储部515的第二预测参数(S1104)。例如,运动矢量运算部511,通过判断第二预测参数所示的预测模式是否为帧间预测,从而判断是否能够利用第二预测参数。
在能够利用第二预测参数的情况下(S1104的“是”),运动矢量运算部511,利用第二预测参数计算运动矢量(S1105)。在不能利用第二预测参数的情况下(S1104的“否”),运动矢量运算部511,不根据对应预测单元的预测参数计算运动矢量(S1106)。
图11是示出通过图10所示的处理来传输预测参的区域的例子的图。图11的上段示出,当前图片中包含的多个预测单元0至23。图11的中段示出,对应图片中包含的多个预测单元0至47。
在该例子中,与当前图片的预测单元0对应的第一对应预测单元是,对应图片的预测单元40。并且,与当前图片的预测单元0对应的第二对应预测单元是,对应图片的预测单元0。因此,在预测当前图片的预测单元0的情况下,将对应图片的预测单元40的预测参数、和对应图片的预测单元0的预测参数一起传输。
并且,与当前图片的预测单元12对应的第一对应预测单元是,对应图片的预测单元13。并且,与当前图片的预测单元12对应的第二对应预测单元是,对应图片的预测单元3。因此,在预测当前图片的预测单元12的情况下,将对应图片的预测单元13的预测参数、和对应图片的预测单元3的预测参数一起传输。
根据以上的处理,图像处理装置,与是否能够利用第一预测参数无关,而投机传输第二预测参数。据此,帧存储器502的通信次数减少。据此,因存储器访问延迟而引起的处理延迟变小。
图12示出不投机获得预测参数的情况的例子。在图12的上段,由于能够利用第一预测参数,因此帧存储器502的通信次数不增加。但是,在图12的下段,由于不能利用第一预测参数,因此,需要另外指示,进行第二预测参数的传输。因此,帧存储器502的通信次数增加。
图13示出投机获得预测参数的情况的例子。在图13中,以一次的指示,将第一预测参数和第二预测参数一起传输。在图13的上段,由于能够利用第一预测参数,因此,利用被传输的第一预测参数、以及被传输的第二预测参数之中的第一预测参数。在此情况下,帧存储器502的通信次数不增加。
并且,在图13的下段,由于不能利用第一预测参数,因此,利用被传输的第一预测参数、以及被传输的第二预测参数之中的第二预测参数。在此情况下,帧存储器502的通信次数也不增加。
如图13,在投机获得预测参数的情况下,向帧存储器502的访问次数减少。因此,因存储器访问延迟而引起的延迟时间小。与图12的下段的情况相比,运动矢量的计算所需要的时间减少。
而且,在图13例子中以一次传输的数据量,比图12的例子大。因此,可以估计为数据被传输的时间不减少。但是,因传输次数的削减,而包含因传输的指示等而引起的开销的整体的传输时间减少。传输次数的削减,特别有效于数据量比较小的预测参数的传输时间的削减。
(1-4.效果)
如此,本实施例涉及的图像处理装置,参考与对应图片中包含的多个对应预测单元对应的多个预测参数,计算当前图片中包含的当前预测单元的运动矢量。此时,投机传输多个预测参数。据此,向存储器的访问次数减少,解码处理整体成为高速化。
(1-5.补充)
而且,在本实施例中,运动矢量的计算中参考的预测参数的数量是,两个。但是,运动矢量的计算中参考的预测参数的数量也可以是,三个以上。
并且,在本实施例中,对应图片中的第一对应预测单元的位置,与当前预测单元的右下的位置对应。并且,对应图片中的第二对应预测单元的位置,与当前预测单元的位置对应。但是,各个对应预测单元的位置,并不需要是该位置。各个对应预测单元的位置也可以是,当前预测单元的左下的位置、或者、当前预测单元的下方的位置等的任何位置。
并且,对于各个处理部的结构,其一部分或者全部,可以以由专用硬件的电路来实现,也可以以由处理器执行的程序来实现。
并且,在本实施例中,帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514被示出为,存储器或存储部。但是,他们,只要是能够存储数据的存储元件,就可以是存储器、触发器或寄存器等的任何结构。进而,也可以将处理器的存储区域的一部分、或高速缓存的一部分,作为帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514来利用。
并且,在本实施例中示出,作为图像解码装置的图像处理装置。但是,图像处理装置,不仅限于图像解码装置。以与解码处理相反的次序执行的图像编码装置,同样,也能够进行预测参数的传输。
并且,本实施例,记载了运动补偿的例子。但是,图像处理装置,即使在帧内预测的情况下,也通过执行同样的处理,能够得到同样的效果。而且,在此情况下,也可以替代运动矢量,而利用帧内预测模式。当然,也可以利用在预测图像的生成中所利用的其他的信息。并且,在此情况下,也可以利用空间上不同的图片、例如视点不同的图片,以作为对应图片。当然,也可以利用其他的图片,以作为对应图片。
并且,本实施例所示的针对编码单元、预测单元及变换单元的尺寸及形状是例子,他们的尺寸及形状,可以是任何尺寸及形状。
(实施例2)
(2-1.概要)
首先,说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置,参考对应预测单元的预测参数,计算当前预测单元的运动矢量。此时,图像处理装置,投机获得包含在当前预测单元的预测图像的生成中没有可能利用的预测参数的多个预测参数。据此,用于获得对应预测单元的预测参数的存储器访问次数减少。因此,解码处理整体成为高速化。
并且,与实施例1相比,图像处理装置,投机获得更多的预测参数。因此,存储器访问次数更减少。因此,与实施例1相比,解码处理更成为高速化。
图14示出由本实施例涉及的图像处理装置传输预测参数的区域。在本实施例中,传输的区域中包含,第一对应预测单元以及第二对应预测单元。进而,其他的区域,也被包含在传输的区域中。也就是说,不仅第一对应预测单元的第一预测参数、以及第二对应预测单元的第二预测参数,而将其他的预测参数也一起传输。
(2-2.结构)
图1是本实施例涉及的图像处理装置的结构图。图2是本实施例涉及的运动补偿部506的周边的结构图。对于本实施例涉及的图像处理装置的结构,由于与实施例1全部相同,因此省略说明。
(2-3.工作)
在本实施例中,与实施例1同样,利用图3A至图5B所示的编码流的构造。对于本实施例涉及的图像处理装置的工作流程,由于与图8及图9所示的实施例1的工作流程同样,因此省略说明。
图15是示出本实施例涉及的运动矢量运算部511的工作的流程图。以下,对于本实施例涉及的运动矢量运算部511的工作,利用图15进行说明。
首先,运动矢量运算部511,根据当前预测单元的坐标以及尺寸,计算第一对应预测单元的位置。并且,运动矢量运算部511,同样,计算第二对应预测单元的位置。而且,运动矢量运算部511,判断运动矢量存储部515是否保持第一以及第二预测参数(S1200)。
在运动矢量存储部515没有保持需要的预测参数的情况下(S1200的“否”),运动矢量运算部511,获得至少包含第一以及第二预测参数的两个以上的预测参数。此时,DMA控制部512,将两个以上的预测参数从帧存储器502传输到运动矢量存储部515(S1201)。在运动矢量存储部515已经保持需要的预测参数的情况下(S1200的“是”),不进行传输处理(S1201)。
而且,运动矢量运算部511也可以,除外运动矢量存储部515保持的预测参数,传输两个以上的预测参数。例如,在运动矢量存储部515保持第二预测参数的情况下,运动矢量运算部511也可以,传输包含第一预测参数的两个以上的预测参数。
接着,运动矢量运算部511,通过判断运动矢量存储部515的第一预测参数是否示出帧内预测,从而判断是否能够利用第一预测参数。(S1202)。在能够利用第一预测参数的情况下(S1202的“是”),运动矢量运算部511,利用第一预测参数计算运动矢量(S1203)。
在不能利用第一预测参数的情况下(S1202的“否”),运动矢量运算部511,通过判断运动矢量存储部515的第二预测参数是否示出帧内预测,从而判断是否能够利用第二预测参数(S1204)。在能够利用第二预测参数的情况下(S1204的“是”),运动矢量运算部511,利用第二预测参数计算运动矢量(S1205)。
在不能利用第二预测参数的情况下(S1204的“否”),运动矢量运算部511,不根据对应预测单元的预测参数计算运动矢量(S1206)。
根据以上的处理,运动矢量运算部511,与是否能够利用第一预测参数无关,而投机获得第二预测参数。进而,运动矢量运算部511,也投机获得其他的预测参数。据此,帧存储器502的通信次数减少。并且,因存储器访问延迟而引起的处理延迟变小。
图16示出本实施例中的投机传输预测参数的区域。而且,虽然图16中没有示出,但是,当前图片的多个预测单元的结构,与图11同样。并且,图16的对应图片的多个预测单元的结构,与图11同样。
图16所示的对应图片的图(map)示出,坐标位置与预测单元(其预测参数)的对应关系。例如,在帧存储器502中,如对应图片的图,坐标位置与预测单元(其预测参数)关联。
图像处理装置,在对当前图片的预测单元12(参照图11)进行处理时,传输对应图片的预测单元13的预测参数,以作为第一预测参数。并且,此时,图像处理装置,也一起投机传输对应图片的预测单元3的预测参数,以作为第二预测参数。
进而,图像处理装置,也一起投机传输对应图片的预测单元5、7、8以及22的预测参数(参照图16)。据此,将作为当前图片的预测单元14的运动矢量的计算所需要的第一预测参数的对应图片的预测单元22的预测参数、以及作为第二预测参数的对应图片的预测单元5的预测参数也一起传输。
因此,帧存储器502的通信次数减少。据此,因存储器访问延迟而引起的处理延迟变小。因此,运动矢量的计算所需要的时间减少。
(2-4.效果)
如此,图像处理装置,在利用对应预测单元的预测参数计算运动矢量的情况下,投机传输包含在当前预测单元的预测图像的生成中没有可能利用的预测参数的多个预测参数。据此,存储器访问次数减少,解码处理整体成为高速化。
(2-5.补充)
而且,在本实施例中,运动矢量的计算中参考的预测参数的数量是,两个。但是,运动矢量的计算中参考的预测参数的数量也可以是,三个以上。
并且,在本实施例中,对应图片中的第一对应预测单元的位置,与当前预测单元的右下的位置对应。并且,对应图片中的第二对应预测单元的位置,与当前预测单元的位置对应。但是,各个对应预测单元的位置,并不需要是该位置。各个对应预测单元的位置也可以是,当前预测单元的左下的位置、或者、当前预测单元的下方的位置等的任何位置。
并且,对于各个处理部的结构,其一部分或者全部,可以以由专用硬件的电路来实现,也可以以由处理器执行的程序来实现。
并且,在本实施例中,帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514被示出为,存储器或存储部。但是,他们,只要是能够存储数据的存储元件,就可以是存储器、触发器或寄存器等的任何结构。进而,也可以将处理器的存储区域的一部分、或高速缓存的一部分,作为帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514来利用。
并且,在本实施例中示出,作为图像解码装置的图像处理装置。但是,图像处理装置,不仅限于图像解码装置。以与解码处理相反的次序执行的图像编码装置,同样,也能够进行预测参数的传输。
并且,本实施例,记载了运动补偿的例子。但是,图像处理装置,即使在帧内预测的情况下,也通过执行同样的处理,能够得到同样的效果。而且,在此情况下,也可以替代运动矢量,而利用帧内预测模式。当然,也可以利用在预测图像的生成中所利用的其他的信息。并且,在此情况下,也可以利用空间上不同的图片、例如视点不同的图片,以作为对应图片。当然,也可以利用其他的图片,以作为对应图片。
并且,本实施例所示的针对编码单元、预测单元及变换单元的尺寸及形状是例子,他们的尺寸及形状,可以是任何尺寸及形状。
(实施例3)
(3-1.概要)
首先,说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置,参考对应预测单元的预测参数,计算当前预测单元的运动矢量。此时,图像处理装置,获得包含当前预测单元的最大编码单元中包含的所有的预测单元的预测图像的生成所需要的所有的预测参数。据此,用于获得对应预测单元的预测参数的存储器访问次数减少。因此,解码处理整体成为高速化。
并且,与实施例1相比,图像处理装置,投机获得更多的预测参数。因此,存储器访问次数更减少。因此,与实施例1相比,解码处理更成为高速化。
图17示出由本实施例涉及的图像处理装置传输预测参数的区域。在本实施例中,传输的区域中包含,第一对应预测单元以及第二对应预测单元。进而,与最大编码单元对应的其他的区域,被包含在传输的区域中。也就是说,不仅第一对应预测单元的第一预测参数、以及第二对应预测单元的第二预测参数,而将与最大编码单元对应的其他的预测参数也一起传输。
(3-2.结构)
图1是本实施例涉及的图像处理装置的结构的图。图2是本实施例涉及的运动补偿部506的周边的结构图。对于本实施例涉及的图像处理装置的结构,由于与实施例1全部相同,因此省略说明。
(3-3.工作)
在本实施例中,与实施例1、2同样,利用图3A至图5B所示的编码流的构造。对于本实施例涉及的图像处理装置的工作流程,由于与图8及图9所示的实施例1的工作流程同样,因此省略说明。
图18是示出本实施例涉及的运动矢量运算部511的工作的流程图。以下,对于本实施例涉及的运动矢量运算部511的工作,利用图18进行说明。
首先,运动矢量运算部511,根据包含当前预测单元的最大编码单元的坐标以及尺寸,针对最大编码单元中包含的所有的预测单元,计算第一以及第二对应预测单元的位置。DMA控制部512,从帧存储器502向运动矢量存储部515,传输与最大编码单元中包含的所有的预测单元对应的所有的第一以及第二预测参数(S1300)。
接着,运动矢量运算部511,针对当前预测单元,通过判断运动矢量存储部515的第一预测参数是否示出帧内预测,从而判断是否能够利用第一预测参数。(S1301)。在能够利用第一预测参数的情况下(S1301的“是”),运动矢量运算部511,利用第一预测参数计算运动矢量(S1302)。
在不能利用第二预测参数的情况下(S1301的“否”),运动矢量运算部511,通过判断运动矢量存储部515的第二预测参数是否示出帧内预测,从而判断是否能够利用第二预测参数(S1303)。在能够利用第二预测参数的情况下(S1303的“是”),运动矢量运算部511,利用第二预测参数计算运动矢量(S1304)。
在不能利用第二预测参数的情况下(S1303的“否”),运动矢量运算部511,不根据对应预测单元的预测参数计算运动矢量(S1305)。
在所述一连串的处理(S1301至S1305)完成之后,运动矢量运算部511,判断针对包含当前预测单元的最大编码单元中包含的所有的预测单元的处理是否完成(S1306)。
而且,运动矢量运算部511,在针对所有的预测单元的处理没有完成的情况下(S1306的“否”),再次执行一连串的处理(S1301至S1305)。在针对所有的预测单元的处理完成的情况下(S1306的“是”),运动矢量运算部511,针对最大编码单元中包含的所有的预测单元,结束运动矢量的计算。
根据以上的处理,运动矢量运算部511,投机获得包含在当前预测单元的最大编码单元中包含的所有的预测单元的预测图像的生成中有可能利用的所有的预测参数。据此,帧存储器502的通信次数减少。并且,因存储器访问延迟而引起的处理延迟减少。
图19示出投机传输预测参数的区域。而且,当前图片的多个预测单元的结构,与图11同样。而且,图19的粗边线示出,最大编码单元。并且,虽然图19中没有示出,但是,对应图片的多个预测单元的结构,与图16同样。而且,与图16同样,像对应图片的图那样,坐标位置与预测单元(其预测参数)关联。
本实施例涉及的图像处理装置,传输包含在当前预测单元的最大编码单元中包含的预测单元的预测图像的生成中有可能利用的所有的预测参数。如图19,图像处理装置,例如,在对当前图片的预测单元1进行处理时,投机传输与对应图片的预测单元1至8、13、22、40至42以及47对应的多个预测参数。
据此,包含当前图片的预测单元1的最大编码单元中包含的预测单元1至16的运动矢量的计算中有可能参考的所有的预测参数,由运动矢量存储部515保持。因此,帧存储器502的通信次数减少。并且,因存储器访问延迟而引起的处理延迟变小。因此,运动矢量计算所需要的时间减少。
(3-4.效果)
如此,图像处理装置,在利用对应预测单元的预测参数计算运动矢量的情况下,投机传输包含在当前预测单元的最大编码单元中包含的预测单元的参考图像的生成中有可能利用的所有的预测参数。据此,存储器访问次数减少,解码处理整体成为高速化。
(3-5.补充)
而且,在本实施例中,运动矢量的计算中参考的预测参数的数量是,两个。但是,运动矢量的计算中参考的预测参数的数量也可以是,三个以上。
并且,在本实施例中,对应图片中的第一对应预测单元的位置,与当前预测单元的右下的位置对应。并且,对应图片中的第二对应预测单元的位置,与当前预测单元的位置对应。但是,各个对应预测单元的位置,并不需要是该位置。各个对应预测单元的位置也可以是,当前预测单元的左下的位置、或者、当前预测单元的下方的位置等的任何位置。
并且,对于各个处理部的结构,其一部分或者全部,可以以由专用硬件的电路来实现,也可以以由处理器执行的程序来实现。
并且,在本实施例中,帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514被示出为,存储器或存储部。但是,他们,只要是能够存储数据的存储元件,就可以是存储器、触发器或寄存器等的任何结构。进而,也可以将处理器的存储区域的一部分、或高速缓存的一部分,作为帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514来利用。
并且,在本实施例中示出,作为图像解码装置的图像处理装置。但是,图像处理装置,不仅限于图像解码装置。以与解码处理相反的次序执行的图像编码装置,同样,也能够进行预测参数的传输。
并且,本实施例,记载了运动补偿的例子。但是,图像处理装置,即使在帧内预测的情况下,也通过执行同样的处理,能够得到同样的效果。而且,在此情况下,也可以替代运动矢量,而利用帧内预测模式。当然,也可以利用在预测图像的生成中所利用的其他的信息。并且,在此情况下,也可以利用空间上不同的图片、例如视点不同的图片,以作为对应图片。当然,也可以利用其他的图片,以作为对应图片。
并且,本实施例所示的针对编码单元、预测单元及变换单元的尺寸及形状是例子,他们的尺寸及形状,可以是任何尺寸及形状。
(实施例4)
(4-1.概要)
首先,说明本实施例涉及的图像处理装置的概要。本实施例涉及的图像处理装置,参考对应预测单元的预测参数,计算当前预测单元的运动矢量。此时,图像处理装置,将在空间上相邻的多个预测单元的预测图像的生成中所利用的多个预测参数一起传输(保存)。据此,存储器访问次数减少。因此,解码处理整体成为高速化。
实施例4,与实施例1、实施例2、实施例3不同,保存预测参数时的存储器访问次数减少。据此,解码处理整体成为高速化。并且,图像处理装置,与处理顺序无关,而将与空间上相邻的多个预测单元对应的多个预测参数保存到连续的地址。据此,图像处理装置,不利用与处理顺序有关的信息,而能够获得预测参数。因此,参考预测参数时的运算量被削减。
图20示出由本实施例涉及的图像处理装置传输预测参数的区域。在本实施例中,在当前预测单元的预测图像的生成中所利用的预测参数被传输到帧存储器。此时,图像处理装置,将在当前预测单元的预测图像的生成中所利用的预测参数,与在其他的预测单元的预测图像的生成中所利用的预测参数一起传输到帧存储器。
(4-2.结构)
图1是本实施例涉及的图像处理装置的结构图。图2是本实施例涉及的运动补偿部506的周边的结构图。对于本实施例涉及的图像处理装置的结构,由于与实施例1全部相同,因此省略说明。
(4-3.工作)
在本实施例中,与实施例1、2同样,利用图3A至图5B所示的编码流的构造。对于本实施例涉及的图像处理装置的工作流程,由于与图8及图9所示的实施例1的工作流程同样,因此省略说明。
图21是示出本实施例涉及的运动矢量运算部511的工作的流程图。本实施例涉及的运动矢量运算部511,计算运动矢量,将计算出的运动矢量保存到帧存储器502。此时,更具体地说,运动矢量运算部511,将包含计算出的运动矢量的预测参数存放到运动矢量存储部515。而且,运动矢量运算部511,由DMA控制部512,从运动矢量存储部515向帧存储器502,传输预测参数。
以下,对于本实施例涉及的运动矢量运算部511的所述的工作,利用图21进行详细说明。而且,在此,将最大编码单元的尺寸假设为,由坐标(0,0)至坐标(63,63)构成的64x64像素。
首先,运动矢量运算部511,计算当前预测单元的运动矢量(S1400)。接着,运动矢量运算部511,判断针对最大编码单元中包含的所有的预测单元的运动矢量的计算是否完成(S1401)。在针对最大编码单元中包含的所有的预测单元的运动矢量的计算没有完成的情况下(S1401的“否”),运动矢量运算部511,计算没有计算出运动矢量的预测单元的运动矢量(S1400)。
在针对最大编码单元中包含的所有的预测单元的运动矢量的计算完成的情况下(S1401的“是”),运动矢量运算部511,传输与最大编码单元对应的所有的预测参数(S1402至S1405)。此时,运动矢量运算部511,由DMA控制部512,如下传输预测参数。
首先,DMA控制部512,将最大编码单元中与第一行的坐标对应的四个预测参数一起传输到帧存储器502中的连续的地址(S1402)。具体而言,DMA控制部512,传输最大编码单元中的包含坐标(0,0)的像素的预测单元的预测参数、包含坐标(16,0)的像素的预测单元的预测参数、包含坐标(32,0)的像素的预测单元的预测参数、以及包含坐标(48,0)的像素的预测单元的预测参数。
接着,DMA控制部512,将最大编码单元中与第二行的坐标对应的四个预测参数一起传输到帧存储器502中的连续的地址(S1403)。具体而言,DMA控制部512,传输最大编码单元中的包含坐标(0,16)的像素的预测单元的预测参数、包含坐标(16,16)的像素的预测单元的预测参数、包含坐标(32,16)的像素的预测单元的预测参数、以及包含坐标(48,16)的像素的预测单元的预测参数。
接着,DMA控制部512,将最大编码单元中与第三行的坐标对应的四个预测参数一起传输到帧存储器502中的连续的地址(S1404)。具体而言,DMA控制部512,传输最大编码单元中的包含坐标(0,32)的像素的预测单元的预测参数、包含坐标(16,32)的像素的预测单元的预测参数、包含坐标(32,32)的像素的预测单元的预测参数、以及包含坐标(48,32)的像素的预测单元的预测参数。
接着,DMA控制部512,将最大编码单元中与第四行的坐标对应的四个预测参数一起传输到帧存储器502中的连续的地址(S1405)。具体而言,DMA控制部512,传输最大编码单元中的包含坐标(0,48)的像素的预测单元的预测参数、包含坐标(16,48)的像素的预测单元的预测参数、包含坐标(32,48)的像素的预测单元的预测参数、以及包含坐标(48,48)的像素的预测单元的预测参数。
DMA控制部512,针对下一个最大编码单元,也同样,将与水平方向上排列的多个坐标对应的多个预测参数,保存到帧存储器502中的连续的地址。
此时,DMA控制部512,针对上一个最大编码单元,在水平方向上连续,将下一个最大编码单元的多个预测参数保存到帧存储器502。例如,DMA控制部512,以与上一个最大编码单元的第一行对应的四个预测参数、和与下一个最大编码单元的第一行对应的四个预测参数在帧存储器502中连续的方式,来传输多个预测参数。
根据以上的处理,图像处理装置,将在空间上相邻的多个预测单元的预测图像的生成中所利用的多个预测参数一起保存。据此,在预测单元的运动矢量的保存中,存储器访问次数减少。因此,解码处理整体成为高速化。
并且,图像处理装置,与处理顺序无关,而将与空间上相邻的多个预测单元对应的多个预测参数保存到帧存储器502中的连续的地址。据此,图像处理装置,不利用与对应图片的处理顺序有关的信息,而能够获得预测参数。
图22是示出本实施例的预测参数的保存的例子的图。图22示出,与图11同样的对应图片被处理为当前图片时的工作。在图22的例子中,在计算出被处理为当前图片的对应图片的第一个最大编码单元中包含的预测单元0的运动矢量的情况下,判断为计算出与第一个最大编码单元对应的所有的运动矢量。
而且,DMA控制部512,将与最大编码单元内的坐标(0,0)、(16,0)、(32,0)、(48,0)对应的四个预测参数,传输到帧存储器502中的连续的地址。在图22的例子中,这样的四个预测参数,都是与预测单元0对应的预测参数。
接着,DMA控制部512,将与最大编码单元内的坐标(0,16)、(16,16)、(32,16)、(48,16)对应的四个预测参数,传输到帧存储器502中的连续的地址。在图22的例子中,这样的四个预测参数,都是与预测单元0对应的预测参数。
接着,DMA控制部512,将与最大编码单元内的坐标(0,32)、(16,32)、(32,32)、(48,32)对应的四个预测参数,传输到帧存储器502中的连续的地址。在图22的例子中,这样的四个预测参数,都是与预测单元0对应的预测参数。
接着,DMA控制部512,将与最大编码单元内的坐标(0,48)、(16,48)、(32,48)、(48,48)对应的四个预测参数,传输到帧存储器502中的连续的地址。在图22的例子中,这样的四个预测参数,都是与预测单元0对应的预测参数。
进而,在图22的例子中,在计算出对应图片的第二个最大编码单元中包含的预测单元1至7的运动矢量的情况下,判断为计算出与第二个最大编码单元对应的所有的运动矢量。
而且,DMA控制部512,将与最大编码单元内的坐标(0,0)、(16,0)、(32,0)、(48,0)对应的四个预测参数传输到帧存储器502中的连续的地址。这样的四个预测参数是,按顺序,预测单元1的预测参数、预测单元1的预测参数、预测单元2的预测参数、以及预测单元3的预测参数。
DMA控制部512,将这样的四个预测参数,在第一个最大编码单元内的坐标(0,0)、(16,0)、(32,0)、(48,0)所对应的四个预测参数的地址后连续保存到帧存储器502。
接着,DMA控制部512,将与最大编码单元内的坐标(0,16)、(16,16)、(32,16)、(48,16)对应的四个预测参数,传输到帧存储器502中的连续的地址。这样的四个预测参数是,按顺序,预测单元1的预测参数、预测单元1的预测参数、预测单元4的预测参数、以及预测单元5的预测参数。
DMA控制部512,将这样的四个预测参数,在第一个最大编码单元内的坐标(0,16)、(16,16)、(32,16)、(48,16)所对应的四个预测参数的地址后连续保存到帧存储器502。
接着,DMA控制部512,将与最大编码单元内的坐标(0,32)、(16,32)、(32,32)、(48,32)对应的四个预测参数传输到帧存储器502中的连续的地址。这样的四个预测参数是,按顺序,预测单元6的预测参数、预测单元6的预测参数、预测单元7的预测参数、以及预测单元7的预测参数。
DMA控制部512,将这样的四个预测参数,在第一个最大编码单元内的坐标(0,32)、(16,32)、(32,32)、(48,32)所对应的四个预测参数的地址后连续保存到帧存储器502。
接着,DMA控制部512,将与最大编码单元内的坐标(0,48)、(16,48)、(32,48)、(48,48)对应的四个预测参数,传输到帧存储器502中的连续的地址。这样的四个预测参数是,按顺序,预测单元6的预测参数、预测单元6的预测参数、预测单元7的预测参数、以及预测单元7的预测参数。
DMA控制部512,将这样的四个预测参数,在第一个最大编码单元内的坐标(0,48)、(16,48)、(32,48)、(48,48)所对应的四个预测参数的地址后连续保存到帧存储器502。
通过反复进行所述的次序,像图22的下段所示的对应图片的图那样,与多个预测单元对应的多个预测参数由帧存储器502保存。
据此,将与空间上相邻的多个预测单元对应的多个预测参数,一起保存到连续的地址。因此,以后,容易获得与空间上相邻的多个预测单元对应的多个预测参数。并且,像图22的下段那样,复制与一个预测单元对应的一个预测参数,生成与多个坐标位置对应的多个预测参数。据此,以后,按照坐标位置,容易获得预测参数。
并且,在图22的例子中,按每个16x16像素保存多个预测参数。在如图7进行舍入处理的情况下,按每个16x16像素保存一个预测参数即可。因此,也可以将与16x16像素内的多个预测单元对应的多个预测参数,集中为一个预测参数来传输。
(4-4.效果)
如此,图像处理装置,将在空间上相邻的多个预测单元的预测图像的生成中所利用的多个预测参数一起传输(保存)。据此,用于保存预测单元的预测参数的存储器访问次数减少。因此,解码处理整体成为高速化。
并且,与处理顺序无关,而将与空间上相邻的多个预测单元对应的多个预测参数保存到连续的地址。据此,图像处理装置,不利用与对应图片的处理顺序有关的信息,而能够获得预测参数。因此,参考预测参数时的运算量被削减。
(4-5.补充)
而且,在本实施例中,一起传输的预测参数的数量为四个。但是,对于一起传输的预测参数的数量,可以是两个、也可以是三个、还可以是五个以上。
并且,本实施例涉及的图像处理装置,将在空间上的水平方向上相邻的多个预测单元的预测图像的生成中所利用的多个预测参数保存到连续的地址。但是,这样的多个预测单元可以是,不仅限于水平方向,而水平方向上相邻的多个预测单元。例如,这样的多个预测单元也可以是,空间上的垂直方向上相邻的多个预测单元。
并且,本实施例涉及的最大编码单元的尺寸为64x64像素。但是,最大编码单元的尺寸,不仅限于该尺寸,而可以是任何尺寸。例如,最大编码单元的尺寸也可以是,32x32像素、16x16像素、或64x32像素。
并且,在本实施例中,与被保存的预测参数对应的数据单位为,16x16像素。但是,保存的数据单位,不仅限于16x16像素。可以是任何尺寸。例如,保存的数据单位也可以是,8x8像素或4x4像素。
并且,对于各个处理部的结构,其一部分或者全部,可以以由专用硬件的电路来实现,也可以以由处理器执行的程序来实现。
并且,在本实施例中,帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514被示出为,存储器或存储部。但是,他们,只要是能够存储数据的存储元件,就可以是存储器、触发器或寄存器等的任何结构。进而,也可以将处理器的存储区域的一部分、或高速缓存的一部分,作为帧存储器502、运动矢量存储部515、参考图像存储部513及预测图像存储部514来利用。
并且,在本实施例中示出,作为图像解码装置的图像处理装置。但是,图像处理装置,不仅限于图像解码装置。以与解码处理相反的次序执行的图像编码装置,同样,也能够进行预测参数的传输。
并且,本实施例,记载了运动补偿的例子。但是,图像处理装置,即使在帧内预测的情况下,也通过执行同样的处理,能够得到同样的效果。而且,在此情况下,也可以替代运动矢量,而利用帧内预测模式。当然,也可以利用在预测图像的生成中所利用的其他的信息。并且,在此情况下,也可以利用空间上不同的图片、例如视点不同的图片,以作为对应图片。当然,也可以利用其他的图片,以作为对应图片。
并且,本实施例所示的针对编码单元、预测单元及变换单元的尺寸及形状是例子,他们的尺寸及形状,可以是任何尺寸及形状。
(实施例5)
实施例5是,实施例4的变形例。本实施例涉及的图像处理装置,具备与实施例4同样的构成要素,将在多个预测单元的预测图像的生成中所利用的多个预测参数,从运动矢量存储部515一起传输(保存)到帧存储器502。
本实施例涉及的图像处理装置,将在最大编码单元的所有的预测单元的预测图像的生成中所利用的多个预测参数一起传输。并且,本实施例涉及的图像处理装置,将在处理顺序上连续的多个预测单元的预测图像的生成中所利用的多个预测参数传输到连续的地址。而且,该处理顺序也可以是,例如,像图片中包含的多个预测单元为预先规定的一定的大小时适用的处理顺序那样的、预先规定的处理顺序。
图23是示出本实施例涉及的运动矢量运算部511的工作的流程图。在此,与实施例4同样,将最大编码单元的尺寸假设为,由坐标(0,0)至坐标(63,63)构成的64x64像素。
首先,运动矢量运算部511,计算当前预测单元的运动矢量(S1500)。接着,运动矢量运算部511,判断针对最大编码单元中包含的所有的预测单元的运动矢量的计算是否完成(S1501)。在针对最大编码单元中包含的所有的预测单元的运动矢量的计算没有完成的情况下(S1501的“否”),运动矢量运算部511,计算没有计算出运动矢量的预测单元的运动矢量(S1500)。
在针对最大编码单元中包含的所有的预测单元的运动矢量的计算完成的情况下(S1501的“是”),运动矢量运算部511,传输与最大编码单元对应的所有的预测参数(S1502)。此时,运动矢量运算部511,通过DMA控制部512,将与处理顺序上连续的多个预测单元对应的多个预测参数传输到帧存储器502中的连续的地址。
具体而言,DMA控制部512,将与最大编码单元中的16个坐标对应的16个预测参数一起传输到帧存储器502中的连续的地址。这样的16个预测参数各自,按顺序,与坐标(0,0)、(16,,0)、(0,16)、(16,16)、(0,32)、(0,48)、(16,32)、(16,48)、(32,0)、(32,16)、(48,0)、(48,16)、(32,32)、(32,48)、(48,32)、(48,48)的预测单元对应。
DMA控制部512,针对下一个最大编码单元,也同样,将与处理顺序上连续的多个预测单元对应的多个预测参数传输到帧存储器502中的连续的地址。
此时,DMA控制部512,与上一个最大编码单元连续,将下一个最大编码单元的多个预测参数保存到帧存储器502。例如,DMA控制部512,以与上一个最大编码单元的坐标(48,48)对应的预测参数、和与下一个最大编码单元的坐标(0,0)对应的预测参数在帧存储器502中连续的方式,来传输多个预测参数。
图24是示出本实施例的预测参数的保存的例子的图,与图11同样示出对应图片被处理为当前图片时的工作。在计算出图24的对应图片的第一个最大编码单元中包含的预测单元0的运动矢量的情况下,判断为计算出与第一个最大编码单元对应的所有的运动矢量。
而且,DMA控制部512,将与最大编码单元内的16个坐标对应的16个预测参数传输到帧存储器502中的连续的地址。在图24的例子中,这样的16个预测参数,都是与预测单元0对应的预测参数。
进而,在计算出图24的对应图片的第二个最大编码单元中包含的预测单元1至7的运动矢量的情况下,判断为计算出与第二个最大编码单元对应的所有的运动矢量。
而且,DMA控制部512,将与最大编码单元内的16个坐标对应的16个预测参数传输到帧存储器502中的连续的地址。在图24的例子中,这样的16个预测参数分别是,按顺序,与预测单元1、1、1、1、2、3、4、5、6、6、6、6、7、7、7、7对应的预测参数。
DMA控制部512,将这样的16个预测参数,与第一个最大编码单元内的坐标(48,48)所对应的预测参数的地址连续保存到帧存储器502。
通过反复进行所述的次序,像图24的下段所示的对应图片的图那样,与多个预测单元对应的多个预测参数由帧存储器502保存。
而且,在本实施例中,按每个最大编码单元,传输多个预测参数。但是,也可以按每个更细小的数据单位,传输多个预测参数。而且,如图24的对应图片的图所示,也可以将他们传输到连续的地址。
图25是示出本实施例涉及的传输的区域的第一例的图。图25示出,与对应图片对应的多个预测参数以图23的次序被传输到帧存储器502之后,在当前图片的预测单元的预测图像的生成中从帧存储器502传输的多个预测参数。而且,当前图片以及对应图片的结构,与图19的例子同样。
在图25的例子中,图像处理装置,在处理当前图片的预测单元1时,投机传输与对应图片的预测单元1至14、22、40至44、47对应的多个预测参数。预测单元1至14的处理顺序是连续的。并且,预测单元40至44的处理顺序是连续的。因此,这样的预测参数,被保存在帧存储器502中的连续的地址。因此,图像处理装置能够,容易将这样的预测参数从帧存储器502一起传输。
而且,图像处理装置,也可以省略第二个最大编码单元的处理中要传输的多个预测参数中的、第一个最大编码单元的处理中传输了的预测参数的传输。
图26是示出本实施例涉及的传输的区域的第二例的图。图26的例子,与图25的例子大致同样。在图26的例子中,按每个最大编码单元,从帧存储器502传输与多个预测单元对应的多个预测参数。
在图26的例子中,图像处理装置,在处理当前图片的预测单元1时,投机传输与对应图片的预测单元1至23、40至47对应的多个预测参数。预测单元1至23的处理顺序是连续的。并且,预测单元40至47的处理顺序是连续的。因此,这样的预测参数,被保存在帧存储器502中的连续的地址。因此,图像处理装置能够,容易将这样的预测参数从帧存储器502一起传输。
在图26的例子中,图像处理装置,按每个最大编码单元,从帧存储器502向运动矢量存储部515传输多个预测参数,按每个最大编码单元,从运动矢量存储部515向帧存储器502传输多个预测参数。据此,传输次数减少,整体的处理成为高速化。
而且,与图25的例子同样,图像处理装置,也可以省略第二个最大编码单元的处理中要传输的多个预测参数中的、第一个最大编码单元的处理中传输了的预测参数的传输。
如上所述,本实施例涉及的图像处理装置,将在最大编码单元中包含的所有的预测单元的预测图像的生成中所利用的多个预测参数一起传输。据此,传输次数减少,整体的处理成为高速化。并且,本实施例涉及的图像处理装置,将在处理顺序上连续的多个预测单元的预测图像的生成中所利用的多个预测参数传输到连续的地址。据此,以后,容易将多个预测参数一起获得。
(实施例6)
本实施例涉及的图像处理装置具备,所述的多个实施例所示的图像处理装置涉及的特征构成要素。
图27A是示出本实施例涉及的图像处理装置的结构图。图27A所示的图像处理装置100,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成。并且,图像处理装置100具备两个存储部101、102、以及传输部110。
存储部101是,用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数的存储部。存储部101也可以,具有能够存储这样的多个预测参数的容量。存储部102是,用于存储在多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数的存储部。存储部102也可以,具有能够存储这样的两个以上的预测参数的容量。
例如,存储部101,与图2的帧存储器502对应,存储部102,与图2的运动矢量存储部515对应。并且,例如,传输部110,与运动矢量运算部511以及DMA控制部512对应。
图27B是示出图27A所示的图像处理装置100的工作的流程图。传输部110,将用于预测图像的生成的两个以上的预测参数从存储部101一起传输到存储部102,或者,将在预测图像的生成中所利用的两个以上的预测参数从存储部102一起传输到存储部101(S101)。
据此,预测单元的信息的传输次数减少。因此,因预测单元的信息的传输而引起的处理负荷以及处理延迟减少。
而且,传输部110也可以,将分别包含运动矢量的信息的两个以上的预测参数一起传输。运动矢量的信息也可以是,示出没有利用运动矢量的信息。通过将分别包含这样的信息的两个以上的预测参数一起传输,从而高效率地传输运动矢量的信息。因此,利用其他的预测单元的运动矢量时的处理负荷以及处理延迟减少。
例如,传输部110,将用于预测图像的生成的两个以上的预测参数从存储部101一起传输到存储部102。据此,高效率地传输用于预测图像的生成的预测参数。因此,因用于预测图像的生成的预测参数的传输而引起的处理负荷以及处理延迟减少。
并且,传输部110也可以,将在预测单元的预测图像的生成中有可能利用的两个以上的预测参数一起传输到存储部102。据此,能够抑制预测参数的传输的反复。因此,处理负荷以及处理延迟减少。
并且,传输部110也可以,将包含第二预测单元的预测参数、以及第三预测单元的预测参数的两个以上的预测参数一起传输到存储部102。在此,第二预测单元是,与进行预测图像的生成的第一预测单元的右下的位置对应的预测单元,也是与包含第一预测单元的第一图片不同的第二图片中包含的预测单元。第三预测单元是,与第一预测单元的位置对应的预测单元,也是第二图片中包含的预测单元。
据此,同时将与右下的位置对应的预测参数、以及与同一位置对应的预测参数一起传输。因此,传输次数减少。
并且,传输部110也可以,将包含在预测单元的预测图像的生成中有可能利用的预测参数、和在该预测单元的预测图像的生成中没有可能利用的预测参数的两个以上的预测参数一起传输到存储部102。据此,以一次的传输,传输更多的预测参数。因此,能够抑制预测参数的传输的反复。因而,处理负荷以及处理延迟减少。
并且,传输部110也可以,将用于预先规定的最大编码单元中包含的所有的预测单元的预测图像的生成的两个以上的预测参数一起传输到存储部102。据此,在最大编码单元中包含的多个预测单元的预测图像的生成中,能够抑制传输的反复。因而,处理负荷以及处理延迟减少。
并且,例如,传输部110,将在预测图像的生成中所利用的两个以上的预测参数从存储部102一起传输到存储部101。据此,高效率地传输在预测图像的生成中所利用的预测参数。因此,因在预测图像的生成中所利用的预测参数的传输而引起的处理负荷以及处理延迟减少。
并且,传输部110也可以,将在空间上彼此相邻的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数,从存储部102一起传输到存储部101中的连续的地址。
据此,将多个预测参数一起传输到连续的地址。一起传输的多个预测参数,与空间上相邻的多个预测单元对应。因此,以后,容易将作为用于预测图像的生成的多个预测参数的、与空间上相邻的多个预测单元对应的多个预测参数一起传输。
并且,传输部110也可以,将在空间上的水平方向上彼此相邻的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数,从存储部102一起传输到存储部101中的连续的地址。据此,以后,容易将作为用于预测图像的生成的多个预测参数的、与水平方向上相邻的多个预测单元对应的多个预测参数一起传输。
并且,传输部110也可以,将在空间上的垂直方向上彼此相邻的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数,从存储部102一起传输到存储部101中的连续的地址。据此,以后,容易将作为用于预测图像的生成的多个预测参数的、与垂直方向上相邻的多个预测单元对应的多个预测参数一起传输。
并且,传输部110也可以,将在预先规定的最大编码单元中包含的所有的预测单元的预测图像的生成中所利用的两个以上的预测参数一起传输到存储部101。据此,在最大编码单元中包含的多个预测单元的预测图像的生成中,能够抑制传输的反复。因此,处理负荷以及处理延迟减少。
并且,传输部110也可以,将在处理顺序上连续的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数,从存储部102一起传输存储部101中的连续的地址。据此,以后,容易将作为用于预测图像的生成的多个预测参数的、与处理顺序上连续的多个预测单元对应的多个预测参数一起传输。
并且,传输部110也可以,通过复制在预测单元的预测图像的生成中所利用的预测参数,从而生成与该预测单元中包含的等间隔的多个坐标位置对应的多个预测参数。而且,传输部110也可以,将生成后的多个预测参数分别与其他的预测参数一起作为两个以上的预测参数,从存储部102一起传输到存储部101。
据此,以后,容易将与预测单元中包含的坐标位置对应的预测参数,作为用于预测图像的生成的预测参数来传输。
(实施例7)
在本实施例中,对图27A所示的图像处理装置100,追加了新的构成要素。
图28A是示出本实施例涉及的图像处理装置的结构的图。在图28A所示的图像处理装置200中,对图27A所示的图像处理装置100的构成要素,追加了预测图像生成部220。例如,预测图像生成部220,与图2的运动矢量运算部511以及运动补偿部506对应。预测图像生成部220也可以,与图1的帧内预测部507对应。
图28B是示出图28A所示的图像处理装置200的工作的流程图。预测图像生成部220,利用从存储部101传输到存储部102的预测参数,进行预测单元的预测图像的生成(S201)。据此,利用传输的预测参数、即输入的预测参数,进行适当的预测。
例如,传输部110,将用于预测图像的生成的两个以上的预测参数从存储部101一起传输到存储部102之后,预测图像生成部220,利用从存储部101传输到存储部102的预测参数,进行预测单元的预测图像的生成。
并且,例如,预测图像生成部220,利用传输到存储部102的预测参数进行预测单元的预测图像的生成之后,传输部110,将在预测图像的生成中所利用的两个以上的预测参数,从存储部102一起传输到存储部101。
而且,预测图像生成部220也可以,利用从存储部101一起传输到存储部102的两个以上的预测参数中的一个,进行预测单元的预测图像的生成。据此,即使在有选择地利用多个预测参数中的一个的情况下,也由于将多个预测参数一起传输,因此能够抑制传输的反复。因此,处理负荷以及处理延迟减少。
而且,在所述各个实施例中,各个构成要素,由专用的硬件构成,或者,通过执行适于各个构成要素的软件程序来实现。各个构成要素也可以,通过CPU或处理器等的程序执行部,读出并执行硬盘或半导体存储器等的记录介质中记录的软件程序来实现。在此,实现所述各个实施例的图像处理装置等的软件是,如下程序。
也就是说,该程序使计算机执行图像处理方法,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成,所述图像处理方法包括传输步骤,在所述传输步骤中,(i)将用于预测图像的生成的两个以上的预测参数,从第一存储部一起传输到第二存储部,或者,(ii)将在预测图像的生成中所利用的所述两个以上的预测参数,从所述第二存储部一起传输到所述第一存储部,所述第一存储部,用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数,所述第二存储部,用于存储在所述多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数。
并且,各个构成要素也可以是电路。这样的电路,可以以整体构成一个电路,也可以是个别的电路。并且,这样的电路各自,可以是通用的电路,也可以是专用的电路。
以上,对于本发明的一个或多个实施方案涉及的图像处理装置,根据实施例进行了说明,但是,本发明,不仅限于该实施例。只要不脱离本发明的宗旨,对本实施例施行本领域的技术人员想到的各种变形的形态、或组合不同的实施例中的构成要素而构成的形态,也包含在一个或多个实施方案的范围内。
例如,也可以特定的处理部要执行的处理由其他的处理部执行。并且,可以变更执行处理的顺序,也可以并行执行多个处理。
并且,本发明,除了能够以图像处理装置来实现以外,还能够以将构成图像处理装置的处理单元作为步骤的方法来实现。例如,这样的步骤,由计算机执行。而且,本发明,能够以用于使计算机执行这样的方法中包含的步骤的程序来实现。进而,本发明,能够以记录有该程序的CD-ROM等的非暂时的计算机可读取的记录介质来实现。
并且,本发明涉及的图像处理装置及图像处理方法,也能够适用于图像编码装置、图像解码装置、图像编码方法及图像解码方法。
并且,图像处理装置中包含的多个构成要素也可以,以作为集成电路的LSI(LargeScale Integration:大规模集成电路)来实现。可以将这样的构成要素个别单芯片化,也可以将它们单芯片化,使得包含一部分或全部。例如,也可以将存储器以外的构成要素单芯片化。在此,称为LSI,但是根据集成度的不同,有时被称为IC(Integrated Circuit∶集成电路)、系统LSI、超LSI或特大LSI。
并且,对于集成电路化的方法,不仅限于LSI,也可以以专用电路或通用处理器来实现。也可以利用能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。
进而,当然,若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术,则可以利用其技术对图像处理装置中包含的构成要素进行集成电路化。
(实施例8)
通过将用于实现在上述的各个实施例所示的图像编码方法以及图像解码方法的结构的程序记录到记录介质,从而可以将上述的各个实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等,只要能够记录程序就可以。
并且,在此对在上述的各个实施例所示的图像编码方法以及图像解码方法的应用实例以及利用这些应用实例的系统进行说明。
图29是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小,在各单元内分别设置有作为固定无线局的基站ex106至ex110。
在该内容提供系统ex100中,计算机ex111、PDA(个人数字助理:Personal DigitalAssistant)ex112、摄像机ex113、移动电话ex114、游戏机ex115等各种设备,通过电话网ex104、以及基站ex106~ex110相连接。并且,各个设备,通过互联网服务提供商ex102,与互联网ex101相连接。
然而,内容提供系统ex100并非局限于图29所示的构成,也可以对任意的要素进行组合接续。并且,可以不通过作为固定无线局的基站ex106至ex110,而是各个设备直接与电话网ex104相连接。并且,也可以是各个设备通过近距离无线等而彼此直接连接。
摄像机ex113是数字摄像机等能够拍摄运动图像的设备,摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且,移动电话ex114可以以GSM(注册商标)(Global System for Mobile Communications:全球移动通讯系统)方式、CDMA(CodeDivision Multiple Access:码分多址)方式、W-CDMA(Wideband-Code DivisionMultiple Access:宽带码分多址)方式、LTE(Long Term Evolution:长期演进)方式、HSPA(High Speed Packet Access:高速分组接入)的移动电话,或PHS(Personal HandyphoneSystem:个人手持式电话系统)等任一个来构成。
在内容提供系统ex100中,摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接,从而进行实况分发等。在实况分发中,针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述各个实施例所说明的编码处理,并发送到流播放服务器ex103。另外,流播放服务器ex103针对提出请求的客户端,对被发送的内容数据进行流的分发。作为客户端,包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、移动电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备,对接收的数据进行解码处理并再生。
并且,拍摄的数据的编码处理可以在摄像机ex113进行,也可以在进行数据的发送处理的流播放服务器ex103进行,也可以彼此分担进行。同样,被分发的数据的解码处理可以由客户端进行,也可以在流播放服务器ex103进行,也可以彼此分担进行。并且,不仅限于摄像机ex113,由摄像机ex116拍摄的静止图像以及/或者运动图像数据,也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111以及流播放服务器ex103的任一个中进行,也可以彼此分担进行。
并且,这些编码处理以及解码处理可以在一般的计算机ex111以及各个设备所具有的LSI(Large Scale Integration:大规模集成电路)ex500中执行。LSIex500可以由一个芯片构成,也可以由多个芯片构成。另外,也可以将图像编码用的软件或图像解码用的软件安装到能够计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中,并利用该软件来进行编码处理以及解码处理。而且,在移动电话ex114是附带有相机的情况下,也可以发送该相机所获得的运动图像数据。此时的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。
并且,流播放服务器ex103是多个服务器或多个计算机,也可以是对数据进行分散地处理、记录、分发的装置。
如以上所述,在内容提供系统ex100中,客户能够端接收并再生被编码的数据。在这样的内容提供系统ex100中,在客户端能够实时地接收并解码由用户发送的信息并且能够再生,这样,即使是没有特殊权利以及设备的用户也能够实现个人播放。
而且,不仅限于内容提供系统ex100的例子,如图30示出,也可以在数字广播用系统ex200中,组装所述的各个实施例的图像处理装置。具体而言,在广播电台ex201,影像数据的比特流通过电波进行通信,或被传送到卫星ex202。该比特流是,由所述的各个实施例中说明的图像编码方法编码后的编码比特流。接受它的播放卫星ex202,发出广播用的电波,该电波由能够接收卫星广播的家庭的天线ex204接收。接收的比特流,由电视机(接收机)ex300或机顶盒(STB)ex217等的装置解码并再生。
并且,在再生装置ex212中也可以安装所述的实施例中所示的图像处理装置,该再生装置ex212对作为记录介质的CD以及DVD等记录介质ex214中所记录的编码比特流进行读取并解码。在此情况下,被再生的影像信号被显示在监视器ex213。
并且,在阅读器/记录器ex218中也可以安装在上述的各个实施例中所示的图像处理装置,该阅读器/记录器ex218对DVD、BD等记录介质ex215中所记录的编码比特流进行读取并解码,或者将影像信号编码并写入到记录介质ex215中。在此情况下,被再生的影像信号被显示在监视器ex219,通过记录有编码比特流的记录介质ex215,其他的装置以及系统能够再生影像信号。并且,也可以将图像处理装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内,并在电视机的监视器ex219上显示。此时,可以不组装到机顶盒,而是将图像处理装置组装到电视机内。
图31示出了利用了上述的各个实施例所说明的图像解码方法的电视机(接收机)ex300。电视机ex300包括:调谐器ex301,通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像信息的比特流;调制/解调部ex302,解调接收的编码数据,或者调制为要发送到外部的编码数据;以及多路复用/分离部ex303,对解调的影像数据和声音数据进行分离,或者对被编码的影像数据和声音数据进行多路复用。
并且,电视机ex300具有信号处理部ex306和输出部ex309,所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305;所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307,以及对被解码的影像信号进行显示的显示器等显示部ex308。进而,电视机ex300具有接口部ex317,该接口部ex317具有接受用户操作的输入的操作输入部ex312等。进而,电视机ex300具有统括控制各个部的控制部ex310,以及向各个部提供电力的电源电路部ex311。
接口部ex317除可以具有操作输入部ex312以外,还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。并且,记录介质ex216能够通过存放的非易失性/易失性的半导体存储器元件进行信息的电记录。
电视机ex300的各个部通过同步总线相互连接。
首先,对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作,并根据具有CPU等的控制部ex310的控制,将在调制/解调部ex302解调的影像数据和声音数据,在多路复用/分离部ex303进行分离。进而,电视机ex300将分离的声音数据在声音信号处理部ex304进行解码,利用上述的各个实施例中说明的解码方法,将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时,为了使声音信号和影像信号同步再生,而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且,电视机ex300可以不从广播等读出被编码的编码比特流,而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出被编码的编码比特流。
接着,将要说明的构成是,电视机ex300对声音信号以及影像信号进行编码,并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作,并根据控制部ex310的控制,在声音信号处理部ex304对声音信号进行编码,并利用在上述的各个实施例中说明的编码方法,在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用,并被输出到外部。在进行多路复用时,为了使声音信号和影像信号同步,而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。
另外,关于缓冲器ex318至ex321,可以如图中所示那样具备多个,也可以共享一个以上的缓冲器。而且,除图中所示以外,例如可以在调制/解调部ex302以及多路复用/分离部ex303之间等,作为回避系统的上溢和下溢的缓冲材料,可以在缓冲器中蓄积数据。
并且,电视机ex300除具有获得广播以及来自记录介质等的声音数据以及影像数据的构成以外,还可以具有接受麦克风以及摄像机的AV输入的构成,对从这些获得的数据进行编码处理。并且,在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明,不过也可以不能进行这样的处理,而只能进行上述的接收、解码处理、外部输出的构成。
并且,在阅读器/记录器ex218从记录介质中读出或写入编码比特流的情况下,上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行,也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。
作为一个例子,图32示出从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401至ex407。
光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息,并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动,并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大,对被记录在记录介质ex215的信号成分进行分离、解调,并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时,将光学头ex401移动到规定的信息光道,进行激光的光点的追踪处理。
系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现,即:系统控制部ex407利用被保持在缓冲器ex404的各种信息,并且按照需要在进行新的信息的生成以及追加的同时,一边使调制记录部ex402、再生解调部ex403、伺服控制部ex406协调工作,一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成,通过执行读出以及写入的程序来执行这些处理。
以上,以光学头ex401照射激光光点为例进行了说明,不过也可以是利用近场光学(near-field optical)来进行高密度的记录的构成。
图33是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上,导槽(槽)被形成为螺旋状,在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息,该记录块ex231是记录数据的单位,进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息,来确定记录块。并且,记录介质ex215包括:数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233,被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。
信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233,进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。
以上以具有一层结构的DVD、BD等光盘为例进行了说明,但并非受此所限,也可以是多层结构的能够在表面以外进行记录的光盘。并且,也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息,或者从各种角度记录不同的信息的层等,具有进行多维的记录/再生的结构的光盘。
并且,在数字广播用系统ex200,能够在具有天线ex205的车辆ex210从卫星ex202等接收数据,并且能够在车辆ex210所具有的汽车导航系统ex211等显示装置再生运动图像。并且,关于汽车导航系统ex211的构成可以考虑到在图31所示的构成中添加GPS接收部,同样也可以考虑到添加计算机ex111以及移动电话ex114等。并且,上述移动电话ex114等终端与电视机ex300同样,除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外,还可以考虑到是仅具有编码器的发送终端,以及仅具有解码器的接收终端的共三种安装形式。
这样,在上述的各个实施例所示的图像编码方法或图像解码方法能够适用于上述的任一个设备或系统,这样,能够得到在上述的各个实施例中说明的效果。
而且,本发明不仅限于这些所述实施例,而可以在不脱离本发明的范围的情况下进行各种变形或修改。
(实施例9)
在本实施例中,将实施例1所示的图像处理装置,实现为作为典型的半导体集成电路的LSI。图34示出实现了的形态。在DRAM上实现帧存储器502,在LSI上构成其他的电路以及存储器。也可以在DRAM上实现存放编码流的比特流缓冲器。
可以将它们个别单芯片化,也可以将它们单芯片化,使得包含一部分或全部。在此,作为LSI,但也可以根据集成度不同被称为IC、系统LSI、超LSI、特大LSI等。
并且,对于集成电路化的方法,不仅限于LSI,也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。
进而,当然,若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术,则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。
进而,将对本实施例的图像处理装置集成化后的半导体芯片与用于描绘图像的显示器组合,从而能够构成适于各种用途的描绘设备。作为移动电话、电视机、数字录像机、数字摄像机以及汽车导航等的信息描绘机构,能够利用本发明。作为显示器,除电子束管(CRT)以外,还有液晶显示器、PDP(等离子显示板)以及有机EL等平面显示器,并且也可以与以投影仪为代表的投射型显示器等相组合。
并且,本实施例的LSI也可以,与具备蓄积编码流的比特流缓冲器、以及蓄积图像的帧存储器等的DRAM(Dynamic Random Access Memory:动态随机存储器)协调,来进行编码处理或解码处理。并且,本实施例的LSI也可以,不与DRAM协调,而与eDRAM(embededDRAM)、SRAM(Static Random Access Memory:静态随机存储器)、或硬盘等其他的存储装置协调。
(实施例10)
将所述各个实施例所示的图像编码装置、图像解码装置、图像处理装置、图像编码方法、图像解码方法及图像处理方法,实现为作为典型的半导体集成电路的LSI。作为一个例子,图35示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex502至ex509,各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下,通过向各个部提供电力,从而启动为能够工作的状态。
例如,在进行编码处理的情况下,LSIex500,由AV输入/输出ex509从麦克风ex117及摄像机ex113等接受AV信号的输入。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。蓄积的数据按照处理量以及处理速度被适当地分为多次等,并被发送到信号处理部ex507。信号处理部ex507进行声音信号的编码以及/或影像信号的编码。在此,影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理,从流输入/输出ex504输出到外部。该被输出的比特流被发送到基站ex107,或者被写入到记录介质ex215。
并且,例如在进行解码处理的情况下,LSIex500根据微型计算机(微电脑)ex502的控制,将通过流输入/输出ex504从基站ex107得到的编码数据或从记录介质ex215读出而得到的编码数据暂时蓄积到存储器ex511。根据微型计算机ex502的控制,蓄积的数据按照处理量以及处理速度被适当地分为多次等,并被发送到信号处理部ex507,信号处理部ex507进行声音数据的解码以及/或影像数据的解码。在此,影像信号的解码处理是在上述的各个实施例中所说明的解码处理。进而,为了使被解码的声音信号和被解码的影像信号同步再生,根据情况将各个信号暂时蓄积到存储器ex511等即可。被解码的输出信号适当地经由存储器ex511等,从AV输入/输出ex509输出到监视器ex219等。被构成为在访问存储器ex511时经由存储器控制器ex503。
另外,以上虽然对存储器ex511作为LSIex500的外部构成进行了说明,不过也可以被包括在LSIex500的内部。并且,LSIex500可以被制成一个芯片,也可以是多个芯片。
而且,在此,作为LSI,但也可以根据集成度不同被称为IC、系统LSI、超LSI、特大LSI等。
并且,对于集成电路化的方法,不仅限于LSI,也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。
进而,当然,若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术,则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。
本发明,能够利用在各种各样的用途上。例如,能够利用于电视机、数字录像机、汽车导航、移动电话、数字照相机、数字摄像机等的高分辨率的信息显示设备或摄像设备,利用价值高。
符号说明
100、200图像处理装置
101、102存储部
110传输部
220预测图像生成部
501、ex310控制部
502帧存储器
503可变长解码部
504逆量化部
505逆频率变换部
506运动补偿部
507帧内预测部
508重构部
509重构图像存储器
510内环滤波器部
511运动矢量运算部
512DMA控制部
513参考图像存储部
514预测图像存储部
515运动矢量存储部
ex100内容提供系统
ex101互联网
ex102互联网服务提供商
ex103流播放服务器
ex104电话网
ex106、ex107、ex108、ex109、ex110基站
ex111计算机
ex112PDA(Personal Digital Assistant)
ex113、ex116摄像机
ex114移动电话
ex115游戏机
ex117麦克风
ex200数字广播用系统
ex201广播电台
ex202播放卫星(卫星)
ex203电缆
ex204、ex205天线
ex210车辆
ex211汽车导航系统(汽车导航)
ex212再生装置
ex213、ex219监视器
ex214、ex215、ex216记录介质
ex217机顶盒(STB)
ex218阅读器/记录器
ex220远程控制器
ex230信息光道
ex231记录块
ex232内周区域
ex233数据记录区域
ex234外周区域
ex300电视机(接收机)
ex301调谐器
ex302调制/解调部
ex303多路复用/分离部
ex304声音信号处理部
ex305影像信号处理部
ex306、ex507信号处理部
ex307扬声器
ex308显示部
ex309输出部
ex311、ex505电源电路部
ex312操作输入部
ex313电桥
ex314插槽部
ex315驱动器
ex316调制解调器
ex317接口部
ex318、ex319、ex320、ex321、ex404缓冲器
ex400信息再生/记录部
ex401光学头
ex402调制记录部
ex403再生解调部
ex405盘式电机
ex406伺服控制部
ex407系统控制部
ex500LSI
ex502微型计算机(微电脑)
ex503存储器控制器
ex504流输入/输出
ex509AV输入/输出
ex510总线
ex511存储器

Claims (9)

1.一种图像处理装置,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成,所述图像处理装置具备:
第一存储部,用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数;
第二存储部,用于存储在所述多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数;以及
传输部,将所述两个以上的预测参数从所述第一存储部一起传输到所述第二存储部,
所述两个以上的预测参数包含:
(i)在第二预测单元的预测图像的生成中所利用的预测参数,所述第二预测单元是与包含进行预测图像的生成的第一预测单元的第一图片不同的第二图片中包含的、与所述第一预测单元的右下的位置对应的预测单元;以及
(ii)在第三预测单元的预测图像的生成中所利用的预测参数,所述第三预测单元是所述第二图片中包含的、与所述第一预测单元的位置对应的预测单元。
2.如权利要求1所述的图像处理装置,
所述传输部,将分别包含运动矢量的信息的所述两个以上的预测参数一起传输。
3.如权利要求1或2所述的图像处理装置,
所述传输部,将包含在预测单元的预测图像的生成中有可能利用的预测参数和在该预测单元的预测图像的生成中没有可能利用的预测参数的所述两个以上的预测参数一起传输。
4.如权利要求1或2所述的图像处理装置,
所述传输部,将用于预先规定的最大编码单元中包含的所有的预测单元的预测图像的生成的所述两个以上的预测参数一起传输。
5.如权利要求1或2所述的图像处理装置,
图像处理装置还具备预测图像生成部,该预测图像生成部,利用从所述第一存储部传输到所述第二存储部的预测参数进行预测单元的预测图像的生成。
6.如权利要求1或2所述的图像处理装置,
所述图像处理装置还具备预测图像生成部,该预测图像生成部,利用从所述第一存储部一起传输到所述第二存储部的所述两个以上的预测参数之中的一个预测参数进行预测单元的预测图像的生成。
7.一种图像处理方法,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成,所述图像处理方法包括传输步骤,
在所述传输步骤中,将两个以上的预测参数,从第一存储部一起传输到第二存储部,所述第一存储部,用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数,所述第二存储部,用于存储在所述多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数,
所述两个以上的预测参数包含:
(i)在第二预测单元的预测图像的生成中所利用的预测参数,所述第二预测单元是与包含进行预测图像的生成的第一预测单元的第一图片不同的第二图片中包含的、与所述第一预测单元的右下的位置对应的预测单元;以及
(ii)在第三预测单元的预测图像的生成中所利用的预测参数,所述第三预测单元是所述第二图片中包含的、与所述第一预测单元的位置对应的预测单元。
8.一种计算机可读取的记录介质,记录有用于使计算机执行权利要求7所述的图像处理方法中包括的步骤的程序。
9.一种集成电路,利用在图片中包含的预测单元的预测图像的生成中所利用的预测参数,进行与该图片不同的图片中包含的预测单元的预测图像的生成,所述集成电路具备:
第一存储部,用于存储在至少与一个图片对应的多个预测单元的预测图像的生成中所利用的多个预测参数;
第二存储部,用于存储在所述多个预测单元中的两个以上的预测单元的预测图像的生成中所利用的两个以上的预测参数;以及
传输部,将所述两个以上的预测参数从所述第一存储部一起传输到所述第二存储部,
所述两个以上的预测参数包含:
(i)在第二预测单元的预测图像的生成中所利用的预测参数,所述第二预测单元是与包含进行预测图像的生成的第一预测单元的第一图片不同的第二图片中包含的、与所述第一预测单元的右下的位置对应的预测单元;以及
(ii)在第三预测单元的预测图像的生成中所利用的预测参数,所述第三预测单元是所述第二图片中包含的、与所述第一预测单元的位置对应的预测单元。
CN201280003437.XA 2012-02-07 2012-11-22 图像处理装置以及图像处理方法 Expired - Fee Related CN103348678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710564881.3A CN107257482A (zh) 2012-02-07 2012-11-22 图像处理装置、图像处理方法、程序以及集成电路

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-024464 2012-02-07
JP2012024464 2012-02-07
PCT/JP2012/007544 WO2013118216A1 (ja) 2012-02-07 2012-11-22 画像処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710564881.3A Division CN107257482A (zh) 2012-02-07 2012-11-22 图像处理装置、图像处理方法、程序以及集成电路

Publications (2)

Publication Number Publication Date
CN103348678A CN103348678A (zh) 2013-10-09
CN103348678B true CN103348678B (zh) 2017-06-27

Family

ID=48947026

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710564881.3A Pending CN107257482A (zh) 2012-02-07 2012-11-22 图像处理装置、图像处理方法、程序以及集成电路
CN201280003437.XA Expired - Fee Related CN103348678B (zh) 2012-02-07 2012-11-22 图像处理装置以及图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710564881.3A Pending CN107257482A (zh) 2012-02-07 2012-11-22 图像处理装置、图像处理方法、程序以及集成电路

Country Status (4)

Country Link
US (1) US9743079B2 (zh)
JP (3) JP6094760B2 (zh)
CN (2) CN107257482A (zh)
WO (1) WO2013118216A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811721B (zh) * 2015-05-26 2017-09-22 珠海全志科技股份有限公司 视频解码数据存储方法及运动向量数据的计算方法
JP6936641B2 (ja) * 2017-07-05 2021-09-22 キヤノン株式会社 画像処理装置、画像処理方法
CN108040041B (zh) * 2017-12-05 2020-08-25 东北大学 一种基于业务驱动的图像差异传输协议设计系统及方法
WO2020045050A1 (ja) 2018-08-27 2020-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980540A (zh) * 2004-11-26 2011-02-23 松下电器产业株式会社 解码电路、解码装置及解码系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994006099A1 (en) * 1992-09-01 1994-03-17 Apple Computer, Inc. Improved vector quantization
JPH10215457A (ja) 1997-01-30 1998-08-11 Toshiba Corp 動画像復号方法及び動画像復号装置
JP4264571B2 (ja) 1998-04-09 2009-05-20 ソニー株式会社 ディジタル画像復号装置及び方法、並びに記録媒体
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化/復号化方法及び装置
EP1602240A2 (en) 2003-03-03 2005-12-07 Mobilygen Corporation Array arrangement for memory words and combination of video prediction data for an effective memory access
EP1585326A1 (en) * 2004-03-30 2005-10-12 Matsushita Electric Industrial Co., Ltd. Motion vector estimation at image borders for frame rate conversion
US7881376B2 (en) 2004-05-14 2011-02-01 Panasonic Corporation Motion compensation apparatus
JP4436782B2 (ja) * 2004-05-14 2010-03-24 パナソニック株式会社 動き補償装置
KR101246294B1 (ko) * 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4844449B2 (ja) * 2006-04-17 2011-12-28 日本ビクター株式会社 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
JP5182285B2 (ja) 2007-03-27 2013-04-17 富士通株式会社 デコード方法及びデコード装置
CN101663899A (zh) * 2007-04-26 2010-03-03 松下电器产业株式会社 运动检测装置、运动检测方法、以及运动检测程序
US9256789B2 (en) * 2008-03-21 2016-02-09 Intel Corporation Estimating motion of an event captured using a digital video camera
CN102957914B (zh) * 2008-05-23 2016-01-06 松下知识产权经营株式会社 图像解码装置、图像解码方法、图像编码装置、以及图像编码方法
JP4977094B2 (ja) * 2008-06-25 2012-07-18 株式会社東芝 画像符号化方法
DE112008004060T8 (de) * 2008-10-31 2013-06-06 Hewlett-Packard Development Company, L.P. Verfahren und digitale Bilderzeugungsvorrichtung, die angepasst ist zum Auswählen einer Fokuseinstellung
KR101590633B1 (ko) * 2008-11-11 2016-02-02 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
JP5468604B2 (ja) * 2009-05-13 2014-04-09 パナソニック株式会社 画像復号装置、集積回路、画像復号方法及び画像復号システム
US8594200B2 (en) * 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
CN102823248B (zh) * 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
US9100655B2 (en) 2010-04-13 2015-08-04 Panasonic Intellectual Property Corporation Of America Motion compensation method, image decoding method, image coding method, motion compensation apparatus, program, and integrated circuit
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980540A (zh) * 2004-11-26 2011-02-23 松下电器产业株式会社 解码电路、解码装置及解码系统

Also Published As

Publication number Publication date
JP6260921B2 (ja) 2018-01-17
JP2018033187A (ja) 2018-03-01
JP6094760B2 (ja) 2017-03-15
US20140064370A1 (en) 2014-03-06
CN103348678A (zh) 2013-10-09
US9743079B2 (en) 2017-08-22
JPWO2013118216A1 (ja) 2015-05-11
WO2013118216A1 (ja) 2013-08-15
JP2017108434A (ja) 2017-06-15
CN107257482A (zh) 2017-10-17

Similar Documents

Publication Publication Date Title
CN105847814B (zh) 图像编码方法及图像编码装置
JP6390883B2 (ja) 画像処理装置
CN103765889B (zh) 低复杂度解块滤波器判定
CN103125119B (zh) 图像处理装置、图像编码方法以及图像处理方法
CN102197652B (zh) 解码装置、解码方法、程序以及集成电路
CN103202020B (zh) 动态图像解码方法以及动态图像解码装置
CN103765903B (zh) 图像解码装置、图像编码装置、图像解码方法及图像编码方法
CN103621088B (zh) 图像解码方法和图像解码装置
CN104025593A (zh) 利用改进的图像块边界强度推导进行去块滤波
CN103098474A (zh) 图像解码装置、图像编码装置、及其方法、程序、集成电路以及代码转换装置
CN102124741A (zh) 图像编码方法及图像编码装置
CN103636226B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置和图像编码解码装置
CN103404139B (zh) 图像信号处理装置以及图像信号处理方法
CN103348678B (zh) 图像处理装置以及图像处理方法
WO2013076897A1 (ja) 画像処理装置および画像処理方法
CN105284110A (zh) 图像编码方法及图像编码装置
CN104769946A (zh) 图像编码方法、图像解码方法、图像编码装置以及图像解码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160224

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170627

Termination date: 20191122

CF01 Termination of patent right due to non-payment of annual fee