CN103348679B - 图像解码方法及图像解码装置 - Google Patents

图像解码方法及图像解码装置 Download PDF

Info

Publication number
CN103348679B
CN103348679B CN201280007701.7A CN201280007701A CN103348679B CN 103348679 B CN103348679 B CN 103348679B CN 201280007701 A CN201280007701 A CN 201280007701A CN 103348679 B CN103348679 B CN 103348679B
Authority
CN
China
Prior art keywords
reference picture
block
motion vector
picture
term reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280007701.7A
Other languages
English (en)
Other versions
CN103348679A (zh
Inventor
袁明亮
林宗顺
乃苏孟德
孙海威
杉尾敏康
西孝启
笹井寿郎
柴原阳司
谷川京子
松延彻
寺田健吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Priority to CN201710406961.6A priority Critical patent/CN107257481B/zh
Publication of CN103348679A publication Critical patent/CN103348679A/zh
Application granted granted Critical
Publication of CN103348679B publication Critical patent/CN103348679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Abstract

图像编码方法包括以下步骤:导出步骤(S1201),从相邻运动矢量导出预测运动矢量的候选;追加步骤(S1202),将候选追加到列表中;选择步骤(S1203),从列表选择预测运动矢量;以及编码步骤(S1204),对当前块进行编码,对当前运动矢量进行编码;在导出步骤(S1201)中,在判定为当前参照图片及相邻参照图片分别是长期参照图片的情况下,通过第1导出方式导出候选,在判定为当前参照图片及相邻参照图片分别是短期参照图片的情况下,通过第2导出方式导出候选。

Description

图像解码方法及图像解码装置
技术领域
本发明涉及对多个图片中的多个块分别进行编码的图像编码方法。
背景技术
作为与对多个图片中的多个块分别进行编码的图像编码方法有关的技术,有非专利文献1中记载的技术。
在先技术文献
非专利文献
非专利文献1:ISO/IEC 14496-10“MPEG-4Part10Advanced Video Coding”
发明的概要
发明所要解决的课题
但是,在以往的图像编码方法中,有时无法得到充分高的编码效率。
发明内容
在此,本发明提供一种能够在图像的编码中提高编码效率的图像编码方法。
解决课题所采用的技术手段
本发明的一个方式的图像编码方法,是对多个图片中的多个块分别进行编码的图像编码方法,包括以下步骤:导出步骤,从相邻块的运动矢量导出在所述当前块的运动矢量的编码中使用的预测运动矢量的候选,该相邻块是包含编码对象的当前块的当前图片中包含的块,是与所述当前块相邻的块;追加步骤,将导出的所述候选追加到列表中;选择步骤,从追加了所述候选的所述列表选择所述预测运动矢量;以及编码步骤,使用所述当前块的运动矢量及所述当前块的参照图片对所述当前块进行编码,并使用选择的所述预测运动矢量对所述当前块的运动矢量进行编码;在所述导 出步骤中,判定所述当前块的参照图片是长期参照图片还是短期参照图片、以及所述相邻块的参照图片是长期参照图片还是短期参照图片,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,从所述相邻块的运动矢量,通过不进行基于时间距离的缩放的第1导出方式导出所述候选,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,从所述相邻块的运动矢量,通过进行基于时间距离的缩放的第2导出方式导出所述候选。
另外,这些整体或具体的方式可以由系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时记录介质来实现,也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。
发明的效果:
本发明的图像编码方法能够在图像的编码中提高编码效率。
附图说明
图1是表示参考例的图像编码装置的动作的流程图。
图2是表示参考例的图像解码装置的动作的流程图。
图3是表示参考例的导出处理的详细情况的流程图。
图4是用于说明参考例的相邻块的图。
图5是实施方式1的图像编码装置的框图。
图6是实施方式1的图像解码装置的框图。
图7是表示实施方式1的图像编码装置的动作的流程图。
图8是表示实施方式1的图像解码装置的动作的流程图。
图9是表示实施方式1的导出处理的详细情况的流程图。
图10是表示实施方式2的导出处理的详细情况的流程图。
图11是表示实施方式3的导出处理的详细情况的流程图。
图12A是实施方式4的图像编码装置的框图。
图12B是表示实施方式4的图像编码装置的动作的流程图。
图13A是实施方式4的图像解码装置的框图。
图13B是表示实施方式4的图像解码装置的动作的流程图。
图14A是表示参照图片的分类的参数的存放位置的第1例的图。
图14B是表示参照图片的分类的参数的存放位置的第2例的图。
图14C是表示参照图片的分类的参数的存放位置的第3例的图。
图15是表示预测模式的参数的存放位置的例子的图。
图16是实现内容分发服务的内容供给系统的整体结构图。
图17是数字广播用系统的整体结构图。
图18是表示电视机的结构例的模框图。
图19是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模框图。
图20是表示作为光盘的记录介质的构造例的图。
图21A是表示便携电话的一例的图。
图21B是表示便携电话的结构例的模框图。
图22是表示复用数据的结构的图。
图23是示意地表示各流在复用数据中怎样被复用的图。
图24是更详细地表示在PES包序列中视频流怎样被保存的图。
图25是表示复用数据的TS包和源包的构造的图。
图26是表示PMT的数据结构的图。
图27是表示复用数据信息的内部结构的图。
图28是表示流属性信息的内部结构的图。
图29是表示识别影像数据的步骤的图。
图30是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模框图。
图31是表示切换驱动频率的结构的图。
图32是表示识别影像数据、切换驱动频率的步骤的图。
图33是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图34A是表示将信号处理部的模块共用的结构的一例的图。
图34B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
(本发明的基础知识)
本发明人对于“背景技术”栏中记载的图像编码方法,发现了以下的问题。另外,在以下的说明中,图像可以是由多个图片构成的动态图像、由1个图片构成的静止图像、以及图片的一部分等中的任一个。
作为近年来的图像编码方式,有MPEG-4AVC/H.264及HEVC(High EfficiencyVideo Coding)。在这些图像编码方式中,能够利用使用已编码的参照图片的帧间预测。
此外,在这些图像编码方式中,有时使用被称为长期参照图片的参照图片。例如,将参照图片长时间维持在DPB(Decoded Picture Buffer:解码图片缓存)中的情况下,可以将参照图片作为长期参照图片使用。
此外,在HEVC中,有被称为AMVP(Adaptive Motion Vector Prediction)模式的模式。在AMVP模式中,从相邻块的运动矢量等来预测当前块的运动矢量,并将由此得到的预测运动矢量用于当前块的运动矢量的编码。
进而,在HEVC中,能够利用空间预测运动矢量。空间预测运动矢量从相邻块的运动矢量导出。相邻块包含在包含编码对象的当前块的当前图片中,与当前块相邻。例如,空间预测运动矢量可以从在当前块的左边相邻的左块的运动矢量导出,也可以从在当前块的上方相邻的上块的运动矢量导出。
在此,将从左块的运动矢量导出的空间预测运动矢量称为左预测运动矢量。将从上块的运动矢量导出的空间预测运动矢量称为上预测运动矢量。
此外,有时将相邻块的运动矢量称为相邻运动矢量。此外,有时将相邻块的参照图片称为相邻参照图片。相邻块使用相邻运动矢量及相邻参照图片来进行编码。
同样,有时将当前块的运动矢量称为当前运动矢量。此外,有时将当前块的参照图片称为当前参照图片。当前块使用当前运动矢量及当前参照图片来进行编码。
上述当前块及相邻块分别是预测单元(PU:Prediction Unit)。预测单元是图像的块,作为预测的数据单位而被定义。在HEVC中,作为编码的数据单位,独立于预测单元而定义编码单元(CU:Coding Unit)。预测单元是编码单元内的块。以下记载的块可以置换为预测单元或编码单元。
编码单元及预测单元的尺寸不是一定的。例如,有时1个图片包含各 种尺寸的多个编码单元,此外,有时1个图片包含各种尺寸的多个预测单元。
因此,有时未定义与当前块的左或上的区域准确对应的块。因此,在HEVC中,左块及上块通过预先决定的方法从与当前块相邻的多个块中选择。
通过按照POC(图片序列号)来对选择的相邻块的运动矢量进行缩放,生成空间预测运动矢量。POC是在显示顺序中对图片分配的序数。POC距离对应于2个图片间的时间距离。基于POC距离的缩放也被称为基于POC的缩放。下面示出的式1是对相邻块的运动矢量进行基于POC的缩放的运算式。
pmv=(tb/td)×nmv···(式1)
在此,nmv是相邻块的运动矢量。pmv是从相邻块的运动矢量导出的空间预测运动矢量。tb是带符号的POC距离,是从当前图片到当前参照图片的差。td是带符号的POC距离,是从当前图片到相邻参照图片的差。
存在有效的空间预测运动矢量的情况下,该空间预测运动矢量被加入到预测运动矢量候选的带顺序的列表中。从预测运动矢量候选的带顺序的列表选择用于当前运动矢量的编码的预测运动矢量。此外,所选择的预测运动矢量由编码流中的参数表示。
图1是表示参考例的图像编码装置的动作的流程图。特别是,图1表示通过帧间预测对图像进行编码的处理。
首先,图像编码装置将多个参照图片分别分类为短期参照图片或长期参照图片(S101)。图像编码装置在编码流的头中写入表示多个参照图片各自的分类的信息(S102)。
接着,图像编码装置通过运动检测确定当前参照图片及当前运动矢量(S103)。接着,图像编码装置导出预测运动矢量(S104)。导出处理的详细情况留待后述。
接着,图像编码装置从当前运动矢量减去预测运动矢量,导出差分运动矢量(S105)。接着,图像编码装置使用当前参照图片及当前运动矢量进行运动补偿,从而生成预测块(S106)。
接着,图像编码装置从当前块减去预测块,生成残差块(S107)。最后,图像编码装置对残差块、差分运动矢量、以及表示当前参照图片的参照索 引进行编码,生成包含这些信息的编码流(S108)。
图2是表示参考例的图像解码装置的动作的流程图。特别是,图2表示通过帧间预测对图像进行解码的处理。
首先,图像解码装置取得编码流,并对编码流的头进行解析(parse),从而取得表示多个参照图片各自的分类的信息(S201)。此外,图像解码装置通过对编码流进行解析,取得表示残差块、差分运动矢量、以及表示当前参照图片的参照索引(S202)。
接着,图像解码装置导出预测运动矢量(S203)。导出处理的详细情况留待后述。接着,图像解码装置将差分运动矢量与预测运动矢量相加,生成当前运动矢量(S204)。接着,图像解码装置使用当前参照图片及当前运动矢量来进行运动补偿,从而生成预测块(S205)。最后,图像解码装置将残差块与预测块相加,从而生成重构块(S206)。
图3是表示图1及图2所示的导出处理的详细情况的流程图。以下示出图像编码装置的动作。如果将编码逆向地看做解码,则图像解码装置的动作也与图像编码装置的动作同样。
首先,图像编码装置选择与编码对象的当前块相邻的相邻块(S301)。然后,图像编码装置确定相邻参照图片及相邻运动矢量(S302)。接着,图像编码装置按照进行基于POC的缩放的导出方式导出预测运动矢量(S303)。
图4是用于说明图3所示的导出处理中使用的相邻块的图。相邻块从与当前块相邻的多个块中选择。
包含样本a0的块A0及包含样本a1的块A1分别是左块的候选。包含样本b0的块B0、包含样本b1的块B1、包含样本b2的块B2分别是上相邻块的候选。
当前块的左上的样本tl的坐标为(x、y),当前块的宽度为w,当前块的高度为h的情况下,样本a0的坐标为(x-1、y+h)。此外,这种情况下,样本a1的坐标为(x-1、y+h-1)。此外,这种情况下,样本b0的坐标为(x+w、y-1)。此外,这种情况下,样本b1的坐标为(x+w-1、y-1)。此外,这种情况下,样本b2的坐标为(x-1、y-1)。
从块A0及A1选择可利用的块作为左块。从块B0、B1及B2选择可利用的块作为上块。作为块无法利用的情况,有图片内不存在块的情况或块 通过帧内预测被编码的情况等。
以下再次参照图3,说明导出空间预测运动矢量的处理的更具体例。
首先,图像编码装置将左预测运动矢量设定为不可利用。然后,图像编码装置从图4的块A0及A1寻找参照当前参照图片而被编码的块。如果找到了参照当前参照图片被编码的块,则图像编码装置将该块的运动矢量作为左预测运动矢量而不做缩放地导出。然后,图像编码装置将左预测运动矢量设定为可利用。
如果未找到参照当前参照图片被编码的块,则图像编码装置从块A0及A1寻找通过帧间预测被编码的块(S301)。如果找到了通过帧间预测被编码的块,则图像编码装置对该块的运动矢量进行基于POC的缩放,导出左预测运动矢量,并将左预测运动矢量设定为可利用(S302、S303)。
如果未找到通过帧间预测被编码的块,则图像编码装置将左预测运动矢量的设定维持为不可利用的状态。
接着,图像编码装置将上预测运动矢量设定为不可利用。然后,图像编码装置从图4的块B0、B1及B2寻找参照当前参照图片被编码的块。如果找到了参照当前参照图片被编码的块,则图像编码装置将该块的运动矢量作为上预测运动矢量而不做缩放地导出。然后,图像编码装置将上预测运动矢量设定为可利用。
如果未找到参照当前参照图片被编码的块,则图像编码装置从块B0、B1及B2寻找通过帧间预测被编码的块(S301)。如果找到了通过帧间预测被编码的块,则图像编码装置对该块的运动矢量进行基于POC的缩放,导出上预测运动矢量,并将上预测运动矢量设定为可利用(S302、S303)。
如果未找到通过帧间预测被编码的块,则图像编码装置将上预测运动矢量的设定维持为不可利用的状态。
通过以上的处理,图像编码装置及图像解码装置导出可利用的空间预测运动矢量(左预测运动矢量及上预测运动矢量)。
但是,根据当前图片、当前参照图片及相邻参照图片的关系,有时难以导出适当的空间预测运动矢量。
例如,当前参照图片为长期参照图片的情况下,存在从当前参照图片到当前图片的时间距离较长的可能性。此外,相邻参照图片为长期参照图 片的情况下,存在从相邻参照图片到当前图片的时间距离较长的可能性。
这些情况下,通过基于POC的缩放,可能会生成极端大或极端小的空间预测运动矢量。由此,预测精度劣化而编码效率劣化。特别是,无法以固定的比特数适当地表示极端大或极端小的空间预测运动矢量,显著地发生预测精度的劣化及编码效率的劣化。
为了解决这样的问题,本发明的一个方式的图像编码方法,是对多个图片中的多个块分别进行编码的图像编码方法,包括以下步骤:导出步骤,从相邻块的运动矢量导出在所述当前块的运动矢量的编码中使用的预测运动矢量的候选,该相邻块是包含编码对象的当前块的当前图片中包含的块,是与所述当前块相邻的块;追加步骤,将导出的所述候选追加到列表中;选择步骤,从追加了所述候选的所述列表选择所述预测运动矢量;以及编码步骤,使用所述当前块的运动矢量及所述当前块的参照图片对所述当前块进行编码,并使用选择的所述预测运动矢量对所述当前块的运动矢量进行编码;在所述导出步骤中,判定所述当前块的参照图片是长期参照图片还是短期参照图片、以及所述相邻块的参照图片是长期参照图片还是短期参照图片,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,从所述相邻块的运动矢量,通过不进行基于时间距离的缩放的第1导出方式导出所述候选,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,从所述相邻块的运动矢量,通过进行基于时间距离的缩放的第2导出方式导出所述候选。
由此,预测运动矢量的候选不会变得极端大或极端小而适当地导出。因此,能够提高预测精度,能够提高编码效率。
例如也可以是,在所述导出步骤中,在判定为所述当前块的参照图片及所述相邻块的参照图片中的一方是长期参照图片而另一方是短期参照图片的情况下,不从所述相邻块的运动矢量导出所述候选,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,或者判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,从所述相邻块的运动矢量导出所述候选。
由此,在估计预测精度低的情况下,预测运动矢量的候选不从相邻块 的运动矢量导出。因此,抑制了预测精度的劣化。
此外,例如也可以是,在所述编码步骤中,进一步对表示所述当前块的参照图片是长期参照图片还是短期参照图片的信息、以及表示所述相邻块的参照图片是长期参照图片还是短期参照图片的信息进行编码。
由此,从编码侧向解码侧通知表示各参照图片是长期参照图片还是短期参照图片的信息。因此,在编码侧和解码侧能够得到同样的判定结果而进行同样的处理。
此外,例如也可以是,在所述导出步骤中,使用从所述当前块的参照图片到所述当前图片的时间距离,判定所述当前块的参照图片是长期参照图片还是短期参照图片,使用从所述相邻块的参照图片到所述当前图片的时间距离,判定所述相邻块的参照图片是长期参照图片还是短期参照图片。
由此,基于时间距离来简介且适当地判定各参照图片是长期参照图片还是短期参照图片。
此外,例如也可以是,在所述导出步骤中,在进行所述相邻块的编码的期间,判定所述相邻块的参照图片是长期参照图片还是短期参照图片。
由此,能够更准确地判定相邻块的参照图片是长期参照图片还是短期参照图片。
此外,例如也可以是,在所述导出步骤中,在进行所述当前块的编码的期间,判定所述相邻块的参照图片是长期参照图片还是短期参照图片。
由此,可以不必长期维持相邻块的参照图片是长期参照图片还是短期参照图片的信息。
此外,例如也可以是,在所述导出步骤中,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,将所述相邻块的运动矢量作为所述候选导出,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,使用从所述当前块的参照图片到所述当前图片的时间距离与从所述相邻块的参照图片到所述当前图片的时间距离的比率,进行所述相邻块的运动矢量的缩放,从而导出所述候选。
由此,在2个参照图片为长期参照图片的情况下,省略缩放而降低运算量。并且,在2个参照图片为短期参照图片的情况下,基于时间距离来 适当地导出预测运动矢量的候选。
此外,例如也可以是,在所述导出步骤中,在判定为所述当前块的参照图片是短期参照图片、而所述相邻块的参照图片是长期参照图片的情况下,不从所述相邻块导出所述候选,而选择参照短期参照图片被编码的其他相邻块,通过所述第2导出方式从所述其他相邻块的运动矢量导出所述候选。
由此,选择用于导出高预测精度的候选的块。因此,提高了预测精度。
此外,也可以是,本发明的一个方式的图像解码方法,是对多个图片中的多个块分别进行解码的图像解码方法,包括以下步骤:导出步骤,从相邻块的运动矢量导出在所述当前块的运动矢量的解码中使用的预测运动矢量的候选,该相邻块是包含解码对象的当前块的当前图片中包含的块,是与所述当前块相邻的块;追加步骤,将导出的所述候选追加到列表中;选择步骤,从追加了所述候选的所述列表选择所述预测运动矢量;以及解码步骤,使用所选择的所述预测运动矢量对所述当前块的运动矢量进行解码,使用所述当前块的运动矢量及所述当前块的参照图片对所述当前块进行解码;在所述导出步骤中,判定所述当前块的参照图片是长期参照图片还是短期参照图片、以及所述相邻块的参照图片是长期参照图片还是短期参照图片,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,通过不进行基于时间距离的缩放的第1导出方式从所述相邻块的运动矢量导出所述候选,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,通过进行基于时间距离的缩放的第2导出方式从所述相邻块的运动矢量导出所述候选。
由此,预测运动矢量的候选不会变得极端大或变得极端小而适当地导出。因此,能够提高预测精度,能够提高编码效率。
例如也可以是,在所述导出步骤中,在判定为所述当前块的参照图片及所述相邻块的参照图片中的一方是长期参照图片而另一方是短期参照图片的情况下,不从所述相邻块的运动矢量导出所述候选,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下、或者判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,从所述相邻块的运动矢量导出所述候选。
由此,在估计预测精度低的情况下,预测运动矢量的候选不从相邻块的运动矢量导出。因此,抑制了预测精度的劣化。
此外,例如也可以是,在所述解码步骤中,进一步对表示所述当前块的参照图片是长期参照图片还是短期参照图片的信息、以及表示所述相邻块的参照图片是长期参照图片还是短期参照图片的信息进行解码,在所述导出步骤中,使用表示所述当前块的参照图片是长期参照图片还是短期参照图片的信息,判定所述当前块的参照图片是长期参照图片还是短期参照图片,使用表示所述相邻块的参照图片是长期参照图片还是短期参照图片的信息,判定所述相邻块的参照图片是长期参照图片还是短期参照图片。
由此,从编码侧向解码侧通知表示各参照图片是长期参照图片还是短期参照图片的信息。因此,在编码侧和解码侧能够得到同样的判定结果而进行同样的处理。
此外,例如也可以是,在所述导出步骤中,使用从所述当前块的参照图片到所述当前图片的时间距离,判定所述当前块的参照图片是长期参照图片还是短期参照图片,使用从所述相邻块的参照图片到所述当前图片的时间距离,判定所述相邻块的参照图片是长期参照图片还是短期参照图片。
由此,基于时间距离来简洁且适当地判定各参照图片是长期参照图片还是短期参照图片。
此外,例如也可以是,在所述导出步骤中,在进行所述相邻块的解码的期间,判定所述相邻块的参照图片是长期参照图片还是短期参照图片。
由此,更准确地判定相邻块的参照图片是长期参照图片还是短期参照图片。
此外,例如也可以是,在所述导出步骤中,在进行所述当前块的解码的期间,判定所述相邻块的参照图片是长期参照图片还是短期参照图片。
由此,可以不必长期维持相邻块的参照图片是长期参照图片还是短期参照图片的信息。
此外,例如也可以是,在所述导出步骤中,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,将所述相邻块的运动矢量作为所述候选导出,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,使用从所述当前块的 参照图片到所述当前图片的时间距离与从所述相邻块的参照图片到所述当前图片的时间距离的比率,进行所述相邻块的运动矢量的缩放,从而导出所述候选。
由此,在2个参照图片是长期参照图片的情况下,省略缩放而降低运算量。并且,在2个参照图片是短期参照图片的情况下,基于时间距离来适当地导出预测运动矢量的候选。
此外,例如也可以是,在所述导出步骤中,在判定为所述当前块的参照图片是短期参照图片而所述相邻块的参照图片是长期参照图片的情况下,不从所述相邻块导出所述候选,而选择参照短期参照图片被解码的其他相邻块,通过所述第2导出方式从所述其他相邻块的运动矢量导出所述候选。
由此,选择用于导出高预测精度的候选的块。因此,提高了预测精度。
此外,本发明的一个方式的内容供给方法,根据来自外部终端的请求,从记录有通过所述图像编码方法被编码的图像数据的服务器发送所述图像数据。
另外,这些整体或具体的方式可以由系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时记录介质来实现,也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。
以下,参照附图具体说明实施方式。另外,以下说明的实施方式都只示出整体或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等只是一例,不意图限定本发明。此外,对于以下的实施方式的构成要素中、未记载于表示最上位概念的独立权利要求的构成要素,作为任意的构成要素来说明。
(实施方式1)
图5是本实施方式的图像编码装置的框图。图5所示的图像编码装置500按照每个块对图像进行编码,并输出包含编码后的图像的编码流。具体的地说,图像编码装置500具备:减法部501、变换部502、量化部503、熵编码部504、逆量化部505、逆变换部506、加法部507、块存储器508、图片存储器509、帧内预测部510、帧间预测部511及选择部512。
减法部501通过从输入至图像编码装置500的图像减去预测图像而输 出差分图像。变换部502通过对从减法部501输出的差分图像进行频率变换而生成多个频率系数。量化部503通过对由变换部502生成的多个频率系数进行量化而生成多个量化系数。熵编码部504通过对由量化部503生成的多个量化系数进行编码而生成编码流。
逆量化部505通过对由量化部503生成的多个量化系数进行逆量化而将多个频率系数复原。逆变换部506通过对由逆量化部505复原的多个频率系数进行逆频率变换而将差分图像复原。加法部507通过将由逆变换部506复原的差分图像与预测图像相加而将图像复原(重构)。加法部507将复原后的图像(重构图像)存放到块存储器508及图片存储器509中。
块存储器508是用于按照每个块存储由加法部507复原的图像的存储器。此外,图片存储器509是用于按照每个图片存储由加法部507复原的图像的存储器。
帧内预测部510参照块存储器508来进行帧内预测。即,帧内预测部510根据图片内的其他像素值来预测该图片内的像素值。由此,帧内预测部510生成预测图像。此外,帧间预测部511参照图片存储器509来进行帧间预测。即,帧间预测部511根据其他图片内的像素来预测该图片内的像素值。由此,帧间预测部511生成预测图像。
选择部512选择由帧内预测部510生成的预测图像以及由帧间预测部511生成的预测图像的某一个,并将选择的预测图像输出至减法部501及加法部507。
虽然在图5中未示出,图像编码装置500也可以具备解块滤波部。并且,也可以是,解块滤波部通过对由加法部507复原的图像进行解块滤波处理,将块边界附近的噪音除去。此外,图像编码装置500也可以具备对图像编码装置500中的各处理进行控制的控制部。
图6是本实施方式的图像解码装置的框图。图6所示的图像解码装置600取得编码流,按照每个块对图像进行解码。具体地说,图像解码装置600具备:熵解码部601、逆量化部602、逆变换部603、加法部604、块存储器605、图片存储器606、帧内预测部607、帧间预测部608及选择部609。
熵解码部601对编码流中包含的编码后的多个量化系数进行解码。逆量化部602通过对由熵解码部601解码的多个量化系数进行逆量化而将多 个频率系数复原。逆变换部603通过对由逆量化部602复原的多个频率系数进行逆频率变换而将差分图像复原。
加法部604通过将由逆变换部603复原的差分图像与预测图像相加而将图像复原(重构)。加法部604输出复原后的图像(重构图像)。此外,加法部604将复原后的图像存放在块存储器605及图片存储器606中。
块存储器605是用于按照每个块存储由加法部604复原的图像的存储器。此外,图片存储器606是用于按照每个图像存储由加法部604复原的图像的存储器。
帧内预测部607参照块存储器605而进行帧内预测。即,帧内预测部607根据图片内的其他像素值来预测该图片内的像素值。由此,帧内预测部607生成预测图像。此外,帧间预测部608参照图片存储器606来进行帧间预测。即,帧间预测部608根据其他图片内的像素值来预测图片内的像素值。由此,帧间预测部608生成预测图像。
选择部609选择由帧内预测部607生成的预测图像以及由帧间预测部608生成的预测图像的某一个,并将选择的预测图像输出至加法部604。
虽然在图6中未示出,图像解码装置600也可以具备解块滤波部。并且,也可以是,解块滤波部通过对由加法部604复原的图像进行解块滤波处理,将块边界附近的噪音除去。此外,图像解码装置600也可以具备对图像解码装置600中的各处理进行控制的控制部。
上述编码处理及解码处理按照每个编码单元进行。变换处理、量化处理、逆变换处理及逆量化处理按照编码单元内的每个变换单元(TU:Transform Unit)进行。预测处理按照编码单元内的每个预测单元进行。
图7是表示图5所示的图像编码装置500的动作的流程图。特别是,图7表示通过帧间预测对图像进行编码的处理。
首先,帧间预测部511将多个参照图片分别分类为短期参照图片或长期参照图片(S701)。
长期参照图片是适于长时间利用的参照图。此外,长期参照图片作为用于比短期参照图片更长地利用的参照图片来定义。因此,长期参照图片被长时间维持在图片存储器509中的可能性较高。此外,长期参照图片由不依赖于当前图片的绝对POC指定。另一方面,短期参照图片由来自当前 图片的相对POC指定。
接着,熵编码部504在编码流的头中写入表示多个参照图片各自的分类的信息(S702)。即,熵编码部504写入表示多个参照图片分别是长期参照图片还是短期参照图片的信息。
接着,帧间预测部511通过运动检测来确定编码对象(预测对象)的当前块的参照图片及运动矢量(S703)。接着,帧间预测部511导出预测运动矢量(S704)。导出处理的详细情况留待后述。
接着,帧间预测部511从当前运动矢量减去预测运动矢量,导出差分运动矢量(S705)。接着,帧间预测部511使用当前参照图片及当前运动矢量进行运动补偿,从而生成预测块(S706)。
接着,减法部501从当前块(原图像)减去预测块,生成残差块(S707)。最后,熵编码部504对残差块、差分运动矢量、以及表示当前参照图片的参照索引进行编码,生成包含这些信息的编码流(S708)。
图8是表示图6所示的图像解码装置600的动作的流程图。特别是,图8表示通过帧间预测对图像进行解码的处理。
首先,熵解码部601取得编码流并对编码流的头进行解析(parse),从而取得表示多个参照图片各自的分类的信息(S801)。即,熵解码部601取得表示多个参照图片分别是长期参照图片还是短期参照图片的信息。
此外,熵解码部601通过对编码流进行解析,取得残差块、差分运动矢量、以及表示当前参照图片的参照索引(S802)。
接着,帧间预测部608导出预测运动矢量(S803)。导出处理的详细情况留待后述。接着,帧间预测部608将差分运动矢量与预测运动矢量相加,生成当前运动矢量(S804)。接着,帧间预测部608使用当前参照图片及当前运动矢量进行运动补偿,从而生成预测块(S805)。最后,加法部604将残差块与预测块相加,生成重构块(S806)。
图9是表示图7及图8所示的导出处理的详细情况的流程图。以下主要示出图5的帧间预测部511的动作。如果将编码逆向地看做解码,则图6的帧间预测部608的动作也与图5的帧间预测部511的动作相同。
首先,帧间预测部511选择与当前块相邻的相邻块(S901)。然后,帧间预测部511确定相邻参照图片及相邻运动矢量(S902)。
接着,帧间预测部511判定当前参照图片及相邻参照图片的某一个是否为长期参照图片(S903)。然后,在判定为当前参照图片及相邻参照图片的某一个是长期参照图片的情况下(S903:是),帧间预测部511按照第1导出方式导出预测运动矢量(S904)。
第1导出方式是使用相邻运动矢量的方式。更具体地说,第1导出方式是不进行基于POC的缩放而直接将相邻运动矢量作为预测运动矢量导出的方式。第1导出方式也可以是通过以预先决定的一定比率对相邻运动矢量进行缩放而导出预测运动矢量的方式。
在判定为当前参照图片及相邻参照图片都不是长期参照图片的情况下(S903否),帧间预测部511按照第2导出方式导出预测运动矢量(S905)。即,当前参照图片及相邻参照图片的双方为短期参照图片的情况下,帧间预测部511按照第2导出方式导出预测运动矢量。
第2导出方式是使用当前参照图片、相邻参照图片及相邻运动矢量的方式。更具体地说,第2导出方式是通过对相邻运动矢量进行基于POC的缩放(式1)来导出预测运动矢量的方式。
以下再次参照图9,说明导出空间预测运动矢量的处理的更具体例。前面说明的导出处理可以如下变更。
首先,帧间预测部511将左预测运动矢量设定为不可利用。然后,帧间预测部511从图4的块A0及A1寻找参照当前参照图片被编码的块。
如果找到了参照当前参照图片被编码的块,则帧间预测部511将该块的运动矢量作为左预测运动矢量而不做缩放地导出,将左预测运动矢量设定为可利用。如果未找到参照当前参照图片被编码的块,则帧间预测部511从块A0及A1寻找通过帧间预测被编码的块(S901)。
在找到了通过帧间预测被编码的块且该块的参照图片及当前参照图片的某一个是长期参照图片的情况下(S902、S903:是),通过第1导出方式导出左预测运动矢量(S904)。即,帧间预测部511将找到的块的运动矢量作为左预测运动矢量而不做缩放地导出。然后,帧间预测部511将左预测运动矢量设定为可利用。
在找到了通过帧间预测被编码的块且该块的参照图片及当前参照图片都不是长期参照图片的情况下(S902、S903:否),通过第2导出方式导出 左预测运动矢量(S905)。即,帧间预测部511对于找到的块的运动矢量进行基于POC的缩放,导出左预测运动矢量。然后,帧间预测部511将左预测运动矢量设定为可利用。
如果未找到通过帧间预测被编码的块,则帧间预测部511将左预测运动矢量的设定维持为不可利用的状态。
接着,帧间预测部511将上预测运动矢量设定为不可利用。然后,帧间预测部511从图4的块B0、B1及B2寻找参照当前参照图片被编码的块。
如果找到了参照当前参照图片被编码的块,则帧间预测部511将该块的运动矢量作为上预测运动矢量而不做缩放地导出,将上预测运动矢量设定为可利用。如果未找到参照当前参照图片被编码的块,则帧间预测部511从块B0、B1及B2寻找通过帧间预测被编码的块(S901)。
在找到了通过帧间预测被编码的块且该块的参照图片及当前参照图片的某一个是长期参照图片的情况下(S902、S903:是),通过第1导出方式导出上预测运动矢量(S904)。即,帧间预测部511将找到的块的运动矢量作为上预测运动矢量而不做缩放地导出。然后,帧间预测部511将上预测运动矢量设定为可利用。
在找到了通过帧间预测被编码的块且该块的参照图片及当前参照图片都不是长期参照图片的情况下(S902、S903否),通过第2导出方式导出上预测运动矢量(S905)。即,帧间预测部511对找到的块的运动矢量进行基于POC的缩放,导出上预测运动矢量。然后,帧间预测部511将上预测运动矢量设定为可利用。
如果未找到通过帧间预测被编码的块,则帧间预测部511将上预测运动矢量的设定维持为不可利用的状态。
如上述那样,空间预测运动矢量被设定为可利用或不可利用。帧间预测部511将设定为可利用的空间预测运动矢量加入到预测运动矢量候选的带顺序的列表中。带顺序的列表不限于空间预测运动矢量,还将各种运动矢量作为预测运动矢量候选保持。
帧间预测部511从带顺序的列表选择1个预测运动矢量,并使用所选择的预测运动矢量来预测当前运动矢量。这时,帧间预测部511从带顺序的列表选择与当前运动矢量最接近的预测运动矢量、或者能够将当前运动 矢量以最高的编码效率编码的预测运动矢量。与被选择的预测运动矢量对应的索引被写入编码流。
通过以上的处理,空间预测运动矢量不会变得极端大或变得极端小而适当地从相邻运动矢量导出。因此,提高了预测精度,提高了编码效率。
另外,各参照图片是长期参照图片还是短期参照图片也可以根据时间而变更。例如,短期参照图片可以之后变更为长期参照图片。相反,长期参照图片也可以之后变更为短期参照图片。
此外,帧间预测部511也可以在进行相邻块的编码的期间,判定相邻参照图片是长期参照图片还是短期参照图片。并且,图像编码装置500也可以具有追加的存储器,该追加的存储器用于从进行相邻块的编码到进行当前块的编码为止保持判定结果。
这种情况下,更准确地判定相邻参照图片是长期参照图片还是短期参照图片。
或者,帧间预测部511也可以在进行当前块的编码的期间,判定相邻参照图片是长期参照图片还是短期参照图片。
这种情况下,可以不必长时间维持相邻参照图片是长期参照图片还是短期参照图片的信息。
此外,帧间预测部511也可以使用从当前参照图片到当前图片的时间距离来判定当前参照图片是长期参照图片还是短期参照图片。
例如,从当前参照图片到当前图片的时间距离大于规定的阈值的情况下,帧间预测部511判定为当前参照图片是长期参照图片。并且,时间距离为规定的阈值以下的情况下,帧间预测部511判定为当前参照图片是短期参照图片。
同样,帧间预测部511也可以使用从相邻参照图片到当前图片的时间距离来判定相邻参照图片是长期参照图片还是短期参照图片。
例如,从相邻参照图片到当前图片的时间距离大于规定的阈值的情况下,帧间预测部511判定为相邻参照图片是长期参照图片。并且,时间距离为规定的阈值以下的情况下,帧间预测部511判定为相邻参照图片是短期参照图片。
此外,图像解码装置600的帧间预测部608也可以与图像编码装置500 的帧间预测部511同样,基于时间距离来判定各参照图片是长期参照图片还是短期参照图片。这种情况下,也可以不将表示各参照图片是长期参照图片还是短期参照图片的信息编码。
对于本实施方式中示出的其他处理,通过由图像解码装置600的各构成要素进行与图像编码装置500中对应的构成要素同样的处理,能够将以高编码效率编码的图像适当地解码。
此外,以上示出的动作也可以在其他实施方式中应用。本实施方式所示的构成及动作可以编入其他实施方式,其他实施方式所示的构成及动作也可以编入本实施方式。
(实施方式2)
本实施方式的图像编码装置及图像解码装置的构成与实施方式1相同。因此,使用图5的图像编码装置500的构成及图6的图像解码装置600的构成来说明本实施方式的这些动作。
此外,本实施方式的图像编码装置500与实施方式1同样,进行图7所示的动作。此外,本实施方式的图像解码装置600与实施方式1同样,进行图8所示的动作。在本实施方式中,预测运动矢量的导出处理与实施方式1不同。以下详细说明。
图10是表示本实施方式的导出处理的详细情况的流程图。本实施方式的帧间预测部511取代图9所示的动作而进行图10所示的动作。以下主要示出图5的帧间预测部511的动作。如果将编码逆向地看做解码,则图6的帧间预测部608的动作也与图5的帧间预测部511的动作相同。
首先,帧间预测部511判定当前参照图片是否为长期参照图片(S1001)。
判定为当前参照图片是长期参照图片的情况下(S1001:是),帧间预测部511选择通过帧间预测被编码的相邻块(S1002)。然后,帧间预测部511确定相邻参照图片及相邻运动矢量(S1003)。然后,帧间预测部511按照与实施方式1同样的第1导出方式来导出预测运动矢量(S1004)。
在判定为当前参照图片不是长期参照图片的情况下(S1001否),帧间预测部511选择参照短期参照图片被编码的相邻块(S1005)。
即,当前参照图片是短期参照图片的情况下,帧间预测部511选择参照短期参照图片被编码的相邻块。然后,帧间预测部511确定相邻参照图 片及相邻运动矢量(S1006)。然后,帧间预测部511按照与实施方式1同样的第2导出方式来导出预测运动矢量(S1007)。
如上述那样,当前块的参照图片是短期参照图片的情况下,帧间预测部511不从参照长期参照图片被编码的相邻块的运动矢量中导出预测运动矢量。即,当前块的参照图片是短期参照图片且相邻块的参照图片是长期参照图片的情况下,帧间预测部511不从该相邻块的运动矢量导出预测运动矢量。
这种情况下,可以从参照短期参照图片被编码的其他相邻块的运动矢量导出预测运动矢量,也可以最终不导出空间预测运动矢量。
以下再次参照图10,说明导出空间预测运动矢量的处理的更具体例。前面说明的导出处理可以如下变更。
首先,帧间预测部511将左预测运动矢量设定为不可利用。然后,帧间预测部511从图4的块A0及A1寻找参照当前参照图片被编码的块。
如果找到了参照当前参照图片被编码的块,则帧间预测部511将该块的运动矢量作为左预测运动矢量而不做缩放地导出,将左预测运动矢量设定为可利用。如果未找到参照当前参照图片被编码的块,则帧间预测部511判定当前参照图片是否为长期参照图片(S1001)。
当前参照图片是长期参照图片的情况下(S1001:是),帧间预测部511从块A0及A1寻找通过帧间预测被编码的块(S1002)。
如果找到了通过帧间预测被编码的块,则帧间预测部511将该块的运动矢量作为左预测运动矢量而不做缩放地导出,将左预测运动矢量设定为可利用(S1003、S1004)。如果未找到通过帧间预测被编码的块,则帧间预测部511将左预测运动矢量的设定维持为不可利用的状态。
当前参照图片不是长期参照图片的情况下(S1001否),帧间预测部511从块A0及A1寻找参照短期参照图片被编码的块(S1005)。
如果找到了参照短期参照图片被编码的块,则帧间预测部511对该块的运动矢量进行基于POC的缩放,导出左预测运动矢量(S1006、S1007)。然后,帧间预测部511将左预测运动矢量设定为可利用。如果未找到参照短期参照图片被编码的块,帧间预测部511将左预测运动矢量的设定维持为不可利用的状态。
接着,帧间预测部511将上预测运动矢量设定为不可利用。然后,帧间预测部511从图4的块B0、B1及B2寻找参照当前参照图片被编码的块。
如果找到了参照当前参照图片被编码的块,帧间预测部511将该块的运动矢量作为上预测运动矢量而不做缩放地导出,将上预测运动矢量设定为可利用。如果未找到参照当前参照图片被编码的块,则帧间预测部511判定当前参照图片是否为长期参照图片(S1001)。
当前参照图片是长期参照图片的情况下(S1001:是),帧间预测部511从块B0、B1及B2寻找通过帧间预测被编码的块(S1002)。
如果找到了通过帧间预测被编码的块,则帧间预测部511将该块的运动矢量作为上预测运动矢量而不做缩放地导出,将上预测运动矢量设定为可利用(S1003、S1004)。如果未找到通过帧间预测被编码的块,则帧间预测部511将上预测运动矢量的设定维持为不可利用的状态。
当前参照图片不是长期参照图片的情况下(S1001否),帧间预测部511从块B0、B1及B2寻找参照短期参照图片被编码的块(S1005)。
如果找到了参照短期参照图片被编码的块,则帧间预测部511对该块的运动矢量进行基于POC的缩放,导出上预测运动矢量(S1006、S1007)。然后,帧间预测部511将上预测运动矢量设定为可利用。如果未找到参照短期参照图片被编码的块,则帧间预测部511将上预测运动矢量的设定维持为不可利用的状态。
如以上所述,在本实施方式中,在当前块的参照图片是短期参照图片且相邻块的参照图片是长期参照图片的情况下,不从该相邻块的运动矢量导出空间预测运动矢量。
当前参照图片及相邻参照图片中的一方是长期参照图片而另一方是短期参照图片的情况下,导出高预测精度的空间预测运动矢量非常困难。在此,本实施方式的图像编码装置500及图像解码装置600通过上述动作,抑制了预测精度的劣化。
(实施方式3)
本实施方式的图像编码装置及图像解码装置的构成与实施方式1同样。因此,使用图5的图像编码装置500的构成及图6的图像解码装置600的构成,说明本实施方式的这些动作。
此外,本实施方式的图像编码装置500与实施方式1同样,进行图7所示的动作。此外,本实施方式的图像解码装置600与实施方式1同样,进行图8所示的动作。在本实施方式中,预测运动矢量的导出处理与实施方式1不同。以下详细说明。
图11是表示本实施方式的导出处理的详细情况的流程图。本实施方式的帧间预测部511取代图9所示的动作而进行图11所示的动作。以下主要示出图5的帧间预测部511的动作。如果将编码看做解码,则图6的帧间预测部608的动作也与图5的帧间预测部511的动作同样。
首先,帧间预测部511判定当前参照图片是否为长期参照图片(S1101)。
在判定为当前参照图片是长期参照图片的情况下(S1101:是),帧间预测部511选择通过帧间预测被编码的相邻块(S1102)。然后,帧间预测部511确定相邻参照图片及相邻运动矢量(S1103)。然后,帧间预测部511按照与实施方式1同样的第1导出方式来导出预测运动矢量(S1104)。
在判定为当前参照图片不是长期参照图片的情况下(S1001否),帧间预测部511判定是否存在参照短期参照图片被编码的相邻块(S1105)。
在判定为存在参照短期参照图片被编码的相邻块的情况下(S1105:是),帧间预测部511选择该相邻块(S1106)。然后,帧间预测部511确定相邻参照图片及相邻运动矢量(S1107)。然后,帧间预测部511按照与实施方式1同样的第2导出方式来导出预测运动矢量(S1108)。
在判定为不存在参照短期参照图片被编码的相邻块的情况下(S1105否),帧间预测部511选择通过帧间预测被编码的相邻块。即,这种情况下,帧间预测部511选择参照长期参照图片被编码的相邻块(S1109)。
然后,帧间预测部511确定相邻参照图片及相邻运动矢量(S1110)。然后,帧间预测部511按照与实施方式1同样的第1导出方式来导出预测运动矢量(S1111)。
即,当前块的参照图片是短期参照图片的情况下,与参照长期参照图片被编码的相邻块相比,优先选择参照短期参照图片被编码的相邻块。然后,按照第1导出方式或第2导出方式从选择的相邻块导出预测运动矢量。
以下再次参照图11,说明导出空间预测运动矢量的处理的更具体例。前面说明的导出处理可以如下变更。
首先,帧间预测部511将左预测运动矢量设定为不可利用。然后,帧间预测部511从图4的块A0及A1寻找参照当前参照图片被编码的块。
如果找到了参照当前参照图片被编码的块,则帧间预测部511将该块的运动矢量作为左预测运动矢量而不做缩放地导出,将左预测运动矢量设定为可利用。如果未找到参照当前参照图片被编码的块,则帧间预测部511判定当前参照图片是否为长期参照图片(S1101)。
在判定为当前参照图片是长期参照图片的情况下(S1101:是),帧间预测部511从块A0及A1寻找通过帧间预测被编码的块(S1102)。
如果找到了通过帧间预测被编码的块,则帧间预测部511将该块的运动矢量作为左预测运动矢量而不做缩放地导出,将左预测运动矢量设定为可利用(S1103、S1104)。如果未找到通过帧间预测被编码的块,则帧间预测部511将左预测运动矢量的设定维持为不可利用的状态。
在判定当前参照图片不是长期参照图片的情况下(S1101否),帧间预测部511从块A0及A1寻找参照短期参照图片被编码的块。
如果找到了参照短期参照图片被编码的块(S1105:是),帧间预测部511从该块导出左预测运动矢量(S1106、S1007、S1008)。这时,帧间预测部511对该块的运动矢量进行基于POC的缩放,导出左预测运动矢量。然后,帧间预测部511将左预测运动矢量设定为可利用。
如果未找到参照短期参照图片被编码的块(S1105否),则帧间预测部511从块A0及A1寻找通过帧间预测被编码的块。即,帧间预测部511从块A0及A1寻找参照长期参照图片被编码的块。
如果找到了通过帧间预测被编码的块,则帧间预测部511将该块的运动矢量作为左预测运动矢量而不做缩放地导出,将左预测运动矢量设定为可利用(S1109、S1110、S1111)。如果未找到通过帧间预测被编码的块,则帧间预测部511将左预测运动矢量的设定维持为不可利用的状态。
接着,帧间预测部511将上预测运动矢量设定为不可利用。然后,帧间预测部511从图4的块B0、B1及B2寻找参照当前参照图片被编码的块。
如果找到了参照当前参照图片被编码的块,则帧间预测部511将该块的运动矢量作为上预测运动矢量而不做缩放地导出,将上预测运动矢量设定为可利用。如果未找到参照当前参照图片被编码的块,则帧间预测部511 判定当前参照图片是否为长期参照图片(S1101)。
在判定为当前参照图片是长期参照图片的情况下(S1101:是),帧间预测部511从块B0、B1及B2寻找通过帧间预测被编码的块(S1102)。
如果找到了通过帧间预测被编码的块,则帧间预测部511将该块的运动矢量作为上预测运动矢量而不做缩放地导出,将上预测运动矢量设定为可利用(S1103、S1104)。如果未找到通过帧间预测被编码的块,则帧间预测部511将上预测运动矢量的设定维持为不可利用的状态。
在判定为当前参照图片不是长期参照图片的情况下(S1101否),帧间预测部511从块B0、B1及B2寻找参照短期参照图片被编码的块。
如果找到了参照短期参照图片被编码的块(S1105:是),则帧间预测部511从该块导出上预测运动矢量(S1106、S1007、S1008)。这时,帧间预测部511对该块的运动矢量进行基于POC的缩放,导出上预测运动矢量。然后,帧间预测部511将上预测运动矢量设定为可利用。
如果未找到参照短期参照图片被编码的块(S1105否),则帧间预测部511从块B0、B1及B2寻找通过帧间预测被编码的块。即,帧间预测部511从块B0、B1及B2寻找参照长期参照图片被编码的块。
如果找到了通过帧间预测被编码的块,则帧间预测部511将该块的运动矢量作为上预测运动矢量而不做缩放地导出,将上预测运动矢量设定为可利用(S1109、S1110、S1111)。如果未找到通过帧间预测被编码的块,则帧间预测部511将上预测运动矢量的设定维持为不可利用的状态。
如上述那样,当前块的参照图片是短期参照图片的情况下,与参照长期参照图片被编码的相邻块相比,优先选择参照短期参照图片被编码的相邻块。
当前参照图片及相邻参照图片都是短期参照图片的情况下,认为能够提高空间预测运动矢量的预测精度。在此,本实施方式的图像编码装置500及图像解码装置600通过上述的动作提高了预测精度。
(实施方式4)
本实施方式确认性地表示实施方式1~3中包含的特征性构成及特征性顺序。
图12A是本实施方式的图像编码装置的框图。图12A所示的图像编码 装置1200对多个图片中的多个块分别进行编码。此外,图像编码装置1200具备:导出部1201、追加部1202、选择部1203及编码部1204。
例如,导出部1201、追加部1202及选择部1203与图5的帧间预测部511等对应。编码部1204与图5的熵编码部504等对应。
图12B是表示图12A所示的图像编码装置1200的动作的流程图。
导出部1201从相邻块的运动矢量导出预测运动矢量的候选(S1201)。相邻块是包含编码对象的当前块的当前图片中包含的块且与当前块相邻的块。预测运动矢量用于当前块的运动矢量的编码。
在候选的导出中,导出部1201判定当前块的参照图片是长期参照图片还是短期参照图片。此外,导出部1201判定相邻块的参照图片是长期参照图片还是短期参照图片。
在此,在判定为当前块的参照图片及相邻块的参照图片分别是长期参照图片的情况下,导出部1201通过第1导出方式从相邻块的运动矢量导出候选。第1导出方式是不进行基于时间距离的缩放的导出方式。
另一方面,在判定为当前块的参照图片及相邻块的参照图片分别是短期参照图片的情况下,导出部1201通过第2导出方式从相邻块的运动矢量导出候选。第2导出方式是进行基于时间距离的缩放的导出方式。
追加部1202将导出的候选追加到列表中(S1202)。选择部1203从追加了候选的列表中选择预测运动矢量(S1203)。
编码部1204使用当前块的运动矢量及当前块的参照图片对当前块进行编码。此外,编码部1204使用所选择的预测运动矢量对当前块的运动矢量进行编码(S1204)。
图13A是本实施方式的图像解码装置的框图。图13A所示的图像解码装置1300对多个图片中的多个块分别进行解码。此外,图像解码装置1300具备:导出部1301、追加部1302、选择部1303及解码部1304。
例如,导出部1301、追加部1302及选择部1303与图6的帧间预测部608等对应。解码部1304与图6的熵解码部601等对应。
图13B是表示图13A所示的图像解码装置1300的动作的流程图。
导出部1301从相邻块的运动矢量导出预测运动矢量的候选(S1301)。相邻块是包含解码对象的当前块的当前图片中包含的块且与当前块相邻的 块。预测运动矢量用于当前块的运动矢量的解码。
在候选的导出中,导出部1301判定当前块的参照图片是长期参照图片还是短期参照图片。此外,导出部1301判定相邻块的参照图片是长期参照图片还是短期参照图片。
在此,在判定为当前块的参照图片及相邻块的参照图片分别是长期参照图片的情况下,导出部1301通过第1导出方式导出相邻块的运动矢量。第1导出方式是不进行基于时间距离的缩放的导出方式。
另一方面,在判定为当前块的参照图片及相邻块的参照图片分别是短期参照图片的情况下,导出部1301通过第2导出方式从相邻块的运动矢量导出候选。第2导出方式是进行基于时间距离的缩放的导出方式。
追加部1302将导出的候选追加到列表中(S1302)。选择部1303从追加了候选的列表选择预测运动矢量(S1303)。
解码部1304使用所选择的预测运动矢量对当前块的运动矢量进行解码。此外,解码部1304使用当前块的运动矢量及当前块的参照图片对当前块进行解码(S1304)。
通过以上的处理,预测运动矢量的候选不会变得极端大或变得极端小而从相邻块的运动矢量适当地导出。因此,能够提高预测精度,能够提高编码效率。
另外,导出部1201及1301在判定为当前块的参照图片及相邻块的参照图片中的一方是长期参照图片而另一方是短期参照图片的情况下,也可以不从相邻块的运动矢量导出候选。
这种情况下,导出部1201及1301也可以进一步选择参照短期参照图片被编码或解码的其他相邻块,通过第2导出方式从其他相邻块导出候选。或者,这种情况下,导出部1201及1301也可以通过别的导出方式导出候选。或者,这种情况下,导出部1201及1301也可以最终不导出与空间预测运动矢量对应的候选。
此外,导出部1201及1301也可以使用从当前块的参照图片到当前图片的时间距离来判定当前块的参照图片是长期参照图片还是短期参照图片。
此外,导出部1201及1301也可以使用从相邻块的参照图片到当前图 片的时间距离来判定相邻块的参照图片是长期参照图片还是短期参照图片。
此外,导出部1201及1301也可以在进行相邻块的编码或解码的期间,判定相邻块的参照图片是长期参照图片还是短期参照图片。
此外,导出部1201及1301也可以在进行当前块的编码或解码的期间,判定相邻块的参照图片是长期参照图片还是短期参照图片。
此外,第1导出方式也可以是将相邻块的运动矢量作为候选而导出的方式。第2导出方式也可以是使用从当前块的参照图片到当前图片的时间距离与从相邻块的参照图片到当前图片的时间距离的比率来进行相邻块的运动矢量的缩放、从而导出候选的方式。
此外,编码部1204也可以进一步对表示当前块的参照图片是长期参照图片还是短期参照图片的信息、以及表示相邻块的参照图片是长期参照图片还是短期参照图片的信息进行编码。
此外,解码部1304也可以进一步对表示当前块的参照图片是长期参照图片还是短期参照图片的信息、以及表示相邻块的参照图片是长期参照图片还是短期参照图片的信息进行解码。
此外,导出部1301也可以使用解码后的信息来判定所述当前块的参照图片是长期参照图片还是短期参照图片。此外,导出部1301也可以使用解码后的信息来判定相邻块的参照图片是长期参照图片还是短期参照图片。
此外,表示参照图片的分类的信息也可以作为参数存放在编码流中的如下所示的位置。
图14A是表示参照图片的分类的参数的存放位置的第1例的图。如图14A所示,表示参照图片的分类的参数可以存放在序列头中。序列头也被称为序列参数组。
图14B是表示参照图片的分类的参数的存放位置的第2例的图。如图14B所示,表示参照图片的分类的参数可以存放在图片头中。图片头也被称为图片参数组。
图14C是表示参照图片的分类的参数的存放位置的第3例的图。如图14C所示,表示参照图片的分类的参数可以存放在切片头中。
此外,表示预测模式(帧间预测或帧内预测)的信息也可以作为参数 存放在编码流中的如下所示的位置。
图15是表示预测模式的参数的存放位置的例子的图。如图15所示,该参数可以存放在CU头(编码单元头)中。该参数表示编码单元内的预测单元是通过帧间预测被编码的、还是通过帧内预测被编码的。在相邻块是否可利用的判定中可以使用该参数。
此外,在上述各实施方式中,各构成要素可以由专用的硬件构成,或者通过执行适于各构成要素的软件程序来实现。各构成要素可以通过由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此,实现上述各实施方式的图像编码装置等的软件是如下的程序。
即,该程序使计算机执行图像编码方法,图像解码方法,该图像编码方法是对多个图片中的多个块分别进行解码的图像解码方法,包括以下步骤:导出步骤,根据相邻块的运动矢量导出在所述当前块的运动矢量的解码中使用的预测运动矢量的候选,该相邻块是包含解码对象的当前块的当前图片中包含的块,是与所述当前块相邻的块;追加步骤,将导出的所述候选追加到列表中;选择步骤,从追加了所述候选的所述列表选择所述预测运动矢量;以及解码步骤,使用所选择的所述预测运动矢量对所述当前块的运动矢量进行解码,使用所述当前块的运动矢量及所述当前块的参照图片对所述当前块进行解码;在所述导出步骤中,判定所述当前块的参照图片是长期参照图片还是短期参照图片、以及所述相邻块的参照图片是长期参照图片还是短期参照图片,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,通过不进行基于时间距离的缩放的第1导出方式从所述相邻块的运动矢量导出所述候选,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,通过进行基于时间距离的缩放的第2导出方式从所述相邻块的运动矢量导出所述候选。
此外,该程序使计算机执行图像解码方法,该图像解码方法是对多个图片中的多个块分别进行解码的图像解码方法,包括以下步骤:导出步骤,根据相邻块的运动矢量导出在所述当前块的运动矢量的解码中使用的预测运动矢量的候选,该相邻块是包含解码对象的当前块的当前图片中包含的 块,是与所述当前块相邻的块;追加步骤,将导出的所述候选追加到列表中;选择步骤,从追加了所述候选的所述列表选择所述预测运动矢量;以及解码步骤,使用所选择的所述预测运动矢量对所述当前块的运动矢量进行解码,使用所述当前块的运动矢量及所述当前块的参照图片对所述当前块进行解码;在所述导出步骤中,判定所述当前块的参照图片是长期参照图片还是短期参照图片、以及所述相邻块的参照图片是长期参照图片还是短期参照图片,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是长期参照图片的情况下,通过不进行基于时间距离的缩放的第1导出方式从所述相邻块的运动矢量导出所述候选,在判定为所述当前块的参照图片及所述相邻块的参照图片分别是短期参照图片的情况下,通过进行基于时间距离的缩放的第2导出方式从所述相邻块的运动矢量导出所述候选。
此外,各构成要素也可以是电路。这些电路可以整体构成1个电路,也可以分别构成不同的电路。此外,各构成要素可以由通用的处理器实现,也可以由通用的处理器实现。
以上基于实施方式说明了一个或多个方式的图像编码装置,但是本发明不限于该实施方式。只要不脱离本发明的主旨,对本实施方式施以本领域技术人员能够想到的各种变形而得到的发明、以及将不同的实施方式中的构成要素组合而形成的方式也包含在一个或多个方式的范围内。
例如,图像编码解码装置也可以具备图像编码装置及图像解码装置。此外,也可以由其他处理部执行由特定的处理部执行的处理。此外,执行处理的顺序可以变更,也可以并行执行多个处理。
(实施方式5)
通过将用来实现上述各实施方式所示的动态图像编码方法或动态图像解码方法的结构的程序记录到存储介质中,能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等,只要是能够记录程序的介质就可以。
进而,这里说明在上述各实施方式中示出的动态图像编码方法(图像编码方法)及动态图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于,具有由使用图像编码方法的图像编码装置及使用 图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构,可以根据情况而适当变更。
图16是显示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小,在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107~ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是,内容供给系统ex100并不限定于图16那样的结构,也可以将某些要素组合连接。此外,也可以不经由作为固定无线站的基站ex107~ex110将各设备直接连接在电话网ex104上。此外,也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的动态图像摄影的设备,照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外,便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等,是哪种都可以。
在内容供给系统ex100中,通过将照相机ex113等经由基站ex109、电话网ex104连接在流介质服务器ex103上,能够进行现场分发等。在现场分发中,对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即,作为本发明的一个方式的图像编码装置发挥作用),向流介质服务器ex103发送。另一方面,流介质服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端,有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中,将接收到的数据解码处理而再现(即,作为本发明的一个方式的图像解码装置发挥作用)。
另外,摄影的数据的编码处理既可以由照相机ex113进行,也可以由进行数据的发送处理的流介质服务器ex103进行,也可以相互分担进行。同样,分发的数据的解码处理既可以由客户端进行,也可以由流介质服务器ex103进行,也可以相互分担进行。此外,并不限于照相机ex113,也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流介质服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流介质服务器ex103的哪个进行都可以,也可以相互分担进行。
此外,这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片,也可以是由多个芯片构成的结构。另外,也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而,在便携电话ex114是带有照相机的情况下,也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外,也可以是,流介质服务器ex103是多个服务器或多个计算机,是将数据分散处理、记录、及分发的。
如以上这样,在内容供给系统ex100中,客户端能够接收编码的数据而再现。这样,在内容供给系统ex100中,客户端能够将用户发送的信息实时地接收、解码、再现,即使是没有特别的权利或设备的用户也能够实现个人广播。
另外,并不限定于内容供给系统ex100的例子,如图17所示,在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言,在广播站ex201中,将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即,通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波,能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波,通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即,作为本发明的一个方式的图像解码装置发 挥作用)。
此外,可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下,可以将再现的影像信号显示在监视器ex219上,通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外,也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置,将其用电视机的监视器ex219显示。此时,也可以不是在机顶盒、而在电视机内装入动态图像解码装置。
图18是显示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理不ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外,电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即,作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而,电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而,电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外,还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外,记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先,对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于具有CPU等的控制部ex310的控制,将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而,电视机ex300将分离的声音数据用声音信号处理部ex304解码,将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时,可以暂时将这些信号储存到缓冲器ex318、ex319等中,以使声音信号和影像信号同步再现。此外,电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着,对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于控制部ex310的控制,由声音信号处理部ex304将声音信号编码,由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用,向外部输出。在复用时,可以暂时将这些信号储存到缓冲器ex320、ex321等中,以使声音信号和影像信号同步再现。另外,缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个,也可以是共用一个以上的缓冲器的结构。进而,在图示以外,也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外,电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外,也可以具备受理麦克风或照相机的AV输入的结构,对从它们中取得的数据进行编码处理。另外,这里,将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明,但也可以不能进行这些处理,而是仅能够进行上述接收、解码处理、外部输出的结构。
此外,在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下,上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以,也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例,将从光盘进行数据的读入或写入的情况下的信息再现/记录 部ex400的结构显示在图19中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息,检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器,根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大,将记录在记录介质ex215中的信号成分分离并解调,再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道,进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成,通过执行读出写入的程序来执行它们的处理。
以上,假设光头ex401照射激光斑而进行了说明,但也可以是使用接近场光进行高密度的记录的结构。
在图20中显示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上,以螺旋状形成有导引槽(沟),在信息轨道ex230中,预先通过沟的形状的变化而记录有显示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息,通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息,能够确定记录块。此外,记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233,配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上,举1层的DVD、BD等的光盘为例进行了说明,但并不限定于这些,也可以是多层构造、在表面以外也能够记录的光盘。此外,也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外,在数字广播用系统ex200中,也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外,车载导航仪ex211的结构可以考虑例如在图18所示的结构中添加GPS接收部的结构,在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图21A是显示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而,使用图21B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360,将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态,则通过从电池组对各部供给电力,便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制,在语音通话模式时,将由声音输入部ex356集音的声音信号通过声音信号 处理部ex354变换为数字声音信号,将其用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外,便携电话ex114在语音通话模式时,将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理,用调制/解调部ex352进行波谱逆扩散处理,通过声音信号处理部ex354变换为模拟声音数据后,将其经由声音输出部ex357输出。
进而,在数据通信模式时发送电子邮件的情况下,将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350向基站ex110发送。在接收电子邮件的情况下,对接收到的数据执行上述处理的大致逆处理,并输出到显示部ex350。
在数据通信模式时,在发送影像、静止图像、或者影像和声音的情况下,影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即,作为本发明的一个方式的图像编码装置发挥作用),将编码后的影像数据送出至复用/分离部ex353。另外,声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码,将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式,对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用,将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350发送。
在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下,或者接收到附加了影像或者声音的电子邮件的情况下,为了对经由天线ex350接收到的复用数据进行解码,复用/分离部ex353通过将复用数据分离,分为影像数据的比特流和声音数据的比特流,经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给,并将编码后的声音数 据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码,由此对影像信号进行解码(即,作为本发明的一个方式的图像解码装置发挥作用),经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外,声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
此外,上述便携电话ex114等的终端与电视机ex300同样,除了具有编码器、解码器两者的收发型终端以外,还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外,在数字广播用系统ex200中,设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明,但除声音数据之外复用了与影像关联的字符数据等的数据也可以,不是复用数据而是影像数据本身也可以。
这样,将在上述各实施方式中显示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以,通过这样,能够得到在上述各实施方式中说明的效果。
此外,本发明并不限定于这样的上述实施方式,能够不脱离本发明的范围而进行各种变形或修正。
(实施方式6)
也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG-2、MPEG4-AVC、VC-1等不同的标准的动态图像编码方法或装置根据需要而适当切换,来生成影像数据。
这里,在生成分别依据不同的标准的多个影像数据的情况下,在解码时,需要选择对应于各个标准的解码方法。但是,由于不能识别要解码的影像数据依据哪个标准,所以产生不能选择适当的解码方法的问题。
为了解决该问题,在影像数据中复用了声音数据等的复用数据采用包含显示影像数据依据哪个标准的识别信息的结构。以下,说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG-2传输流形式的数字流。
图22是显示复用数据的结构的图。如图22所示,复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得 到。视频流显示电影的主影像及副影像,音频流(IG)显示电影的主声音部分和与该主声音混合的副声音,演示图形流显示电影的字幕。这里,所谓主影像,显示显示在画面上的通常的影像,所谓副影像,是在主影像中用较小的画面显示的影像。此外,交互图形流显示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的动态图像编码方法或装置编码。音频流由杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如,对在电影的影像中使用的视频流分配0x1011,对音频流分配0x1100到0x111F,对演示图形分配0x1200到0x121F,对交互图形流分配0x1400到0x141F,对在电影的副影像中使用的视频流分配0x1B00到0x1B1F,对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图23是示意地显示复用数据怎样被复用的图。首先,将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239,并变换为TS包ex237及ex240。同样,将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245,再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图24更详细地显示在PES包序列中怎样保存视频流。图24的第1段显示视频流的视频帧序列。第2段显示PES包序列。如图24的箭头yy1、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头,在PES头中,保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图25显示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包,上述PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下,对于TS包赋予4字节的TP_Extra_Header,构成192 字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS显示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中,源包如图25下段所示排列,从复用数据的开头起递增的号码被称作SPN(源包号)。
此外,在复用数据所包含的TS包中,除了影像、声音、字幕等的各流以外,还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT显示在复用数据中使用的PMT的PID是什么,PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息,还具有关于复用数据的各种描述符。在描述符中,有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步,拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图26是详细地说明PMT的数据构造的图。在PMT的开头,配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面,配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后,配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下,将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图27所示,是复用数据的管理信息,与复用数据一对一地对应,由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图27所示,由系统速率、再现开始时刻、再现结束时刻构成。系统速率显示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS,再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图28所示,按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图 形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中,使用上述复用数据中的、包含在PMT中的流类型。此外,在记录介质中记录有复用数据的情况下,使用包含在复用数据信息中的视频流属性信息。具体而言,在上述各实施方式示出的动态图像编码方法或装置中,设置如下步骤或单元,该步骤或单元对包含在PMT中的流类型、或视频流属性信息,设定显示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构,能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外,在图29中显示本实施方式的动态图像解码方法的步骤。在步骤exS100中,从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着,在步骤exS101中,判断流类型、或视频流属性信息是否显示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且,在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下,在步骤exS102中,通过在上述各实施方式中示出的动态图像解码方法进行解码。此外,在流类型、或视频流属性信息显示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的复用数据的情况下,在步骤exS103中,通过依据以往的标准的动态图像解码方法进行解码。
这样,通过在流类型、或视频流属性信息中设定新的固有值,在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而,在被输入了依据不同的标准的复用数据的情况下,也能够选择适当的解码方法或装置,所以能够不发生错误地进行解码。此外,将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。
(实施方式7)
在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例,在图30中显示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509,各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力,起动为能够动作的状态。
例如在进行编码处理的情况下,LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制,通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制,将储存的数据根据处理量及处理速度适当地分为多次等,向信号处理部ex507发送,在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里,影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中,还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理,从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外,在复用时,可以暂时将数据储存到缓冲器ex508中以使其同步。
另外,在上述中,设存储器ex511为LSIex500的外部的结构进行了说明,但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个,也可以具备多个缓冲器。此外,LSIex500既可以形成1个芯片,也可以形成多个芯片。
此外,在上述中,假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU,能够进一步提高处理速度。此外,作为其他例,也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下,控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外,这里设为LSI,但根据集成度的差异,也有称作IC、系统LSI、 超级(super)LSI、特级(ultra)LSI的情况。
此外,集成电路化的方法并不限定于LSI,也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而,如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术,则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式8)
在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下,考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况相比处理量会增加。因此,在LSIex500中,需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是,如果将驱动频率设得高,则发生消耗电力变高的问题。
为了解决该问题,电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图31显示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下,将驱动频率设定得高。并且,对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面,在影像数据是依据以往的标准的影像数据的情况下,与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比,将驱动频率设定得低。并且,对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲,驱动频率切换部ex803由图30的CPUex502和驱动频率控制部ex512构成。此外,执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图30的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且,基于来自CPUex502的信号,驱动频率控制部ex512设定驱动频率。此外,基于来自CPUex502的信号,信号处理部ex507进行影像数据的解码。这里, 可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息,并不限定于在实施方式3中记载的信息,只要是能够识别影像数据依据哪个标准的信息就可以。例如,在基于识别影像数据利用于电视机还是利用于盘等的外部信号,来能够识别影像数据依据哪个标准的情况下,也可以基于这样的外部信号进行识别。此外,CPUex502的驱动频率的选择例如可以考虑如图33所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中,CPUex502通过参照该查找表,能够选择驱动频率。
图32显示实施本实施方式的方法的步骤。首先,在步骤exS200中,在信号处理部ex507中,从复用数据中取得识别信息。接着,在步骤exS201中,在CPUex502中,基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下,在步骤exS202中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且,在驱动频率控制部ex512中设定为高的驱动频率。另一方面,在显示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,在步骤exS203中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且,在驱动频率控制部ex512中,设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而,通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压,由此能够进一步提高节电效果。例如,在将驱动频率设定得低的情况下,随之,可以考虑与将驱动频率设定得高的情况相比,将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外,驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以,并不限定于上述的设定方法。例如,可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下,与上述的情况相反地进行驱动频率的设定。
进而,驱动频率的设定方法并不限定于使驱动频率低的结构。例如,也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得高,在显示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外,作为另一例,也可以考虑在识别信息显示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,不使CPUex502的驱动停止,在显示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,由于在处理中有富余,所以使CPUex502的驱动暂停。也可以考虑在识别信息显示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下,可以考虑与显示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比,将停止时间设定得短。
这样,根据影像数据所依据的标准来切换驱动频率,由此能够实现节电化。此外,在使用电池来驱动LSIex500或包括LSIex500的装置的情况下,能够随着节电而延长电池的寿命。
(实施方式9)
在电视机、便携电话等上述的设备、系统中,有时被输入依据不同的标准的多个影像数据。这样,为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码,LSIex500的信号处理部ex507需要对应于多个标准。但是,如果单独使用对应于各个标准的信号处理部ex507,则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题,采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部一部分共用的结构。图34A的ex900显示该结构例。例如,在上述各实施方式中示出的动态图像解码方法和依据MPEG4-AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容,共用对应于MPEG4-AVC标准的解码处理部ex902,关于不对应于MPEG4- AVC标准的本发明的一个方式所特有的其他的处理内容,使用专用的解码处理部ex901。特别是,本发明在帧间预测方面具有特征,可以考虑例如对于帧间预测使用专用的解码处理部ex901,对于除此之外的熵解码、逆量化、运动补偿中的某一个或者全部的处理,共用解码处理部。关于解码处理部的共用,也可以是如下结构:关于共通的处理内容,共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部,关于MPEG4-AVC标准所特有的处理内容,使用专用的解码处理部。
此外,用图34B的ex1000显示将处理一部分共用的另一例。在该例中,采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里,专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的,可以是能够执行其他的通用处理的结构。此外,也能够由LSIex500安装本实施方式的结构。
这样,对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容,共用解码处理部,由此能够减小LSI的电路规模并且降低成本。
工业实用性
本发明例如能够应用于电视接收机、数字视频记录机、车辆导航仪、便携电话、数字摄像机、或数字摄影机等。
符号的说明
500、1200 图像编码装置
501 减法部
502 变换部
503 量化部
504 熵编码部
505、602 逆量化部
506、603 逆变换部
507、604 加法部
508、605 块存储器
509、606 图片存储器
510、607 帧内预测部
511、608 帧间预测部
512、609、1203、1303 选择部
600、1300 图像解码装置
601 熵解码部
1201、1301 导出部
1202、1302 追加部
1204 编码部
1304 解码部

Claims (9)

1.一种图像解码方法,是对多个图片中的多个块中的各个块进行解码的图像解码方法,包括以下步骤:
导出步骤,从相邻块的第1运动矢量导出在解码对象的当前块的运动矢量的解码中使用的预测运动矢量的候选,该相邻块是包含所述当前块的当前图片中包含的块,是与所述当前块相邻的块;
追加步骤,将导出的所述候选追加到候选列表中;
选择步骤,从所述候选列表中选择所述预测运动矢量;以及
解码步骤,使用所选择的所述预测运动矢量对所述当前块的运动矢量进行解码,使用所述当前块的运动矢量及所述当前块的参照图片对所述当前块进行解码;
在所述导出步骤中,
判定所述当前块的参照图片是长期参照图片还是短期参照图片、以及所述相邻块的第1参照图片是长期参照图片还是短期参照图片,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是长期参照图片的情况下,不进行基于时间距离的缩放而从所述第1运动矢量导出所述候选,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是短期参照图片的情况下,进行基于时间距离的缩放而从所述第1运动矢量导出所述候选。
2.如权利要求1所述的图像解码方法,
在所述导出步骤中,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片中的一方是长期参照图片而另一方是短期参照图片的情况下,不从所述相邻块的第1运动矢量导出所述候选,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是长期参照图片的情况下、或者判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是短期参照图片的情况下,从所述相邻块的第1运动矢量导出所述候选。
3.如权利要求1或2所述的图像解码方法,
在所述解码步骤中,进一步对表示所述当前块的参照图片是长期参照图片还是短期参照图片的信息、以及表示所述相邻块的第1参照图片是长期参照图片还是短期参照图片的信息进行解码,
在所述导出步骤中,
使用表示所述当前块的参照图片是长期参照图片还是短期参照图片的信息,判定所述当前块的参照图片是长期参照图片还是短期参照图片,
使用表示所述相邻块的第1参照图片是长期参照图片还是短期参照图片的信息,判定所述相邻块的第1参照图片是长期参照图片还是短期参照图片。
4.如权利要求1或2所述的图像解码方法,
在所述导出步骤中,
使用从所述当前块的参照图片到所述当前图片的时间距离,判定所述当前块的参照图片是长期参照图片还是短期参照图片,
使用从所述相邻块的第1参照图片到所述当前图片的时间距离,判定所述相邻块的第1参照图片是长期参照图片还是短期参照图片。
5.如权利要求1或2所述的图像解码方法,
在所述导出步骤中,在进行所述相邻块的解码的期间,判定所述相邻块的第1参照图片是长期参照图片还是短期参照图片。
6.如权利要求1或2所述的图像解码方法,
在所述导出步骤中,在进行所述当前块的解码的期间,判定所述相邻块的第1参照图片是长期参照图片还是短期参照图片。
7.如权利要求1或2所述的图像解码方法,
在所述导出步骤中,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是长期参照图片的情况下,将所述相邻块的第1运动矢量作为所述候选导出,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是短期参照图片的情况下,使用从所述当前块的参照图片到所述当前图片的时间距离与从所述相邻块的第1参照图片到所述当前图片的时间距离的比率,进行所述相邻块的第1运动矢量的缩放,从而导出所述候选。
8.如权利要求1或2所述的图像解码方法,
在所述导出步骤中,进一步在判定为所述当前块的参照图片是短期参照图片而所述相邻块的第1参照图片是长期参照图片的情况下,不从所述相邻块导出所述候选,而选择参照短期参照图片被解码的其他相邻块,从所述其他相邻块的运动矢量导出所述候选。
9.一种图像解码装置,对多个图片中的多个块中的各个块进行解码,该图像解码装置具备:
导出部,从相邻块的第1运动矢量导出在解码对象的当前块的运动矢量的解码中使用的预测运动矢量的候选,该相邻块是包含所述当前块的当前图片中包含的块,是与所述当前块相邻的块;
追加部,将导出的所述候选追加到候选列表中;
选择部,从所述候选列表选择所述预测运动矢量;以及
解码部,使用所选择的所述预测运动矢量对所述当前块的运动矢量进行解码,使用所述当前块的运动矢量及所述当前块的参照图片对所述当前块进行解码;
所述导出部,
判定所述当前块的参照图片是长期参照图片还是短期参照图片、以及所述相邻块的第1参照图片是长期参照图片还是短期参照图片,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是长期参照图片的情况下,不进行基于时间距离的缩放而从所述第1运动矢量导出所述候选,
在判定为所述当前块的参照图片及所述相邻块的第1参照图片分别是短期参照图片的情况下,进行基于时间距离的缩放而从所述第1运动矢量导出所述候选。
CN201280007701.7A 2011-10-27 2012-10-18 图像解码方法及图像解码装置 Active CN103348679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710406961.6A CN107257481B (zh) 2011-10-27 2012-10-18 编码方法、解码方法、编码装置、解码装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161552147P 2011-10-27 2011-10-27
US61/552,147 2011-10-27
PCT/JP2012/006684 WO2013061551A1 (ja) 2011-10-27 2012-10-18 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710406961.6A Division CN107257481B (zh) 2011-10-27 2012-10-18 编码方法、解码方法、编码装置、解码装置

Publications (2)

Publication Number Publication Date
CN103348679A CN103348679A (zh) 2013-10-09
CN103348679B true CN103348679B (zh) 2017-05-24

Family

ID=48167407

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280007701.7A Active CN103348679B (zh) 2011-10-27 2012-10-18 图像解码方法及图像解码装置
CN201710406961.6A Active CN107257481B (zh) 2011-10-27 2012-10-18 编码方法、解码方法、编码装置、解码装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710406961.6A Active CN107257481B (zh) 2011-10-27 2012-10-18 编码方法、解码方法、编码装置、解码装置

Country Status (14)

Country Link
US (6) US8897366B2 (zh)
EP (1) EP2773112B1 (zh)
JP (4) JP5320525B1 (zh)
KR (1) KR101941304B1 (zh)
CN (2) CN103348679B (zh)
AR (1) AR088539A1 (zh)
AU (1) AU2012329550B2 (zh)
CA (1) CA2826787C (zh)
ES (1) ES2693676T3 (zh)
MX (1) MX2013008894A (zh)
PL (1) PL2773112T3 (zh)
RU (1) RU2604679C2 (zh)
TW (1) TWI556631B (zh)
WO (1) WO2013061551A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
ES2800049T3 (es) 2011-08-25 2020-12-23 Sun Patent Trust Procedimientos y aparatos para codificar y decodificar vídeo utilizando una descripción actualizada de memoria intermedia
ES2625097T3 (es) 2011-09-07 2017-07-18 Sun Patent Trust Método de codificación de imágenes y aparato de codificación de imágenes
JP5932811B2 (ja) 2011-09-19 2016-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像復号方法、及び画像復号装置
ES2924280T3 (es) 2011-10-19 2022-10-05 Sun Patent Trust Procedimiento de descodificación de imágenes y aparato de descodificación de imágenes
MX2013012223A (es) 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.
EP2782341B1 (en) 2011-10-28 2020-01-01 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
AU2015201551B2 (en) * 2011-11-08 2015-06-18 Samsung Electronics Co., Ltd. Method and device for determining motion vector for video coding or video decoding
AU2012336572B2 (en) * 2011-11-08 2015-09-17 Samsung Electronics Co., Ltd. Method and device for determining motion vector for video coding or video decoding
KR101595419B1 (ko) * 2012-01-19 2016-02-18 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
JP5613846B2 (ja) 2012-05-09 2014-10-29 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 動きベクトル予測方法及び動きベクトル予測装置
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
EP2863631A4 (en) * 2012-07-02 2016-03-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR PREDICTING MOTION VECTORS FOR CODING OR DECODING VIDEO CONTENT
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
WO2015093449A1 (ja) * 2013-12-19 2015-06-25 シャープ株式会社 マージ候補導出装置、画像復号装置及び画像符号化装置
US9854237B2 (en) * 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
EP4020991A1 (en) * 2014-12-26 2022-06-29 Sony Group Corporation Image processing apparatus and image processing method
CN106878750B (zh) * 2017-03-17 2020-05-19 珠海全志科技股份有限公司 一种基于长期参考帧的视频编码方法及装置
EP3399754A1 (en) * 2017-05-04 2018-11-07 Thomson Licensing Method and apparatus for most probable mode (mpm) reordering for intra prediction
CN109089119B (zh) * 2017-06-13 2021-08-13 浙江大学 一种运动矢量预测的方法及设备
CN107295348A (zh) * 2017-07-31 2017-10-24 南通海鑫信息科技有限公司 一种图像编码方法
CN110419217B (zh) 2018-04-02 2023-09-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2020032531A1 (ko) * 2018-08-06 2020-02-13 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020086448A1 (en) * 2018-10-26 2020-04-30 Interdigital Vc Holdings, Inc. Quantization parameter prediction in video encoding and decoding
MX2021003506A (es) * 2018-12-13 2021-05-27 Jvckenwood Corp Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y programa de decodificacion de imagenes.
JP7342153B2 (ja) 2019-06-24 2023-09-11 エルジー エレクトロニクス インコーポレイティド 動きベクトルを用いた画像コーディング方法および装置
JP7335365B2 (ja) 2019-06-24 2023-08-29 エルジー エレクトロニクス インコーポレイティド 動きベクトル差分を利用した映像コーディング方法及び装置
KR20210158399A (ko) 2019-06-24 2021-12-30 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030088543A (ko) * 2002-05-11 2003-11-20 엘지전자 주식회사 동영상 코딩방법
CN100481948C (zh) * 2002-05-03 2009-04-22 Lg电子株式会社 运动图像编码方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160920A (en) 1998-09-15 2000-12-12 Winbond Electronics Corp. Cosine transforming and quantizing device, method of reducing multiplication operations in a video compressing apparatus
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
JP2004215215A (ja) * 2002-03-14 2004-07-29 Matsushita Electric Ind Co Ltd 動きベクトル検出方法
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
CN101304536B (zh) * 2002-11-20 2011-11-02 松下电器产业株式会社 动态图像编码方法及动态图像编码装置
KR100579493B1 (ko) 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
CN100385957C (zh) * 2004-05-21 2008-04-30 中国科学院计算技术研究所 一种运动矢量预测的方法
KR100714696B1 (ko) * 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100727989B1 (ko) * 2005-10-01 2007-06-14 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
CN101005614A (zh) * 2006-01-17 2007-07-25 鲁海宁 动态图像编解码方法、装置和计算机可读记录介质
JP2008193503A (ja) * 2007-02-06 2008-08-21 Oki Electric Ind Co Ltd 動画像符号化装置および動画像符号化方法
US7761685B2 (en) 2007-11-20 2010-07-20 Seiko Epson Corporation Compressing and decompressing image data without introducing artifacts
JP4978575B2 (ja) * 2008-06-25 2012-07-18 富士通株式会社 シンクライアントシステムにおける画像符号化方法及び画像符号化プログラム
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
MX2013012223A (es) 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100481948C (zh) * 2002-05-03 2009-04-22 Lg电子株式会社 运动图像编码方法
KR20030088543A (ko) * 2002-05-11 2003-11-20 엘지전자 주식회사 동영상 코딩방법

Also Published As

Publication number Publication date
KR101941304B1 (ko) 2019-01-22
US20140341298A1 (en) 2014-11-20
AU2012329550A1 (en) 2013-08-29
US8855208B2 (en) 2014-10-07
EP2773112A1 (en) 2014-09-03
TWI556631B (zh) 2016-11-01
AU2012329550B2 (en) 2016-09-08
EP2773112B1 (en) 2018-08-08
AU2012329550A2 (en) 2013-09-12
JPWO2013061551A1 (ja) 2015-04-02
CA2826787A1 (en) 2013-05-02
JP2013232973A (ja) 2013-11-14
US20130107963A1 (en) 2013-05-02
CA2826787C (en) 2019-09-17
PL2773112T3 (pl) 2019-01-31
US20140010287A1 (en) 2014-01-09
US9172971B2 (en) 2015-10-27
TW201325252A (zh) 2013-06-16
CN107257481A (zh) 2017-10-17
US8923404B2 (en) 2014-12-30
US8873635B2 (en) 2014-10-28
US20150085936A1 (en) 2015-03-26
JP5347081B1 (ja) 2013-11-20
JP2013243736A (ja) 2013-12-05
JP5320525B1 (ja) 2013-10-23
RU2013137413A (ru) 2015-12-10
US20130301728A1 (en) 2013-11-14
CN103348679A (zh) 2013-10-09
US20140348244A1 (en) 2014-11-27
AR088539A1 (es) 2014-06-18
RU2604679C2 (ru) 2016-12-10
ES2693676T3 (es) 2018-12-13
KR20140092757A (ko) 2014-07-24
MX2013008894A (es) 2013-08-21
US8897366B2 (en) 2014-11-25
JP2013243735A (ja) 2013-12-05
WO2013061551A1 (ja) 2013-05-02
JP5347082B1 (ja) 2013-11-20
CN107257481B (zh) 2019-12-10
US8929454B2 (en) 2015-01-06
EP2773112A4 (en) 2015-04-15
JP6090670B2 (ja) 2017-03-08

Similar Documents

Publication Publication Date Title
CN103348679B (zh) 图像解码方法及图像解码装置
CN104041042B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103688545B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103444181B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103650507B (zh) 运动图像编码方法及装置、运动图像解码方法及装置
CN104272743B (zh) 执行运动矢量预测的方法、编码和解码方法及其装置
CN103718558B (zh) 运动图像编码方法及装置、解码方法及装置和编解码装置
CN106878749B (zh) 图像解码方法、图像解码装置
CN103503450B (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN103477637B (zh) 动态图像编码方法、动态图像编码装置
CN103339941B (zh) 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置和动态图像编码解码装置
CN103597830B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN103650498B (zh) 运动图像解码方法及运动图像解码装置
CN106454363B (zh) 图像解码方法和图像解码装置
CN103202020B (zh) 动态图像解码方法以及动态图像解码装置
CN106105196A (zh) 编码方法、解码方法、编码装置以及解码装置
CN106878742A (zh) 动态图像编解码装置
CN106851269A (zh) 图像解码方法及装置、图像编码方法及装置、编解码装置
CN103650497B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN108881903A (zh) 图像编码方法及装置、图像解码方法及装置、编解码装置
CN107105300A (zh) 图像解码方法及图像解码装置
CN103828371B (zh) 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置
CN107483959A (zh) 图像解码方法及图像解码装置
CN105592317B (zh) 图像解码方法及图像解码装置
CN103069804B (zh) 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161008

Address after: American New York

Applicant after: Sun patent hosting Co.

Address before: Seaman Avenue Torrance the American city of California, No. 20000, room 200, 90503

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

GR01 Patent grant
GR01 Patent grant