CN103004204A - 图像编码方法及图像解码方法 - Google Patents

图像编码方法及图像解码方法 Download PDF

Info

Publication number
CN103004204A
CN103004204A CN2011800350762A CN201180035076A CN103004204A CN 103004204 A CN103004204 A CN 103004204A CN 2011800350762 A CN2011800350762 A CN 2011800350762A CN 201180035076 A CN201180035076 A CN 201180035076A CN 103004204 A CN103004204 A CN 103004204A
Authority
CN
China
Prior art keywords
mentioned
motion vector
picture
append
motion vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800350762A
Other languages
English (en)
Other versions
CN103004204B (zh
Inventor
杉尾敏康
西孝启
柴原阳司
笹井寿郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103004204A publication Critical patent/CN103004204A/zh
Application granted granted Critical
Publication of CN103004204B publication Critical patent/CN103004204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种导出适合于运动矢量的编码效率的提高的预测运动矢量的图像编码方法。图像编码方法使用第1运动矢量和第2运动矢量执行预测,并将编码对象块编码,该第1运动矢量指示第1参照图片列表所包含的第1参照图片内的位置,该第2运动矢量指示第2参照图片列表所包含的第2参照图片内的位置,该图像编码方法包括:追加步骤,对在第2运动矢量的编码中使用的预测运动矢量的候选列表追加第1运动矢量作为预测运动矢量的候选;选择步骤,从包含第1运动矢量的候选列表中,选择在第2运动矢量的编码中使用的预测运动矢量;以及编码步骤,使用所选择的预测运动矢量将第2运动矢量编码。

Description

图像编码方法及图像解码方法
技术领域
本发明涉及执行预测而将图像编码的图像编码方法、以及执行预测而进行图像解码的图像解码方法。
背景技术
图像编码装置一般利用图像(包括静止图像及动态图像)所具有的空间方向及时间方向的冗余性将信息量压缩。作为利用空间方向的冗余性的方法,使用向频率域的变换。作为使用时间方向的冗余性的方法,使用帧间预测。帧间预测也称作图片间预测。
使用帧间预测的图像编码装置在将某个图片编码时,使用在显示顺序上相对于编码对象图片为前方或后方的已编码的图片作为参照图片。并且,图像编码装置检测编码对象图片相对于该参照图片的运动矢量。
接着,图像编码装置基于运动矢量进行运动补偿,取得预测图像数据。接着,图像编码装置取得预测图像数据与编码对象图片的图像数据的差分。接着,图像编码装置将所取得的差分进行编码。由此,图像编码装置将时间方向的冗余性去除。
有关称作H.264的标准化的图像编码方式(参照非专利文献1)的图像编码装置为了信息量的压缩而使用I图片、P图片及B图片这3种图片类型。该图像编码装置针对I图片不进行帧间预测。即,图像编码装置对I图片进行帧内预测。帧内预测也称作图片内预测。
此外,图像编码装置针对P图片,参照显示顺序为编码对象图片的前方或后方的已编码的1个图片,进行帧间预测。此外,图像编码装置针对B图片,参照显示顺序为编码对象图片的前方或后方的已编码的两个图片进行帧间预测。
在称作H.264的图像编码方式中,作为B图片内的编码对象块的编码模式,有运动矢量检测模式。在运动矢量检测模式中,图像编码装置使用参照图片检测编码对象块的运动矢量。并且,图像编码装置使用参照图片及运动矢量生成预测图像数据。并且,图像编码装置将预测图像数据与编码对象块的图像数据的差分值、以及在预测图像数据的生成中使用的运动矢量编码。
在运动矢量检测模式中,如上述那样,有参照编码对象图片的前方或后方的已编码的两个图片来生成预测图像的双向预测。此外,在运动矢量检测模式中,有参照编码对象图片的前方或后方的已编码的1个图片来生成预测图像的单向预测。并且,对于编码对象块,选择双向预测及单向预测中的某一种。
在运动矢量检测模式中,在将运动矢量编码时,图像编码装置根据已编码的相邻块等的运动矢量生成预测运动矢量。并且,图像编码装置将运动矢量与预测运动矢量的差分进行编码。由此,图像编码装置削减信息量。作为具体的例子,参照图32进行说明。
在图32中,表示了编码对象块、相邻块A、相邻块B及相邻块C。相邻块A是相对于编码对象块在左方相邻的已编码块。相邻块B是相对于编码对象块在上方相邻的已编码块。相邻块C是相对于编码对象块在右上方相邻的已编码块。
此外,在图32中,相邻块A以双向预测被编码,具有第1预测方向的运动矢量MvL0_A和第2预测方向的运动矢量MvL1_A。
此外,相邻块B以单向预测被编码,具有第1预测方向的运动矢量MvL0_B。此外,相邻块C以双向预测被编码,具有第1预测方向的运动矢量MvL0_C和第2预测方向的运动矢量MvL1_C。此外,编码对象块是要以双向预测编码的块,具有第1预测方向的运动矢量MvL0和第2预测方向的运动矢量MvL1。
图像编码装置在将编码对象块的第1预测方向的运动矢量MvL0编码时,根据具有第1预测方向的运动矢量的相邻块生成与第1预测方向对应的预测运动矢量PMvL0。更具体地讲,图像编码装置使用相邻块A的运动矢量MvL0_A、相邻块B的运动矢量MvL0_B、以及相邻块C的运动矢量MvL0_C生成预测运动矢量PMvL0。
即,图像编码装置在将编码对象块的第1预测方向的运动矢量MvL0编码时,使用相邻块的第1预测方向的运动矢量。并且,图像编码装置将作为运动矢量MvL0与预测运动矢量PMvL0的差分的差分运动矢量编码。
预测运动矢量PMvL0使用作为用来计算运动矢量MvL0_A、MvL0_B、MvL0_C的中间值(中央值)的式子的Median(MvL0_A,MvL0_B,MvL0_C)等计算。这里,Median用以下的式1~式3表现。
[数式1]
Median(x,y,z)=x+y+z-Min(x,Min(y,z))-Max(x,Max(y,z))···(式1)
[数式2]
Min ( x , y ) = x ( x ≤ y ) y ( x > y ) ···(式2)
[数式3]
Max ( x , y ) = x ( x &GreaterEqual; y ) y ( x < y ) ···(式3)
图像编码装置在将编码对象块的第2预测方向的运动矢量MvL1编码时,根据具有第2预测方向的运动矢量的相邻块,生成与第2预测方向对应的预测运动矢量PMvL1。更具体地讲,图像编码装置使用相邻块A的运动矢量MvL1_A及相邻块C的运动矢量MvL1_C生成预测运动矢量PMvL1。
即,图像编码装置在将编码对象块的第2预测方向的运动矢量MvL1编码时,使用相邻块的第2预测方向的运动矢量。并且,图像编码装置将作为运动矢量MvL1与预测运动矢量PMvL1的差分的差分运动矢量进行编码。预测运动矢量PMvL1使用Median(MvL1_A,0,MvL0_C)等计算。
现有技术文献
非专利文献
非专利文献1:ITU-T H.26403/2010
发明概要
发明要解决的问题
但是,在相同的预测方向的运动矢量较少的情况下,在预测运动矢量的计算中使用的运动矢量的数量也变少。在这样的情况下,妨碍了运动矢量的编码效率的提高。
如上述那样,在以往的预测运动矢量的计算方法中,图像编码装置在双向预测的情况下,独立地计算第1预测方向和第2预测方向的预测运动矢量。因此,在预测运动矢量的计算中使用的运动矢量受到限制。因而,不能导出最优的运动矢量,阻碍了编码效率的提高。
发明内容
所以,本发明的目的是提供一种导出适合于运动矢量的编码效率的提高的预测运动矢量的图像编码方法及图像解码方法。
用于解决问题的手段
为了解决上述问题,有关本发明的图像编码方法,使用第1运动矢量和第2运动矢量执行预测,并将编码对象块编码,该第1运动矢量指示第1参照图片列表所包含的第1参照图片内的位置,该第2运动矢量指示第2参照图片列表所包含的第2参照图片内的位置,上述图像编码方法包括:追加步骤,向用于上述第2运动矢量的编码的预测运动矢量的候选列表追加上述第1运动矢量,作为上述预测运动矢量的候选;选择步骤,从包含上述第1运动矢量的上述候选列表中,选择用于上述第2运动矢量的编码的上述预测运动矢量;以及编码步骤,使用所选择的上述预测运动矢量将上述第2运动矢量编码。
此外,也可以是,在上述追加步骤中,在上述第1参照图片和上述第2参照图片相同的情况下,向上述候选列表追加上述第1运动矢量。
此外,也可以是,在上述选择步骤中,选择包含在上述候选列表中的多个候选中的、相对于上述第2运动矢量的误差最小的候选作为上述预测运动矢量。
此外,也可以是,在上述追加步骤中,向上述候选列表追加通过运动检测而检测出的上述第1运动矢量。
此外,也可以是,在上述追加步骤中,以多个索引值与上述预测运动矢量的多个候选一对一地对应的方式向上述候选列表追加索引值和上述预测运动矢量的候选;在上述选择步骤中,从上述候选列表选择索引值作为上述预测运动矢量;在上述编码步骤中,还以索引值越大则码长越长的方式将所选择的上述索引值编码。
此外,也可以是,在上述追加步骤中,向上述候选列表追加上述编码对象块的左邻的块的运动矢量、上述编码对象块的上邻的块的运动矢量、以及上述编码对象块的右上邻的块的运动矢量作为上述预测运动矢量的候选。
有关本发明的图像解码方法,使用第1运动矢量和第2运动矢量执行预测,将解码对象块解码,该第1运动矢量指示第1参照图片列表所包含的第1参照图片内的位置,该第2运动矢量指示第2参照图片列表所包含的第2参照图片内的位置,上述图像解码方法包括:追加步骤,向用于上述第2运动矢量的解码的预测运动矢量的候选列表追加上述第1运动矢量作为上述预测运动矢量的候选;选择步骤,从包含上述第1运动矢量的上述候选列表中选择用于上述第2运动矢量的解码的上述预测运动矢量;以及解码步骤,使用所选择的上述预测运动矢量将上述第2运动矢量解码。
此外,也可以是,在上述追加步骤中,在上述第1参照图片与上述第2参照图片相同的情况下,对上述候选列表追加上述第1运动矢量。
此外,也可以是,在上述追加步骤中,向上述候选列表追加通过运动检测而检测出的上述第1运动矢量。
此外,也可以是,在上述追加步骤中,以多个索引值与上述预测运动矢量的多个候选一对一地对应的方式向上述候选列表追加索引值和上述预测运动矢量的候选;在上述解码步骤中,还将以索引值越大则码长越长的方式编码的索引值解码;上述选择步骤从上述候选列表中选择与解码后的上述索引值对应的上述预测运动矢量。
此外,也可以是,在上述追加步骤中,向上述候选列表追加上述解码对象块的左邻的块的运动矢量、上述解码对象块的上邻的块的运动矢量、以及上述解码对象块的右上邻的块的运动矢量作为上述预测运动矢量的候选。
发明效果
通过本发明,导出适合于运动矢量的编码效率提高的预测运动矢量。因而,运动矢量的编码效率提高。
附图说明
图1是有关实施方式1的图像编码装置的结构图。
图2是表示有关实施方式1的两个参照图片列表的例子的图。
图3是表示有关实施方式1的图像编码装置的动作的流程图。
图4是表示有关实施方式1的预测方向的决定处理的流程图。
图5是表示有关实施方式1的候选列表的计算处理的流程图。
图6是表示有关实施方式1的追加标志的判断处理的流程图。
图7A是表示有关实施方式1的第1预测方向的候选列表的例子的图。
图7B是表示有关实施方式1的第2预测方向的候选列表的例子的图。
图8是表示有关实施方式1的预测运动矢量索引的符号的例子的图。
图9是表示有关实施方式1的预测运动矢量的选择处理的图。
图10A是表示有关实施方式1的两个参照图片相同的情况下的例子的图。
图10B是表示有关实施方式1的两个参照图片不同的情况下的例子的图。
图11是有关实施方式2的图像解码装置的结构图。
图12是表示有关实施方式2的图像解码装置的动作的流程图。
图13是实现内容分发服务的内容供给系统的整体结构图。
图14是数字广播用系统的整体结构图。
图15是表示电视机的结构例的模块图。
图16是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
图17是表示作为光盘的记录介质的构造例的图。
图18A是表示便携电话的一例的图。
图18B是表示便携电话的结构例的模块图。
图19是表示复用数据的结构的图。
图20是示意地表示各流在复用数据中怎样被复用的图。
图21是更详细地表示在PES包序列中视频流怎样被保存的图。
图22是表示复用数据的TS包和源包的构造的图。
图23是表示PMT的数据结构的图。
图24是表示复用数据信息的内部结构的图。
图25是表示流属性信息的内部结构的图。
图26是表示识别影像数据的步骤的图。
图27是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。
图28是表示切换驱动频率的结构的图。
图29是表示识别影像数据、切换驱动频率的步骤的图。
图30是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图31A是表示将信号处理部的模块共用的结构的一例的图。
图31B是表示将信号处理部的模块共用的结构的另一例的图。
图32是表示编码对象块及3个相邻块的例子的图。
具体实施方式
以下,参照附图对有关本发明的实施方式进行说明。另外,以下说明的实施方式都表示本发明的优选的一具体例。即,在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例,并不是限定本发明的意思。本发明仅由权利要求书限定。由此,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,并不是为了达到本发明的目的而一定需要的,作为构成更优选的形态进行说明。
(实施方式1)
图1是表示有关本实施方式的图像编码装置的结构的模块图。
图1所示的图像编码装置100具备正交变换部102、量化部103、逆量化部105、逆正交变换部106、块存储器108、帧存储器109、帧内预测部110、帧间预测部111、帧间预测控制部114、图片类型决定部113、参照图片列表管理部115、追加判断部116、可变长度编码部104、减法部101、加法部107及开关部112。
正交变换部102对由后述的单元生成的预测图像数据与输入图像序列的预测误差数据,进行从图像域向频率域的变换。量化部103对变换到频率域中的预测误差数据进行量化处理。逆量化部105对由量化部103量化处理后的预测误差数据进行逆量化处理。逆正交变换部106对逆量化处理后的预测误差数据进行从频率域向图像域的变换。
块存储器108是用来将根据预测图像数据和逆量化处理后的预测误差数据求出的解码图像以块单位保存的存储器。帧存储器109是用来将解码图像以帧单位保存的存储器。
图片类型决定部113决定以I图片、B图片、P图片中的哪种图片类型将输入图像序列编码,生成图片类型信息。帧内预测部110使用保存在块存储器108中的块单位的解码图像,生成基于编码对象块的帧内预测的预测图像数据。帧间预测部111使用保存在帧存储器109中的帧单位的解码图像,生成基于编码对象块的帧间预测的预测图像数据。
参照图片列表管理部115对在帧间预测中参照的已编码的参照图片分配参照图片索引,与显示顺序等一起制作参照列表(参照图片列表)。图像编码装置100为了针对B图片参照两个图片而保持两个参照列表(L0,L1)。
在图2中表示参照列表的例子。图2的第1参照图片列表(L0)是与双向预测的第1预测方向对应的参照图片列表的例子。在图2的第1参照图片列表中,对显示顺序是2的参照图片R1分配了值是0的参照图片索引。此外,对显示顺序是1的参照图片R2分配了值是1的参照图片索引。并且,对显示顺序是0的参照图片R3分配了值是2的参照图片索引。
即,在图2的第1参照图片列表中,参照图片在显示顺序上与编码对象图片越近,则对该参照图片分配了越小的参照图片索引。
另一方面,图2的第2参照图片列表(L1)是与双向预测的第2预测方向对应的参照图片列表的例子。在图2的第2参照图片列表中,对显示顺序是1的参照图片R2分配了值是0的参照图片索引。此外,对显示顺序是2的参照图片R1分配了值是1的参照图片索引。此外,对显示顺序是0的参照图片R3分配了值是2的参照图片索引。
像这样,有时对包含在两个参照图片列表中的特定的参照图片分配不同的两个参照图片索引(图2的参照图片R1、R2)。此外,也有时对包含在两个参照图片列表中的特定的参照图片分配相同的参照图片索引(图2的参照图片R3)。
仅使用第1参照图片列表(L0)的预测称为L0预测。仅使用第2参照图片列表(L1)的预测称为L1预测。使用第1参照图片列表及第2参照图片列表双方的预测称为双向预测或双预测。
在L0预测中,作为预测方向而使用前方的情况较多。在L1预测中,作为预测方向而使用后方的情况较多。即,第1参照图片列表构成为对应于第1预测方向,第2参照图片列表构成为对应于第2预测方向。
基于这些关系,预测方向被分类为第1预测方向、第2预测方向及双向中的某一种。此外,在预测方向是双向的情况下,将预测方向还表现为双向预测或双预测。
另外,在本实施方式中,参照图片列表管理部115利用参照图片索引和显示顺序管理参照图片,但也可以利用参照图片索引和编码顺序等管理参照图片。
此外,在以下的记载中,第1参照图片列表对应于L0预测,第2参照图片列表对应于L1预测。并且,第1参照图片列表对应于第1预测方向,第2参照图片列表对应于第2预测方向。但是,也可以是第1参照图片列表对应于L1预测,第2参照图片列表对应于L0预测。同样,也可以是第1参照图片列表对应于第2预测方向,第2参照图片列表对应于第1预测方向。
追加判断部116使用由参照图片列表管理部115制作的第1参照图片列表及第2参照图片列表,判断是否追加预测运动矢量的候选(预测运动矢量候选)。具体而言,在后述的方法中,追加判断部116判断是否向编码对象块的第2预测方向的候选列表(预测运动矢量候选列表)追加第1预测方向的运动矢量作为预测运动矢量的候选。并且,追加判断部116设定追加标志。
帧间预测控制部114决定用于编码的预测运动矢量,以使用多个预测运动矢量候选中的、与通过运动检测导出的运动矢量的误差最小的预测运动矢量候选进行运动矢量的编码。这里,误差表示预测运动矢量候选与通过运动检测导出的运动矢量的差分值。
此外,帧间预测控制部114按每个块生成与所决定的预测运动矢量对应的预测运动矢量索引。并且,预测运动矢量索引、预测运动矢量候选的误差信息、及参照图片索引发送至可变长度编码部104。
可变长度编码部104对量化处理后的预测误差数据、帧间预测方向标志、参照图片索引及图片类型信息进行可变长度编码处理,由此生成比特流。
图3表示有关本实施方式的图像编码方法的处理流程的概要。帧间预测控制部114决定将编码对象块以运动矢量检测模式编码的情况下的预测方向(S101)。接着,帧间预测控制部114判断运动矢量检测模式的预测方向是否是双向预测(S102)。
在预测方向是双向预测的情况下(S102中是),帧间预测控制部114用后述的方法分别计算第1预测方向的预测运动矢量候选列表、及第2预测方向的预测运动矢量候选列表(S103、S104)。
接着,追加判断部116判断是否将第1预测方向的运动矢量追加到第2预测方向的预测运动矢量候选列表(S105)。在判断为追加运动矢量的情况下(S105中是),帧间预测控制部114将第1预测方向的运动矢量追加到第2预测方向的预测运动矢量候选列表(S106)。
接着,帧间预测控制部114从第1预测方向的预测运动矢量候选列表及第2预测方向的预测运动矢量候选列表中分别选择第1预测方向的预测运动矢量和第2预测方向的预测运动矢量。并且,可变长度编码部104将与所选择的各预测运动矢量对应的预测运动矢量索引编码,附加到比特流中(S107)。
在运动矢量检测模式的预测方向是单向预测的情况下(S102中否),帧间预测控制部114计算与单向预测对应的预测方向的预测运动矢量候选列表(S109)。帧间预测控制部114从与单向预测对应的预测方向的预测运动矢量候选列表中选择预测运动矢量。并且,可变长度编码部104将与所选择的预测运动矢量对应的预测运动矢量索引编码,附加到比特流中(S110)。
最后,可变长度编码部104将表示运动矢量检测模式的预测方向的帧间预测方向标志及参照图片索引编码,附加到比特流中(S108)。
接着,使用图4的处理流程详细地说明图3的运动矢量检测模式的预测方向的决定方法(S101)。帧间预测控制部114对由第1预测方向的参照图片索引确定的参照图片、以及由第2预测方向的参照图片索引确定的参照图片进行运动检测。并且,帧间预测控制部114生成相对于两个参照图片的第1运动矢量1及第2运动矢量(S201)。
这里,帧间预测控制部114在运动检测中计算编码图片内的编码对象块与参照图片内的块的差分值。并且,帧间预测控制部114将参照图片内的多个块中的、差分值最小的块决定为参照块。并且,帧间预测控制部114根据编码对象块的位置和参照块的位置求出运动矢量。
接着,帧间预测部111使用求出的第1运动矢量生成第1预测方向的预测图像。帧间预测控制部114例如通过用以下的式4表现的R-D最优化模型计算通过该预测图像将编码对象块编码的情况下的成本Cost1(S202)。
Cost=D+λ×R   …(式4)
在式4中,D表示编码畸变。具体而言,将利用由某个运动矢量生成的预测图像将编码对象块编码及解码而得到的像素值与编码对象块的原来的像素值之间的差分绝对值和等用作D。此外,R表示发生码量。具体而言,将为了对用于生成预测图像的运动矢量进行编码而需要的码量等用作R。此外,λ是拉格朗日未确定乘数。
接着,帧间预测部111使用求出的第2运动矢量生成第2预测方向的预测图像。并且,帧间预测控制部114根据式4计算Cost2(S203)。
接着,帧间预测部111使用求出的第1运动矢量和第2运动矢量生成双向的预测图像。这里,帧间预测部111例如对根据第1运动矢量求出的预测图像和根据第2运动矢量求出的预测图像按每个像素进行相加平均,从而生成双向预测图像。并且,帧间预测控制部114根据式4计算CostBi(S204)。
接着,帧间预测控制部114将Cost1、Cost2及CostBi比较(S205)。在CostBi最小的情况下(S205中是),帧间预测控制部114将运动矢量检测模式的预测方向决定为双向预测(S206)。在CostBi不是最小的情况下(S205中否),帧间预测控制部114将Cost1与Cost2比较(S207)。
在Cost1较小的情况下(S207中是),帧间预测控制部114将运动矢量检测模式决定为第1预测方向的单向预测(S208)。在Cost1不小的情况下(S207中否),帧间预测控制部114将运动矢量检测模式决定为第2预测方向的单向预测(S209)。
另外,在本实施方式中,帧间预测部111在双向的预测图像生成时进行了每个像素的相加平均,但也可以进行加权相加平均等。
接着,使用图5的处理流程详细地说明图3的预测运动矢量候选列表的计算方法(S103、S104、S109)。帧间预测控制部114决定编码对象块的左方相邻的相邻块A、上方相邻的相邻块B、右上方相邻的相邻块C(S301)。
例如,帧间预测控制部114将位于编码对象块的最左上位置的像素的左邻的像素所属的块决定为相邻块A。并且,帧间预测控制部114将位于编码对象块的最左上位置的像素的上邻的像素所属的块决定为相邻块B。并且,帧间预测控制部114将位于编码对象块的最右上位置的像素的右上邻的像素所属的块决定为相邻块C。
接着,帧间预测控制部114对相邻块A、B、C分别判断是否满足两个条件双方(S302)。该两个条件中的一个是,相邻块N(N是A、B、C的某一个)具有与对应于编码对象块的运动矢量的预测方向相同的预测方向的运动矢量。另一个是,相邻块N的参照图片与编码对象块的参照图片相同。
在对于相邻块N而言满足两个条件的情况下(S302中是),帧间预测控制部114将相邻块N的相邻运动矢量追加到预测运动矢量候选列表中(S303)。此外,帧间预测控制部114计算多个相邻块的多个运动矢量的中间值(中央值),追加到预测运动矢量候选列表中(S304)。
另外,在上述处理中,帧间预测控制部114将具有与对应于编码对象块的运动矢量的预测方向相同的预测方向的相邻块的运动矢量追加到预测运动矢量候选列表中。并且,帧间预测控制部114不追加具有不同的预测方向的相邻块的运动矢量。但是,帧间预测控制部114也可以将具有不同的预测方向的相邻块的运动矢量作为0而追加到预测运动矢量候选列表。
接着,使用图6的处理流程详细地说明图3的追加标志的决定方法(S105)。
有时第1预测方向的参照图片索引所表示的参照图片与第2预测方向的参照图片索引所表示的参照图片相同。在此情况下,第1预测方向的运动矢量和第2预测方向的运动矢量有比较接近的倾向。
因而,在此情况下,帧间预测控制部114在双向预测中,作为某一个预测方向的运动矢量的预测运动矢量候选而追加另一个预测方向的运动矢量。由此,图像编码装置100能够将某一个预测方向的运动矢量高效率地编码。
在本实施方式中,使用将第1预测方向的运动矢量向第2预测方向的预测运动矢量候选追加的例子。另外,也可以将第2预测方向的运动矢量追加到第1预测方向的预测运动矢量候选中。
首先,追加判断部116取得有关图4的运动检测(S201)的第1预测方向的参照图片索引及第2预测方向的参照图片索引(S401、S402)。接着,追加判断部116使用第1参照图片列表及第2参照图片列表判断第1预测方向的参照图片索引所表示的参照图片与第2预测方向的参照图片索引所表示的参照图片是否相同(S403)。
例如,追加判断部116根据第1参照图片列表求出第1预测方向的参照图片索引所表示的参照图片的显示顺序。此外,追加判断部116根据第2参照图片列表取得第2预测方向的参照图片索引所表示的参照图片的显示顺序。并且,追加判断部116将这两个显示顺序比较,如果它们相同,则判断为两个参照图片相同。
在第1预测方向的参照图片与第2预测方向的参照图片相同的情况下(S403中是),追加判断部116将追加标志设定为开启(ON)(S404)。在第1预测方向的参照图片与第2预测方向的参照图片不相同的情况下(S403中否),追加判断部116将追加标志设定为关闭(OFF)(S405)。
另外,在本实施方式中,追加判断部116使用显示顺序判断两个参照图片是否相同。但是,追加判断部116也可以使用编码顺序等判断两个参照图片是否相同。
接着,将在图32的例子中生成的候选列表的例子表示在图7A、图7B中。这里,假定以下的关系。即,编码对象块具有第1预测方向的运动矢量MvL0及第2预测方向的运动矢量MvL1。此外,相邻块具有如图32所示的运动矢量。此外,在各相邻块中,第1预测方向的参照图片与第2预测方向的参照图片相同。图7A及图7B表示在该关系中通过图3的预测运动矢量候选列表的生成处理(S103~S106)生成的预测运动矢量候选列表的例子。
在图7A的第1预测方向的预测运动矢量候选列表中,与Median(MvL0_A,MvL0_B,MvL0_C)对应的预测运动矢量索引是0。与运动矢量MvL0_A对应的预测运动矢量索引是1。与运动矢量MvL0_B对应的预测运动矢量索引是2。与运动矢量MvL0_C对应的预测运动矢量索引是3。
此外,在图7B的第2预测方向的预测运动矢量候选列表中,与Median(MvL1_A,0,MvL0_C)对应的预测运动矢量索引是0。与运动矢量MvL0_A对应的预测运动矢量索引是1。与运动矢量MvL0_C对应的预测运动矢量索引是2。与第1预测方向的运动矢量MvL0对应的预测运动矢量索引是3。另外,预测运动矢量索引的分配方式并不限定于该例。
图8表示在将预测运动矢量索引进行可变长度编码时使用的码表的例子。预测运动矢量索引越小则码长越短。帧间预测控制部114对推测预测精度较高的候选分配较小的预测运动矢量索引。由此,能够使编码效率提高。
接着,使用图9的处理流程详细地说明图3的预测运动矢量选择方法(S107、S110)。帧间预测控制部114作为初始化而在计数值中设定0,在最小差分运动矢量中设定值的最大值等(S501)。
接着,帧间预测控制部114判断是否计算了全部的预测运动矢量候选的差分运动矢量(S502)。如果还剩余有预测运动矢量候选(S502中是),则帧间预测控制部114通过从运动检测结果矢量减去预测运动矢量候选,计算差分运动矢量(S503)。
接着,帧间预测控制部114判断求出的差分运动矢量是否比最小差分运动矢量小(S504)。在差分运动矢量比最小差分运动矢量小的情况下(S504中是),帧间预测控制部114将最小差分运动矢量及预测运动矢量索引更新(S505)。
接着,帧间预测控制部114对计数值追加1(S506)。并且,帧间预测控制部114再次判断是否存在接下来的预测运动矢量候选(S502)。在判断为对全部的预测运动矢量候选计算了差分运动矢量的情况下(S502中否),帧间预测控制部114将最终决定的最小差分运动矢量及预测运动矢量索引向可变长度编码部104发送,使其编码(S507)。
如以上这样,根据本实施方式,如图10A所示,在第1预测方向的运动矢量所表示的参照图片与第2预测方向的运动矢量所表示的参照图片相同的情况下,将第1预测方向的运动矢量向第2预测方向的预测运动矢量候选追加。另一方面,如图10B所示,在第1预测方向的运动矢量所表示的参照图片与第2预测方向的运动矢量所表示的参照图片不同的情况下,不将第1预测方向的运动矢量向第2预测方向的预测运动矢量候选追加。
这样,根据本实施方式,帧间预测控制部114在双向预测中使用用来求出一个预测方向的预测运动矢量的新的计算方法。由此,帧间预测控制部114导出最适合于编码对象图片的运动矢量的编码的预测运动矢量。因而,编码效率提高。
特别是,有时第1预测方向的参照图片索引所表示的参照图片与第2预测方向的参照图片索引所表示的参照图片相同。在此情况下,帧间预测控制部114在双向预测中,作为某一个预测方向的运动矢量的预测运动矢量候选而追加另一个预测方向的运动矢量。由此,图像编码装置100能够将某一个预测方向的运动矢量高效率地编码。
另外,在本实施方式中,表示了在第2预测方向的预测运动矢量候选列表中追加第1预测方向的运动矢量的例子,但也可以在第1预测方向的预测运动矢量候选列表中追加第2预测方向的运动矢量。
此外,在第1预测方向的参照图片与第2预测方向的参照图片不同的情况下,帧间预测控制部114也可以将第1预测方向的运动矢量追加到第2预测方向的候选列表。在两个参照图片不同的情况下,通过候选数的增加有时也提高编码效率。
(实施方式2)
图11是表示有关本实施方式的图像解码装置的结构的模块图。
图11所示的图像解码装置200具备可变长度解码部204、逆量化部205、逆正交变换部206、加法部207、块存储器208、帧存储器209、帧内预测部210、帧间预测部211、开关部212、帧间预测控制部214、参照图片列表管理部215及追加判断部216。
可变长度解码部204对输入的比特流进行可变长度解码处理。并且,可变长度解码部204生成图片类型信息、帧间预测模式、帧间预测方向标志、跳过标志及量化系数。逆量化部205对量化系数进行逆量化处理。逆正交变换部206将进行逆量化处理后的正交变换系数从频率域向图像域变换,生成预测误差图像数据。
块存储器208是用来以块单位保存将预测误差图像数据与预测图像数据相加而生成的图像序列的存储器。帧存储器209是用来将图像序列以帧单位保存的存储器。
帧内预测部210通过使用保存在块存储器208中的块单位的图像序列执行帧内预测,生成解码对象块的预测图像数据。
帧间预测部211使用保存在帧存储器209中的帧单位的图像序列执行帧间预测,由此生成解码对象块的预测图像数据。帧间预测控制部214根据帧间预测模式、帧间预测方向及跳过标志,控制帧间预测中的运动矢量和预测图像数据生成方法。
参照图片列表管理部215对在帧间预测中参照的已解码的参照图片分配参照图片索引,与显示顺序等一起制作参照列表(与实施方式1的图2同样)。B图片参照两个图片而被解码。因此,参照图片列表管理部215保持两个参照列表。
另外,有关本实施方式的参照图片列表管理部215用参照图片索引和显示顺序管理参照图片。但是,参照图片列表管理部215也可以用参照图片索引和编码顺序(解码顺序)等管理参照图片。
追加判断部216使用由参照图片列表管理部215制作的第1参照图片列表及第2参照图片列表判断是否对解码对象块的第2预测方向的预测运动矢量候选列表追加第1预测方向的运动矢量。并且,追加判断部216设定追加标志。另外,追加标志的决定流程与实施方式1的图6是同样的,所以省略说明。
最后,加法部207通过将解码后的预测误差图像数据与预测图像数据相加,生成解码图像序列。
图12表示有关本实施方式的图像解码方法的处理流程的概要。首先,帧间预测控制部214判断解码后的预测方向是否是双向(S601)。
在解码后的预测方向是双向的情况下(S601中是),帧间预测控制部214计算第1预测方向及第2预测方向的预测运动矢量候选列表(S602、S603)。另外,在预测运动矢量候选列表的计算方法中使用实施方式1的图5等。可变长度解码部204根据比特流解码出第1预测方向及第2预测方向的参照图片索引。
追加判断部216从第1预测方向的预测运动矢量候选列表中选择从比特流解码的第1预测方向的预测运动矢量索引所表示的预测运动矢量。并且,帧间预测控制部214对第1预测方向的预测运动矢量加上从比特流解码后的第1预测方向的差分运动矢量。由此,帧间预测控制部214解码出第1预测方向的运动矢量(S604)。
追加判断部216判断是否将第1预测方向的运动矢量追加到第2预测方向的预测运动矢量候选列表(S605)。在追加标志是开启的情况下(S605中是),帧间预测控制部214将第1预测方向的运动矢量追加到第2预测方向的预测运动矢量候选列表(S606)。另外,表示是否追加第1预测方向的运动矢量的追加标志与实施方式1的图6等同样地设定。
帧间预测控制部214从第2预测方向的预测运动矢量候选列表中选择从比特流解码的第2预测方向的预测运动矢量索引所表示的预测运动矢量。并且,帧间预测控制部214对第2预测方向的预测运动矢量加上从比特流解码出的第2预测方向的差分运动矢量。由此,帧间预测控制部214解码出第2预测方向的运动矢量(S607)。
在预测方向不是双向的情况下(S601中否),即在帧间预测方向是单向的情况下,帧间预测控制部214计算与单向预测对应的预测方向的预测运动矢量候选列表(S608)。帧间预测控制部214从与单向预测对应的预测方向的预测运动矢量候选列表中选择解码后的预测运动矢量索引所表示的预测运动矢量。并且,帧间预测控制部214计算与单向预测对应的预测方向的运动矢量(S609)。
这样,根据本实施方式,帧间预测控制部214在双向预测中使用用来求出一个预测方向的预测运动矢量的新的计算方法。由此,导出最适合于运动矢量的解码的预测运动矢量。此外,图像解码装置200能够将编码效率较高的比特流适当地解码。
特别是,有时第1预测方向的参照图片索引所表示的参照图片、与第2预测方向的参照图片索引所表示的参照图片相同。在此情况下,帧间预测控制部214在双向预测中,作为某一个预测方向的运动矢量的预测运动矢量候选而追加另一个预测方向的运动矢量。由此,图像解码装置200能够将通过对某一个预测方向的运动矢量高效率地进行编码而得到的比特流适当地解码。
另外,有关本实施方式的帧间预测控制部214对第2预测方向的预测运动矢量候选列表追加第1预测方向的运动矢量。但是,帧间预测控制部214与编码侧同样,也可以对第1预测方向的预测运动矢量候选列表追加第2预测方向的运动矢量。
此外,帧间预测控制部214与编码侧同样,在与两个预测方向对应的两个参照图片不同的情况下,也可以对一个预测方向的预测运动矢量候选列表追加另一个预测方向的运动矢量。
以上,基于多个实施方式对有关本发明的图像编码装置及图像解码装置进行了说明,但本发明并不限定于这些实施方式。对这些实施方式实施本领域的技术人员想到的变形而得到的形态、以及将这些实施方式的构成要素任意地组合而实现的别的形态也包含在本发明中。
例如,也可以将特定的处理部执行的处理由别的处理部执行。此外,也可以变更执行处理的顺序,也可以将多个处理并行地执行。
此外,本发明不仅能够作为图像编码装置及图像解码装置实现,而且能够作为以构成图像编码装置及图像解码装置的处理机构为步骤的方法实现。例如,这些步骤由计算机执行。并且,本发明可以作为用来使计算机执行包含在这些方法中的步骤的程序实现。进而,本发明能够作为记录有该程序的CD-ROM等的非暂时性的计算机可读取的记录介质实现。
此外,图像编码装置及图像解码装置通过将包含在它们中的构成要素组合,作为图像编码解码装置实现。
此外,包含在图像编码装置及图像解码装置中的多个构成要素也可以作为集成电路即LSI(Large Scale Integration)实现。这些构成要素既可以单独地形成1个芯片,也可以包括一部分或全部而形成1个芯片。例如也可以将存储器以外的构成要素形成为1个芯片。这里设为LSI,但根据集成度的不同,有时也称作IC(Integrated Circuit)、系统LSI、超级LSI或特级LSI。
此外,集成电路化的方法并不限定于LSI,也可以由专用电路或通用处理器实现。也可以使用能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而,如果因半导体技术的进步或派生的别的技术出现代替LSI的集成电路化的技术,则当然也可以使用该技术进行包含在图像编码装置及图像解码装置中的构成要素的集成电路化。
(实施方式3)
通过将用来实现上述各实施方式所示的动态图像编码方法(图像编码方法)或动态图像解码方法(图像解码方法)的结构的程序记录到存储介质中,能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等,只要是能够记录程序的介质就可以。
进而,这里说明在上述各实施方式中示出的动态图像编码方法(图像编码方法)及动态图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于,具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构,可以根据情况而适当变更。
图13是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小,在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106~ex110连接着计算机ex111、PDA(PersonalDigitalAssistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是,内容供给系统ex100并不限定于图13那样的结构,也可以将某些要素组合连接。此外,也可以不经由作为固定无线站的基站ex106~ex110将各设备直接连接在电话网ex104上。此外,也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是数字摄像机等的能够进行动态图像摄影的设备,照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外,便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等,是哪种都可以。
在内容供给系统ex100中,通过将照相机ex113等经由基站ex109、电话网ex104连接在流介质服务器ex103上,能够进行现场分发等。在现场分发中,对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即,作为本发明的图像编码装置发挥作用),向流介质服务器ex103发送。另一方面,流介质服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端,有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中,将接收到的数据解码处理而再现(即,作为本发明的图像解码装置发挥作用)。
另外,摄影的数据的编码处理既可以由照相机ex113进行,也可以由进行数据的发送处理的流介质服务器ex103进行,也可以相互分担进行。同样,分发的数据的解码处理既可以由客户端进行,也可以由流介质服务器ex103进行,也可以相互分担进行。此外,并不限于照相机ex113,也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流介质服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流介质服务器ex103的哪个进行都可以,也可以相互分担进行。
此外,这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片,也可以是由多个芯片构成的结构。另外,也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而,在便携电话ex114是带有照相机的情况下,也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。
此外,也可以是,流介质服务器ex103是多个服务器或多个计算机,是将数据分散处理、记录、及分发的。
如以上这样,在内容供给系统ex100中,客户端能够接收编码的数据而再现。这样,在内容供给系统ex100中,客户端能够将用户发送的信息实时地接收、解码、再现,即使是没有特别的权利或设备的用户也能够实现个人广播。
另外,并不限定于内容供给系统ex100的例子,如图14所示,在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言,在广播站ex201中,将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即,通过本发明的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波,能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波,通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即,作为本发明的图像解码装置发挥作用)。
此外,可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下,可以将再现的影像信号显示在监视器ex219上,通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外,也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置,将其用电视机的监视器ex219显示。此时,也可以不是在机顶盒、而在电视机内装入动态图像解码装置。
图15是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理不ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外,电视机ex300具备:具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即,作为本发明的图像编码装置或图像解码装置发挥作用)的信号处理部ex306;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而,电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而,电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外,还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外,记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先,对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于具有CPU等的控制部ex310的控制,将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而,电视机ex300将分离的声音数据用声音信号处理部ex304解码,将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时,可以暂时将这些信号储存到缓冲器ex318、ex319等中,以使声音信号和影像信号同步再现。此外,电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着,对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于控制部ex310的控制,由声音信号处理部ex304将声音信号编码,由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用,向外部输出。在复用时,可以暂时将这些信号储存到缓冲器ex320、ex321等中,以使声音信号和影像信号同步再现。另外,缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个,也可以是共用一个以上的缓冲器的结构。进而,在图示以外,也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外,电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外,也可以具备受理麦克风或照相机的AV输入的结构,对从它们中取得的数据进行编码处理。另外,这里,将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明,但也可以不能进行这些处理,而是仅能够进行上述接收、解码处理、外部输出的结构。
此外,在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下,上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以,也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例,将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图16中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息,检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器,根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大,将记录在记录介质ex215中的信号成分分离并解调,再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道,进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成,通过执行读出写入的程序来执行它们的处理。
以上,假设光头ex401照射激光斑而进行了说明,但也可以是使用接近场光进行高密度的记录的结构。
在图17中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上,以螺旋状形成有导引槽(沟),在信息轨道ex230中,预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息,通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息,能够确定记录块。此外,记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233,配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上,举1层的DVD、BD等的光盘为例进行了说明,但并不限定于这些,也可以是多层构造、在表面以外也能够记录的光盘。此外,也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外,在数字广播用系统ex200中,也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外,车载导航仪ex211的结构可以考虑例如在图15所示的结构中添加GPS接收部的结构,在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图18A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而,使用图18B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360,将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(Liquid Crystal Display:液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态,则通过从电池组对各部供给电力,便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制,在语音通话模式时,将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号,将其用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外,便携电话ex114在语音通话模式时,将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理,用调制/解调部ex352进行波谱逆扩散处理,通过声音信号处理部ex354变换为模拟声音信号后,将其经由声音输出部ex357输出。
进而,在数据通信模式时发送电子邮件的情况下,将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350向基站ex110发送。在接收电子邮件的情况下,对接收到的数据执行上述处理的大致逆处理,并输出到显示部ex358。
在数据通信模式时,在发送影像、静止图像、或者影像和声音的情况下,影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即,作为本发明的图像编码装置发挥作用),将编码后的影像数据送出至复用/分离部ex353。另外,声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码,将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式,对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用,将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理,由发送/接收部ex351实施数字模拟变换处理及频率变换处理后,经由天线ex350发送。
在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下,或者接收到附加了影像或者声音的电子邮件的情况下,为了对经由天线ex350接收到的复用数据进行解码,复用/分离部ex353通过将复用数据分离,分为影像数据的比特流和声音数据的比特流,经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给,并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码,由此对影像信号进行解码(即,作为本发明的图像解码装置发挥作用),经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外,声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。
此外,上述便携电话ex114等的终端与电视机ex300同样,除了具有编码器、解码器两者的收发型终端以外,还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外,在数字广播用系统ex200中,设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明,但除声音数据之外复用了与影像关联的字符数据等的数据也可以,不是复用数据而是影像数据本身也可以。
这样,将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以,通过这样,能够得到在上述各实施方式中说明的效果。
此外,本发明并不限定于这样的上述实施方式,能够不脱离本发明的范围而进行各种变形或修正。
(实施方式4)
也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG-2、MPEG4-AVC、VC-1等不同的标准的动态图像编码方法或装置根据需要而适当切换,来生成影像数据。
这里,在生成分别依据不同的标准的多个影像数据的情况下,在解码时,需要选择对应于各个标准的解码方法。但是,由于不能识别要解码的影像数据依据哪个标准,所以产生不能选择适当的解码方法的问题。
为了解决该问题,在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下,说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG-2传输流形式的数字流。
图19是表示复用数据的结构的图。如图19所示,复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像,音频流(IG)表示电影的主声音部分和与该主声音混合的副声音,演示图形流表示电影的字幕。这里,所谓主影像,表示显示在画面上的通常的影像,所谓副影像,是在主影像中用较小的画面显示的影像。此外,交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的动态图像编码方法或装置编码。音频流由杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如,对在电影的影像中使用的视频流分配0x1011,对音频流分配0x1100到0x111F,对演示图形分配0x1200到0x121F,对交互图形流分配0x1400到0x141F,对在电影的副影像中使用的视频流分配0x1B00到0x1B1F,对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图20是示意地表示复用数据怎样被复用的图。首先,将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239,并变换为TS包ex237及ex240。同样,将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245,再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图21更详细地表示在PES包序列中怎样保存视频流。图21的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图21的箭头yy1、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头,在PES头中,保存有作为图片的显示时刻的PTS(PresentationTime-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图22表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包,上述PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下,对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中,源包如图22下段所示排列,从复用数据的开头起递增的号码被称作SPN(源包号)。
此外,在复用数据所包含的TS包中,除了影像、声音、字幕等的各流以外,还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在复用数据中使用的PMT的PID是什么,PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息,还具有关于复用数据的各种描述符。在描述符中,有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System TimeClock)的同步,拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图23是详细地说明PMT的数据构造的图。在PMT的开头,配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面,配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后,配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下,将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图24所示,是复用数据的管理信息,与复用数据一对一地对应,由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图24所示,由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS,再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图25所示,按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中,使用上述复用数据中的、包含在PMT中的流类型。此外,在记录介质中记录有复用数据的情况下,使用包含在复用数据信息中的视频流属性信息。具体而言,在上述各实施方式示出的动态图像编码方法或装置中,设置如下步骤或单元,该步骤或单元对包含在PMT中的流类型、或视频流属性信息,设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构,能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外,在图26中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中,从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着,在步骤exS101中,判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且,在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下,在步骤exS102中,通过在上述各实施方式中示出的动态图像解码方法进行解码。此外,在流类型、或视频流属性信息表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的复用数据的情况下,在步骤exS103中,通过依据以往的标准的动态图像解码方法进行解码。
这样,通过在流类型、或视频流属性信息中设定新的固有值,在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而,在被输入了依据不同的标准的复用数据的情况下,也能够选择适当的解码方法或装置,所以能够不发生错误地进行解码。此外,将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。
(实施方式5)
在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例,在图27中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509,各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力,起动为能够动作的状态。
例如在进行编码处理的情况下,LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制,通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制,将储存的数据根据处理量及处理速度适当地分为多次等,向信号处理部ex507发送,在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里,影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中,还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理,从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外,在复用时,可以暂时将数据储存到缓冲器ex508中以使其同步。
另外,在上述中,设存储器ex511为LSIex500的外部的结构进行了说明,但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个,也可以具备多个缓冲器。此外,LSIex500既可以形成1个芯片,也可以形成多个芯片。
此外,在上述中,假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex501的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU,能够进一步提高处理速度。此外,作为其他例,也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下,控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外,这里设为LSI,但根据集成度的差异,也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外,集成电路化的方法并不限定于LSI,也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field ProgrammableGate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
进而,如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术,则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式6)
在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下,考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-1等标准的影像数据的情况相比处理量会增加。因此,在LSIex500中,需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是,如果将驱动频率设得高,则发生消耗电力变高的问题。
为了解决该问题,电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图28表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下,将驱动频率设定得高。并且,对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面,在影像数据是依据以往的标准的影像数据的情况下,与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比,将驱动频率设定得低。并且,对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲,驱动频率切换部ex803由图27的CPUex502和驱动频率控制部ex512构成。此外,执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图27的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且,基于来自CPUex502的信号,驱动频率控制部ex512设定驱动频率。此外,基于来自CPUex502的信号,信号处理部ex507进行影像数据的解码。这里,可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息,并不限定于在实施方式4中记载的信息,只要是能够识别影像数据依据哪个标准的信息就可以。例如,在基于识别影像数据利用于电视机还是利用于盘等的外部信号,来能够识别影像数据依据哪个标准的情况下,也可以基于这样的外部信号进行识别。此外,CPUex502的驱动频率的选择例如可以考虑如图30所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中,CPUex502通过参照该查找表,能够选择驱动频率。
图29表示实施本实施方式的方法的步骤。首先,在步骤exS200中,在信号处理部ex507中,从复用数据中取得识别信息。接着,在步骤exS201中,在CPUex502中,基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下,在步骤exS202中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且,在驱动频率控制部ex512中设定为高的驱动频率。另一方面,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,在步骤exS203中,CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且,在驱动频率控制部ex512中,设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而,通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压,由此能够进一步提高节电效果。例如,在将驱动频率设定得低的情况下,随之,可以考虑与将驱动频率设定得高的情况相比,将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外,驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以,并不限定于上述的设定方法。例如,可以考虑在将依据MPEG4-AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下,与上述的情况相反地进行驱动频率的设定。
进而,驱动频率的设定方法并不限定于使驱动频率低的结构。例如,也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得高,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外,作为另一例,也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,不使CPUex502的驱动停止,在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况下,由于在处理中有富余,所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下,也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下,可以考虑与表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的影像数据的情况相比,将停止时间设定得短。
这样,根据影像数据所依据的标准来切换驱动频率,由此能够实现节电化。此外,在使用电池来驱动LSIex500或包括LSIex500的装置的情况下,能够随着节电而延长电池的寿命。
(实施方式7)
在电视机、便携电话等上述的设备、系统中,有时被输入依据不同的标准的多个影像数据。这样,为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码,LSIex500的信号处理部ex507需要对应于多个标准。但是,如果单独使用对应于各个标准的信号处理部ex507,则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题,采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-1等的标准的解码处理部一部分共用的结构。图31A的ex900表示该结构例。例如,在上述各实施方式中示出的动态图像解码方法和依据MPEG4-AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构:关于共通的处理内容,共用对应于MPEG4-AVC标准的解码处理部ex902,关于不对应于MPEG4-AVC标准的本发明的一个方式所特有的其他的处理内容,使用专用的解码处理部ex901。特别是,本发明在运动补偿方面具有特征,因此可以考虑例如对于运动补偿使用专用的解码处理部ex901,对于除此之外的熵编码、解块滤波、逆量化中的某一个或者全部的处理,共用解码处理部。关于解码处理部的共用,也可以是如下结构:关于共通的处理内容,共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部,关于MPEG4-AVC标准所特有的处理内容,使用专用的解码处理部。
此外,用图31B的ex1000表示将处理一部分共用的另一例。在该例中,采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里,专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的,可以是能够执行其他的通用处理的结构。此外,也能够由LSIex500安装本实施方式的结构。
这样,对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容,共用解码处理部,由此能够减小LSI的电路规模并且降低成本。
工业实用性
有关本发明的图像编码方法及图像解码方法例如能够在电视机、数字视频记录机、汽车导航仪、便携电话、数字照相机或数字视频摄像机等中使用。
符号说明
100 图像编码装置
101 减法部
102 正交变换部
103 量化部
104 可变长度编码部
105、205 逆量化部
106、206 逆正交变换部
107、207 加法部
108、208 块存储器
109、209 帧存储器
110、210 帧内预测部
111、211 帧间预测部
112、212 开关部
113 图片类型决定部
114、214 帧间预测控制部
115、215 参照图片列表管理部
116、216 追加判断部
200 图像解码装置
204 可变长度解码部

Claims (11)

1.一种图像编码方法,使用第1运动矢量和第2运动矢量执行预测,并将编码对象块编码,该第1运动矢量指示第1参照图片列表所包含的第1参照图片内的位置,该第2运动矢量指示第2参照图片列表所包含的第2参照图片内的位置,上述图像编码方法包括:
追加步骤,向在上述第2运动矢量的编码中使用的预测运动矢量的候选列表追加上述第1运动矢量作为上述预测运动矢量的候选;
选择步骤,从包含上述第1运动矢量的上述候选列表中,选择在上述第2运动矢量的编码中使用的上述预测运动矢量;以及
编码步骤,使用所选择的上述预测运动矢量将上述第2运动矢量编码。
2.如权利要求1所述的图像编码方法,
在上述追加步骤中,在上述第1参照图片和上述第2参照图片相同的情况下,向上述候选列表追加上述第1运动矢量。
3.如权利要求1或2所述的图像编码方法,
在上述选择步骤中,选择上述候选列表所包含的多个候选中的、相对于上述第2运动矢量的误差最小的候选作为上述预测运动矢量。
4.如权利要求1~3中任一项所述的图像编码方法,
在上述追加步骤中,向上述候选列表追加通过运动检测而检测出的上述第1运动矢量。
5.如权利要求1~4中任一项所述的图像编码方法,
在上述追加步骤中,以多个索引值与上述预测运动矢量的多个候选一对一地对应的方式向上述候选列表追加索引值和上述预测运动矢量的候选;
在上述选择步骤中,从上述候选列表中选择索引值作为上述预测运动矢量;
在上述编码步骤中,还以索引值越大则码长越长的方式将所选择的上述索引值编码。
6.如权利要求1~5中任一项所述的图像编码方法,
在上述追加步骤中,向上述候选列表追加上述编码对象块的左邻的块的运动矢量、上述编码对象块的上邻的块的运动矢量、以及上述编码对象块的右上邻的块的运动矢量,作为上述预测运动矢量的候选。
7.一种图像解码方法,使用第1运动矢量和第2运动矢量执行预测,并将解码对象块解码,该第1运动矢量指示第1参照图片列表所包含的第1参照图片内的位置,该第2运动矢量指示第2参照图片列表所包含的第2参照图片内的位置,上述图像解码方法包括:
追加步骤,向在上述第2运动矢量的解码中使用的预测运动矢量的候选列表追加上述第1运动矢量作为上述预测运动矢量的候选;
选择步骤,从包含上述第1运动矢量的上述候选列表中选择在上述第2运动矢量的解码中使用的上述预测运动矢量;以及
解码步骤,使用所选择的上述预测运动矢量将上述第2运动矢量解码。
8.如权利要求7所述的图像解码方法,
在上述追加步骤中,在上述第1参照图片与上述第2参照图片相同的情况下,向上述候选列表追加上述第1运动矢量。
9.如权利要求7或8所述的图像解码方法,
在上述追加步骤中,对上述候选列表追加通过运动检测而检测出的上述第1运动矢量。
10.如权利要求7~9中任一项所述的图像解码方法,
在上述追加步骤中,以多个索引值与上述预测运动矢量的多个候选一对一地对应的方式向上述候选列表追加索引值和上述预测运动矢量的候选;
在上述解码步骤中,还将以索引值越大则码长越长的方式编码后的索引值解码;
上述选择步骤从上述候选列表中选择与解码后的上述索引值对应的上述预测运动矢量。
11.如权利要求7~9中任一项所述的图像解码方法,
在上述追加步骤中,向上述候选列表追加上述解码对象块的左邻的块的运动矢量、上述解码对象块的上邻的块的运动矢量、以及上述解码对象块的右上邻的块的运动矢量,作为上述预测运动矢量的候选。
CN201180035076.2A 2010-12-27 2011-12-27 图像编码方法 Active CN103004204B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201061427240P 2010-12-27 2010-12-27
US61/427,240 2010-12-27
PCT/JP2011/007319 WO2012090495A1 (ja) 2010-12-27 2011-12-27 画像符号化方法および画像復号方法

Publications (2)

Publication Number Publication Date
CN103004204A true CN103004204A (zh) 2013-03-27
CN103004204B CN103004204B (zh) 2016-12-14

Family

ID=

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110662039A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 查找表的更新:fifo、约束的fifo
CN111801944A (zh) * 2018-03-26 2020-10-20 华为技术有限公司 视频图像编码器、视频图像解码器以及对应的运动信息编码方法
US20200413044A1 (en) 2018-09-12 2020-12-31 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11134244B2 (en) 2018-07-02 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Order of rounding and pruning in LAMVR
US11140383B2 (en) 2019-01-13 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between look up table and shared merge list
US11140385B2 (en) 2018-06-29 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11146785B2 (en) 2018-06-29 2021-10-12 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for LUT updating
US11159807B2 (en) 2018-06-29 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
US11159817B2 (en) 2018-06-29 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating LUTS
US11528500B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a HMVP candidate to merge/AMVP
US11528501B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between LUT and AMVP
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507751A (zh) * 2002-01-18 2004-06-23 株式会社东芝 视频编码方法和装置以及视频解码方法和装置
CN1943244A (zh) * 2004-04-14 2007-04-04 三星电子株式会社 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507751A (zh) * 2002-01-18 2004-06-23 株式会社东芝 视频编码方法和装置以及视频解码方法和装置
CN1943244A (zh) * 2004-04-14 2007-04-04 三星电子株式会社 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器
US20100166073A1 (en) * 2008-12-31 2010-07-01 Advanced Micro Devices, Inc. Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801944A (zh) * 2018-03-26 2020-10-20 华为技术有限公司 视频图像编码器、视频图像解码器以及对应的运动信息编码方法
CN111801944B (zh) * 2018-03-26 2021-10-22 华为技术有限公司 视频图像编码器、解码器以及对应的运动信息编码方法
US11146786B2 (en) 2018-06-20 2021-10-12 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11245892B2 (en) 2018-06-29 2022-02-08 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11973971B2 (en) 2018-06-29 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Conditions for updating LUTs
US11134267B2 (en) 2018-06-29 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
US11706406B2 (en) 2018-06-29 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US11140385B2 (en) 2018-06-29 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Checking order of motion candidates in LUT
US11146785B2 (en) 2018-06-29 2021-10-12 Beijing Bytedance Network Technology Co., Ltd. Selection of coded motion information for LUT updating
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11153557B2 (en) 2018-06-29 2021-10-19 Beijing Bytedance Network Technology Co., Ltd. Which LUT to be updated or no updating
US11528501B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Interaction between LUT and AMVP
US11528500B2 (en) 2018-06-29 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a HMVP candidate to merge/AMVP
US11159807B2 (en) 2018-06-29 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
CN110662039A (zh) * 2018-06-29 2020-01-07 北京字节跳动网络技术有限公司 查找表的更新:fifo、约束的fifo
US11159817B2 (en) 2018-06-29 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Conditions for updating LUTS
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
CN110662039B (zh) * 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 查找表的更新:fifo、约束的fifo
US11463685B2 (en) 2018-07-02 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. LUTS with intra prediction modes and intra mode prediction from non-adjacent blocks
US11134244B2 (en) 2018-07-02 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Order of rounding and pruning in LAMVR
US11153559B2 (en) 2018-07-02 2021-10-19 Beijing Bytedance Network Technology Co., Ltd. Usage of LUTs
US11153558B2 (en) 2018-07-02 2021-10-19 Beijing Bytedance Network Technology Co., Ltd. Update of look-up tables
US11134243B2 (en) 2018-07-02 2021-09-28 Beijing Bytedance Network Technology Co., Ltd. Rules on updating luts
US11159787B2 (en) 2018-09-12 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking HMVP candidates depend on total number minus K
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US20200413044A1 (en) 2018-09-12 2020-12-31 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11140383B2 (en) 2019-01-13 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between look up table and shared merge list
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT
US11962799B2 (en) 2019-01-16 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Motion candidates derivation
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools

Also Published As

Publication number Publication date
US20130128983A1 (en) 2013-05-23
JPWO2012090495A1 (ja) 2014-06-05
WO2012090495A1 (ja) 2012-07-05

Similar Documents

Publication Publication Date Title
JP6167409B2 (ja) 画像復号化方法および画像復号化装置
CN103444181B (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103348679A (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103858428A (zh) 图像编码方法、图像编码装置、图像解码方法及图像解码装置
CN104041042A (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103718558A (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置
CN103548351A (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
CN103688545A (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN103535039A (zh) 图像解码方法、图像编码方法、图像解码装置、图像编码装置以及图像编解码装置
CN103563384A (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置、及运动图像编解码装置
CN103503450A (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN103477637A (zh) 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置、及动态图像编解码装置
CN103650507A (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编解码装置
CN103609110A (zh) 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
CN103828373A (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编解码装置
CN103518376A (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置及图像编码解码装置
CN103339941A (zh) 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置和动态图像编码解码装置
CN103650498A (zh) 运动图像编码方法、运动图像编码装置、运动图像解码方法及运动图像解码装置
CN103597830A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN103053160A (zh) 图像编码方法、图像解码方法、存储器管理方法、图像编码装置、图像解码装置、存储器管理装置及图像编码解码装置
CN103053161A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN103339937A (zh) 图像编码方法、图像编码装置、图像解码方法、图像解码装置以及图像编解码装置
CN103563373A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN102907097A (zh) 滤波方法、动态图像编码装置、动态图像解码装置和动态图像编码解码装置
CN103202020A (zh) 动态图像编码方法、动态图像解码方法、动态图像编码装置、动态图像解码装置、以及动态图像编解码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160926

Address after: American New York

Applicant after: Sun patent hosting Co.

Address before: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

C14 Grant of patent or utility model
GR01 Patent grant