CN100574450C - 动画图象编码方法和动画图象编码装置 - Google Patents

动画图象编码方法和动画图象编码装置 Download PDF

Info

Publication number
CN100574450C
CN100574450C CN 200610107554 CN200610107554A CN100574450C CN 100574450 C CN100574450 C CN 100574450C CN 200610107554 CN200610107554 CN 200610107554 CN 200610107554 A CN200610107554 A CN 200610107554A CN 100574450 C CN100574450 C CN 100574450C
Authority
CN
China
Prior art keywords
image
coding
maximum
picture
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN 200610107554
Other languages
English (en)
Other versions
CN101064853A (zh
Inventor
安倍清史
角野真也
羽饲诚
近藤敏志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Godo Kaisha IP Bridge 1
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101064853A publication Critical patent/CN101064853A/zh
Application granted granted Critical
Publication of CN100574450C publication Critical patent/CN100574450C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种动画图象编码方法和动画图象编码装置,动画图象编码装置(10a)包括:根据表示由用户指定的编码水平的水平标识符决定可编码处理的最大画面内象素数和在译码装置中能存储的最大存储象素数的水平分析器(100a),根据最大画面内象素数和输入图象尺寸(纵象素数和横象素数),进行对输入图象的编码的可否判定,并且计算图象间预测编码时可参照的参照候补图象的幅数即最大参照图象幅数。在成为来自这样的动画图象编码装置(10a)的编码列供给对象的译码装置中,总能良好地把该编码列译码,能进行与编码一侧的图象间预测编码对应的图象间预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的编码装置和译码装置的存储区。

Description

动画图象编码方法和动画图象编码装置
本申请是申请号为“03800107.1”、申请日为2003年1月31日、发明名称为“动画图象编码方法和动画图象译码方法”的发明的分案申请。
技术领域
本发明涉及动画图象编码方法和动画图象译码方法,特别是涉及用于对动画图象的数字数据进行编码来传输或存储的编码方法以及与该编码方法对应的译码方法。
背景技术
动画图象由多个图象构成,而该图象由给定数的象素构成。而且,动画图象的编码对所述各图象进行,各图象的编码以划分该图象的块为单位进行。
一般来说,在动画图象的编码中,通过减少时间方向和空间方向的冗长性来压缩信息量。
例如,在为了削减时间上的冗长性的图象间预测编码中,参照在时间上位于其前方或后方的图象,以块单位进行对编码对象图象的移动的检测和移动补偿,生成预测信息,把预测信息和编码对象图象的信息的差分编码。在此,对编码对象图象在时间上位于前方的图象是比该编码对象图象显示时间早的图象(前方图象),对编码对象图象在时间上位于后方的图象是比该编码对象图象显示时间晚的图象(后方图象)。
在现在正在进行标准化的动画图象编码方法H.264方式中,能同时参照对成为编码对象的编码对象图象在时间上位于前方或后方的任意两个图象,进行对编码对象图象的移动补偿。须指出的是,在此,H.264是由ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)决定的推荐编码。
另外,使用位于现在作为编码对象的块(对象块)周围的已经编码的块(编码完毕的块)的编码信息,进行为了削减空间上的冗长性的编码。
但是,当设计与H.264方式对应的编码装置和译码装置时,存在无法恰当决定这些装置所必要的存储区大小的问题。如上所述,这在H.264方式中成为有关图象间的预测编码时参照的参照图象幅数的自由度变得非常高的原因。
即一般在由多个图象构成的动画图象的编码方法中,如上所述,动画图象的编码对所述各图象进行,各图象的编码以划分该图象的块(以下称作宏观块)为单位进行。
例如,一个图象P的编码如图24(a)所示,对构成该图象P的各宏观块MB,沿着箭头B所示的路线依次进行。另外,如图24(b)所示,当宏观块MB12变为编码处理的对象时,在该宏观块MB12的编码处理中,参照参照完成了编码的、位于该宏观块MB12的上方和侧面的宏观块MB3~MB5、MB11的编码信息,预测对对象宏观块的移动向量等信息(编码信息)。
因此,在对象宏观块MB12的编码处理结束前,为了在对比该宏观块MB12编码顺序靠后的宏观块的编码时预测信息,有必要保持位于对象宏观块MB12的上方和左侧的宏观块MB3~MB11的具有参照可能性的编码信息。即在各编码处理中,总保持着几乎横向1列的宏观块的编码信息。因此,当成为编码对象的图象是横向长的图象时,各宏观块的编码处理时应该保持的编码信息变得更多。因此,在设计能进行这样的横长图象的编码的编码装置时,存在有必要更多确保用于存储所述编码信息的存储区的问题。须指出的是,图24(b)所示的宏观块MB1和MB2的编码信息在对编码顺序为宏观块MB12以后的宏观块的编码时不被参照。
另外,在设计进行横长图象的编码的译码装置时,当然与设计编码装置同样,有必要更多确保用于存储所述编码信息的存储区。
但是,直到现在,在H.264方式中,没有对图象的横向和纵向的象素数的限制,处于没有决定使用H.264方式正确进行编码和译码所必要的最低限度的存储区的大小的状况。
另外,在H.264方式中,当进行图象间预测编码和图象间预测译码时,有必要在图象存储器中存储有可能参考的前方和后方的图象的全部。
如果简单说明,则在以往的MPEG(Moving Picture ExpertsGroup)-2方式和MPEG-4方式下,在图象间预测编码或图象间预测译码时能参照的图象(参照候补图象)在成为编码处理对象的对象图象内的全部块中是公共的。例如,当对象图象是各块的编码或译码时最多能参照两个其他处理完的图象的B图象时,各块的编码或译码中参照的图象(参照图象)从对该对象图象决定的2个参照候补图象中选择。另外,对象图象是各块的编码或译码时最多能参照一个其他处理完的图象的P图象时,对在各块的编码或译码中参照的图象(参照图象)使用对该对象图象决定的一个参照候补图象。
须指出的是,MPEG-4规格书的有关参照图象的部分是以下的部分。
ISO/IEC 14496-2:1999(E)
Information technology-coding of audio-visual objects
Part2:Visual
(1999-12-01)
P.328,329Annex N
而在H.264方式中,图象间预测编码或图象间预测译码时参照的图象(参照图象)是在成为编码或译码的处理对象的对象图象的各块中,从在图象存储器中存储有其图象数据的多个处理完的图象中选择的。例如,当对象图象是各块的编码或译码时最多能参照两个其他处理完的图象的B图象时,各块的编码或译码中参照的图象(参照图象)成为从在图象存储器中存储有其图象数据的多个处理完的图象中选择的最多两个图象。另外,对象图象是各块的编码或译码时最多能参照一个其他处理完的图象的P图象时,对在各块的编码或译码中参照的图象(参照图象)使用从在图象存储器中存储有其图象数据的多个处理完的图象中选择的一个图象。
这样,在MPEG-2方式或MPEG-4方式下,参照图象的候补即参照候补图象在对象图象为P图象时,为一个处理完的图象,当对象图象为B图象时,是两个处理完的图象,而在H.264方式下,参照图象的候补即参照候补图象无论在对象图象为P图象还是B图象时,都成为在图象存储器中存储有其图象数据的多个处理完的图象。
图25是说明与H.264方式对应的具体的图象存储器管理的图,在此,表示在图象存储器中能存储图象数据的图象的幅数为4的情形。即此时,具有参照可能性参照候补图象是从所述4个图象中去掉成为处理对象的一个图象的3个图象。
例如,如图25所示,把图象P5作为处理对象图象,进行图象间预测编码或图象间预测译码时,参照候补图象成为在图象存储器Mpt中存储有图象数据的图象P2~P4。
在此,图象P1~P5按编码顺序(译码顺序排列),各图象P1~P5按该顺序编码或译码。因此,参照候补图象P2~P4中表示为比对象图象P5靠前的图象是对对象图象P5的前方图象,参照候补图象P2~P4中表示为比对象图象P5靠后的图象是对象图象P5的后方图象。
另外,在译码装置中,完成了译码的图象即使是对对象图象的图象间预测译码时参照的参照候补图象以外的完成了译码的图象(即不作为参照图象使用的完成了译码的图象),在该显示顺序循环回来之前,有必要在图象存储器把该图象数据作为显示等待图象存储。
图26是说明所述显示等待图象的模式图,图26(a)把构成动画图象的多个图象分为有可能作为参照图象而使用的图象(参照候补图象)[used]和不作为参照图象而使用的图象[unused]显示,图26(b)表示各图象的译码定时和显示的定时的关系。
须指出的是,图26中为了便于说明,表示了B图象的各块的编码或译码时使用的参照图象[used]是该B图象的全部块中公共的两个参照候补图象的双方或一方,P图象的各块的编码或译码时使用的参照图象[used]是该P图象的全部块中公共的一个参照候补图象。但是,在H.264方式中,在图象的编码或译码时参照的图象(参照图象)对成为编码或译码处理对象的对象图象的各块,是从在图象存储器中存储有其图象数据的多个处理完的图象中选择的。因此,B图象的编码或译码时使用的参照候补图象并不象如图26(a)所示那样限定为对各B图象决定的两个图象,另外,P图象的编码或译码时使用的参照候补图象并不象如图26(a)所示那样限定为对各P图象决定的一个图象。
在图26(a)中,对B图象B1的参照候补图象是I图象I0和B图象B2,对B图象B2的参照候补图象是I图象I0和P图象P4。另外,对B图象B3的参照候补图象是B图象B2和P图象P4,对P图象P8的参照候补图象是P图象P4。
在图26(b)中,图26(a)所示的各图象按I0、P4、B2、B1、B3、P8、B6、B5、B7的顺序译码,然后按图象I0、B1、B2、B3、P4、B5、B6、B7、P8的顺序显示。
须指出的是,在图26(b)中,Tdec是表示各图象的译码时间的时间轴,Tdsp是表示各图象的显示时间的时间轴。tdec(0)、tdec(1)、tdec(2)、tdec(3)、tdec(4)、tdec(5)、tdec(6)、tdec(7)、tdec(8)是进行图象I0、B1、B2、B3、P4、B5、B6、B7、P8的译码处理的期间。tdsp(0)、tdsp(1)、tdsp(2)、tdsp(3)、tdsp(4)、tdsp(5)、tdsp(6)、tdsp(7)、tdsp(8)是进行图象I0、B1、B2、B3、P4、B5、B6、B7、P8的显示的期间。
而且,在此B2、B1、B3、P8、B6、B5、B7的译码期间如图26(b)所示,大致与图象I0、B1、B2、B3、P4、B5、B6的显示期间一致,另外,图象存储器的管理是把译了码的图象的图象数据存储在图象存储器中,在进行了显示的图象中,从图象存储器删除其图象数据。
此时,例如,I图象I0等待B图象B2被译码后,进行显示。
另外,成为参照候补的图象的图象数据存储在图象存储器中,在其后被显示之前作为参照图象而使用,但是不参照的图象也有必要在译码后到显示之前的期间中确保其图象数据。这样的不作为参照图象使用的完成了译码的图象作为显示等待图象,在进行其显示之前,其图象数据存储在给定存储器中。
在图26(a)中,I图象I0之后译码的B图象B1不是作为参照图象使用的图象,因为是在I图象I0的下一个被显示,所以在其译码后立刻能显示,但是在B图象B1之后译码的B图象B3是在跟着B图象B1的B图象B2之后显示,所以在B图象B1的译码后,只等待一个图象(B图象B2)的显示期间进行显示。
此时,例如P图象P8的译码开始时刻的显示等待幅数为只有B图象B3一个。
不作为参照图象使用的图象如果其显示结束,则立刻从存储器删除其图象数据也没问题,但是删除这样的图象的图象数据的定时有时是刚显示以后以外。
此时,不作为参照图象使用的图象的图象数据在该图象显示以后也存储在存储器内不动,但是在这样的状态下,在图象存储器保持着其图象数据的图象也被作为显示等待图象处理。
例如,图象存储器的管理是在显示了该图象后,只经过1图象的显示时间后,就从该图象存储器删除存储在图象存储器中的不作为参照图象使用的图象的图象数据时,P图象P8的译码开始时刻的显示等待幅数为B图象B2和B图象B3等两个。
这样,在译码装置或编码装置的图象存储器中存储有多个译码完或完成了编码的图象,但是迄今为止,在H.264方式下,未设置对图象间预测编码和图象间预测译码时使用的参照候补图象的最大幅数(最大参照候补图象)的限制。
因此,在与H.264方式对应的编码装置和译码装置的设计上,无法设定应该存储在图象存储器中的译码完或完成了编码的图象最大幅数,无法决定应该搭载在该装置上的存储区的容量的大小。
鉴于以上所述问题的存在,本发明的目的在于:正确判别能否对作为处理对象的动画图象进行编码和译码,并且能高效利用搭载在编码装置和译码装置上的存储区,据此,取得能设计与对所述存储区不设置容量限制的编码方式对应的编码装置和译码装置的存储区的动画图象编码方法和动画图象译码方法。
发明内容
本发明的动画图象编码方法对由分别包含一定数目的象素的多个图象构成的动画图象进行编码,其特征在于,所述方法包括:水平标识符输出步骤,选择表示所述动画图象的编码处理水平的高低的编码水平,输出识别该选择的编码水平的水平标识符;编码数据生成步骤,对应于所述选择的编码水平,针对每幅图象对所述动画图象进行编码,生成所述动画图象的编码数据;和编码列生成步骤,对所述编码数据附加所述水平标识符,生成编码列,其中,所述水平标识符识别与所述选择的编码水平相对应的图象的最大画面内象素数以及与所述选择的编码水平相对应的、表示图象存储器中可存储的数据量的最大存储象素数,所述编码数据生成步骤包括预测编码步骤,所述预测编码步骤参照已编码的图象对作为编码对象的图象进行预测编码,根据所述作为编码对象的图象的纵象素数和横象素数以及所述水平标识符所识别的最大存储象素数,来计算所述图象存储器中可存储的参照候补图象的最大幅数。
本发明的动画图象编码装置对由分别包含一定数目的象素的多个图象构成的动画图象进行编码,其特征在于,所述装置包括:水平标识符输出单元,选择表示所述动画图象的编码处理水平的高低的编码水平,输出识别该选择的编码水平的水平标识符;编码数据生成单元,对应于所述选择的编码水平,针对每幅图象对所述动画图象进行编码,生成所述动画图象的编码数据;以及编码列生成单元,对所述编码数据附加所述水平标识符,生成编码列,其中,所述水平标识符识别与所述选择的编码水平相对应的图象的最大画面内象素数以及与所述选择的编码水平相对应的、表示图象存储器中可存储的数据量的最大存储象素数,所述编码数据生成单元包括预测编码单元,所述预测编码单元参照已编码的图象对作为编码对象的图象进行预测编码,根据所述作为编码对象的图象的纵象素数和横象素数以及所述水平标识符所识别的最大存储象素数,来计算所述图象存储器中可存储的参照候补图象的最大幅数。
本发明(发明1)的动画图象编码方法按照既定的编码水平对由分别包含一定数象素的多个图象构成的动画图象进行编码,其特征在于:包括:根据与所述既定的编码水平对应的图象的最大画面内象素数,来判定所述动画图象的编码是否可能的判定步骤;把由所述判定步骤判定为能编码的动画图象按各图象编码,来生成与所述动画图象对应的编码列的编码步骤;所述编码列包含识别与所述既定的编码水平对应的图象的最大画面内象素数和与该既定编码水平对应的相当于可存储在图象存储器中的数据量的最大存储象素数的水平标识符的编码,构成在所述判定步骤中判定为可编码的动画图象的图象的纵象素数和横象素数满足与所述水平标识符对应的给定条件。
本发明(发明2)在发明1所述的动画图象编码方法中,其特征在于:所述编码步骤把完成了编码的图象作为参照图象使用,对作为编码对象的对象图象进行图象间预测编码,根据所述对象图象的纵象素数和横象素数以及所述水平标识符,来计算所述图象存储器中可存储数据的、成为所述参照图象的候补的参照候补图象的最大幅数即最大参照图象幅数。
本发明(发明3)在发明1所述的动画图象编码方法中,其特征在于:构成判定为可编码的动画图象的纵象素数(h)和横象素数(w)满足以下的(条件1)~(条件3)的全部:
(条件1)h×w<=(最大画面内象素数)
(条件2)h<=round1(H)
(条件3)w<=round2(W)
在此,H是可编码的图象的最大纵象素数,W是可编码的图象的最大横象素数,round1()是通过把()内的自变量的值用对图象进行编码的单位即宏观块的纵象素数的倍数进行舍入运算而取得的值,round2()是通过把()内的自变量的值用所述宏观块的横象素数的倍数进行舍入运算而取得的值。
本发明(发明4)在发明3所述的动画图象编码方法中,其特征在于:所述round1()和round2()是通过把()内的自变量的值用16的倍数进行舍入运算而取得的值。
本发明(发明5)在发明2所述的动画图象编码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1
在此,h是对象图象的纵象素数,w是对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象和译码对象图象的象素数总数。
本发明(发明6)在发明2所述的动画图象编码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1-(显示等待译码完成图象幅数)
在此,h是对象图象的纵象素数,w是对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象、译码对象图象和显示等待译码完成图象的象素数总数。
本发明(发明7)在发明3所述的动画图象编码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:
H=sqrt(h×w×N)
W=sqrt(h×w×N)
在此,h是对象图象的纵象素数,w是对象图象的横象素数,H是可编码的图象的最大纵象素数,W是可编码的图象的最大横象素数,N是自然数,sqrt()是()内的自变量的正的平方根。
本发明(发明8)在发明7所述的动画图象编码方法中,其特征在于:所述自然数N是8。
本发明(发明9)在发明3所述的动画图象编码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:
H=(最大画面内象素数)÷(纵象素数计算用系数)
W=(最大画面内象素数)÷(横象素数计算用系数)
在此,H是可编码的图象的最大纵象素数,W是可编码的图象的最大横象素数,纵象素数计算用系数和横象素数计算用系数是既定的系数。
本发明(发明10)在发明3所述的动画图象编码方法中,其特征在于:根据预先定义的表来决定所述最大纵象素数和最大横象素数。
本发明(发明11)的动画图象译码方法把由分别包含一定数象素的多个图象构成的动画图象所对应的编码列按照从该编码列抽出的识别既定编码水平的水平标识符来进行译码,其特征在于:包括:根据与所述水平标识符表示的编码水平对应的图象的最大画面内象素数、与该编码水平对应的相当于图象存储器中能存储的数据量的最大存储象素数,判别所述编码列的译码是否可能的判定步骤;按各图象对由所述判定步骤判定为可译码的编码列进行译码,生成与所述动画图象对应的图象数据的译码步骤;与由所述判定步骤判定为可译码的编码列对应的纵象素数和横象素数满足与所述水平标识符对应的给定条件。
本发明(发明12)在发明11所述的动画图象译码方法中,其特征在于:所述判定步骤比较对所述编码列进行译码的译码装置的预先设定的固有条件、从所述编码列抽出的水平标识符表示的编码水平所对应的最大画面内象素数以及最大存储象素数,根据该比较结果,判别对作为对象的编码列可否进行译码。
本发明(发明13)在发明11所述的动画图象译码方法中,其特征在于:所述译码步骤把完成了译码的图象作为参照图象使用,对作为译码对象的对象图象编码列进行图象间预测译码,根据所述对象图象的纵象素数以及横象素数和所述水平标识符,计算在所述图象存储器中能存储数据的成为所述参照图象的候补的参照候补图象最大幅数即最大参照图象幅数。
本发明(发明14)在发明11所述的动画图象译码方法中,其特征在于:与所述判定为可编码的编码列对应的图象的纵象素数(h)和横象素数(w)满足以下的(条件4)~(条件6)的全部:
(条件4)h<=round1(H)
(条件5)w<=round2(W)
(条件6)h×w<=(最大画面内象素数)
在此,H是可译码的图象的最大纵象素数,W是可译码的图象的最大横象素数,round1()是把()内的自变量的值用译码单位即宏观块的纵象素数的倍数进行舍入运算而取得的值,round2()是通过把()内的自变量的值用所述宏观块的横象素数的倍数进行舍入运算而取得的值。
本发明(发明15)在发明14所述的动画图象译码方法中,其特征在于:所述round1()和round2()是通过把()内的自变量的值用16的倍数进行舍入运算而取得的值。
本发明(发明16)在发明12所述的动画图象译码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1
在此,h是译码对象图象的纵象素数,w是译码对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象和译码对象图象的象素数总数。
本发明(发明17)在发明12所述的动画图象译码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1-(显示等待译码完成图象幅数)
在此,h是译码对象图象的纵象素数,w是译码对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象、译码对象图象和显示等待译码完成图象的象素数总数。
本发明(发明18)在发明14所述的动画图象译码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:
H=sqrt(h×w×N)
W=sqrt(h×w×N)
在此,h是对象图象的纵象素数,w是对象图象的横象素数,H是可译码的图象的最大纵象素数,W是可译码的图象的最大横象素散,N是任意自然数,sqrt()是()内的自变量的正的平方根。
本发明(发明19)在发明18所述的动画图象译码方法中,其特征在于:所述自然数N是8。
本发明(发明20)在发明14所述的动画图象译码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:
H=(最大画面内象素数)÷(纵象素数计算用系数)
W=(最大画面内象素数)÷(横象素数计算用系数)
在此,H是可译码的图象的最大纵象素数,W是可译码的图象的最大横象素数。
本发明(发明21),在发明14所述的动画图象译码方法中,其特征在于:根据预先定义的表来决定所述最大纵象素数和最大横象素数。
本发明(发明22)的数据存储媒体存储有进行对动画图象进行编码的编码处理的程序,其特征在于:所述程序使计算机通过发明1~发明10中的任意一项所述的动画图象编码方法来进行所述编码处理。
本发明(发明23)的数据存储媒体存储有进行将对应动画图象的编码列译码的译码处理的程序,其特征在于:所述程序使计算机通过发明11~发明21中的任意一项所述的动画图象译码方法来进行所述译码处理。
如上所述,根据本发明(发明1)的动画图象编码方法,按照既定的编码水平对由分别包含一定数象素的多个图象构成的动画图象进行编码,其特征在于:包括:根据与所述既定的编码水平对应的图象的最大画面内象素数,来判定所述动画图象的编码是否可能的判定步骤;把由所述判定步骤判定为能编码的动画图象按各图象编码,来生成与所述动画图象对应的编码列的编码步骤;所述编码列包含识别与所述既定的编码水平对应的图象的最大画面内象素数和与该既定编码水平对应的相当于可存储在图象存储器中的数据量的最大存储象素数的水平标识符的编码,构成在所述判定步骤中判定为可编码的动画图象的图象的纵象素数和横象素数满足与所述水平标识符对应的给定条件。因此,能设计未设置对存储区的容量限制的编码方式所对应的编码装置以及译码装置的存储区。
即在本发明中,能从按级别定义的多个值中配合装置的规格选择最佳的最大存储象素数和最大画面内象素数,使用选择的最大存储象素数和最大画面内象素数,根据条件式和表,能容易决定成为对象的动画图象的编码和译码可否以及图象间预测编码中的可参照图象的最大幅数。据此,表示了有关编码装置和译码装置的存储区的设计的指标,不但正确判别成为对象的动画图象的编码和译码的可否,而且能高效进行存储容量的处理。
根据本发明(发明2),在发明1所述的动画图象编码方法中,其特征在于:所述编码步骤把完成了编码的图象作为参照图象使用,对作为编码对象的对象图象进行图象间预测编码,根据所述对象图象的纵象素数和横象素数以及所述水平标识符,来计算所述图象存储器中可存储数据的、成为所述参照图象的候补的参照候补图象的最大幅数即最大参照图象幅数。因此,能有效利用图象存储器进行图象间预测编码处理。
根据本发明(发明3),在发明1所述的动画图象编码方法中,其特征在于:构成判定为可编码的动画图象的纵象素数(h)和横象素数(w)满足以下的(条件1)~(条件3)的全部:因此,以图象的编码单位的宏观块的纵向和横向个数为基准,能判定输入图象的动画图象的编码可否。
(条件1)h×w<=(最大画面内象素数)
(条件2)h<=round1(H)
(条件3)w<=round2(W)
在此,H是可编码的图象的最大纵象素数,W是可编码的图象的最大横象素数,round1()是通过把()内的自变量的值用对图象进行编码的单位即宏观块的纵象素数的倍数进行舍入运算而取得的值,round2()是通过把()内的自变量的值用所述宏观块的横象素数的倍数进行舍入运算而取得的值。
根据本发明(发明4),在发明3所述的动画图象编码方法中,其特征在于:所述round1()和round2()是通过把()内的自变量的值用16的倍数进行舍入运算而取得的值。因此,以图象的编码单位即16象素×16象素的宏观块的纵向和横向个数为基准,能判定输入图象的动画图象的编码可否。
根据本发明(发明5),在发明2所述的动画图象编码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:因此,在译码装置的图象存储器中总能确保存储对象图象的译码数据的区域。
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1
在此,h是对象图象的纵象素数,w是对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象和译码对象图象的象素数总数。
根据本发明(发明6),在发明2所述的动画图象编码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:因此,在译码装置的图象存储器中,能按照显示等待译码完成图象的数变更参照候补图象的幅数。
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1-(显示等待译码完成图象幅数)
在此,h是对象图象的纵象素数,w是对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象、译码对象图象和显示等待译码完成图象的象素数总数。
根据本发明(发明7),在发明3所述的动画图象编码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:因此,能把输入图象的纵向尺寸和横向尺寸的差保持在一定范围内。
H=sqrt(h×w×N)
W=sqrt(h×w×N)
在此,h是对象图象的纵象素数,w是对象图象的横象素数,H是可编码的图象的最大纵象素数,W是可编码的图象的最大横象素数,N是自然数,sqrt()是()内的自变量的正的平方根。
根据本发明(发明8),在发明7所述的动画图象编码方法中,其特征在于:所述自然数N是8。因此,能把输入图象的纵向尺寸和横向尺寸的差保持在8对1以下的范围内。
根据本发明(发明9),在发明3所述的动画图象编码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:因此,能通过简单的运算求出最大纵象素数和最大横象素数。
H=(最大画面内象素数)÷(纵象素数计算用系数)
W=(最大画面内象素数)÷(横象素数计算用系数)
在此,H是可编码的图象的最大纵象素数,W是可编码的图象的最大横象素数,纵象素数计算用系数和横象素数计算用系数是既定的系数。
根据本发明(发明10),在发明3所述的动画图象编码方法中,其特征在于:根据预先定义的表来决定所述最大纵象素数和最大横象素数。因此不通过运算就能决定最大纵象素数和最大横象素数。
根据本发明(发明11)的动画图象译码方法,把由分别包含一定数象素的多个图象构成的动画图象所对应的编码列,按照从该编码列抽出的识别既定编码水平的水平标识符来进行译码,其特征在于:包括:根据与所述水平标识符表示的编码水平对应的图象的最大画面内象素数、与该编码水平对应的相当于图象存储器中能存储的数据量的最大存储象素数,判别所述编码列的译码是否可能的判定步骤;按各图象对由所述判定步骤判定为可译码的编码列进行译码,生成与所述动画图象对应的图象数据的译码步骤;与由所述判定步骤判定为可译码的编码列对应的纵象素数和横象素数满足与所述水平标识符对应的给定条件。因此,能正确判别译码装置中的译码可否,能高效进行存储容量的处理。
即在本发明中,能从按级别定义的多个值中配合装置的规格选择最佳的最大存储象素数和最大画面内象素数,使用选择的最大存储象素数和最大画面内象素数,根据条件式和表,能容易决定成为对象的动画图象的编码和译码可否以及图象间预测编码中的可参照图象的最大幅数。
另外,编码列中,作为标题信息,包含对由编码一侧选择的最大存储象素数和最大画面内象素数的编码水平的标识符的编码,所以在译码装置中,能根据编码水平的标识符,立刻判别所述编码水平。
根据本发明(发明12),在发明11所述的动画图象译码方法中,其特征在于:所述判定步骤比较对所述编码列进行译码的译码装置的预先设定的固有条件、从所述编码列抽出的水平标识符表示的编码水平所对应的最大画面内象素数以及最大存储象素数,根据该比较结果,判别对作为对象的编码列可否进行译码。因此,能简单判定能否用本译码装置把输入到译码装置中的编码列译码。
根据本发明(发明13),在发明11所述的动画图象译码方法中,其特征在于:所述译码步骤把完成了译码的图象作为参照图象使用,对作为译码对象的对象图象编码列进行图象间预测译码,根据所述对象图象的纵象素数以及横象素数和所述水平标识符,计算在所述图象存储器中能存储数据的成为所述参照图象的候补的参照候补图象最大幅数即最大参照图象幅数。因此,能有效利用图象存储器进行图象间预测译码处理。
根据本发明(发明14),在发明11所述的动画图象译码方法中,其特征在于:与所述判定为可编码的编码列对应的图象的纵象素数(h)和横象素数(w)满足以下的(条件4)~(条件6)的全部:因此,能以图象中的译码单位即宏观块的纵向和横向个数为基准判定输入对象的动画图象可否译码。
(条件4)h<=round1(H)
(条件5)w<=round2(W)
(条件6)h×w<=(最大画面内象素数)
在此,H是可译码的图象的最大纵象素数,W是可译码的图象的最大横象素数,round1()是把()内的自变量的值用译码单位即宏观块的纵象素数的倍数进行舍入运算而取得的值,round2()是通过把()内的自变量的值用所述宏观块的横象素数的倍数进行舍入运算而取得的值。
根据本发明(发明15),在发明14所述的动画图象译码方法中,其特征在于:所述round1()和round2()是通过把()内的自变量的值用16的倍数进行舍入运算而取得的值。因此,以图象的译码单位即16象素×16象素的宏观块的纵向和横向个数为基准,能判定输入图象的动画图象可否译码。
根据本发明(发明16),在发明12所述的动画图象译码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:因此,在译码装置的图象存储器中总能确保存储对象图象的译码数据的区域。
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1
在此,h是译码对象图象的纵象素数,w是译码对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象和译码对象图象的象素数总数。
根据本发明(发明17),在发明12所述的动画图象译码方法中,其特征在于:通过以下表达式对所述对象图象的最大参照图象幅数进行判断:因此,在译码装置的图象存储器中,能按照显示等待译码完成图象的数来变更参照候补图象的幅数。
(最大参照图象幅数)=(最大存储象素数)÷(h×w)-1-(显示等待译码完成图象幅数)
在此,h是译码对象图象的纵象素数,w是译码对象图象的横象素数,最大存储象素数为对所述编码列进行译码的装置的图象存储器中存储其数据的参照候补图象、译码对象图象和显示等待译码完成图象的象素数总数。
根据本发明(发明18),在发明14所述的动画图象译码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:因此,能把输入图象的纵向尺寸和横向尺寸的差保持在一定范围内。
H=sqrt(h×w×N)
W=sqrt(h×w×N)
在此,h是对象图象的纵象素数,w是对象图象的横象素数,H是可译码的图象的最大纵象素数,W是可译码的图象的最大横象素数,N是任意自然数,sqrt()是()内的自变量的正的平方根。
根据本发明(发明19),在发明18所述的动画图象译码方法中,其特征在于:所述自然数N是8。因此,能把输入图象的纵向尺寸和横向尺寸的差保持在8对1以下的范围内。
根据本发明(发明20),在发明14所述的动画图象译码方法中,其特征在于:使用以下的两个表达式来计算所述最大纵象素数和最大横象素数:因此,能通过简单的运算,计算出最大纵象素数和最大横象素数。
H=(最大画面内象素数)÷(纵象素数计算用系数)
W=(最大画面内象素数)÷(横象素数计算用系数)
在此,H是可译码的图象的最大纵象素数,W是可译码的图象的最大横象素数。
根据本发明(发明21),在发明14所述的动画图象译码方法中,其特征在于:根据预先定义的表来决定所述最大纵象素数和最大横象素数。因此,能不通过运算就决定最大纵象素数和最大横象素数。
根据本发明(发明22)的数据存储媒体存储有进行对动画图象进行编码的编码处理的程序,其特征在于:所述程序使计算机通过发明1~发明10中的任意一项所述的动画图象编码方法来进行所述编码处理。因此,通过把进行动画图象的编码的程序下载到计算机中,就能高效进行译码装置的存储区的处理,能容易实现该装置的设计。
根据本发明(发明23)的数据存储媒体存储有进行将对应动画图象的编码列译码的译码处理的程序,其特征在于:所述程序使计算机通过发明11~发明21中的任意一项所述的动画图象译码方法来进行所述译码处理。因此,通过把进行动画图象的译码的程序下载到计算机中,就能高效进行译码装置的存储区的处理,能容易实现该装置的设计。
附图说明
下面简要说明附图。
图1是说明本发明实施例1的动画图象编码装置10a的框图。
图2是表示所述实施例1的动画图象编码装置10a的编码可否判别器108a具体结构的框图。
图3是表示所述实施例1的动画图象编码装置10a的最大参照图象幅数计算器109a具体结构的框图。
图4是用于说明本发明实施例2的动画图象编码装置10b的框图。
图5是表示实施例2的动画图象编码装置10b的编码可否判别器108b具体结构的框图。
图6是用于说明本发明实施例3的动画图象编码装置10c的框图。
图7是表示实施例3的动画图象编码装置10c的编码可否判别器108c具体结构的框图。
图8是用于说明本发明实施例4的动画图象编码装置10d的框图。
图9是表示实施例4的动画图象编码装置10d的编码可否判别器109d具体结构的框图。
图10是用于说明本发明实施例5的动画图象译码装置50a的框图。
图11是用于说明本发明实施例6的动画图象译码装置50b的框图。
图12是用于说明本发明实施例7的动画图象译码装置50c的框图。
图13是用于说明本发明实施例8的动画图象译码装置50d的框图。
图14是说明由所述各实施例的动画图象编码装置生成的编码列的数据构造的图,图14(a)、图14(b)、图14(c)分别表示由实施例1、2、3的动画图象编码装置10a、10b、10c生成的编码列Bsa、Bsb、Bsc。
图15是表示所述实施例1的动画图象编码装置10a中使用的把水平标识符与最大画面内象素数和最大存储象素数产生关联的表T1。
图16是表示所述实施例1的动画图象编码装置10a中使用的表的图,表示把水平标识符与最大画面内象素数产生关联的表T1a(图16(a))、把水平标识符与最大存储象素数产生关联的表T1b(图16(b))。
图17是表示所述实施例2中使用的表的图,表示使识别编号与纵象素计算用系数和横象素计算用系数的组对应的表T2(图17(a))、使识别编号与横象素计算用系数对应的表T2a(图17(b))、使识别编号与纵象素计算用系数对应的表T2b(图17(c))。
图18是表示所述实施例3中使用的表的图,表示使识别编号的值与最大纵象素数和最大横象素数的组对应的表T3(图18(a))、使识别编号的值与最大横象素数对应的表T3a(图18(b))、使识别编号的值与最大纵象素数对应的表T3b(图18(c))。
图19是用于说明存储有用于通过计算机系统实现各实施例的动画图象编码装置或动画图象译码装置的程序的数据存储媒体(图19(a)、图19(b))、所述计算机系统(图19(c))。
图20是说明所述各实施的动画图象编码装置和动画图象译码装置的应用例的图,表示实现内容发送服务的内容供给系统1100。
图21是说明利用了所述各实施的动画图象编码装置和动画图象译码装置移动电话1200的图。
图22是表示图21所示移动电话1200的详细结构的框图。
图23是表示利用了所述各实施例的动画图象编码装置或动画图象译码装置的数字广播用系统1400的概念图。
图24是用于说明以往的编码方法的图,表示编码对象图象的编码宏观块的顺序(图24(a))、编码对象宏观块的编码时参照的周围宏观块(图24(b))。
图25是用于说明以往的编码方法和译码方法的图,是表示当对象图象的编码(或译码)时,在图象存储器中存储有其图象数据的其他图象的图。
图26是说明以往的编码方法和译码方法中的显示等待图象的管理的模式图,图26(a)表示参照的图象[used]和不参照的图象[unused],图26(b)表示各图象的译码定时和显示定时的关系。
具体实施方式
下面,说明本发明的实施例。
(实施例1)
图1是说明本发明实施例1的动画图象编码装置10a的框图。
本实施例1的动画图象编码装置10a把构成动画图象的多个图象分别分割为一定的数据处理单位(块),把各图象的图象数据按各块编码。在此,该块是纵向和横向的象素数为16的宏观块。
即动画图象编码装置10a包括:存储按各图象而输入的动画图象(输入图象)的数据(输入数据)Id,并且把存储的数据SId按各块输出的图象存储器101;从所述图象存储器101输出的成为编码对象的对象块的图象数据SId和对象块的预测数据pd的差分数据作为对象块的预测误差数据Dd而算出的差分运算器113;把所述对象块的图象数据SId或预测误差数据Dd压缩编码的预测残差编码器102。在此,在所述图象存储器101中,把按显示顺序输入的图象的图象数据重新排列为图象的编码顺序的处理根据对象图象和预测编码时参照的图象(参照图象)的关系进行。另外,所述图象存储器101输出表示输入图象的尺寸的信息(输入图象尺寸信息)Ipx,该输入图象尺寸信息Ipx由表示输入图象的纵象素数(h)的信息Ihpx和表示输入图象的横象素数(w)的横象素数信息1wpx构成。
动画图象编码装置10a包括:所述预测残差编码器102的输出数据(编码数据)Cd译码展开,输出对象块的差分数据(以下称作译码差分数据)PDd的预测残差译码器104;把该对象块的译码差分数据PDd和所述对象块的预测数据Pd相加,输出对象块的图象数据(以下称作译码数据)Rd的加法运算器114;记录该译码数据Rd,并且根据图象指定信号CSpd,把存储的译码数据Rd作为对象块的编码时参照的图象候补(参照候补图象)的数据CRd输出的图象存储器105。
动画图象编码装置10a包括:根据所述图象存储器101的输出数据(对象块的图象数据)SId和图象存储器105的输出数据(参照候补图象的数据)CRD,检测对象块的移动向量MV,并且根据该检测的移动向量MV生成对对象块的预测数据Pd的移动向量检测器106;把由该移动向量检测器106检测的对象块的移动向量MV存储的移动向量存储部107。在所述移动向量检测器106中,参照多个参照候补图象中的最佳图象,并且参照位于对象块的周围的处理完的块的移动向量,进行检测所述对象块的移动向量的移动检测。在此,多个参照候补图象中的最佳图象根据编码效率等决定。
动画图象编码装置10a具有选择所述图象存储器101的输出数据SId和差分运算器113的输出数据Dd的一方,输出选择数据CEd的选择开关111;设置在所述移动向量检测器106和加法运算器114之间的通断开关112。在此,所述选择开关111具有两个输入端子Ta1、Ta2和一个输出端子Tb,按照开关控制信号,该输出端子Tb连接在所述两个输入端子Ta1、Ta2的一方上。
而且,本实施例1的动画图象编码装置10a包括:根据由用户操作输入的表示编码处理水平的水平标识符的信号(水平信号)Lst,输出表示能编码处理的最大画面内象素数(Nfpx)的信息(最大画面内象素数信息)Ifpx和表示编码装置的图象存储器中可存储的最大存储象素数(Nspx)的信息(最大存储象素数信息)Ispx的水平分析部100a。该水平分析部100a具有图15所示的表T1的信息。该表T1表示水平标识符的值和最大画面内象素数以及最大存储象素数的对应关系。
动画图象编码装置10a包括:根据来自水平分析部100a的最大画面内象素数信息Ifpx和来自图象存储器101的输入图象尺寸信息Ipx,进行对输入图象的编码的可否判定,输出表示判定结果的信号(判定结果信号)CSjd的判定器(编码可否判定器)108a。动画图象编码装置10a包括:根据最大存储象素数信息Ispx和输入图象尺寸信息Ipx,计算图象间预测编码时可参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,输出表示该计算出的个数Nrpn的信息(最大参照图象幅数)Irpn的计算器(最大参照图象计算器)109a。
另外,所述动画图象编码装置10a包括:对预测残差编码部102的输出数据(编码数据)Cd进行可变长编码,并且输出对通过该可变长编码取得的编码列附加与移动向量MV、模式信号Ms、水平信号Lst对应的编码而取得的编码列Bsa的编码列生成部103。
所述动画图象编码装置10a包括:根据所述判定结果信号CSjd和来自图象存储器101的图象数据SId,通过控制信号Sct1、Sct2、…、Sctn,控制构成所述动画图象编码装置10a的各部的动作的控制部110。该控制部110根据来自所述图象存储器101的图象数据SId,决定编码模式,输出表示决定的编码模式的模式信号Ms,并且按照该决定的编码模式,通过给定的控制信号控制所述各开关111和112。另外,该控制部110按照所述判定结果信号CSjd,通过控制信号Sct1、Sct2、…、Sctn,控制所述预测残差编码器102、预测残差译码器104、编码列生成器103和移动向量检测器106等的动作。即该控制部110当判定结果信号CSjd表示对输入图象的编码是可能时,控制所述预测残差编码器102、预测残差译码器104、编码列生成器103和移动向量检测器106等进行对输入图象的编码,当判定结果信号CSjd表示对输入图象的编码是不可能时,控制所述预测残差编码器102、预测残差译码器104、编码列生成器103和移动向量检测器106等不进行对输入图象的编码。
图14(a)表示与输入图象对应的编码列Bsa的数据构造。
该编码列Bsa由存储有各种标题数据的标题区Ha和存储有与各图象的图象数据对应的编码数据(编码列)的序列数据部Dsq构成。
在所述编码列Bsa的所述标题区Ha中,作为标题信息之一包含有与所述水平标识符的信号(水平信号)Lst对应的编码H1。另外,在所述编码列Bsa的序列数据部Dsq中包含有表示输入图象的尺寸即输入图象纵象素数(h)和输入图象横象素数(w)的序列标题Sh。
图2是表示所述编码可否判定器108a的具体结构的图。
该编码可否判定器108a包括:根据输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx,计算输入图象纵象素数(h)和输入图象横象素数(w)的乘法值(Phw),输出表示乘法结果的乘法信号Shw的乘法器206;根据该乘法信号Shw和最大画面内象素数信息Ifpx比较所述乘法值(Phw)和最大画面内象素数(Nfpx),输出表示该比较结果的第一比较结果信号Scm1的第一比较运算器203。
所述编码可否判定器108a包括:根据输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx,计算可处理的最大纵象素数(H)和最大横象素数(W),输出表示该计算结果的信息Op3a和Op3b的计算器(最大纵象素数最大横象素数计算器)201;根据来自该计算器201的计算结果信息Op3a和Op3b,进行把最大纵象素数(H)和最大横象素数(W)舍入为16的倍数值的舍入运算处理,输出表示把最大纵象素数(H)舍入为16的倍数值的值(round1(H))的运算信息Trnd1和表示把最大横象素数(W)舍入为16的倍数值的值(round2(H))的运算信息Trnd2的16倍数值变换器202。
所述编码可否判定器108a包括:根据所述象素数信息Ihpx、Iwpx和所述舍入运算信息Trnd1、Trnd2,进行所述输入图象纵象素数(h)和最大纵象素数(H)的比较(纵象素数比较)、所述输入图象横象素数(w)和最大横象素数(W)的比较(横象素数比较),输出表示纵象素数的比较结果的比较结果信号Scm2a和表示横象素数的比较结果的比较结果信号Scm2b的第二比较运算器204;求出所述三个比较结果信号的Scm1、Scm2a和Scm2b的逻辑积,输出表示取得的逻辑积结果的运算信号CSjd的逻辑积运算器205。
图3是表示所述最大参照图象幅数计算器109a的具体结构的图。
该最大参照图象幅数计算器109a包括:根据输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx,计算输入图象的尺寸的1画面的总象素数(Phw=h×w),输出表示该计算结果的运算输出Ohw的乘法器401;根据该运算输出Ohw和最大存储象素数信息Ispx,把最大存储象素数(Nspx)除以1画面的总象素数(h×w),输出表示除法结果(Nspx/(h×w))的运算输出信号Dpm的除法器402。另外,所述最大参照图象幅数计算器109a包括:保持表示成为编码对象的图象幅数(1个)的数值信号Sn1,输出该数值信号Sn1的常数存储部404;根据所述除法器402的输出信号Dpm和该数值信息Sn1,输出表示从除法结果(Nspx/(h×w))减去1的值(Nspx/(h×w)-1)的减法输出信号Sd1的减法器403。
下面,就动作加以说明。
在本实施例1的动画图象编码装置10a中,在进行输入图象的编码前,根据该动画图象编码装置10a的存储器等的结构和成为编码数据的供给对象的动画图象译码装置的存储器等的结构,从作为编码条件使用的预先设定的多个编码水平中选择所需水平。具体地说,所述编码水平的选择是用户参照所述表T1进行,表示与通过用户操作而选择的水平对应的水平标识符的水平信号Lst输入到该动画图象编码装置10a中。
在此,对各编码水平设定有固有的最大画面内象素数(Nfpx)和最大存储象素数(Nspx)。例如,在图15所示的表T1中表示有8个编码水平,各编码水平与水平标识符的值(1)~(8)对应。另外,水平标识符的值(1)~(8)与最大画面内象素数(Nfpx)以及最大存储象素数(Nspx)的具体数值具有关联。
另外,最大画面内象素数(Nfpx)表示能用该动画图象编码装置10a编码并且能用成为编码数据的供给对象的动画图象译码装置译码的构成输入图象(动画图象)的图象尺寸,是该图象的纵象素数(h)和横象素数(w)的积的值能取的最大值。具体地说,最大画面内象素数表示每一图象的象素数的最大值。
另外,最大存储象素数(Nspx)表示在与所述动画图象编码装置10a对应的译码装置具有的图象存储器中能存储与多少象素对应的图象数据,换言之,是相当于图象存储器中可存储的图象数据最大量的象素数。例如,在把来自所述动画图象编码装置10a的编码列译码的动画图象译码装置的图象存储器中存储有参照候补图象、显示等待译码完成图象、译码对象图象等图象的数据,但是所述最大存储象素数是这些图象的象素的总数。
在动画图象编码装置10a中,如果通过用户的操作进行编码水平的选择,则水平选择信号Lst输入水平分析部100a中。这样,在水平分析部100a中,参照保持在内部的表T1(参照图15),按照由用户选择的所述水平信号Lst表示的编码水平,输出画面内最大象素数信息Ifpx和最大存储象素数信息Ispx。该最大象素数信息Ifpx输入到编码可否判定器108a中,最大存储象素数信息Ispx输入到最大参照图象幅数计算器109a中。
而且,如果动画图象(输入图象)的图象数据Id以显示时间顺序按各图象输入到图象存储器101中,就在该图象存储器101中依次存储与各图象对应的图象数据,从该图象存储器101把存储的图象数据SId按编码顺序输出为构成图象的各块(宏观块)。此时,从该图象存储器101,表示输入图象尺寸的信息(输入图象尺寸信息)Ipx输出到所述编码可否判定器108a和所述最大参照图象幅数计算器109a。
须指出的是,在此,所述宏观块例如是水平方向的象素数(横象素数)为16,垂直方向的象素数(纵象素数)为16的块(16×16象素块),本动画图象编码装置10a中的编码处理以该块单位进行。另外,输入图象尺寸信息Ipx如上所述,由表示输入图象的纵象素数(h)的信息Ihpx和表示输入图象的横象素数(w)的横象素数信息Iwpx构成。
这样一来,在编码可否判定器108a中,根据从图象存储器101输出的输入图象尺寸信息Ipx中包含的输入图象纵象素数信息Ihpx以及横象素数信息Iwpx、从水平分析部100a素出的最大画面内象素数信息Ifpx,进行对输入图象的编码的可否判定,从表示判定结果(判定结果信号)CSjd向控制部110输出。
该控制部110当该判定结果信号CSjd表示能对输入图象编码时,根据控制信号Sct1、Sct2、…、Sctn,控制动画图象编码装置10a的各部进行对来自图象存储器101的图象数据SId的编码处理,当该判定结果信号CSjd表示不能对输入图象编码时,根据控制信号Sct1、Sct2、…、Sctn,控制动画图象编码装置10a的各部不进行对来自图象存储器101的图象数据SId的编码处理。
另外,在控制部110中,当该判定结果信号CSjd表示能对输入图象编码时,根据来自图象存储器101的图象数据SId切换进行图象数据的图象间预测编码的模式和进行图象数据的图象内预测编码的模式。当由控制部110选择了进行图象数据的图象间预测编码的模式时,开关111由来自控制部110的给定控制信号控制,把输出端子Tb连接在第二输入端子Ta2上,使开关112变为导通状态。而当由控制部110选择了进行图象数据的图象内预测编码的模式时,开关111由来自控制部110的给定控制信号控制,把输出端子Tb连接在第一输入端子Ta1上,使开关112变为非导通状态。
另外,在最大参照图象幅数计算器109a中,根据最大存储象素数信息Ispx、输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx,计算图象间预测编码时可参照的参照候补图象幅数(最大参照图象幅数)(Nrpn),输出表示该算出的个数(Nrpn)的信息(最大参照图象幅数信息)Irpn。
下面,首先说明选择了图象间预测编码时的动作。
从图象存储器101读出的宏观块的图象数据SId输入到移动向量检测器106中。此时,与编码完图象对应的译码图象数据Rd作为参照候补图象的图象数据存储在图象存储器105中,在图象存储器105中,通过来自移动向量检测器106的图象指定信号CSpd,把参照候补图象中的所需图象指定为参照图象。然后在移动向量检测器106中,把指定的参照候补图象的图象数据作为所述参照图象的图象数据CRd使用,进行检测对作为编码对象的对象宏观块的移动向量MV的处理。由取得的移动向量决定的与对象宏观块对应的参照图象图象数据作为对对象宏观块的预测数据Pd输入到差分运算器113中。
在差分运算器113中,通过取对象宏观块的图象数据SId和该预测数据Pd的差分,生成预测残差图象数据Dd,在预测残差编码器102中进行该预测残差图象数据Dd的编码,输出预测残差编码数据Cd。
这样一来,在预测残差译码器104中把所述预测残差编码数据Cd译码,把通过译码取得的预测残差图象数据PDd输出到加法运算器114中。在加法运算器114中,进行来自预测残差译码器104的预测残差图象数据PDd和来自移动向量检测器106的预测数据Pd的加法运算,把通过该加法运算取得的图象数据Rd存储在图象存储器105中。
然后,在编码列生成器103中,生成对从预测残差编码器102输出的预测残差编码数据Cd的编码列,该编码列与和来自移动向量检测器106的移动向量MV对应的编码、和来自控制部110的模式信号Ms对应的编码、与水平信号Lst对应的编码一起作为编码列Bsa输出。在该编码列Bsa的标题区Ha中如图14(a)所示,包含有与所述水平信号Lst对应的编码H1,在序列数据部Dsq中包含有通过宏观块单位的编码生成的图象信息、移动向量的编码、模式信号的编码、序列标题Sh。在该序列标题Sh中包含有表示输入图象的纵象素数(h)和横象素数(w)的信息Ipx的编码。
下面,简单说明选择了图象内预测编码时的动作。
此时,从图象存储器101输出的图象数据SId通过开关111输出到预测残差编码器102,由该编码器102编码,输出到编码列生成器103。
然后,在编码列生成器103中,生成对从编码器102输出的编码数据Cd的编码列,该编码列与来自控制部110的模式信号Ms所对应的编码、与水平信号Lst对应的编码一起作为编码列Bsa(参照图14(a))输出。
另外,在预测残差译码器104中,把从预测残差编码器102输出的编码数据Cd译码,通过译码取得的预测残差图象数据PDd通过加法运算器114原封不动作为图象数据Rd存储在图象存储器105中。
下面,参照图2说明所述动画图象编码装置10a的编码可否判定器108a的具体动作。
在本实施例1的动画图象编码装置10a的编码可否判定器108a中,根据以下的条件式(表达式1)、(表达式2a)、(表达式2b)、(表达式3a)、(表达式3b),判定输入图象的编码可否。须指出的是,所述条件式(表达式1)、(表达式2a)、(表达式2b)是权利要求3所述的,所述条件式(表达式3a)、(表达式3b)是权利要求7所述的。
h×w<=Nfpx   (表达式1)
h<=round1(H) (表达式2a)
w<=round2(W)   (表达式2b)
H=sqrt(h×w×N) (表达式3a)
W=sqrt(h×w×N) (表达式3b)
须指出的是,Nfpx是最大画面内象素数,h是编码对象图象的纵象素数,w是编码对象图象的横象素数,H是本动画图象编码装置10a中能编码的输入图象的最大纵象素数,W是本动画图象编码装置10a中能编码的输入图象的最大横象素数,N是任意的自然数。另外,round1()是表示把()内的自变量的值以编码单位的宏观块纵象素数的倍数舍入的运算结果的记号,round2()是表示把()内的自变量的值以编码单位的宏观块横象素数的倍数舍入的运算结果的记号,sqre()是表示()内的自变量的平方根的记号。
首先,在编码可否判定器108a中,根据从图象存储器101输出的输入图象尺寸信息Ipx中包含的输入图象纵象素数信息Ihpx和横象素数信息Iwpx,进行用所述(表达式1)表示的运算处理。即通过乘法器206进行输入图象的纵象素数(h)和横象素数(w)的积(h×w)的乘法处理,再在第一比较运算器203中,根据表示该乘法处理的结果的信号Shw和最大画面内象素数信息Ifpx,比较乘法处理结果(h×w)和最大画面内象素数(Nfpx)。从第一比较运算器203向逻辑积运算器205输出表示比较结果的比较结果信号Scm1。
接着,在编码可否判定器108a中,根据所述输入图象的纵象素数信息Ihpx和横象素数信息Iwpx,由最大纵象素数最大横象素数计算器201计算所述(表达式3a)和(表达式3b)表示的最大纵象素数(H)和最大横象素数(W)。
在此,(表达式3a)和(表达式3b)的最大纵向素数(H)和最大横向素数分别表示输入图象的纵象素数(h)和横象素数(w)的积的N倍值的正平方根。例如,N=8时,(表达式3a)暗示决定最大纵象素数(H),使纵象素数和横象素数的比变为8对1以下,(表达式3b)暗示决定最大横象素数(W),使纵象素数和横象素数的比变为1比8以下。
由所述最大纵象素数最大横象素数计算器201取得的表示最大纵象素数(H)和最大横象素数(W)的运算结果信息Op3a和Op3b输入到16倍数值变换器202中,在16倍数值变换器202中,通过下舍入、上舍入、四舍五入等运算处理,把最大纵象素数(H)和最大横象素数(W)舍入为16的倍数值。从16倍数值变换器202向第二比较运算器204输出表示把最大纵象素数(H)舍入为16的倍数值的值(round1(H))的舍入运算信息Trnd1和表示把最大横象素数(W)舍入为16的倍数值的值(round2(H))的舍入运算信息Trnd2。再在第二比较运算器204中,根据所述象素数信息Ihpx、Iwpx和所述舍入运算信息Trnd1、Trnd2,进行所述输入图象纵象素数(h)和最大纵象素数(H)的比较(纵象素数比较)、所述输入图象横象素数(w)和所述最大横象素数(W)的比较(横象素数比较),向所述逻辑积运算器205输出表示纵象素数比较结果的比较结果信号Scm2a和表示横象素数比较结果的比较结果信号Scm2b。
须指出的是,在本实施例1中,基于16倍数值变换器202的最大纵象素数(H)和最大横象素数(W)的舍入处理是进行舍入处理,使这些象素数变为16的倍数,但是该舍入处理中的所谓16的值是与进行编码的单位即宏观块的一边象素数对应的值,因此,当宏观块的一边象素数为16以外时,舍入处理成为把最大纵象素数和最大横象素数舍入为相当于宏观块的一边象素数(16以外的数)的值的倍数的处理。这样,通过使所述舍入处理为把最大纵象素数和最大横象素数舍入为相当于宏观块的一边象素数(16以外的数)的值的倍数的处理,把能编码的输入图象的画面内宏观块个数或画面横向或画面纵向的宏观块个数决定为一个,能更高效地进行图象存储器中的图象数据的映射等。
而且,在逻辑积运算器205中,从第一比较运算器203输出的比较结果信号Scm1和从第二比较运算器204输出的比较结果信号Scm2a、Scm2b的逻辑积,输出表示最终的编码可否的判别结果的信号(判定结果信号)CSjd。
下面,参照图3说明所述动画图象编码装置10a的最大参照图象幅数计算器109a的具体动作。
在本实施例1的动画图象编码装置10a的最大参照图象幅数计算器109a中,通过以下的(表达式4)所示的运算,计算图象间预测编码中使用的参照候补图象的最大幅数。须指出的是,所述(表达式4)是权利要求5所述的。
Nrpn=Nspx÷(h×w)-1  (表达式4)
须指出的是,h是输入图象(编码对象图象)的纵象素数,w是输入图象(编码对象图象)的横象素数。Nrpn是最大参照图象幅数,Nspx是最大存储象素数。在本实施例1中,最大存储象素数Nspx是把来自本动画图象编码装置10a的编码列Bsa译码的动画图象译码装置的图象存储器中存储的参照用图象和译码对象图象的象素数总和最大值。
在该最大参照图象幅数计算器109a中,根据输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx,计算输入图象的尺寸即1画面总象素数(h×w)。即在乘法器401中,进行输入图象纵象素数信息Ihpx表示的输入图象纵象素数(h)和输入图象横象素数信息Iwpx表示的横象素数(w)的乘法,输出表示该乘法结果(h×w)的运算输出Ohw。
在除法器402中,根据来自乘法器401的运算输出Ohw和来自水平分析部100a的最大存储象素数信息Ispx,进行把最大存储象素数(Nspx)除以乘法结果(h×w)的运算,输出表示除法结果(Nspx/(h×w))的运算输出信号Dpm。
在减法器403中,根据来自所述除法器402的运算输出信号Dpm和来自常数存储部404的数值信息Sn1,进行从除法结果(Nspx/(h×w))减去1的运算处理,输出表示减法结果(Nspx/(h×w)-1)的减法输出信号Sd1。
须指出的是,在所述减法器403中,之所以从(Nspx/(h×w))减去1,是因为译码装置的图象存储器中,除了该译码装置进行图象间预测译码时使用的参照候补图象的图象数据,还有必要存储作为译码对象的图象的译码了的图象数据。
这样,在本实施例1的动画图象编码装置10a中具有根据表示由用户指定的编码水平的水平信号Lst,决定能编码处理的最大画面内象素数(Nfpx)和译码装置的图象存储器中能存储的最大存储象素数(Nspx)的水平分析部100a,根据最大画面内象素数(Nfpx)和输入图象尺寸(纵象素数Nhpx和横象素数Nwpx)进行对输入图象的编码的可否判定,并且计算图象间预测编码时可参照的参照候补图象幅数(最大参照图象幅数)Nrpn,所以在成为来自动画图象编码装置10a的编码列的供给对象的译码装置中,总能良好地把该编码列译码,能进行与编码一侧的图象间预测编码对应的图象间预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的编码装置和译码装置的存储区。
须指出的是,在所述实施例1中,作为表示多个编码水平(水平标识符的值)和最大画面内象素数以及最大存储象素数的对应关系的表,使用使最大画面内象素数以及最大存储象素数的组与各编码水平(水平标识符)对应的表T1(参照图15),但是它也可以使用使最大画面内象素与水平标识符的值具有关联的表T1a(图16(a))和使最大存储象素数与水平标识符的值具有关联的表T1b(图16(b))。
另外,在所述实施例1中,表示了根据图15所示的表T1进行基于用户的编码水平(水平标识符的值)的决定的情形,但是可以代替图15所示的表T1,使用以下的(表达式5)进行基于用户的编码水平的决定。
(水平标识符的值)=transA(最大画面内象素,最大存储象素数)(表达式5)
transA()是表示以最大画面内象素和最大存储象素数为自变量提供水平标识符的值的运算的极好,根据该(表达式5),用户如果指定用动画图象编码装置10a能编码的输入图象的最大画面内象素和最大存储象素数,就决定对应的水平标识符的值。
另外,代替表示水平标识符的值和最大画面内象素数的对应关系的表T1a(图16(a))和表示水平标识符的值和最大存储象素数的对应关系的表T1b(图16(b)),可以使用以下的(表达式6a)和(表达式6b)。
(水平标识符的值)=transAa(最大画面内象素数)(表达式6a)
(水平标识符的值)=transAb(最大存储象素数)(表达式6b)
transAa()是表示把最大画面内象素数作为自变量提供水平标识的值的运算的记号,根据所述(表达式6a),用户如果指定用动画图象编码装置能编码的输入图象的最大画面内象素数,就决定对应的水平标识符的值。
另外,transAb()是表示把最大存储象素数作为自变量提供水平标识的值的运算的记号,根据所述表达式(6b),用户如果指定用动画图象编码装置能编码的输入图象的最大存储象素数,就决定对应的水平标识符的值。
在所述实施例1的动画图象编码装置中,最大存储象素数是成为编码列供给的对象的译码装置的图象存储器中能存储的最大量图象数据所对应的图象总象素数,但是代替最大存储象素数,也可以使用译码装置的图象存储器所必要的存储器容量。
另外,在所述实施例1中,以最大存储象素数Nspx是把由动画图象编码装置10a取得的编码列译码的动画图象译码装置的图象存储器中存储的图向数据的全部存储图象的象素数的总和最大值,在该存储图象相当于参照用图象、译码对象图象时的情形为例,进行了说明,但是最大存储象素数可以定义为不包含译码对象图象的象素数。
此时,代替所述(表达式4),使用以下的(表达式7a)。
Nrpn=Nspx÷(h×w)  (表达式7a)
在此,h是编码对象图象的纵象素数,w是编码对象图象的横象素数,Nrpn是最大参照图象幅数,Nspx是最大存储象素数。
而且,在图3所示的最大参照图象幅数计算器109a中,不进行从所述除法结果(Nspx(h×w))减去1的处理,决定最大参照图象幅数。
(实施例2)
图4是用于说明本发明实施例2的动画图象编码装置10b的框图。
本发明实施例2的动画图象编码装置10b代替实施例1的动画图象编码装置10a的水平分析部100a和编码可否判定器108a,包括:根据输入的水平信号Lst和识别编号信号Cid,输出最大画面内象素数信息Ifpx、最大存储象素数信息Ispx和象素计算用系数信息αpx的水平分析部100b;根据最大画面内象素数信息Ifpx、象素计算用系数信息αpx和输入图象尺寸信息Ipx,判定能否对输入图象编码的编码可否判定器108b。在此,所述识别编号信号Cid表示由用户决定的识别编号的值,该识别编号识别附加的编码条件即象素计算用系数的具体数值。另外,所述水平分析部100b具有图15所示的表T1的信息和图17(a)所示的表T2的信息。该表T1表示水平标识符的值和最大画面内象素数以及最大存储象素数的对应关系。该表T2表示识别编号的值和纵象素计算用系数(Nαhpx)以及横象素计算用系数(Nαwpx)的对应关系。另外,象素计算用系数信息αpx由表示所述纵象素计算用系数(Nαhpx)的信息αhpx(象素计算用系数信息)、表示横象素计算用系数(Nαwpx)的信息(横象素计算用系数信息)αwpx构成。另外,所述动画图象编码装置10b的编码列生成器103对预测残差编码器102的输出数据(编码数据)Cd进行可变长编码,并且输出在由该可变长编码取得的编码列中附加与移动向量MV、模式信号Ms、水平信号Lst以及识别编号信号Cid对应的编码而取得的编码列Bsb。
本实施例2的动画图象编码装置10b的其他结构与实施例1的动画图象编码装置10a相同。
图14(b)表示与输入图象对应的编码列Bsb的数据构造。
该编码列Bsb由存储有各种标题数据的标题区Hb和存储有与各图象的图象数据对应的编码数据(编码列)的序列数据部Dsq构成。
在所述编码列Bsb的所述标题区Hb中,作为标题信息包含有与所述水平标识符的信号(水平信号)Lst对应的编码H1和与识别编号信号Cid对应的编码H2。另外,在所述编码列Bsb的序列数据部Dsq中包含有表示输入图象的尺寸即输入图象纵象素数(h)和输入图象横象素数(w)的序列标题Sh。在此,具体地说,所述编码H2是把表示用于识别图17(a)所示的纵象素数计算用系数(Nαhpx)和横象素数计算用系数(Nαwpx)的识别编号的值的识别编号信号Cid编码而取得的。
图5是表示所述编码可否判定器108b的具体结构的图。
该编码可否判定器108b代替实施例1的编码可否判定器108a的最大纵象素数最大横象素数计算器201,包括:根据最大画面内象素数信息Ifpx、纵象素数计算用系数信息αhpx和横象素数计算用系数αwpx,计算可处理的最大纵象素数(H)和最大横象素数(W),输出表示该计算结果的信息Op3a和Op3b的计算器(最大纵象素数最大横象素数计算器)301。因此,该编码可否判定器108b的计算器306、第一比较运算器303、第二比较运算器304、16倍数值变换器302和逻辑积运算器305分别与实施例1的编码可否判定器108a的运算器206、第一比较运算器203、第二比较运算器204、16倍数值变换器202、逻辑积运算器205相同。
下面,就动作加以说明。
在本实施例2的动画图象编码装置10b的动作中,只有水平分析部100b、编码可否判定器108b、编码列生成器103的动作与所述实施例1的动画图象编码装置10a的动作不同。
因此,下面主要说明水平分析部100b、编码可否判定器108b、编码列生成器103的动作。
在实施例2的动画图象编码装置10b中,在进行输入图象的编码前,根据该动画图象编码装置10b的存储器等的结构和成为编码数据的供给对象的动画图象译码装置的存储器等的结构,从作为编码条件使用的预先设定的多个编码水平中选择所需水平,再从作为附加编码条件使用的多个识别编号的级别中选择给定的级别。具体地说,所述编码水平的选择是用户参照所述表T1进行,表示与通过用户操作选择的水平对应的水平标识符的水平信号Lst输入到该动画图象编码装置10b中。另外,用户参照所述表T2进行所述识别编号的级别的选择,表示与通过用户操作选择的级别对应的识别编号的识别编号信号Cid输入到该动画图象编码装置10b中。
在此,编码水平、最大画面内象素数、最大存储象素数与实施例1p40页12行相同。另外,在图17(a)所示的表T2中设定有4个识别编号的级别,各识别编号的级别与识别编号的值(1)~(4)对应。另外,识别编号的值(1)~(4)分别与纵象素计算用系数(Nαhpx)的具体数值以及横象素计算用系数(Nαwpx)的具体数值对应。
在该动画图象编码装置10b中,如果通过用户的操作而输入的水平信号Lst和识别编号信号Cid提供给水平分析部100b,则在水平分析部100b中,参照保持在内部的表T1(图15)和表T2(图17(a)),按照用户选择所述水平信号Lst表示的编码水平,输出最大画面内象素数信息Ifpx和最大存储象素数信息Ispx,在输出与由用户选择的所述识别编号信号Cid表示的识别编号等级相应的象素计算用系数信息αpx。该最大画面内象素数信息Ifpx和象素计算用系数信息αpx拉句p40页26行输入到最大参照图象幅数计算器109a中。
然后,如果动画图象(输入图象)的图象数据Id按显示时间顺序按各图象输入到图象存储器101中,就在该图象存储器101中依次存储与各图象对应的图象数据,从该图象存储器101把存储的图象数据SId按编码顺序输出为构成图象的各块(宏观块)。此时,从该图象存储器101,表示输入图象尺寸的信息(输入图象尺寸信息)Ipx输出到所述编码可否判定器108b和所述最大参照图象幅数计算器109a。
这样一来,在编码可否判定器108b中,根据来自图象存储器101的输入图象尺寸信息Ipx、来自水平分析部100b的最大画面内象素数信息Ifpx以及象素计算用系数信息αpx,进行对输入图象的编码的可否判定,把表示判定结果的信号(判定结果信号)CSjd向控制部110输出。
另外,在控制部110中,当该判定结果信号CSjd表示能对输入图象编码时,根据来自图象存储器101的图象数据SId切换进行图象数据的图象间预测编码的模式和进行图象数据的图象内预测编码的模式,并且输出对各部的控制信号。与所述实施例1同样,根据来自控制部110的与该判定结果信号CSjd对应的控制信号Sct1、Sct2、…Sctn,控制动画图象编码装置10b的各部。
另外,在最大参照图象幅数计算器109a中,根据最大存储象素数信息Ispx、输入图象纵象素数信息Ihpx和横象素数信息Iwpx,计算最大参照图象幅数(Nrpn),输出表示该计算出的个数(Nrpn)的信息(最大参照图象幅数信息)Irpn。
而且,在本实施例2中,当选择了图象间预测编码模式时,与实施例1同样,进行对输入图象的图象间预测编码,当选择了图象内预测编码模式时,与实施例1同样,进行对输入图象的图象内预测编码。
但是,在本实施例2中,当选择了图象间预测编码模式时,由编码列生成器103生成对从预测残差编码器102输出的预测残差编码数据Cd的编码列,该编码列与和来自移动向量检测器106的移动向量MV对应的编码、和来自控制部110的模式信号Ms对应的编码、与水平信号Lst对应的编码、与识别编号信号Cid对应的编码一起作为编码列Bsb输出(参照图14(b))。另外,在选择了图象内预测编码模式时,由编码列生成器103生成对从编码器102输出的编码数据Cd的编码列,该编码列与和来自控制部110的模式信号Ms对应的编码、与水平信号Lst对应的编码、与识别编号信号Cid对应的编码一起作为编码列Bsb输出(参照图14(b))。
下面,参照图5说明所述动画图象编码装置10b的编码可否判定器108b的具体动作。
在本实施例2的动画图象编码装置10b的编码可否判定器108b中,根据以下的条件式(表达式1)、(表达式2a)、(表达式2b)、(表达式8a)、(表达式8b),判定输入图象的编码的可否。须指出的是,所述(表达式1)、(表达式2a)、(表达式2b)是权利要求3所述的,所述(表达式8a)、(表达式8b)是权利要求9所述的。
H=Nfpx÷Nαhpx  (表达式8a)
W=Nfpx÷Nαwpx  (表达式8b)
须指出的是,Nfpx是最大画面内象素数,H是能用动画图象编码装置10b编码的输入图象的最大纵象素数,W是能用动画图象编码装置10b编码的输入图象的最大横象素数。Nαhpx是纵象素数计算用系数,Nαwpx是横象素数计算用系数。
首先,在编码可否判定器108b中,与实施例1的编码可否判定器108a同样,根据从图象存储器101输出的输入图象尺寸信息Ipx中包含的输入图象纵象素数信息Ihpx以及横象素数信息Iwpx,进行所述(表达式1)所示的运算处理。即通过乘法运算器306进行求出输入图象的纵象素数(h)和横象素数(w)的积(h×w)的乘法处理,再通过第一比较运算器303进行乘法处理结果(h×w)和最大画面内象素数(Nfpx)的比较。从第一比较运算器303向逻辑积运算器305输出表示比较结果的比较结果信号Scm1。
接着,在编码可否判定器108b中,根据所述画面内象素数信息Ifpx、所述纵象素计算用系数信息αhpx和横象素计算用系数信息αwpx,通过最大纵象素数最大横象素数计算器301计算由所述(表达式8a)表示的最大纵象素数(H)和由(表达式8b)表示的最大横象素数(W)。
在此,(表达式8a)和(表达式8b)表示最大纵象素数(H)和最大横象素数(W)分别变为把最大画面内象素(Nfpx)除以纵象素计算用系数(Nαhpx)以及横象素计算用系数(Nαwpx)取得的值。
表示通过所述最大纵象素数最大横象素数计算器301取得的最大纵象素数(H)和最大横象素数(W)的运算结果信号Op3a和Op3b输入16倍数值变换器302中,在16倍数值变换器302中,与实施例1的16倍数值变换器202同样进行对最大纵象素数(H)和最大横象素数(W)的舍入处理。然后,从16倍数值变换器302向第二比较运算器304输出表示把最大纵象素数(H)舍入为16的倍数值的值(round1(H))的舍入运算信息Trnd1和表示把最大横象素数(W)舍入为16的倍数值的值(round2(H))的舍入运算信息Trnd2。
在第二比较运算器304中,根据所述象素数信息Ihpx、Iwpx和所述舍入运算信息Trnd1、Trnd2,进行所述输入图象纵象素数(h)和最大纵象素数(H)的比较(纵象素数比较)、所述输入图象横象素数(w)和最大横象素数(W)的比较(横象素数比较),向所述逻辑积运算器305输出表示纵象素数比较结果的比较结果信号Scm2a和表示横象素数比较结果的比较结果信号Scm2b。
然后,在逻辑积运算器305中,运算从所述比较运算器303和304输出的比较结果信号Scm1、Scm2a、Scm2b的逻辑积,输出表示最终的编码可否的判别结果的信号CSjd。
这样,在本实施例2的动画图象编码装置10b中,包括:根据由用户输入的水平信号(水平标识符的信号)Lst,决定可编码处理的最大画面内象素(Nfpx)和译码装置的图象存储器中可存储的最大存储象素数(Nspx),再根据由用户操作输入的识别编号信号Cid,决定表示纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的象素检测用系数信息αpx的水平分析部100b。根据最大画面内象素(Nfpx)、纵象素计算用系数(Nαhpx)、横象素计算用系数(Nαwpx)和输入图象尺寸(纵象素数(h)和横象素数(w)),进行对输入图象的编码的可否判定,并且计算图象间预测编码时可参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,所以在成为来自动画图象编码装置10b的编码列的供给对象的译码装置中,总能良好地对该编码列译码,能进行与编码一侧的图象预测编码对应的图象间预测译码。据此,能设计与对存储区不设置容量限制的编码方式对应的编码装置和译码装置的存储区。
另外,在本实施例2中,分别用最大画面内象素数(Nfpx)除以纵象素数计算用系数(Nαhpx)以及横象素数计算用系数(Nαwpx),求出最大纵象素数(H)和最大横象素数(W),所以与实施例1相比,求出最大纵象素数(H)和最大横象素数(W)的处理变得简单。
须指出的是,在所述实施例2中,与最大画面内象素数(Nfpx)以及最大存储象素数(Nspx)对应的水平标识符、与纵象素计算用系数(Nαhpx)以及横象素计算用系数(Nαwpx)对应的识别编号分别为表示独立编码条件的参数,但是可以把识别编号的值与水平标识符的值产生关联。
此时,如果决定了编码水平,就根据决定的水平表示的水平标识符的值,决定最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体数值、纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的具体数值。如果表示由用户操作决定的编码水平的水平信号Lst输入到水平分析部100b中,则从水平分析部100b,根据水平信号(水平标识符)Lst,输出表示最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的信息Ifpx和Ispx,再根据与水平标识符对应的识别编号信号,输出象素数计算用系数αpx。另外,在编码列Bsb中只包含与水平信号Lst对应的编码H1,与识别编码信号Cid对应的编码H2不向译码一侧发送。
另外,在所述实施例2中,作为动画图象编码装置,表示了把由用户选择的最大画面内象素数(Nfpx)和最大存储象素数(Nspx)所对应的水平信号Lst的编码H1、由用户选择的纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)所对应的识别编码信号Cid的编码H2向译码一侧发送,但是把表示由用户选择的任意纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的象素计算用系数信息αpx编码,用编码的象素计算用系数信息αpx代替识别编码信号Cid的编码H2向译码一侧发送。
此时,最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体数值为表示根据表T1选择的编码水平的水平标识符所对应的值,但是纵象素数计算用系数(Nαhpx)和横象素数计算用系数(Nαwpx)的具体数值,由用户决定为任意的值。即如果表示通过用户操作决定的编码水平的水平信号Lst输入到水平分析部100b中,就从水平分析部100b,向编码可否判定器108b输出根据水平信号Lst从表T1决定的表示最大画面内象素数(Nfpx)的信息Ifpx,向最大参照图象幅数计算器109a输出表示从表T1决定的最大存储象素数(Nspx)的信息Ispx。另外,在编码可否判定器108b,直接从外部素如表示由用户决定的纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的具体数值的象素计算用系数信息αpx。而且,编码列Bsb包含与水平信号Lst对应的编码H1和与象素计算用系数信息αpx对应的编码,与水平信号Lst对应的编码H1和与象素计算用系数信息αpx对应的编码向译码一侧发送。
在所述实施例2中,作为表示多个识别编号的值和纵象素计算用系数以及横象素计算用系数的对应关系的表,使用对多个识别编号的值使纵象素计算用系数和横象素计算用系数的组对应的表T2(参照图17(a)),但是代替该表T2,也可以使用使识别编号的值和纵象素计算用系数产生关联的表T2a(图17(b))、使识别编号的值和横象素计算用系数产生关联的表T2b(图17(c))。
另外,在所述实施例2中,表示了根据图17(a)所示的表T2决定基于用户的识别编号的值,但是代替图17(a)的表T2,可以使用以下的(表达式9)决定基于用户的识别编号。
(识别编号)=transB(纵象素数计算用系数,横象素数计算用系数)(表达式9)
transB()是表示把纵象素数计算用系数和横象素数计算用系数作为自变量提供识别编号的值的运算的记号。
另外,代替表示识别编号的值和纵象素计算用系数的对应关系的表T2a(图17(b))、表示识别编号的值和横象素计算用系数的对应关系的表T2b(图17(c)),可以使用以下的(表达式9a)和(表达式9b)。
(识别编号的值)=transBa(纵象素计算用系数)(表达式9a)
(识别编号的值)=transBb(横象素计算用系数)(表达式9b)
transBa()是表示把纵象素数计算用系数作为自变量提供识别编号的值的运算的记号,根据所述(表达式9a),用户如果指定能用动画图象编码装置编码的输入图象的纵象素计算用系数,就决定了对应的识别编号的值。
另外,transBb()是表示把横象素数计算用系数作为自变量提供识别编号的值的运算的记号,根据所述(表达式9b),用户如果指定能用动画图象编码装置编码的输入图象的横象素计算用系数,就决定了对应的识别编号的值。
另外,在所述实施例1中,通过(表达式1)、(表达式2a)、(表达式2b)、(表达式3a)、(表达式3b)求出最大纵象素数(H)和最大横象素数(W),另外,在所述实施例2中,通过(表达式1)、(表达式2a)、(表达式2b)、(表达式8a)、(表达式8b)求出最大纵象素数(H)和最大横象素数(W),但是求出最大纵象素数(H)和最大横象素数(W)的方法并不局限于所述实施例1和2。
(实施例3)
图6是用于说明本发明实施例3的动画图象编码装置10c的框图。
本实施例3的动画图象编码装置10c代替实施例1的动画图象编码装置10a的水平分析部100a和编码可否判定器108,包括:根据输入水平信号Lst和识别编码信号Sid,输出最大画面内象素数信息Ifpx、最大存储象素数信息Ispx、表示最大图象尺寸的信息(最大图象尺寸信息)Impx的水平分析部100c;根据最大画面内象素数信息Ifpx、最大图象尺寸信息Impx和输入图象尺寸信息Ipx,判定能否对输入图象编码的编码可否判定器108c。
在此,所述识别编码信号Sid表示由用户操作决定的识别编号的值,该识别编号识别附加编码条件的最大图象尺寸的具体数值。另外,所述水平分析部100c具有图15所示的表T1的信息和图18(a)所示的表T3的信息。该表T1表示水平标识符的值和最大画面内象素数以及最大存储象素数的对应关系。该表T3表示识别编号的值和最大纵向素数(H)及最大横象素数(W)的对应关系。另外,最大图象尺寸信息Impx由表示最大纵象素数(H)的信息(最大纵象素数信息)Imhpx和表示最大横象素数(W)的信息(最大横象素数信息)Imwpx构成。另外,所述动画图象编码装置10c的编码列生成器103把预测残差编码器102的输出数据(编码数据)Cd可变长编码,并且输出在由该可变长编码取得的编码列中附加与移动向量MV、模式Ms、入水平信号Lst和识别编码信号Sid对应的编码而取得的编码列Bsc。
本实施例3的动画图象编码装置10c的其他结构与实施例1的动画图象编码装置10a的相同。
图14(c)表示与输入图象对应的编码列Bsc的数据构造。
该编码列Bsc由存储有各种标题信息的标题区Hc和存储有与各图象的图象数据对应的编码数据(编码列)的序列数据部Dsq构成。
在所述编码列Bsc的标题区Hc中包含有与所述水平标识符对应的编码H1和与识别编码信号Sid对应的编码H3。另外,在所述编码列Bsc的序列数据部Dsq中包含有表示输入图象尺寸即输入图象纵象素数和输入图象横象素数的序列标题Sh。在此,具体地说,所述编码H3是把表示用于识别图18(a)所示的最大纵象素数和最大横象素数的识别编号的值的识别编号信号Sid编码而取得的。
图7是表示所述编码可否判定器108c的具体结构的图。
该编码可否判定器108c只有实施例1的编码可否判定器108a的运算器206、第一比较运算器203、第二比较运算器204、逻辑积运算器205构成,在所述第二比较运算器204中,代替实施例1的编码可否判定器108a中的16倍数值变换器202的输出Trnd1和Trnd2,作为表示来自水平分析部100c的最大图象尺寸的信息(最大图象尺寸信息)Impx,输入表示最大纵象素数(H)的最大纵象素数信息Imhpx和表示最大横象素数(W)的信息的最大横象素数信息Imwpx。
下面,就动作加以说明。
本实施例3的动画图象编码装置10c的动作中,只有水平分析部100c、编码可否判定器108c、编码列生成器103的动作与所述实施例1的动画图象编码装置10a的动作不同。
在本实施例3的动画图象编码装置10c中,在进行输入图象的编码前,根据该动画图象编码装置10c的存储器等的结构和成为编码数据的供给对象的动画图象译码装置的存储器等的结构,从作为编码条件使用的预先设定的多个编码水平中选择所需水平,再从作为附加编码条件使用的多个识别变号的级别中选择给定的级别。具体地说,所述编码水平的选择是用户参照所述表T1进行,表示通过用户操作选择的水平的水平信号(水平标识符)Lst输入到该动画图象编码装置10c中。另外,用户参照所述表来进行所述识别编号的级别的选择,表示与通过用户操作选择的级别对应的识别编号的识别编号信号Sid输入到该动画图象编码装置10c中。
在此,编码水平、最大画面内象素数以及最大存储象素数与实施例1的相同。另外,在图18(a)所示的表T3中设定有四个识别编号的级别,各识别编号的级别与识别编号的值(1)~(4)对应。另外,识别编号的值(1)~(4)分别与最大纵象素数(H)以及最大横象素数(W)的具体数值具有关联。
在本动画图象编码装置10c中,如果由用户的操作输入的水平信号Lst和识别编码信号Sid提供给水平分析部100c,则在该水平分析部100c中,参照保持在内部的表T1(图15)和表T3(图18(a)),输出与由用户选择的所述水平信号Lst表示的编码水平对应的最大画面内象素数信息Ifpx和最大存储象素数信息Ispx,再输出与由用户选择的所述识别编码信号Sid表示的识别编号的级别对应的最大图象尺寸信息Impx。该画面内最大象素数信息Ifpx和最大图象尺寸信息Impx输入到编码可否判定器108c中,最大存储象素数信息Ispx输入到最大参照图象幅数计算器109a中。
而且,如果动画图象(输入图象)的图象数据Id按显示时间顺序按各图象输入到图象存储器101中,就在该图象存储器101中依次存储与各图象对应的图象数据,从该图象存储器101把存储的图象数据SId按编码顺序输出为构成图象的各块(宏观块)。此时,从该图象存储器101,表示输入图象尺寸的信息(输入图象尺寸信息)Ipx输出到所述编码可否判定器108c和所述最大参照图象幅数计算器109a。
这样,在编码可否判定器108c中,根据从图象存储器101输出的输入图象尺寸信息Ipx、从水平分析部100c输出的最大画面内象素数信息Ifpx以及最大图象尺寸信息Impx,进行对输入图象的编码的可否判定,把表示判定结果的信号(判定结果信号)CSjd向控制部110输出。
另外,在控制部110中,当该判定结果信号CSjd表示能对输入图象编码时,根据来自图象存储器101的图象数据SId切换进行图象数据的图象间预测编码的模式和进行图象数据的图象内预测编码的模式,并且输出对各部的控制信号。与所述实施例1同样,根据来自控制部110的与该判定结果信号CSjd对应的控制信号Sct1、Sct2、…Sctn,控制动画图象编码装置10c的各部。
另外,在最大参照图象幅数计算器109a中,根据最大存储象素数信息Ispx、输入图象纵象素数信息Ihpx和横象素数信息Iwpx,计算最大参照图象幅数(Nrpn),输出表示该计算出的个数(Nrpn)的信息(最大参照图象幅数信息)Irpn。
而且,在本实施例3中,当选择了图象间预测编码模式时,与实施例1同样,进行对输入图象的图象间预测编码,当选择了图象内预测编码模式时,与实施例1同样,进行对输入图象的图象内预测编码。
但是,在本实施例3中,当选择了图象间预测编码模式时,由编码列生成器103生成对从预测残差编码器102输出的预测残差编码数据Cd的编码列,该编码列与和来自移动向量检测器106的移动向量MV对应的编码、和来自控制部110的模式信号Ms对应的编码、与水平信号Lst对应的编码、与识别编号信号Sid对应的编码一起作为编码列Bsc输出(参照图14(c))。另外,在选择了图象内预测编码模式时,由编码列生成器103生成对从编码器102输出的编码数据Cd的编码列,该编码列与和来自控制部110的模式信号Ms对应的编码、与水平信号Lst对应的编码、与识别编号信号Sid对应的编码一起作为编码列Bsc输出(参照图14(c))。
下面,参照图7说明所述动画图象编码装置10c的编码可否判定器108c的具体动作。
在本实施例3的动画图象编码装置10c的编码可否判定器108c中,根据所述条件式(表达式1)、(表达式2a)、(表达式2b)判定输入图象的编码的可否。即根据(表达式1)、(表达式2a)、(表达式2b)、图18(a)所示的表T3的信息求出最大纵象素数(H)和最大横象素数(W)。须指出的是,所述(表达式1)、(表达式2a)、(表达式2b)是权利要求3所述的。
具体地说,在本实施例3中,水平分析部100c具有图18(a)所示的表T3,在所述实施例3的编码可否判定器108c中,表示从水平分析部100c根据表T3输出的最大纵象素数(H)和最大横象素数(W)的信息Imhpx和Imwpx直接输入到第二比较运算器204中。
而且,在第二比较运算器204中,进行所述输入图象纵象素数(h)和最大纵象素数(H)的比较、所述输入图象横象素数(w)和最大横象素数(W)的比较(横象素数比较),向所述逻辑积运算器205输出表示纵象素数比较结果的比较结果信号Scm2a和表示横象素数比较结果的比较结果信号Scm2b。
这样,在本实施例3的动画图象编码装置10c中,具有根据由用户操作取得的水平信号(水平标识符的信号)Lst,决定可编码处理的最大画面内象素数(Nfpx)和译码装置的图象存储器中可存储的最大存储象素数(Nspx),再根据由用户操作输入的识别编码信号Sid,决定最大纵象素数(H)和最大横象素数(W)的水平分析部100c。根据最大画面内象素数(Nfpx)、最大纵象素数(H)、最大横象素数(W)、和输入图象尺寸(纵象素数(h)和横象素数(w)),判定可否进行对输入图象的编码,并且计算图象间预测编码时可参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,所以在成为来自动画图象编码装置10c的编码列供给对象的译码装置中,总能良好地把该编码列译码,能进行与编码一侧的图象间预测编码对应的图象间预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的编码装置和译码装置的存储区。
另外,在本实施例3中,作为最大纵象素数(H)和最大横象素数(W),使用从水平分析部100c提供的信息Impx表示的值,所以与实施例1相比,求出最大纵象素数(H)和最大横象素数(W)的处理变得简单。
须指出的是,在所述实施例3中,与最大画面内象素数(Nfpx)和最大存储象素数(Nspx)对应的水平标识符、与最大纵象素数(H)和最大横象素数(W)对应的识别编号分别是表示独立的编码条件的参数,但是也可以是识别编号的值与水平标识符的值具有关联。
此时,最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体值为与表示根据表T1选择的编码水平的水平标识符对应的值,最大纵象素数(H)和最大横象素数(W)的具体数值为与根据表T3选择的编码水平具有关联的识别编号所对应的值。即如果表示由用户操作决定的编码水平的水平信号Lst输入到水平分析部100c,就从水平分析部100c,根据水平信号Lst输出表示最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的信息Ifpx和Ispx,再根据与水平标识符对应的识别编号输出最大图象尺寸信息Impx。另外,在编码列Bsc中只包含与水平信号Lst对应的编码H1,与识别编码信号Sid对应的的编码H3不向译码一侧发送。
另外,在所述实施例3中,作为动画图象编码装置,表示了把由用户选择的最大画面内象素数(Nfpx)和最大存储象素数(Nspx)所对应的水平信号Lst的编码、用户选择的最大纵象素数(H)和最大横象素数(W)所对应的识别编码信号Sid的编码H3向译码一侧发送,但是也可以把表示由用户选择的任意最大纵象素数(H)和最大横象素数(W)的最大图象尺寸信息Impx编码,用编码的最大象素数信息代替识别编码信号Sid的编码H3向译码一侧发送。
此时,最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体数值为表示根据表T1选择的编码水平的水平标识符所对应的值,但是有关最大纵象素数(H)和最大横象素数(W)的具体数值,由用户决定为任意的值。即如果表示通过用户操作决定的编码水平的水平信号Lst输入到水平分析部100c中,就从水平分析部100c,向编码可否判定器108c输出根据水平信号Lst从表T1决定的表示最大画面内象素数(Nfpx)的信息Ifpx,向最大参照图象幅数计算器109a输出表示从表T1决定的最大存储象素数(Nspx)的信息Ispx。另外,从外部直接向编码可否判定器108c输入表示由用户决定的最大纵象素数(H)和最大横象素数(W)的具体数值的最大图象尺寸信息Impx。而且,编码列Bsc包含与水平信号Lst对应的编码H1、与最大图象尺寸信息Impx对应的编码,与水平信号Lst对应的编码H1、与最大图象尺寸信息Impx对应的编码发送给译码一侧。
进而,在所述实施例3中,作为表示多个识别编号的值与最大纵象素数以及最大横象素数的对应关系的表,使最大纵象素数和最大横象素数的组与多个识别编号的值对应的表T3(参照图18(a)),但是代替该表T3,也可以使用把识别编号的值与最大纵象素数(H)产生关联的表T3a(图18(b))和把识别编号的值与最大横象素数(W)产生关联的表T3b(图18(c))。表T3、T3a、T3b的最大纵象素数和最大横象素数的组合的个数和值当然并不局限于图18(a)~图18(c)所示。
在所述各实施例1-3的说明中,表示了通过(表达式2a)和(表达式2b)进行可编码的输入图象的纵象素数和横象素数的限制的情形,但是,可编码的输入图象的尺寸限制可以只限制纵象素数和横象素数中的任意一方。
不使用所述各实施例所示的(表达式2a)、(表达式2b)、(表达式3a)、(表达式3b)、(表达式8a)、(表达式8b),只通过由(表达式1)表示的最大画面内象素数、输入图象的纵象素数和横象素数的比较,也能判定对输入图象的编码的可否。
另外,在所述实施例3中,表示了根据图18(a)所示的表T3进行基于用户的识别编号值的决定,但是也可以代替图18(a)的表T3,使用以下的(表达式10)进行基于用户的识别编号的决定。
(识别编号)=transC(最大纵象素数,最大横象素数)(表达式10)
transC()是表示把最大纵象素数和最大横象素数作为自变量提供识别编号的运算的几号,根据该(表达式10),用户如果指定用动画图象编码装置能编码的输入图象的最大纵象素数和最大横象素数,就决定了对应的识别编号的值。
另外,可以代替表示识别编号的值和最大纵象素数的对应的表T3a(图18(b))、表示识别编号的值和最大横象素数的对应关系的表T3b(图18(c)),使用以下的(表达式10a)和(表达式10b)。
(识别编号)=transCa(最大纵象素数)(表达式10a)
(识别编号)=transCb(最大横象素数)(表达式10b)
transCa()是把最大纵象素数作为自变量提供识别编号的值的运算的记号,根据所述(表达式10a),如果用户指定用动画图象编码装置能编码的输入图象的最大纵象素数,就决定了对应的识别编号的值。
另外,transCb是把最大横象素数作为自变量提供识别编号的值的运算的记号,根据所述(表达式10b),如果用户指定用动画图象编码装置能编码的输入图象的最大横象素数,就决定了对应的识别编号的值。
(实施例4)
图8是用于说明本发明实施例4的动画图象编码装置10d的框图。
本实施例4的动画图象编码装置10d代替实施例1的动画图象编码装置10a的最大参照图象幅数计算器109a,包括:根据输入图象的尺寸信息Ipx(输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx)、最大存储象素数信息Ispx和显示等待图象数信息Idwp,就算最大参照图象幅数(Nrpn),输出表示计算的值(Nrpn)的信息(最大参照图象幅数信息)Irpn的最大参照图象幅数计算器109d。
在此,所述显示等待图象数信息Idwp是表示等待显示的图象的幅数,该等待显示的图象如使用图26说明的那样,是不作为参照图象使用的完成了译码的图象,即是在进行其显示之前,其图象数据存储在译码装置的图象存储器中的图象。另外,本实施例4中的图象存储器管理为如果该图象的显示结束,就把不作为参照图象使用的图象的图象数据立刻从图象存储器删除的与译码装置中的图象存储器管理对应的管理。
本实施例4的动画图象编码装置10d的其他结构与实施例1的动画图象编码装置10a相同。
图9是表示所述最大参照图象幅数计算器109d的具体结构的图。
该最大参照图象幅数计算器109d除了实施例1的最大参照图象幅数计算器109a的乘法器401、除法器402、减法器403和常数存储部404,还包括:根据来自图象存储器105的图象幅数信息Idwp,从所述减法器403的运算输出Sd1表示的个数减去图象存储器中的显示等待图象幅数(Ndwp)的减法器405,把该减法器405的输出信号Sd2作为最大参照图象幅数信息Irpn输出。
下面,就动作加以说明。
本实施例4的动画图象编码装置10d的动作中,只有最大参照图象幅数计算器109d的动作与所述实施例1的动画图象编码装置10a的动作不同。
因此,下面,参照图9只说明最大参照图象幅数计算器109d的动作。
本实施例4的动画图象编码装置10d的最大参照图象幅数计算器109d中,通过以下的(表达式11)所示的运算,计算在图象间预测编码中使用的参照候补图象的最大幅数。须指出的是,所述(表达式11)是权利要求6所述的。
Nrpn=Nspx÷(h×w)-1-Ndwp(表达式11)
须指出的是,h是输入图象(编码对象图象)的纵象素数,w是输入图象(编码对象图象)的横象素数。Nrpn是最大参照图象幅数,Nspx是最大存储象素数,Ndwp是显示等待译码完成图象的幅数。在本实施例4中,最大存储象素数Nspx是把由本动画图象编码装置10d取得的编码列译码的动画图象译码装置的图象存储器中存储有其图象数据的全部存储图象的象素数总和的最大值。该存储图象相当于参照用图象、译码对象图象、显示等待译码完成图象。
在该最大参照图象幅数计算器109d中,根据输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx,计算输入图象的尺寸即1画面的总象素数(h×w)。即在乘法器401中,急性输入图象纵象素数信息Ihpx表示的输入图象纵象素数(h)和输入图象横象素数信息Iwpx表示的横象素数(w)的乘法,输出表示该乘法结果(h×w)的运算输出Shw。
在除法器402中,根据来自乘法器401的运算输出Shw和来自水平分析部100a的最大存储象素数信息Ispx,进行把最大存储象素数(Nspx)除以乘法结果(h×w)的运算,输出表示除法结果(Nspx/(h×w))的运算输出信号Dpm。
在减法器403中,根据所述除法器402的输出信号Dpm和来自常数存储部404的数值信息Sn1,进行从除法结果(Nspx/(h×w))减1的运算处理,输出表示减法结果(Nspx/(h×w)-1)的减法输出信号Sd1。
在减法器405中,根据减法输出信号Sd1和来自图象存储器的图象幅数信息Idwp,通过从所述减法结果(Nspx/(h×w)-1)减去显示等待图象幅数(Ndwp),决定最大参照图象幅数。
在此,在所述减法器403和405中,之所以从所述除法结果(Nspx/(h×w))减去1和显示等待图象幅数(Ndwp),是因为在译码装置的图象存储器中,除了进行图象间预测译码时使用的参照候补图象的图象数据,还有必要存储作为译码对象的对象图象和等待显示的图象的译码了的图象数据。
这样,在本实施例4的动画图象编码装置10d中,具有根据表示由用户指定的编码水平的水平信号Lst决定能编码处理的最大画面内象素数(Nfpx)和译码装置的图象存储器中能存储的最大存储象素数(Nspx)的水平分析部100a,根据最大画面内象素数(Nfpx)和输入图象尺寸(纵象素数Nhpx和横象素数Nwpx),进行对输入图象的编码的可否判定,并且计算在图象间预测编码时可参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,所以在成为来自动画图象编码装置10b的编码列的供给对象的译码装置中,该编码列总能良好地把该编码列译码,能进行与编码一侧的图象间预测编码对应的图象间预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的编码装置和译码装置的存储区。
另外,在本实施例4中,考虑显示等待图象幅数(Ndwp)决定存储在图象存储器中的最大参照图象幅数,所以能按照图象数据的处理状况,高效利用存储参照着候补图象的图象数据的图象存储器。
须指出的是,在所述实施例4中,最大存储象素数Nspx是把来自由动画图象编码装置10d取得的编码列译码的动画图象译码装置的图象存储器中存储有器图象数据的全部存储图象的象素数总和最大值。以该存储图象相当于参照用图象、译码对象图象、显示等待译码完成图象时的情形为例进行了说明,但是最大存储象素数可以定义为不包含译码对象图象的象素数。
此时,代替所述(表达式11),使用以下的(表达式11a)。
Nrpn=Nspx÷(h×w)-Ndwp(表达式11a)
而且,在图9所示的最大参照图象幅数计算器109d中,不进行从所述除法结果(Nspx/(h×w))减去1的处理,决定最大参照图象幅数。
在此,h是编码对象图象的纵象素数,w是编码对象图象的横象素数,Nrpn是最大参照图象幅数,Nspx是最大存储象素数,Ndwp是显示等待图象幅数。
另外,在所述实施例4中,图象存储器的管理是如果该图象的显示结束,就把不作为参照图象使用的图象的图象数据立刻从图象存储器删除的与译码装置中的图象存储器管理对应的管理,但是,删除不作为参照图象使用的图象的图象数据的定时有时是所述实施例4所示的显示之后的定时以外。
例如,本实施例4的图象存储器的管理也可以是在显示了该图象后,只经过1图象的显示时间后,从该图象存储器删除删除存储在图象存储器中的不作为参照图象使用的图象的图象数据的与译码装置中的图象存储器的管理对应的管理。
(实施例5)
图10是用于说明本发明实施例5的动画图象译码装置50a的框图。
本实施例5的动画图象译码装置50a接收与构成动画图象的多个图象对应的编码列,把该编码列按一定的数据处理单位即各块译码。具体地说,本动画图象译码装置50a把由实施例1的动画图象编码装置10a生成的编码列Bsa(参照图14(a))译码。在此,该块是纵向和横向的象素数为16的宏观块。
即该动画图象译码装置50a包括:分析输入的编码列Bsa,输出存储在该编码列Bsa的标题区Ha中的各种标题信息、存储在该编码列Bsa的序列数据部Dsq中的数据的编码列分析器501。在此,在所述标题区Ha中,在标题信息之一中包含水平标识符H1。另外,在所述序列数据部Dsq中包含序列标题Sh,另外,包含与各宏观块对应的编码模式信息Ms、编码数据Cd、移动向量的信息MV等。在所述序列标题Sh中包含:表示在编码一侧成为编码处理对象的输入图象尺寸的信息(输入图象尺寸信息)Ipx。该输入图象尺寸信息Ipx由表示输入图象纵象素数(Nhpx)的信息Ihpx和表示输入图象横象素数(Nwpx)的信息Iwpx构成。
动画图象译码装置50a包括:把来自所述编码列分析器501的编码数据Cd译码展开,输出对象块的译码差分数据Dd的预测残差译码器502;把该对象块的译码差分数据Dd和所述对象块的预测数据Pd相加,输出对象块的图象数据(以下,称作译码数据)Rd的加法运算器511;存储预测残差译码器502的输出数据Dd和加法运算器511的输出数据Rd的一方,并且根据图象指定信号DSpd,把存储的译码数据Ed作为对象块的译码时参照的图象的数据DRd输出的图象存储器503。在此,在该图象存储器503中,按译码顺序排列的完成了译码的图象的图象数据重新按显示顺序排列,从该图象存储器503,按各图象把重新按显示顺序排列的完成了译码的图象的图象数据作为输出图象的图象数据Od输出。
动画图象译码装置50a包括:根据来自所述编码列分析器501的移动向量MV、图象存储器503的输出数据(参照候补图象的数据)DRd,生成对对象块的预测数据Pd的移动补偿译码器504;存储提供给该移动补偿译码器504的块的移动向量MV的移动向量存储器505。
动画图象译码装置50a包括:选择所述预测残差译码器502的输出数据Dd和加法运算器511的输出数据Rd的一方,把选择的数据作为选择数据Ed输出的选择开关508。在此,所述选择开关508具有两个输入端子Tc1、Tc2和一个输出端子Td,按照开关控制信号,该输出端子Td连接在所述两个输入端子Tc1、Tc2的一方上。
而且,在实施例5的动画图象译码装置50a包括:根据来自编码列分析器501的表示编码水平的水平信号(水平标识符)Lst,输出表示能译码处理的最大画面内象素数(Nfpx)的信息(最大画面内象素数信息)Ifpx、表示相当于能存储在译码装置的图象存储器中的最大图象数据的象素数(最大存储象素数(Nspx))的信息(最大存储象素数信息)Ispx的水平分析部509a。该水平分析部509a具有图15所示的表T1的信息。该表T1表示水平标识符的值和最大画面内象素数以及最大存储象素数的关系。
动画图象译码装置50a包括:根据从水平分析部509a输出的最大画面内象素数信息Ifpx、从编码列分析器501输出的表示输入图象纵象素数(h)和横象素数(w)的信息(输入图象尺寸信息)Ipx,进行对输入的编码列的译码的可否判定,输出表示结果的信号(判定结果信号)DSjd的判定器(译码可否判定器)506a。另外,动画图象译码装置50a包括:根据最大存储象素数信息Ispx和输入图象尺寸信息Ipx,计算图象间预测译码时能参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,输出表示该计算的个数Nrpn的信息(最大参照图象幅数信息)Irpn的计算器(最大参照图象幅数计算器)507a。
所述动画图象译码装置50a包括:根据所述判定结果信号DSjd和来自编码列分析器501的编码模式信息Ms,通过控制信号Dct1、Dct2、…Dctn,控制构成所述动画图象译码装置50a的各部的动作的控制部510。该控制部510按照来自所述编码列分析器501的模式信号Ms表示的编码模式,通过给定控制信号控制所述开关508。另外,该控制部510按照所述判定结果信号DSjd,通过控制信号Dct1、Dct2、…Dctn,控制所述预测残差译码器502和移动补偿译码器504等的动作。即该控制部510当判定结果信号DSjd表示能进行对输入的编码列Bsa的译码时,控制所述预测残差译码器502和移动补偿译码器504进行对输入的编码列Bsa的译码,当判定结果信号DSjd表示不能进行对输入的编码列Bsa的译码时,控制所述预测残差译码器502和移动补偿译码器504不进行对输入的编码列Bsa的译码。
另外,本实施例5的动画图象译码装置50a的译码可否判别器506a的具体结构与图2所示的实施例1的动画图象编码装置10a的编码可否判定器108a完全相同。
另外,本实施例5的动画图象译码装置50a中的最大参照图象幅数计算器507a的具体结构与图3所示的实施例1的动画图象编码装置10a的最大参照图象幅数计算器109a完全相同。
下面就动作加以说明。
如果所述编码列Bsa输入到本动画图象译码装置50a中,则首先在编码列分析器501中,通过编码列Bsa的分析,从该编码列Bsa抽出编码模式信息Ms、移动向量信息MV和编码数据Cd等各种信息。此时,也同时抽出所述编码列Bsa的标题区Ha中包含的各种标题信息,向水平分析部509a、译码可否判别器506a、最大参照图象幅数计算器507a输出。
在该水平分析部509a中,按照所述标题区Ha中包含的一个标题信息H1所对应的水平信号Lst,参照内部保持的表T1(图15),决定最大画面内象素数(Nfpx)和最大存储象素数(Nspx),输出画面内最大象素数信息Ifpx和最大存储象素数信息Ispx。该画面内最大象素数信息Ifpx输入到译码可否判别器506a中,该最大存储象素数信息Ispx输入到最大参照图象幅数计算器507a中。
这样,在译码可否判别器506a中,根据来自水平分析部509a的画面内最大象素数信息Ifpx、由编码列分析器501从所述编码列Bsa的序列标题Sh抽出的输入图象尺寸信息Ipx(输入图象纵象素数信息Ihpx和横象素数信息Iwpx),进行对输入的编码列Bsa的译码的可否判定,向控制部510输出表示判定结果的信号(判定结果信号)DSjd。
该控制部510当判定结果信号DSjd表示输入的编码列Bsa的译码是可能时,根据控制信号Dct1、Dct2、…Dctn控制动画图象译码装置50a地各部进行对该输入的编码列Bsa的译码处理,当该判定结果信号DSjd表示对输入的编码列Bsa的译码是不可能时,根据控制信号Dct1、Dct2、…Dctn控制动画图象译码装置50a不进行对该输入的编码列Bsa的译码处理。
在控制部510中,当该判定结果信号DSjd表示输入的编码列Bsa的译码是可能时,按照来自编码列分析器501的模式信号Ms表示的编码模式,切换进行编码列Bsa的图象间预测译码的模式和进行编码列Bsa的图象内预测译码的模式。
而且,当由控制部510选择了进行图象间预测译码的模式时,通过来自控制部510的给定控制信号控制开关508,把输出端子Td连接在第二输入端子Tc2上。而当由控制部510选择了进行图象内预测译码的模式时,通过来自控制部510的给定控制信号控制开关508,把输出端子Td连接在第一输入端子Tc1上。
另外,在最大参照图象幅数计算器507a中,根据最大存储象素数信息Ispx、输入图象纵象素数信息Ihpx和横象素数信息Iwpx,计算图象间预测译码时可参照的参照候补图象(最大参照图象幅数)Nrpn,向移动补偿译码器504输出表示该计算出的个数Nrpn的信息(最大参照图象幅数信息)Irpn。
下面,首先说明选择了图象间预测译码模式时的动作。
如果由编码列分析器501从编码列Bsa抽出的移动向量MV输入到移动补偿译码器504中,则在移动补偿译码器504中,根据来自最大参照图象幅数计算器507a的最大参照图象幅数信息Irpn、存储在移动向量存储器505中的译码完宏观块的移动向量MV、所述对象宏观块的移动向量MV,参照给定的参照图象进行对象宏观块的移动补偿,向加法运算器511输出与对象宏观块对应的预测数据Pd。此时,与完成了译码的图象对应的译码图象数据Ed作为参照候补图象存储在图象存储器503中,在图象存储器503中,通过来自移动补偿译码器504的图象指定信号DSpd,把参照候补图象中的所需图象指定为参照图象。
由编码列分析器501从编码列Bsa抽出的编码数据Cd由预测残差译码器502译码,通过译码而取得的预测残差图象数据Dd向加法运算器511输出。
在加法运算器511中,进行来自预测残差译码器502的预测残差图象数据Dd和来自移动补偿译码器504的预测数据Pd的加法运算,通过该加法运算取得的图象数据Rd通过开关508输出到图象存储器503。这样,在图象存储器503中,作为译码对象的对象图象的图象数据Rd按各宏观块作为译码数据写入。
而且,从图象存储器503,排列为译码顺序的完成了译码的图象的图象数据重新按显示顺序排列,作为输出图象的图象数据Od按各图象输出。
下面,简单说明选择了图象内预测译码模式时的动作。
此时,由编码列分析器501从编码列Bsa抽出的编码数据Cd由预测残差译码器502译码,由译码取得的预测残差图象数据Dd通过开关508原封不动作为译码数据Rd存储到图象存储器503中。
下面,简单说明所述动画图象译码装置50a的译码可否判别器506a和最大参照图象幅数计算器507a的具体动作。
在本实施例5的画图象译码装置50a的译码可否判别器506a中,与实施例1的动画图象编码装置10a的编码可否判定器108a同样,根据所述条件式(表达式1)、(表达式2a)、(表达式2b)、(表达式3a)、(表达式3b),判定对输入的编码列的译码可否。
即在译码可否判别器506a中,根据从编码列分析器501输出的输入图象尺寸信息Ipx中包含的输入图象纵象素数信息Ihpx和横象素数信息Iwpx,进行由所述(表达式1)表示的运算处理。即进行求出输入图象纵象素数(h)和横象素数(w)的积(h×w)的乘法处理,进行乘法处理结果(h×w)和最大画面内象素数(Nfpx)的比较(画面内象素数比较)。
接着,在译码可否判别器506a中,根据所述输入图象纵象素数信息Ihpx和横象素数信息Iwpx,计算由所述(表达式3a)、(表达式3b)表示的最大纵象素数(H)和最大横象素数(W)。
在此,(表达式3a)、(表达式3b)表示最大纵象素数(H)和最大横象素数(W)分别为输入图象纵象素数(h)和横象素数(w)的积(h×w)的N倍值的平方根。例如N=8时,(表达式3a)暗示决定最大纵象素数(H),使纵象素数和横象素数的比变为8对1以下,(表达式3b)暗示决定最大横象素数使纵象素数和横象素数的比变为1对8以下。
在译码可否判别器506a中,通过下舍入,上舍入,四舍五入等运算处理,把所述最大纵象素数(H)和最大横象素数(W)舍入为16的倍数值,进行所述输入图象纵象素数(h)和舍入的最大纵象素数(H)的比较(纵象素数比较)、所述输入图象横象素数(w)和舍入的最大横象素数(W)的比较(横象素数比较)。
然后,根据所述画面内象素数比较的结果、纵象素数比较结果以及横象素数比较结果,进行最终的译码可否判定。
另外,在本实施例5的动画图象译码装置50a的最大参照图象幅数计算器507a中,通过所述(表达式4)所示的运算计算在图象间预测译码中使用参照候补图象的最大幅数。
在该最大参照图象幅数计算器507a中,根据来自编码列分析器501的输入图象纵象素数信息Ihpx和横象素数信息Iwpx,计算输入图象的尺寸即1画面的总象素数(h×w)。
另外,在该最大参照图象幅数计算器507a中,进行把最大存储象素数(Nspx)除以乘法结果(h×w)的运算,再进行从除法结果(Nspx/(h×w))减去1的运算处理,把减法结果(Nspx/(h×w)-1)作为最大参照图象幅数求出。
这样,在本实施例5的动画图象译码装置50a中,包括:根据由编码列分析器501从编码列Bsa抽出的表示水平标识符的水平信号Lst,决定能译码的最大画面内象素数(Nfpx)和图象存储器503中可存储的最大存储象素数(Nspx)的水平分析部509a。根据最大画面内象素数(Nfpx)、和输入图象尺寸(纵象素数Nfpx和横象素数Nwpx),进行对输入的编码列Bsa的译码的可否判定,并且计算图象间预测译码时能参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,所以从由编码一侧提供的编码列中,根据水平标识符判别能用动画图象译码装置译码的编码列,能很好地进行与编码一侧的图象预测编码对应的图象预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的译码装置的存储区。
须指出的是,在所述实施例5中,作为表示编码水平和最大画面内象素数以及最大存储象素数的对应关系的表,使用了使编码水平(水平标识符的值)与最大画面内象素数以及最大存储象素数的组产生关联的表T1(参照图15),但是,代替该表T1,可以使用表示水平标识符的值和最大画面内象素数的对应的表T1a(图16(a))、表示水平标识符的值和最大存储象素数的对应关系的表T1b(图16(b))。
(实施例6)
图11是用于说明本发明实施例6的动画图象译码装置50b的框图。
本实施例6的动画图象译码装置50b接收与构成动画图象的多个图象对应的编码列,以一定数据处理单位即各块把该编码列译码,具体地说,把由实施例2的动画图象编码装置10b生成的编码列Bsb(参照图14(b))译码。因此,在本实施例6中,在编码列分析器501中,通过标题信息H1和H2的分析,抽出水平标识符Lst和识别编码信号Cid,通过序列数据部Dsq的数据分析,抽出与各宏观块对应的编码模式的信息Ms、编码数据Cd、移动向量信息MV、输入图象尺寸信息Ipx等信息。
另外,本实施例6的动画图象译码装置50b的水平分析部509b具有所述表T1和T2,根据来自编码列分析器501的水平信号Lst,输出最大画面内象素数信息Ifpx和最大存储象素数信息Ispx,并且,根据根据来自编码列分析器501的识别编码信号Cid输出象素数算出用系数αpx。另外,本实施例6的译码可否判别器506b根据来自该水平分析部509b的最大画面内象素数信息Ifpx和象素数计算用系数信息αpx、来自编码列分析器501输入图象尺寸信息Ipx,判定输入的编码列Bsb的译码的可否。在此,所述象素数计算用系数信息αpx由表示纵象素计算用系数(Nαhpx)的信息αhpx和表示横象素计算用系数(Nαwpx)的信息αwpx构成。
而且,本实施例6的动画图象译码装置50b的其他结构与实施例5的动画图象译码装置50a相同。
另外,本实施例6动画图象译码装置50b的译码可否判别器506b的具体结构与图5所示的实施例2的动画图象编码装置10b的编码可否判定器108b完全相同。
下面,就动作加以说明。
本实施例6的动画图象译码装置50b的动作中,只有译码可否判别器506b、水平分析部509b的动作与所述实施例5的动画图象译码装置50a的动作不同。
因此,以下主要说明编码列分析器501、译码可否判别器506b、水平分析部509b的动作。
如果所述编码列Bsb输入到该动画图象译码装置50b中,则首先在编码列分析器501中,通过编码列Bsb的分析,从该编码列Bsb抽出移动向量信息MV和编码数据Cd等的各种信息。此时,也同时抽出所述编码列Bsb的标题区Hb中包含的各种标题信息,向水平分析部509b、译码可否判别器506b和最大参照图象幅数计算器507a输出。
在该水平分析部509b中,参照内部保持的表T1(图15),按照与所述标题区Hb的标题信息(编码)H1对应的水平标识符(水平信号)Lst,输出最大画面内象素数信息Ifpx和最大存储象素数信息Ispx。另外,在水平分析部509b中,参照内部保持的表T2(图17(a)),按照与标题区Hb的标题信息(编码)H2对应的识别编码信号Cid,输出象素数计算用系数αpx(纵象素数计算用系数信息αhpx和横象素数计算用系数信息αwpx)。所述最大画面内象素数信息Ifpx和象素数计算用系数αpx输入到译码可否判别器506b中,该最大存储象素数信息Ispx输入到最大参照图象幅数计算器507a中。
这样,在译码可否判别器506b中,根据来自水平分析部509b的最大画面内象素数信息Ifpx和象素数计算用系数αpx(纵象素数计算用系数信息αhpx和横象素数计算用系数信息αwpx)、由编码列分析器501从序列标题Sh抽出的输入图象尺寸信息Ipx(输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx),进行对输入的编码列Bsb的译码的可否判定,向控制部510输出表示判定结果的信号(判定结果信号)DSjd。
然后,在本实施例6中,根据判定结果信号DSjd,与实施例5的动画图象译码装置50a同样,进行对输入的编码列Bsb的译码处理。
下面,简单说明所述动画图象译码装置50b的译码可否判别器506b的具体动作。
在本实施例6的动画图象译码装置50b的译码可否判别器506b中,根据所述条件式(表达式1)、(表达式2a)、(表达式2b)、(表达式8a)、(表达式8b),判定对输入的编码列Bsb的译码可否。
首先,在译码可否判别器506b中,与实施例5的译码可否判别器506a同样,根据从编码列分析器501输出的输入图象尺寸信息Ipx(输入图象纵象素数信息Ihpx和横象素数信息Iwpx),进行所述(表达式1)所示的运算处理。即进行求出输入图象纵象素数(h)和横象素数(w)的积(h×w)的乘法处理,进行乘法处理结果(h×w)和最大画面内象素数(Nfpx)的比较(画面内象素数比较)。
接着,在译码可否判别器506b中,根据所述画面内象素数信息Ifpx、象素数计算用系数信息αpx(纵象素数计算用系数信息αhpx和横象素数计算用系数信息αwpx),计算由所述(表达式8a)和(表达式8b)表示的最大纵象素数(H)和最大横象素数(W)。
在此,(表达式8a)和(表达式8b)表示最大纵象素数(H)和最大横象素数(W)分别成为把最大画面内象素数(Nfpx)除以纵象素数计算用系数(Nαhpx)以及横象素数计算用系数信息(Nαwpx)的值。
在译码可否判别器506b中,通过所述下舍入,上舍入,四舍五入等运算处理,把所述最大纵象素数(H)和最大横象素数(W)舍入为16的倍数值,进行所述输入图象纵象素数(h)和舍入的最大纵象素数(H)的比较(纵象素数比较)、所述输入图象横象素数(w)和舍入的最大横象素数(W)的比较(横象素数比较)。
然后,根据所述画面内象素数比较的结果、纵象素数比较结果和横象素数比较结果,进行最终的译码可否的判别。
这样,在本实施例6的动画图象译码装置50b中,包括:根据由编码列分析器501从编码列Bsb抽出的水平标识符(水平信号)Lst和识别编码信号Cid,决定可译码处理的最大画面内象素数(Nfpx)和图象存储器503中可存储的最大存储象素数(Nspx),并且决定象素数计算用系数(Nαpx)的水平分析部509b。根据由水平分析部509b决定的最大画面内象素数(Nfpx)和象素数计算用系数(Nαpx)、包含在编码列Bsb中的输入图象尺寸信息Ipx,进行对输入的编码列Bsb的译码可否判定,并且计算图象间预测译码时可参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,所以通过水平标识符判别从编码一侧提供的编码列中能用动画图象译码装置译码的编码列,能良好地进行与编码一侧的图象预测编码对应的图象预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的译码装置的存储区。
另外,在本实施例6中,分别把最大画面内象素数(Nfpx)除以纵象素计算用系数(Nαhpx)以及横象素计算用系数(Nαwpx),求出最大纵象素数(H)和最大横象素数(W),所以与实施例5相比,求出最大纵象素数(H)和最大横象素数(W)的处理变得简单。
须指出的是,在所述实施例6中,与最大画面内象素数(Nfpx)和最大存储象素数(Nspx)对应的水平标识符、与纵象素计算用系数(Nαhpx)以及横象素计算用系数(Nαwpx)对应的识别编号分别是表示独立的编码条件的参数,但是也可以是识别编号的值与水平标识符的值产生关联。
此时,根据表示水平标识符的水平信号Lst,从表T1和表T2决定最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体数值、纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的具体数值。即如果来自编码列分析器501的水平信号Lst输入水平分析部509b中,则从水平分析部509b,根据水平信号Lst,从表T1输出表示最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的信息Ifpx和Ispx,再根据与水平标识符对应的识别编号,从表T2输出象素计算用系数信息αpx。此时,在编码列Bsb中只包含与水平信号Lst对应的编码H1,从编码列分析器501不向水平分析部509b输出与编码H2对应的识别编码信号Cid。
另外,在所述实施例6中,作为动画图象译码装置,表示了分析与最大画面内象素数(Nfpx)以及最大存储象素数(Nspx)对应的水平标识符的编码H1、与纵象素计算用系数(Nαhpx)以及横象素计算用系数(Nαwpx)对应的识别编号的编码H2,根据由编码H1的分析取得的水平标识符,从表T1取得最大画面内象素数(Nfpx)和最大存储象素数(Nspx),根据从编码H2取得的识别编码信号Cid,从表T2取得纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx),但是所述动画图象译码装置也可以是把表示由用户决定的任意纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的象素计算用系数信息αpx编码而取得的编码分析,通过该编码的分析直接取得象素计算用系数信息αpx。
此时,最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体数值的决定根据表T1进行,但是通过与象素计算用系数信息αpx对应的编码分析,不使用表,进行纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的具体数值的决定。
即如果来自编码列分析器501的水平信号Lst输入到水平分析部509b中,就从水平分析部509b,根据水平信号Lst向译码可否判别器506b输出表示从表T1决定的最大画面内象素数(Nfpx)的信息Ifpx,向最大参照图象幅数计算器507a输出表示从表T1决定的最大存储象素数(Nspx)的信息Ispx。另外,在译码可否判别器506b直接输入通过编码列分析器501的编码分析取得的表示纵象素计算用系数(Nαhpx)和横象素计算用系数(Nαwpx)的具体数值的象素计算用系数信息αpx。
(实施例7)
图12是用于说明本发明实施例7的动画图象译码装置50c的框图。
本实施例7的动画图象译码装置50c接收与构成动画图象的多个图象对应的编码列,以一定数据处理单位即各块把该编码列译码,具体地说,把由实施例3的动画图象编码装置10c生成的编码列Bsc(参照图14(c))译码。因此,在本实施例7的编码列分析器501中,通过标题信号H1和H3的分析抽出水平标识符Lst和识别编码信号Sid,通过序列数据部Dsq的数据分析,抽出与各宏观块对应的编码模式的信息Ms、编码数据Cd、移动向量信息MV、输入图象尺寸信息Ipx等信息。
另外,本实施例7的动画图象译码装置50c的水平分析部509c具有所述表T1和表T3,根据来自编码列分析器501的水平信号Lst,输出最大画面内象素数信息Ifpx和最大存储象素数信息Ispx,并且根据来自编码列分析器501的识别编码信号Sid,输出最大图象尺寸信息Impx。另外,本实施例7的译码可否判别器506c根据来自水平分析部509c的最大画面内象素数信息Ifpx和最大图象尺寸信息Impx、来自编码列分析器501的输入图象尺寸信息Ipx,判定输入的编码列Bsc的译码可否。在此,所述最大图象尺寸信息Impx由表示最大纵象素数(H)的信息Imhpx和表示最大横象素数(W)的信息Imwpx构成。
而且,本实施例7的动画图象译码装置50c的其他结构与实施例5的动画图象译码装置50a相同。
另外,本实施例7的动画图象译码装置50c的译码可否判别器506c的具体结构与图7所示的实施例3的动画图象编码装置10c的编码可否判定器108c完全相同。
下面,就动作加以说明。
如果所述编码列Bsc输入动画图象译码装置50c中,首先在编码列分析器501中,通过编码列Bsc的分析,从该编码列Bsc抽出编码模式信息Ms、移动向量信息MV和编码数据Cd等各种信息。此时,也同时抽出所述编码列Bsc的标题区Hc中包含的各种标题信息,向水平分析部509c、译码可否判别器506c和最大参照图象幅数计算器507a输出。
在该水平分析部509c中,参照内部保持的表T1(图15),按照与所述标题区Hc的标题信息(编码)H1对应的水平信号(水平标识符的信号)Lst,输出最大画面内象素数信息Ifpx和最大存储象素数信息Ispx。另外,在水平分析部509c中,参照内部保持的表T3(图18(a)),按照与标题区Hc的标题信息(编码)H3对应的识别编码信号Sid,输出最大图象尺寸信息Impx(最大纵象素数信息Imhpx和最大横象素数信息Imwpx)。所述画面内最大象素数信息Ifpx和最大图象尺寸信息Impx输入到译码可否判别器506c中,该最大存储象素数信息Ispx输入到最大参照图象幅数计算器507a中。
这样一来,在译码可否判别器506c中,根据来自水平分析部509c的画面内最大象素数信息Ifpx和最大图象尺寸信息Impx(最大纵象素数信息Imhpx和最大横象素数信息Imwpx)、通过编码列分析器501从序列标题抽出的输入图象尺寸信息Ipx(输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx),进行对输入的编码列Bsc的译码可否判定,把表示判定结果的信号(判定结果信号)DSjd向控制部510输出。
而且,在本实施例7中,根据该判定结果信号DSjd,与实施例5的动画图象译码装置50a同样进行对编码列Bsc的译码处理。
下面,简单说明所述动画图象译码装置50c的译码可否判别器506c的具体动作。
在本实施例7的动画图象译码装置50c的译码可否判别器506c中,根据所述条件式(表达式1)、(表达式2a)、(表达式2b),判定对输入的编码列Bsc的译码可否。
首先,在译码可否判别器506c中,与实施例5的译码可否判别器506a同样,根据从编码列分析器501输出的输入图象尺寸信息Ipx(纵象素数信息Ihpx和横象素数信息Iwpx),进行所述(表达式1)表示的运算处理。即进行求出输入图象纵象素数(h)和横象素数(w)的积(h×w)的乘法处理,进行乘法处理结果(h×w)和最大画面内象素数(Nfpx)的比较(画面内象素数比较)。
而且,在译码可否判别器506c中,根据最大图象尺寸信息Impx(最大纵象素数信息Imhpx和最大横象素数信息Imwpx),进行所述输入图象纵象素数(h)和最大纵象素数信息Imhpx表示的最大纵象素数(H)的比较(纵象素数比较)、所述输入图象横象素数(w)和最大纵象素数信息Imhpx表示的最大横象素数(W)的比较(横象素数比较)。
而且,根据所述画面内象素数比较的结果、纵象素数比较结果和横象素数比较结果,进行最终的译码可否的判别。
这样,在本实施例7的动画图象译码装置50c中,包括:根据由编码列分析器501从编码列Bsc抽出的水平标识符(水平信号)Lst和识别编码信号Sid,决定可译码处理的最大画面内象素数(Nfpx)和图象存储器503中可存储的最大存储象素数(Nspx),并且决定最大图象尺寸(Nmpx)的水平分析部509c。根据由水平分析部509c决定的最大画面内象素数(Nfpx)和最大图象尺寸(Nmpx)、包含在编码列Bsc中的输入图象尺寸信息Ipx,进行对输入的编码列Bsc的译码可否判定,并且计算图象间预测译码时可参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,所以通过水平标识符判别从编码一侧提供的编码列中能用动画图象译码装置译码的编码列,能良好地进行与编码一侧的图象预测编码对应的图象预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的译码装置的存储区。
另外,在本实施例7中,根据编码列Bsc中包含的最大图象尺寸信息Impx求出最大纵象素数(H)和最大横象素数(W),所以与实施例5相比,求出最大纵象素数(H)和最大横象素数(W)的处理变得简单。
须指出的是,在所述实施例7中,与最大画面内象素数(Nfpx)和最大存储象素数(Nspx)对应的水平标识符、与最大纵象素数(H)以及最大横象素数(W)对应的识别编号分别是表示独立的编码条件的参数,但是也可以是识别编号的值与水平标识符的值产生关联。
此时,根据表示水平标识符的水平信号Lst,从表T1和表T3决定最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体数值、最大纵象素数(H)和最大横象素数(W)的具体数值。即如果来自编码列分析器501的水平信号Lst输入水平分析部509c中,则从水平分析部509c,根据水平信号Lst,从表T1输出表示最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的信息Ifpx和Ispx,再根据与水平标识符对应的识别编号,从表T3输出最大图象尺寸信息Impx。此时,在在编码列Bsc中只包含与水平信号Lst对应的编码H1,从编码列分析器501不向水平分析部509c输出与编码H3对应的识别编码信号Sid。
另外,在所述实施例7中,作为动画图象译码装置,表示了分析与最大画面内象素数(Nfpx)以及最大存储象素数(Nspx)对应的水平标识符的编码H1、与最大纵象素数(H)和最大横象素数(W)对应的识别编号的编码H3,根据由编码H1的分析取得的水平标识符,从表T1取得最大画面内象素数(Nfpx)和最大存储象素数(Nspx),根据编码H3的分析取得的识别编码信号Sid,从表T3取得最大纵象素数(H)和最大横象素数(W),但是所述动画图象译码装置也可以是分析把表示由用户决定的任意最大纵象素数(H)和最大横象素数(W)的最大图象尺寸信息Impx编码而取得的编码,通过该编码的分析直接取得最大图象尺寸信息Impx。
此时,最大画面内象素数(Nfpx)和最大存储象素数(Nspx)的具体数值的决定根据表T1进行,但是,通过与最大图象尺寸信息Impx对应的编码的分析,不使用表,进行最大纵象素数(H)和最大横象素数(W)的具体数值的决定。
即如果来自编码列分析器501的水平信号Lst输入到水平分析部509c中,就从水平分析部509c,根据水平信号Lst向译码可否判别器506c输出表示从表T1决定的最大画面内象素数(Nfpx)的信息Ifpx,向最大参照图象幅数计算器507a输出表示从表T1决定的最大存储象素数(Nspx)的信息Ispx。另外,在译码可否判别器506c中直接输入通过编码列分析器501的编码分析取得的表示最大纵象素数(H)和最大横象素数(W)的具体数值的最大图象尺寸信息Impx。
(实施例8)
图13是用于说明本发明实施例8的动画图象译码装置50d的框图。
本实施例8的动画图象译码装置50d接收与构成动画图象的多个图象对应的编码列,以一定数据处理单位即各块把该编码列译码,具体地说,把由实施例4的动画图象编码装置10d生成的编码列Bsa(参照图14(a))译码。但是由实施例4的动画图象编码装置10d生成的编码列与由实施例1的动画图象编码装置10a生成的编码列具有相同的数据构造,所以本动画图象译码装置50d也能把由实施例1的动画图象编码装置10a生成的编码列译码。
即本实施例8的动画图象译码装置50d代替实施例5的动画图象译码装置50a的最大参照图象幅数计算器507a,具有根据输入图象尺寸信息Ipx(输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx)、最大存储象素数信息Ispx、显示等待图象幅数信息Idwp,计算最大参照图象幅数(Nrpn),输出表示计算的值(Nrpn)的信息(最大参照图象幅数信息)Irpn的最大参照图象幅数计算器507d。
在此,所述显示等待图象幅数信息Idwp是表示等待显示的图象的幅数,该等待显示的图象如参照图26说明的那样,是不作为参照图象使用的完成了译码的图象,即在进行它的显示之前,其数据存储在译码装置的图象存储器中的图象。另外,本实施例8的图象存储器的管理为如果该图象的显示结束,就立刻从图象存储器删除该不作为参照图象使用的图象的图象数据。
该实施例8的动画图象译码装置50d的其他构成与该实施例5的动画图象译码装置50相同。
另外,本实施例8动画图象译码装置50d的最大参照图象幅数计算器507d的具体结构与图9所示的实施例4的动画图象编码装置10d的最大参照图象幅数计算器109d完全相同。
下面,就动作加以说明。
本实施例8的动画图象译码装置50d的动作中,只有最大参照图象幅数计算器507d的动作与所述实施例5的动画图象译码装置50a的动作不同。
因此,下面只说明最大参照图象幅数计算器507d的动作。
在本实施例8的动画图象译码装置50d的最大参照图象幅数计算器507d中,通过所述(表达式11)所示的运算,计算图象间预测译码中使用的参照候补图象的最大幅数。
即在最大参照图象幅数计算器109d中,根据输入图象纵象素数信息Ihpx和输入图象横象素数信息Iwpx,计算输入图象的尺寸即1画面的总象素(h×w)。
接着,进行把最大存储象素数(Nspx)除以所述乘法结果(h×w)的运算,进行从该除法结果(Nspx/(h×w))减去1的运算处理。
然后,通过从所述减法结果(Nspx/(h×w)-1)减去显示等待图象幅数(Ndwp),决定了最大参照图象幅数。
这样,在本实施例8的动画图象译码装置50d中,具有根据由编码列分析器501从编码列Bsa抽出的水平信号Lst表示的水平标识符,决定可译码处理的最大画面内象素数(Nfpx)和图象存储器503中可存储的最大存储象素数(Nspx)的水平分析部509a。根据最大画面内象素数(Nfpx)和输入图象尺寸(纵象素数Nhpx和横象素数Nwpx),进行对输入的编码列Bsa的译码的可否判定,并且计算图象间预测译码时可参照的参照候补图象的幅数(最大参照图象幅数)Nrpn,所以通过水平标识符判别从编码一侧提供的编码列中能用动画图象译码装置译码的编码列,能良好地进行与编码一侧的图象预测编码对应的图象预测译码。据此,能设计与未设置对存储区的容量限制的编码方式对应的译码装置的存储区。
另外,在本实施例8中,考虑显示等待图象幅数(Ndwp)决定图象存储器中存储的最大参照图象幅数,所以能按照图象数据的处理状况高效利用存储有参照候补图象的图象数据的图象存储器。
须指出的是,在所述实施例8中,图象存储器的管理是如果该图象的显示结束,就立刻把该不作为参照图象使用的图象的图象数据从图象存储器删除,但是删除这样的不作为参照图象使用的图象的图象数据的定时有时是所述实施例8中表示的显示之后的定时以外。
例如,本实施例8的图象存储器的管理也可以是在显示了该图象后,只经过1图象的显示时间后,从该图象存储器删除存储在图象存储器中的不作为参照图象使用的图象的该图象数据。此时,所述显示等待图象的图象数据在显示了该图象后,在一定期间中残存在图象存储器中。
在所述实施例1~8中,表示了通过硬件实现动画图象编码装置或动画图象译码装置,但是这些装置也可以由软件实现。此时,通过把用于进行所述各实施例所示的编码处理或译码处理的程序记录在软盘等数据存储媒体中,能在独立的计算机系统中构筑所述动画图象编码装置或动画图象译码装置。
图19是用于说明使用存储有所述程序的软盘,通过计算机系统实现所述实施例1~4的动画图象编码装置和实施例5~8的动画图象译码装置的任意一个的系统的图。
图19(b)表示从软盘的正面观察的外观、剖面构造和软盘,图19(a)表示记录媒体主体的软盘的物理格式例。软盘FD内置在壳子F内,在该盘的表面,多条磁道Tr从外周向内周形成同心圆状,各磁道在角度方向上分割为16个扇区Se。因此,在存储有所述程序的软盘中,在分配在所述软盘FD上的区域中记录着作为所述程序的数据。
另外,图19(c)表示用于进行向软盘FD的程序写入和读出的结构。当向软盘FD写入所述程序时,从计算机系统Cs取得的作为所述程序的数据通过软盘驱动器写入。另外,通过软盘内的程序,在计算机系统中构筑所述动画图象编码装置或动画图象译码装置时,通过软盘驱动器从软盘读出程序,向计算机系统传输。
须指出的是,在所述说明中,表示了使用软盘作为数据记录媒体时的情形,但是使用光盘,也同样能通过计算机系统实现所述动画图象编码装置活动画图象译码装置。另外,记录媒体并不局限于此,如果是IC卡、盒式ROM等能记录程序的媒体,就可以是任意的。
下面,说明所述实施例所示的动画图象编码装置和动画图象译码装置的应用例和使用了它的系统。
图20是表示实现内容发送服务的内容供给系统1100的全体结构的框图。
通信服务的提供区分割为所需大小的区域(单元),在各单元内分别设置有固定无线电台1107~1110。
在该内容供给系统1100中,例如在因特网1101上,通过因特网服务提供商1102、电话网1104、基地无线电台1107~1110,连接着计算机1111、PDA(personal digital assistant)1112、相机1113、移动电话1114、带相机的移动电话1200等各仪器。
但是,内容供给系统1100并不局限于全部包含图20所示的多个仪器,也可以包含图20所示的多个仪器的一部分。另外,也可以不通过固定无线电台的基地无线电台1107~1110,而直接连接在电话网1104上。
在此,相机1113是数字摄影机等能进行动画摄影的仪器。另外,移动电话可以是PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或GSM(Global System for Mobile Communications)方式的移动电话、或PHS(Personal Handyphone System)等,可以是任意方式。
另外,流动服务器1103通过基地电台1109、电话网1104与相机1113连接,在本系统中,基于用户使用相机1113发送的编码了的数据的实况发送等成为可能。拍摄的数据的编码处理可以由相机1113进行,也可以由进行数据的发送处理的服务器等进行。另外,由相机1116拍摄动画图象而取得的动画数据也可以通过计算机1111发送给流动服务器1103。此时,动画数据的编码可以由相机1116进行,也可以由计算机1111进行。另外,编码处理由计算机1111或相机1116具有的LSI1117进行。
须指出的是,图象编码和译码用的软件可以存储在用计算机1111能读取得记录媒体积存储媒体(CD-ROM、软盘、硬盘等)中。动画数据也可以由带相机的移动电话1200发送。该动画数据是用移动电话1200具有的LSI编码处理了的数据。
在本内容供给系统1100中,用户用相机1113、相机1116等拍摄的内容(例如,拍摄了音乐实况的图象等)与所述实施例同样进行编码处理,从相机向流动服务器1103发送,而从流动服务器1103对有要求的客户机流动发送所述内容数据。
作为客户机,有能把所述编码处理了的数据译码的计算机1111、PDA1112、相机1113、移动电话1114等。
在这样的内容供给系统1100中,能在客户机一侧接收编码的数据,再现,通过在客户机一侧以实时接收、译码,再现,能实现个人广播。
在构成本系统的各仪器的编码和译码中可以使用所述各实施例所示的动画图象编码装置或动画图象译码装置。
下面,以移动电话作为一例加以说明。
图21是表示使用了所述实施例中说明的动画图象编码装置和动画图象译码装置的移动电话1200。
该移动电话1200包括:用于与基地电台1110之间收发电波的天线1201;CCD相机等能拍摄图象、静止画面的相机部1203;显示由相机部1203拍摄的图象、由天线1201接收的图象等数据的液晶显示器等的显示部1202。
另外,移动电话1200包括:安装着多个操作键的主体部1204;用于进行声音输出的扬声器等声音输出部1208;用于进行声音输入的麦克风等声音输入部1205;用于保存拍摄的动画或静止画面的数据、接收的邮件的数据、动画的数据或静止画面的数据、编码的数据或译码了的数据的记录媒体1207;用于能把记录媒体1207安装在移动电话1200上的插槽部1206。
在此,记录媒体1207是SD卡等在塑料盒内容纳了能电改写或删除的非易失性存储器的EEPROM(Electrically Erasable andProgrammable Read Only Memory)的一种即闪存元件。
下面,参照图22详细说明移动电话1200。
移动电话1200包含:统一控制具有显示部1202和操作键1024的主体部的各部的主控制部1241。
另外,移动电话1200包括:电源电路部1240、操作输入控制部1234、图象编码部1242、相机接口部1233、LCD(Liquid CrystalDisplay)控制部1232、图象译码部1239、多路分离部1238、记录再现部1237、调制解调电路部1236和声音处理部1235。移动电话1200的各部通过同步总线1250彼此连接。
如果通过用户的操作,结束通话和电源键变为导通状态,电源电路部1240就通过对各部供给电池组的电力,使带相机的数字移动电话1200起动为可动作的状态。
在移动电话1200中,通过由CPU、ROM和RAM等构成的主控制部1241的控制,进行各部的动作。即在移动电话1200中,在声音通话模式时,通过向声音输入部1205的声音输入而取得的声音信号通过声音处理部1235变换为数字声音数据。数字声音数据由调制解调电路部1236进行频谱扩散处理,再由收发电路部1231进行数字模式转换处理和频率变换处理,通过天线1201发送。
另外,在移动电话1200中,在声音通话模式时,把由天线1201接收的接收信号放大,进行频率变换处理和模拟数字转换处理。接收信号再用调制解调电路部1236进行频谱逆扩散处理,通过声音处理部1235变换为模拟声音信号,该信号通过声音输出部1208输出。
在移动电话1200中,在数据通信模式时,当发送电子邮件时,由主体部的操作键1204的操作输入的电子邮件的文本数据通过操作输入控制部1234发送给主控制部1241。主控制部1241进行控制,用调制解调电路部1236对文本数据进行频谱扩散处理,用收发电路部1231进行数字模式转换处理和频率变换处理后,通过天线1201发送给基地电台1110。
在移动电话1200中,在数据通信模式时,当发送图象数据时,由相机部1203拍摄的图象数据通过相机接口部1233提供给图象编码部1242。另外,在移动电话1200中,当不发送图象数据时,通过相机部1203的拍摄而取得的图象数据通过相机接口部1233和LCD控制部1232直接显示在显示部1202中。
图象编码部1242具有所述各实施例中说明的动画图象编码装置。该图象编码部1242通过根据所述实施例的动画图象编码方法把从相机1203提供的图象数据压缩编码,变换为编码图象数据,向多路分离部1238。另外,与此同时,移动电话1200把用相机部1203正在拍摄时输入到声音输入部1205中的声音通过声音处理部1235,作为数字声音数据向多路分离部1238发送。
多路分离部1238以给定方式把从图象编码部1242提供的编码数据和从声音处理部1235提供的声音数据多路复用。结果,把取得的多路复用数据用调制解调电路部1236进行频谱扩散处理,再用收发电路部1231进行数字模式转换处理和频率变换处理,通过天线1201发送。
另外,在移动电话1200中,在数据通信模式时,当接收了链接在主页等上的动画图象文件的数据时,通过天线1201从基地电台1110接收的接收信号在调制解调电路部1236中进行了频谱逆扩散处理,结果把取得的多路复用数据向多路分离部1238发送。
另外,当把通过天线1201接收的多路复用数据译码时,多路分离部1238通过把多路复用数据分离,分成图象数据的编码位流和声音数据的编码位流,通过同步总线1205把该编码图象数据提供给图象解码部1239,并且把该声音数据提供给声音处理部1235。
图象解码部1239具有本发明实施例的动画图象译码装置。图象解码部1239通过用与上述本发明实施例的编码方法对应的译码方法把图象数据的编码位流译码,生成再现动画图象数据,把这通过LCD控制部1232提供给显示部1202。据此,进行例如链接在主页上的动画图象文件中包含的动画数据的显示。与此同时,声音处理部1235把声音数据变换为模拟声音信号后,把它提供给声音输出部1208。据此,进行例如链接在主页上的动画图象文件中包含的声音数据的再现。
须指出的是,能应用上述本发明各实施例的动画图象编码方法和动画图象译码方法的系统并不局限于所述内容供给系统的例子。
例如,最近,卫星、基于地面波的数字广播成为话题,所述实施例的动画图象编码装置或动画图象译码装置如图23所示,也能应用于数字广播用系统1400中。
具体地说,从广播电台1409,通过无线通信把图象信息的编码位流向通信卫星或广播卫星等卫星1410传送。在卫星1410中,如果收到所述图象信息的编码位流,就输出广播用的电波,该电波由拥有卫星广播接收设备的家庭的天线1406接收。例如在电视(接收机)1401或机顶盒(STB)1407等装置中,编码位流被译码,再现图象信息。
另外,在读取记录媒体的CD或DVD等存储媒体1402中记录的编码位流,并译码的再现装置1403中,也能安装所述实施例所示的动画图象译码装置。
此时,再现的图象信号在显示器1404上显示。另外,也考虑到在连接在有线电视用电缆1405或卫星/地面波广播的天线1406上的机顶盒1407内,安装动画图象译码装置,用电视的监视器1408再现该动画图象译码装置的输出的结构。此时,动画图象译码装置可以不是机顶盒,也可以是设置在电视内。另外,在具有天线1411的车辆1412中,从卫星1410或基地电台1107(参照图20)等接收信号,能在搭载在车辆1412上的汽车导航系统1413等显示装置上再现动画。
把用所述实施例表示的动画图象编码装置把图象信号编码,记录在记录媒体中。
在具体例的记录装置中,包括:在DVD盘1421中记录图象信号的DVD记录器、在硬盘上记录图象信号的盘记录器等记录器1420。图象信号也能记录在SD卡1422中。另外,如果记录器1420具有所述实施例所示的动画图象译码装置,就能通过记录器1420再现DVD盘1421或SD卡1422中记录的图象信号,用监视器1408显示。
须指出的是,作为汽车导航系统1413的结构,考虑到在图22所示的移动电话的结构中,具有相机部1203、相机接口部1233、图象编码部1242以外的部分,有关计算机1111(参照图20)或电视(接收机)1401等也考虑了同样的事情。
另外,在所述移动电话1114(参照图20)等终端中,除了具有编码器和译码器的双方的收发型终端,还考虑到只具有编码器的发送终端、只具有译码器的接收终端等共3种安装形式。
这样,能把所述实施例所示的动画图象编码装置或动画图象译码装置应用于上述的任意仪器或系统中,通过这样,能取得所述实施例中说明的效果。
本发明的实施例和它的应用例当然并不局限于本说明书中表示的。
产业上的可应用性
综上所述,本发明的动画图象编码方法和动画图象译码方法,能使可编码或译码的图象的最大画面内象素数为能按照编码水平,根据按阶段设定的多个值,结合装置的规格而选择的最佳值,据此,就能设计未设置对存储区的容量限制的编码方式所对应的编码装置和译码装置的存储区,适用于进行动画图象编码装置和动画图象译码装置的设计。

Claims (2)

1.一种动画图象编码方法,对由分别包含一定数目的象素的多个图象构成的动画图象进行编码,其特征在于,所述方法包括:
水平标识符输出步骤,选择表示所述动画图象的编码处理水平的高低的编码水平,输出识别该选择的编码水平的水平标识符;
编码数据生成步骤,对应于所述选择的编码水平,针对每幅图象对所述动画图象进行编码,生成所述动画图象的编码数据;和
编码列生成步骤,对所述编码数据附加所述水平标识符,生成编码列,
其中,所述水平标识符识别与所述选择的编码水平相对应的图象的最大画面内象素数以及与所述选择的编码水平相对应的、表示图象存储器中可存储的数据量的最大存储象素数,
所述编码数据生成步骤包括预测编码步骤,所述预测编码步骤参照已编码的图象对作为编码对象的图象进行预测编码,
根据所述作为编码对象的图象的纵象素数和横象素数以及所述水平标识符所识别的最大存储象素数,来计算所述图象存储器中可存储的参照候补图象的最大幅数。
2.一种动画图象编码装置,对由分别包含一定数目的象素的多个图象构成的动画图象进行编码,其特征在于,所述装置包括:
水平标识符输出单元,选择表示所述动画图象的编码处理水平的高低的编码水平,输出识别该选择的编码水平的水平标识符;
编码数据生成单元,对应于所述选择的编码水平,针对每幅图象对所述动画图象进行编码,生成所述动画图象的编码数据;以及
编码列生成单元,对所述编码数据附加所述水平标识符,生成编码列,
其中,所述水平标识符识别与所述选择的编码水平相对应的图象的最大画面内象素数以及与所述选择的编码水平相对应的、表示图象存储器中可存储的数据量的最大存储象素数,
所述编码数据生成单元包括预测编码单元,所述预测编码单元参照已编码的图象对作为编码对象的图象进行预测编码,
根据所述作为编码对象的图象的纵象素数和横象素数以及所述水平标识符所识别的最大存储象素数,来计算所述图象存储器中可存储的参照候补图象的最大幅数。
CN 200610107554 2002-02-01 2003-01-31 动画图象编码方法和动画图象编码装置 Expired - Lifetime CN100574450C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP200226197 2002-02-01
JP2002026197 2002-02-01
JP2002334422 2002-11-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB038001071A Division CN1271862C (zh) 2002-02-01 2003-01-31 动画图象编码方法和动画图象译码方法

Publications (2)

Publication Number Publication Date
CN101064853A CN101064853A (zh) 2007-10-31
CN100574450C true CN100574450C (zh) 2009-12-23

Family

ID=38965512

Family Applications (2)

Application Number Title Priority Date Filing Date
CN 200610107553 Expired - Lifetime CN100562119C (zh) 2002-02-01 2003-01-31 动画图象译码方法和动画图象译码装置
CN 200610107554 Expired - Lifetime CN100574450C (zh) 2002-02-01 2003-01-31 动画图象编码方法和动画图象编码装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN 200610107553 Expired - Lifetime CN100562119C (zh) 2002-02-01 2003-01-31 动画图象译码方法和动画图象译码装置

Country Status (1)

Country Link
CN (2) CN100562119C (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3232666T3 (pl) * 2010-07-14 2019-08-30 Ntt Docomo, Inc. Predykcja wewnątrzramkowa o niskiej złożoności dla kodowania wideo

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
US6256347B1 (en) * 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
US6256347B1 (en) * 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system

Also Published As

Publication number Publication date
CN101064852A (zh) 2007-10-31
CN101064853A (zh) 2007-10-31
CN100562119C (zh) 2009-11-18

Similar Documents

Publication Publication Date Title
JP4223544B2 (ja) 受信装置
CN104205834B (zh) 用于对每个空间子区域进行视频解码的方法
US7095896B2 (en) Image encoding method and image decoding method
CN101035291B (zh) 动态图像编码方法及动态图像解码方法
CN101247524B (zh) 图像编码方法
CN107105283B (zh) 动态图像预测解码装置及方法
US20050089235A1 (en) Intra-picture prediction coding method
CN101001385A (zh) 可变长度编码方法以及可变长度解码方法
CN100428803C (zh) 动态图像的解码方法及解码装置
CN105187842A (zh) 动态图像预测解码装置、动态图像预测解码方法
CN102420993B (zh) 数字视频编码用可变精度图像间定时规定的方法和装置
CN101288314A (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序以及动态图像解码程序
CN100574450C (zh) 动画图象编码方法和动画图象编码装置
KR20220079996A (ko) 비디오 인코딩 및 비디오 디코딩
CN101005625B (zh) 可变长度编码方法以及可变长度解码方法
CN103299635A (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序,图像预测解码装置、图像预测解码方法以及图像预测解码程序
CN113228674B (zh) 视频编码和视频解码
JP4274378B2 (ja) 動画像符号化方法および動画像復号化方法
JP4119269B2 (ja) 動画像符号化方法および動画像復号化方法
CN1913633B (zh) 运动图像编码方法
CN110784719B (zh) 在视频注释的存在下视频数据的高效编码
US20060013319A1 (en) Image decoding device, image encoding device, and method thereof
GB2587363A (en) Method of signalling in a video codec

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140714

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140714

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151112

Address after: Tokyo, Japan

Patentee after: Godo Kaisha IP Bridge 1

Address before: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

CX01 Expiry of patent term

Granted publication date: 20091223

CX01 Expiry of patent term