CN102165779B - 图像编码方法、图像编码装置、程序以及集成电路 - Google Patents

图像编码方法、图像编码装置、程序以及集成电路 Download PDF

Info

Publication number
CN102165779B
CN102165779B CN201080002697.6A CN201080002697A CN102165779B CN 102165779 B CN102165779 B CN 102165779B CN 201080002697 A CN201080002697 A CN 201080002697A CN 102165779 B CN102165779 B CN 102165779B
Authority
CN
China
Prior art keywords
mentioned
coding
picture
encoded
next picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080002697.6A
Other languages
English (en)
Other versions
CN102165779A (zh
Inventor
张汉文
林宗顺
V·瓦哈达尼亚
柴原阳司
西孝启
安倍清史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102165779A publication Critical patent/CN102165779A/zh
Application granted granted Critical
Publication of CN102165779B publication Critical patent/CN102165779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

提供一种在抑制运算量的增加的同时、决定是帧编码还是场编码的图像编码方法。图像编码方法包括将包含在多个图片中的对象图片编码的对象图片编码步骤(S100)、取决于作为表示对象图片内的运动的信息的运动信息、决定将对象图片的下个图片用帧编码进行编码、还是将下个图片用场编码进行编码的编码类型决定步骤(S102)、在决定为将下个图片用帧编码进行编码的情况下将下个图片用帧编码进行编码、在决定为将下个图片用场编码进行编码的情况下将下个图片用场编码进行编码的下个图片编码步骤(S104)。

Description

图像编码方法、图像编码装置、程序以及集成电路
技术领域
本发明涉及将多个图片编码的图像编码方法及图像编码装置。
背景技术
被隔行扫描的序列包括在不同的时间被取入扫描的两个图片。奇数像素行的图像与偶数像素行的图像在不同的时间被取入。
在例如MPEG-2规格、MPEG-4AVC规格等、几乎所有编码规格中,实现了在隔行图像的编码中使用帧编码或场编码的编码构造。在先行技术中表示了,其中既有适合于仅帧的编码的影像段,也有适合于仅场的编码的段。
帧以及场编码的工具记载在非专利文献1及非专利文献2中。选择图片水平的编码模式的适应性的方法没有记载在两个文献中。
非专利文献1:Puri等著“Adaptive Frame/Field Motion CompensatedVideo Coding”Signal Processing:Image Communications,1993
非专利文献2:Netravali等著“Digital Pictures:RepresentationCompression and Standards”Second Edition,Plenum Press,New York,1995
发明内容
发明要解决的课题
先行技术说明了根据图像的特性适应性地选择将该图像进行帧编码还是场编码的一些方法。在这些先行技术之中,也有在图像编码的最终阶段中决定使用帧编码还是使用场编码之前、从该图像测量(例如空间性的或时间性的)特定的特性的技术。但是,如果设置用于这样的测量处理的机构,则影像编码器的安装变得更复杂。先行技术中的问题点是没有提供用来不伴随着关于编码对象图像的测量而决定帧编码还是场编码的、运算量较少的方法的技术。
所以,本发明的目的是提供一种在抑制运算量的增加的同时、适当地决定是帧编码还是场编码的图像编码方法。
解决课题的手段
为了解决上述问题,有关本发明的图像编码方法,是将多个图片编码的图像编码方法,包括:对象图片编码步骤,将包含在上述多个图片中的对象图片编码;编码类型决定步骤,取决于作为表示上述对象图片内的运动的信息的运动信息,决定将上述对象图片的下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码;下个图片编码步骤,在决定为将上述下个图片用帧编码进行编码的情况下,将上述下个图片用帧编码进行编码,在决定为将上述下个图片用场编码进行编码的情况下,将上述下个图片用场编码进行编码。
由此,基于对象图片的运动信息适当地决定下个图片的编码类型。此外,根据通过将对象图片编码而取得的信息确定对象图片的运动信息。因而,能够抑制运算量的增加。
此外,也可以是,在上述编码类型决定步骤中,通过从包含在上述对象图片中的1个以上的块分别取得运动矢量而取得1个以上的运动矢量,计算所取得的上述1个以上的运动矢量的平均,在计算出的上述平均未达到预先设定的阈值的情况下,决定为将上述下个图片用帧编码进行编码,在上述平均是上述预先设定的阈值以上的情况下,决定为将上述下个图片用场编码进行编码。
由此,能够评价对象图片内的运动的大小、适当地决定下个图片的编码类型。
此外,也可以是,在上述编码类型决定步骤中,取得包含在上述对象图片中的1个以上的块中的、属于与在编码时被参照的参照块相同的奇偶性的块的数量即同奇偶性数、以及属于与上述参照块不同的奇偶性的块的数量即反奇偶性数作为上述运动信息,在上述同奇偶性数是上述反奇偶性数以上的情况下,决定为将上述下个图片用帧编码进行编码,在上述同奇偶性数未达到上述反奇偶性数的情况下,决定为将上述下个图片用场编码进行编码。
由此,基于同奇偶性数与反奇偶性数的比较来决定下个图片的编码类型。例如,在反奇偶性数较多的情况下,评价为运动较大,选择场编码。因而,能够适当地决定下个图片的编码类型。
此外,也可以是,在上述编码类型决定步骤中,取得包含在上述对象图片中的1个以上的块中的、属于与在编码时被参照的参照块相同的奇偶性的块的数量即同奇偶性数、以及属于与上述参照块不同的奇偶性的块的数量即反奇偶性数作为上述运动信息,在从上述同奇偶性数减去上述反奇偶性数后的值是预先设定的阈值以上的情况下,决定为将上述下个图片用帧编码进行编码,在上述相减后的值未达到上述预先设定的阈值的情况下,决定为将上述下个图片用场编码进行编码。
由此,能够调节同奇偶性数与反奇偶性数的差较小的情况下的编码类型。
此外,也可以是,在上述编码类型决定步骤中,取得包含在上述对象图片中的1个以上的块中的、具有预先设定的第1阈值以上的大小的运动矢量的块的数量即动作块数,在上述动作块数未达到预先设定的第2阈值的情况下,决定为将上述下个图片用帧编码进行编码,在上述动作块数是上述预先设定的第2阈值以上的情况下,决定为将上述下个图片用场编码进行编码。
由此,在对象图片内运动的部分较大时选择场编码。因而,能够适当地决定下个图片的编码类型。
此外,也可以是,在上述编码类型决定步骤中,取得包含在上述对象图片中的1个以上的块中的、静止的块的数量即静止块数,在上述静止块数是预先设定的第1阈值以上的情况下,决定为将上述下个图片用帧编码进行编码,在上述静止块数未达到上述预先设定的第1阈值的情况下,决定为将上述下个图片用场编码进行编码。
由此,在对象图片内静止的部分较大时选择帧编码。因而,能够适当地决定下个图片的编码类型。
此外,也可以是,在上述编码类型决定步骤中,取得上述1个以上的块中的、具有未达到预先设定的第2阈值的大小的运动矢量的块的数量作为上述静止块数。
由此,能够基于运动矢量判断在对象图片内静止的部分。
此外,也可以是,在上述编码类型决定步骤中,取得上述1个以上的块中的、具有表示静止的标志的块的数量作为上述静止块数。
由此,能够基于在编码时设定的标志判断在对象图片内静止的部分。
此外,也可以是,在上述编码类型决定步骤中,对包含在上述对象图片中的1个以上的块分别取得表示图像的空间的复杂度的空间活性值,仅从上述1个以上的块中的、上述空间活性值是预先设定的阈值以上的块取得上述运动信息,取决于所取得的上述运动信息,决定将上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码。
由此,将空间活性较高的部分、即是否运动的判断精度较高的部分用于编码类型的决定。因而,能够适当地判断对象图片内的运动、适当地决定下个图片的编码类型。
此外,也可以是,在上述编码类型决定步骤中,决定将在编码顺序中是上述对象图片的下个图片的上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码。
由此,编码类型的判断精度变高。
此外,也可以是,在上述编码类型决定步骤中,决定将在显示顺序中是上述对象图片的下个图片的上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码。
由此,能够顺利地执行编码类型的决定和编码。
此外,有关本发明的图像编码装置,也可以是一种将多个图片编码的图像编码装置,具备:图片编码部,将包含在上述多个图片中的对象图片编码;编码类型决定部,取决于作为表示上述对象图片内的运动的信息的运动信息,决定将上述对象图片的下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码;上述图片编码部在决定了将上述下个图片用帧编码进行编码的情况下,将上述下个图片用帧编码进行编码,在决定了将上述下个图片用场编码进行编码的情况下,将上述下个图片用场编码进行编码。
由此,能够将有关本发明的图像编码方法作为图像编码装置实现。
此外,有关本发明的程序也可以是用来使计算机执行包含在上述图像编码方法中的步骤的程序。
由此,能够将有关本发明的图像编码方法作为程序实现。
此外,有关本发明的集成电路,也可以是一种将多个图片编码的集成电路,具备:图片编码部,将包含在上述多个图片中的对象图片编码;编码类型决定部,取决于作为表示上述对象图片内的运动的信息的运动信息,决定将上述对象图片的下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码;上述图片编码部在决定了将上述下个图片用帧编码进行编码的情况下,将上述下个图片用帧编码进行编码,在决定了将上述下个图片用场编码进行编码的情况下,将上述下个图片用场编码进行编码。
由此,能够将有关本发明的图像编码方法作为集成电路实现。
通过本发明,能够抑制用来决定是帧编码还是场编码的运算量的增加。
附图说明
图1是表示有关本发明的实施方式1的图像编码装置的结构图。
图2是表示有关本发明的实施方式1的图像编码处理的流程图。
图3是表示有关本发明的实施方式1的编码类型决定部的结构图。
图4是表示有关本发明的实施方式1的编码类型决定处理的流程图。
图5是表示有关本发明的实施方式2的编码类型决定部的结构图。
图6是表示有关本发明的实施方式2的编码类型决定处理的流程图。
图7是表示有关本发明的实施方式3的编码类型决定部的结构图。
图8是表示有关本发明的实施方式3的编码类型决定处理的流程图。
图9是表示有关本发明的实施方式4的编码类型决定部的结构图。
图10是表示有关本发明的实施方式4的编码类型决定处理的流程图。
图11是表示有关本发明的实施方式5的编码类型决定部的结构图。
图12是表示有关本发明的实施方式5的编码类型决定处理的流程图。
图13是表示有关本发明的实施方式6的编码类型决定部的结构图。
图14是表示有关本发明的实施方式6的编码类型决定处理的流程图。
图15是表示有关本发明的实施方式7的图像编码装置的结构图。
图16是表示有关本发明的实施方式7的图像编码处理的流程图。
图17是表示实现内容分发服务的内容供给系统的整体结构的一例的示意图。
图18是表示便携电话的外观的图。
图19是表示便携电话的结构例的块图。
图20是表示数字广播用系统的整体结构的一例的示意图。
图21是表示电视机的结构例的块图。
图22是表示对作为光盘的记录媒体进行信息的读写的信息再现记录部的结构例的块图。
图23是表示作为光盘的记录媒体的构造例的图。
图24是表示实现有关各实施方式的图像编码方法的集成电路的结构例的块图。
具体实施方式
(实施方式1)
图1是表示有关实施方式1的图像编码装置的结构图。有关实施方式1的图像编码装置具备图片编码部100和编码类型决定部102。图片编码部100使用影像编码工具将对象图片编码,输出表示对象图片的信息的信号D81。编码类型决定部102将信号D81读入,将下个图片的编码类型、即对象图片的下个图片的编码类型决定为帧编码或场编码。
图2是表示图1所示的图像编码装置的图像编码处理的流程图。首先,图片编码部100将对象图片编码(S100)。接着,编码类型决定部102取得对象图片的运动信息。并且,编码类型决定部102将下个图片的编码类型决定为帧编码或场编码(S102)。接着,图片编码部100使用所选择的图片编码类型,执行下个图片的编码处理(S104)。
图3是表示有关实施方式1的编码类型决定部102的结构的结构图。编码类型决定部102具备运动矢量比较部200、和下个图片编码类型设定部202。
运动矢量比较部200从对象图片的编码处理接受运动矢量的水平轴方向的平均MVXin、和运动矢量的垂直轴方向的平均MVYin。运动矢量比较部200将MVXin与预先设定的第1阈值比较,此外将MVYin与预先设定的第2阈值比较,输出真或伪的信号D82。
下个图片编码类型设定部202接接收号D82,如果D82是真则将下个图片的编码类型设定为帧编码,如果D82是伪则设定为场编码,输出下个图片编码类型Tout。
图4是表示有关实施方式1的编码类型决定处理(S102)的详细情况的流程图。
首先,图片编码部100在对象图片的编码中计算运动矢量的平均(S300)。另外,编码类型决定部102也可以计算运动矢量的平均。
接着,运动矢量比较部200将计算出的运动矢量的水平轴方向的平均与预先设定的第1阈值比较(S302)。接着,运动矢量比较部200将计算出的运动矢量的垂直轴方向的平均与预先设定的第2阈值比较(S304)。
并且,运动矢量比较部200确认是否运动矢量的水平轴方向的平均是未达到预先设定的第1阈值、并且运动矢量的垂直轴方向的平均是未达到预先设定的第2阈值(S306)。
如果两者都是真(S306中Yes),则下个图片编码类型设定部202将下个图片的编码类型设定为帧编码(S308)。如果不是(S306中No),则下个图片编码类型设定部202将下个图片的图片编码类型设定为场编码(S310)。
如以上这样,实施方式1的图像编码装置基于对象图片的运动信息决定下个图片的编码类型。例如,实施方式1的图像编码装置在对象图片中运动较大的情况下,将下个图片的编码类型决定为场编码。此外,对象图片的运动信息基于在将对象图片编码时生成的信息。因而,实施方式1的图像编码装置能够在抑制运算量的增加的同时适当地决定编码类型。
另外,在实施方式1中,表示了基于运动矢量的平均决定下个图片的编码类型的例子,但也可以基于其他运动信息决定下个图片的编码类型。
此外,实施方式1的图像编码装置将运动矢量的平均区分为水平轴方向和垂直轴方向而进行评价,但也可以不将运动矢量的平均区分为水平轴方向和垂直轴方向。即,也可以不论方向如何都基于运动矢量的大小决定下个图片的编码类型。
(实施方式2)
实施方式2的图像编码装置通过对象图片以及参照图片的奇偶性决定下个图片的编码类型。所谓奇偶性,是表示图片是顶场还是底场的属性。将参照图片按照宏块确定。所谓宏块,是具有N×M排列的样本的图像编码单位。N和M例如分别是16和16。
如果对象图片是顶场的编码、对象宏块参照的参照图片也是顶场,则为具有相同的奇偶性。如果两者是底场,则将其也看作相同的奇偶性。在参照图片具有与对象宏块不同的奇偶性的情况下,看作奇偶性不同。在帧编码宏块的情况下,将所选择的参照图片的场奇偶性看作是与对象宏块相同奇偶性的。
实施方式2的图像编码装置的结构与图1所示的实施方式1的图像编码装置的结构是同样的。此外,实施方式2的图像编码处理与图2所示的实施方式1的图像编码处理是同样的。实施方式2与实施方式1相比,编码类型决定部102的结构以及编码类型决定处理(S102)不同。
图5是表示有关实施方式2的编码类型决定部102的结构的结构图。编码类型决定部102具备两个计测部600、602、奇偶性数比较部604、和下个图片编码类型设定部606。
计测部600从对象图片的编码处理接受同奇偶性数PSin,计测它并输出信号D83。计测部602从对象图片的编码处理接受反奇偶性数POin,计测它并输出信号D84。
奇偶性数比较部604接受D83和D84,将它们比较,输出真或伪的信号D85。下个图片编码类型设定部606接接收号D85,如果D85是真则将下个图片的编码类型设定为帧编码,如果D85是伪则设定为场编码,输出下个图片编码类型Tout。
图6是表示有关实施方式2的编码类型决定处理(S102)的详细情况的流程图。
首先,计测部600计测同奇偶性数(S502)。此外,计测部602计测反奇偶性数(S504)。
接着,奇偶性数比较部604将已计测的同奇偶性数与已计测的反奇偶性数比较(S506)。并且,奇偶性数比较部604确认已计测的同奇偶性数是否是已计测的反奇偶性数以上(S508)。
如果是真(S508中Yes),则下个图片编码类型设定部606将下个图片的图片编码类型设定为帧编码(S510)。如果不是(S508中No),则下个图片编码类型设定部606将下个图片的图片编码类型设定为场编码(S512)。
如以上这样,实施方式2的图像编码装置基于同奇偶性数或反奇偶性数,决定下个图片的编码类型。例如,考虑在同奇偶性数较多的情况下对象图片的运动较小,在反奇偶性数较多的情况下对象图片的运动较大。因而,在同奇偶性数较多的情况下选择帧编码,在反奇偶性数较多的情况下选择场编码。
由此,实施方式2的图像编码装置能够在抑制运算量的增加的同时适当地决定编码类型。
另外,实施方式2的图像编码装置也可以在从同奇偶性数减去反奇偶性数后的值未达到预先设定的阈值的情况下选择场编码、在减去后的值是预先设定的阈值以上的情况下选择帧编码。由此,调节同奇偶性数与反奇偶性数的比较的基准。此外,实施方式2的图像编码装置也可以将同奇偶性数与反奇偶性数加权而比较。
此外,在同奇偶性数与反奇偶性数的差较小的情况下,也可以通过在其他实施方式中表示的判断方法决定编码类型。
(实施方式3)
实施方式3的图像编码装置基于对象图片的动作块数决定下个图片的编码类型。
实施方式3的图像编码装置的结构与图1所示的实施方式1的图像编码装置的结构是同样的。此外,实施方式3的图像编码处理与图2所示的实施方式1的图像编码处理是同样的。实施方式3与实施方式1相比,编码类型决定部102的结构以及编码类型决定处理(S102)不同。
图7是表示有关实施方式3的编码类型决定部102的结构的结构图。编码类型决定部102具备动作块数比较部800和下个图片编码类型设定部802。
动作块数比较部800从对象图片的编码处理接受动作块数Cin,将其与预先设定的第3阈值比较,输出真或伪的信号D86。下个图片编码类型设定部802接接收号D86,如果D86是真则将下个图片的编码类型设定为帧编码,如果D86是伪则设定为场编码,输出下个图片编码类型Tout。
图8是表示有关实施方式3的编码类型决定处理(S102)的详细情况的流程图。
图片编码部100在对象图片的编码中计算动作块数(S700)。例如,图片编码部100计算具有预先设定的阈值以上的大小的运动矢量的块的数作为动作块数。另外,编码类型决定部102也可以计算动作块数。
动作块数比较部800将动作块数与预先设定的第3阈值比较(S702)。并且,动作块数比较部800确认动作块数是否是未达到预先设定的第3阈值(S704)。
如果是真(S704中Yes),则下个图片编码类型设定部802将下个图片的图片编码类型设定为帧编码(S706)。如果不是(S704中No),则下个图片编码类型设定部802将下个图片的图片编码类型设定为场编码(S708)。
如以上这样,实施方式3的图像编码装置基于动作块数决定下个图片的编码类型。即,根据在对象图片内有运动的部分的比例来决定下个图片的编码类型。例如,在对象图片中、在很小的部分较大地运动、几乎全部的部分不运动的情况下,实施方式3的图像编码装置选择在整体上适当的帧编码。
因而,实施方式3的图像编码装置能够在抑制运算量的增加的同时适当地决定编码类型。
(实施方式4)
实施方式4的图像编码装置基于对象图片的运动矢量的平均和奇偶性信息决定下个图片的编码类型。
实施方式4的图像编码装置的结构与图1所示的实施方式1的图像编码装置的结构是同样的。此外,实施方式4的图像编码处理与图2所示的实施方式1的图像编码处理是同样的。实施方式4与实施方式1相比,编码类型决定部102的结构以及编码类型决定处理(S102)不同。
图9是表示有关实施方式4的编码类型决定部102的结构的结构图。编码类型决定部102具备运动矢量比较部1000、两个计测部1002、1004、奇偶性数比较部1006、和下个图片编码类型设定部1008。
运动矢量比较部1000从对象图片的编码处理接受运动矢量的水平轴方向的平均MVYin、和运动矢量的垂直轴方向的平均MVYin。运动矢量比较部1000将MVXin与预先设定的第1阈值比较,此外,将MVYin与预先设定的第2阈值比较,输出真或伪的信号D87。
计测部1002从对象图片的编码处理接受同奇偶性数PSin,计测它并输出信号D88。计测部1004从对象图片的编码处理接受反奇偶性数POin,计测它并输出信号D89。
奇偶性数比较部1006接受D88和D89,将它们比较,输出真或伪的信号D90。
下个图片编码类型设定部1008接接收号D87及D90,如果D87及D90都是真,将下个图片的编码类型设定为帧编码,如果D87或D90的某个是伪,则设定为场编码,输出下个图片编码类型Tout。
图10是表示有关实施方式4的编码类型决定处理(S102)的详细情况的流程图。
首先,图片编码部100在对象图片的编码中计算运动矢量的平均(S900)。另外,编码类型决定部102也可以计算运动矢量的平均。
接着,计测部1002计测同奇偶性数。此外,计测部1004计测反奇偶性数(S902)。
运动矢量比较部1000将运动矢量的水平轴方向的平均与预先设定的第1阈值比较(S904)。此外,运动矢量比较部1000将运动矢量的垂直轴方向的平均与预先设定的第2阈值比较(S906)。
并且,运动矢量比较部1000确认是否运动矢量的水平轴方向的平均未达到预先设定的第1阈值、并且运动矢量的垂直轴方向的平均未达到预先设定的第2阈值(S908)。
如果确认的结果是真(S908中No),则下个图片编码类型设定部1008将下个图片的图片编码类型设定为场编码(S920)。
如果确认的结果是真(S908中Yes),则奇偶性数比较部1006将已计测的同奇偶性数与已计测的反奇偶性数比较(S914)。并且,奇偶性数比较部1006确认已计测的同奇偶性数是否是已计测的反奇偶性数以上(S916)。
如果确认的结果是真(S916中Yes),则下个图片编码类型设定部1008将图片编码类型设定为帧编码(S918)。如果不是(S916中No),则下个图片编码类型设定部1008将下个图片的图片编码类型设定为场编码(S920)。
如以上这样,实施方式4的图像编码装置基于对象图片的运动矢量的平均和奇偶性信息来决定下个图片的编码类型。由此,实施方式4的图像编码装置能够更适当地决定编码类型。
(实施方式5)
实施方式5的图像编码装置基于对象图片的运动矢量的平均和动作块数决定下个图片的编码类型。
实施方式5的图像编码装置的结构与图1所示的实施方式1的图像编码装置的结构是同样的。此外,实施方式5的图像编码处理与图2所示的实施方式1的图像编码处理是同样的。实施方式5与实施方式1相比,编码类型决定部102的结构以及编码类型决定处理(S102)不同。
图11是表示有关实施方式5的编码类型决定部102的结构的结构图。编码类型决定部102具备运动矢量比较部1200、动作块数比较部1202、和下个图片编码类型设定部1204。
运动矢量比较部1200从对象图片的编码处理接受运动矢量的水平轴方向的平均MVXin、和运动矢量的垂直轴方向的平均MVYin。运动矢量比较部1200将MVXin与预先设定的第1阈值比较,此外,将MVYin与预先设定的第2阈值比较,输出真或伪的信号D91。
动作块数比较部1202从对象图片的编码处理接受动作块数Cin,将其与预先设定的第3阈值比较,输出真或伪的信号D92。
下个图片编码类型设定部1204接接收号D91及D92,如果D91及D92都是真,则将下个图片的编码类型设定为帧编码,如果D91或D92的某个是伪,则设定为场编码,输出下个图片编码类型Tout。
图12是表示有关实施方式5的编码类型决定处理(S102)的详细情况的流程图。
首先,图片编码部100在对象图片的编码中计算运动矢量的平均(S1100)。另外,编码类型决定部102计算运动矢量的平均。
接着,图片编码部100在相同的对象图片的编码处理中计算动作块数(S1102)。另外,编码类型决定部102也可以计算动作块数。
运动矢量比较部1200将运动矢量的水平轴方向的平均与预先设定的第1阈值比较(S1104)。此外,运动矢量比较部1200将运动矢量的垂直轴方向的平均与预先设定的第2阈值比较(S1106)。并且,运动矢量比较部1200确认是否运动矢量的水平轴方向的平均是未达到预先设定的第1阈值、并且运动矢量的垂直轴方向的平均是未达到预先设定的第2阈值(S1108)。
如果确认的结果不是真(S1108中No),则下个图片编码类型设定部1204将下个图片的图片编码类型设定为场编码(S1116)。
如果确认的结果是真(S1108中Yes),则动作块数比较部1202将动作块数与预先设定的第3阈值比较(S1110)。并且,动作块数比较部1202确认动作块数是否是未达到预先设定的第3阈值(S1112)。
如果是真(S1112中Yes),则下个图片编码类型设定部1204将图片编码类型设定为帧编码(S1114)。如果不是(S1112中No),则下个图片编码类型设定部1204将下个图片的图片编码类型设定为场编码(S1116)。
如以上这样,实施方式5的图像编码装置基于对象图片的运动矢量的平均和动作块数来决定下个图片的编码类型。由此,实施方式5的图像编码装置能够更适当地决定编码类型。
(实施方式6)
实施方式6的图像编码装置基于对象图片的静止块数决定下个图片的编码类型。
实施方式6的图像编码装置的结构与图1所示的实施方式1的图像编码装置的结构是同样的。此外,实施方式6的图像编码处理与图2所示的实施方式1的图像编码处理是同样的。实施方式6与实施方式1相比,编码类型决定部102的结构以及编码类型决定处理(S102)不同。
图13是表示有关实施方式6的编码类型决定部102的结构的结构图。
编码类型决定部102具备静止块数比较部1400和下个图片编码类型设定部1402。
静止块数比较部1400从对象图片的编码处理接受静止块数Sin,将其与预先设定的第4阈值比较,输出真或伪的信号D93。
下个图片编码类型设定部1402接接收号D93,如果D93是真,则将下个图片的编码类型设定为帧编码,如果D93是伪则设定为场编码,输出下个图片编码类型Tout。
图14是表示有关实施方式6的编码类型决定处理(S102)的详细情况的流程图。
图片编码部100在对象图片的编码中计算静止块数(S1300)。静止块数例如是对象图片中的、被设定了ColZeroFlag的块的数量。ColZeroFlag是对运动的较小的块分配的标志。或者,静止块数也可以是对象图片中的、具有未达到预先设定的阈值的大小的运动矢量的块的数量。
另外,编码类型决定部102也可以计算静止块数。
静止块数比较部1400将静止块数与预先设定的第4阈值比较(S1302)。并且,静止块数比较部1400确认静止块数是否是预先设定的第4阈值以上(S1304)。
如果是真(S1304中Yes),则下个图片编码类型设定部1402将图片编码类型设定为帧编码(S1306)。如果不是(S1304中No),则下个图片编码类型设定部1402将下个图片的图片编码类型设定为场编码(S1308)。
如以上这样,实施方式6的图像编码装置基于静止块数决定下个图片的编码类型。由此,实施方式6的图像编码装置能够在抑制运算量的增加的同时适当地决定编码类型。
(实施方式7)
有关实施方式7的图像编码装置依次将包含在对象图片中的宏块编码。此外,有关实施方式7的图像编码装置计算运动矢量的平均、动作块数、静止块数、同奇偶性数、以及反奇偶性数。
图15是表示有关实施方式7的图像编码装置的结构图。
样本提取部1600接受原来的对象图片作为输入Vin,提取M×N排列的原来的样本D11并输出。M和N例如分别是16和16。
参照图片选择部1604接受表示场编码或帧编码的图片类型信息PTin,将参照图片集合D3作为输入保存,输出用于运动预测处理的1个以上的被选择的参照图片集合D4。
运动预测部1606接受参照图片集合D4和M×N排列的原来的样本D11,对参照图片执行运动预测,输出运动矢量集合D5、参照索引集合D6、和表示对象宏块的运动活性较低的中间运动预测信息D7。这样的中间运动预测信息D7的一例在H.264/MPEG-4AVC影像编码规格的情况下是ColZeroFlag。
运动补偿部1608取得参照索引集合D6、运动矢量集合D5和参照图片集合D3。运动补偿部1608输出M×N排列的间预测样本D8。
图像编码部1610然后接受M×N排列的原来的样本D11作为输入。在本发明的实施方式之中,图像编码部也接受M×N排列的间预测样本D8作为追加性的输入,在M×N的对象宏块的编码中使用。图像编码部1610然后对对象宏块进行图像编码处理,将M×N排列的量子化残差D9输出给熵编码部1612及图像解码部1614。
熵编码部1612将M×N排列的量子化残差D9编码,输出压缩图片比特流Vout。图像解码部1614将量子化残差D9解码及再构建。图像编码部1610也可以接受M×N排列的间预测样本D8而再构建M×N排列的宏块样本。
图像解码部1614最终将M×N排列的再构建样本D10输出,将该再构建样本保存到图片存储部1602中。
本发明利用在上述宏块编码处理中生成的信息,决定1个以上的后续图片的编码类型。
参数初始化部1620在图片的开始时点(在对象图片的最初的宏块中)被启动。参数初始化部1620将运动矢量的和D14设定为零,将运动矢量数D15设定为零,将动作块数D16设定为零,将静止块数D17设定为零,将同奇偶性数D18设定为零,将反奇偶性数D19设定为零。参数初始化部1620在图片的开始时点以外的阶段中不输出信号。为了简洁地表示,看作运动矢量信息的水平组成及垂直组成的两者包含在运动矢量的和D14中。
各OR门部1622、1624、1626、1628、1630、或1632将两个输入信号中的1个按照可利用的输入信号,连接到输出信号(D20、D23、D26、D29、D32、或D35)上。
在图片的开始时点以外的阶段中,所谓可利用的输入信号(D39、D41、D45、D51、D64、及D62),是通过初始信号(D14、D15、D16、D17、D18、及D19)的可能的修正生成的反馈信号。
空间活性计算部1616作为输入而接受M×N排列的元的样本D11,计算表示原来的M×N样本值之间的变动量的空间活性值D12。空间活性比较部1618接受空间活性值D12,将其与预先设定的空间活性阈值比较。如果该空间活性值未达到预先设定的空间活性阈值,则将控制信号D13设定为1。如果不是,则将控制信号D13设定为零。
控制信号D13被用于开关部1634、1636、1638、1640、1642、以及1644的控制。
如果控制信号D13是1,则开关部1634将D20向D22的输出连接,开关部1636将D23向D25的输出连接,开关部1638将D26向D28的输出连接,开关部1640将D29向D31的输出连接,开关部1642将D32向D34的输出连接,开关部1644将D35向D37的输出连接。
如果控制信号D13是0,则开关部1634将D20向D21的输出连接,开关部1636将D23向D24的输出连接,开关部1638将D26向D27的输出连接,开关部1640将D29向D30的输出连接,开关部1642将D32向D33的输出连接,开关部1644将D35向D36的输出连接。
也可以不执行空间活性的评价处理。在这样的情况下,也可以没有空间活性计算部1616、空间活性比较部1618、以及开关部1634、1636、1638、1640、1642、1644。
除此以外,运动矢量的和D20永久地连接在D21的输出上,运动矢量数D23永久地连接在D24的输出上,动作块数D26永久地连接在D27的输出上,静止块数D29永久地连接在D30的输出上,同奇偶性数D32永久地连接在D33的输出上,反奇偶性数D35永久地连接在D36的输出上。
运动矢量合计部1646作为输入而接受对象宏块的运动矢量集合D5和运动矢量的和D21。当在运动矢量集合D5中有多个运动矢量时,运动矢量合计部1646在内部中计算被加到运动矢量的和中的单一的运动矢量值。作为这样的计算的例子,有简单平均、加权平均、以及抽样。将结果得到的单一的运动矢量然后加到运动矢量的和D21中,将更新后的运动矢量的和D38输出。
OR门部1648然后按照可利用的输入信号,将D38或D22的某个连接在运动矢量的和D39的输出上。
合计部1650将运动矢量数D24增加1,将更新后的运动矢量数D40输出。OR门部1652然后按照可利用的输入信号,将D40或D25某个连接在运动矢量数D41的输出上。
平均运动矢量计算部1654接受运动矢量的和D39和运动矢量数D41,计算水平以及垂直方向的运动矢量的平均{MVXout,MVYout}。对象图片的编码结束时的、最终得到的运动矢量的平均被用于1个以上的后续图片的编码类型决定。
运动矢量比较部1656接受运动矢量集合D5,将其与预先设定的运动矢量阈值比较。垂直以及水平运动矢量组成的预先设定的阈值也可以设定为不同的值。如果各运动矢量值是预先设定的运动矢量阈值以上,则将控制信号D63设定为1。如果不是,则将D63设定为零。
开关部1658按照控制信号D63,将动作块数D27的输入连接在动作块数D42或D43的输出上。如果D63是1,则将D27的输入连接在D42的输出上。如果不是,则将D27的输入连接在D43的输出上。
合计部1660将动作块数D42增加1,输出D44。OR门部1662然后按照可利用的信号,将D44、D43、或D28的某个的输入连接在动作块数D45的输出上。在对象图片的编码结束时,动作块数的最终的值被用于1个以上的后续图片的编码类型决定。
静止标志计算部1664接受中间运动预测信息D7,计算静止标志D46。在后述的式7中表示H.264/MPEG-4AVC影像编码规格的情况下的这样的计算的一例。
静止标志比较部1666然后评价静止标志的值。如果静止标志D46是1,则将控制信号D47设定为1。如果不是,则将D47设定为零。
开关部1668按照控制信号D47,将静止块数D30的输入连接在静止块数D48或D49的输出上。如果D47是1,则将D30的输入连接在D48的输出上。如果不是,则将D30的输入连接在D49的输出上。
合计部1670将静止块数D48增加1,输出D50。OR门部1672然后按照可利用的信号,将D50、D49或D31的某个的输入连接在静止块数D51的输出上。在对象图片的编码结束时,可以将静止块数的最终的值用于1个以上的后续图片的编码类型决定。
编码类型比较部1674接受对象宏块编码类型信息PFin,输出控制信号D52。在将对象宏块作为帧宏块编码的情况下,将D52设定为零。如果不是(将对象宏块作为场宏块编码的情况下),将D52设定为1。
另外,即使对象图片的编码类型是帧编码,也有按照对象宏块而变更编码类型的情况。即,有图片类型信息PTin与对象宏块编码类型信息PFin不同的情况。
场奇偶性比较部1678接受对象宏块场奇偶性信息Pin、被选择的参照索引D6、和参照图片信息D1。场奇偶性比较部1678然后将对象宏块的场奇偶性与所选择的参照图片的场奇偶性比较,输出控制信号D55。如果对象宏块的场奇偶性与所选择的参照图片的场奇偶性相同,则将D55设定为1。如果不是,则将D55设定为零。
开关部1680按照控制信号D52及D55,将同奇偶性数D33的输入连接在同奇偶性数D56或D57的输出上。如果D52是1、并且D55是1,则将D33的输入连接在D56的输出上。如果不是(如果D52是0、或D55是0),则将D33的输入连接在D57的输出上。
合计部1684将同奇偶性数D56增加1,输出D58。OR门部1686然后按照可利用的信号,将D58、D57或D34的某个的输入连接在同奇偶性数D64的输出上。
同样,控制信号D52及D55被用于将反奇偶性数D36的输入连接到反奇偶性数D59或D60的输出上的开关部1688的控制。开关部1688如果D52是1、并且D55是0,则将D36的输入连接在D59的输出上。如果不是(如果D52是0、或D55是1),则将D36的输入连接在D60的输出上。
合计部1690将反奇偶性数D59增加1,输出D61。OR门部1692然后按照可利用的信号,将D61、D60或D37的某个的输入连接在反奇偶性数D62的输出上。在对象图片的编码结束时,可以将同奇偶性数PSout及反奇偶性数POout的最终的值用于1个以上的后续图片的编码类型决定。
图16是表示有关实施方式7的图像编码处理的流程图。
首先,参数初始化部1620将变量值初始化(S1500)。具体而言,将运动矢量的水平轴方向的和、运动矢量的垂直轴方向的和、运动矢量数、动作块数、静止块数、同奇偶性数以及反奇偶性数初始化为零。
接着,开始对象图片内的全部宏块中的宏块的循环(S1502)。
接着,样本提取部1600从原来的对象图片中取得对象宏块的原来的样本(S1504)。
接着,参照图片选择部1604从再构建图片存储器内的已经再构建的图片群中,选择图片作为参照图片候补(S1506)。
接着,运动预测部1606进行运动预测,得到在对象宏块的编码中使用的运动矢量集合(S1508)。
接着,运动补偿部1608进行运动补偿,得到宏块的预测样本(S1510)。
接着,空间活性计算部1616计算对象宏块的空间活性值(S1512)。空间活性值是表示图像的空间的复杂度的值。空间活性值的一例是统计的方差。
[数式1]
SpatialAct = variance ( macroblock )
= Σ m = 0 M - 1 Σ n = 0 N - 1 ( x ( n , m ) 2 ) N × M - ( Σ m = 0 M - 1 Σ n = 0 N - 1 x ( n , m ) N × M ) 2 (式1)
其中,SpatialAct被在宏块内作为样本值的统计的方差计算,x(n,m)表示处于宏块内的(n,m)的位置的样本值。
空间活性值的算出的其他例子如下。
[数式2]
SpatialAct = Σ b = 0 B - 1 ( SmallBlockSpatialAct - min b = 0 B - 1 ( SmallBlockSpatialAct ) ) B (式2)
[数式3]
SmallBlockSpatialAct = variance ( SmallBlock )
= Σ f = 0 F - 1 Σ e = 0 E - 1 ( x ( f , e ) 2 ) E × F - ( Σ f = 0 F - 1 Σ e = 0 E - 1 x ( f , e ) E × F ) 2 (式3)
其中,SmallBlock表示E×F样本的小块,E表示宽度方向的样本数,N(宏块的宽度)能被E除尽。另一方面,F表示高度方向的样本数,M(宏块的高度)能被F除尽。E和F例如分别是4和4。SmallBlockSpatialAct表示作为小块内的样本值的统计的方差计算出的小块空间活性值,B表示对象大块内的小块的数量,x(f,e)表示处于小块内的(f,e)的位置的样本值,min表示极小/最小值。
空间活性值的另一例是相邻样本间的绝对差的和。
[数式4]
HorizontalDiff = Σ m = 0 M - 1 Σ n = 0 N - 2 ABS ( x ( n , m ) - x ( n + 1 , m ) ) N × M (式4)
[数式5]
VerticalDiff = Σ m = 0 M - 2 Σ n = 0 N - 1 ABS ( x ( n , m ) - x ( n , m + 1 ) ) N × M (式5)
[数式6]
SpatialAct=HorizontalDiff+VerticalDiff    (式6)
其中,x(n,m)表示处于宏块内的(n,m)的位置的样本值,ABS表示取绝对值。
空间活性比较部1618将对象宏块的空间活性值与预先设定的空间活性阈值比较(S1514)。并且,空间活性比较部1618确认对象宏块的空间活性值是否是未达到预先设定的空间活性阈值(S1516)。
如果是真(S1516中Yes),则将取得运动信息的处理跳过,图像编码部1610将对象宏块编码(S1544)。如果不是(S1516中No),则执行下个处理(S1518)。
基于空间活性值的切换处理(S1512、S1514及S1516)是可选的。在不进行基于空间活性值的切换处理(S1512、S1514及S1516)的情况下,在运动补偿(S1510)之后,执行下个处理(S1518)。
接着,运动矢量合计部1646通过将对象宏块的运动矢量的水平轴方向和运动矢量的垂直轴方向分别相加,求出运动矢量的水平轴方向的和以及运动矢量的垂直轴方向的和(S1518)。
接着,合计部1650将运动矢量数增加1(S1520)。
在不使用运动矢量的平均作为运动信息的情况下,也可以将合计处理(S1518及S1520)跳过。
接着,运动矢量比较部1656将所得到的运动矢量分别与预先设定的运动矢量阈值比较(S1522)。并且,运动矢量比较部1656确认对象宏块的各运动矢量是否是预先设定的运动矢量阈值(S1524)。
如果是真(S1524中Yes),则执行下个处理(S1526)。如果不是(S1524中No),则将下个处理(S1526)跳过。
接着,合计部1660将动作块数增加1(S1526)。
在没有使用动作块数作为运动信息的情况下,也可以将动作块数计测处理(S1522、S1524及S1526)跳过。
接着,静止标志计算部根据在运动预测处理中生成的中间信息计算静止标志(S1528)。静止标志表示对象宏块的运动活性较低。在H.264影像编码规格的情况下实施的静止标志的一例如下。
[数式7]
StillFlag=ColZeroFlag    (式7)
接着,静止标志比较部1666确认静止标志是否等于1(S1530)。如果是真(S1530中Yes),则执行下个处理(S1532)。如果不是(S1530中No),则将下个处理(S1532)跳过。
接着,合计部1670将静止块数增加1(S1532)。
在没有使用静止块数作为运动信息的情况下,也可以将静止块数计测处理(S1528、S1530及S1532)跳过。
接着,编码类型比较部1674确认对象宏块是否是场宏块(S1534)。如果是真(S1534中Yes),则执行奇偶性比较处理(S1536)。如果不是(S1534中No),则执行同奇偶性数计测处理(S1542)。
接着,场奇偶性比较部1678将所选择的参照图片的场奇偶性与对象宏块的场奇偶性比较(S1536)。并且,场奇偶性比较部1678确认所选择的参照图片的场奇偶性是否与对象宏块的场奇偶性相同(S1538)。
如果是真(S1538中Yes),则合计部1690将同奇偶性数增加1(S1542)。如果不是(S1538中No),则合计部1690将反奇偶性数增加1(S1540)。
在不使用同奇偶性数及反奇偶性数作为运动信息的情况下,也可以将奇偶性数计测处理(S1534、S1536、S1538、S1540及S1542)跳过。
接着,图像编码部1610将对象宏块的样本使用图像编码工具编码(S1544)。接着,图像解码部1614使用图像解码工具再构建对象宏块的样本(S1546)。接着,图像解码部1614将宏块的再构建样本保存到图片存储部1602中(S1548)。
接着,宏块的循环结束(S1550)。
在将图片内的全部宏块编码后,平均运动矢量计算部1654如以下这样计算运动矢量的水平轴方向的平均及运动矢量的垂直轴方向的平均(S1552)。
[数式8]
AverageHorizontalMV=SumHorizontalMV÷motion_vector_count (式8)
[数式9]
AverageVerticalMV=SumVerticalMV÷motion_vector_count     (式9)
这里、SumHorizontalMV及SumVerticalMV是由运动矢量合计处理(S1518)计算出的值。motion_vector_count是在运动矢量的和的计算中使用的宏块的数量。
在没有使用运动矢量的平均作为运动信息的情况下,也可以将运动矢量平均算出处理(S1552)跳过。
如以上这样,实施方式7所示的图像编码装置能够取得对象图片的各种运动信息。将所取得的运动信息用在其他实施方式中表示的方法评价。并且,决定下个图片的编码类型。此外,对象图片的各种运动信息根据通过将对象图片编码而生成的信息导出。因而,能够抑制运算量的增加。
此外,在空间活性较低的情况下,块是否运动的判断精度变低。因而,也可以如上述那样仅从对象图片中的、空间活性值是预先设定的阈值以上的块取得运动信息。另外,在其他实施方式中,也可以仅从对象图片中的、空间活性值是预先设定的阈值的块取得运动信息。
(实施方式8)
通过将用来实现在上述各实施方式中表示的图像编码方法的结构的程序记录到存储媒体中,能够将在上述各实施方式中表示的处理在独立的计算机系统中简单地实施。存储媒体可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等,只要是能够记录程序的存储媒体就可以。
进而,这里说明在上述各实施方式中表示的图像编码方法的应用例和使用它的系统。
图17是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区分割为希望的大小,在各小区内分别设置有作为固定无线站的基站ex106~ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、以及基站ex106~ex110连接着计算机ex111、PDA(PersonalDigital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是,内容供给系统ex100并不限定于图17那样的结构,也可以将某些单元组合而连接。此外,也可以不经由作为固定无线站的基站ex106~ex110,各设备直接连接在电话网ex104上。此外,各设备也可以经由近距离无线等直接相互连接。
照相机ex113是数字摄像机等的能够进行运动图像摄影的设备,照相机ex116是数字照相机等的能够进行静止图像摄影、运动图像摄影的设备。此外,便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机或PHS(Personal Handyphone System)等,是哪种都可以。
在内容供给系统ex100中,通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上,能够进行现场分发等。在现场分发中,对用户使用照相机ex113摄影的内容(例如音乐现场的影像等)如上述各实施方式中说明那样进行编码处理,发送给流媒体服务器ex103。另一方面,流媒体服务器ex103将被发送来的内容数据对有请求的客户端进行流分发。作为客户端,有能够将上述被编码处理的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到被分发的数据的各设备中,将接收到的数据解码处理并再现。
另外,摄影的数据的编码处理既可以由照相机ex113进行,也可以由进行数据的发送处理的流媒体服务器ex103进行,也可以相互分担来进行。同样,被分发的数据的解码处理既可以由客户端进行,也可以由流媒体服务器ex103进行,也可以相互分担来进行。此外,并不限定于照相机ex113,也可以将由照相机ex116摄影的静止图像及/或动图像数据经由计算机ex111发送给流媒体服务器ex103。该情况下的编码处理既可以在照相机ex116、计算机ex111、流媒体服务器ex103的某个中进行,也可以相互分担来进行。
此外,这些编码处理及解码处理一般在计算机ex111及各设备具有的LSI(Large Scale Integration)ex500中处理。LSIex500既可以是单芯片也可以是由多芯片构成的结构。另外,也可以将图像编码用及图像解码用的软件装入到能够由计算机ex111等读取的某种记录媒体(CD-ROM、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而,在便携电话ex114带有照相机的情况下,也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是被便携电话ex114具有的LSIex500编码处理后的数据。
此外,流媒体服务器ex103也可以是多个服务器或多个计算机,是将数据分散处理、记录、分发的结构。
如以上这样,在内容供给系统ex100中,客户端能够接收编码的数据并再现。这样,在内容供给系统ex100中,客户端能够将用户发送的信息实时地接收并解码、再现,即使是不具有特别的权利或设备的用户也能够实现个人广播。
在构成该内容供给系统的各设备的编码中是要使用在上述各实施方式中表示的图像编码方法就可以。
作为其一例,对便携电话ex114进行说明。
图18是表示使用在上述实施方式中说明的图像编码方法的便携电话ex114的图。便携电话ex114具有用来在与基站ex110之间收发电波的天线ex601、CCD照相机等的能够摄影影像、静止图像的照相机部ex603、显示将由照相机部ex603摄影的影像、由天线ex601接收到的影像等解码后的数据的液晶显示器等的显示部ex602、由操作键ex604群构成的主体部、用来进行声音输出的扬声器等的声音输出部ex608、用来进行声音输入的麦克风等的声音输入部ex605、用来保存摄影的运动图像或静止图像的数据、接收到的邮件的数据、将运动图像的数据或静止图像的数据等编码后的数据或解码后的数据的记录媒体ex607、用来使得在便携电话ex114中能够安装记录媒体ex607的插槽部ex606。记录媒体ex607是SD卡等的在塑料壳内收纳有作为是能够电气地改写及删除的非易失性存储器的EEPROM的一种的闪存存储元件的结构。
进而,使用图19对便携电话ex114进行说明。便携电话ex114对于综合控制具备显示部ex602及操作键ex604的主体部的各部的主控制部ex711,将电源电路部ex710、操作输入控制部ex704、图像编码部ex712、照相机接口部ex703、LCD(Liquid Crystal Display)控制部ex702、图像解码部ex709、多路复用分离部ex708、记录再现部ex707、调制解调电路部ex706及声音处理部ex705经由同步总线ex713相互连接。
电源电路部ex710如果通过用户的操作使结束通话及电源键成为开启状态,则通过从电池组对各部供电,将带有照相机的数字便携电话ex114启动为能够动作的状态。
便携电话ex114基于由CPU、ROM及RAM等构成的主控制部ex711的控制,在声音通话模式时将由声音输入部ex605集音的声音信号通过声音处理部ex705变换为数字声音数据,将其用调制解调电路部ex706进行波谱扩散处理,由收发电路部ex701实施数字模拟变换处理及频率变换处理后,经由天线ex601发送。此外,便携电话ex114在声音通话模式时将由天线ex601接收到的接收数据放大,实施频率变换处理及模拟数字变换处理,由调制解调电路部ex706进行波谱逆扩散处理,由声音处理部ex705变换为模拟声音数据后,经由声音输出部ex608将其输出。
进而,在数据通信模式时发送电子邮件的情况下,将通过主体部的操作键ex604的操作输入的电子邮件的文本数据经由操作输入控制部ex704向主控制部ex711送出。主控制部ex711将文本数据用调制解调电路部ex706进行波谱扩散处理,用收发电路部ex701实施数字模拟变换处理及频率变换处理后,经由天线ex601向基站ex110发送。
在数据通信模式时,在发送图像数据的情况下,将由照相机部ex603摄像的图像数据经由照相机接口部ex703向图像编码部ex712供给。此外,在不发送图像数据的情况下,也可以将由照相机部ex603摄像的图像数据经由照相机接口部ex703及LCD控制部ex702直接显示在显示部ex602上。
图像编码部ex712是具备在本发明中说明的图像编码装置的结构,通过将从照相机部ex603供给的图像数据用在由上述实施方式表示的图像编码装置中使用的图像编码方法压缩编码,变换为编码图像数据,将其向多路复用分离部ex708送出。此外,与此同时,便携电话ex114在由照相机部ex603摄像过程中由声音输入部ex605集音的声音经由声音处理部ex705作为数字的声音数据向多路复用分离部ex708送出。
多路复用分离部ex708将从图像编码部ex712供给的编码图像数据和从声音处理部ex705供给的声音数据以规定的方式多路复用,将结果得到的多路复用数据用调制解调电路部ex706进行波谱扩散处理,用收发电路部ex701实施数字模拟变换处理及频率变换处理后,经由天线ex601发送。
在数据通信模式时,在接收链接在主页等上的动图像文件的数据的情况下,将经由天线ex601从基站ex110接收到的接收数据用调制解调电路部ex706进行波谱逆扩散,将结果得到的多路复用数据向多路复用分离部ex708送出。
此外,为了将经由天线ex601接收到的多路复用数据解码,多路复用分离部ex708通过将多路复用数据分离,分为图像数据的比特流和声音数据的比特流,经由同步总线ex713将该编码图像数据向图像解码部ex709供给,并将该声音数据向声音处理部ex705供给。
接着,图像解码部ex709通过将图像数据的比特流用与在上述实施方式中表示的图像编码方法对应的图像解码方法解码而生成再现动图像数据,将其经由LCD控制部ex702对显示部ex602供给,由此,将例如在链接在主页等上的动图像文件中包含的运动图像数据显示。与此同时,声音处理部ex705在将声音数据变换为模拟声音数据后,将其向声音输出部ex608供给,由此,将例如在链接在主页等上的动图像文件中包含的声音数据再现。
另外,并不限定于上述系统的例子,最近通过卫星、地面波的数字广播受到关注,如图20所示,在数字广播用系统中也能够装入上述实施方式的至少图像编码装置。具体而言,在广播站ex201中,将声音数据、影像数据或多路复用了这些数据的比特流经由电波传送给通信或广播卫星ex202。接受到它的广播卫星ex202发出广播用的电波,具有卫星广播接收设备的家庭的天线ex204接收该电波,电视机(接收机)ex300或机顶盒(STB)ex217等的装置将比特流解码而将其再现。此外,可以在将记录在作为记录媒体的CD及DVD等的记录媒体ex215、ex216中的多路复用了图像数据和声音数据的比特流读取并解码的读取/记录机ex218中安装与在上述实施方式中表示的图像编码装置对应的图像解码装置。在此情况下,将再现后的影像信号显示在监视器ex219上。此外,也可以考虑在连接在有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置、将其用电视机的监视器ex219再现的结构。此时,也可以不是在机顶盒中、而在电视机内装入图像解码装置。此外,也可以由具有天线ex205的车ex210从卫星ex202或基站等接收信号、在车ex210具有的导航仪ex211等的显示装置上再现运动图像。
此外,可以在将记录在DVD、BD等的记录媒体ex215中的声音数据、影像数据或多路复用了这些数据的编码比特流读取并解码、或者将声音数据、影像数据或将这些数据编码而作为多路复用数据记录到记录媒体ex215中的读取/记录机ex218中安装在上述各实施方式中表示的图像编码装置。在此情况下,将再现后的影像信号显示在监视器ex219上。此外,可以通过记录有编码比特流的记录媒体ex215,由其他装置以及系统等将影像信号再现。例如,其他再现装置ex212可以使用被复制了编码比特流的记录媒体ex214在监视器ex213上再现影像信号。
此外,也可以在连接在有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置,将其用电视机的监视器ex219显示。此时,也可以不是在机顶盒中、而在电视机内装入图像解码装置。
图21是表示使用在上述各实施方式中说明的图像编码方法的电视机(接收机)ex300的图。电视机ex300具有经由接收上述广播的天线ex204或电缆ex203等取得或输出影像信息的比特流的调谐器ex301、将接收到的编码数据解调、或为了将生成的编码数据向外部发送而调制的调制/解调部ex302、和将解调后的影像数据和声音数据分离、或将编码后的影像数据与声音数据多路复用的多路复用/分离部ex303。此外,电视机ex300具备具有将声音数据、影像数据分别解码、或将各个信息编码的声音信号处理部ex304、影像信号处理部ex305的信号处理部ex306、和具有将解码后的声音信号输出的扬声器ex307、将解码后的影像信号显示的显示器等的显示部ex308的输出部ex309。进而,电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而,电视机ex300具有综合控制各部的控制部ex310、对各部供电的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外、还具有与读取/记录机ex218等的外部设备连接的桥接器ex313、用来能够安装SD卡等的记录媒体ex216的插槽部ex314、用来与硬盘等的外部记录媒体连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外,记录媒体ex216是能够通过收纳的非易失性/易失性的半导体存储元件电气地进行信息的记录的。电视机ex300的各部经由同步总线相互连接。
首先,对电视机ex300将通过天线ex204等从外部取得的数据解码并再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于具有CPU等的控制部ex310的控制,将由调制/解调部ex302解调后的影像数据、声音数据用多路复用/分离部ex303分离。进而,电视机ex300将分离后的声音数据用声音信号处理部ex304解码,将分离后的影像数据用影像信号处理部ex305使用与在上述各实施方式中说明的图像编码方法对应的图像解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时,可以将这些信号临时储存到缓存ex318、ex319等中,以使声音信号和影像信号同步再现。此外,电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录媒体ex215、ex216读出编码后的编码比特流。接着,对电视机ex300将声音信号及影像信号编码、向外部发送或写入到记录媒体等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作,基于控制部ex310的控制,用声音信号处理部ex304将声音信号编码,用影像信号处理部ex305将影像信号使用在上述各实施方式中说明的图像编码方法编码。将编码后的声音信号、影像信号用多路复用/分离部ex303多路复用并向外部输出。在多路复用时,可以将这些信号暂时储存到缓存ex320、ex321等中,以使声音信号与影像信号同步。另外,缓存ex318~ex321既可以如图示那样具备多个,也可以是共用一个以上的缓存的结构。进而,也可以在图示以外、在例如调制/解调部ex302与多路复用/分离部ex303之间等也作为避免系统的溢出及下溢的缓冲部而将数据储存到缓存中。
此外,电视机ex300也可以除了从广播及记录媒体等取得声音数据及影像数据以外、还具备受理麦克风及照相机的AV输入的结构、对从它们中取得的数据进行编码处理。另外,这里,设电视机ex300为能够进行上述的编码处理、多路复用、以及外部输出的结构进行了说明,但也可以是不能进行这些全部的处理、而仅能够进行上述接收、解码处理、以及外部输出中的某种的结构。
此外,在用读取/记录机ex218从记录媒体读出编码比特流、或者写入的情况下,上述解码处理或编码处理既可以由电视机ex300及读取/记录机ex218中的某个进行,也可以是电视机ex300和读取/记录机ex218相互分担来进行。
作为一例,在图22中表示从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构。信息再现/记录部ex400具备以下说明的单元ex401~ex407。光头ex401对作为光盘的记录媒体ex215的记录面照射激光斑而写入信息,检测来自记录媒体ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器,根据记录数据进行激光的调制。再现解调部ex403将通过内置在光头ex401中的光检测器电气地检测来自记录面的反射光得到的再现信号放大,将记录在记录媒体ex215中的信号成分分离并解调,将需要的信息再现。缓存ex404将用来记录到记录媒体ex215中的信息以及从记录媒体ex215再现的信息暂时保持。盘马达ex405使记录媒体ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道,进行激光斑的跟踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述读出及写入的处理通过系统控制部ex407利用保持在缓存ex404中的各种信息、此外根据需要而进行新的信息的生成及追加、并且一边使调制记录部ex402、再现解调部ex403以及伺服控制部ex406协同动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成,通过执行读出写入的程序来执行这些处理。
以上,设光头ex401照射激光斑而进行了说明,也可以是使用接近场光进行更高密度的记录的结构。
在图23中表示作为光盘的记录媒体ex215的示意图。在记录媒体ex215的记录面上,以螺旋状形成有导引槽(沟),在信息轨道ex230中,预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息,进行记录及再现的装置通过将信息轨道ex230再现并读取地址信息来确定记录块。此外,记录媒体ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233,配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被在用户数据的记录以外的特定用途中使用。信息再现/记录部ex400对这样的记录媒体ex215的数据记录区域ex233,进行编码的声音数据、影像数据、或将这些数据多路复用后的编码数据的读写。
以上,举例说明了1层DVD、BD等的光盘,但并不限于这些,也可以是多层构造、在表面以外也能够进行记录的光盘。此外,也可以是在盘的相同的地方使用各种各样不同的波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外,在数字广播用系统ex200中,也可以用具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现运动图像。另外,导航仪ex211的结构可以考虑在例如图21所示的结构中添加了GPS接收部的结构,同样的结构在计算机ex111及便携电话ex114等中也可以想到。此外,上述便携电话ex114等的终端与电视机ex300同样,可以想到除了具有编码器及解码器两者的收发型终端以外、还有仅编码器的发送终端、仅解码器的接收终端的3种安装形式。
这样,将在上述各实施方式中表示的图像编码方法用在上述哪种设备及系统中都可以,通过这样,能够得到在上述各实施方式中说明的效果。
此外,本发明并不限定于上述实施方式,能够不脱离本发明的范围而进行各种变形或修正。
(实施方式9)
在上述各实施方式中表示的图像编码方法以及装置典型地可以通过作为集成电路的LSI实现。作为一例,在图24中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501~ex509,各单元经由总线ex510连接。电源电路部ex505通过在电源为开启状态的情况下对各部供电而启动为能够动作的状态。
例如在进行编码处理的情况下,LSIex500基于具有CPUex502、存储器控制器ex503及流控制器ex504等的控制部ex501的控制,通过AVI/Oex509从麦克风ex117及照相机ex113等受理AV信号的输入。将输入的AV信号暂时储存到SDRAM等的外部的存储器ex511中。基于控制部ex501的控制,将所储存的数据根据处理量及处理速度适当地分为多次等、向信号处理部ex507传送。信号处理部ex507进行声音信号的编码以及/或影像信号的编码。这里,影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中,还根据请求而进行将编码后的声音数据与编码后的影像数据多路复用等的处理,从流I/Oex506向外部输出。将该输出的比特流朝向基站ex107发送、或写入到记录媒体ex215中。另外,也可以暂时将数据储存到缓存ex508中、以使得在多路复用时同步。
此外,例如在进行解码处理的情况下,LSIex500基于控制部ex501的控制,将由流I/Oex506经由基站ex107得到的编码数据、或从记录媒体ex215读出而得到的编码数据暂时储存到存储器ex511等中。基于控制部ex501的控制,将所储存的数据根据处理量及处理速度适当地分为多次等而向信号处理部ex507传送。信号处理部ex507进行声音数据的解码以及/或影像数据的解码。这里,影像信号的解码处理是与在上述各实施方式中说明的编码处理对应的解码处理。进而,可以根据情况而将各个信号暂时储存到缓存ex508等中,以便能够将解码后的声音信号和解码后的影像信号同步再现。可以将解码后的输出信号适当经由存储器ex511等从便携电话ex114、游戏机ex115以及电视机ex300等的各输出部输出。
另外,在上述中,设存储器ex511为LSIex500的外部的结构而进行了说明,但也可以是包含在LSIex500的内部中的结构。缓存ex508也并不限定于一个,也可以具备多个缓存。此外,LSIex500既可以1芯片化,也可以多芯片化。
另外,这里设为LSI,但根据集成度的差异,也有称作IC、系统LSI、超级LSI、超大规模LSI的情况。
此外,集成电路化的方法并不限定于LSI,也可以由专用电路或通过处理器实现。也可以利用在LSI制造后能够编程的FPGA、或能够将LSI内部的电路小区的连接及设定再构成的可重构处理器。
进而,如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术,则当然也可以使用该技术功能块的集成化。有可能是生物技术的应用等。
以上,如在多个实施方式中表示那样,有关本发明的图像编码装置基于对象图片的运动信息决定下个图片的编码类型。由此,能够抑制运算量的增加、适当地决定编码类型。
另外,基于实施方式对有关本发明的图像编码方法以及图像编码装置进行了说明,但本发明并不限定于这些实施方式。只要不脱离本发明的主旨,对该实施方式实施了本领域的技术人员想到的各种变形后的形态、以及将不同的实施方式的构成单元及步骤等组合而构建的其他形态也包含在本发明的范围内。
此外,多个实施方式所示的各结构及各处理是例子,结构或处理也可以重新组合。例如,也可以替换处理的顺序,也可以将特定的构成单元执行的处理由别的构成单元执行。
此外,有关本发明的图像编码装置按照宏块计测运动,但也可以按照与宏块不同尺寸的的块来计测运动。
此外,有关本发明的图像编码装置也可以将片段的编码类型决定为图片的编码类型。
此外,被决定编码类型的下个图片既可以是编码顺序中下个图片,也可以是显示顺序中下个图片。在编码顺序的情况下,能够平滑地执行处理。在显示顺序的情况下,判断精度变高。并且,在决定编码类型的下个图片是显示顺序中下个图片的情况下,该下个图片优选的是在编码顺序中比对象图片靠后的图片。由此,能够平滑地执行处理。
此外,在将下个图片用帧编码进行编码时,也可以将包含在下个图片中的特定的块用场编码进行编码。特别是,在由运动信息表示的值与用来决定是帧编码还是场编码的阈值的差较小的情况下,有关本发明的图像编码装置也可以按照块来决定帧编码和场编码。
此外,本发明不仅可以作为图像编码装置实现,也可以作为以构成图像编码装置的处理机构为步骤的方法来实现。并且,本发明也可以作为使计算机执行这些步骤的程序来实现。进而,本发明也可以作为储存有该程序的计算机可读取的CD-ROM等的存储媒体来实现。
工业实用性
有关本发明的图像编码方法例如能够在数字录像机、数字摄像机等的摄像设备中使用。
标号说明
100  图片编码部
102  编码类型决定部
200、1000、1200  运动矢量比较部
202、606、802、1008、1204、1402  下个图片编码类型设定部
600、602、1002、1004  计测部
604、1006  奇偶性数比较部
800、1202  动作块数比较部
1400  静止块数比较部
1600  样本提取部
1602  图片存储部
1604  参照图片选择部
1606  运动预测部
1608  运动补偿部
1610  图像编码部
1612  熵编码部
1614  图像解码部
1616  空间活性计算部
1618  空间活性比较部
1620  参数初始化部
1622、1624、1626、1628、1630、1632、1648、1652、1662、1672、1686、1692  OR门部
1634、1636、1638、1640、1642、1644、1658、1668、1680、1688  开关部
1646  运动矢量合计部
1650、1660、1670、1684、1690  合计部
1654  平均运动矢量计算部
1656  运动矢量比较部
1664  静止标志计算部
1666  静止标志比较部
1674  编码类型比较部
1678  场奇偶性比较部
D1  参照图片信息
D3、D4  参照图片集合
D5  矢量集合
D6  参照索引(参照索引集合)
D7  预测信息
D8  间预测样本
D9  量子化残差
D10 再构建样本
D11 样本
D12 空间活性值
D13、D47、D52、D55、D63  控制信号
D14、D20、D21、D22、D38、D39  运动矢量的和
D15、D23、D24、D25、D40、D41  运动矢量数
D16、D26、D27、D28、D42、D43、D44、D45  动作块数
D17、D29、D30、D31、D48、D49、D50、D51  静止块数
D18、D32、D33、D34、D56、D57、D58、D64  同奇偶性数
D19、D35、D36、D37、D59、D60、D61、D62  反奇偶性数
D46  静止标志
D81、D82、D83、D84、D85、D86、D87、D88、D89、D90、D91、D92、D93  信号
ex100 内容供给系统
ex101  因特网
ex102  因特网服务提供商
ex103  流媒体服务器
ex104  电话网
ex106、ex107、ex108、ex109、ex110  基站
ex111  计算机
ex112  PDA
ex113、ex116  照相机
ex114  带有照相机的数字便携电话(便携电话)
ex115  游戏机
ex117  麦克风
ex200  数字广播用系统
ex201  广播站
ex202  广播卫星(卫星)
ex203  电缆
ex204、ex205、ex601  天线
ex210  车
ex211  导航仪(车辆导航仪)
ex212  再现装置
ex213、ex219  监视器
ex214、ex215、ex216、ex607  记录媒体
ex217  机顶盒(STB)
ex218  读取/记录机
ex220  遥控器
ex230  信息轨道
ex231  记录块
ex232  内周区域
ex233  数据记录区域
ex234  外周区域
ex300  电视机
ex301  调谐器
ex302  调制/解调部
ex303  多路复用/分离部
ex304  声音信号处理部
ex305  影像信号处理部
ex306、ex507  信号处理部
ex307  扬声器
ex308、ex602  显示部
ex309  输出部
ex310、ex501  控制部
ex311、ex505、ex710  电源电路部
ex312  操作输入部
ex313  桥接器
ex314、ex606  插槽部
ex315  驱动器
ex316  调制解调器
ex317  接口部
ex318、ex319、ex320、ex321、ex404、ex508  缓存
ex400  信息再现/记录部
ex401  光头
ex402  调制记录部
ex403  再现解调部
ex405  盘马达
ex406  伺服控制部
ex407  系统控制部
ex500  LSI
ex502  CPU
ex503  存储器控制器
ex504  流控制器
ex506  流I/O
ex509  AVI/O
ex510  总线
ex511  存储器
ex603  照相机部
ex604  操作键
ex605  声音输入部
ex608  声音输出部
ex701  收发电路部
ex702  LCD控制部
ex703  照相机接口部(照相机I/F部)
ex704  操作输入控制部
ex705  声音处理部
ex706  调制解调电路部
ex707  记录再现部
ex708  多路复用分离部
ex709  图像解码部
ex711  主控制部
ex712  图像编码部
ex713  同步总线

Claims (12)

1.一种图像编码方法,将多个图片编码,其特征在于,包括:
对象图片编码步骤,将包含在上述多个图片中的对象图片编码;
编码类型决定步骤,取决于作为表示上述对象图片内的运动的信息的运动信息,决定将上述对象图片的下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码;以及
下个图片编码步骤,在决定为将上述下个图片用帧编码进行编码的情况下,将上述下个图片用帧编码进行编码,在决定为将上述下个图片用场编码进行编码的情况下,将上述下个图片用场编码进行编码,
在上述编码类型决定步骤中,对包含在上述对象图片中的1个以上的块分别取得表示图像的空间的复杂度的空间活性值,仅从包含在上述对象图片中的1个以上的块中的、上述空间活性值是预先设定的空间活性值阈值以上的1个以上的块取得上述运动信息,取决于所取得的上述运动信息,决定将上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码。
2.如权利要求1所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,通过从上述空间活性值是上述预先设定的空间活性值阈值以上的上述1个以上的块分别取得运动矢量而取得1个以上的运动矢量,计算所取得的上述1个以上的运动矢量的平均,在计算出的上述平均未达到预先设定的阈值的情况下,决定为将上述下个图片用帧编码进行编码,在上述平均是上述预先设定的阈值以上的情况下,决定为将上述下个图片用场编码进行编码。
3.如权利要求1所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,取得上述空间活性值是上述预先设定的空间活性值阈值以上的上述1个以上的块中的、属于与在编码时被参照的参照块相同的奇偶性的块的数量即同奇偶性数、以及属于与上述参照块不同的奇偶性的块的数量即反奇偶性数作为上述运动信息,在上述同奇偶性数是上述反奇偶性数以上的情况下,决定为将上述下个图片用帧编码进行编码,在上述同奇偶性数未达到上述反奇偶性数的情况下,决定为将上述下个图片用场编码进行编码。
4.如权利要求1所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,取得上述空间活性值是上述预先设定的空间活性值阈值以上的上述1个以上的块中的、属于与在编码时被参照的参照块相同的奇偶性的块的数量即同奇偶性数、以及属于与上述参照块不同的奇偶性的块的数量即反奇偶性数作为上述运动信息,在从上述同奇偶性数减去上述反奇偶性数后的值是预先设定的阈值以上的情况下,决定为将上述下个图片用帧编码进行编码,在上述相减后的值未达到上述预先设定的阈值的情况下,决定为将上述下个图片用场编码进行编码。
5.如权利要求1所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,取得上述空间活性值是上述预先设定的空间活性值阈值以上的上述1个以上的块中的、具有预先设定的第1阈值以上的大小的运动矢量的块的数量即动作块数,在上述动作块数未达到预先设定的第2阈值的情况下,决定为将上述下个图片用帧编码进行编码,在上述动作块数是上述预先设定的第2阈值以上的情况下,决定为将上述下个图片用场编码进行编码。
6.如权利要求1所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,取得上述空间活性值是上述预先设定的空间活性值阈值以上的上述1个以上的块中的、静止的块的数量即静止块数,在上述静止块数是预先设定的第1阈值以上的情况下,决定为将上述下个图片用帧编码进行编码,在上述静止块数未达到上述预先设定的第1阈值的情况下,决定为将上述下个图片用场编码进行编码。
7.如权利要求6所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,取得上述空间活性值是上述预先设定的空间活性值阈值以上的上述1个以上的块中的、具有未达到预先设定的第2阈值的大小的运动矢量的块的数量作为上述静止块数。
8.如权利要求6所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,取得上述空间活性值是上述预先设定的空间活性值阈值以上的上述1个以上的块中的、具有表示静止的标志的块的数量作为上述静止块数。
9.如权利要求1所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,决定将在编码顺序中是上述对象图片的下个图片的上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码。
10.如权利要求1所述的图像编码方法,其特征在于,
在上述编码类型决定步骤中,决定将在显示顺序中作为上述对象图片的下个图片的上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码。
11.一种图像编码装置,将多个图片编码,其特征在于,
具备:
图片编码部,将包含在上述多个图片中的对象图片编码;以及
编码类型决定部,取决于作为表示上述对象图片内的运动的信息的运动信息,决定将上述对象图片的下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码;
在上述编码类型决定部中,对包含在上述对象图片中的1个以上的块分别取得表示图像的空间的复杂度的空间活性值,仅从包含在上述对象图片中的1个以上的块中的、上述空间活性值是预先设定的空间活性值阈值以上的1个以上的块取得上述运动信息,取决于所取得的上述运动信息,决定将上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码,
上述图片编码部在决定了将上述下个图片用帧编码进行编码的情况下,将上述下个图片用帧编码进行编码,在决定了将上述下个图片用场编码进行编码的情况下,将上述下个图片用场编码进行编码。
12.一种集成电路,将多个图片编码,其特征在于,
具备:
图片编码部,将包含在上述多个图片中的对象图片编码;以及
编码类型决定部,取决于作为表示上述对象图片内的运动的信息的运动信息,决定将上述对象图片的下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码;
在上述编码类型决定部中,对包含在上述对象图片中的1个以上的块分别取得表示图像的空间的复杂度的空间活性值,仅从包含在上述对象图片中的1个以上的块中的、上述空间活性值是预先设定的空间活性值阈值以上的1个以上的块取得上述运动信息,取决于所取得的上述运动信息,决定将上述下个图片用帧编码进行编码、还是将上述下个图片用场编码进行编码,
上述图片编码部在决定了将上述下个图片用帧编码进行编码的情况下,将上述下个图片用帧编码进行编码,在决定了将上述下个图片用场编码进行编码的情况下,将上述下个图片用场编码进行编码。
CN201080002697.6A 2009-07-29 2010-07-12 图像编码方法、图像编码装置、程序以及集成电路 Active CN102165779B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009176891 2009-07-29
JP2009-176891 2009-07-29
PCT/JP2010/004503 WO2011013304A1 (ja) 2009-07-29 2010-07-12 画像符号化方法、画像符号化装置、プログラムおよび集積回路

Publications (2)

Publication Number Publication Date
CN102165779A CN102165779A (zh) 2011-08-24
CN102165779B true CN102165779B (zh) 2015-02-25

Family

ID=43528978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080002697.6A Active CN102165779B (zh) 2009-07-29 2010-07-12 图像编码方法、图像编码装置、程序以及集成电路

Country Status (4)

Country Link
US (1) US8699778B2 (zh)
JP (1) JP5499035B2 (zh)
CN (1) CN102165779B (zh)
WO (1) WO2011013304A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5759269B2 (ja) 2011-06-01 2015-08-05 株式会社日立国際電気 映像符号化装置
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
CN105120337A (zh) * 2015-08-28 2015-12-02 小米科技有限责任公司 视频特效处理方法、装置及终端设备
CN113998034B (zh) * 2018-06-13 2023-08-25 里德视觉有限公司 骑乘者辅助系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
US6421385B1 (en) * 1997-10-01 2002-07-16 Matsushita Electric Industrial Co., Ltd. Apparatus and method for efficient conversion of DV (digital video) format encoded video data into MPEG format encoded video data by utilizing motion flag information contained in the DV data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
JP2684941B2 (ja) * 1992-11-25 1997-12-03 松下電器産業株式会社 画像符号化方法及び画像符号化装置
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
JP3331351B2 (ja) 1991-12-27 2002-10-07 ソニー株式会社 画像データ符号化方法及び装置
JP2000102017A (ja) * 1998-09-24 2000-04-07 Mitsubishi Electric Corp 画像符号化装置および画像符号化方式
JP3898505B2 (ja) * 2001-12-25 2007-03-28 三菱電機株式会社 画像信号処理装置
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
US20040008775A1 (en) * 2002-07-12 2004-01-15 Krit Panusopone Method of managing reference frame and field buffers in adaptive frame/field encoding
TWI332652B (en) * 2003-05-23 2010-11-01 Via Tech Inc System and method of auto-configuration settings for multimedia apparatus
FR2872973A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage d'une sequence d'images sources
EP1790171B1 (en) * 2004-09-16 2018-03-28 Thomson Licensing DTV Method and apparatus for rapid video frame and field coding
JP5422124B2 (ja) * 2005-10-05 2014-02-19 パナソニック株式会社 参照ピクチャ選択方法、画像符号化方法、プログラム、画像符号化装置および半導体装置
US20080080618A1 (en) * 2006-09-28 2008-04-03 Kazuya Takagi Video decoding apparatus and method of the same
JP4762860B2 (ja) * 2006-11-10 2011-08-31 三菱電機株式会社 動画像符号化装置
JP2010016806A (ja) * 2008-06-04 2010-01-21 Panasonic Corp フレーム符号化とフィールド符号化の判定方法、画像符号化方法、画像符号化装置およびプログラム
JP2011250400A (ja) * 2010-04-27 2011-12-08 Panasonic Corp 動画像符号化装置及び動画像符号化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
US6421385B1 (en) * 1997-10-01 2002-07-16 Matsushita Electric Industrial Co., Ltd. Apparatus and method for efficient conversion of DV (digital video) format encoded video data into MPEG format encoded video data by utilizing motion flag information contained in the DV data

Also Published As

Publication number Publication date
JPWO2011013304A1 (ja) 2013-01-07
WO2011013304A1 (ja) 2011-02-03
US8699778B2 (en) 2014-04-15
US20110176740A1 (en) 2011-07-21
JP5499035B2 (ja) 2014-05-21
CN102165779A (zh) 2011-08-24

Similar Documents

Publication Publication Date Title
CN102124741B (zh) 图像编码方法及图像编码装置
CN102577387B (zh) 解码方法、解码装置、编码方法以及编码装置
CN102047670B (zh) 编码装置及方法、错误检测装置及方法、解码装置及方法
CN102138327B (zh) 运动图像编码方法、运动图像编码装置以及集成电路
KR101680877B1 (ko) 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 프로그램, 및 집적 회로
CN101981936B (zh) 图像解码方法及图像解码装置
CN102301720A (zh) 图像编码方法以及图像解码方法
CN102224731A (zh) 图像编码装置、图像解码装置、图像编码方法及图像解码方法
CN102197651A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、集成电路及程序
CN102474268A (zh) 编码方法、解码方法、编码装置及解码装置
CN103125119A (zh) 图像处理装置、图像编码方法以及图像处理方法
CN102395032B (zh) 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN102165779B (zh) 图像编码方法、图像编码装置、程序以及集成电路
CN102598661B (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
WO2011052213A1 (ja) 画像復号方法、画像符号化方法、それらの装置、プログラムおよび集積回路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200,

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170111

Address after: The United States of New York No. 450 Lexington Avenue 38 floor 10017

Patentee after: Sun patent hosting Co.

Address before: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA