CN100563342C - 图象编码方法和图象解码方法 - Google Patents

图象编码方法和图象解码方法 Download PDF

Info

Publication number
CN100563342C
CN100563342C CNB2005800060552A CN200580006055A CN100563342C CN 100563342 C CN100563342 C CN 100563342C CN B2005800060552 A CNB2005800060552 A CN B2005800060552A CN 200580006055 A CN200580006055 A CN 200580006055A CN 100563342 C CN100563342 C CN 100563342C
Authority
CN
China
Prior art keywords
parameter
decoded picture
image
input imagery
picture quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005800060552A
Other languages
English (en)
Other versions
CN1922887A (zh
Inventor
近藤敏志
笹井寿郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1922887A publication Critical patent/CN1922887A/zh
Application granted granted Critical
Publication of CN100563342C publication Critical patent/CN100563342C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

这样的图像编码方法包括:把输入图像编码,生成包含编码的输入图像的代码列的编码步骤(S102);通过把编码的输入图像解码,生成解码图像的解码图像生成步骤(S104);对所述输入图像以及所述解码图像的至少一方进行基于频率的处理,按照所述处理,生成用于使所述解码图像接近所述输入图像的参数的参数生成步骤(S106、S108)。提供在大幅度削减代码量的同时,能实现解码图像的高图像质量化的图像编码方法和图像解码方法。

Description

图象编码方法和图象解码方法
技术领域
[0001]
本发明涉及把运动图象压缩时的图象编码方法和图象解码方法。
背景技术
[0002]
以往的图象编码装置(例如参照专利文献1)具有第一和第二编码部,通过阶层的运动图象编码方式把图象编码。第一编码部把输入图象(高分辨率图象)缩小,变换为低分辨率图象,对低分辨率图象实施编码。第二编码部对把由第一编码部取得的低分辨率图象的局部解码图象进行扩大处理的图象和输入图象(高分辨率图象)的差分图象,实施编码。
[0003]
即、在这样的以往的方法中,把输入图象的高分辨率图象作为把低分辨率图象的局部解码图象扩大的图象和输入图象的差分图象编码。换言之,差分图象成为高分辨率成分
专利文献1:日本国特开平6-78292号公报
[0004]
可是,该高分辨率成分终究还是经编码的图象数据(差分图象),存在由编码生成的代码量增大的问题。
发明内容
[0005]
本发明是鉴于有关问题提出的,其目的在于,能在大幅度削减代码量的同时,实现解码图象的高图象质量的图象编码方法和图象解码方法。
[0006]
为了实现所述的目的,本发明的图象编码方法把输入图象编码,其特征在于,包括:把输入图象编码,生成包含编码的输入图象的代码列的编码步骤;通过把编码的输入图象解码,生成解码图象的解码图象生成步骤;根据所述输入图象以及所述解码图象的双方,生成用于使所述解码图象接近所述输入图象的参数的参数生成步骤,在所述参数生成步骤中,对所述解码图象以及所述输入图象中的任意一方的图象进行基于频率的滤波处理,比较所述滤波处理后的一方图象与另一方图象,生成所述参数。例如在所述参数生成步骤中,把所述解码图象以及所述输入图象进行频率变换,确定由所述频率变换取得的各频率变换系数的差分,从而生成所述参数。
[0007]
据此,根据输入图象以及解码图象的至少一方的频率成分,生成参数,所以能使参数的信息量比以往的图象数据(差分图象)少。即能大幅度削减包含代码列和参数的代码量,在图象解码装置中,使用该参数,能实现解码图象的高图象质量。
[0008]
另外,其特征在于:在所述参数生成步骤中,对所述解码图象以及所述输入图象各自的各图象区,确定所述频率变换系数的差分,生成所述各图象区的所述参数。
[0009]
据此,对各图象区生成与该图象区对应的参数,所以能使解码图象更接近输入图象,进一步实现高图象质量。
[0010]
另外,所述图象编码方法的特征在于:包含:生成用于识别在所述参数生成步骤中为了生成所述参数而使用的处理的识别信息的识别信息生成步骤。
[0011]
据此,如果图象解码装置取得该识别信息,图象解码装置就根据该识别信息表示的处理,使解码图象恰当地接近输入图象,实现高图象质量。
[0012]
另外,所述图象编码方法的特征在于:包含:对所述输入图象进行给定的前处理的前处理步骤;在所述编码步骤中,把进行了所述前处理的输入图象编码,生成代码列;在所述参数生成步骤中,根据所述解码图象、进行了所述前处理的输入图象或未进行所述前处理的输入图象中的至少一方的频率,生成所述参数。例如在所述前处理步骤中,对所述输入图象进行图象尺寸的缩小处理、低通滤波处理或帧频削减处理。
[0013]
据此,因为对输入图象进行前处理,所以能进一步削减代码量。
[0014]
另外,所述图象生成方法的特征在于:包含:生成表示所述前处理步骤中进行的所述前处理的内容的前处理参数的前处理参数生成步骤。
[0015]
据此,如果图象解码装置取得前处理参数,图象解码装置就根据前处理参数表示的前处理的内容,恰当地生成解码图象,实现高图象质量。
[0016]
这里,本发明的图象解码方法把编码的输入图象解码,其特征在于,包括:取得代码列的代码列取得步骤;通过把所述代码列中包含的编码的输入图象解码,生成解码图象的解码步骤;取得根据所述输入图象和所述解码图象的双方生成的参数的参数取得步骤;对所述解码图象应用所述参数,生成比所述解码图象更接近所述输入图象的高图象质量的解码图象的高图象质量化步骤,在所述高图象质量化步骤中,对所述解码图象进行基于与所述参数对应的频率的滤波处理,生成所述高图象质量解码图象。
[0017]
据此,从图象编码装置输出参数时,能使用该参数,把解码图象恰当地高图象质量化,生成高图象质量的解码图象。
[0018]
此外,本发明不仅能作为这样的图象编码方法和图象解码方法实现,还能作为进行使用该方法的处理的图象编码装置以及图象解码装置、集成电路、用于实现该方法的程序、存储该程序的存储媒体实现。
[0019]
本发明的图象编码方法和图象解码方法在大幅度削减代码量的同时,能实现解码图象的高图象质量,其实用价值高。
附图说明
[0020]
图1是使用本发明实施例1的图象编码方法的图象编码装置的框图(实施例1)。
图2是表示该图象编码装置的参数抽出部的构成例的框图。(实施例1)
图3是表示该图象编码装置的抽出部的构成例的框图。(实施例1)
图4是用于说明该图象编码装置的系数修正部的处理方法的模式图。
(实施例1)
图5是表示该图象编码装置的动作的流程图。(实施例1)
图6是表示其变形例1的参数抽出部的构成例的框图。(实施例1的变形例1)
图7是该变形例1的图象编码装置使用离散小波变换系数,以多重分辨率表现输入图象和局部解码图象时的模式图。(实施例1的变形例1)
图8是表示变形例2的参数抽出部的构成例的框图。(实施例1的变形例2)
图9是表示变形例2的拉普拉斯算子生成部的构成例的框图。(实施例1的变形例2)
图10是变形例2的拉普拉斯算子图象的例子的图。(实施例1的变形例2)
图11是表示变形例3的参数抽出部的构成例的框图。(实施例1的变形例3)
图12是表示变形例4的最佳参数抽出部的结构的框图。(实施例1的变形例4)
图13是使用本发明实施例2的图象编码方法的图象编码装置的框图。
(实施例2)
图14是表示该图象编码装置的附加参数抽出部的构成例的框图。(实施例2)
图15是表示变形例的图象编码装置的附加参数抽出部的构成例的框图。(实施例2的变形例)
图16是表示使用本发明实施例3的图象解码方法的图象解码装置的框图。(实施例3)
图17是表示该图象解码装置的高图象质量化处理部的构成例的框图。
(实施例3)
图18是表示该图象解码装置的动作的流程图。(实施例3)
图19是表示变形例1的高图象质量化处理部的构成例的框图。(实施例3的变形例1)
图20A是变形例1的图象解码装置使用离散小波变换系数,以多重分辨率表现解码图象和高图象质量解码图象时的模式图。(实施例3的变形例1)
图20B是变形例1的图象解码装置使用离散小波变换系数,以多重分辨率表现解码图象和高图象质量解码图象时的其他模式图。(实施例3的变形例1)
图21是表示变形例2的高图象质量化处理部的构成例的框图。(实施例3的变形例2)
图22是表示变形例2的拉普拉斯算子生成部取得的拉普拉斯算子图象的例子的图。(实施例3的变形例2)
图23是表示变形例3的高图象质量化处理部的构成例的框图。(实施例3的变形例3)
图24是表示变形例4的最佳高图象质量化处理部的构成例的框图。
(实施例3的变形例4)
图25是使用本发明实施例4的图象解码方法的图象解码装置的框图。
(实施例4)
图26是变形例的图象解码装置的框图。(实施例4的变形例)
图27A是存储由计算机系统实现本发明的图象编码方法和图象解码方法的程序的记录媒体的说明图(实施例5)。
图27B是存储由计算机系统实现本发明的图象编码方法和图象解码方法的程序的记录媒体的其他说明图(实施例5)。
图27C是存储由计算机系统实现本发明的图象编码方法和图象解码方法的程序的记录媒体的其他说明图(实施例5)。
图28是表示内容供给系统的全体结构的框图。(实施例6)
图29是表示使用本发明的图象编码方法以及图象解码方法的移动电话的例子的图。(实施例6)
图30是移动电话的框图。
图31是表示数字广播系统的例子的图。
符号的说明。
[0021]
100-图象编码装置;101-图象编码部;102-最佳参数抽出部;102a~102d-参数抽出部;201、202-离散余弦变换部;203-抽出部;301-系数修正部;302-修正模式保持部;303-距离计算部;304-最佳值检测部;1500-图象解码装置;1501-图象解码部;1502-最佳高图象质量化处理部;1502a~1502d-高图象质量化处理部;1601-离散余弦变换部;1602-系数修正部;1603-修正模式保持部;1604-反离散余弦变换部。
具体实施方式
[0022]
下面参照附图说明本发明的实施例。
[0023]
(实施例1)
图1是使用本发明实施例1的图象编码方法的图象编码装置100的框图。如图1所示,图象编码装置100具有图象编码部101和参数抽出部102a。
[0024]
输入图象OR对图象编码部101输入。图象编码部101根据由规格规定的图象编码方法对输入图象OR编码。作为由规格规定的图象编码方法,能使用ISO/IEC规格的JPEG(Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)、ITU-T规格的H.26x方式等。从图象编码部101输出把输入图象OR编码取得的代码列BS、把编码的输入图象OR解码取得的局部解码图象LD。代码列BS向图象编码装置100的外部输出,进行传送、存储等处理。
[0025]
局部解码图象LD向参数抽出部102a输入。另外,对参数抽出部102a也把输入图象OR输入。参数抽出部102a使用输入图象OR和局部解码图象LD,抽出用于使局部解码图象LD接近输入图象OR的高图象质量化参数PR。把高图象质量化参数PR对图象编码装置100的外部输出,与代码列BS一起进行传送、存储等处理。
[0026]
参数抽出部102a可以在代码列BS的标题区或用户数据区中包含高图象质量化参数PR,也可以作为与代码列BS不同的代码列输出。
[0027]
以下说明在参数抽出部102a中求出高图象质量化参数PR时的处理例。
[0028]
图2是表示参数抽出部102a的构成例的框图。
[0029]
参数抽出部102a具有离散余弦变换部201、202和抽出部203。离散余弦变换部201对输入图象OR进行离散余弦变换,输出离散余弦变换系数OT。离散余弦变换部202对局部解码图象LD进行离散余弦变换,输出离散余弦变换系数DT。在进行离散余弦变换时,例如把输入图象OR和局部解码图象LD分割为水平8象素、垂直8象素的块,对各块进行处理。或者分割为各区域不同尺寸的块。这时,有在平坦的部分,增大块尺寸,在包含边缘的复杂图案部分,减小块尺寸的方法。
[0030]
把用离散余弦变换部201、202对输入图象OR和局部解码图象LD取得的离散余弦变换系数OT、DT对抽出部203输入。抽出部203根据输入图象OR和局部解码图象LD的离散余弦变换系数OT、DT的频率分布,求出用于从局部解码图象LD的离散余弦变换系数DT的频率分布区的输入图象OR的离散余弦变换系数OT的参数。
[0031]
图3是表示抽出部203的构成例的框图。如图3所示,抽出部203具有系数修正部301、修正模式(pattern)保持部302、距离计算部303、最佳值检测部304。
[0032]
对系数修正部301输入局部解码图象LD的离散余弦变换系数DT。系数修正部301按顺序使用修正模式保持部302中保持的多个修正模式,对局部解码图象LD的离散余弦变换系数DT进行修正。
[0033]
图4是用于说明系数修正部301的处理方法的模式图。图4(a)表示局部解码图象LD的离散余弦变换系数DT的频率分布。这里为了简化,把离散余弦变换系数DT表现为1维数据,但是实际上是2维数据。图4(b)表示修正模式。修正模式对各频率具有不同的增益。
[0034]
系数修正部301对图4(a)所示的局部解码图象LD的离散余弦变换系数DT的频率分布乘以图4(b)所示的修正模式,取得图4(c)所示的离散余弦变换系数CDT的频率分布。然后系数修正部301把离散余弦变换系数CDT对距离计算部303输出。
[0035]
对距离计算部303输入上述的离散余弦变换系数CDT和输入图象OR的离散余弦变换系数OT。距离计算部303计算离散余弦变换系数CDT和离散余弦变换系数OT的距离DS。作为距离DS,能使用与各频率对应的各系数的差分值的平方和、加权平方和。然后距离计算部303对最佳值检测部304输出距离DS。
[0036]
重复修正模式保持部302中包含的修正模式的数量的所述系数修正部301和距离计算部303的处理。然后,最佳值检测部304找出距离DS成为最小的修正模式。这时的修正模式的编号PN成为最佳的修正模式的编号。最佳值检测部304把最佳的修正模式的编号PN作为高图象质量化参数PR输出。
[0037]
图5是表示本实施例的图象编码装置100的动作的流程图。
[0038]
首先,图象编码装置100取得输入图象OR(步骤S100),把输入图象OR编码,生成代码列BS(步骤S102)。图象编码装置100把编码的输入图象OR解码,生成局部解码图象LD(步骤S104)。
[0039]
图象编码装置100对输入图象OR以及局部解码图象LD进行离散余弦变换,生成离散余弦变换系数OT、DT(步骤S106)。然后图象编码装置100确定使局部解码图象LD的离散余弦变换系数接近输入图象OR的离散余弦变换系数OT的修正模式(步骤S108)。
[0040]
如果确定修正模式,图象编码装置100就输出步骤S102中生成的代码列BS、表示步骤S108中确定的修正模式的高图象质量化参数PR(步骤S110)。
[0041]
在本实施例的图象编码方法中,用由规格规定的图象编码方法(JPEG方式或MPEG方式)把输入图象编码,使用输入图象和局部解码图象的频率成分求出用于生成高图象质量化成分的高图象质量化参数。该高图象质量化参数是用于使局部解码图象更接近输入图象的参数,使用离散余弦变换求出。
[0042]
因此,通过使用本实施例的图象编码方法,生成与由规格规定的图象编码方法(JPEG方式或MPEG方式)具有兼容性的代码列,还能生成高图象质量化参数。该高图象质量化参数不是图象数据,是根据输入图象和局部解码图象的频率成分生成的参数,所以能极端减少数据量,能用很少的信息量的增加实现解码图象的高图象质量化。例如接收由本实施例的图象编码方法生成的代码列的图象解码装置只与由规格规定的图象编码方法(JPEG方式或MPEG方式)的解码对应时,通过只把代码列解码,虽然图象质量低,但是能进行图象的再现。另外,图象解码装置也能进行高图象质量化参数PR的处理时,能进行高图象质量的图象的再现。通过使用本实施例的图象编码方法,与由规格规定的图象编码方法相比,只用稍微的代码量的增加就能大幅度提高图象质量。另外,具有所谓的可升级编码的特征,与以往的具有可升级功能的图象编码方法相比,能大幅度削减代码量。
[0043]
此外,在所述的实施例中,在参数抽出部102a中,求出输入图象OR和局部解码图象LD的离散余弦变换系数,但是图象编码部101使用离散余弦变换系数进行编码时(例如MPEG方式),代替重新由参数抽出部102a求出离散余弦变换系数,可以使用由图象编码部101求出的离散余弦变换系数。据此,能削减计算量。
[0044]
(变形例1)
这里,说明高图象质量化参数PR的生成方法的变形例1。
[0045]
本变形例的图象解码装置的参数抽出部代替离散余弦变换,进行离散小波变换,生成高图象质量化参数PR。
[0046]
图6是表示本变形例的参数抽出部的构成例的框图。
[0047]
参数抽出部102b具有离散小波变换部501、502、抽出部503。离散小波变换部501对输入图象OR进行离散小波变换,输出离散小波变换系数OW。离散小波变换部502对局部解码图象LD进行离散小波变换,输出离散小波变换系数LW。在进行离散小波变换时,可以对输入图象OR和局部解码图象LD的全画面进行处理。另外,可以把画面分割为区域,对各区域进行处理。这时,有按照图象的复杂程度(平坦度),把画面内分割为各区域的方法。
[0048]
把由离散小波变换部501、502对输入图象OR和局部解码图象LD分别取得的离散小波变换系数OW、LW对抽出部503输入。
[0049]
抽出部503根据输入图象OR和局部解码图象LD各自的离散小波变换系数OW、LW的频率分布,求出用于从局部解码图象LD的离散小波变换系数LW的频率分布取得输入图象OR的离散小波变换系数OW的频率分布的高图象质量化参数PR。
[0050]
参照图7,说明高图象质量化参数PR的求出方法的例子。
[0051]
图7是使用离散小波变换系数,以多重分辨率表现输入图象和局部解码图象时的模式图。这里,表示在水平和垂直方向各进行1次离散小波变换的情况。图7所示的记号“LL”、“HL”、“LH”、“HH”中,“L”表示低频成分,“H”表示高频成分。另外,关于2个记号的排列,第一个表示水平方向频率,第二个表示垂直方向频率。因此,记号“LH”表示水平方向为低频成分,垂直方向为高频成分的图象成分。图7(a)表示使用输入图象OR的离散小波变换系数OW的多重分辨率表现,图7(b)表示使用局部解码图象LD的离散小波变换系数LW的多重分辨率表现。
[0052]
抽出部503求出输入图象OR的LL成分对于局部解码图象LD的LL成分的增益G0’、输入图象OR的HL成分对于局部解码图象LD的HL成分的增益G1’、输入图象OR的LH成分对于局部解码图象LD的LH成分的增益G2’、输入图象OR的HH成分对于局部解码图象LD的HH成分的增益G3’,把这些增益作为高图象质量化参数PR输出。
[0053]
在本变形例中,与上述的实施例同样,高图象质量化参数PR不是图象数据,是根据输入图象以及局部解码图象的频率成分生成的参数,所以能极端减少数据量。
[0054]
这里,在本变形例中,把增益G0、增益G1’、增益G2’、增益G3’作为高图象质量化参数PR,但是也可以把它们以外的增益作为高图象质量化参数PR。
[0055]
抽出部503求出输入图象OR的HL成分对于输入图象OR的LL成分的增益G1、输入图象OR的LH成分对于输入图象OR的LL成分的增益G2、输入图象OR的HH成分对于输入图象OR的LL成分的增益G3。计算各成分的能量值,通过取它的比,能计算这些增益。然后抽出部503把这些增益作为高图象质量化参数PR输出。
[0056]
另外,抽出部503把所述增益G1、G2、G3、G0、G1’、G2’、G3’作为高图象质量化参数PR输出。
[0057]
此外,在变形例中,使用离散小波变换部501、502,求出对于输入图象OR和局部解码图象LD的离散小波变换系数,但是图象编码部101使用离散小波变换系数进行编码时(如JPEG2000方式),代替重新用参数抽出部102b求出离散小波变换系数,可以使用由图象编码部101求出的离散小波变换稀疏。据此,能削减计算量。
[0058]
另外,在本变形例中,把输入图象OR以及局部解码图象LD分割为各区域,进行小波变换时,可以发送对各区域不同的高图象质量化参数PR。或者,小波变换在全画面中进行,分割为区域,为各区域生成不同的高图象质量化参数PR。据此,高图象质量化参数PR的数量增多,但是能生成能进行更细致的处理的高图象质量化参数PR。
[0059]
(变形例2)
这里,说明高图象质量化参数PR的生成方法的变形例2。
[0060]
本变形例的图象编码装置的参数抽出部代替离散余弦变换,通过抽出边缘成分,生成高图象质量化参数PR。
[0061]
图8是表示本变形例的参数抽出部的构成例的框图。
[0062]
参数抽出部102c具有拉普拉斯算子生成部701、702以及抽出部703。拉普拉斯算子生成部701从输入图象OR生成拉普拉斯算子图象OLP,拉普拉斯算子生成部702从局部解码图象LD生成拉普拉斯算子图象LLP。在进行拉普拉斯算子图象的生成时,可以对输入图象OR和局部解码图象LD的全画面进行处理。或者把画面分割为区域,对各区域进行处理。这时,有按照图象的复杂程度(平坦度),把画面内分割为各区域的方法。
[0063]
参照图9,说明基于拉普拉斯算子生成部701、702的处理方法。
[0064]
图9是拉普拉斯算子生成部701、702的框图。
[0065]
拉普拉斯算子生成部701、702分别具有低通滤波器801、802和减法部803、804。
[0066]
在拉普拉斯算子生成部701中,低通滤波器801首先对输入图象OR进行高斯类型的低通滤波,生成低频成分图象LF1。然后减法部803从输入图象OR减去低频成分图象LF1,生成第一水平的拉普拉斯算子图象LP1。接着低通滤波器802对低频成分图象LF1进行高斯类型的低通滤波,生成低频成分图象LF2。然后,减法部804从低频成分图象LF1减去低频成分图象LF2,生成第二水平的拉普拉斯算子图象LP2。
[0067]
这样生成的输入图象OR的第一水平以及第二水平的拉普拉斯算子图象LP1、LP2作为上述的拉普拉斯算子图象OLP输出。
[0068]
在拉普拉斯算子生成部702中,与上述同样,首先低通滤波器801首先对局部解码图象LD进行高斯类型的低通滤波,生成低频成分图象LF1。然后减法部803从输入图象OR减去低频成分图象LF1,生成第一水平的拉普拉斯算子图象LP1。接着低通滤波器802对低频成分图象LF1进行高斯类型的低通滤波,生成低频成分图象LF2。然后,减法部804从低频成分图象LF1减去低频成分图象LF2,生成第二水平的拉普拉斯算子图象LP2。
[0069]
这样生成的局部解码图象LD的第一水平以及第二水平的拉普拉斯算子图象LP1、LP2作为上述的拉普拉斯算子图象LLP输出。
[0070]
从拉普拉斯算子生成部701、702的处理方法可知,从输入图象减去输入图象的低频成分,从而生成拉普拉斯算子图象。即拉普拉斯算子图象是由一种高通滤波器生成的图象,能抽出图象的边缘成分。而且,每当拉普拉斯算子图象的水平上升,就能抽出更低频的边缘成分。
[0071]
图10是表示拉普拉斯算子图象的例子的图。图10(a)表示输入图象OR,图10(b)和(c)分别表示对于输入图象OR的第一水平以及第二水平的拉普拉斯算子图象LP1、LP2。另外,图10(d)表示局部解码图象LD,图10(e)和(f)分别表示对于局部解码图象LD的第一水平以及第二水平的拉普拉斯算子图象LP1、LP2。
[0072]
抽出部703比较输入图象OR和局部解码图象LD的相同水平的拉普拉斯算子图象,抽出参数。例如用于从局部解码图象LD的第一水平的拉普拉斯算子图象LP1取得输入图象OR的第一水平的拉普拉斯算子图象LP1的增益G1、用于从局部解码图象LD的第二水平的拉普拉斯算子图象LP2取得输入图象OR的第二水平的拉普拉斯算子图象LP2的增益G2成为参数。抽出部703把这些增益作为高图象质量化参数PR输出。
[0073]
在本变形例中,与上述的实施例同样,高图象质量化参数PR不是图象数据,是根据输入图象以及局部解码图象的频率成分生成的参数,所以能极端减少数据量。
[0074]
此外,在本变形例中,求出第一水平和第二水平的拉普拉斯算子图象LP1、LP2,但是可以求出更多水平的拉普拉斯算子图象,可以在高图象质量化参数PR中包含表示用到哪一水平的拉普拉斯算子图象求出的信息。
[0075]
另外,在本变形例中,把输入图象OR和局部解码图象LD分割为各区域,生成拉普拉斯算子图象时,可以发送对各区域不同的高图象质量化参数PR。或者,对全画面生成拉普拉斯算子图象,分割为区域,生成对各区域不同的高图象质量化参数。据此,高图象质量化参数PR的数量增多,但是能生成能进行更细致的处理的高图象质量化参数PR。
[0076]
(变形例3)
这里,说明高图象质量化参数PR的生成方法的变形例3。
[0077]
本变形例的图象编码装置的参数抽出部代替离散余弦变换,通过使用基于点像强度分布函数(Point Spread Function)的滤波处理,生成高图象质量化参数PR。
[0078]
图11是表示本变形例的参数抽出部的构成例的框图。
[0079]
假定参数抽出部102d对输入图象OR进行基于点像强度分布函数的滤波处理(进行卷积处理)取得的图象为局部解码图象LD,求出点像强度分布函数的参数。这里,点像强度分布函数一般近似为高斯函数,所以把这里的参数称作高斯函数的参数(标准偏差σ)。
[0080]
具体而言,参数抽出部102d具有卷积处理部1401、函数参数保持部1402、误差能量计算部1403、参数决定部1404。
[0081]
函数参数保持部1402保持预先决定的多个点像强度分布函数的参数(例如高斯函数的参数)。卷积处理部1401从函数参数保持部1402保持的参数中选择任意的参数。然后卷积处理部1401使用选择的参数对输入图象OR进行卷积处理,输出结果取得的图象CR。误差能量计算部1403求出图象CR和局部解码图象LD的误差能量ER。把该误差能量ER对参数决定部1404输入。对函数参数保持部1402中保持的点像强度分布函数的参数分别进行这样的误差能量ER的计算。
[0082]
参数决定部1404选择误差能量ER变为最小的点像强度分布函数的参数,把该参数的编号PN作为高图象质量化参数PR输出。
[0083]
在本变形例中,与上述的实施例同样,高图象质量化参数PR不是图象数据,是对输入图象进行基于频率的滤波处理生成的参数,所以能极端减少数据量。
[0084]
此外,在本变形例中,对输入图象OR进行卷积处理,求出结果和局部解码图象LD的误差能量变为最小的点像强度分布函数的参数,但是可以对局部解码图象LD进行反卷积处理,求出结果和输入图象OR的误差能量变为最小的点像强度分布函数的参数。
[0085]
另外,在本变形例中,求出对全画面的点像强度分布函数的参数,但是可以把画面分割为各区域,对各区域求出点像强度分布函数的参数。这时,作为高图象质量化参数PR,可以包含关于区域的信息。据此,高图象质量化参数PR的数量增多,但是能生成能进行更细致的处理的高图象质量化参数PR。
[0086]
(变形例4)
这里,说明高图象质量化参数PR的生成方法的变形例4。
[0087]
本变形例的图象编码装置代替图1所示的参数抽出部102a,具有最佳参数抽出部。
[0088]
图12是表示本变形例的最佳参数抽出部的结构的框图。
[0089]
最佳参数抽出部102具有参数抽出部102a、102b、102c、102d和选择部112。
[0090]
参数抽出部102a、102b、102c、102d分别如上所述那样取得输入图象OR和局部解码图象LD,根据各处理步骤,输出高图象质量化参数PR。
[0091]
选择部112取得从各参数抽出部102a、102b、102c、102d输出的高图象质量化参数PR。然后,选择部112选择这些高图象质量化参数PR中最能使局部解码图象LD接近输入图象OR的高图象质量化参数PR。
[0092]
选择部112对从各参数抽出部输出的各高图象质量化参数PR,使用该高图象质量化参数PR,从局部解码图象LD生成高图象质量解码图象。然后,选择部112从对各高图象质量化参数PR生成的高图象质量解码图象找出最接近输入图象OR的高图象质量解码图象,选择生成该高图象质量解码图象时使用的高图象质量化参数PR。
[0093]
选择部112输出这样选择的高图象质量化参数PR、表示该高图象质量化参数PR的生成方法的标识符Pid。
[0094]
据此,在本变形例中,能生成最佳的高图象质量化参数PR。另外,表示高图象质量化参数PR的生成方法的标识符Pid也与高图象质量化参数PR一起输出,所以在图象解码装置中,使用该高图象质量化参数PR,能从代码列BS生成更接近输入图象OR的高图象质量的解码图象。
[0095]
此外,在本变形例中,对输入图象OR,各参数抽出部102a、102b、102c、102d都生成高图象质量化参数PR,但是也可以按照输入图象OR和给定的条件,只有任意一个参数抽出部生成高图象质量化参数PR。
[0096]
另外,在本实施例和变形例中,使用离散余弦变换系数、离散小波变换系数、拉普拉斯算子图象、点像强度分布函数,生成高图象质量化参数PR,但是也可以使用其它频率变换方法,例如傅立叶变换、阿达玛变换等,或图象处理方法,例如基于单贝尔算子的边缘图象生成法、使用伽柏函数的边缘图象生成法等,生成高图象质量化参数PR。
[0097]
实施例2
图13是使用本发明实施例2的图象编码方法的图象编码装置1000的框图。如图13所示,图象编码装置1000具有附加参数抽出部1002a、前处理部1003。
[0098]
输入图象OR对前处理部1003输入。前处理部1003对输入图象OR进行图象尺寸的缩小处理、基于低通滤波器的滤波处理、基于时间方向的帧减少的帧频削减处理。可以完全进行这些处理,也可以只进行任意一个处理。前处理部1003把由上述的处理生成的前处理图象PI对图象编码部1001和附加参数抽出部1002a输出。然后,前处理部1003把对输入图象OR进行的处理的参数(缩小的比率、低通滤波器的频率特性、帧减少的减少方法)作为前处理参数PP对附加参数抽出部1002a输出。
[0099]
图象编码部1001对输入的前处理图象PI实施由规格规定的图象编码方法。作为由规格规定的图象编码方法,与实施例1同样,能使用JPEG方式或MPEG方式、H.26x方式。图象编码部1001输出把前处理图象PI编码取得的代码列BS和局部解码图象LD。代码列BS对图象编码装置1000的外部输出,进行传送、存储等处理。局部解码图象LD对附加参数抽出部1002a输出。
[0100]
附加参数抽出部1002a使用输入的输入图象OR、前处理图象PI、局部解码图象LD、前处理参数PP中的任意一个,抽出用于使局部解码图象LD接近输入图象OR的高图象质量化参数PR’。高图象质量化参数PR’对图象编码装置1000的外部输出,与代码列BS一起进行传送、存储等处理。
[0101]
附加参数抽出部1002a与实施例1的参数抽出部102a同样,可以在代码列BS中的标题区或用户数据区包含高图象质量化参数PR’,可以作为与代码列BS不同的代码列输出。
[0102]
以下说明在附加参数抽出部1002a中求出高图象质量化参数PR’时的处理例。
[0103]
图14是表示附加参数抽出部1002a的构成例的框图。附加参数抽出部1002a具有实施例1中说明的参数抽出部102a。
[0104]
实施例1中说明的参数抽出部102a取得输入图象OR和局部解码图象LD,但是本实施例的参数抽出部102a代替输入图象OR,取得前处理图象PI。然后本实施例的参数抽出部102a对这些取得的信息进行处理,输出参数Pr。基于这样的参数抽出部102a的处理内容与实施例1的处理内容同样。
[0105]
附加参数抽出部1002a把从参数抽出部102a输出的参数Pr和前处理参数PP作为高图象质量化参数PR’输出。
[0106]
在本实施例的图象编码方法中,对输入图象进行图象尺寸的缩小处理、基于低通滤波器的滤波处理、基于时间方向的帧减少的帧频削减处理等处理后,用由规格规定的图象编码方法(JPEG方式或MPEG方式)进行编码。使用输入图象OR和局部解码图象LD和前处理参数PP求出用于生成高图象质量化成分的高图象质量化参数PR’。
[0107]
因此,通过使用本实施例的图象编码方法,生成与由规格规定的图象编码方法(JPEG方式或MPEG方式)具有兼容性的代码列,还能生成高图象质量化参数。该高图象质量化参数不是图象数据,是根据输入图象和局部解码图象的频率成分生成的参数,所以能极端减少数据量,能用很少的信息量的增加实现解码图象的高图象质量化。另外,在前处理部1003中,因为削减输入图象OR的数据量,所以代码列BS的代码量自身也减少。例如接收由本实施例的图象编码方法生成的代码列的图象解码装置只与由规格规定的图象编码方法(JPEG方式或MPEG方式)的解码对应时,通过只把代码列BS解码,虽然图象质量低,但是能进行图象的再现。另外,图象解码装置也能进行高图象质量化参数PR’的处理时,能进行高图象质量的图象的再现。通过使用本实施例的图象编码方法,与由规格规定的图象编码方法相比,只用稍微的代码量的增加就能大幅度提高图象质量。另外,具有所谓的可升级编码的特征,与以往的具有可升级功能的图象编码方法相比,能大幅度削减代码量。
[0108]
(变形例)
这里,说明高图象质量化参数PR’的生成方法的变形例。
[0109]
本变形例的图象编码装置的附加参数抽出部进行反前处理,生成高图象质量化参数PR’。
[0110]
图15是表示本变形例的附加参数抽出部1002b的构成例的框图。
[0111]
该附加参数抽出部1002b具有反前处理部1201、实施例1中说明的参数抽出部102a。
[0112]
对反前处理部1201输入局部解码图象LD和前处理参数PP。反前处理部1201使用前处理参数PP对局部解码图象LD进行与前处理部1003进行的处理相反的处理。当用前处理部1003进行基于图象尺寸的缩小处理时,反前处理部1201进行放大处理。另外,由前处理部1003进行基于低通滤波器的滤波处理时,反前处理部1201进行基于与低通滤波器相反的滤波器的处理。另外,由前处理部1003进行基于时间方向的帧减少的帧频削减处理时,反前处理部1201进行帧频的提高处理。反前处理部1201把进行这样的处理的局部解码图象LD’对参数抽出部102a输出。
[0113]
实施例1中说明的参数抽出部102a取得输入图象OR和局部解码图象LD,但是本变形例的参数抽出部102a代替局部解码图象LD,取得由反前处理部1201进行处理的局部解码图象LD’。然后,本变形例的参数抽出部102a对这些取得的信息进行处理,输出参数Pr。基于本变形例的参数抽出部102a的处理内容与实施例1的处理内容同样。
[0114]
附加参数抽出部1002b把从参数抽出部102a输出的参数Pr和前处理参数PP作为高图象质量化参数PR’输出。
[0115]
在本变形例中,与所述实施例同样,在前处理部1003中,削减输入图象OR的数据量,所以能削减代码列BS的代码量自身。
[0116]
此外,在本实施例和变形例中,附加参数抽出部1002a、1002b具有实施例1的参数抽出部102a,但是代替参数抽出部102a,可以具有实施例1的变形例1的参数抽出部102b、实施例1的变形例2的参数抽出部102c、实施例1的变形例3的参数抽出部102d、实施例1的变形例4的最佳参数抽出部102中的任意一个。
[0117]
(实施例3)
图16是表示使用本发明实施例3的图象解码方法的图象解码装置1500的框图。如图16所示,图象解码装置1500具有图象解码部1501和高图象质量化处理部1502a。对图象解码装置1500输入由使用实施例1中说明的本发明的图象编码方法的图象编码装置生成的代码列BS和高图象质量化参数PR。
[0118]
代码列BS对图象解码部1501输入。图象解码部1501对代码列BS实施由规格规定的图象解码。图象解码部1501在代码列BS由JPEG方式编码时,用JPEG方式解码,代码列BS由MPEG方式编码时,用MPEG方式解码,代码列BS由H.26x方式编码时,用H.26x方式解码。然后图象解码部1501对高图象质量化处理部1502a输出解码图象DC。
[0119]
此外,高图象质量化参数PR包含在代码列BS的标题区或用户数据区时,图象解码部1501从取得的代码列BS分离高图象质量化参数PR。然后,图象解码部1501把分离的高图象质量化参数PR与解码图象DC一起对高图象质量化处理部1502a输出。
[0120]
对高图象质量化处理部1502a输入解码图象DC和高图象质量化参数PR。高图象质量化处理部1502a使用高图象质量化参数PR对解码图象DC进行处理,输出高图象质量解码图象HQ。
[0121]
图17是表示高图象质量化处理部1502a的构成例的框图。高图象质量化处理部1502a具有离散余弦变换部1601、系数修正部1602、修正模式保持部1603、反离散余弦变换部1604。
[0122]
离散余弦变换部1601取得解码图象DC,对解码图象DC进行离散余弦变换。进行离散余弦变换时,例如把解码图象DC分割为水平8象素、垂直8象素的块,对各块进行处理。离散余弦变换部1601把对解码图象DC取得的离散余弦变换系数CT对系数修正部1602输出。
[0123]
高图象质量化参数PR对修正模式保持部1603输入。修正模式保持部1603保持与实施例1中说明的修正模式保持部302保持的修正模式相同的模式。然后,修正模式保持部1603把自己保持的修正模式中由高图象质量化参数PR指定的修正模式PT对系数修正部1602输出。
[0124]
系数修正部1602取得解码图象DC的离散余弦变换系数CT和修正模式PT,对离散余弦变换系数CT,使用修正模式PT进行修正。系数修正部1602用与实施例中使用图4说明的方法同样的方法进行修正。然后系数修正部1602把修正的离散余弦变换系数CT即离散余弦变换系数CCT对反离散余弦变换部1604输出。
[0125]
反离散余弦变换部1604对离散余弦变换系数CCT进行反离散余弦,生成高图象质量解码图象HQ,输出。
[0126]
图18是表示本实施例的图象解码装置1500的动作的流程图。
[0127]
首先,图象解码装置1500从图象编码装置取得代码列BS和高图象质量化参数PR(步骤S200)。然后,图象解码装置1500对步骤S200中取得的代码列BS进行解码处理,生成解码图象DC(步骤S202)。
[0128]
接着,图象解码装置1500对解码图象DC进行离散余弦变换,生成离散余弦变换系数CT(步骤S204)。然后,图象解码装置1500对生成的离散余弦变换系数CT应用高图象质量化参数PR表示的修正模式PT,进行离散余弦变换系数CT的修正(步骤S206)。
[0129]
然后,图象解码装置1500对修正的离散余弦变换系数CT以及离散余弦变换系数CCT进行反离散余弦变换,生成高图象质量解码图象HQ(步骤S208)。
[0130]
如上所述,在本实施例的图象解码方法中,取得使用由规格规定的图象编码方法(JPEG方式或MPEG方式)编码生成的代码列BS、用于生成高图象质量成分的高图象质量化参数PR。然后,把代码列BS用由规格规定的图象解码方法解码,生成解码图象DC,对解码图象DC使用高图象质量化参数PR进行图象处理,从而生成高图象质量解码图象HQ。在使用高图象质量化参数PR的处理中,通过使用离散余弦变换,能在解码图象DC中附加解码图象DC中不包含的高频成分。
[0131]
因此,在本实施例的图象解码方法中,使用由规格规定的图象解码方法(JPEG方式或MPEG方式),把代码列BS解码,生成解码图象DC,使用高图象质量化参数PR,能实现解码图象DC的高图象质量。该高图象质量化参数PR不是图象数据,是根据输入图象(原图象)以及局部解码图象的频率成分生成的参数,所以能极端减少数据量,能以很少的信息量的增加实现高图象质量。使用本实施例的图象解码方法,与由规格规定的图象解码方法相比,能用稍微的代码量的增加,就能大幅度提高图象质量,另外,具有所谓的可升级编码的特征,与以往的具有可升级功能的图象编码方法相比,能大幅度削减代码量。
[0132]
此外,在本实施例中,用离散余弦变换部1601求出解码图象DC的离散余弦变换系数CT,但是如果代码列BS是使用离散余弦变换系数编码的(例如MPEG方式),就可以使用由图象解码部1501从代码列BS取得的离散余弦变换系数。据此,能削减计算量。
[0133]
另外,在本变形例中,对各区域生成高图象质量化参数PR时,系数修正部1602对各区域进行系数修正处理。
[0134]
(变形例1)
这里,说明从解码图象DC生成高图象质量解码图象HQ的方法的变形例1。
[0135]
本变形例的图象解码装置的高图象质量化处理部取得由实施例1的变形例1中说明的参数抽出部102b生成的高图象质量化参数PR。然后,高图象质量化处理部对解码图象DC,代替离散余弦变换以及反离散余弦变换,进行离散小波变换以及反离散小波变换,生成高图象质量解码图象HQ。
[0136]
图19是表示本变形例的高图象质量化处理的构成例的框图。
[0137]
高图象质量化处理部1502b具有离散小波变换部1701、系数修正部1702、反离散小波变换部1703。
[0138]
离散小波变换部1701对解码图象DC进行离散小波变换。当进行离散小波变换时,可以对解码图象DC的全画面进行处理,或者也可以把画面分割为区域,对各区域进行处理。这时,有按照图象的复杂程度(平坦度),把画面内分割为各区域的方法。可是,在分割为区域时,使用与编码中分割的方法相同的方法。
[0139]
离散小波变换部1701把对解码图象DC取得的离散小波变换系数WC对系数修正部1702输出。
[0140]
对系数修正部1702输入离散小波变换系数WC和高图象质量化参数PR。使用图20A和图20B说明系数修正部1702中的处理方法。
[0141]
图20A是使用离散小波变换系数,以多重分辨率表现解码图象DC和高图象质量解码图象HQ时的模式图。图20A的表示方法(“H”和“L”等的表示方法)与图7的表示方法相同。图20A的(a)表示解码图象DC的使用离散小波变换系数的多重分辨率表现。
[0142]
系数修正部1702如图20A的(a)所示,对解码图象DC的LLC成分、HL成分、LH成分、HH成分各自的离散小波变换系数WC,使用实施例1中说明的增益G0’、G1’、G2’、G3’作为高图象质量化参数PR进行修正。结果,如图20A的(b)所示,生成与高图象质量解码图象HQ对应的具有LL”成分、HL”成分、LH”成分、HH ”成分的离散小波变换系数CWC。
[0143]
这里,系数修正部1702使用表示所述增益G0’、G1’、G2’、G3’的高图象质量化参数PR进行增益修正,但是也可以使用实施例1中说明的表示增益G1、G2、G3的高图象质量化参数PR进行增益修正。
[0144]
图20B是使用离散小波变换系数,以多重分辨率表现解码图象DC和高图象质量解码图象HQ时的其他模式图。图20B的表示方法(“H”和“L”等的表示方法)与图7的表示方法相同。图20B的(a)表示解码图象DC的使用离散小波变换系数的多重分辨率表现。
[0145]
系数修正部1702如图20B的(a)和(b)所示,以与解码图象DC对应的离散小波变换系数WC的LL成分作为LL’,原封不动复制。然后,系数修正部1702对于与解码图象DC对应的离散小波变换系数WC的HL成分、LH成分、HH成分,使用实施例1中说明的表示增益G1、G2、G3进行增益修正。结果,如图20B的(b)所示,生成与高图象质量解码图象HQ对应的具有LL’成分、HL’成分、LH’成分、HH’成分的离散小波变换系数CWC。
[0146]
另外,系数修正部1702可以使用所述增益G1、G2、G3、G0’、G1’、G2’、G3’的全部,进行增益修正。
[0147]
反离散小波变换部1703对由修正生成的离散小波变换系数CWC进行反离散小波变换,从而生成高图象质量解码图象HQ,输出。
[0148]
在本变形例中,与所述实施例同样,使用由规格规定的图象解码方法(JPEG方式或MPEG方式),把代码列BS解码,生成解码图象DC,使用高图象质量化参数PR,能实现解码图象DC的高图象质量化。该高图象质量化参数PR不是图象数据,是根据输入图象(原图象)以及局部解码图象的频率成分生成的参数,所以能极端减少数据量,能以很少的信息量的增加实现高图象质量。
[0149]
此外,在本变形例中,离散小波变换部1701求出对于解码图象DC的离散小波变换系数WC,但是如果代码列BS是使用离散小波变换系数编码的(例如JPEG2000方式),就可以使用图象解码部1501从代码列BS取得的离散小波变换稀疏。据此,能削减计算量。
[0150]
另外,在本变形例中,对各区域生成高图象质量化参数PR时,系数修正部1702对各区域进行系数修正处理。
[0151]
(变形例)
这里,说明从解码图象DC生成高图象质量解码图象HQ的方法的变形例2。
[0152]
本变形例的图象解码装置的高图象质量化处理部取得由实施例1的变形例2中说明的参数抽出部102c生成的高图象质量化参数PR。然后,高图象质量化处理部代替离散余弦变换以及反余弦变换,进行边缘成分的抽搐,从而生成高图象质量解码图象HQ。
[0153]
图21是表示本变形例的高图象质量化处理部的构成例的框图。
[0154]
高图象质量化处理部1502c具有拉普拉斯算子生成部1901、拉普拉斯算子修正部1902、合成部1903。
[0155]
拉普拉斯算子生成部1901对解码图象DC进行处理,生成拉普拉斯算子图象LP。在进行拉普拉斯算子图象LP的生成时,可以对解码图象DC的全画面进行处理,分割为区域,对各区域进行。拉普拉斯算子生成部1901的结构是与实施例1的变形例2的拉普拉斯算子生成部701、702同样的结构,拉普拉斯算子生成部1901进行与实施例1的变形例2中使用图9说明的内容同样的处理。这里,拉普拉斯算子生成部1901求出第一水平以及第二水平的拉普拉斯算子图象LP1、LP2作为拉普拉斯算子图象LP。此外,生成拉普拉斯算子图象的水平与编码方法相同就可以。
[0156]
图22是表示由拉普拉斯算子生成部1901取得的拉普拉斯算子图象LP的例子的图。图22(a)表示解码图象DC,图22(b)和(c)分别表示对解码图象DC的第一水平以及第二水平的拉普拉斯算子图象LP1、LP2。拉普拉斯算子生成部1901把生成的拉普拉斯算子图象LP对拉普拉斯算子修正部1902输出。
[0157]
拉普拉斯算子修正部1902取得拉普拉斯算子图象LP以及高图象质量化参数PR,进行拉普拉斯算子图象LP的修正。拉普拉斯算子修正部1902使用实施例1的变形例2中说明的增益G1和增益G2作为高图象质量化参数PR。然后,拉普拉斯算子修正部1902如图22所示,对第一水平的拉普拉斯算子图象LP1(图22的(b))作用增益G1,生成拉普拉斯算子图象CLP1(图22的(d)),并且对第二水平的拉普拉斯算子图象LP2(图22的(c))作用增益G2,生成拉普拉斯算子图象CLP2(图22的(e)),进行拉普拉斯算子图象LP1、LP的修正。拉普拉斯算子修正部1902把由修正生成的拉普拉斯算子图象CLP1、CLP2作为拉普拉斯算子图象CLP对合成部1903输出。
[0158]
合成部1903取得解码图象DC和拉普拉斯算子图象CLP,把这些图象相加,生成高图象质量解码图象HQ(图22的(f),输出。
[0159]
在本变形例中,与所述实施例同样,使用由规格规定的图象解码方法(JPEG方式或MPEG方式)把代码列BS解码,生成解码图象DC,使用高图象质量化参数PR,能实现解码图象DC的高图象质量化。该高图象质量化参数PR不是图象数据,是根据输入图象(原图象)以及局部解码图象的频率成分生成的参数,所以能极端减少数据量,能以很少的信息量的增加实现高图象质量。
[0160]
此外,在本变形例中,对各区域生成高图象质量化参数PR时,拉普拉斯算子修正部1902对各区域进行修正处理。
[0161]
(变形例3)
这里,说明从解码图象DC生成高图象质量解码图象HQ的方法的变形例3。
[0162]
本变形例的图象解码装置的高图象质量化处理部取得由实施例1的变形例3中说明的参数抽出部102d生成的高图象质量化参数PR。然后,高图象质量化处理部代替离散余弦变换和反离散余弦变换,进行基于点像强度分布函数的滤波处理,生成高图象质量解码图象HQ。
[0163]
图23是表示本变形例的高图象质量化处理部的构成例的框图。
[0164]
高图象质量化处理部1502d具有反卷积部2101和函数参数保持部2102。
[0165]
函数参数保持部2102保持预先决定的多个点像强度分布函数的参数(例如高斯函数的参数:标准偏差σ)。这里,保持与实施例1的变形例3的函数参数保持部1402相同的参数。函数参数保持部2102取得高图象质量化参数PR。在高图象质量化参数PR中记述点像强度分布函数的参数的编号。函数参数保持部2102从保持的多个点像强度分布函数的参数选择与该编号对应的参数,把选择的参数对反卷积部2101输出。
[0166]
反卷积部2101取得解码图象DC和点像强度分布函数的参数,把从该参数取得的函数的反函数与解码图象DC卷积(滤波处理),从而生成高图象质量解码图象HQ,输出高图象质量解码图象HQ。
[0167]
在本变形例中,与所述的实施例同样,使用由规格规定的图象解码方法(JPEG方式或MPEG方式),把代码列BS解码,生成解码图象DC,使用高图象质量化参数PR,能实现解码图象DC的高图象质量化。该高图象质量化参数PR不是图象数据,是根据输入图象(原图象)以及局部解码图象的频率成分生成的参数,所以能极端减少数据量,能以很少的信息量的增加实现高图象质量。
[0168]
此外,在本变形例中,函数参数保持部2102保持与实施例1的变形例3的函数参数保持部1402相同的参数,但是可以从开始保持与函数参数保持部1402对应的反函数的参数。据此,反卷积部2101不把反函数卷积,而进行通常的卷积,能实现处理的简化。
[0169]
另外,在本变形例中,求出对全画面的点像强度分布函数的参数,但是在高图象质量化参数PR中,对画面的各区域指定点像强度分布函数的参数时,使用对各区域不同的参数,进行函数的卷积。
[0170]
(变形例4)
这里,说明从解码图象DC生成高图象质量解码图象HQ的方法的变形例4。
[0171]
本变形例的图象解码装置代替图16所示的高图象质量化处理部1502a,具有最佳高图象质量化处理部。该最佳高图象质量化处理部取得由实施例1的变形例4中说明的最佳参数抽出部102生成的高图象质量化参数PR和标识符Pid。
[0172]
图24是表示本变形例的最佳高图象质量化处理部的构成例的框图。
[0173]
最佳高图象质量化处理部1502具有高图象质量化处理部1502a、1502b、1502c、1502d和选择部1512。
[0174]
选择部1512从图象编码装置取得高图象质量化参数PR、表示高图象质量化参数PR的生成方法的标识符Pid。然后,选择部1512在该标识符Pid表示基于离散余弦变换的生成方法时,把高图象质量化参数PR对高图象质量化处理部1502a输出,标识符Pid表示基于离散小波变换的生成方法时,把高图象质量化参数PR对高图象质量化处理部1502b输出。另外,选择部1512在该标识符Pid表示基于拉普拉斯算子图象的生成方法时,对高图象质量化处理部1502c输出高图象质量化参数PR,在该标识符Pid表示基于点像强度分布函数的生成方法时,对高图象质量化处理部1502d输出高图象质量化参数PR。
[0175]
高图象质量化处理部1502a、1502b、1502c、1502d分别从选择部1512取得高图象质量化参数PR,如上所述,从高图象质量化参数PR以及解码图象DC,根据各处理步骤生成高图象质量解码图象HQ,输出。
[0176]
据此,在本变形例中,无论是由怎样的生成方法生成的高图象质量化参数PR,都能使用高图象质量化参数PR生成高图象质量解码图象HQ。
[0177]
此外,在本实施例及其变形例1~4中,把使用离散余弦变换系数、离散小波变换系数、拉普拉斯算子图象、点像强度分布函数生成的参数作为高图象质量化参数PR,但是也可以使用其它频率变换方法,例如傅立叶变换、阿达玛变换等,或图象处理方法,例如基于单贝尔算子的边缘图象生成法、使用伽柏函数的边缘图象生成法等,生成高图象质量化参数PR。
[0178]
(实施例4)
在本实施例中,说明使用由应用实施例2及其变形例中说明的本发明的图象编码方法的图象编码装置生成的代码列BS和高图象质量化参数PR’,生成高图象质量解码图象HQ时的图象解码方法。
[0179]
图25是使用本实施例的图象解码方法的图象解码装置2200的框图。如图25所示,图象解码装置2200具有图象解码部2201、高图象质量化处理部2202、后处理部2203。对图象解码装置2200输入由使用实施例2中说明的本发明的图象编码方法的图象编码装置生成的代码列BS和高图象质量化参数PR’。这里,高图象质量化参数PR’是使用实施例2的参照图14说明的方法求出的。
[0180]
把代码列BS对图象解码部2201输入。图象解码部2201对代码列BS实施由规格规定的图象解码。图象解码部2201在代码列BS是由JPEG方式编码时,用JPEG方式解码,代码列BS由MPEG方式编码时,用MPEG方式解码,代码列BS由H.26x方式编码时,用H.26x方式解码。图象解码部2201对高图象质量化处理部2202输出图象解码处理的结果即解码图象DC。
[0181]
此外,在代码列BS的标题区或用户数据区中包含高图象质量化参数PR’时,图象解码部2201从取得的代码列BS分离高图象质量化参数PR’。然后,图象解码部2201把分离的高图象质量化参数PR’对高图象质量化处理部2202和后处理部2203输出。
[0182]
对高图象质量化处理部2202输入解码图象DC和高图象质量化参数PR’。高图象质量化处理部2202使用高图象质量化参数PR’,对解码图象DC进行与实施例3的高图象质量化处理部1502a同样的处理。通过该处理,高图象质量化处理部2202生成高图象质量解码图象HDC,输出高图象质量解码图象HDC。
[0183]
后处理部2203对高图象质量解码图象HDC使用高图象质量化参数PR’中包含的前处理参数PP,进行后处理。后处理部2203进行与实施例2的变形例中的反前处理部1201同样的处理。即后处理部2203使用前处理参数PP,对高图象质量解码图象HDC进行与由本发明的图象编码装置的前处理部1003进行的处理相反的处理。后处理部2203能从前处理参数PP知道由前处理部1003进行的处理内容。后处理部2203在由前处理部1003进行图象尺寸的缩小处理时,进行放大处理。另外,后处理部2203在由前处理部1003进行基于低通滤波器的滤波处理时,进行基于与低通滤波器相反的滤波器的处理。另外,后处理部2203在由前处理部1003进行基于时间方向的帧减少的帧频削减处理时,进行帧频的提高处理。后处理部2203把这样处理的高图象质量解码图象HDC作为高图象质量解码图象HQ输出。
[0184]
在本实施例的图象解码方法中,对输入图象,进行图象尺寸的缩小处理、低通滤波处理或帧频削减处理后,取得使用由规格规定的图象编码方法(JPEG方式或MPEG方式)编码生成的代码列BS、用于生成高图象质量化成分的高图象质量化参数PR’。然后,把代码列BS通过由规格规定的图象解码方法解码,生成解码图象DC,对解码图象DC,使用高图象质量化参数PR’,进行与前处理对应的后处理和高图象质量化处理,生成高图象质量解码图象HQ。
[0185]
因此,在本实施例的图象解码方法中,使用由规格规定的图象解码方法(JPEG方式或MPEG方式),把代码列BS解码,生成解码图象DC,使用高图象质量化参数PR’,实现码图象DC的高图象质量化。该高图象质量化参数PR’不是图象数据,是对输入图象进行基于频率的滤波处理生成的参数,所以能极端减少数据量。另外,图象编码装置一侧的编码时的前处理中,削减输入图象的数据量,所以代码列BS的代码量自身也削减。通过使用本实施例的图象解码方法,与由规格规定的图象解码方法相比,只用稍微的代码量的增加就能大幅度提高图象质量,另外,具有所谓的可升级解码的特征,与以往的具有可升级功能的图象解码方法相比,能大幅度削减代码量。
[0186]
此外,在本实施例中,高图象质量化处理部2202对解码图象DC进行与实施例3的高图象质量化处理部1502a同样的处理,但是可以进行与实施例3的变形例1~3的高图象质量化处理部1502b、1502c、1502d同样的处理,可以进行与实施例3的变形例4的最佳高图象质量化处理部1502同样的处理。在使用本实施例的高图象质量化参数PR’的处理中,通过使用离散余弦变换、离散小波变换、拉普拉斯算子图象、点像强度分布函数,能在解码图象中附加解码图象中不包含的高频成分。
[0187]
(变形例)
这里,说明本实施例的图象解码装置的变形例。
[0188]
图26是本变形例的图象解码装置2300的框图。如图26所示,图象解码装置2300具有图象解码部2301、后处理部2302、高图象质量化处理部2303。对图象解码装置2300输入由使用实施例2的变形例中说明的本发明的图象编码方法的图象编码装置生成的代码列BS和高图象质量化参数PR’。这里,高图象质量化参数PR’是用实施例2的变形例中使用图15说明的方法求出的。
[0189]
把代码列BS对图象解码部2301输入。图象解码部2301进行与图象解码部2201同样的处理。然后,图象解码部2301对后处理部2302输出由该处理生成的解码图象DC。此外,在代码列BS的标题区或用户数据区中包含高图象质量化参数PR’时,图象解码部2301从取得的代码列BS分离高图象质量化参数PR’。然后,图象解码部2301把分离的高图象质量化参数PR’对后处理部2302和高图象质量化处理部2303输出。
[0190]
后处理部2302对解码图象DC,使用高图象质量化参数PR’中的前处理参数PP,进行后处理。后处理部2302进行与实施例2的变形例的反前处理部1201同样的处理。后处理部2302使用前处理参数PP,对解码图象LD进行与由本发明的图象编码装置的前处理部1003进行的处理相反的处理。后处理部2302能从前处理参数PP知道由前处理部1003进行的处理内容。后处理部2203在由前处理部1003进行图象尺寸的缩小处理时,进行放大处理。另外,后处理部2203在由前处理部1003进行基于低通滤波器的滤波处理时,进行基于与低通滤波器相反的滤波器的处理。另外,后处理部2203在由前处理部1003进行基于时间方向的帧减少的帧频削减处理时,进行帧频的提高处理。后处理部2203把这样处理的结果的后处理后解码图象DC’对高图象质量化处理部2303输出。
[0191]
对高图象质量化处理部2303输入后处理后解码图象DC’和高图象质量化参数PR’。高图象质量化处理部2303使用高图象质量化参数PR’对后处理后解码图象DC’进行与实施例3中说明的高图象质量化处理部1502a同样的处理,把处理结果作为高图象质量解码图象HQ输出。
[0192]
此外,在本变形例中,高图象质量化处理部2303对后处理后解码图象DC’进行与实施例3中说明的高图象质量化处理部1502a同样的处理,但是也可以进行与实施例3的变形例1~3的高图象质量化处理部1502b、1502c、1502d同样的处理,可以进行与实施例3的变形例4的最佳高图象质量化处理部1502同样的处理。
[0193]
(实施例5)
通过在软盘等记录媒体中记录用于实现所述各实施例以及变形例中表示的图象编码方法以及图象解码方法,能在独立的计算机系统中简单实施所述各实施例以及变形例中表示的处理。
[0194]
图27A、图27B和图27C是使用软盘等记录媒体中记录的程序,由计算机系统实施所述各实施例以及变形例的图象编码方法和图象解码方法时的说明图。
[0195]
图27B表示从软盘的正面观察的外观、截面构造、软盘,图27A表示记录媒体主体即软盘的物理格式的例子。软盘FD内置在盒子F内,在该盘的表面,从外周向着内周,把多个磁道Tr形成同心圆,各磁道在角度方向分割为16个扇区。因此,在存储所述程序的软盘中,在分配给所述软盘FD的区域中记录作为所述程序。
[0196]
另外,图27C表示用于在软盘FD上进行所述程序的记录再现的结构。在软盘FD上记录实现图象解码方法和图象编码方法的所述程序时,从计算机系统Cs把所述程序通过软盘驱动器FDD写入。另外,通过软盘内的程序在计算机系统中构筑所述图象解码方法和图象编码方法时,通过软盘驱动器FDD从软盘读出程序,传送给计算机系统Cs。
[0197]
此外,在所述说明中,使用软盘作为记录媒体进行说明,但是使用光盘也能同样进行。另外,记录媒体并不局限于此,如果是IC卡、ROM等能记录程序的部件,也能同样进行。
[0198]
(实施例6)
这里,说明所述实施例以及变形例中表示的图象编码方法和图象解码方法的应用例和使用它的系统。
[0199]
图28是表示实现内容发送系统的内容供给系统ex100的全体结构的框图。把通信服务的提供区分割为所需的大小,在各单元内分别设置固定无线电台即基地电台ex107~ex110。
[0200]
内容供给系统ex100在因特网ex101上通过因特网服务提供商ex102以及电话网ex104、基地电台ex107~ex110,连接计算机ex111、PDA(Personaldigital assistant)ex112、相机ex113、移动电话ex114、带相机的移动电话ex115等各机器。
[0201]
可是,内容供给系统ex100并不局限于图28的组合,可以组合任意,连接。另外,可以不通过固定无线电台即基地电台ex107~ex110,各机器直接与电话网ex104连接。
[0202]
相机ex113是数字相机等能拍摄运动图象的机器。另外,移动电话可以是PDC(Personal digital Communications)方式、CDMA(Code DivisionMultiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或GSM(Global System for Mobile Communications)方式的移动电话、或PHS(Personal Handyphone System)等,可以是任意的。
[0203]
另外,流服务器ex103从相机ex113通过基地电台ex109、电话网ex104连接,使用相机ex113能进行基于用户发送的编码处理的数据的现场发送。拍摄的数据的编码处理可以用相机ex113进行,也可以用进行数据的发送处理的服务器进行。另外,用相机ex116拍摄的运动图象数据通过计算机ex111对流服务器ex103发送。相机ex116是数字相机等能拍摄静止画面、运动图象的机器。这时,运动图象数据的编码可以由相机ex116进行,也可以由计算机ex111进行。另外,编码处理在计算机ex111或相机ex116具有的LSIex117中处理。此外,可以把图象编码和图象编码的软件组入用计算机ex111可读取的记录媒体即任意存储媒体(CD-ROM、软盘、硬盘)。可以用带相机的移动电话ex115发送运动图象数据。这时的运动图象数据是用移动电话ex115具有的LSI编码处理的数据。
[0204]
在内容供给系统ex100中,用户把由相机ex113、相机ex116拍摄的内容(例如拍摄音乐实况的图象)与所述实施例以及变形例同样编码处理,发送给流服务器ex103,流服务器ex103对有要求的客户机,发送所述内容数据。作为客户机,有能把所述编码的数据解码的计算机ex111、PDAex112、相机ex113、移动电话ex114。通过这样,内容供给系统ex100能在客户机接收编码的数据,再现,在客户机以实时接收,解码,再现,从而成为能实现个人广播的系统。
[0205]
构成该系统的各机器的编码、解码中可以使用所述各实施例和变形例所示的图象编码方法或图象解码方法。
[0206]
作为一个例子,说明移动电话。
[0207]
图29是表示使用所述实施例和变形例中说明的图象编码方法和图象解码方法的移动电话ex115的图。移动电话ex115具有:与基地电台ex110之间收发电波的天线ex201;CCD相机等能拍摄图象、静止画面的相机部ex203;显示把由相机部ex203拍摄的图象、由天线ex201接收的图象解码的数据的液晶显示器等显示部ex202;由操作键ex204群构成的主体部;用于输出声音的扬声器等声音输出部ex208;用于输入声音的麦克风等声音输入部ex205;保存拍摄的运动图象或静止画面数据、接收的邮件的数据、运动图象的数据或静止画面数据等编码的数据或解码的数据的记录媒体ex207;用于把记录媒体ex207安装到移动电话ex115上的插口部ex206。记录媒体ex207是SD卡等在塑料盒内收藏能进行电改写或删除的非易失性存储器EEPROM(Electrically Erasable and Programmable Read Only Memory)的一种即闪存。
[0208]
参照图30说明移动电话ex115。移动电话ex115对于统一控制具有显示部EX202和操作键ex204的主体部各部的主控制部ex311,通过同步总线ex313,相互连接电源电路部ex310、操作输入控制部ex304、图象编码部ex312、相机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图象解码部ex309、多路复用分离部ex308、记录再现部ex307、调制解调部ex306和声音处理部ex305。
[0209]
如果通过用户的操作,结束通话以及电源键变为接通状态,电源电路部ex310就从电池组对各部供给电力,把带相机的数字移动电话ex115变为可工作的状态。
[0210]
移动电话ex115根据CPU、ROM以及RAM构成的主控制部ex311的控制,把在语音通话模式时由声音输入部ex205采集的声音信号由声音处理部ex305变换为数字声音数据,把它由调制解调部ex306进行频谱扩散处理,由收发电路部ex301进行数字模拟变换处理以及频率变换处理后,通过天线ex201发送。另外,移动电话ex115把在语音通话模式时由天线ex201收到的接收数据放大,进行频率变换处理和模拟数字变换处理,由调制解调部ex306进行频谱逆扩散处理,由声音处理部ex305变换为模拟声音数据后,它它通过声音输出部ex208输出。
[0211]
在数据通信模式时发送电子邮件时,由主体部的操作键ex204的操作输入的电子邮件的文本数据通过操作输入控制部ex304对主控制部ex311发送。主控制部ex311把文本数据用调制解调部ex306进行频谱扩散处理,由收发电路部ex301进行数字模拟变换处理以及频率变换处理后,通过天线ex201向基地电台ex110发送。
[0212]
在数据通信模式时发送图象数据时,把由相机部ex203拍摄的图象数据通过相机接口部ex303对图象编码部ex312供给。另外,在不发送图象数据时,把由相机部ex203拍摄的图象数据通过相机接口部ex303、LCD控制部ex302在显示部ex202直接显示。
[0213]
图象编码部ex312是具有本发明中说明的图象编码装置的结构,把从相机部ex203供给的图象数据通过所述各实施例和变形例中表示的图象编码装置中使用的编码方法压缩编码,变换为编码图象数据,把它对多路复用分离部ex308发送。此外同时,移动电话ex115把相机部ex203在拍摄时由声音输入部ex205收集的声音通过声音处理部ex305作为数字的声音数据对多路复用分离部ex308发送。
[0214]
多路复用分离部ex308把从图象编码部ex312供给的编码图象数据和从声音处理部ex305供给的声音数据以给定的方式多路复用,把结果取得的多路复用数据由调制解调部ex306进行频谱扩散处理,由收发电路部ex301进行数字模拟变换处理以及频率变换处理后,通过天线ex201发送。
[0215]
在数据通信模式时,收到与主页链接的运动图象文件的数据时,把通过天线ex201从基地电台ex110接收的接收信号由调制解调部ex306进行频谱逆扩散处理,把结果取得的多路复用数据对多路复用分离部ex308发送。
[0216]
另外,在把通过天线ex201接收的多路复用数据解码时,多路复用分离部ex308通过分离多路复用数据,划分为图象数据的编码位流和声音数据的编码位流,通过同步总线ex313把该编码图象数据提供给图象解码部ex309,并且把该声音数据提供给声音处理部ex305。
[0217]
图象解码部ex309是具有本发明说明的图象解码装置的结构,把图象数据的编码位流通过所述各实施例和变形例中表示的编码方法所对应的解码方法解码,生成再现运动图象数据,把它通过LCD控制部ex302提供给显示部ex202,据此,显示与主页链接的运动图象文件中包含的运动图象。这时,声音处理部ex305同时把声音数据变换为模拟声音数据后,把它提供给声音输出部ex208,据此,再现与主页链接的运动图象文件中包含的声音数据。
[0218]
此外,并不局限于所述的系统的例子,最近,基于卫星、地面波的数字广播成为话题,如图31所示,在数字广播用系统中能嵌入所述各实施例和变形例的图象编码装置或图象解码装置的至少任意一个。具体而言,广播电台ex409中,图象信息的编码位流通过电波向通信或广播卫星ex410传送。收到它的广播卫星ex410发射广播电波,由具有卫星广播接收设备的家庭的天线ex406接收该电波,由电视(接收机)ex401或机顶盒(STB)ex407等装置把编码位流解码,再现它。另外,在读取记录媒体CD或DVD等存储媒体ex402中记录的位流,解码的再现装置ex403中也能安装所述各实施例和变形例中表示的图象解码装置。这时,再现的图象信号在监视器ex404上显示。另外,也考虑在有线电视的电缆ex405或卫星/地面波广播的天线ex406上连接的机顶盒ex407内安装图象解码装置,用电视的监视器ex408把它再现的结构。这时,可以不是机顶盒,在电视内可以嵌入图象解码装置。另外,在具有天线ex411的汽车ex412,从卫星ex410或基地电台ex107接收信号,在汽车ex412具有的汽车导航系统ex413等的显示装置再现运动图象。
[0219]
也能用所述各实施例以及变形例中表示的图象编码装置把图象信号编码,记录到记录媒体中。作为具体例,有在DVD盘ex421上记录图象信号的DVD记录器、在硬盘上记录的盘记录器等记录器ex420。也能在SD卡ex422上记录。记录器ex420如果具有所述各实施例和变形例中表示的图象解码装置,就能再现DVD盘ex421或SD卡ex422上记录的图象信号,用监视器ex408显示。
[0220]
此外,汽车导航系统ex413的结构考虑到在图30所示的结构中,除去相机部ex203、相机接口部ex303、图象编码部ex312的结构,在计算机ex111或电视(接收机)ex401中也考虑同样的事情。
[0221]
另外,考虑所述移动电话ex114等终端除了具有编码器和解码器双方的收发类型的终端,还只有编码器的发送终端、只有解码器的接收终端等3种安装形式。
[0222]
在上述的任意机器和系统中都能使用所述各实施例和变形例中表示的图象编码方法或图象解码方法,据此,能取得所述实施例中说明的效果。
[0223]
此外,本发明并不局限于所述各实施例和变形例,在不脱离本发明的范围的前提下,能进行各种变形或修正。
[0224]
另外,框图(图1、图13、图16、图25和图26)的各功能块作为集成电路LSI实现。它们可以个别变为1芯片,也可以包含一部分或全部地变为1芯片。(例如存储器以外的功能块变为1芯片)
这里为LSI,但是根据集成度的不同,有时也称作IC、系统LSI、超大LSI、超级LSI。
[0225]
另外,集成电路化的手法并不局限于LSI,可以用专用电路或通用处理器实现。在LSI制造后,可以利用可编程的FPGA(Field Programmable GateArray)、能再构成LSI内部的电路单元的连接和设定的可重新配置处理器。
[0226]
如果由于半导体技术的进步或派生的其他技术,出现替代LSI的集成电路化的技术,当然可以使用该技术进行功能块的集成化。生物技术的应用也有可能。
[0227]
另外,各功能块中,存储成为编码或解码的对象的数据的部件不变为1芯片,可以采用其他结构。
[0228]
产业上的可利用性
本发明的图象编码方法和图象解码方法具有在大幅度削减代码量的同时,能实现解码图象的高图象质量化的效果,能应用于把图象编码和解码的装置或包含该装置的数字摄像机、移动电话、PDA等。

Claims (19)

1.一种图象编码方法,对输入图象进行编码,其特征在于,包括:
把输入图象编码,生成包含编码后的输入图象的代码列的编码步骤;
通过把编码后的输入图象解码生成解码图象的解码图象生成步骤;以及
根据所述输入图象和所述解码图象的双方,生成用于使所述解码图象接近所述输入图象的参数的参数生成步骤,
在所述参数生成步骤中,对所述解码图象以及所述输入图象中的任意一方的图象进行基于频率的滤波处理,比较所述滤波处理后的一方图象与另一方图象,生成所述参数。
2.根据权利要求1所述的图象编码方法,其特征在于:
在所述参数生成步骤中,作为所述滤波处理,进行基于点像强度分布函数的滤波处理。
3.根据权利要求1所述的图象编码方法,其特征在于:
在所述参数生成步骤中,通过在各图象区中分别比较所述解码图象以及所述输入图象中进行所述滤波处理后的一方图象与另一方图象,生成所述各图象区的所述参数。
4.根据权利要求1所述的图象编码方法,其特征在于:
所述图象编码方法还包含:生成用于识别在所述参数生成步骤中为了生成所述参数而使用的处理的识别信息的识别信息生成步骤。
5.根据权利要求1所述的图象编码方法,其特征在于:
所述图象编码方法还包含:对所述编码步骤中生成的代码列,用所述参数生成步骤中生成的参数进行多路复用的多路复用步骤。
6.根据权利要求1所述的图象编码方法,其特征在于:
所述图象编码方法还包含:对所述输入图象进行给定的前处理的前处理步骤,
在所述编码步骤中,把进行了所述前处理的输入图象编码,生成代码列;
在所述参数生成步骤中,根据所述解码图象、进行了所述前处理的输入图象或未进行所述前处理的输入图象的双方的频率成分,生成所述参数。
7.根据权利要求6所述的图象编码方法,其特征在于:
在所述前处理步骤中,对所述输入图象进行图象尺寸的缩小处理、低通滤波处理或帧频削减处理。
8.根据权利要求6所述的图象编码方法,其特征在于:
所述图象编码方法还包含:生成表示所述前处理步骤中进行的所述前处理的内容的前处理参数的前处理参数生成步骤。
9.一种图象解码方法,对编码的输入图象进行解码,其特征在于,包括:
取得代码列的代码列取得步骤;
通过把所述代码列中包含的编码的输入图象解码,生成解码图象的解码步骤;
取得根据所述输入图象和所述解码图象的双方所生成的参数的参数取得步骤;以及
对所述解码图象应用所述参数,生成比所述解码图象更接近所述输入图象的高图象质量的解码图象的高图象质量化步骤,
在所述高图象质量化步骤中,对所述解码图象进行基于与所述参数对应的频率的滤波处理,生成所述高图象质量解码图象。
10.根据权利要求9所述的图象解码方法,其特征在于:
在所述高图象质量化步骤中,作为所述滤波处理,通过进行基于点像强度分布函数的滤波处理,生成所述高图象质量解码图象。
11.根据权利要求9所述的图象解码方法,其特征在于:
所述图象解码方法还包含:取得用于识别为了生成所述参数而使用的处理的识别信息的识别信息取得步骤,
在所述高图象质量化步骤中,按照所述识别信息表示的处理,对所述解码图象应用所述参数,从而生成所述高图象质量解码图象。
12.根据权利要求9所述的图象解码方法,其特征在于:
在所述参数取得步骤中,通过从多路复用信息中分离出所述参数,从而取得所述参数,其中,所述多路复用信息是对所述代码列和所述参数进行多路复用后的信息。
13.根据权利要求9所述的图象解码方法,其特征在于:
所述图象解码方法还包含:对所述解码图象或所述高图象质量解码图象进行给定的后处理的后处理步骤,
在所述高图象质量化步骤中,当在所述后处理步骤中对所述解码图象进行了所述后处理时,通过对进行了所述后处理的解码图象应用所述参数,生成所述高图象质量解码图象。
14.根据权利要求13所述的图象解码方法,其特征在于:
在所述后处理步骤中,对所述解码图象或所述高图象质量解码图象进行图象尺寸的扩大处理、高通滤波处理或帧频提高处理。
15.根据权利要求13所述的图象解码方法,其特征在于:
所述图象解码方法还包含:取得表示所述后处理的内容的后处理参数的后处理参数取得步骤;
在所述后处理步骤中,进行所述后处理参数表示的内容的后处理。
16.一种图象编码装置,对输入图象进行编码,其特征在于,包括:
把输入图象编码,生成包含编码的输入图象的代码列的编码部件;
通过把编码后的输入图象解码,生成解码图象的解码图象生成部件;以及
根据所述输入图象以及所述解码图象的双方,生成用于使所述解码图象接近所述输入图象的参数的参数生成部件,
所述参数生成部件,对所述解码图象以及所述输入图象中的任意一方的图象进行基于频率的滤波处理,比较所述滤波处理后的一方图象与另一方图象,生成所述参数。
17.一种图象解码装置,对编码的输入图象进行解码,其特征在于,包括:
取得代码列的代码列取得部件;
通过把所述代码列中包含的编码后的输入图象解码,生成解码图象的解码部件;
取得根据所述输入图象和所述解码图象的双方生成的参数的参数取得部件;以及
对所述解码图象应用所述参数,生成比所述解码图象更接近所述输入图象的高图象质量的解码图象的高图象质量化部件,
所述高图象质量化部件,对所述解码图象进行基于与所述参数对应的频率的滤波处理,生成所述高图象质量解码图象。
18.一种集成电路,对输入图象进行编码,其特征在于,包括:
把输入图象编码,生成包含编码后的输入图象的代码列的编码部件;
通过把编码后的输入图象解码,生成解码图象的解码图象生成部件;以及
根据所述输入图象以及所述解码图象的双方,生成用于使所述解码图象接近所述输入图象的参数的参数生成部件,
所述参数生成部件,对所述解码图象以及所述输入图象中的任意一方的图象进行基于频率的滤波处理,比较所述滤波处理后的一方图象与另一方图象,生成所述参数。
19.一种集成电路,对编码的输入图象进行解码,其特征在于,包括:
取得代码列的代码列取得部件;
通过把所述代码列中包含的编码的输入图象解码,生成解码图象的解码部件;
取得根据所述输入图象和所述解码图象的双方生成的参数的参数取得部件;以及
对所述解码图象应用所述参数,生成比所述解码图象更接近所述输入图象的高图象质量的解码图象的高图象质量化部件,
所述高图象质量化部件,对所述解码图象进行基于与所述参数对应的频率的滤波处理,生成所述高图象质量解码图象。
CNB2005800060552A 2004-06-25 2005-06-24 图象编码方法和图象解码方法 Expired - Fee Related CN100563342C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004188568 2004-06-25
JP188568/2004 2004-06-25

Publications (2)

Publication Number Publication Date
CN1922887A CN1922887A (zh) 2007-02-28
CN100563342C true CN100563342C (zh) 2009-11-25

Family

ID=35781827

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800060552A Expired - Fee Related CN100563342C (zh) 2004-06-25 2005-06-24 图象编码方法和图象解码方法

Country Status (5)

Country Link
US (1) US20070160147A1 (zh)
EP (2) EP2309754A3 (zh)
JP (1) JP5138933B2 (zh)
CN (1) CN100563342C (zh)
WO (1) WO2006001384A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951509B (zh) 2004-11-19 2012-05-23 松下电器产业株式会社 运动图像编码方法以及运动图像解码方法
GB2429593A (en) 2005-08-26 2007-02-28 Electrosonic Ltd Data compressing using a wavelet compression scheme
US7684626B1 (en) * 2005-12-01 2010-03-23 Maxim Integrated Products Method and apparatus for image decoder post-processing using image pre-processing and image encoding information
JP4844456B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP4844455B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
KR101385957B1 (ko) * 2007-10-04 2014-04-17 삼성전자주식회사 복호화기에서의 양자화 계수 조정 방법 및 장치
JP4435843B1 (ja) * 2008-09-10 2010-03-24 ミツミ電機株式会社 映像表示装置
CN102301718A (zh) * 2008-12-03 2011-12-28 索尼公司 图像处理设备、图像处理方法和程序
US20110299604A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
ES2962519T3 (es) 2011-06-23 2024-03-19 Sun Patent Trust Procedimiento de decodificación de imágenes, procedimiento de codificación de imágenes
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR102067683B1 (ko) 2011-06-24 2020-01-17 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
JPWO2012176465A1 (ja) 2011-06-24 2015-02-23 パナソニック株式会社 復号方法及び復号装置
EP4270950A3 (en) 2011-06-27 2024-02-14 Sun Patent Trust Encoding apparatus and decoding apparatus
KR102062284B1 (ko) 2011-06-28 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
KR102006032B1 (ko) 2011-06-29 2019-07-31 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
AU2012277220B2 (en) 2011-06-30 2016-08-11 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CA2838575C (en) 2011-07-11 2018-06-12 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
JP2014017739A (ja) * 2012-07-10 2014-01-30 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置およびプログラム
JP5965760B2 (ja) * 2012-07-13 2016-08-10 日本放送協会 画像符号化装置、画像復号装置およびそれらのプログラム
US9992252B2 (en) 2015-09-29 2018-06-05 Rgb Systems, Inc. Method and apparatus for adaptively compressing streaming video
KR101974138B1 (ko) * 2018-03-12 2019-04-30 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US11503306B2 (en) 2020-04-09 2022-11-15 Jianghong Yu Image and video data processing method and system
CN113766239A (zh) * 2020-06-05 2021-12-07 于江鸿 数据处理的方法和系统
CN113518227B (zh) * 2020-04-09 2023-02-10 于江鸿 数据处理的方法和系统
US11528488B2 (en) 2020-04-09 2022-12-13 Jianghong Yu Image and video data processing method and system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01311782A (ja) * 1988-06-10 1989-12-15 Toshiba Corp 変換符号化方式
JP3135692B2 (ja) 1992-08-28 2001-02-19 株式会社日立製作所 階層的動画像信号符号化装置及び方法
JPH08251418A (ja) * 1995-03-10 1996-09-27 Kawasaki Steel Corp ブロック歪低減装置および低減方法
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
JP3702185B2 (ja) * 2001-01-26 2005-10-05 日本電信電話株式会社 画像符号化装置と画像復号装置および画像符号化方法と画像復号方法および画像符号化プログラムを記録した記録媒体と画像復号プログラムを記録した記録媒体および画像符号化プログラムと画像復号プログラム
US7483581B2 (en) * 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
EP1303143A3 (fr) * 2001-10-16 2004-01-14 Koninklijke Philips Electronics N.V. Procédé de détection d'artefacts de bloc
CN100518315C (zh) * 2001-10-26 2009-07-22 皇家飞利浦电子股份有限公司 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法
EP1614059A1 (en) * 2003-03-19 2006-01-11 Nik Multimedia Inc. Selective enhancement of digital images
JP5007228B2 (ja) * 2004-06-14 2012-08-22 プレコード,インコーポレイテッド 画像クリーンアップおよび前置符号化

Also Published As

Publication number Publication date
WO2006001384A1 (ja) 2006-01-05
EP2309754A2 (en) 2011-04-13
EP1763251A1 (en) 2007-03-14
CN1922887A (zh) 2007-02-28
US20070160147A1 (en) 2007-07-12
EP1763251A4 (en) 2009-03-25
EP2309754A3 (en) 2012-02-01
JP5138933B2 (ja) 2013-02-06
JPWO2006001384A1 (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
CN100563342C (zh) 图象编码方法和图象解码方法
CN101242537B (zh) 编码方法
CN100493205C (zh) 动态图像编码方法及动态图像解码方法
CN100358366C (zh) 滤波强度的决定方法、动态图像编码方法及解码方法
CN102238314B (zh) 视觉处理装置、视觉处理方法、程序、存储介质、显示装置及集成电路
CN101061725B (zh) 运动图像编码方法以及运动图像解码方法
EP1662802A1 (en) Moving picture encoding method and moving picture decoding method
CN1968412B (zh) 图像解码方法
CN1298171C (zh) 图像的编码方法和图像的译码方法
CN100589576C (zh) 动态补偿方法、图像编码方法及图像解码方法
CN100367802C (zh) 运动矢量导出方法和装置
JP2010259095A (ja) 符号化歪除去方法
EP1534016A2 (en) Using motion vectors and the occurrence of coefficient quantization levels to drive a noise removal image postprocessing
CN101765017B (zh) 图像编码装置及图像编码方法
CN100525444C (zh) 图像编码方法以及图像解码方法
CN101459755B (zh) 视觉处理装置
JP2004088731A (ja) 動きベクトル導出方法、動画像符号化方法、および動画像復号化方法
CN100455022C (zh) 图像的编码方法和图像的译码方法
JP2005079965A (ja) 代表点情報符号化方法および代表点情報復号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091125

Termination date: 20150624

EXPY Termination of patent right or utility model