CN101160976B - 运动图像编码装置及其方法、运动图像解码装置及其方法 - Google Patents

运动图像编码装置及其方法、运动图像解码装置及其方法 Download PDF

Info

Publication number
CN101160976B
CN101160976B CN2006800120026A CN200680012002A CN101160976B CN 101160976 B CN101160976 B CN 101160976B CN 2006800120026 A CN2006800120026 A CN 2006800120026A CN 200680012002 A CN200680012002 A CN 200680012002A CN 101160976 B CN101160976 B CN 101160976B
Authority
CN
China
Prior art keywords
mentioned
prediction signal
image
differential signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800120026A
Other languages
English (en)
Other versions
CN101160976A (zh
Inventor
文仲丞
藤林晓
加藤祯笃
堀越力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN101160976A publication Critical patent/CN101160976A/zh
Application granted granted Critical
Publication of CN101160976B publication Critical patent/CN101160976B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

在运动图像编码/解码之际，高效率地压缩信号频带不同的图像混杂存在的运动图像。运动图像编码装置(13)通过频带分析器(10)来测定编码的对象图像的频带与参照图像的频带，并生成表示它们频带的频带关联信息。预测信号生成器(9)基于该频带关联信息，由参照图像生成预测信号以匹配对象图像的频带。差分器(2)求解对象图像与预测信号的差分并生成差分信号。变换器(3)和量化器(4)对该差分信号进行编码并生成编码差分信号。逆量化器(5)和逆变换器(6)对编码差分信号进行解码并生成解码差分信号。加法器(7)在解码差分信号上相加预测信号以生成再生图像。输出端子(12)至少输出上述编码差分信号和频带关联信息。

Description

运动图像编码装置及其方法、运动图像解码装置及其方法
技术领域
本发明涉及运动图像数据的编码以及解码。
背景技术
以往，为了高效率地进行图像数据的传输和储存而利用压缩编码技术。特别是，在运动图像数据的情况下，MPEG1～4和H.261～H.264的方式广泛得以利用。在运动图像的编码中，有时候采用为了实现数据量的削减，而使用在时间轴上邻接的其他图像生成作为编码对象的对象图像的预测信号，并对对象图像与预测信号的差分进行编码的方法(例如，参照下述专利文献1(专利公开特开平10-136371号公报))。将这一方法称为帧间编码。
例如，在H.264中编码装置将1帧的图像分割成由16×16像素组成的块的区域，并以此块为单位来进行图像的编码处理。在帧间编码中，通过对作为编码对象的图像的对象块，进行将编码完毕经过复原的其他帧作为参照图像的运动预测而生成预测信号。接着，求解该对象块与预测信号的差分值，进行离散余弦变换与量化处理，并生成编码数据。
另一方面，经过量化的变换系数在经过逆量化以后实施逆变换，其结果再生变换系数得以生成。之后，预测信号被相加在该再生变换系数上，再生图像得以复原。经过复原的再生图像为了下一图像的编码和解码而作为参照图像临时被保存起来。
另外，作为其他背景技术列举以下的技术。运动图像通过使作为单一静止图像的“帧”连续而构成。帧中所包含的空间频率分量的振幅(以后，称之为空间频率振幅)的大小意味着图像的对比度，所以与针对运动图像的品质的评价有关。
另外，通过运动图像而在短时间内的图像对比度的较大变化有时候还会引起闪烁，另外对人类的眼睛而言存在眼睛对于对比度的灵敏度，所以关于与运动图像的品质有关的评价对比度被认为很重要。
一般而言还存在对比度与时间经过一起进行变化的运动图像。在涉及长时间的场景变化等之际，运动图像的对比度缓缓地清楚、或者模糊的运动图像等是最佳的例子。
另外，即便是各个帧的对比度较低的图像，在作为各帧连续的运动图像而得以显示时，将会发生观看该运动图像的人与静止图像进行比较图像的对比度增大而看作鲜明的运动图像的错视现象，在下述非专利文献1(Takeuchi，T.&De Valois，K.K.(2005)Sharpening imagemotion based on spatio-temporalcharacteristics of human vision.(SanJose，USA)，“平成17年6月2日检索”，网络1144306446155_0.pdf)中得以记载。此错视现象被叫做motion sharpening现象。
根据这一motion sharpening现象通过在原图像之中，定期地使用滤波器，即便空间频率的频带和对比度发生了变化的帧被插入，在作为运动图像观看时也作为原图像进行评价，运动图像的品质较高地知觉这样的实验结果得以记载。
另一方面，为了高效率地进行运动图像数据的传输和储存而利用压缩编码技术。在运动图像的情况下，MPEG1～4和ITU(International Telecommunication Union)H.261～H.264的方式广泛得以利用。在运动图像的编码中，通过使用在时间轴上邻接的其他图像而生成作为编码对象的对象图像的预测信号，并对对象图像与预测信号的差分进行编码，来实现数据量的削减。将这一方法称为帧间预测编码。
实现ITUH.264中所规定的处理的编码装置，将1帧图像分割成由16x16像素组成的块的区域，并以此块单位对图像进行编码处理。该编码装置在帧间预测编码之际，通过对作为编码对象的图像的对象块，进行将编码完毕经过复原的其他帧作为参照图像的运动预测而生成预测信号。然后，编码装置求解对象块与预测信号的差分值，对此差分值进行离散余弦变换和量化处理，生成作为基于此差分值经过量化的变换系数的编码数据。
之后，编码装置对经过量化的变换系数，在经过逆量化的基础上实施逆变换，并生成再生变换系数(差分值)。之后，在再生变换系数(差分值)上相加预测信号而复原再生图像。经过复原的再生图像为了下一图像的编码/解码而作为参照图像被临时保存起来。
在进行这种运动图像压缩编码之中，一般而言图像的空间频率振幅较低，对比度不清楚的运动图像，变换系数(差分值)较小，所以能够减少编码数据量。因此，在对包含上述对比度不清楚的图像和期待上述motion sharpening效果的低对比度的图像的运动图像进行编码之际，就能够期待较高的编码效率。
发明内容
但是，在上述的现有图像编码解码技术中，在信号频带不同的图像混杂存在的情况下，无法高效率地压缩运动图像。例如，信号频带不同的图像混杂存在的运动图像有时候会在民用的摄像机的摄影图像中发生。其起因于通过照相机的自动聚焦功能，在摄影当中聚焦自动地得以调整，因此相邻的图像的频带将会变动，具有频带宽度较宽的信号的图像和具有频带宽度较窄的信号的图像邻接得以记录下来。
在此情况下，若编码装置参照具有频带宽度较宽的信号的第2图像，对具有频带宽度较窄的信号的第1图像进行预测，则第2图像中所包含的高频率分量就被包含在第1图像的差分信号。为此，预测信号就成为比起第1图像来频带还要宽的信号，而存在信息量增加压缩率低下之类的问题。
另外，作为其他问题，在以往的运动图像编码/解码方法中，在图像中所包含的对比度也就是空间频率振幅较大地不同的图像混杂存在的情况下，无法高效率地压缩运动图像。若参照空间频率振幅较高的第2图像，对空间频率振幅较低的第1图像进行预测，则预测对象的探索无法顺利地进行或第2图像中所包含的空间频率振幅之差就被包含在第1图像的差分信号，信息量增加压缩率低下。另外，若参照空间频率振幅较低的第1图像，对空间频率振幅较低的第3图像进行预测，则同样预测对象的探索无法顺利地进行，或第3图像中所包含的空间频率振幅之差就需要作为差分信号，所以在此情况下也存在信息量增加压缩率低下之类的课题。
因而，为了解决上述课题，本发明以在运动图像的编码/解码之际高效率地压缩运动图像为其目的。
本发明的运动图像编码装置包括：输入部件，输入构成运动图像的多个图像之中、成为编码对象的对象图像；保存部件，保存为了生成针对上述对象图像的预测信号而使用的参照图像；频率特性分析部件，测定上述对象图像的频率特性与上述参照图像的频率特性，并生成频率特性关联信息，该频率特性关联信息表示上述对象图像的频率特性与上述参照图像的频率特性之相对关系；预测信号生成部件，基于上述频率特性关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频率特性；差分部件，求解上述对象图像与上述预测信号的差分并生成差分信号；编码部件，对上述差分信号进行编码并生成编码差分信号；解码部件，对上述编码差分信号进行解码并生成解码差分信号；加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像，保存该再生图像的上述保存部件连接于后级；以及输出部件，至少输出上述编码差分信号与上述频率特性关联信息。
另外，本发明的运动图像编码装置最好是上述预测信号生成部件导出与上述频率特性关联信息相应的预测信号的生成方法，并从上述参照图像生成上述预测信号，上述频率特性关联信息包含与上述预测信号的生成方法有关的信息。
另外，本发明的运动图像编码装置最好是上述预测信号生成部件从至少两种预测信号生成方法之中选定与上述频率特性关联信息相应的预测信号的生成方法，并从上述参照图像生成上述预测信号，上述频率特性关联信息包含与上述预测信号的生成方法有关的信息。
另外，本发明的运动图像编码装置最好是还包括：存储部件存储在对参照图像进行解码之际所测定的频率特性信息，上述预测信号生成部件基于上述存储部件中所存储的频率特性信息而生成预测信号。
另外，本发明的运动图像解码装置最好是包括：输入部件，输入包含对运动图像进行预测编码而得到的编码差分信号与频率特性关联信息的压缩数据；解码部件，对上述编码差分信号进行解码并生成解码差分信号；预测信号生成部件，生成针对上述解码差分信号的预测信号；加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像；以及保存部件，保存为了生成上述预测信号而使用的参照图像，其中，上述频率特性关联信息表示上述再生图像的频率特性与上述参照图像的频率特性，上述预测信号生成部件基于上述频率特性关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频率特性。
另外，本发明的运动图像解码装置最好是上述频率特性关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，上述预测信号生成部件基于上述预测信号生成关联信息，从上述参照图像生成上述预测信号。
另外，本发明的运动图像解码装置最好是上述频率特性关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，上述预测信号生成部件基于上述预测信号生成关联信息，从至少两种预测信号生成方法之中选定上述预测信号的生成方法，并从上述参照图像生成上述预测信号。
另外，本发明的运动图像解码装置最好是上述频率特性关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，上述预测信号生成部件基于上述预测信号生成关联信息从预先准备的、至少两种预测信号生成方法之中选定上述预测信号的生成方法，并从上述参照图像生成上述预测信号。
另外，本发明的运动图像解码装置最好是还包括：存储部件，存储对上述参照图像解码之际所测定的频率特性信息，上述预测信号生成部件基于上述存储部件中所存储的频率特性信息以及再生图像的频率特性而生成预测信号。
另外，本发明的运动图像编码方法包括：输入步骤，输入构成运动图像的多个图像之中、成为编码对象的对象图像；保存步骤，使保存部件保存为了生成针对上述对象图像的预测信号而使用的参照图像；频率特性分析步骤，测定上述对象图像的频率特性与上述参照图像的频率特性，并生成表示上述对象图像的频率特性与上述参照图像的频率特性的频率特性关联信息；预测信号生成步骤，基于上述频率特性关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频率特性；差分步骤，求解上述对象图像与上述预测信号的差分并生成差分信号；编码步骤，对上述差分信号进行编码并生成编码差分信号；解码步骤，对上述编码差分信号进行解码并生成解码差分信号；加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像，保存该再生图像的上述保存部件连接于后级；以及输出步骤，至少输出上述编码差分信号与上述频率特性关联信息。
另外，本发明的运动图像解码方法包括：输入步骤，输入包含对运动图像进行预测编码而得到的编码差分信号与频率特性关联信息的压缩数据；解码步骤，对上述编码差分信号进行解码并生成解码差分信号；预测信号生成步骤，生成针对上述解码差分信号的预测信号；加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像；以及保存步骤，使保存部件保存为了生成上述预测信号而使用的参照图像，其中，上述频率特性关联信息表示上述再生图像的频率特性与上述参照图像的频率特性，上述预测信号生成步骤基于上述频率特性关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频率特性。
另外，本发明的运动图像编码程序使计算机执行以下处理：输入处理，输入构成运动图像的多个图像之中、成为编码对象的对象图像；保存处理，使保存部件保存为了生成针对上述对象图像的预测信号而使用的参照图像；频率特性分析处理，测定上述对象图像的频率特性与上述参照图像的频率特性，并生成表示上述对象图像的频率特性与上述参照图像的频率特性的频率特性关联信息；预测信号生成处理，基于上述频率特性关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频率特性；差分处理，求解上述对象图像与上述预测信号的差分并生成差分信号；编码处理，对上述差分信号进行编码并生成编码差分信号；解码处理，对上述编码差分信号进行解码并生成解码差分信号；加法处理，在上述解码差分信号上相加上述预测信号而生成再生图像，保存该再生图像的上述保存部件连接于后级；以及输出处理，至少输出上述编码差分信号与上述频率特性关联信息。
另外，本发明的运动图像解码程序使计算机执行以下处理：输入处理，输入包含对运动图像进行预测编码而得到的编码差分信号与频率特性关联信息的压缩数据；解码处理，对上述编码差分信号进行解码并生成解码差分信号；预测信号生成处理，生成针对上述解码差分信号的预测信号；加法处理，在上述解码差分信号上相加上述预测信号而生成再生图像；以及保存处理，使保存部件保存为了生成上述预测信号而使用的参照图像，其中，上述频率特性关联信息表示上述再生图像的频率特性与上述参照图像的频率特性，上述预测信号生成处理基于上述频率特性关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频率特性。
另外，与本发明有关的运动图像编码装置包括：输入部件，输入构成运动图像的多个图像之中、成为编码对象的对象图像；保存部件，保存为了生成针对上述对象图像的预测信号而使用的参照图像；频带分析部件，测定上述对象图像的频带与上述参照图像的频带，并生成表示上述对象图像的频带与上述参照图像的频带的频带关联信息；预测信号生成部件，基于上述频带关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频带；差分部件，求解上述对象图像与上述预测信号的差分并生成差分信号；编码部件，对上述差分信号进行编码并生成编码差分信号；解码部件，对上述编码差分信号进行解码并生成解码差分信号；加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像，保存该再生图像的上述保存部件连接于后级；以及输出部件，至少输出上述编码差分信号与上述频带关联信息。
在与本发明有关的运动图像编码装置中，也可以是上述预测信号生成部件导出与上述频带关联信息相应的预测信号的生成方法，并从上述参照图像生成上述预测信号，上述频带关联信息包含与上述预测信号的生成方法有关的信息(例如，为了生成预测信号而使用的滤波器系数)。
另外，在与本发明有关的运动图像编码装置中，还能够是上述预测信号生成部件从至少两种预测信号生成方法之中选定与上述频带关联信息相应的预测信号的生成方法，并从上述参照图像生成上述预测信号，上述频带关联信息包含与上述预测信号的生成方法有关的信息(例如，所选定的最佳的生成方法的标识符)。
与本发明有关的运动图像解码装置包括：输入部件，输入包含对运动图像进行预测编码而得到的编码差分信号与频带关联信息的压缩数据；解码部件，对上述编码差分信号进行解码并生成解码差分信号；预测信号生成部件，生成针对上述解码差分信号的预测信号；加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像；以及保存部件，保存为了生成上述预测信号而使用的参照图像，其中，上述频带关联信息表示上述再生图像的频带与上述参照图像的频带，上述预测信号生成部件基于上述频带关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频带。
在与本发明有关的运动图像解码装置中，也可以是上述频带关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，上述预测信号生成部件基于上述预测信号生成关联信息从上述参照图像生成上述预测信号。
在与本发明有关的运动图像解码装置中，还能够是上述频带关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，上述预测信号生成部件基于上述预测信号生成关联信息，从至少两种预测信号生成方法之中选定上述预测信号的生成方法，并从上述参照图像生成上述预测信号。
与本发明有关的运动图像编码方法包括：输入步骤，输入构成运动图像的多个图像之中、成为编码对象的对象图像；保存步骤，使保存部件保存为了生成针对上述对象图像的预测信号而使用的参照图像；频带分析步骤，测定上述对象图像的频带与上述参照图像的频带，并生成表示上述对象图像的频带与上述参照图像的频带的频带关联信息；预测信号生成步骤，基于上述频带关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频带；差分步骤，求解上述对象图像与上述预测信号的差分并生成差分信号；编码步骤，对上述差分信号进行编码并生成编码差分信号；解码步骤，对上述编码差分信号进行解码并生成解码差分信号；加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像；保存步骤，使该再生图像保存在上述保存部件中；以及输出步骤，至少输出上述编码差分信号与上述频带关联信息。
与本发明有关的运动图像解码方法包括：输入步骤，输入包含对运动图像进行预测编码而得到的编码差分信号与频带关联信息的压缩数据；解码步骤，对上述编码差分信号进行解码并生成解码差分信号；预测信号生成步骤，生成针对上述解码差分信号的预测信号；加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像；以及保存步骤，使保存部件保存为了生成上述预测信号而使用的参照图像，其中，上述频带关联信息表示上述再生图像的频带与上述参照图像的频带，上述预测信号生成步骤基于上述频带关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频带。
与本发明有关的运动图像编码程序使计算机执行以下处理：输入处理，输入构成运动图像的多个图像之中、成为编码对象的对象图像；保存处理，使保存部件保存为了生成针对上述对象图像的预测信号而使用的参照图像；频带分析处理，测定上述对象图像的频带与上述参照图像的频带，并生成上述对象图像的频带与上述参照图像的频带的频带关联信息；预测信号生成处理，基于上述频带关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频带；差分处理，求解上述对象图像与上述预测信号的差分并生成差分信号；编码处理，对上述差分信号进行编码并生成编码差分信号；解码处理，对上述编码差分信号进行解码并生成解码差分信号；加法处理，在上述解码差分信号上相加上述预测信号而生成再生图像；保存处理，使该再生图像保存在上述保存部件中；以及输出处理，至少输出上述编码差分信号与上述频带关联信息。
与本发明有关的运动图像解码程序使计算机执行以下处理：输入处理，输入包含对运动图像进行预测编码而得到的编码差分信号与频带关联信息的压缩数据；解码处理，对上述编码差分信号进行解码并生成解码差分信号；预测信号生成处理，生成针对上述解码差分信号的预测信号；加法处理，在上述解码差分信号上相加上述预测信号而生成再生图像；以及保存处理，使保存部件保存为了生成上述预测信号而使用的参照图像，其中，上述频带关联信息表示上述再生图像的频带与上述参照图像的频带，上述预测信号生成处理基于上述频带关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频带。
根据这些发明，由于针对对象图像的预测信号，与该对象图像的频带匹配而从参照图像得以生成，所有对象图像与其预测信号的频带就成为同程度。据此，就可防止参照图像的高频分量移到预测信号，即便是信号频带不同的图像混杂存在的运动图像，也可实现高效率的压缩。本发明在上述运动图像是参照图像具有频带宽度较宽的信号，而对象图像具有频带宽度较窄的信号的图像情况下，具有特别的效果。
为了解决上述课题，本发明的运动图像编码装置包括：输入部件，从构成运动图像的多个图像输入成为编码对象的对象图像；保存部件，保存为了生成针对由上述输入部件所输入的对象图像的预测信号而使用的参照图像；空间频率振幅分析部件，基于由上述输入部件所输入的对象图像的空间频率分量的振幅以及上述保存部件中所保存的参照图像的空间频率分量的振幅，生成用于调整上述对象图像的空间频率分量的振幅与上述参照图像的空间频率分量的振幅之差的空间频率振幅关联信息；预测信号生成部件，基于空间频率振幅分析部件所生成的空间频率振幅关联信息对上述参照图像的空间频率分量的振幅进行调整，并基于上述经过调整的参照图像而生成针对上述对象图像的预测信号；差分部件，基于由上述输入部件所输入的对象图像与由上述预测信号生成部件所生成的预测信号之差分而生成差分信号；编码部件，对由上述差分部件所生成的差分信号进行编码并生成编码差分信号；输出部件，输出由上述编码部件经过编码的编码差分信号以及由上述空间频率振幅分析部件所生成的空间频率振幅关联信息；解码部件，对由上述编码部件所生成的编码差分信号进行解码并生成解码差分信号；以及再生图像生成部件，在由上述解码部件所生成的解码差分信号上相加由上述预测信号生成部件所生成的预测信号而生成再生图像，并使所生成的再生图像作为参照图像保存在上述保存部件中。
另外，本发明的运动图像编码方法包括：输入步骤，从构成运动图像的多个图像输入成为编码对象的对象图像；空间频率振幅分析步骤，基于由上述输入步骤所输入的对象图像的空间频率分量的振幅以及为了生成针对由上述输入步骤所输入的对象图像的预测信号而使用的参照图像的空间频率分量的振幅，生成用于调整上述对象图像的空间频率分量的振幅与上述参照图像的空间频率分量的振幅之差的空间频率振幅关联信息；预测信号生成步骤，基于在上述空间频率振幅分析步骤中所生成的空间频率振幅关联信息对上述参照图像的空间频率分量的振幅进行调整，并基于上述经过调整的参照图像而生成针对上述对象图像的预测信号；差分步骤，基于由上述输入步骤所输入的对象图像与由上述预测信号生成步骤所生成的预测信号之差分而生成差分信号；编码步骤，对由上述差分步骤所生成的差分信号进行编码并生成编码差分信号；输出步骤，输出由上述编码步骤经过编码的编码差分信号以及由上述空间频率振幅分析步骤所生成的空间频率振幅关联信息；解码步骤，对由上述编码步骤所生成的编码差分信号进行解码并生成解码差分信号；以及再生图像生成步骤，在由上述解码步骤所生成的解码差分信号上相加由上述预测信号生成步骤所生成的预测信号而生成再生图像，并使所生成的再生图像作为参照图像得以保存。
另外，本发明的运动图像编码程序包括：输入模块，从构成运动图像的多个图像输入成为编码对象的对象图像；保存模块，保存为了生成针对由上述输入模块所输入的对象图像的预测信号而使用的参照图像；空间频率振幅分析模块，基于由上述输入模块所输入的对象图像的空间频率分量的振幅以及在上述保存模块中所保存的参照图像的空间频率分量的振幅，生成用于调整上述对象图像的空间频率分量的振幅与上述参照图像的空间频率分量的振幅之差的空间频率振幅关联信息；预测信号生成模块，基于在空间频率振幅分析模块中所生成的空间频率振幅关联信息对上述参照图像的空间频率分量的振幅进行调整，并基于上述经过调整的参照图像而生成针对上述对象图像的预测信号；差分模块，基于由上述输入模块所输入的对象图像与由上述预测信号生成模块所生成的预测信号之差分而生成差分信号；编码模块，对由上述差分模块所生成的差分信号进行编码并生成编码差分信号；解码模块，对由上述编码模块所生成的编码差分信号进行解码并生成解码差分信号；再生图像生成模块，在由上述解码模块所生成的解码差分信号上相加由上述预测信号生成模块所生成的预测信号而生成再生图像，并使所生成的再生图像作为参照图像保存在上述保存模块中；以及输出模块，输出由上述编码模块经过编码的编码差分信号以及由上述空间频率振幅分析模块所生成的空间频率振幅关联信息。
根据本发明，从构成运动图像的多个图像输入成为编码对象的对象图像，并保存为了生成针对所输入的对象图像的预测信号而使用的参照图像。然后，基于所输入的对象图像的空间频率分量的振幅以及所保存的参照图像的空间频率分量的振幅，生成用于调整对象图像的空间频率分量的振幅与参照图像的空间频率分量的振幅之差的空间频率振幅关联信息。
基于所生成的空间频率振幅关联信息对上述参照图像的空间频率分量的振幅进行调整，并基于经过上述调整的上述参照图像生成针对上述对象图像的预测信号，并基于所输入的对象图像与所生成的预测信号之差分而生成差分信号。对所生成的差分信号进行编码而生成编码差分信号，并对所生成的编码差分信号进行解码而生成解码差分信号。
在解码差分信号上相加预测信号而生成再生图像，并使再生图像作为参照图像保存起来。另一方面，输出经过编码的编码差分信号以及空间频率振幅关联信息。
由此，对象图像与其预测信号的空间频率振幅就成为同程度，参照图像的空间频率分量的过度或不足就不会影响到预测信号，所以能够高效率地进行压缩。
另外，本发明的运动图像解码装置包括：保存部件，保存作为用于解码的参照图像的再生图像；输入部件，输入包含对运动图像进行预测编码而得到的编码差分信号以及图像的空间频率振幅关联信息的编码数据；抽取部件，从由上述输入部件所输入的编码数据抽取空间频率振幅关联信息以及编码差分信号；预测信号生成部件，基于由上述抽取部件所抽取的空间频率振幅关联信息，对上述保存部件中所保存的再生图像的振幅进行调整，并生成预测信号；解码部件，对由上述抽取部件所抽取的编码差分信号进行解码并取得解码差分信号；加法部件，将由上述预测信号生成部件所生成的预测信号相加在由上述解码部件所取得的解码差分信号上而生成再生图像；以及输出部件，将由上述加法部件所取得的再生图像输出到输出端子以及上述保存部件。
另外，本发明的运动图像解码方法包括：输入步骤，输入包含对运动图像进行预测编码而得到的编码差分信号以及图像的空间频率振幅关联信息的编码数据；抽取步骤，从由上述输入步骤所输入的编码数据抽取空间频率振幅关联信息以及编码差分信号；预测信号生成步骤，基于由上述抽取步骤所抽取的空间频率振幅关联信息，对保存部件中作为参照图像所保存的再生图像的振幅进行调整，并生成预测信号；解码步骤，对由上述抽取步骤所抽取的编码差分信号进行解码并取得解码差分信号；加法步骤，将由上述预测信号生成步骤所生成的预测信号相加在由上述解码步骤所取得的解码差分信号上而生成再生图像；以及输出步骤，将由上述加法步骤所取得的再生图像输出到输出端子以及保存用于解码的再生图像的保存部件。
另外，本发明的运动图像解码程序包括：保存模块，保存再生图像作为用于解码的参照图像；输入模块，输入包含对运动图像进行预测编码而得到的编码差分信号以及图像的空间频率振幅关联信息的编码数据；抽取模块，从由上述输入模块所输入的编码数据抽取空间频率振幅关联信息以及编码差分信号；预测信号生成模块，基于由上述抽取模块所抽取的空间频率振幅关联信息，对在上述保存模块中所保存的再生图像的振幅进行调整，并生成预测信号；解码模块，对由上述抽取模块所抽取的编码差分信号进行解码并取得解码差分信号；加法模块，将由上述预测信号生成模块所生成的预测信号相加在由上述解码模块所取得的解码差分信号上而生成再生图像；以及输出模块，将由上述加法模块所取得的再生图像输出到输出端子以及上述保存模块。
根据该发明，保存用于解码的再生图像，输入包含对运动图像进行预测编码而得到的编码差分信号以及图像的空间频率振幅关联信息的编码数据。然后，从所输入的编码数据抽取空间频率振幅关联信息以及编码差分信号，并基于抽取出的空间频率振幅关联信息，对上述保存部件中所保存的再生图像的振幅进行调整，并生成预测信号。另外，对抽取出的编码差分信号进行解码而生成解码差分信号，将预测信号相加在解码差分信号上生成再生图像。将所生成的再生图像输出到输出端子，或者使其保存起来。
由此，就能够解码对象图像及其预测信号的空间频率振幅成为同程度而高效率地得以压缩的编码数据。
另外，本发明的运动图像编码装置最好是上述空间频率振幅分析部件还包括将上述空间频率振幅关联信息的生成所需要的信息从外部进行输入的外部输入部件，上述空间频率振幅分析部件在上述对象图像的空间频率分量的振幅以及上述参照图像的空间频率分量的振幅上加入从上述外部输入部件所输入的信息而生成空间频率振幅关联信息。
根据该发明，由于能够从外部输入空间频率振幅关联信息的生成所需要的信息，并能够基于所输入的信息而生成空间频率振幅关联信息，所以能够从外部输入基于影像全体评价的尺度而确定的调整参数，生成考虑了映像全体的振幅调整率，同时能够进行效率更好的编码。
另外，最好是本发明的运动图像编码装置的上述空间频率分析部件基于与对象图像的空间频率分量相应而确定的调整参数对上述空间频率振幅关联信息进行调整，并将经过调整的空间频率振幅关联信息以及调整参数作为空间频率振幅关联信息而生成。
根据该发明，能够基于与空间频率分量相应而确定的调整参数来调整空间频率振幅关联信息，能够进行效率更好的编码。
另外，最好是本发明的运动图像解码装置的上述输入部件输入经过调整的空间频率关联信息以及调整参数作为空间频率振幅关联信息，上述预测信号生成部件基于由上述输入部件所输入的空间频率振幅关联信息以及调整参数而生成预测信号。
根据该发明，就能够基于经过调整的空间频率关联信息以及调整参数而生成预测信号，并能够解码高效率地得以编码的数据。
根据本发明，就可以在运动图像的编码/解码之际，高效率地压缩运动图像。
附图说明
图1是表示第1实施方式中的运动图像编码装置之构成的图。
图2是用于说明运动图像编码装置之动作的图。
图3是用于说明预测信号生成器之动作的前半部分的图。
图4是表示运动矢量的像素精度、和用于生成预测信号的系数串的对应关系的图。
图5是用于说明预测信号生成器之动作的后半部分的图。
图6是表示第1实施方式中的运动图像解码装置之构成的图。
图7是用于说明运动图像解码装置之动作的图。
图8是用于说明预测信号生成器之动作的图。
图9是表示运动图像编码程序之构成的概念图。
图10是表示运动图像解码程序之构成的概念图。
图11是表示执行运动图像编码/解码程序的计算机之概略构成的图。
图12是执行运动图像编码/解码程序的计算机的外观立体图。
图13是运动图像编码装置130的框图。
图14是空间频率分析器101的框图。
图15是表示振幅调整率保存器203所保存的变换表的图。
图16是表示预测信号生成器102之处理的动作流程图。
图17是表示运动图像编码装置130之动作的流程图。
图18是第2实施方式的运动图像解码装置610的框图。
图19是表示预测信号生成器607之动作的流程图。
图20是表示运动图像解码装置610之动作的流程图。
图21是将根据第2发明的实施方式的运动图像编码程序51P之构成与记录媒体50P一起来进行表示的图。
图22是将根据第2实施方式的运动图像解码程序91P之构成与记录媒体90P一起来进行表示的图。
附图标记说明
1...输入端子、2...差分器、3...变换器、4...量化器、5...逆量化器、6...逆变换器、7...加法器、8...帧存储器、9...预测信号生成器、10...频带分析器、11...熵编码器、12...输出端子、21...输入端子、22...数据解析器、23...逆量化器、24...逆变换器、25...预测信号生成器、26...加法器、27...输出端子、28...帧存储器、100...输入端子、101...空间频率分析器、102...预测信号生成器、103...差分器、104...变换器、105...量化器、106...逆量化器、107...逆变换器、108...加法器、109...帧存储器、120...熵编码器、121...输出端子、201...空间频率振幅分析器、202...空间频率振幅关联信息生成器、203...振幅调整率保存器、600...输入端子、601...数据解析器、602...逆量化器、603...逆变换器、604...加法器、605...输出端子、606...帧存储器、607...预测信号生成器。
具体实施方式
以下，一边参照附图，一边就本发明的一实施方式中的运动图像编码装置进行说明。
图1是表示与第1实施方式相关的运动图像编码装置之构成的图。
第1实施方式中的运动图像编码装置13，具有输入端子1(与输入部件对应)、差分器2(与差分部件对应)、变换器3和量化器4(与编码部件对应)、逆量化器5和逆变换器6(与解码部件对应)、加法器7(与加法部件对应)、帧存储器8(与保存部件对应)、预测信号生成器9(与预测信号生成部件对应)、频带分析器10(与频带分析部件对应)、熵编码器11、以及输出端子12(与输出部件对应)。这些各构成要素经由总线以相互可进行信号输入输出的方式连接起来。
以下，就各构成要素详细地进行说明。
输入端子1输入运动图像。所输入的运动图像被分割成规定大小(16×16像素)的区域。
差分器2当经由总线B10输入在预测信号生成器9中求出的预测信号，就从对象块中减去该预测信号而生成差分信号。
变换器3将从差分器2所输入的差分信号变换成频率区域的信号。
量化器4对从变换器3所输入的信号进行量化。
逆量化器5对从量化器4所输入的量化系数进行逆量化。
逆变换器6通过逆离散余弦变换将从逆量化器5所输入的逆量化系数变换成空间区域的再生差分信号。
加法器7对从逆变换器6所输入的再生差分信号，相加经由总线B10a所输入的预测信号，并生成再生图像。
帧存储器8保存从加法器7经由总线B7所输入的再生图像，并将其用作对下一图像进行编码时的参照图像。
预测信号生成器9对经由总线B1b所输入的编码对象的块生成预测信号。另外，针对该块的预测信号的频带以不超过块信号的频带的方式进行控制。详细的动作后述。
频带分析器10对上述编码对象块信号的频带进行分析。
熵编码器11在将从量化器4所输入的量化系数变换成可变长度代码后，输出到输出端子12。还可以取代可变长度代码而使用算术代码。
接着，对动作进行说明。
作为动作说明的前提，假定输入端子1所输入的运动图像是民用的摄像机(例如，便携式电话上所搭载的照相机)所摄影的多个图像的情况。在此情况下，基于上述的理由，具有频带宽度较宽的信号的图像和具有频带宽度较窄的信号的图像就混杂存在而被输入。
在频带分析器10上被输入作为编码对象的对象图像、和为了生成该对象图像的预测信号而参照的参照图像。对象图像从输入端子1经由总线B1a被输入，参照图像从帧存储器8经过总线B11被输入。虽然在第1实施方式中，设被输入的参照图像为1张，但也可以是多张。
对象图像的频带通过傅里叶变换来进行测定。具体而言，频带分析器10将对象图像中的某像素串作为一维的数据排列实施傅里叶变换，生成频率系数串。然后，将处于该频率系数串的系数之中，大小为直流分量的x％以下的最大频率分量设为该像素串的频带。例如，x＝5，但也可以是使用除此以外的数值。
这样，频带分析器10求解对于对象图像的各像素串的频带，并将其中最大的设为对象图像的垂直方向的频带。同样，求解针对处于对象图像的各行的像素串的频带，并将其中最大的设为对象图像的水平方向的频带。在第1实施方式中，将垂直方向的频带与水平方向的频带中的最大值设为对象图像的频带数据。
对参照图像的频带也能够用同样的方法来进行测定，在第1实施方式中，通过将对该参照图像进行编码之际所测定的频带信息保存起来，就可以不用重新计算与参照图像的频带相关的信息。为此，帧存储器8将与对象图像的频带相关的信息，为了对下一图像进行编码而保存起来。此外，虽然作为参照图像能够利用帧存储器8中所保存的再生的图像，但也可以使用与该参照图像对应的原图像来计算其频带。
频带分析器10将所得到的对象图像的频带数据作为分母，将参照图像的频带数据作为分子来求解频带比，并经由总线B12将其输出到预测信号生成器9。该频带比在作为频带关联信息(频率特性关联信息)，经由总线B9被输出到熵编码器11后，在经过可变长度编码的基础上，与其他信息一起从输出端子12输出。此外，在频带关联信息(频率特性关联信息)上并不限于频带比，只要是能够表示上述再生图像的频率特性与上述参照图像的频率特性之相对关系的信息的信息即可。例如，还可以是上述再生图像的频率特性、上述参照图像的频率特性其自身、或者其差分。
以下，参照图2与运动图像编码装置13的动作一起来说明构成运动图像编码方法的各步骤。
若在运动图像编码装置13的输入端子1输入作为编码对象的对象图像(S1)，则频带分析器10测定对象图像的频带，并根据对象图像以及参照图像的频带数据求得频带比(S2)。关于频带的测定方法与频带比的求解方法将后述。
此外，虽然在第1实施方式中，运动图像编码装置13求解与图像全体的频带相关的数据，但也可以以各块为单位来求解该数据。
在S3中，预测信号生成器9进行基于频带比的运动检测，并生成运动矢量。然后，生成与运动矢量的精度、以及频带比相应的预测信号(S4)。
差分器2从对象图像减去在S4中所生成的预测信号，求得差分信号(S5)。此差分信号在用变换器3经过离散余弦变换后，用量化器4进行量化，而生成量化变换系数(S6)。
进而，量化变换系数经过利用逆量化器5的逆量化处理、利用逆变换器6的逆变换处理，而生成再生差分信号(S7)。
在再生差分信号上通过加法器7相加预测信号，其结果，再生图像得以生成(S8)。
所生成的再生图像、以及关于频带的信息被临时保存在帧存储器8中。同时，包含量化变换系数、频带关联信息、以及运动矢量的数据在经过熵编码的基础上进行输出(S9)。
接着，参照图3就预测信号生成器9的动作进行详述。
首先，在S11中，对象图像经由总线B1b，参照图像经由总线B11a，频带比经由总线B12分别被输入到预测信号生成器9。
在S12中，依照上述频带比的值，执行运动检测的处理。
由于运动检测处理是公知惯用的图像解析技术，所以省略详细的说明，例如，采用块匹配的方法来执行。
在频带比小于等于1的情况下(S12：≤1)、即对象图像为参照图像的频带以上的情况下，预测信号生成器9执行S13，S14，S15的处理，并检测针对对象块的运动矢量。
预测信号生成器9具有依照频带比而执行的生成部101，102，103。这些生成部在预测信号的生成上使用的系数串与运动矢量的像素精度的对应关系在图4中表示。
在图3的S13中，通过生成部101检测出整数精度的运动矢量(与图4的41对应)。生成部101对参照图像原封不动使用某像素值取得匹配，将处于分配误差最少的块的位置的块的变位设为整数精度的运动矢量。
在S14中，通过生成部101以整数精度的运动矢量表示的位置为中心，检测出半像素精度的运动矢量(与图4的44对应)。
生成部101对参照图像将某像素值用[uh uh]的系数进行线性插值而生成半像素精度的像素，并使用其取得与对象块的匹配。然后，将处于分配误差最少的参照块的位置的块的变位设为半像素精度的运动矢量。
例如，uh＝1/2，但也可以使用除此以外的线性插值系数。
在S15中，通过生成部101以半像素精度的运动矢量表示的位置为中心，检测出1/4像素精度的运动矢量(与图4的47对应)。
生成部101对参照图像将某像素值用[uq uq uq uq]的系数进行线性插值而生成1/4像素精度的像素，并使用其取得与对象块的匹配。然后，将处于分配误差最少的参照块的位置的块的变位设为1/4像素精度的运动矢量。
例如，uq＝1/4，但也可以使用除此以外的线性插值系数。
这样，在对象图像是与参照图像相同频带的情况，或者是较大频带的情况下，预测信号生成器9以与以往相同方法，根据整数、1/2像素精度以及1/4像素精度的运动矢量来求解最适合的运动矢量。
另外，在频带比为1到2的情况下(S12：1～2)、即参照图像的频带比对象图像的频带要大但不到2倍的情况下，预测信号生成器9执行S16，S17，S18的处理，并检测针对对象块的运动矢量。
在S16中，通过生成部102检测出整数精度的运动矢量(与图4的42对应)。生成部102对参照图像在将某像素值用3个系数进行了加权相加的基础上取得匹配，并将处于分配误差最少的块的位置的块的变位设为整数精度的运动矢量。
作为系数，例如能够使用[w1 w2 w3]＝[1/3 1/3 1/3]，但还可以使用除此以外的系数。
在S17中，通过生成部102以整数精度的运动矢量表示的位置为中心，检测出半像素精度的运动矢量(与图4的45对应)。
生成部102对参照图像将某像素值用[wh1 wh2 wh3 wh4]的系数进行线性插值而生成半像素精度的像素，并使用其来取得与对象块的匹配。然后，将处于分配误差最少的参照块的位置的块的变位设为半像素精度的运动矢量。
例如，[wh1 wh2 wh3 wh4]的各系数能够通过[uh uh]与[w1 w2 w3]的函数来提供，但也可以使用除此以外的线性插值函数。
在S18中，通过生成部102以半像素精度的运动矢量表示的位置为中心，检测出1/4像素精度的运动矢量(与图4的48对应)。
生成部102对参照图像将某像素值用[wq1 wq2 wq3 wq4 wq5 wq6]的系数进行线性插值而生成1/4像素精度的像素，并使用其取得与对象块的匹配。然后，将处于分配误差最少的参照块的位置的块的变位设为1/4像素精度的运动矢量。例如，[wq1 wq2 wq3 wq4 wq5 wq6]的各系数能够通过[uq uq uq uq]与[wh1 wh2 wh3 wh4]的函数来提供，但也可以使用除此以外的线性插值函数。
这样，在对象图像为比参照图像窄的频带的情况下，预测信号生成器9以使参照图像的频带与对象图像的频带吻合的形式来进行运动检测，从整数精度、1/2像素精度、1/4像素精度的运动矢量之中求解最合适的运动矢量。
进而，在频带比大于等于2的情况下(S12：2≤)、即参照图像的频带比对象图像的频带大2倍以上的情况下，预测信号生成器9执行S19，S20，S21的处理，并检测针对对象块的运动矢量。
在S19中，通过生成部103检测出整数精度的运动矢量(与图4的43对应)。生成部103对参照图像在将某像素值用3个系数进行了加权相加的基础上取得匹配，将处于分配误差最少的块的位置的块的变位设为整数精度的运动矢量。
作为系数，例如能够使用[v1 v2 v3]＝[1/4 2/4 1/4]，但也可以使用除此以外的系数。
在S20中，通过生成部103以整数精度的运动矢量表示的位置为中心，检测出半像素精度的运动矢量(与图4的46对应)。
生成部103对参照图像将某像素值用[vh1 vh2 vh3 vh4]的系数进行线性插值而生成半像素精度的像素，并使用其取得与对象块的匹配。然后，将处于分配误差最少的参照块的位置的块的变位设为半像素精度的运动矢量。
例如，[vh1 vh2 vh3 vh4]的各系数能够通过[uh uh]与[v1 v2 v3]的函数来提供，但也可以使用除此以外的线性插值函数。
在S21中，通过生成部103以半像素精度的运动矢量表示的位置为中心，检测出1/4像素精度的运动矢量(与图4的49对应)。
生成部103对参照图像将某像素值用[vq1 vq2 vq3 vq4 vq5 vq6]的系数进行线性插值而生成1/4像素精度的像素，并使用其取得与对象块的匹配。然后，将处于分配误差最少的参照块的位置的块的变位设为1/4像素精度的运动矢量。
例如，[vq1 vq2 vq3 vq4 vq5 vq6]的各系数能够通过[uq uq uq uq]与[vh1vh2 vh3 vh4]的函数来提供，但也可以使用除此以外的线性插值函数。
这样，在对象图像比参照图像频带非常狭窄的情况下，预测信号生成器9以使参照图像的频带与对象图像的频带吻合的形式来进行运动检测，从整数精度、1/2像素精度、1/4像素精度的运动矢量之中求解最合适的运动矢量。
以参照图像的频带吻合对象图像的频带的方式所求出的运动矢量在S22中被输出到熵编码器11。
转移到图5，继续说明预测信号生成器9的动作。
接着，预测信号生成器9对如上述那样所求出的最合适的运动矢量，进行与其精度相应的预测信号的生成(S31)。
例如，分别在运动矢量为整数像素精度的情况下进入S32，在1/2像素精度的情况下进入S36，在1/4像素精度的情况下进入S40。
在S32中，与频带比相应的生成部生成预测信号。即，在频带比小于等于1的情况下，生成部101进行预测信号的生成(S33、与图4的41对应)，在频带比处于1～2之间的情况下，生成部102生成预测信号(S34、与图4的42对应)。进而，在频带比大于等于2的情况下，生成部103进行预测信号的生成(S35、与图4的43对应)。
在S36，S40中，也与S32同样，与频带比相应的生成部生成预测信号。即，在频带比小于等于1的情况下，生成部101进行预测信号的生成(S37，S41、分别与图4的44，47对应)，在频带比处于1～2之间的情况下，生成部102生成预测信号(S38，S42、分别与图4的45，48对应)。进而，在频带比大于等于2的情况下，生成部103进行预测信号的生成(S39，S43、分别与图4的46，49对应)。
所生成的预测信号被输入到差分器2与加法器7(S44)。
此外，在第1实施方式中，采用了在预测信号的各生成部中预先准备好用于生成的系数，并依照运动矢量精度和频带比来选择生成部的构成。为此，频带关联信息仅取与频带比有关的信息。但是，运动图像编码装置13也可以不用事前准备预测信号的生成部，而根据频带比来求解最合适的系数，对该系数一起进行编码。
在这种形态中，作为频带关联信息还可以在频带比的基础上或者取代频带比而输出生成预测信号的部件或者用于它的系数。运动图像编码装置13通过依照频带比来求得生成部，就能够求得更高精度的预测信号，所以能够进一步提高图像压缩率。
另外，虽然在第1实施方式中，就一张或者多张图像输出与1个频带比有关的数据，但并不限于此。即，运动图像编码装置13还可以不是以图像为单位、而是以对图像进行了分割的块为单位来输出频带关联信息。
进而，还可以对于图像的水平方向与垂直方向，使用各自的频带数据来进行处理。在此情况下，预测信号生成器9在就水平方向与垂直方向求出各自的频带比以后，依照该频带比用因方向而不同的生成部来生成预测信号。
另外，虽然在第1实施方式中用直到1/4像素精度的运动矢量生成了预测信号，但也可以用1/8像素以上的精度来生成预测信号。
虽然在第1实施方式中，使用了频带比作为频带关联信息，该频带比还可以用与上述函数不同的函数来求解。这种形态能够通过将预测信号生成时的判定条件结合该不同函数的定义重新进行设定而实现。
接着，就本发明一实施方式中的运动图像解码装置进行说明。
图6是表示与本发明有关的运动图像解码装置之构成的图。
第1实施方式中的运动图像解码装置20具有输入端子21(与输入部件对应)、数据解析器22、逆量化器23和逆变换器24(与解码部件对应)、预测信号生成器25(与预测信号生成部件对应)、加法器26(与加法部件对应)、输出端子27、以及帧存储器28(与保存部件对应)。这些各构成要素经由总线以相互可进行信号输入输出的方式连接起来。
以下，就各构成要素进行详细进行说明。
输入端子21输入包含对运动图像进行预测编码而得到的编码差分信号的数据、与运动矢量有关的数据、以及频带关联信息(包含频带比)的压缩数据。
数据解析器22解析所输入的压缩数据并进行熵解码处理，同时抽取出经过量化的变换系数、与量化有关的信息、与预测信号的生成有关的运动矢量、以及与解码对象图像有关的频带关联信息。
逆量化器23根据从数据解析器22经由总线B22所输入的上述变换系数、以及与量化有关的信息而生成经过逆量化的变换系数。
逆变换器24对从逆量化器23经由总线B23所输入的上述变换系数进行逆离散余弦变换，生成再生差分信号。
详细进行后述，预测信号生成器25基于从数据解析器22经由总线B22a所输入的运动矢量、经由总线B22b所输入的频带关联信息而生成预测信号。预测信号生成器25与上述的预测信号生成器9同样地具有依照频带关联信息中所包含的频带比而执行的生成部101，102，103。这些生成部在预测信号的生成上使用的系数串与运动矢量的像素精度的对应关系如图4所示那样。
加法器26对从逆变换器24经由总线B24所输入的再生差分信号、与从预测信号生成器25经由总线B25所输入的预测信号进行加法运算。
输出端子27将从加法器26所输入的加法运算结果作为再生图像进行输出。
帧存储器28将从加法器26经由总线B27所输入的加法运算结果作为用于解码下一图像的再生图像来进行保存。此外，与上述的帧存储器8同样，也可以为了解码下一图像而将与对象图像的频带有关的信息在帧存储器28中保存起来。在此情况下，在频带关联信息中仅仅包含与对象图像所有的频带宽度有关的信息而不是频带比。
接着，参照图7，与运动图像解码装置20的动作一起来说明构成运动图像解码方法的各步骤。
在T1中，在运动图像解码装置20的输入端子21上输入包含编码差分信号的数据和关于运动矢量的数据、以及频带关联信息的压缩数据。数据解析器22在进行熵解码处理的同时，从该压缩数据抽取出经过量化的变换系数、与量化有关的信息、与预测信号的生成有关的运动矢量、以及与解码对象图像有关的频带关联信息(T2)。
在预测信号生成器25中，基于从数据解析器22所输入的运动矢量与频带关联信息，进行预测信号的生成(T3)。关于预测信号的生成方法的细节后述。
另一方面，经过量化的变换系数在由逆量化器23经过逆量化以后(T4)，由逆变换器24进行逆离散余弦变换。其结果，再生差分信号得以生成(T5)。
T3中所生成的预测信号和T5中所生成的再生差分信号在加法器26中进行相加，由此再生图像得以生成(T6)。该再生图像为了下一图像的解码而被临时保存在帧存储器28中(T7)。
T2～T8的一系列处理对所输入的全部压缩数据被反复执行直到解码处理结束为止(T8)。
接着，参照图8对预测信号生成器25的动作进行详述。
在T11中，从数据解析器22输入成为解码对象的块的运动矢量与频带关联信息。在频带关联信息中包含与针对对象图像的参照图像的频带比相关的信息。
预测信号生成器25对所输入的运动矢量进行与其精度相应的预测信号的生成(T12)。
例如，分别在运动矢量为整数像素精度的情况下进入T13，在1/2像素精度的情况下进入T17，在1/4像素精度的情况下进入T21。
在T13中，与频带比相应的生成部生成预测信号。即，在频带比小于等于1的情况下，生成部101进行预测信号的生成(T14、与图4的41对应)，在频带比处于1～2之间的情况下，生成部102生成预测信号(T15、与图4的42对应)。进而，在频带比大于等于2的情况下，生成部103进行预测信号的生成(T16、与图4的43对应)。
在T17，T21中也与T13同样，与频带比相应的生成部生成预测信号。即，在频带比小于等于1的情况下，生成部101进行预测信号的生成(T18，T22、分别与图4的44，47对应)，在频带比处于1～2之间的情况下，生成部102生成预测信号(T19，T23、分别与图4的45，48对应)。进而，在频带比大于等于2的情况下，生成部103进行预测信号的生成(T20，T24、分别与图4的46，49对应)。
然后，所生成的预测信号被输出到加法器26(T25)。
此外，在第1实施方式中，采用了在预测信号的各生成部中，预先准备好用于生成的系数，依照运动矢量精度和频带比来选择生成部的构成。为此，频带关联信息仅取与频带比有关的信息。但是，在识别预测信号的生成部的信息被包含在频带关联信息中的情况下，预测信号生成器25也可以利用该信息而生成预测信号。
另外，虽然在第1实施方式中，就一张或者多张图像输入与1个频带比有关的数据，但并不限于此。即，运动图像解码装置20还可以不是以图像为单位、而是以分割了图像的块为单位来输入频带关联信息。在这种形态中，预测信号生成器25基于各块的各频带关联信息而生成预测信号。
进而，还可以对于图像的水平方向与垂直方向，输入各自的频带数据。在此情况下，预测信号生成器25在就水平方向与垂直方向求出各自的频带比以后，依照其频带比生成预测信号。
另外，虽然在第1实施方式中，用直到1/4像素精度的运动矢量生成了预测信号，但也可以用1/8像素以上的精度来生成预测信号。
在这里，与本发明有关的运动图像编码技术还可以实现为用于使计算机作为运动图像编码装置13进行动作的运动图像编码程序。
图9是表示与本发明有关的运动图像编码程序110P之构成的图。运动图像编码程序110P被记录在记录媒体100P上。记录媒体100P例如是软盘、CD-ROM、DVD或者半导体存储器。
运动图像编码程序110P如图9所示那样，作为构成单位具有图像输入模块111P、图像分析/频带比计算模块112P、预测信号生成模块113P、差分信号生成模块114P、变换模块115P、量化模块116P、逆量化模块117P、逆变换模块118P、加法模块119P、以及熵编码模块121P。通过使这些各模块执行而实现的功能分别与上述的运动图像编码装置13的输入端子1、频带分析器10、预测信号生成器9、差分器2、变换器3、量化器4、逆量化器5、逆变换器6、加法器7、熵编码器11的各功能相同。通过使存储模块120P执行而得以保存的数据与帧存储器8中所保存的数据相同。
另外，与本发明有关的运动图像解码技术还可以实现为用于使计算机作为运动图像解码装置20进行动作的运动图像解码程序。
与本发明有关的运动图像解码程序210P例如，能够采用如图10所示的那样的构成。运动图像解码程序210P被记录在记录媒体200P上。记录媒体200P例如，是软盘(注册商标)、CD-ROM、DVD、或者半导体存储器。
运动图像解码程序210P如图10所示那样，作为构成单位具有压缩数据输入模块211P、熵解码模块212P、预测信号生成模块213P、逆量化模块214P、逆变换模块215P、加法模块216P。通过使这些各模块执行而实现的功能分别与上述的运动图像解码装置20的输入端子21、数据解析器22、预测信号生成器25、逆量化器23、逆变换器24、加法器26具有的各功能相同。通过使存储模块217P执行而得以保存的数据与帧存储器28中所保存的数据相同。
图11是表示用于执行记录媒体100P，200P上所记录的程序的计算机之硬件构成的图。
如图11所示那样，计算机30具备以FDD(Floppy Disk Drive)、CD-ROM驱动装置、DVD驱动装置为代表的数据读取装置31、用于使OS常驻的作业用存储器(RAM：Random Access Memory)32、存储从记录媒体100P，200P所读出的程序的存储器33、作为显示装置的显示器34、作为输入装置的鼠标35以及键盘36、用于进行数据的收发的通信装置37、和总括地控制程序的执行的CPU38。
若记录媒体100P，200P被插入到读取装置31，计算机30就可以通过读取装置31对分别记录在记录媒体100P，200P的运动图像编码程序110P、运动图像解码程序210P进行访问。计算机30可以通过由CPU38执行运动图像编码程序110P而作为上述的运动图像编码装置13进行动作。同样，计算机30通过由CPU38执行运动图像解码程序210P而作为上述的运动图像解码装置20进行动作。
图12是用于执行记录媒体100P，200P中所记录的程序的计算机30的外观立体图。在计算机30上并不限于PC(Personal Computer)，还包括具备CPU，进行利用软件的信息处理或控制的DVD播放器、机顶盒、便携式电话等。
如图12所示那样，运动图像编码程序110P或运动图像解码程序210P还可以作为被重叠在载波上的数据信号40经由网络而提供(下载)。在此情况下，计算机30在由通信装置37接收运动图像编码程序110P或者运动图像解码程序210P，并保存在存储器33中以后，执行这些程序。
如以上所说明那样，与本发明有关的运动图像编码解码技术(装置、方法、程序)，在测定了对象图像的频带与参照图像的频带的基础上，生成表示这些频带的频带关联信息。然后，基于该频带关联信息，以与对象图像的频带吻合的形式，从参照图像生成针对对象图像的预测信号。由此，对象图像与其预测信号的频带就成为同程度，参照图像的高频分量就不会转移到预测信号。其结果压缩编码效率将会提高。
其次，使用图13至图22就本发明的第2实施方式进行说明。首先，就第2实施方式的运动图像编码装置进行说明。图13是运动图像编码装置130的框图。该运动图像编码装置130包括输入端子100(输入部件)、空间频率分析器101(空间频率振幅分析部件)、预测信号生成器102(预测信号生成部件)、差分器103(差分部件)、变换器104(编码部件)、量化器105(编码部件)、逆量化器106(解码部件)、逆变换器107(解码部件)、加法器108(再生图像生成部件)、帧存储器109(保存部件)、熵编码器120、输出端子121(输出部件)而构成。以下，就各构成要素进行说明。
输入端子100作为输入构成运动图像数据的多个图像数据的端子，是一个个输入构成从照相机、存储运动图像的存储器等所输出的运动图像数据的多个静止图像数据的部分。此外，所输入的图像通过未图示的图像分割部，被分割成规定大小的区域。在第2实施方式中被分割成由16×16像素组成的块，并以各块为单位来进行压缩/编码处理。
空间频率分析器101是生成表示对象图像与参照图像的振幅之比率或者相对的或绝对的差分的空间频率振幅关联信息(频率特性关联信息)、即用于调整对象图像的空间频率分量的振幅与参照图像的空间频率分量的振幅之差的空间频率振幅关联信息的部分。具体而言，空间频率分析器101计算经由线L101a所输入的对象图像、和从帧存储器109经由线L110所取出的参照图像信号各自的空间频率振幅。然后，空间频率分析器101基于与计算出的针对对象图像以及参照图像的空间频率振幅相关的信息，生成表示对象图像与参照图像的振幅的比率或者相对的或绝对的差分的空间频率振幅关联信息。空间频率分析器101将所生成的空间频率振幅关联信息输出到熵编码器120以及预测信号生成器102。
在这里，就该空间频率分析器101的详细构成进行说明。图14是空间频率分析器101的框图。该空间频率分析器101包括空间频率振幅分析器201、空间频率振幅关联信息生成器202、以及振幅调整率保存器203而构成。以下，就各构成要素进行说明。
空间频率振幅分析器201是计算对象图像的空间频率振幅以及参照图像的空间频率振幅，并将计算出的振幅与对象图像的空间频率以及参照图像的空间频率一起经由线L201输出到空间频率振幅关联信息生成器202的部分。
即，空间频率振幅分析器201经由线L101a取得作为编码对象的对象图像、经由线L110取得为了生成该对象图像的预测信号而参照的参照图像。参照图像被保存在帧存储器109，经由线L110得以输入。虽然在第2实施方式中将一张参照图像作为对象但也可以使用多个参照图像。
空间频率振幅分析器201通过对对象图像以及参照图像进行傅里叶变换而计算出对象图像的空间频率分量的振幅以及参照图像的空间频率分量的振幅。具体而言，空间频率振幅分析器201对对象图像实施二维傅里叶变换而生成频率系数行列，并计算出该频率系数行列内的系数的功率谱。也就是将各傅里叶系数的实数项和虚数项的平方和的平方根作为各空间频率的空间频率振幅的大小计算出。此外，空间频率振幅的计算方法(表现法)并不限于此，还可以使用其他的计算方法。
另外，虽然第2实施方式中的空间频率振幅分析器201计算出二维的空间频率振幅，但也可以使用一维傅里叶变换来计算出空间频率振幅。在此情况下例如，还可以对水平方向的各1列进行傅里叶变换而计算出。另外，还可以将对于至少1个以上的垂直、水平、水平垂直以外某方向的空间频率振幅作为对象。
另外，虽然在第2实施方式中，将二维数据作为行列计算出空间频率振幅，但也可以作为一维的数据列而计算出。另外还可以抽取二维数据的任意一部分来使用。另外，还可以通过例如之字形(zigzag)扫描等排序方法将二维数据进行排列而作为一维数据来进行处理。
另外，虽然在第2实施方式中，在频率变换上使用了傅里叶变换，但也可以使用除此以外的离散余弦变换或离散小波变换等其他的频率变换。进而，通过空间频率振幅分析器201将对该参照图像进行编码之际所测定的空间频率分量振幅信息保存起来，还可以不重新计算与参照图像的空间频率振幅相关的信息。即，空间频率振幅分析器201将与对象图像的空间频率振幅相关的信息作为与用于编码下一图像的参照图像的空间频率振幅相关的信息而保存起来。此外，虽然使用作为参照图像在帧存储器109中所保存的经过再生的图像，但也可以使用与该参照图像对应的原图像(没有进行编码/解码、所输入的图像数据其本身)来计算其空间频率振幅。
空间频率振幅关联信息生成器202如上述那样，从空间频率振幅分析器201取得对象图像的空间频率和对象图像的空间频率振幅、以及参照图像的空间频率和参照图像的空间频率振幅。该空间频率振幅关联信息生成器202利用所输入的对象图像以及参照图像的空间频率振幅，按照以下的公式(1)计算出振幅比率PR(f_cur)，并经由线L114输出到预测信号生成器102。振幅比率PR(f_cur)是根据对象图像的各空间频率f_cur的空间频率振幅的大小P_cur以及参照图像对应的空间频率f_ref的空间频率振幅的大小P_ref计算出，表示针对将各空间频率的P_ref设为100[％]时的比率的函数。另外，进行设定使对于空间频率相当于0的DC分量一直成为100[％]。
PR(f_cur)＝100×(P_cur/P_ref)，其中PR(0)＝100  ...(1)
此外，虽然在第2实施方式中，利用了空间频率振幅的相对的大小，但也可以利用对象图像的空间频率振幅的大小P_cur与参照图像的空间频率振幅的大小P_ref之差。另外，还可以是根据P_cur与P_ref之差或P_cur和P_ref所求得的其他函数。另外，虽然在第2实施方式中，在空间频率为0的情况下设定为振幅比率PR(f_cur)＝100，但即便在空间频率为0的情况下也可以计算出PR(f_cur)。
振幅调整率保存器203是按对象图像的空间频率f_cur中的x[Hz]，逐个保存用于调整振幅比率PR(f_cur)的变换表的部分。例如，振幅调整率保存器203按对象图像的空间频率f_cur中的x[Hz]，振幅比率PR(f_cur)在比率范围0％～100％之间按y％，逐个将用于使振幅比率PR(f_cur)变化的调整参数分别对应起来并保存为变换表。图15是表示振幅调整率保存器203中所保存的变换表的图。如图15所示那样，在纵方向上取振幅比率、在横方向上取对象图像的空间频率的频带范围，调整参数α1到α25被分别对应起来。
空间频率振幅关联信息生成器202经由线L203取出该振幅调整率保存器203中所保存的调整参数，通过在振幅比率PR(f_cur)上进行乘法运算来调整振幅比率，并作为振幅调整率R(f_cur)计算出。在第2实施方式中设定为x＝10、y＝5。此外，x以及y并不限定于该值，不论其以上还是以下均可。另外，比率范围的上限，虽然在第2实施方式中设定为100％，但并不限定于此。另外，虽然第2实施方式中的变换表设为1个表，但例如也可以是层次性的表。另外，希望这些频带的区分是基于人类的敏感度的空间频率的范围。与这些变换表中所规定的频率频带范围振幅比率对应而确定的各调整参数的组合、即变换表中所记述的信息，作为与空间频率振幅调整有关的信息以块为单位发送给运动图像解码装置。另外，还可以将与空间频率振幅调整有关的信息以帧为单位发送给运动图像解码装置。另外，还可以以帧全体作为1个调整参数发送给运动图像解码装置。
另外，作为振幅调整率R(f_cur)的计算方法，并不限于上述方法，例如，还可以具备按空间频率的频率频带以及振幅比率的规定范围逐个存储振幅调整率的矩阵表，对预定的范围的振幅比率及其频率频带，变换成矩阵表中所确定的振幅调整率。具体而言，作为某一定范围的振幅率、例如，处于10％～15％之间的振幅率(例如，设为13％)，其频率频带为f1，但在矩阵表中将β1(例如，设为12％)作为振幅调整率对应起来进行保存的情况下，将频率频带为f1的振幅率13％变换成振幅调整率12％。
虽然在第2实施方式中，设定了与对象图像的空间频率相应的振幅调整率R(f_cur)，但还可以设定以空间频率以外的不同基准为基础的振幅调整率。例如，还可以是考虑了人类对于映像的视觉特性的数值。另外，还可以利用与运动图像中所包含的亮度信息或色差信息等信息和量化步骤的关系来计算出。
另外，虽然在第2实施方式中，根据各运动图像的空间频率与空间频率振幅的大小计算出振幅调整率R(f_cur)，但也可以设定好预定的振幅调整率R(f_cur)。在此情况下例如，还可以按确定的空间频率的频带范围逐个决定的空间频率振幅的增减率或比例因数这样的要素。另外，虽然在第2实施方式中基于振幅调整率保存器203中所保存的变换表来计算出振幅调整率，但也可以直接利用各空间频率的振幅比率PR(f_cur)。
另外，空间频率振幅关联信息生成器202还可以具有接受来自外部的输入信息的外部输入部204，使用从该外部输入部件所接受的输入信息来生成振幅调整率R(f_cur)。在此情况下，希望空间频率振幅关联信息生成器202是基于映像全体的评价尺度而定的调整参数从外部得以输入，并计算出振幅调整率。这一外部输入部204不是必须的构成，但通过在第2实施方式的运动图像编码装置130上具备，就能够生成考虑了映像全体的振幅调整率，并能够进行效率更好的编码。另外，该外部输入部204既可以是由人输入调整参数，也可以输入基于由预先设定的评价装置经过评价的信息而生成的调整参数。
另外，虽然在第2实施方式中使用了与2帧的空间频率有关的信息，但并不限于此。例如，还可以使用运动图像全帧的空间频率或其平均、最大值、最小值等而计算出。
虽然在第2实施方式中表示了块单位下的处理，但还可以进行帧单位下的处理。另外，虽然在第2实施方式中，通过进行空间频率的变换并调整空间频率振幅来进行对比度的调整，但也可以提前计算出使用了亮度值的对比度调整比。在此情况下，例如计算块单位的亮度值的变化量并进行利用即可。另外，虽然在第2实施方式中使用了空间频率振幅，但也可以使用空间频率以外的其他要素来表现。
空间频率振幅关联信息生成器202将与振幅调整率R(f_cur)有关的信息，作为空间频率振幅关联信息输出到熵编码器120。熵编码器120，如上述那样，对所输入的空间频率振幅信息进行可变长度编码，并与运动矢量等的信息一起经由输出端子121而输出。另外，空间频率振幅关联信息生成器202同时经由线L114将空间频率振幅关联信息发送到预测信号生成器102，并使预测信号生成器102进行保存。
返回到图13，接着就运动图像编码装置130进行说明。预测信号生成器102是基于经由线L101b所输入的作为编码对象的对象块，生成预测信号(同样是16×16像素的块)的部分。该预测信号生成器102基于由空间频率分析器101经过分析的与针对该对象图像的空间频率振幅相关的信息，进行从帧存储器109所取出的参照图像的空间频率振幅的调整处理，并按块生成预测信号这样来动作。然后，预测信号生成器102将所生成的预测信号经由线L112输出到差分器103。该预测信号生成器102根据以下公式(2)所示的运算式来进行参照图像的空间频率的振幅调整。
调整后的参照图像的空间频率振幅＝参照图像的空间频率振幅×振幅调整率R(f_ref)/100 ...(2)
另外，预测信号生成器102在进行了参照图像的空间频率振幅的调整处理以后，基于已调整的参照图像利用块匹配的方法，对运动图像的运动进行检测。然后，预测信号生成器102将分配针对对象块的误差最少的参照块的位置作为最合适的运动矢量而计算出，并将计算出的运动矢量输出到熵编码器120。
差分器103从经由线L101所输出的对象块中减去预测信号而生成差分信号。差分器103将所生成的差分信号输出到变换器104。
变换器104通过对差分信号进行离散余弦变换处理，变换成频率区域的信号后经由线L104输出到量化器105，量化器105对经过变换的频率区域的信号进行量化，得到频率区域的信号的量化变换系数并经由线L105输出到熵编码器120以及逆量化器106。量化器105将表示量化变换系数中的量化值的量化信息一起输出到熵编码器120以及逆量化器106。
熵编码器120经由线L105输入在量化器105中经过量化的频率区域的信号即量化变换系数，经由线L114输入在空间频率分析器101中所生成的空间频率振幅关联信息，经由线L111输入在预测信号生成器102中所生成的运动矢量。
然后，熵编码器120将量化信息、量化变换系数、运动矢量以及空间频率振幅关联信息变换成可变长度代码并通过输出端子121输出到外部。此外，熵编码器120还可以取代可变长度代码而适用算术编码来进行处理。
逆量化器106对量化变换系数进行逆量化处理，经由线L106输出到逆变换器107。逆变换器107通过对经过逆量化而得到的频率区域的信号进行逆离散余弦变换，变换成空间区域的再生差分信号，并经由线L107输出到加法器108。
加法器108对再生差分信号加上从预测信号生成器102经由线L102a发送的预测信号，而生成再生图像。
帧存储器109经由线L108取得在加法器108中所生成的再生图像，并作为对下一图像进行编码之际的参照图像而保存。空间频率分析器101以及预测信号生成器102能够经由线L109以及L110取出帧存储器109中所存储的参照图像。
通过如以上那样构成运动图像编码装置130，就能够进行对象图像与参照图像之间的空间频率的振幅差的调整以对运动图像数据高效率地进行编码。
此外，虽然该运动图像编码装置130的熵编码器120对振幅调整率R(f_cur)进行编码作为空间频率振幅关联信息的编码处理，但除此以外，还可以进行使用了例如利用振幅比率PR(f_cur)的组合的编码表的编码等。另外，还可以对帧间的空间频率关联信息的差分进行编码。
另外，虽然在第2实施方式中表示了以块为单位的处理，但在进行以帧为单位的处理的情况下，只要以帧为单位进行图像的调整等，并发送即可。在此情况下，还可以利用帧间的振幅调整率来进行编码。另外，还可以利用帧间的差分等。
其次，就预测信号生成器102中的预测信号的生成处理进行说明。图16是表示预测信号生成器102之处理的动作流程图。对象图像的对象块以及参照图像分别经由线L101b与线L108被输入到预测信号生成器102(S301)。然后，预测信号生成器102基于对象图像的空间频率振幅关联信息进行参照图像的空间频率振幅的校正处理。具体而言，预测信号生成器102根据对象图像的空间频率振幅关联信息，利用被调整的空间频率而计算出振幅调整率(S303)。计算出的振幅调整率被保存在预测信号生成器102内。
接着，预测信号生成器102利用计算出的空间频率的振幅调整率来调整参照图像的空间频率振幅。具体而言，就是按照上述式(2)，在参照图像的空间频率振幅上积算振幅调整率，计算出调整后的参照图像的空间频率振幅(S304)。
虽然在第2实施方式中是对振幅调整率R(f_cur)进行了积算，但也可以进行基于采用了例如在时间上分离的多个参照图像的预测振幅调整率也包含在内的函数的计算法的调整。另外，即便是积算以外只要是利用振幅调整率来调整参照图像的空间频率振幅的振幅的办法，则怎样的方法均可。
另外，预测信号生成器102通过在其内部保存振幅调整率，就能够在使用多个参照图像的情况下，计算出各参照图像的振幅调整率彼此之间的相对振幅比率。另外，预测信号生成器102通过以计算出的相对振幅比率对在时间上分离的参照图像的空间频率进行调整，就能够适当地调整空间频率振幅来进行预测。另外，利用多个参照图像的情况下，还可以将进行振幅调整以前的图像和进行以后的图像两方作为预测候补来进行预测。此时，也使用对有无调整进行判定的信息作为空间频率振幅信息来进行编码即可。
根据以上的步骤，预测信号生成器102在调整参照图像的空间频率振幅后，基于该已调整的参照图像来进行运动检测的处理。在第2实施方式中，与以往同样地使用块匹配的方法来进行运动检测，将分配针对对象块的误差最少的参照块的位置作为最合适的运动矢量来生成预测信号(S305)。预测信号生成器102将这样生成的预测信号输出到差分器103、加法器108(S306)。
此外，虽然在第2实施方式中表示了块单位下的空间频率振幅的处理，但也可以进行帧单位下的处理。在块单位的情况下，在计算运动检测的基准之际，一边通过傅里叶变换来求解各块的空间频率，进行空间频率振幅的调整，一边决定预测信号即可。另外，在帧单位的情况下，还可以在对参照图像的帧全体进行傅里叶变换，求解空间频率并进行空间频率振幅的调整后，决定预测信号。另外，还可以在傅里叶变换后进行空间频率振幅的调整，在运动检测之际在傅里叶变换区域计算运动矢量等来进行。另外，频率变换并不限于傅里叶变换，还可以采用离散余弦变换或离散小波变换等其他频率变换。此外，希望频率变换是在空间频率振幅的调整上所用的变换。
其次，就第2实施方式的运动图像编码装置130的动作进行说明。图17是表示运动图像编码装置130之动作的流程图。首先，成为编码对象的对象图像经由输入端子100被输入(S401)。在空间频率分析器101中，计算出对象图像的空间频率振幅以及参照图像的空间频率振幅，对象图像的空间频率振幅关联信息(经过调整的)得以生成(S402)。空间频率振幅的计算方法以及调整方法如上述那样。此外，虽然在第2实施方式中，以块为单位来求解与空间频率振幅有关的数据，但也可以以帧为单位来求解与空间频率振幅有关的数据。
接着，在预测信号生成器102中，基于对象图像的空间频率振幅信息来进行参照图像的空间频率振幅的调整(S403)。使用空间频率振幅经过调整的参照图像来进行运动补偿，作为最合适的运动矢量的预测信号得以生成(S404)。通过将这样所求出的预测信号从对象图像中减去而计算出差分信号(S405)。差分信号通过离散余弦变换得以变换，并经过量化而生成量化变换系数(S406)。
另外，量化变换系数经过逆量化并进行逆变换，由此再生差分信号得以生成(S407)。所生成的再生差分信号被加上预测信号，由此再生图像得以生成(S408)。然后，在再生图像以及空间频率振幅关联信息被临时保存在帧存储器109中的同时，包含量化变换系数、量化信息、空间频率振幅关联信息、运动矢量的数据，在熵编码器120中经过熵编码的基础上，经由输出端子121得以输出(S409)。
此外，虽然在第2实施方式中，对某图像用一个空间频率振幅数据来表示，对一张图像、或者多张图像输出与一个空间频率振幅相关的数据，但并不限于此。还可以以对图像进行了分割的块为单位来编码空间频率振幅关联信息。
其次，就对第2实施方式的运动图像编码装置130经过编码的运动图像进行接收、解码的运动图像解码装置610进行说明。图18是第2实施方式的运动图像解码装置610的框图。该运动图像解码装置610包括输入端子600(输入部件)、数据解析器601(抽取部件)、逆量化器602(解码部件)、逆变换器603(解码部件)、加法器604(加法部件)、帧存储器606、预测信号生成器607(预测信号生成部件)、输出端子605(输出部件)而构成。以下，就各构成要素进行说明。
输入端子600是输入包含对运动图像进行预测编码而得到的编码差分信号即量化变换系数、表示量化值的量化信息、与运动矢量有关的数据以及空间频率振幅关联信息的压缩数据的端子。在第2实施方式中，将图13的运动图像编码装置130进行处理而得到的数据输入到运动图像解码装置610。
数据解析器601是解析压缩数据，进行熵解码处理，并抽取经过量化的量化变换系数、表示量化值的量化信息、与预测信号的生成有关的运动矢量以及与成为解码对象的图像相关的空间频率振幅关联信息的部分。该数据解析器601将经过量化的变换系数以及表示量化值的量化信息，经由线L602输出到逆量化器602。另外，数据解析器601将运动矢量以及空间频率振幅关联信息经由线L609以及L610分别输出到预测信号生成器607。
逆量化器602是通过对基于表示量化值的量化信息，经过量化的量化变换系数进行逆量化而生成变换系数的部分。逆量化器602经由线L603输出到逆变换器603。逆变换器603是通过逆离散余弦变换对由逆量化器602经过逆量化的变换系数进行变换而生成再生差分信号的部分。逆变换器603经由线L604将所生成的再生差分信号输出到加法器604。
加法器604是将再生差分信号与预测信号相加作为再生图像经由线L605输出到输出端子605，同时经由线L606输出到帧存储器606的部分。
预测信号生成器607是基于运动矢量以及空间频率振幅关联信息，从帧存储器606中所保存的再生图像生成预测信号的部分。预测信号生成器607将所生成的预测信号输出到加法器604。此外，预测信号生成器607从运动图像编码装置130接收经过调整的空间频率振幅关联信息以及调整参数作为空间频率振幅关联信息，并基于调整参数利用空间频率关联信息(振幅调整率R(f_ref)而生成预测信号。
帧存储器606是保存从加法器604输出的再生图像的部分。预测信号生成器607能够取出该帧存储器606中所保存的再生图像。
接着，对预测信号生成器607的预测信号的生成处理进行说明。图19是表示预测信号生成器607的动作的流程图。预测信号生成器607输入由数据解析器601输出的空间频率振幅关联信息以及成为各解码对象的对象块的运动矢量(S701)。在第2实施方式中，在空间频率振幅关联信息中包含与成为解码对象的对象图像的空间频率振幅相关的信息。
接着，预测信号生成器607基于对象图像的空间频率振幅关联信息计算出空间频率的振幅调整率(S702)。然后，预测信号生成器607将计算出的振幅调整率与帧存储器606中所保存的再生图像的空间频率进行积算，对再生图像的空间频率振幅进行调整(S703)。预测信号生成器607基于对空间频率振幅进行了调整的再生图像与运动矢量而生成预测信号(S704)。预测信号生成器607将这样生成的预测信号输出到加法器604(S705)。
此外，虽然在第2实施方式中是进行再生图像的空间频率振幅的调整后生成预测信号，但也可以一边进行调整一边生成预测信号。
接着，就第2实施方式的运动图像解码装置610的动作进行说明。图20是表示运动图像解码装置610之动作的流程图。包含作为编码差分信号的量化变换系数的数据、量化信息、与运动矢量有关的数据、以及空间频率振幅关联信息的压缩数据被输入到数据解析器601(S801)。在数据解析器601中进行熵解码处理，经过量化的量化变换系数，表示量化值的量化信息、与预测信号的生成有关的运动矢量、以及与成为解码对象的图像相关的空间频率振幅关联信息被抽取出来(S802)。基于由数据解析器601抽取出的运动矢量以及空间频率振幅关联信息预测信号由预测信号生成器607生成(S803)。关于细节如使用图19所说明那样。
接着，通过逆量化器602，对在运动图像编码装置130中经过量化的变换系数被逆量化，经过逆量化的变换系数得以生成(S804)。经过逆量化的变换系数通过逆变换器603进行逆离散余弦变换处理，而生成再生差分信号(S805)。对于在这里所生成的再生差分信号，S803中所生成的预测信号在加法器604得以相加而生成再生图像(S806)。所生成的再生图像为了下一图像的解码，而作为参照图像被临时保存在帧存储器606中(S807)。该处理反复进行直到全部的数据得以解码(S808)。
此外，虽然在第2实施方式中，对某图像用一个空间频率振幅数据来表示，对一张图像、或者多张图像接收与一个空间频率振幅相关的数据，但并不限于此。还可以以对图像进行了分割的块为单位来接收空间频率振幅关联信息。在此情况下，对于各块基于各自的空间频率振幅关联信息而生成预测信号。
接着，就用于使计算机作为第2实施方式中的运动图像编码装置130来动作的运动图像编码程序进行说明。图21是将根据第2发明的实施方式的运动图像编码程序51P的构成与记录媒体50P一起来进行表示的图。作为记录媒体50P可列举软盘(注册商标)、CD-ROM、DVD、或者ROM等记录媒体、或者半导体存储器等。借助于该运动图像编码程序51P，计算机作为第2实施方式的运动图像编码装置130进行动作就成为可能。
如图21所示那样，运动图像编码程序51P具有图像输入模块500P、图像分析/间频率振幅比计算模块501P、预测信号生成模块502P、差分信号生成模块503P、变换模块504P、量化模块505P、逆量化模块506P、逆变换模块507P、加法模块508P、存储模块509P以及熵编码模块510P。
关于与图13所示的运动图像编码装置130的对应，分别是输入端子100与图像输入模块500P对应，空间频率分析器101与图像分析/间频率振幅比计算模块501P对应，预测信号生成器102与预测信号生成模块502P对应，差分器103与差分信号生成模块503P对应，变换器104与变换模块504P对应，量化器105与量化模块505P对应，逆量化器106与逆量化模块506P对应，逆变换器107与逆变换模块507P对应，加法器108与加法模块508P对应，帧存储器109与存储模块509P对应，熵编码器120与熵编码模块510P对应，通过与后述的计算机系统协同动作，与上述的编码处理同样的处理得以执行。
接着，就用于使计算机作为根据第2实施方式的运动图像解码装置610来动作的运动图像解码程序91P进行说明。图22是将根据第2实施方式的运动图像解码程序91P的构成与记录媒体90P一起来进行表示的图。借助于该运动图像解码程序91P，计算机作为根据第2实施方式的运动图像解码装置610进行动作就成为可能。
如图22所示那样，运动图像解码程序91P具有压缩数据输入模块900P、熵解码模块901P、预测信号生成模块902P、逆量化模块903P、逆变换模块904P、加法模块905P以及存储模块906P。
关于与图18所示的运动图像解码装置610的对应，分别是输入端子600与压缩数据输入模块900P对应，数据解析器601与熵解码模块901P对应，预测信号生成器607与预测信号生成模块902P对应，逆量化器602与逆量子化模块903P对应，逆变换器603与逆变换模块904P对应，加法器604与加法模块905P对应，帧存储器606与存储模块906P对应，通过与后述的计算机系统协同动作，与上述的解码处理同样的处理得以执行。
如图11所示那样，计算机30具有软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等读取装置31，用于使操作系统常驻的作业用存储器(RAM)32，存储在记录媒体中所存储的程序的存储器33，示器34，作为输入装置的鼠标35以及键盘36，用于进行数据等收发的通信装置37以及控制程序执行的CPU38。若记录媒体被插入读取装置31，计算机30就可以从读取装置31对记录媒体中所保存的运动图像编码程序51P或者运动图像解码程序91P进行访问，借助于该运动图像编码程序51P或者运动图像解码程序91P，作为第2实施方式的运动图像编码装置130或者运动图像解码装置610进行动作就成为可能。
如图11所示那样，运动图像编码程序51P或者运动图像解码程序91P还可以作为被重叠在载波上的计算机数据信号40经由网络而提供。在此情况下，计算机30能够将由通信装置37接收到的运动图像编码程序51P或者运动图像解码程序91P保存在存储器33中，并执行该运动图像编码程序51P或者运动图像解码程序91P。
接着，就上述的运动图像编码装置130以及运动图像解码装置610的作用效果进行说明。
运动图像编码装置130经由输入端子100从构成运动图像的多个图像输入作为编码对象的对象图像。另一方面，帧存储器109保存为了生成针对经由输入端子100所输入的对象图像的预测信号而使用的参照图像。然后，空间频率分析器101基于所输入的对象图像的空间频率分量的振幅以及帧存储器109中所保存的参照图像的空间频率分量的振幅，生成用于调整对象图像的空间频率分量的振幅与参照图像的空间频率分量的振幅之差的空间频率振幅关联信息、例如包含振幅比率的信息。
基于空间频率分析器101中所生成的空间频率振幅关联信息对参照图像的空间频率分量的振幅进行调整，预测信号生成器102基于经过调整的参照图像生成针对上述对象图像的预测信号。差分器103基于所输入的对象图像与所生成的预测信号之差分而生成差分信号。变换器104、量化器105对所生成的差分信号进行编码而生成编码差分信号。另一方面，逆量化器106以及逆变换器107对所生成的编码差分信号进行解码而生成解码差分信号。
加法器108在解码差分信号上相加预测信号而生成再生图像，并使再生图像作为参照图像保存在帧存储器109中。另一方面，熵编码器120对经过编码的编码差分信号以及空间频率振幅关联信息进行熵编码并输出。
由此，对象图像与其预测信号的空间频率振幅就成为同程度，参照图像的空间频率分量的过度或不足就不会影响到预测信号，所以能够高效率地进行压缩。
另外，运动图像编码装置130在其空间频率分析器101内具备能够从外部输入对空间频率振幅关联信息的生成所需要的信息的外部输入部204，并能够基于所输入的信息而生成空间频率振幅关联信息。为此，就能够从外部输入基于影像全体评价的尺度而确定的调整参数，生成考虑了映像全体的振幅调整率，同时能够进行效率更好的编码。
另外，运动图像编码装置130能够使与空间频率分量相应而确定的调整参数保存在振幅调整率保存器203中，并基于该被保存的调整参数来调整空间频率振幅关联信息，能够进行效率更好的编码。
另外，运动图像解码装置610预先在帧存储器606中保存用于解码的再生图像。然后，经由输入端子600输入包含对运动图像进行预测编码而得到的编码差分信号以及图像的空间频率振幅关联信息的编码数据。然后，数据解析器601从所输入的编码数据中抽取出空间频率振幅关联信息以及编码差分信号，预测信号生成器607基于在数据解析器601中所抽取出的空间频率振幅关联信息，对上述保存部件中所保存的再生图像的振幅进行调整，并生成预测信号。
另外，逆量化器602以及逆变换器603对所抽取出的编码差分信号进行解码而生成解码差分信号，加法器604将预测信号相加在解码差分信号上而生成再生图像。将所生成的再生图像输出到输出端子605，或者使其保存在帧存储器606中。
由此，就能够解码对象图像与其预测信号的空间频率振幅就成为同程度而高效率地得以压缩的编码数据。
另外，运动图像解码装置610能够基于在上述的运动图像编码装置130中经过调整的空间频率关联信息以及调整参数而生成预测信号，并能够解码高效率地得以编码的数据。
虽然在上述的第1实施方式以及第2实施方式中，使用了频带或空间频率分量的振幅作为频率特性，但并不限于此。即，作为频率特性只要是功率、对比度等表示频率特性的参数即可，作为频率特性关联信息除用于调整频带比、空间频率分量的振幅的信息以外，只要是用于调整对象图像与参照图像的频率特性的信息即可，例如，只要是用于调整使用了功率、对比度等的频率特性的信息即可。

Claims (22)

1.一种运动图像编码装置，其特征在于包括：
输入部件，输入构成运动图像的多个图像之中、成为编码对象的对象图像；
保存部件，保存为了生成针对上述对象图像的预测信号而使用的参照图像；
频率特性分析部件，测定上述对象图像的频率特性与上述参照图像的频率特性，并生成频率特性关联信息，该频率特性关联信息为表示上述对象图像的频率特性与上述参照图像的频率特性的相对关系的信息；
预测信号生成部件，基于上述频率特性关联信息，从上述参照图像生成上述预测信号以匹配上述对象图像的频率特性；
差分部件，求解上述对象图像与上述预测信号的差分并生成差分信号；
编码部件，对上述差分信号进行编码并生成编码差分信号；
解码部件，对上述编码差分信号进行解码并生成解码差分信号；
加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像，保存该再生图像的上述保存部件连接于后级；以及
输出部件，至少输出上述编码差分信号与上述频率特性关联信息。
2.按照权利要求1所述的运动图像编码装置，其特征在于：
上述预测信号生成部件导出与上述频率特性关联信息相对应的预测信号的生成方法，并从上述参照图像生成上述预测信号，
上述频率特性关联信息包含与上述预测信号的生成方法有关的信息。
3.按照权利要求1所述的运动图像编码装置，其特征在于：
上述预测信号生成部件从至少两种预测信号生成方法之中选定与上述频率特性关联信息相对应的预测信号的生成方法，并从上述参照图像生成上述预测信号，
上述频率特性关联信息包含与上述预测信号的生成方法有关的信息。
4.按照权利要求1至3中任意一项所述的运动图像编码装置，其特征在于还包括：
存储部件，取代对上述参照图像的频率特性进行测定，而存储在参照图像作为对象图像被处理之际所测定的频率特性信息，
基于上述对象图像的频率特性以及存储在上述存储部件中的频率特性信息，生成预测信号。
5.一种运动图像解码装置，其特征在于包括：
输入部件，输入包含对运动图像进行预测编码而得到的编码差分信号与频率特性关联信息的压缩数据；
解码部件，对上述编码差分信号进行解码并生成解码差分信号；
预测信号生成部件，生成针对上述解码差分信号的预测信号；
加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像；以及
保存部件，保存为了生成上述预测信号而使用的参照图像，
其中，上述频率特性关联信息为表示上述再生图像的频率特性与上述参照图像的频率特性的相对关系的信息，
上述预测信号生成部件基于上述频率特性关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频率特性。
6.按照权利要求5所述的运动图像解码装置，其特征在于：
上述频率特性关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，
上述预测信号生成部件基于上述预测信号生成关联信息，从上述参照图像生成上述预测信号。
7.按照权利要求5所述的运动图像解码装置，其特征在于：
上述频率特性关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，
上述预测信号生成部件基于上述预测信号生成关联信息，从至少两种预测信号生成方法之中选定上述预测信号的生成方法，并从上述参照图像生成上述预测信号。
8.按照权利要求5所述的运动图像解码装置，其特征在于：
上述频率特性关联信息包含与上述预测信号的生成方法有关的预测信号生成关联信息，
上述预测信号生成部件基于上述预测信号生成关联信息从预先准备的、至少两种预测信号生成方法之中选定上述预测信号的生成方法，并从上述参照图像生成上述预测信号。
9.按照权利要求5至8中任意一项所述的运动图像解码装置，其特征在于还包括：
存储部件，存储对上述参照图像解码之际所测定的频率特性信息，
上述预测信号生成部件基于上述存储部件中所存储的频率特性信息以及再生图像的频率特性，生成预测信号。
10.一种运动图像编码方法，其特征在于包括：
输入步骤，输入构成运动图像的多个图像之中、成为编码对象的对象图像；
保存步骤，使保存部件保存为了生成针对上述对象图像的预测信号而使用的参照图像；
频率特性分析步骤，测定上述对象图像的频率特性与上述参照图像的频率特性，并生成频率特性关联信息，该频率特性关联信息为表示上述对象图像的频率特性与上述参照图像的频率特性的相对关系的信息；
预测信号生成步骤，基于上述频率特性关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频率特性；
差分步骤，求解上述对象图像与上述预测信号的差分并生成差分信号；
编码步骤，对上述差分信号进行编码并生成编码差分信号；
解码步骤，对上述编码差分信号进行解码并生成解码差分信号；
加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像，保存该再生图像的上述保存部件连接于后级；以及
输出步骤，至少输出上述编码差分信号与上述频率特性关联信息。
11.一种运动图像解码方法，其特征在于包括：
输入步骤，输入包含对运动图像进行预测编码而得到的编码差分信号与频率特性关联信息的压缩数据；
解码步骤，对上述编码差分信号进行解码并生成解码差分信号；
预测信号生成步骤，生成针对上述解码差分信号的预测信号；
加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像；以及
保存步骤，使保存部件保存为了生成上述预测信号而使用的参照图像，
其中，上述频率特性关联信息为表示上述再生图像的频率特性与上述参照图像的频率特性的相对关系的信息，
上述预测信号生成步骤基于上述频率特性关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频率特性。
12.一种运动图像编码装置，其特征在于包括：
输入部件，输入构成运动图像的多个图像之中、成为编码对象的对象图像；
保存部件，保存为了生成针对上述对象图像的预测信号而使用的参照图像；
频带分析部件，测定上述对象图像的频带与上述参照图像的频带，并生成频带关联信息，该频带关联信息为表示上述对象图像的频带与上述参照图像的频带的相对关系的信息；
预测信号生成部件，基于上述频带关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频带；
差分部件，求解上述对象图像与上述预测信号的差分并生成差分信号；
编码部件，对上述差分信号进行编码并生成编码差分信号；
解码部件，对上述编码差分信号进行解码并生成解码差分信号；
加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像，保存该再生图像的上述保存部件连接于后级；以及
输出部件，至少输出上述编码差分信号与上述频带关联信息。
13.一种运动图像解码装置，其特征在于包括：
输入部件，输入包含对运动图像进行预测编码而得到的编码差分信号与频带关联信息的压缩数据；
解码部件，对上述编码差分信号进行解码并生成解码差分信号；
预测信号生成部件，生成针对上述解码差分信号的预测信号；
加法部件，在上述解码差分信号上相加上述预测信号而生成再生图像；以及
保存部件，保存为了生成上述预测信号而使用的参照图像，
其中，上述频带关联信息为表示上述再生图像的频带与上述参照图像的频带的相对关系的信息，
上述预测信号生成部件基于上述频带关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频带。
14.一种运动图像编码方法，其特征在于包括：
输入步骤，输入构成运动图像的多个图像之中、成为编码对象的对象图像；
保存步骤，使保存部件保存为了生成针对上述对象图像的预测信号而使用的参照图像；
频带分析步骤，测定上述对象图像的频带与上述参照图像的频带，并生成频带关联信息，该频带关联信息为表示上述对象图像的频带与上述参照图像的频带的相对关系的信息；
预测信号生成步骤，基于上述频带关联信息从上述参照图像生成上述预测信号以匹配上述对象图像的频带；
差分步骤，求解上述对象图像与上述预测信号的差分并生成差分信号；
编码步骤，对上述差分信号进行编码并生成编码差分信号；
解码步骤，对上述编码差分信号进行解码并生成解码差分信号；
加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像；
保存步骤，使该再生图像保存在上述保存部件中；以及
输出步骤，至少输出上述编码差分信号与上述频带关联信息。
15.一种运动图像解码方法，其特征在于包括：
输入步骤，输入包含对运动图像进行预测编码而得到的编码差分信号与频带关联信息的压缩数据；
解码步骤，对上述编码差分信号进行解码并生成解码差分信号；
预测信号生成步骤，生成针对上述解码差分信号的预测信号；
加法步骤，在上述解码差分信号上相加上述预测信号而生成再生图像；以及
保存步骤，使保存部件保存为了生成上述预测信号而使用的参照图像，
其中，上述频带关联信息为表示上述再生图像的频带与上述参照图像的频带的相对关系的信息，
上述预测信号生成步骤基于上述频带关联信息从上述参照图像生成上述预测信号，以匹配成为解码对象的对象图像的频带。
16.一种运动图像编码装置，其特征在于包括：
输入部件，从构成运动图像的多个图像输入成为编码对象的对象图像；
保存部件，保存为了生成针对由上述输入部件所输入的对象图像的预测信号而使用的参照图像；
空间频率振幅分析部件，基于由上述输入部件所输入的对象图像的空间频率分量的振幅以及上述保存部件中所保存的参照图像的空间频率分量的振幅，生成用于调整上述对象图像的空间频率分量的振幅与上述参照图像的空间频率分量的振幅之差的空间频率振幅关联信息；
预测信号生成部件，基于空间频率振幅分析部件所生成的空间频率振幅关联信息对上述参照图像的空间频率分量的振幅进行调整，并基于上述调整后的参照图像而生成针对上述对象图像的预测信号；
差分部件，基于由上述输入部件所输入的对象图像与由上述预测信号生成部件所生成的预测信号之差分而生成差分信号；
编码部件，对由上述差分部件所生成的差分信号进行编码并生成编码差分信号；
输出部件，输出由上述编码部件编码的编码差分信号以及由上述空间频率振幅分析部件所生成的空间频率振幅关联信息；
解码部件，对由上述编码部件所生成的编码差分信号进行解码并生成解码差分信号；以及
再生图像生成部件，在由上述解码部件所生成的解码差分信号上相加由上述预测信号生成部件所生成的预测信号而生成再生图像，并使所生成的再生图像作为参照图像保存在上述保存部件中。
17.按照权利要求16所述的运动图像编码装置，其特征在于：
上述空间频率振幅分析部件还包括将上述空间频率振幅关联信息的生成所需要的信息从外部进行输入的外部输入部件，
上述空间频率振幅分析部件在上述对象图像的空间频率分量的振幅以及上述参照图像的空间频率分量的振幅上加入从上述外部输入部件所输入的信息而生成空间频率振幅关联信息。
18.按照权利要求16或17所述的运动图像编码装置，其特征在于：
上述空间频率分析部件基于依照对象图像的空间频率分量而确定的调整参数，对上述空间频率振幅关联信息进行调整，并将调整后的空间频率振幅关联信息以及调整参数作为空间频率振幅关联信息来生成。
19.一种运动图像解码装置，其特征在于包括：
保存部件，保存用于解码的参照图像即再生图像；
输入部件，输入包含对运动图像进行预测编码而得到的编码差分信号以及图像的空间频率振幅关联信息的编码数据；
抽取部件，从由上述输入部件所输入的编码数据抽取空间频率振幅关联信息以及编码差分信号；
预测信号生成部件，基于由上述抽取部件所抽取的空间频率振幅关联信息，对上述保存部件中所保存的再生图像的振幅进行调整，并生成预测信号；
解码部件，对由上述抽取部件所抽取的编码差分信号进行解码并取得解码差分信号；
加法部件，将由上述预测信号生成部件所生成的预测信号相加在由上述解码部件所取得的解码差分信号上而生成再生图像；以及
输出部件，将由上述加法部件所取得的再生图像输出到输出端子以及上述保存部件。
20.按照权利要求19记载的运动图像解码装置，其特征在于：
上述输入部件输入调整后的空间频率关联信息以及调整参数作为空间频率振幅关联信息，上述预测信号生成部件基于由上述输入部件所输入的空间频率振幅关联信息以及调整参数而生成预测信号。
21.一种运动图像编码方法，其特征在于，包括：
输入步骤，从构成运动图像的多个图像输入成为编码对象的对象图像；
空间频率振幅分析步骤，基于由上述输入步骤所输入的对象图像的空间频率分量的振幅以及为了生成针对由上述输入步骤所输入的对象图像的预测信号而使用的参照图像的空间频率分量的振幅，生成用于调整上述对象图像的空间频率分量的振幅与上述参照图像的空间频率分量的振幅之差的空间频率振幅关联信息；
预测信号生成步骤，基于在上述空间频率振幅分析步骤中所生成的空间频率振幅关联信息对上述参照图像的空间频率分量的振幅进行调整，并基于上述调整后的参照图像而生成针对上述对象图像的预测信号；
差分步骤，基于由上述输入步骤所输入的对象图像与由上述预测信号生成步骤所生成的预测信号之差分而生成差分信号；
编码步骤，对由上述差分步骤所生成的差分信号进行编码并生成编码差分信号；
输出步骤，输出由上述编码步骤编码的编码差分信号以及由上述空间频率振幅分析步骤所生成的空间频率振幅关联信息；
解码步骤，对由上述编码步骤所生成的编码差分信号进行解码并生成解码差分信号；以及
再生图像生成步骤，在由上述解码步骤所生成的解码差分信号上相加由上述预测信号生成步骤所生成的预测信号而生成再生图像，并保存所生成的再生图像以作为参照图像。
22.一种运动图像解码方法，其特征在于包括：
输入步骤，输入包含对运动图像进行预测编码而得到的编码差分信号以及图像的空间频率振幅关联信息的编码数据；
抽取步骤，从由上述输入步骤所输入的编码数据抽取空间频率振幅关联信息以及编码差分信号；
预测信号生成步骤，基于由上述抽取步骤所抽取的空间频率振幅关联信息，对保存部件中作为参照图像所保存的再生图像的振幅进行调整，并生成预测信号；
解码步骤，对由上述抽取步骤所抽取的编码差分信号进行解码并取得解码差分信号；
加法步骤，将由上述预测信号生成步骤所生成的预测信号相加在由上述解码步骤所取得的解码差分信号上而生成再生图像；以及
输出步骤，将由上述加法步骤所取得的再生图像输出到输出端子以及保存用于解码的再生图像的保存部件。
CN2006800120026A 2005-04-13 2006-04-06 运动图像编码装置及其方法、运动图像解码装置及其方法 Expired - Fee Related CN101160976B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2005115951 2005-04-13
JP115951/2005 2005-04-13
JP2005349870 2005-12-02
JP349870/2005 2005-12-02
PCT/JP2006/307362 WO2006112272A1 (ja) 2005-04-13 2006-04-06 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム

Publications (2)

Publication Number Publication Date
CN101160976A CN101160976A (zh) 2008-04-09
CN101160976B true CN101160976B (zh) 2010-05-19

Family

ID=37114999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800120026A Expired - Fee Related CN101160976B (zh) 2005-04-13 2006-04-06 运动图像编码装置及其方法、运动图像解码装置及其方法

Country Status (8)

Country Link
US (1) US8340175B2 (zh)
EP (4) EP2234405A3 (zh)
JP (2) JP4739338B2 (zh)
KR (3) KR20090127175A (zh)
CN (1) CN101160976B (zh)
RU (2) RU2369037C2 (zh)
TW (1) TW200706013A (zh)
WO (1) WO2006112272A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
WO2008078782A1 (ja) * 2006-12-27 2008-07-03 Ntt Docomo, Inc. 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
CN102100071B (zh) * 2008-07-25 2013-01-02 索尼公司 图像处理设备和方法
JP5446198B2 (ja) * 2008-10-03 2014-03-19 富士通株式会社 画像予測装置及び方法、画像符号化装置、画像復号化装置
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
ES2739475T3 (es) 2009-05-11 2020-01-31 Ntt Docomo Inc Dispositivo, método y programa de codificación de imágenes en movimiento, y dispositivo, método y programa de decodificación de imágenes en movimiento
US9036692B2 (en) 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
EP2541939A4 (en) * 2010-02-23 2014-05-21 Nippon Telegraph & Telephone MOTION VECTOR ANALYSIS METHOD, METHOD FOR ENCRYPTION OF MORE VIEW IMAGES, METHOD OF DECODING OF MORE VIEW IMAGES, MOTION VECTOR MEASURING DEVICE, DEVICE FOR ENCRYPTION OF MORE VIEW IMAGES, DEVICE FOR DECODING OF MORE VIEW IMAGES, MOTION VECTOR ANALYSIS PROGRAM PROGRAM FOR ENCRYPTION OF MORE VIEW IMAGES AND PROGRAM FOR DECODING OF MORE VIEW IMAGES
US20120051432A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd Method and apparatus for a video codec with low complexity encoding
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
FR2968878A1 (fr) * 2010-12-14 2012-06-15 Thomson Licensing Procede et dispositif pour generer des images comportant du flou cinetique
EP2466872B1 (en) * 2010-12-14 2018-06-06 Axis AB Method and digital video camera for improving the image quality of images in a video image stream
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
CN104378632B (zh) * 2011-11-08 2018-02-09 株式会社Kt 对具有待被解码的当前块的视频信号进行解码的方法
KR101360419B1 (ko) 2011-11-23 2014-02-11 현대자동차주식회사 Ｃｎｔ가 분산된 주조용 알루미늄 합금 및 그 제조방법
EP2806639A4 (en) * 2012-01-19 2016-06-01 Mitsubishi Electric Corp VIDEO IMAGE DECODING DEVICE, VIDEO IMAGE CODING DEVICE, VIDEO IMAGE DECODING METHOD AND VIDEO IMAGE CODING METHOD
JP5727398B2 (ja) 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
CN104813663B (zh) * 2012-09-28 2018-05-22 索尼公司 编码设备、编码方法、解码设备和解码方法
CN103077688B (zh) * 2013-01-11 2015-02-18 北京京东方光电科技有限公司 一种液晶显示屏的源极驱动装置和源极驱动方法
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463547A (zh) * 2001-04-18 2003-12-24 皇家菲利浦电子有限公司 部分加密的声频编码

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3169263B2 (ja) * 1992-05-18 2001-05-21 日本電信電話株式会社 動画像データの符号化装置
JP3165296B2 (ja) 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH06327002A (ja) * 1993-05-11 1994-11-25 Olympus Optical Co Ltd 動画像符号化装置
TW297202B (zh) 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
JP3360191B2 (ja) * 1994-02-28 2002-12-24 富士通株式会社 画像符号化装置及び画像符号化方法
RU2093968C1 (ru) 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
US6266370B1 (en) 1996-09-03 2001-07-24 Nippon Telegraph And Telephone Corporation Brightness-variation compensation method and coding/decoding apparatus for moving pictures
JP2938412B2 (ja) * 1996-09-03 1999-08-23 日本電信電話株式会社 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
JPH10136371A (ja) 1996-10-30 1998-05-22 Victor Co Of Japan Ltd 動画像復号化装置及びその方法
TW398131B (en) 1997-06-20 2000-07-11 Matsushita Electric Ind Co Ltd The image process method, the image process device and the data memory medium
JP3804237B2 (ja) * 1997-11-27 2006-08-02 日本ビクター株式会社 動き補償動画像符号化装置及びその方法
JP2001231045A (ja) * 2000-02-15 2001-08-24 Nec Corp 動画像符号化および復号化装置
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
EP1568222B1 (en) 2002-12-04 2019-01-02 Thomson Licensing Encoding of video cross-fades using weighted prediction
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463547A (zh) * 2001-04-18 2003-12-24 皇家菲利浦电子有限公司 部分加密的声频编码

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JP特开2001-231045A 2001.08.24
JP特开平10-136385A 1998.05.22
JP特开平5-328326A 1993.12.10
JP特开平6-311506A 1994.11.04

Also Published As

Publication number Publication date
CN101160976A (zh) 2008-04-09
JP4739338B2 (ja) 2011-08-03
TW200706013A (en) 2007-02-01
JPWO2006112272A1 (ja) 2008-12-11
RU2009119265A (ru) 2010-11-27
EP2461590A2 (en) 2012-06-06
WO2006112272A1 (ja) 2006-10-26
EP1881707A1 (en) 2008-01-23
KR20110122884A (ko) 2011-11-11
US20090067501A1 (en) 2009-03-12
KR20090127175A (ko) 2009-12-09
EP2469859A3 (en) 2012-08-29
EP2234405A2 (en) 2010-09-29
US8340175B2 (en) 2012-12-25
JP2011055538A (ja) 2011-03-17
EP2461590A3 (en) 2012-08-29
RU2369037C2 (ru) 2009-09-27
EP1881707A4 (en) 2009-11-04
EP2469859A2 (en) 2012-06-27
KR101160818B1 (ko) 2012-07-03
KR20080007258A (ko) 2008-01-17
TWI318076B (zh) 2009-12-01
RU2007141925A (ru) 2009-05-20
KR100944651B1 (ko) 2010-03-04
EP2234405A3 (en) 2011-03-16

Similar Documents

Publication Publication Date Title
CN101160976B (zh) 运动图像编码装置及其方法、运动图像解码装置及其方法
KR102535098B1 (ko) 이미지 프로세싱 및 비디오 압축 방법
JP7110370B2 (ja) ビデオ符号化のための機械学習モデルの量子化パラメータに適用される非線形関数の使用
Ballé et al. End-to-end optimization of nonlinear transform codes for perceptual quality
CN101390401B (zh) 借助伪影评价的提高的图像/视频质量
CN105191309B (zh) 用于下一代视频编码的内容自适应预测距离分析器和分层运动估计系统
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
CN101578880A (zh) 视频解码方法以及视频编码方法
US7634148B2 (en) Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
Weinlich et al. Probability distribution estimation for autoregressive pixel-predictive image coding
CN110996101B (zh) 一种视频编码的方法和装置
CN108182712B (zh) 图像处理方法、装置及系统
US20210218958A1 (en) Video picture component prediction method and apparatus, and computer storage medium
Shen et al. Predictive lossless compression of regions of interest in hyperspectral image via maximum correntropy criterion based least mean square learning
Zhang et al. Divisively normalized sparse coding: toward perceptual visual signal representation
EP1453320A2 (en) Image encoding method and arrangement
KR20180017659A (ko) 디지털 홀로그램 데이터를 압축하는 방법 및 장치
KR0132895B1 (ko) 적응 양자화 기능을 갖는 영상압축 및 신장방법과 그 장치
Kimishima et al. Frame Adaptive Rate Control Scheme for Video Compressive Sensing
Hsu et al. WaveNet processing brassboards for live video via radio
CN111885378B (zh) 多媒体数据编码方法、装置、设备以及介质
Saeedi et al. Content adaptive pre-filtering for video compression
JP3344720B2 (ja) 画像データ記録装置および方法
Al Falahi et al. Comparitive Analysis and Findings on Dct & Lbg Compression Techniques
Kamatar et al. Image Compression Using Mapping Transform with Pixel Elimination

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100519

Termination date: 20170406