CN101309417A - 用于处理图像数据的方法和设备 - Google Patents

用于处理图像数据的方法和设备 Download PDF

Info

Publication number
CN101309417A
CN101309417A CNA200810099275XA CN200810099275A CN101309417A CN 101309417 A CN101309417 A CN 101309417A CN A200810099275X A CNA200810099275X A CN A200810099275XA CN 200810099275 A CN200810099275 A CN 200810099275A CN 101309417 A CN101309417 A CN 101309417A
Authority
CN
China
Prior art keywords
data
coefficient
memory
coefficient data
memory area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200810099275XA
Other languages
English (en)
Other versions
CN101309417B (zh
Inventor
福原隆浩
西村直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101309417A publication Critical patent/CN101309417A/zh
Application granted granted Critical
Publication of CN101309417B publication Critical patent/CN101309417B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及用于处理图像数据的方法和设备,其中的图像数据处理设备包括:存储器,用于存储通过对图像数据进行小波变换得到的系数数据;计算单元,用于基于图像数据的编码参数和系数数据的数据量,计算存储系数数据的存储器的存储器地址;存储器区域保留单元,用于按照由计算单元计算的存储器地址,保留其中要写入系数数据的存储器区域;以及写入单元,用来按反向小波变换的顺序重新排列系数数据,并且把顺序重新排列的系数数据写入到由存储器区域保留单元保留的存储器区域上。

Description

用于处理图像数据的方法和设备
相关申请的交叉参考
本发明包含涉及于2007年5月17日向日本专利局提交的日本专利申请JP 2007-132094的主题,其全部内容通过参考结合于此。
技术领域
本发明涉及一种图像处理设备和一种图像处理方法,并且具体地,涉及一种用于缩短反向小波变换中的延迟时间的图像处理设备和图像处理方法。
背景技术
由国际标准组织(ISO)标准化的联合图像专家组(JPEG)可用作一种典型的图像压缩方法。按照JPEG标准,使用离散余弦变换(DCT),并且已知如果赋予相对高的位数,则产生良好的编码和解码图像。
使用包括高通滤波器和低通滤波器的滤波器组把图像分割成多个带并且基于每个带对图像进行编码的方法目前已经积极地研究。小波变换编码作为一种代替DCT的新技术引起注意,因为小波变换编码没有DCT变换的高压缩率特征的块噪声。
2001年1月标准化的JPEG2000采用小波变换和高效熵编码(通过位平面的位建模和算术编码)的组合,并且与JPEG相比在编码效率方面提供显著改进。
在小波变换过程中,如在日本未审查的专利申请公报No.10-283342中公开的小波变换过程中,图像数据被输入,并且在把图像数据逐步分割成低频分量的同时,对于输入图像数据进行水平过滤操作和垂直过滤操作。
图像数据被小波变换成系数数据(频率分量)。小波变换的系数数据被反向小波变换成原始图像数据。反向小波变换通过对从最高分割级到最低分割级的高频分量和低频分量进行合成过滤操作最终恢复原始图像。
使用小波变换和反向小波变换的这种编码系统发现应用于图像数据传输系统,诸如视频会议或视频游戏系统。更具体地说,图像数据在发射器侧被小波变换,并且产生的系数数据被熵编码和然后作为编码数据传输到接收器侧。在接收器侧处,接收到的编码数据被熵解码。系数数据然后被反向小波变换成原始图像数据。这样的一系列过程是熟知的。
发明内容
图像数据传输优选地在诸如视频会议系统或视频游戏系统的图像传输系统中以很短的延迟时间进行。
在接收器侧也有缩短反向小波变换中的延迟时间的需要。
因而希望的是,缩短反向小波变换的延迟时间。
按照本发明的一个实施例,一种图像数据处理设备包括:存储器,用于存储通过对图像数据进行小波变换而得到的系数数据;计算单元,用于基于图像数据的编码参数和系数数据的数据量,计算存储系数数据的存储器的存储器地址;存储器区域保留单元,用于按照由计算单元计算的存储器地址,保留其中要写入系数数据的存储器区域;以及写入单元,用于按反向小波变换的顺序重新排列系数数据,并且把顺序重新排列的系数数据写入到由存储器区域保留单元保留的存储器区域上。
存储器区域保留单元可以通过行块(lineblock)保留系数数据的存储器区域,每个行块均是为生成最低频率子带中的一行系数数据所需行数的图像数据。
存储器区域保留装置可以保留存储器区域以写入系数数据,使得低频分量的系数数据排列在存储器地址的开头位置处,并且使得高频分量的系数数据排列在存储器地址的末尾位置处。
图像数据处理设备可以包括用于按从低频分量到高频分量的顺序读取由写入装置写入在存储器上的系数数据的读取单元。
图像数据处理设备可以包括用于从开头地址按顺序读取由写入单元写入在存储器上的系数数据的读取单元。
图像数据处理设备还可以包括用于获取图像数据的编码参数的获取单元。
编码参数可以包括输入图像数据的水平尺寸和输入图像数据的垂直行(line)的数量。
编码参数可以包括位精度。
编码参数可以包括小波变换的分割级。
根据本发明的一个实施例,一种图像数据处理方法包括以下步骤:存储通过对图像数据进行小波变换而得到的系数数据;基于图像数据的编码参数和系数数据的数据量,计算存储系数数据的存储器的存储器地址;按照计算的存储器地址,保留其中要写入系数数据的存储器区域;以及按反向小波变换的顺序重新排列系数数据,并且把顺序重新排列的系数数据写入到保留的存储器区域上。
根据本发明的一个实施例,基于通过对图像数据和图像数据的编码参数进行的小波变换而得到的系数数据的量,确定存储系数数据的存储器的存储器地址。保留其中要存储系数数据的区域。在重新排列的系数数据被写入到由存储器区域保留单元保留的存储器区域上的同时,按反向小波变换的顺序重新排列系数数据。
按照本发明的实施例,按反向小波变换的顺序重新排列通过小波变换生成的系数数据。降低了反向小波变换的延迟时间。
附图说明
图1是按照本发明一个实施例的编码设备的方块图;
图2示意性地示出了小波变换;
图3示意性地示出了小波变换;
图4示意性地示出了小波变换;
图5示出了系数数据的生成的顺序;
图6示出了系数数据的写入的顺序;
图7示出了编码过程的流程图;
图8示出了系数数据存储区域的存储器映像;
图9示出了系数数据的读取的顺序;
图10示出了系数数据的读取顺序;
图11是示出了按照本发明一个实施例的解码设备的方块图;
图12是示出了解码过程的流程图;
图13示出了5×3分析滤波器的提升结构;
图14示出了5×3合成滤波器的提升结构;
图15示出了对于分割级=2进行的5×5滤波器的提升过滤操作;
图16A-16C示意性示出了按照本发明一个实施例的小波变换和反向小波变换过程流程;
图17示意性地示出了在编码设备和解码设备的每一个设备中的元件的并行操作;及
图18示出了个人计算机。
具体实施方式
图1是编码设备1的方块图。图1的编码设备1包括小波变换器11、中间计算存储器12、存储器控制器13、系数重新排列存储器14、量化器15及变长编码(VLC)单元16。
输入到编码设备1的图像数据经小波变换器11临时存储在中间计算存储器12上。小波变换器11小波变换在中间计算存储器12上存储的图像数据。更具体地说,小波变换器11读取中间计算存储器12中的图像数据,通过分析滤波器过滤读取的图像数据以生成高频区和低频区的系数数据,并且然后把生成的系数数据存储在中间计算存储器12上。包括水平分析滤波器和垂直分析滤波器的编码设备1在图像水平方向和图像垂直方向上都过滤分析图像数据组。小波变换器11再次读取中间计算存储器12中的低频区的系数数据,并且使用分析滤波器对读取的系数数据进行过滤操作,由此生成高频区和低频区中的另外系数数据。生成的系数数据被存储在中间计算存储器12上。
在通过重复以上过程达到预定分割级(最终分割级)时,小波变换器11读取中间计算存储器12中的系数数据,并且把读取的系数数据写入到存储器控制器13中的存储器写入控制器23上。
小波变换器11获取编码参数,该编码参数包括输入图像数据的分辨率(水平尺寸×垂直行的数量)、位精度及小波变换的分割级。编码参数可以从编码设备1外输入,可以与输入图像数据一起传输,或者可以在输入图像数据中建立。
存储器控制器13包括参数获取单元21、存储器区域设置器22、存储器写入控制器23以及存储器读取控制器24。存储器控制器13控制在系数重新排列存储器14上的系数数据的写入和从系数重新排列存储器14的系数数据的读取。
参数获取单元21从小波变换器11获取输入图像数据的编码参数,并且把获取的编码参数提供给存储器区域设置器22。可选择地,参数获取单元21可以从编码设备1外部获取编码参数。
如以后将参照图7描述的那样,存储器区域设置器22基于编码参数确定由小波变换器11生成的系数数据量,并且基于编码参数和系数数据量确定存储系数数据的系数重新排列存储器14的存储器地址。存储器区域设置器22保留用于将系数数据存储在系数重新排列存储器14中的区域(下文称作系数数据存储区域),并且生成指示将系数数据的每个单元存储在存储器存储区域中的位置(存储器地址)的存储器映像。存储器区域设置器22把指示系数数据存储区域的开头地址的信息和存储器映像提供给存储器写入控制器23和存储器读取控制器24中的每一个。
参照图7,存储器写入控制器23在把从小波变换器11提供的系数数据写到系数重新排列存储器14的系数数据存储区域上的同时,按反向小波变换的顺序重新排列系数数据。
在从存储器写入控制器23接收到指示读取系数数据的信号时,存储器读取控制器24读取以系数重新排列存储器14的系数数据存储区域的开头地址开始的系数数据,并且然后把系数数据提供给量化器15。
量化器15按预定方法量化提供的系数数据,并且把量化的系数数据提供给VLC单元16。
VLC单元16按照预定编码方法,如哈夫曼(Huffman)编码或算术编码,对提供的系数数据进行编码。VLC单元16从编码设备1中输出生成的编码数据。
详细地描述图1的小波变换器11的过程。首先描述小波变换。如在图2中示意性示出的那样,在对于图像数据的小波变换中,图像数据被分割成高空间频率区和低空间频率区。对于在空间频率中生成的低频数据被递归地重复分割。
分析滤波器包括:水平分析滤波器,用于对屏幕上的水平方向上的图像数据进行水平分析过滤操作;和垂直分析滤波器,用于对屏幕上的垂直方向上的图像数据进行垂直分析过滤操作。在每个方向上进行一种分析过滤操作,从而把图像数据分割成四个子带。小波变换器11对于水平和垂直方向上的空间频率较低的带递归地重复水平分析过滤操作和垂直分析过滤操作(即,以层的方式)。
图2示意性示出了已经重复四次的分析过滤操作。水平和垂直分析过滤操作被递归地重复四次,一个画面的图像数据的频率分量被分割成层结构中的十三个子带。每个子带的数据,即,基带的图像数据,基于每频带被分割成频率分量。生成的频率分量被称作系数数据(或简称为分量)。
如图2所示,实线正方形和带有圆角部的虚线正方形代表由分析过滤操作产生的子带。每个子带中设置的数字代表该子带的分割级。更具体地说,该数字代表对于作为基带的图像数据已经进行了多少次分析过滤操作。标有字母“L”和“H”的子带分别是低频分量和高频分量。在左手侧的标记代表水平分析过滤操作的分析结果,并且右手侧的标记代表垂直分析过滤操作的分析结果。
如图2所示,对于基带的图像数据进行第一分析过滤操作,由此在分割级为1处产生四个子带(1LL、1LH、1HL、及1HH)。对于水平方向和垂直方向上都具有低频分量的子带“1LL”进行第二分析过滤操作。第二分析过滤操作在分割级为2处产生四个子带(2LL、2LH、2HL、及2HH)。对于水平方向和垂直方向上都具有低频分量的子带“2LL”进行第三分析过滤操作。第三分析过滤操作生成在3的分割级下的四个子带(3LL、3LH、3HL、及3HH)。对于水平方向和垂直方向上都具有低频分量的子带“3LL”进行第四分析过滤操作。第四分析过滤操作在分割级为4处产生四个子带(4LL、4LH、4HL、及4HH)。
对于低频分量进行变换和分割,因为图像的能量更多集中在较高子带上(较低频率分量),如图3所示。分析过滤操作被递归地进行,在层结构中生成子带。具有低空间频率的带的数据被渐渐变窄成小区域,从而在熵编码过程中进行高效压缩编码。
在随后的论述中,对于从分析过滤操作中生成的四个子带中的沿水平方向和垂直方向具有低频分量的子带“LL”再次进行分析过滤操作。子带“LL”被称作低频子带,并且免于以后分析过滤操作的剩余子带即“LH”、“HL”、及“HH”被称作高频子带。
在第一方法中,可以对于整个画面进行小波变换。在第二方法中,图像数据的一个画面可以由多行划分,并且可以对于划分的画面并行地进行小波变换。每小波变换过程要处理的图像数据的量在第二方法中比在第一方法中少。小波变换结果的输出计时可在第二方法中较早开始。小波变换的延迟时间因而被减小。
每小波变换过程的行数(处理单位)是基于为得到小波变换中的预定分割级下的最高级下的子带处的一行系数数据的行数。
分析过滤操作把图像数据分割成四个,行数如图3所示被二等分。在分割级为3的小波变换中,需要基带图像数据的八行以得到最高级子带(3LL、3LH、3HL、及3HH)处的一行系数数据。因而以基带图像数据的八行或更多行作为处理单位进行小波变换。关于如图2中所示的分割级为4,需要基带图像数据的十六行。
生成在最高级下在低频子带“LL”处,即在低频分量子带处,的系数数据之一所需的基带图像数据集被称为分区(或行块)。分区也指的是通过小波变换一个分区的图像数据得到的所有子带的系数数据集。通过小波变换一个分区的图像数据得到的所有子带的系数数据集基本上与产生在最高级下在低频子带“LL”处的系数数据之一所需的基带图像数据集相同。
如图4所示,作为一个分区的基带图像数据的十六行可以在分割级为4下被小波变换。这种小波变换产生分割级为1下的系数数据的八行、分割级为2下的系数数据的四行、分割级为3下的系数数据的两行、以及分割级为4下的一行系数数据。
图5示出了在分割级为4下通过小波变换每分区生成的系数数据的行的生成顺序。在基带图像数据中每行均标记有带括号的数字。当输入由带括号的数字指示的分区内的行时生成该行。例如,当输入基带图像数据的第一行时生成1HH(1),当输入基带图像数据的第八行时生成1HL(8),当输入基带图像数据的第八行时生成4LH(8),以及当输入基带图像数据的第十六行时生成4LL(16)。
图6示出了图5的系数数据写入到系数重新排列存储器14的顺序。如在图5中,放置到图6的图表左边的每个带括号的数字指示其中当输入由括号的数字指示的行时写入相应子带的行。
图6的水平轴代表时间轴(处理周期计数)。例如,如果在水平方向上的基带图像数据的采样计数(像素计数)是1920,则沿图6的水平轴的最大宽度与1920个周期相对应。例如,在图6的第一行处的1LH被写入到系数重新排列存储器14上1920个周期,在第二行处的1HH被写入到系数重新排列存储器14上1920个周期,在第三行处的2LH和1LH中的每一个被写入到系数重新排列存储器14上960个周期,及在第四行处的2HH被写入到系数重新排列存储器14上960个周期。
在编码侧,系数数据按从高频分量到低频分量的顺序生成,并且然后被写入到系数重新排列存储器14上。
反向小波变换是与这种小波变换相反的操作,并且把小波变换的系数数据反向变换成原始基带图像数据。当小波变换器11通过如上所述的分区进行小波变换时,与小波变换器11相对应的反向小波变换器通过分区进行反向小波变换。
如图4所示,在分割级为4下通过小波变换基带图像数据的16行得到的系数数据在分割级为4下通过反向小波变换被转换回(恢复回)原始基带图像数据的16行。更具体地说,在分割级为3下的基带处的系数数据的行由分割级为4的子带(4LL、4LH、4HL、及4HH)的系数数据的行进行解码。在分割级为2的子带(2LL)处的系数数据的行由在分割级为3的子带(3LL、3LH、3HL、及3HH)处的系数数据的行进行解码。在分割级为1的子带(1LL)处的系数数据的行由在分割级为2的子带(2LL、2LH、2HL、及2HH)处的系数数据的行进行解码。基带图像数据的行由在分割级为1的子带(1LL、1LH、1HL、及1HH)处的系数数据的行进行解码。
不同于编码侧,解码侧按从低频分量到高频分量的顺序对系数数据进行解码,并且基带图像数据最后被解码。
系数数据在解码侧按反向小波变换过程的顺序被提供,以便以短延迟对系数数据进行快速解码。
如果小波变换和反向小波变换通过分区进行,则除当分区尺寸依据计算方法变化时外,系数数据按相同顺序被生成并且按相同顺序被解码。
如参照图7所述,存储器写入控制器23按可应用于解码过程的顺序重新排列由小波变换器11生成的系数数据,并且把重新排列的系数数据写入到系数重新排列存储器14上。
小波变换器11利用包含高频滤波器和低频滤波器的滤波器组进行上述过程。由于数字滤波器通常具有拥有多个抽头长度的脉冲响应,即滤波器因数,所以足以进行过滤操作的输入图像数据或因数数据需要被缓冲。当在多阶段中进行小波变换时,在足以进行过滤操作的数量的前面阶段中生成的小波变换因数需要被缓冲。
下面描述使用5×3滤波器的具体小波变换方法。使用滤波器5×3滤波器的、在JPEG 2000标准中采用的方法是能够借助于小数量的滤波器抽头对图像数据进行小波变换的优良方法。
5×3滤波器的脉冲响应(Z变换表达式)由低频滤波器H0(z)和高频滤波器H1(z)组成,如在以下公式(1)和(2)中所表示的那样。H0(z)代表五个抽头,并且H1(z)代表三个抽头。
H0(z)=(-1+2z-1+6z-2+2z-3-z-4)/8    ...(1)
H1(z)=(-1+2z-1-z-2)/2              ...(2)
低频区和高频区的系数利用公式(1)和(2)被直接计算。
下面参照图7的流程图描述编码设备1的编码过程。
在步骤S1中,参数获取单元21从小波变换器11获取编码参数,并且然后把获取的编码参数提供给存储器区域设置器22。
在步骤S2中,存储器区域设置器22保留存储器区域。
在小波变换中生成的系数数据具有相同的位精度。例如,输入图像数据的位精度通常落在从8位至12位的范围内。如果输入图像数据的位精度是12位,则在分割级为4下通过小波变换生成的系数数据都具有16位的位精度。
可以对具有1920×1088像素的分辨率的图像数据进行分割级为4的小波变换。生成的系数数据具有作为分割级为1下的子带尺寸的960×544像素、作为分割级为2下的子带尺寸的480×272像素、作为分割级为3下的子带尺寸的240×136像素、以及作为分割级为4下的子带尺寸的120×68像素。当一个分区的图像数据被小波变换时生成的系数数据的总量如下:
系数数据的总量=分割级为4下的子带的水平尺寸(120)×16位×4行+分割级为3下的子带的水平尺寸(240)×16位×6行+分割级为2下的子带的水平尺寸(480)×16位×12行+分割级为1下的子带的水平尺寸(960)×16位×24行=184320位
如果小波变换和反向小波变换通过分区进行,则除当分区尺寸依据计算方法变化时外,按相同顺序生成系数数据。系数数据也在解码侧被解码。
基于输入图像数据的分辨率(水平尺寸×垂直行的数量)、位精度及小波变换的分割级,确定系数数据存储区域的存储器容量(即,为存储一个分区的重新排列系数所需的存储器容量)、和用于将一个分区的系数数据存储在系数数据存储区域中的存储器地址。
存储器区域设置器22基于包含输入图像数据的分辨率、位精度及小波变换的分割级的编码参数,确定一个分区的系数数据的数据量和存储系数数据的系数重新排列存储器14的存储器地址。
存储器区域设置器22在系数重新排列存储器14中保留具有存储一个分区的系数数据的容量的区域作为系数数据存储区域。存储器区域设置器22生成指示系数数据存储区域中系数数据的存储位置的存储器映像。
图8示出了分割级为4的小波变换中的存储器映像。在存储器映像中,一个分区的系数数据按在解码侧处理的顺序,即按反向小波变换的顺序,紧密排列。换句话说,低频分量的系数数据排列在系数数据存储区域的开头存储器地址处,并且高频分量的系数数据排列在系数数据存储区域的末尾地址处。存储器映像也指示系数数据的每个单元的数据量和系数数据存储区域的首部中的每个系数数据单元的首部位置的相对地址,尽管这些条信息未在图8中示出。
存储器区域设置器22把指示系数重新排列存储器14上的系数数据存储区域的开头地址的信息和生成的存储器映像,提供给存储器写入控制器23和存储器读取控制器24中的每一个。
存储器写入控制器23可以生成图8的存储器映像。多种类型的存储器映像可以被准备,并且存储器区域设置器22和存储器写入控制器23之一可以依据输入图像数据的分辨率、位精度及小波变换的分割级选择存储器映像之一。
在步骤S3中,小波变换器11把目标分区的数字A设置为步骤S1中的初始值。数字A通常被设置为“1”。
在步骤S4中,小波变换器11获取为生成在最低频率子带中从顶部起的第A行处一行所需的行数的图像数据(即,一个分区)。
在步骤S5中,小波变换器11对于在屏幕上的垂直方向上排列的获取图像数据进行垂直分析过滤操作。
在步骤S6中,小波变换器11对于在屏幕上的水平方向上排列的图像数据进行水平分析过滤操作。
在步骤S7中,小波变换器11确定分析过滤操作是否已经达到最终级。如果在步骤S7中确定还未达到最终级,则处理转到步骤S8。
在步骤S8中,存储器写入控制器23重新排列在高频子带处的系数数据,同时把重新排列的系数数据写入到存储器上。更具体地说,小波变换器11把在当前分割级下的高频子带(HL、LH、及HH)处的系数数据提供给存储器写入控制器23。按照存储器映像,存储器写入控制器23把提供的系数数据写入到系数重新排列存储器14中的系数数据存储区域中的预定位置上。以这种方式,系数数据已经在解码侧按处理的顺序被重新排列。
处理返回到步骤S5。步骤S5至S8被循环,直到分析过滤操作在步骤S7中达到最终级。更具体地说,分析过滤操作在当前分割级下被重复,并且高频子带的系数数据被写入到在由存储器映像指示的系数数据存储区域中的预定位置上。
如果在步骤S7中确定分析过滤操作已经达到最终级,则小波变换器11进行到步骤S9。
在步骤S9中,存储器写入控制器23把最终级下的系数数据写入到存储器上。更具体地说,小波变换器11把最终级下在分析过滤操作中生成的系数数据直接提供给存储器写入控制器23。存储器写入控制器23按照存储器映像把获取的系数数据写入到系数重新排列存储器14的系数数据存储区域中的预定位置上。例如,如图8所示,4LL、4LH、4HL、及4HH的系数数据被存储在系数数据存储区域的首部部分上。
在步骤S10中,存储器读取控制器24按存储顺序从存储器读取分区A的系数数据。更具体地说,存储器写入控制器23把指示系数数据的读取的信号提供给存储器读取控制器24。存储器读取控制器24按以系数数据存储区域的开头地址开始的存储顺序读取在系数重新排列存储器14的系数数据存储区域上存储的系数数据,并且把读取的系数数据提供给量化器15。
例如,如果系数数据按照图8的存储器映像被存储,则存储器读取控制器24如图9和10所示读取系数数据,以开头4LL(16)的系数数据开始并且以末尾1HH(15)的系数数据结束。存储器读取控制器24然后把读取的系数数据提供给量化器15。
在步骤S11中,量化器15以逐行为基础量化获取的系数数据,并且把量化的系数数据提供给VLC单元16。
在步骤S12中,VLC单元16以逐行为基础对获取的量化系数进行熵编码。
在步骤S13中,VLC单元16从编码设备1传输分区A的编码数据。
在步骤S14中,小波变换器11把A的值增加“1”,并且处理作为目标的下个分区。
在步骤S15中,小波变换器11确定未处理的输入图像行是否存在于画面(在隔行扫描系统情况下的场)中。如果在步骤S15中确定未处理的输入图像行存在,则处理返回到步骤S4。对于新的目标分区重复步骤S4和随后的步骤。
每个分区通过重复步骤S4至S15被编码。如果在步骤S15中确定未处理输入图像行不存在,则因而完成对画面的编码过程。对下一个画面重新进行编码过程。
系数数据因而按在解码侧处理的顺序被重新排列,并且然后被提供给解码侧。
由于系数数据按在系数数据存储区域上的存储顺序被读取,所以读取操作被简化。因而容易进行系数数据的在先读取操作。
由于到系数重新排列存储器14上的系数数据的写入操作和读取操作通过分区进行,所以降低所需的存储器容量。
下面描述与图1的编码设备1相对应的解码设备101。图11是示出了按照本发明一个实施例的解码设备101的方块图。解码设备101包括变长解码(VLD)单元111、反量化器112、系数缓冲器113、及反向小波变换器114。
VLD单元111按照与VLC单元16的编码方法相对应的解码方法对提供的编码数据进行解码,并且把生成的量化系数提供给反量化器112。
反量化器112按照与量化器15的量化方法相对应的反量化方法反量化获取的量化系数,并且把生成的系数数据提供给系数缓冲器113。
反向小波变换器114对在系数缓冲器113上存储的系数数据进行反向小波变换,并且把反向小波变换结果存储到系数缓冲器113上。反向小波变换器114响应分割级重复反向小波变换,并且从解码设备101输出解码图像数据。
下面参照图12的流程图描述由解码设备101进行的解码过程。
当解码过程开始时,VLD单元111在步骤S31中获取来自于解码设备101外部的编码系数,以逐行为基础对编码的系数数据进行熵解码,并把生成的量化系数提供给反量化器112。
在步骤S33中,反量化器112反量化以逐行为基础获取的量化系数。
在步骤S34中,系数缓冲器113存储反量化的系数数据。
在步骤S35中,反向小波变换器114确定系数缓冲器113是否已经存储一个分区的系数数据。如果在步骤S35中确定未存储一个分区的系数数据,则处理返回到步骤S31以进行步骤S31和随后的步骤。反向小波变换器114因而等待备用,直到系数缓冲器113已经存储了一个分区的系数数据。
如果在步骤S35中确定系数缓冲器113已经存储了一个分区的系数数据,则反向小波变换器114进行到步骤S36。
由于编码设备1按反向小波变换的顺序把系数数据提供给解码设备101,所以系数缓冲器113按反向小波变换的顺序存储一个分区的系数数据。
在步骤S36中,反向小波变换器114从系数缓冲器113读取一个分区的系数数据。在步骤S37中,反向小波变换器114对在屏幕上以垂直行排列的系数进行垂直合成过滤操作。在步骤S38中,反向小波变换器114对在屏幕上以水平行排列的读取系数进行水平合成过滤操作。
一个分区的系数数据按反向小波变换的顺序被存储在系数缓冲器113上。反向小波变换器114按存储顺序从系数缓冲器113简单地读取系数数据。没有必要重新排列存储的系数数据。因而减小了在反向小波变换中涉及的延迟时间。
在步骤S39中,反向小波变换器114确定合成过滤操作是否已经达到级=1(分割级是“1”),即,对于在小波变换之前的状态是否已经进行反向变换。如果在步骤S39中确定合成过滤级还未达到级=1,则处理返回到步骤S37以重复步骤S37和S38。
如果在步骤S39中确定合成过滤操作已经达到级=1,则反向小波变换器114转到步骤S40。
在步骤S40中,反向小波变换器114输出通过反向小波变换得到的图像数据。
在步骤S41中,VLD单元111确定是否结束解码过程。如果在步骤S41中确定不结束解码过程,则处理返回到步骤S31以重复步骤S31和随后的步骤。如果在步骤S41中确定结束解码过程,则VLD单元111结束解码过程。
因而减小在解码过程中的等待时间。
在提升计算过程中,分区可以依据小波变换的计算方法改变尺寸。在这种情况下,每当分区的尺寸改变时,就保留系数数据存储区域,并且再产生存储器映像。
提升技术可以应用于编码设备1的分析过滤操作和解码设备101中的反向小波变换器114的合成过滤操作。下面描述这种应用。
参照图13描述进行小波变换的分析滤波器的过程。提升技术被应用于5×3滤波器。
如图13所示,顶部行、中间行及底部行分别代表输入图像的像素行、高频分量及低频分量。顶部行可以不仅代表输入图像的像素行,而且也代表在之前过滤操作中得到的系数。这里顶部行代表输入图像的像素行。实心正方形表示偶数像素或行(第一个是零),并且实心圆表示奇数像素或行。
在第一阶段处,高频分量的系数di 1由下述公式(3)从输入像素行生成:
di 1=di 0-1/2(si 0+si+1 0)    ...(3)
在第二阶段处,基于高频分量的生成系数和输入图像的奇数像素从下述公式(4)生成低频分量的系数si 1
si 1=si 0+1/4(di-1 1+di 1)    ...(4)
分析滤波器通过过滤操作把输入图像的图像数据分割成高频分量和低频分量。
合成过滤操作一般参照图14来论述。合成过滤操作反向小波变换被小波变换的系数。如图14所示,通过应用的提升技术使用与图13之一相对应的5×3滤波器。顶部行代表通过小波变换生成的输入系数。实心圆代表高频系数,并且实心正方形代表低频系数。
在第一阶段,偶数系数si 0(其中,第一系数是零)按照下述公式(5)从高频分量和低频分量的输入系数生成:
si 0=si 1-1/4(di-1 1+di 1)    ...(5)
在第二阶段,奇数系数di 0按照下述公式(6)从在第一阶段生成的偶数系数si 0和输入高频分量的系数di 1生成:
di 0=di 1+1/2(si 0+si+1 0)    ...(6)
合成滤波器通过经过滤操作合成高频分量和低频分量的系数进行反向小波变换。
更具体地描述小波变换。图15示出了对分割级为2进行的5×3滤波器的提升过滤操作。在图15的左边部分示出的分析滤波器是图1的小波变换器11的滤波器。在图15的右边部分示出的合成滤波器是图11的反向小波变换器114的滤波器。
实际图像数据是两维信息。然而,为了解释简单,图15示出了在与页面垂直的方向上在图15的页面平面后面存在像素的前提下以一维表示的图像数据。水平分析滤波器和合成滤波器的过程在图15中示出。
如图15所示,左端列由在原始图像数据的每行上的各位置处的垂直排列的像素数据组成。更具体地说,在小波变换器11的过滤操作中,垂直滤波器用于在屏幕上垂直扫描像素。第一列至第三列代表分割级=1的过滤操作,并且第四列至第六列代表分割级=2的过滤操作。从左边数的第二列代表基于左端原始图像数据的像素的高频输出。从左边数的第三列代表基于原始图像数据的低频输出和高频分量输出。如在第四至第六列中示出的那样,对于分割级=1的过滤操作的输出进行分割级=2的过滤操作。
在分割级=1的过滤操作的第一阶段中,基于原始图像数据的图像计算高频分量的系数数据。在第二阶段中,基于在第一阶段中计算的高频分量的系数数据和原始图像数据的像素,计算低频分量的系数数据。在图15中左侧(分析滤波器侧)的第一列至第三列中示出了分割级=1的过滤操作。高频分量的计算的系数数据被存储在参照图1讨论的系数重新排列存储器14上。低频分量的系数数据被存储在图1的中间计算存储器12上。
如图15所示,系数重新排列存储器14被表示成点划线框,并且中间计算存储器12被表示成虚线框。
基于在中间计算存储器12上存储的分割级=1的过滤操作的结果进行分割级=2的过滤操作。在分割级=2的过滤操作中,在分割级=1的过滤操作中计算作为低频分量的系数的系数数据被认为是包含低频分量和高频分量的系数数据,并且然后进行与分割级=1的过滤操作相类似的过滤操作。在分割级=2的过滤操作中计算的高频分量的系数数据和低频分量的系数数据被提供给中间计算存储器12用于存储。
小波变换器11在屏幕上的水平方向和垂直方向上都进行上述过滤操作。例如,在水平方向上首先进行分割级=1的过滤操作,并且高频分量和低频分量的生成的系数数据被存储在中间计算存储器12上。然后在垂直方向上对在中间计算存储器12上存储的系数数据进行分割级=1的过滤操作。在水平方向和在垂直方向上的分割级=1的过滤操作产生四个区,即,区HH和HL、及区LH和LL。区HH和HL是通过进一步把高频分量分割成高频分量和低频分量而得到的系数数据,并且区LH和LL是通过进一步把低频分量分割成高频分量和低频分量而得到的系数数据。
在分割级=2处,在水平方向和垂直方向中的每一个上对在分割级=1中生成的低频分量的系数数据进行过滤操作。更具体地说,在分割级=2中,把在分割级=1处分割的区LL进一步分割成四个区。区LL因而包含区HH、区HL、区LH、及区LL。
小波变换器11按照小波变换沿垂直方向以逐步方式在屏幕上进行数次过滤操作,每次均处理数行。如图15所示,第一次以在屏幕上的第一行开始的七行被处理,并且第二次以在屏幕上的第八行开始的四行被处理。在每个区被分割成高频分量和低频分量之后,行数是为生成一行的低频分量所需的行数。
如图15所示,由在中间计算存储器12上存储的系数Ca和系数C4计算由于分割级=2的过滤操作而得到的系数C5。由都存储在中间计算存储器12上的系数Ca、系数Cb、及系数Cc计算系数C4。由在系数重新排列存储器14上存储的系数C2和C3、和在第五行上的图像数据计算系数Cc。由在第五行至第七行上的图像数据计算系数C3。为了在分割级=2处得到系数C5,需要第一行至第七行上的图像数据。
相反,此后第二次的过滤操作可以使用之前在之前的过滤操作中计算的并且在中间计算存储器12和系数重新排列存储器14之一上存储的系数数据。较小数量的行因而可行。
更具体地说,如图15所示,在由于分割级=2的过滤操作而得到的低频分量的系数中,由系数C4和C8及在中间计算存储器12上存储的系数Cc计算系数C5以后的系数C9。系数C4在第一过滤操作中被之前计算,并且已经被存储在系数重新排列存储器14上。类似地,系数Cc在第一过滤操作中被之前计算,并且已经被存储在中间计算存储器12上。在第二过滤操作中,只进行用于计算系数C8的过滤操作。该新过滤操作进一步使用第八至第十一行。
第二和随后的过滤操作可使用在前一过滤操作中计算的和在中间计算存储器12和系数重新排列存储器14上存储的数据,并且每四行被简单地进行。
如果屏幕上的行数不能与编码中的行数相匹配,则通过把原始图像数据的行拷贝而进行过滤操作以使行数与编码中的行数相等。
为得到最低频率分量之一的系数数据的过滤操作以逐步方式(通过分区)被进行数次以覆盖整个屏幕的行,这一点将在以后进行详细描述。当编码数据被传输并且然后被解码时,这种排列允许图像以所涉及的短的延迟时间被解码。
为了进行小波变换,使用第一缓冲器和第二缓冲器。第一缓冲器用来进行小波变换,并且第二缓冲器存储在对预定分割级进行过滤操作时生成的系数。第一缓冲器与中间计算存储器12相对应,并且由图15中的虚线表示。第二缓冲器与系数重新排列存储器14相对应,并且由图15中的点划线表示。在第二缓冲器上存储的系数被用在解码过程中,并且因而在以后过程中被量化和熵编码。
下面描述图1的存储器控制器13的过程。如以前讨论的那样,存储器控制器13按合成过程的顺序重新排列由小波变换器11生成的系数数据,并且然后把重新排列的系数数据提供给量化器15。
如以前讨论的那样,在小波变换中从高频分量到低频分量生成系数。如图15所示,分割级=1的过滤操作在第一过程中由原始图像的图像数据依次生成系数C1、系数C2、及系数C3。对于在分割级=1的过滤操作中得到的低频分量的系数数据进行分割级=2的过滤操作,并且依次产生低频分量的系数C4和系数C5。更具体地说,在第一过程中,系数数据按系数C1、系数C2、系数C3、系数C4及系数C5的顺序生成。由于小波变换的原理,系数数据的这种生成顺序是自然的(从高频分量到低频分量)。
相反,在解码器侧(合成滤波器侧),图像需要被生成并从低频分量输出到高频分量,以便以少量延迟立即解码。在编码器侧生成的系数数据优选地在从低频分量到高频分量的方向上重新排列,并且然后被提供给解码器侧。
参照图15更具体地描述这种排列。在图15的右侧示出了用于进行反向小波变换的合成滤波器。用于输出图像数据的第一行和其它行的第一合成过程(反向小波变换)利用在编码器侧的第一过滤操作中生成的低频分量的系数C4和C5、及系数C1进行。
更具体地说,在第一合成过程中,编码器侧按系数C5、系数C4及系数C1的顺序把系数数据供给到解码器侧。解码器侧在与分割级=2相对应的合成级=2下对系数C5和系数C4进行合成过程,由此生成并存储系数Cf。在与分割级=1相对应的合成级=1下,对系数Cf和系数C1进行合成过程,并且合成结果作为第一行被输出。
在第一合成过程中,按系数C1、系数C2、系数C3、系数C4及系数C5的顺序生成并存储在系数重新排列存储器14上的系数数据,按系数C5、系数C4、系数C1、...的顺序被重新排列,并且然后被提供给解码器侧。
关于在图15的右侧示出的合成滤波器,来自于编码器侧的系数在编码器侧具有带括号的数字、和指示合成滤波器中的行数的不带括号的数字。例如,系数C1(5)是指在图15中左侧的分析滤波器上的系数C5和合成滤波器侧中的第一行。
利用在之前合成过程中合成的或来自于编码器侧的系数数据对编码器侧上的第二和随后过滤操作中处理的系数数据进行解码器侧的合成过程。如图15所示,利用在编码器侧的第二过滤操作中生成的低频分量的系数C8和系数C9将进行的解码器侧的第二合成过程,还需要在编码器侧的第一过滤操作中生成的系数C2和系数C3。因而第二行至第五行被解码。
在第二合成过程中,编码器侧按系数C9、系数C8、系数C2、及系数C3的顺序把系数数据提供给解码器侧。解码器侧利用在第一合成过程处从编码器侧供给的系数C8和系数C9及系数C4在合成级=2的过程中生成系数Cg,并且把系数Cg存储在缓冲器上。解码器侧利用在第一合成过程中生成的并且在缓冲器上存储的系数Cg、系数C4、及系数Cf生成系数Ch,并且然后把系数Ch存储在缓冲器上。
解码器侧利用在合成级=2的合成过程中生成的并在缓冲器上存储的系数Cg和系数Ch、来自于编码器侧的系数C2(在合成滤波器中称作系数C6(2))和系数C3(在合成滤波器中称作系数C7(3))进行合成级=1的合成过程。解码器侧由此对第二行至第五行进行解码。
在第二合成过程中,在编码器侧按系数C2、系数C3、(系数C4及系数C5)、系数C6、系数C7、系数C8、及系数C9的顺序生成的系数数据,在被传输到解码器侧之前按系数C9、系数C8、系数C2、系数C3、...的顺序重新排列。
在第三和随后的合成分析过程中,在系数重新排列存储器14上存储的系数数据也被重新排列,并且然后被传输到解码器侧。解码器侧一次以四行对诸行进行解码。
在响应用于包括解码器侧的屏幕上的底部行的其它行的过滤操作(下文称作最终过滤操作)的解码器侧合成过程中,在之前处理过程中的缓冲器上至此产生并存储的系数数据都被输出。输出行的数量变得巨大。如图15所示,在最终过程处输出八行。
存储器控制器13通过按预定顺序设置在系数重新排列存储器14上存储的系数数据的读取中的读取地址,可以重新排列系数数据。
参照图16A-16C具体地描述了上面提及的过程。图16A-16C示出了利用5×3滤波器对分割级=2的小波变换过滤操作。如图16A所示,小波变换器11对在水平方向和垂直方向上第一行至第七行的输入图像数据进行第一过滤操作(在图16A中的In-1)。
在分割级=1的第一过滤操作中,包括系数C1、系数C2及系数C3的三行的系数数据被生成,并且在如图16B所示在分割级=1处形成的区HH、区HL、及区LH中排列(在图16B中的WT-1)。
在分割级=1下形成的区LL在水平方向和垂直方向上在分割级=2的过滤操作中被进一步分割成四个区。关于在分割级=2下生成的、和在分割级=1的区LL中排列的系数C5和系数C4,系数C5的一行被排列在区LL中,并且系数C4的一行被排列在区HH、区HL、及区LH中的每一个中。
在通过小波变换器11的第二和随后的过滤操作中,一次对四行进行每个过滤操作(图16A中的In-2),一次在分割级=1下生成两行系数数据(图16B中的WT-2),及在分割级=2下生成一行系数数据。
在图15的第二过程中,系数C6和系数C7的两行系数数据在分割级=1的过滤操作中被生成,并且在第一过滤操作中生成的系数数据以后被排列在分割级=1下形成的区HH、区HL、及区LH中,如图16B所示。类似地,在分割级=1的区LL中,在分割级=2的过滤操作中生成的系数C9的一行被排列在区LL中,系数C8的一行被排列在区HH、区HL及区LH中的每一个中。
当小波变换的数据如图16B所示被解码时,响应第一行至第七行上的编码器侧的第一过滤操作,解码器侧进行第一合成过程,由此输出第一行(图16C的Out-1)。响应从第二到最终过滤操作的编码器侧的过滤操作,解码器侧一次输出四行(图16C的Out-2...)。响应编码器侧上的最后一轮过滤操作,解码器侧输出八行。
图17示出了编码设备1和解码设备101的元件的并行操作的原理。图17与图16A-16C相对应。如图17所示,量化过程和熵编码过程共同地表示为熵编码过程,并且熵解码过程和反量化过程共同地表示为熵解码过程。
小波变换器11对图像数据(图17的A)的输入In-1(图17的B)进行第一小波变换WT-1。参照图15,响应三行的输入第一小波变换WT-1开始,并且系数C1被生成。从图像数据In-1的输入到小波变换WT-1的开始引起三行的延迟时间。
当通过输入图像小波变换完成第一小波变换时,第二小波变换WT-2开始。
存储器写入控制器23与在第二小波变换WT-2中要使用的图像数据In-2的输入和第二小波变换WT-2的过程并行地对系数C1、系数C4及系数C5进行重新排列顺序Ord-1(图17的C)。
在小波变换WT-1的结束与重新排列Ord-1的开始之间的延迟时间包括设备和系统结构的延迟,诸如在指示存储器写入控制器23进行重新排列过程的控制信号的传输中引起的延迟、通过存储器写入控制器23的重新排列过程的开始涉及的延迟、及在程序处理中的延迟。这些延迟时间在编码过程中不是本质的。
系数数据从系数重新排列存储器14读取,并且提供给量化器15和VLC单元16中的每一个。然后进行熵编码操作EC-1(图17的D)。熵编码过程EC-1可被开始,而不用等待三个系数,即系数C1、系数C4及系数C5,的重新排列的结束。例如,当完成第一输出系数C5的一行的重新排列时,对于系数C5可开始熵编码。从重新排列Ord-1的开始到熵编码EC-1的开始的延迟是一行。
量化器15和VLC单元16对其已经完成熵编码EC-1的编码数据,经传输线被传输到解码设备101(图17的E)。编码数据的传输路径可以是通信网络,如互联网。在这种情况下,按照互联网协议(IP)传输编码数据。传输路径不限于IP。传输路径可以是由通用串行总线(USB)、和电气和电子工程师学会1394(IEEE 1394)标准、及符合IEEE 801.11的无线通信路径定义的通信接口之一。
继用于第一过程的图像数据输入的七行之后,编码设备1依次接收直到屏幕的底部行的图像数据。响应图像数据的输入(In-n)(n是2或更大),编码设备1一次对四行进行小波变换WT-n、重新排列Ord-n、及熵编码EC-n,如以上描述的那样。对六行进行在最终过程处由编码设备1进行的重新排列Ord和熵编码EC。这些过程被并行地进行,如图17的A至图17的D所示。
由编码设备1在EC-1中熵编码的数据经传输线传输到解码设备101,并且然后提供给VLD单元111。VLD单元111和反量化器112对在熵编码EC-n中编码的数据依次进行熵解码iEC-n,由此恢复系数数据(图17的F)。恢复的系数数据被依次存储在系数缓冲器113上。当足以进行反向小波变换的系数数据被存储在系数缓冲器113上时,反向小波变换器114从系数缓冲器113读取系数数据,并且对读取的系数数据进行反向小波变换iWT-1(图17的G)。
如参照图15描述的那样,当系数C4和系数C5被存储在系数缓冲器113上时,反向小波变换器114可开始反向小波变换iWT-1。从通过VLD单元111的解码iEC-1的开始到通过反向小波变换器114的反向小波变换iWT-1的开始的延迟时间是2行。
当反向小波变换器114对于在第一小波变换中处理的三行完成反向小波变换iWT-1时,在反向小波变换iWT-1中生成的图像数据作为Out-1被输出(图17的H)。输出Out-1是图像数据的第一行,如参照图15和16描述的那样。
继通过编码设备1在第一过程中编码的系数数据的三行之后,解码设备101依次接收在熵编码EC-n(n是2或更大)中编码的系数数据。如上所述,解码设备101一次对输入系数数据的四行进行熵解码iEC-n和反向小波变换iWT-n,并输出反向小波变换iWT-n中解码的图像数据Out-n。解码设备101作为最终过程对六行进行熵解码iEC和反向小波变换iWT。编码设备1在八行上输出Out。这些过程也由解码设备101并行地进行,如图17的F和图17的H中示出的那样。
如上所述,编码设备1和解码设备101在屏幕上从顶部到底部按顺序进行其过程,并因而以短延迟进行图像压缩过程和图像解码过程。
在利用5×3滤波器对分割级=2进行的小波变换中从图像输入到图像输出的延迟时间参照图17被计算。从到编码设备1的图像数据的第一行的输入到解码设备101中的图像数据的第一行的输出的延迟时间是下面描述的因素之和。从系统结构到系统结构不同的延迟,如在传输线中的延迟和在设备中的元件的实际过程定时的延迟,被排除在各因素之外。
(1)从第一行的输入到对七行进行的小波变换WT-1的结束的延迟D_WT,
(2)在三行的计数和重新排列中涉及的时间D_Ord,
(3)用于三行熵编码EC-1的时间D_EC,
(4)用于三行熵解码iEC-1的时间D_iEC,
(5)用于三行反向小波变换iWT-1的时间D_iWT。
参照图17计算在以上列出的因素中的延迟。(1)延迟D_WT是对于10行。(2)时间D_Ord、(3)时间D_EC、(4)时间D_iEC、及(5)时间D_iWT是对于三行的那些时间。在开始重新排列Ord-1之后的一行,编码设备1开始熵编码EC-1。类似地,在开始熵解码iEC-1之后的两行,解码设备101开始反向小波变换iWT-1。熵解码iEC-1可在一行的编码以熵编码EC-1结束的那时被开始。
如图17所示,从编码设备1的系数数据的第一行的输入到来自解码设备101的图像数据的第一行的输出的延迟时间是17行=10+1+1+2+3。
进一步具体地描述了延迟时间。如果输入图像数据是HDTV(高清晰度电视)隔行扫描视频信号,则一帧具有1920像素×1080行的分辨率,并且一个场具有1920像素×540行的分辨率。对于30Hz的帧频率,编码设备1在16.67ms(1s/60场)内接收540行的一个场。
在数据的七行的输入中涉及的延迟时间是0.216ms(=16.67ms×7/540行),并且关于一个场的更新时间极短。(1)延迟D_WT、(2)时间D_Ord、(3)时间D_EC、(4)时间D_iEC、及(5)时间D_iWT的和很短,因为要处理的行数很少。如果进行每个过程的元件利用硬件被实施,则过程时间被进一步缩短。
上述方法步骤可以利用软件或硬件被执行。上述软件程序可由任何设备完成。例如,图18的个人计算机200可以执行上述软件程序。
图18的个人计算机200中的CPU 201按照存储在只读存储器(ROM)202上的程序或从存储单元213加载到随机存取存储器(RAM)203上的程序执行各种过程。如果必要,RAM 203存储用于CPU 201的数据以执行各种过程。
CPU 201、ROM 202及RAM 203经总线204彼此连接。总线204连接到输入-输出接口210上。
同样连接到输入-输出接口210上的是包括键盘和鼠标的输入单元211、包括诸如阴极射线管(CRT)或液晶显示器(LCD)的显示器和扬声器的输出单元212、包括硬盘的存储单元213、及包括调制解调器的通信单元214。通信单元214经诸如互联网的网络进行通信过程。
如果必要,输入-输出接口210也连接到驱动器215上。可移动介质221,如磁盘、光盘、磁光盘、及半导体存储器之一,被加载到驱动器215上。从可移动介质221读取的计算机程序被安装到存储单元213上。
如果上述一系列的方法步骤利用软件被执行,则实施软件的程序经网络或从记录介质安装。
记录介质可以是存储程序的、图18的可移动介质221,并且与主设备分离地分布以向用户提供程序。可移动介质221可以包括磁盘(包括软盘)、光盘(光盘只读存储器(CD-ROM)、数字通用光盘(DVD)等)、磁光盘(小型磁盘(MD)(注册商标))、及半导体存储器中的一种。记录介质也可以是ROM 202和加载到存储单元213上的硬盘中的一种,每一种均存储程序并且在主设备中提供给用户。
描述记录在记录介质上的程序的上述方法步骤可以按上述的时间序列顺序进行。而且,上述方法步骤可以并行地或分离地进行。
文字系统是指由多个装置组成的整个设备。
描述为单个单元的设备可以被划分成多个设备。描述为多个单元的设备可以集成为单个单元。另一种布置可以被附加到上述设备的结构上。如果系统的结构和操作保持不变,则一个设备的部分可以被集成到另一个设备中。
本领域技术人员应该理解,依据设计要求和至今的其它因素可以发生各种修改、组合、子组合及变型,因为它们在所附权利要求或其等效物的范围内。

Claims (11)

1.一种图像数据处理设备,包括:
存储器,用于存储通过对图像数据进行小波变换而得到的系数数据;
计算装置,用于基于图像数据的编码参数和系数数据的数据量,计算存储系数数据的存储器的存储器地址;
存储器区域保留装置,用于按照由计算装置计算的存储器地址,保留其中要写入系数数据的存储器区域;以及
写入装置,用于按反向小波变换的顺序重新排列系数数据,并且把顺序重新排列的系数数据写入到由存储器区域保留装置保留的存储器区域上。
2.根据权利要求1所述的图像数据处理设备,其中,存储器区域保留装置按行块来保留其中要写入系数数据的存储器区域,每个行块均是为生成最低频率子带中的一行系数数据所需行数的图像数据。
3.根据权利要求1所述的图像数据处理设备,其中,存储器区域保留装置保留要写入系数数据的存储器区域,使得低频分量的系数数据排列在存储器地址的开头位置处,并且使得高频分量的系数数据排列在存储器地址的末尾位置处。
4.根据权利要求1所述的图像数据处理设备,还包括用于按从低频分量到高频分量的顺序读取由写入装置写入在存储器上的系数数据的读取装置。
5.根据权利要求1所述的图像数据处理设备,还包括用于从开头地址按顺序读取由写入装置写入在存储器上的系数数据的读取装置。
6.根据权利要求1所述的图像数据处理设备,还包括用于获取图像数据的编码参数的获取装置。
7.根据权利要求1所述的图像数据处理设备,其中,编码参数包括输入图像数据的水平尺寸和输入图像数据的垂直行的数量。
8.根据权利要求1所述的图像数据处理设备,其中,编码参数包括位精度。
9.根据权利要求1所述的图像数据处理设备,其中,编码参数包括小波变换的分割级的数量。
10.一种图像数据处理方法,包括步骤:
存储通过对图像数据进行小波变换而得到的系数数据;
基于图像数据的编码参数和系数数据的数据量,计算存储系数数据的存储器的存储器地址;
按照计算的存储器地址,保留其中要写入系数数据的存储器区域;以及
按反向小波变换的顺序重新排列系数数据,并且把顺序重新排列的系数数据写入到保留的存储器区域上。
11.一种图像数据处理设备,包括:
存储器,存储通过对图像数据进行小波变换而得到的系数数据;
计算单元,基于图像数据的编码参数和系数数据的数据量,计算存储系数数据的存储器的存储器地址;
存储器区域保留单元,按照由计算单元计算的存储器地址,保留其中要写入系数数据的存储器区域;以及
写入单元,用来按反向小波变换的顺序重新排列系数数据,并且把顺序重新排列的系数数据写入到由存储器区域保留单元保留的存储器区域上。
CN200810099275XA 2007-05-17 2008-05-16 用于处理图像数据的方法和设备 Expired - Fee Related CN101309417B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-132094 2007-05-17
JP2007132094A JP4356033B2 (ja) 2007-05-17 2007-05-17 画像データ処理装置および方法

Publications (2)

Publication Number Publication Date
CN101309417A true CN101309417A (zh) 2008-11-19
CN101309417B CN101309417B (zh) 2010-07-21

Family

ID=40027552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810099275XA Expired - Fee Related CN101309417B (zh) 2007-05-17 2008-05-16 用于处理图像数据的方法和设备

Country Status (3)

Country Link
US (1) US8098947B2 (zh)
JP (1) JP4356033B2 (zh)
CN (1) CN101309417B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860750A (zh) * 2009-04-07 2010-10-13 索尼公司 信息处理装置以及方法
CN102511161A (zh) * 2009-09-24 2012-06-20 索尼公司 图像处理设备和图像处理方法
CN101754017B (zh) * 2008-12-08 2012-12-12 索尼株式会社 信息处理设备和方法
CN111147734A (zh) * 2018-11-05 2020-05-12 佳能株式会社 摄像装置及其控制方法以及非暂时性计算机可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4670947B2 (ja) * 2008-12-05 2011-04-13 ソニー株式会社 情報処理装置および方法
US8842940B1 (en) * 2009-10-02 2014-09-23 Rockwell Collins, Inc. Multiprocessor discrete wavelet transform
JP5672840B2 (ja) 2010-08-12 2015-02-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9344720B2 (en) * 2012-08-07 2016-05-17 Apple Inc. Entropy coding techniques and protocol to support parallel processing with low latency
JP2015195527A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、および画像処理方法
JP2015195526A (ja) 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、および画像処理方法
JP2016021600A (ja) * 2014-07-11 2016-02-04 株式会社リコー 画像符号化装置、画像処理装置、画像送受信システム、画像符号化方法及び制御プログラム
US10387991B2 (en) * 2016-07-01 2019-08-20 Intel Corporation Method and apparatus for frame buffer compression
WO2020235586A1 (ja) * 2019-05-20 2020-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN114143557B (zh) * 2021-12-24 2023-07-07 成都索贝数码科技股份有限公司 一种针对视频图像小波变换高频系数的低复杂度编码方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09139944A (ja) 1995-09-12 1997-05-27 Matsushita Electric Ind Co Ltd 符号化方法,符号化装置,ウエーブレット変換装置およびウエーブレット逆変換装置
JPH10283342A (ja) 1997-04-02 1998-10-23 Matsushita Electric Ind Co Ltd ウェーブレット変換装置
JP2000184204A (ja) * 1998-12-11 2000-06-30 Canon Inc 画像処理装置及び方法及び記憶媒体
JP3814456B2 (ja) * 2000-02-07 2006-08-30 キヤノン株式会社 画像処理装置及びその方法
JP2002281444A (ja) 2000-03-03 2002-09-27 Canon Inc 画像処理方法及び装置及び記憶媒体
JP4480119B2 (ja) * 2000-03-30 2010-06-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP4139633B2 (ja) 2002-06-28 2008-08-27 株式会社リコー 画像処理装置
JP4090975B2 (ja) 2003-09-30 2008-05-28 株式会社リコー 画像処理装置
US7660469B2 (en) * 2003-10-30 2010-02-09 Nec Electronics Corporation Image decoding apparatus and image decoding method
JP4360379B2 (ja) * 2006-05-16 2009-11-11 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP4371120B2 (ja) * 2006-05-16 2009-11-25 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP4182446B2 (ja) * 2006-07-14 2008-11-19 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4182447B2 (ja) * 2006-07-14 2008-11-19 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754017B (zh) * 2008-12-08 2012-12-12 索尼株式会社 信息处理设备和方法
CN101860750A (zh) * 2009-04-07 2010-10-13 索尼公司 信息处理装置以及方法
CN102511161A (zh) * 2009-09-24 2012-06-20 索尼公司 图像处理设备和图像处理方法
CN111147734A (zh) * 2018-11-05 2020-05-12 佳能株式会社 摄像装置及其控制方法以及非暂时性计算机可读存储介质
US10999552B2 (en) 2018-11-05 2021-05-04 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and non-transitory computer-readable storage medium
CN111147734B (zh) * 2018-11-05 2021-09-07 佳能株式会社 摄像装置及其控制方法以及非暂时性计算机可读存储介质

Also Published As

Publication number Publication date
CN101309417B (zh) 2010-07-21
US20080285874A1 (en) 2008-11-20
US8098947B2 (en) 2012-01-17
JP2008288901A (ja) 2008-11-27
JP4356033B2 (ja) 2009-11-04

Similar Documents

Publication Publication Date Title
CN101309417B (zh) 用于处理图像数据的方法和设备
CN101076117B (zh) 图像处理设备和图像处理方法
CN101076118B (zh) 图像处理设备和图像处理方法
JP3792789B2 (ja) 符号化装置
CN101106719B (zh) 小波变换设备、小波逆变换设备和方法
CN101729896B (zh) 信息处理设备和方法
CN101543037A (zh) 信息处理设备和方法
JP2001326936A (ja) 画像符号化装置及び方法
CN100558164C (zh) 图像处理方法和采用该图像处理方法的图像编码装置
JP5263621B2 (ja) 画像処理装置および方法
US8594427B2 (en) Method and apparatus for reducing memory capacity in encoding image data
JP4356032B2 (ja) 情報処理装置および方法
CN101309418B (zh) 用于处理信息的设备和方法
CN102036064A (zh) 图像处理装置和方法
CN102158695A (zh) 图像处理设备和方法
CN102131082A (zh) 图像处理装置和图像处理方法
CN102611889A (zh) 图像处理装置和方法
US8249375B2 (en) Information processing apparatus and method
JP4793320B2 (ja) 情報処理装置および方法
JP4688164B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
KR100771153B1 (ko) 이산 웨이블릿 변환 장치 및 그 방법
Kun et al. Wavelet image compression algorithm based on bitplane coding and optimization implementation on multiple dsp platform
CN111264062A (zh) 编码器、编码系统和编码方法
RUI et al. 3-D VIDEO CODING ALGORITHM BASED WAVELET TRANSFORM USING LIFTING SCHEME
JP2004135070A (ja) 符号化方法及び画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100721

Termination date: 20180516

CF01 Termination of patent right due to non-payment of annual fee