CN101309419A - 信息处理设备和方法 - Google Patents

信息处理设备和方法 Download PDF

Info

Publication number
CN101309419A
CN101309419A CNA2008100992779A CN200810099277A CN101309419A CN 101309419 A CN101309419 A CN 101309419A CN A2008100992779 A CNA2008100992779 A CN A2008100992779A CN 200810099277 A CN200810099277 A CN 200810099277A CN 101309419 A CN101309419 A CN 101309419A
Authority
CN
China
Prior art keywords
data
component
coefficient
analysis filtered
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100992779A
Other languages
English (en)
Other versions
CN101309419B (zh
Inventor
福原隆浩
安藤胜俊
田中祐树
西村直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101309419A publication Critical patent/CN101309419A/zh
Application granted granted Critical
Publication of CN101309419B publication Critical patent/CN101309419B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种信息处理设备,其被配置成将图像数据的频率分量划分成多个频带,其包含被配置成执行用于将频率分量递归地划分成高带分量和低带分量的分析滤波的分析滤波单元、以及被配置成与用于保持由分析滤波单元作为分析滤波的计算结果提供的数据的定时同步地提供已被保持的数据给分析滤波单元的保持单元,所述数据为下一个分析滤波的计算所需的数据。

Description

信息处理设备和方法
对相关专利申请的交叉引用
本发明包含与2007年5月17日提交日本专利局的日本专利申请JP2007-131286相关的主题,这里作为参考引入了该专利申请的全部内容。
技术领域
本发明涉及信息处理设备和方法,并且尤其涉及借此可以降低小波变换处理和小波逆变换处理的延迟时间,并且可以减少费用的信息处理设备和方法。
背景技术
代表已知方法的图像压缩方法是已经由ISO(国际标准组织)标准化的JPEG(联合照相专家组)方法。已知其在使用DCT(离散余弦变换),以及相对大位数合适的情况下,提供了极好的编码图像和解码图像。
近年来,对其中利用被称作滤波器组的滤波器将图像分成多个带(子带)的方法已经进行了许多研究,在所述滤波器组中,高通滤波器和低通滤波器被组合,并且针对每个带执行编码。尤其是,由于小波变换编码没有DCT所具有的问题,即在高压缩率时的显著的模块畸变,所以小波变换编码被视作一种作为替换DCT的可能候选的新技术。
JPEG 2000的国际标准化于2001年1月完成。JPEG 2000组合小波变换与高效熵编码(基于位平面的位建模和运算编码),并且在JPEG上关于编码效率实现明显的改进。
小波变换处理(例如,参见日本待审专利申请公开号10-283342)利用一种技术,其中图像数据基本上被当作受到水平方向滤波和垂直方向滤波的输入,在所述技术中低带分量被分层地划分。
用于将通过小波变换处理从图像数据转换的系数数据(频率分量)转换成初始图像数据的小波逆变换处理执行用于最终恢复图像的处理,同时对高带分量和低带分量从最上面划分层直到最低划分层进行合成滤波。
利用小波逆变换处理,暂时保持在处理当中的系数数据和最终获得的图像数据,但是合成滤波被递归地重复执行,所以对以高频率执行针对缓冲存储器的写入和读取存在需要。
发明内容
然而,当采用经由外部大容量存储器的缓冲存储器的共享总线连接到用于执行分析滤波和合成滤波的处理单元的外部大容量存储器时,由于其中工作频率同其处理单元的工作频率比较起来较低的外部存储器以及共享总线造成对缓冲存储器频繁执行的数据传送可能降低速度,并且小波变换处理和小波逆变换处理的处理速度降低,因此延迟时间增加。
例如,利用电信会议系统、视频游戏系统等时,期望以低迟延执行图像数据的发送,而延迟时间的这种增加极大地影响操作,所以存在对尽可能减少时间延迟的需要。
也就是说,期望使数据能以较高的速度针对缓冲存储器输入/输出。因此,可以想到采用处理单元内提供的机内存储器作为缓冲存储器,但是在这种情况下也期望以更高的速度针对缓冲存储器执行数据的输入/输出。然而,电路规模的增加关系到制造成本和工作成本(功耗)方面的增加,所以同时,还必须降低电路规模。
已经认识到对不仅使小波变换处理和小波逆变换处理的延迟时间能减少,而且成本能被减少存在着需要。
根据本发明的实施例,被配置成将图像数据的频率分量划分成多个频带的信息处理设备包含:分析滤波装置,其被配置成递归地执行用于将频率分量划分成高带分量和低带分量的分析滤波;以及保持装置,其被配置成与用于保持由分析滤波装置作为分析滤波的计算结果提供的数据的定时同步地提供已被保持的数据给分析滤波装置,所述数据为下一个分析滤波的计算所需的数据。
所述保持装置可包含:链接装置,其被配置成链接由分析滤波装置在每个周期一次一个所提供的多个数据,以生成一个数据段;划分装置,其被配置成将一个数据段划分成多个数据,以将这些数据在每个周期一次一个地提供给分析滤波装置;以及存储装置,其被配置成在每个周期交替地执行写入和读取数据,在写入数据的写入周期上写入并且存储由链接装置生成的一个数据段,在读出数据的读取周期上从存储数据中一周期读出一个数据段,以将其提供给用于将其划分成多个数据的划分装置。
链接装置可链接每个周期从分析滤波装置每第一数据增量提供的数据,以生成作为第二数据增量的一个数据段;利用划分装置,每第一数据增量划分作为第二数据增量的一个数据段,以生成作为第一数据增量的多个数据,并且在每个周期一次一个地将作为第一数据增量的数据提供给分析滤波装置。
还提供了一个用于被配置成将图像数据的频率分量划分成多个频带的信息处理设备的信息处理方法,包含步骤:执行用于将频率分量递归地划分成高带分量和低带分量的分析滤波;以及与用于保持作为分析滤波的计算结果提供的数据的定时同步地提供已被保持的数据,所述数据为下一个分析滤波的计算所需的数据。
利用这个配置,递归地执行用于将频率分量划分成高带分量和低带分量的分析滤波,并且与用于保持作为分析滤波的计算结果提供的数据的定时同步地提供已经保持的数据,即下一个分析滤波所需的数据。
根据本发明的实施例,被配置成将图像数据的频率分量划分成多个频带的信息处理设备包含:亮度分量分析滤波装置,其被配置成将该频率分量划分成有关图像数据的亮度分量的高带分量和低带分量;色差分量分析滤波装置,其被配置成将该频率分量划分成有关图像数据的色差分量的高带分量和低带分量;亮度分量保持装置,其被配置成与用于保持由亮度分量分析滤波装置作为分析滤波的计算结果提供的数据的定时同步地提供已被保持的数据给亮度分量分析滤波装置,所述数据为下一个分析滤波的计算所需的数据;以及色差分量保持装置,其被配置成与用于保持由色差分量分析滤波装置作为分析滤波的计算结果提供的数据的定时同步地提供已被保持的数据给色差分量分析滤波装置,所述数据为下一个分析滤波的计算所需的数据。
亮度分量保持装置可包含:被配置成链接由亮度分量分析滤波装置在每个周期一次一个所提供的多个数据以生成一个数据段的亮度分量链接装置;被配置成将一个数据段划分成多个数据以便在每个周期一次一个地提供所述数据给亮度分量分析滤波装置的亮度分量划分装置;以及亮度分量存储装置,其被配置成执行每个周期交替地写入和读取数据,在写入数据的写入周期上写入并且存储由亮度分量链接装置生成的一个数据段,在读出数据的读出周期上从存储数据中一周期读出一个数据段,以将其提供给用于将其划分成多个数据的亮度分量划分装置;色差分量保持装置包含:被配置成链接由色差分量分析滤波装置在每个周期一次一个地提供的多个数据以生成一个数据段的色差分量链接装置;被配置成将一个数据段划分成多个数据以便在每个周期一次一个地提供所述数据给色差分量分析滤波装置的色差分量划分装置;以及色差分量存储装置,其被配置成执行每个周期交替地写入和读取数据,在写入数据的写入周期上写入并且存储由色差分量链接装置生成的一个数据段,在读出数据的读出周期上从存储数据中一周期读出一个数据段,以将其提供给用于将其划分成多个数据的色差分量划分装置。
亮度分量链接装置可链接每个周期从亮度分量分析滤波装置每第一数据增量提供的数据,以生成作为第二数据增量的一个数据段;利用亮度分量划分装置,每第一数据增量划分作为第二数据增量的一个数据段,以生成作为第一数据增量的多个数据,并且在每个周期一次一个地将作为第一数据增量的数据提供给亮度分量分析滤波装置;利用色差分量链接装置,链接从色差分量分析滤波装置每第一数据增量提供的数据,以生成作为第二数据增量的一个数据段;利用色差分量划分装置,每第一数据增量划分作为第二数据增量的一个数据段,以生成作为第一数据增量的多个数据,并且在每个周期一次一个地将作为第一数据增量的数据提供给色差分量分析滤波装置。
还提供了一个用于被配置成将图像数据的频率分量划分成多个频带的信息处理设备的信息处理方法,包含步骤:针对图像数据的亮度分量递归地执行用于将频率分量划分成高带分量和低带分量的分析滤波;针对图像数据的色差分量递归地执行用于将频率分量划分成高带分量和低带分量的分析滤波;与用于保持作为有关亮度分量的分析滤波的计算结果提供的数据的定时同步地提供已经保持的该数据,所述数据为有关下一个亮度分量的分析滤波的计算所需的数据;以及与用于保持作为有关色差分量的分析滤波的计算结果提供的数据的定时同步地提供已经保持的该数据,所述数据为有关下一个色差分量的分析滤波的计算所需的数据。
利用这个配置,有关图像数据的亮度分量递归地执行用于将频率分量划分成高带分量和低带分量的分析滤波,有关图像数据的色差分量递归地执行用于将频率分量划分成高带分量和低带分量的分析滤波,以及与用于保持作为亮度分量分析滤波的计算结果提供的数据的定时同步地提供已经保持的数据,即下一个亮度分量分析滤波所需的数据,并且与用于保持作为色差分量分析滤波的计算结果提供的数据的定时同步地提供已经保持的数据,即下一个色差分量分析滤波所需的数据。
根据本发明的实施例,信息处理设备包含:合成滤波装置,其被配置成对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,并且对被分成多个频率分量的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及保持装置,其被配置成与用于保持由合成滤波装置作为合成滤波的计算结果提供的数据的定时同步地提供已被保持的数据给合成滤波装置,所述数据为下一个合成滤波的计算所需的数据。
保持装置可包含:链接装置,其被配置成链接由合成滤波装置在每个周期一次一个所提供的多个数据,以生成一个数据段;划分装置,其被配置成将一个数据段划分成多个数据,以将这些数据在每个周期一次一个地提供给合成滤波装置;以及存储装置,其被配置成在每个周期交替地执行写入和读取数据,在写入数据的写入周期上写入并且存储由链接装置生成的一个数据段,在读出数据的读出周期上从存储数据中一周期读出一个数据段,以将其提供给用于将其划分成多个数据的划分装置。
链接装置可链接每个周期从合成滤波装置每第一数据增量提供的数据,以生成作为第二数据增量的一个数据段;利用划分装置,每第一数据增量作为第二数据增量的一个数据段,以生成作为第一数据增量的多个数据,并且在每个周期一次一个地将作为第一数据增量的数据提供给合成滤波装置。
还提供了一个用于信息处理设备的信息处理方法,包含步骤:对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,以对被分成多个频率分量的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及与用于保持作为合成滤波的计算结果提供的数据的定时同步地提供已被保持的数据,所述数据为下一个合成滤波的计算所需的数据。
利用这个配置,对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,对被分成多个频率分量的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及与用于保持作为合成滤波的计算结果提供的数据的定时同步地提供已被保持的数据,所述数据为下一个合成滤波的计算所需的数据。
根据本发明的实施例,信息处理设备包含:合成滤波装置,其被配置成对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,并且对被分成多个频率分量的所述图像数据的频率分量进行合成滤波,以便递归地相互合成相同划分层的频带的频率分量;以及保持装置,其被配置成保持由合成滤波装置相互合成相同划分层的频带的频率分量生成的频率分量,以及与用于保持由合成滤波装置最终生成的存储图像数据的定时同步地读出并且输出由合成滤波装置生成的一个更低划分层的已被保持的频率分量,所述已被保持的频率分量可被进行进一步的合成滤波。
保持装置可包含:链接装置,其被配置成链接在每个周期一次一个提供的多个数据,以生成一个数据段;划分装置,其被配置成将一个数据段划分成多个数据,以便在每个周期一次一个地提供这些数据;以及存储装置,其被配置成在每个周期交替地执行写入和读取数据,在写入数据的写入周期上写入并且存储由链接装置生成的一个数据段,在读出数据的读出周期上从存储数据中一周期读出一个数据段,以将其提供给用于将其划分成多个数据的划分装置。
链接装置可链接每个周期每第一数据增量提供的数据,以生成作为第二数据增量的一个数据段;利用划分装置,每第一数据增量划分作为第二数据增量的所述一个数据段,以生成多个作为第一数据增量的数据,并且在每个周期一次一个地输出作为第一数据增量的数据。
还提供了一个用于信息处理设备的信息处理方法,包含步骤:对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,以对被分成多个频率分量的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及保持由相互合成相同划分层的频带的频率分量生成的频率分量,以便与用于保持由合成滤波最终生成的恢复图像数据的定时同步地读出并且输出由合成滤波生成的一个更低划分层的已被保持的频率分量,所述已被保持的频率分量可被进行进一步的合成滤波。
利用这个配置,对图像数据进行分析滤波,以便将图像数据的频率分量分层地划分成高带分量和低带分量,对被分成多个频率分量的图像数据的频率分量进行合成滤波,以便递归地相互合成相同划分层的频带的频率分量,保持被相互合成的相同划分层的频带的频率分量生成的频率分量,并且与用于保持最终生成的恢复图像数据的定时同步地读出并且输出一个更低划分层的已被保持的频率分量,所述已被保持的频率分量可被进行进一步的合成滤波。
根据本发明的实施例,可以执行小波变换处理或小波逆变换处理。尤其是,可以减少小波变换处理和小波逆变换处理的延迟时间,并且还可以减少成本。
附图说明
图1的模块图图解了本发明的实施例已被应用于其的小波变换设备的一个实施例的配置例子;
图2的图例描述了图像信号的水平分析滤波的例子;
图3的图例描述了图像信号的垂直分析滤波的例子;
图4的图例图解了对划分层1执行分析滤波器的结果;
图5的r图例描述了具有9×7分析滤波器的提升模式(liftingscheme)的例子;
图6的图例描述了利用图5中所示的提升模式,对水平方向上的系数组执行水平分析滤波的情况;
图7的图例描述了顺序地从顶部向下输入系数的行,利用提升模式执行水平分析滤波的操作;
图8的图例描述了利用垂直分析滤波,对垂直方向上的系数组执行图5中所示的提升模式的例子;
图9的模块图图解了图1中所示的中间计算缓冲器单元的详细配置例子;
图10A和10B的图例图解了公共端口1SRAM和端口2SRAM的输入/输出端子的配置例子;
图11A和11B的图例图解了公共端口1SRAM和端口2SRAM的数据输入/输出的定时的例子;
图12的图例图解了图9中所示的端口1SRAM的数据输入/输出定时的例子;
图13的流程图描述了小波变换处理的流程的例子;
图14的流程图描述了垂直分析滤波处理的流程的例子;
图15的流程图描述了缓冲器输入/输出处理的例子;
图16的图例图解了本发明的实施例已被应用于其的小波变换设备的另一个配置例子;
图17的图例描述了图像信号的水平分析滤波的例子,其中Y和C已被交叉;
图18的图例描述了分别对Y和C执行垂直分析滤波的例子;
图19的图例描述了对Y和C执行垂直分析滤波的例子,为了与图18比较,所述Y和C根据现有技术被分成低带和高带;
图20的图例图解了分别针对Y和C,对划分层1执行分析滤波器的结果;
图21的图例描述了交叉划分层1低带部分的Y和C的例子;
图22的图例描述了为了与图18比较,对所交叉的Y和C执行垂直分析滤波的例子;
图23的流程图描述了小波变换处理的流程的另一个例子;
图24的示意图描述了小波变换;
图25的示意图描述了小波变换;
图26的示意图描述了小波变换和小波逆变换;
图27的模块图图解了本发明的实施例已被应用于其的小波逆变换设备的配置例子;
图28的示意图描述了合成滤波;
图29的r图例描述了具有9×7分析滤波器的提升模式的例子;
图30的图例描述了垂直分析滤波的例子;
图31的图例描述了水平分析滤波的例子;
图32的模块图图解了图27中所示的输出缓冲器单元的详细配置例子;
图33的图例图解了图32中所示的端口1SRAM的数据输入/输出定时的例子;
图34的流程图描述了小波逆变换处理的流程的例子;
图35的流程图描述了行递增小波逆处理的流程的例子;
图36的流程图接续图35,描述了行递增小波逆处理的流程的例子;
图37的流程图描述了垂直分析滤波的流程的例子;
图38的模型图例描述了行递增小波逆处理的流程的例子;
图39的模型图例描述了针对一个范围的行递增小波逆处理的流程的例子;
图40的模型图例接续图39,描述了针对一个范围的行递增小波逆处理的流程的例子;
图41的模型图例接续图40,描述了针对一个范围的行递增小波逆处理的流程的例子;
图42的图例利用HDTV标准图解了亮度和色差信号的数据阵列的例子;
图43的模块图图解了本发明的实施例已经应用于其的图像传输系统的例子的配置;
图44的流程图描述了解码处理的流程的例子;
图45的模型图例描述了处理执行定时的例子;以及
图46的图例图解了的本发明的实施例已经应用于其的计算机的实施例的配置例子。
具体实施方式
图1的图例图解了的本发明的实施例已经应用于其的小波变换设备的实施例的配置例子。小波变换设备100是一个带分析设备,其接受图像数据作为输入,并且执行水平方向滤波和垂直方向滤波,其中低带分量被分层地划分到预定的划分层(在图1所示的例子中,到划分层4).
图1中所示的小波变换设备100由水平分析滤波器单元111、层1缓冲器112、层2缓冲器113、层3缓冲器114、层4缓冲器115、选择器116、中间计算缓冲器单元117、垂直分析滤波器单元118、水平分析滤波器单元119和控制单元120构成。
图像信号被输入到水平分析滤波器单元111(D10)。水平分析滤波器单元111使其图像信号沿划分层1的水平方向进行低带分析滤波和高带分析滤波,并且生成由作为水平分析滤波的结果所获得的低带分量系数和高带分量系数组成的频率分量系数(此后视情况而定,还被称作低带分量、高带分量和频率分量)(D11)。
此时,水平分析滤波器单元111沿水平方向执行低带分析滤波和高带分析滤波,而同时读出在一个未示出的内部存储器(或寄存器)上提供的基带上的相邻位置处的像素的数据。
层1缓冲器112存储并且保持划分层1水平分析滤波的结果。也就是说,层1缓冲器112存储并且保持频率分量(低带分量和高带分量)的系数,作为由水平分析滤波器单元111得到的划分层1水平分析滤波的结果(D11)。一旦使垂直方向分析滤波能进行的预定数量垂直线的数据(系数)在层1缓冲器112中已被累加,与系数等值的预定数量垂直线经由选择器116被读出(D12)。
层2缓冲器113存储并且保持划分层2水平分析滤波的结果。也就是说,层2缓冲器113存储并且保持频率分量(低带分量和高带分量)的系数,作为由水平分析滤波器单元119得到的划分层2水平分析滤波的结果(D20)。一旦使垂直方向分析滤波能进行的预定数量垂直线的数据(系数)在层2缓冲器113中已被累加,与系数等值的预定数量垂直线就经由选择器116被读出(D13)。
层3缓冲器114存储并且保持划分层3水平分析滤波的结果。也就是说,层3缓冲器114存储并且保持频率分量(低带分量和高带分量)的系数,作为由水平分析滤波器单元119得到的划分层3水平分析滤波的结果(D21)。一旦使垂直方向分析滤波能进行的预定数量垂直线的数据(系数)在层3缓冲器114中已被累加,与系数等值的预定数量垂直线就经由选择器116被读出(D14)。
层4缓冲器115存储并且保持划分层4水平分析滤波的结果。也就是说,层4缓冲器115存储并且保持频率分量(低带分量和高带分量)的系数,作为由水平分析滤波器单元119得到的划分层4水平分析滤波的结果(D22)。一旦使垂直方向分析滤波能进行的预定数量垂直线的数据(系数)在层4缓冲器115中已被累加,与系数等值的预定数量垂直线就经由选择器116被读出(D15)。
注意到,层1缓冲器112到层4缓冲器115还将被共同称作层独立缓冲器121。
在垂直分析滤波器单元118的控制之下,选择器116从层独立缓冲器121的层1缓冲器112到层4缓冲器115选择相应划分层缓冲器的输出,并且输出选定的输出给垂直分析滤波器单元118作为系数(D16)。
中间计算缓冲器单元117在垂直分析滤波期间存储并且保持中间所生成的系数的一部分。也就是说,在由垂直分析滤波器单元118所执行的垂直分析滤波期间,对于中间所生成的系数,中间计算缓冲器单元117存储并且保持接下来垂直分析滤波处理所需的系数,作为系数用于中间计算。在接下来垂直分析滤波的时候,这些系数由垂直分析滤波器单元118读出。
当与系数等值的预定数量垂直线从选择器116中输入(D16),垂直分析滤波器单元118从中间计算缓冲器单元117中读出用于中间计算的系数(即,当前垂直分析滤波所需的系数)(D18),并且利用这些系数执行垂直分析滤波。然后,垂直分析滤波器单元118输出垂直分析滤波结果的频率分量的一个带,其沿着水平方向以及垂直方向都为低带分量,即仅仅低带子带系数输出给水平分析滤波器单元119(D10),并且输出其它频带范围,即高带子带系数给小波变换设备100的未示出外面(此后,简称为″外部″)(D23)。
除了将要被处理的频率分量的划分层不同,水平分析滤波器单元119基本具有相同的配置,例如水平分析滤波器单元111。也就是说,利用水平分析滤波器单元119,使用对其系数所执行的水平方向低带分析滤波和高带分析滤波,未示出的内部存储器(或寄存器)所提供的基带上的相邻位置处的系数被读出(D19)。
然后,水平分析滤波器单元119在相应层缓冲器(层2缓冲器113到层4缓冲器115中的一个)中,存储并且保持作为水平分析滤波的结果的频率分量(低带分量和高带分量)中的任何一个(D20到D22)。
控制单元120由包含例如,CPU(中央处理单元)、ROM(只读存储器)和RAM(随机访问存储器)的微型计算机等构成,并且通过执行各种类型程序来控制小波变换设备100的单元的处理。
接下来,将对有关每个单元的操作流程进行描述。
图像信号从外部被输入到水平分析滤波器单元111中(D10)。也就是说,水平分析滤波器单元111具有未示出的内部存储器(或寄存器),并且输入图像信号的像素按照图2中所示的编号次序在内部存储器被提供。注意到,利用图2中的例子,由正方形所表示的、作为像素的结果所获得的基带图像按顺序被提供。
水平分析滤波器单元111利用按顺序执行的水平方向低带分析滤波和高带分析滤波,在移动位置的同时,读出内部存储器中所提供的、基带上的相邻位置处的预定数量像素的数据(在图2的情况中,该数量为五列(样本))。
水平方向数据被容易地给予存储器地址。因此,在从存储器中读出数据的同时,水平分析滤波器单元111按顺序执行水平分析滤波。注意到,参照图6,稍后将描述水平方向低带分析滤波和高带分析滤波的细节。
水平分析滤波器单元111在层1缓冲器112中存储作为划分层1水平分析滤波的结果所获得的频率分量的系数(D11)。此时,如图3中所示,水平分析滤波器单元111交叉作为水平分析滤波的结果的高带分量(H)和低带分量(L),并且将其存储在层1缓冲器112中。
注意到,在现有技术中存在一种方法,其中水平分析滤波的结果被分成高带分量和低带分量,并且被如此存储在缓冲器中,但是在这种情况下,控制变得很复杂,使得对提供用于将高带分量和低带分量映射到缓冲器中的不同地址的单独控制器存在需要。
反之,根据本实施例,利用图3中所示的例子,高带分量(H)和低带分量(L)被交替地存储在层1缓冲器112中。也就是说,作为水平分析滤波的结果高带分量和低带分量由水平分析滤波器单元111以一种交叉的方式存储在层1缓冲器112中,这样在读出存储在层1缓冲器112中的系数的时候,全部所需的仅是从层1缓冲器112的前面读取,从而简化了控制。
现在回到图1,当作为水平分析滤波的结果所获得的频率分量的系数在层1缓冲器112中被累加预定数量垂直线(在图3中所示的情况下为三行),从而可以执行垂直分析滤波,垂直分析滤波器单元118通过控制选择器116以便选择层1缓冲器112的输出,从层1缓冲器112中读取必要数量垂直线的频率分量的系数(D12)。读出的频率分量系数经由选择器116被输入到垂直分析滤波器单元118中(D16)。
垂直分析滤波器单元118在进程中读出已被存储在中间计算缓冲器单元117中的用于中间计算的系数,以便获得后面一个步骤的频率分量(D18)。垂直分析滤波器单元118利用与频率分量系数等值的三行和中间计算系数,来执行相应划分层的垂直分析滤波(在当前情况中为划分层1)。注意到,参照图8,稍后将描述垂直方向低带分析滤波和高带分析滤波的细节。
垂直分析滤波器单元118在中间计算缓冲器单元117中,存储在划分层1垂直分析滤波期间,中间(在垂直分析滤波的计算过程中)所生成一部分系数(即接下来垂直分析滤波所需的系数)作为用于中间计算的系数(D17)。
如图4中所示,作为划分层1垂直分析滤波的结果(即划分层1分析滤波的结果),沿着垂直方向和水平方向生成了四个子带系数,其由表示低带带(子带)的低带子带系数和由其它子带组成的高带子带系数(1HH、1LH、1HL)组成。注意到,在图4中所示的例子中,正方形每个均代表一个系数,并且利用″L″和″H″的顺序,左侧表明作为执行水平分析滤波的结果的带宽(低带或高带),右侧表明作为执行垂直分析滤波的结果的带宽(低带或高带)。此外,″L″或″H″前面的数字表明划分层。
这是划分层1分析滤波,从而在垂直分析滤波器单元118处因此生成了低带子带系数(1LL)和高带子带系数(1HH、1LH、1HL)(D19和D23)。注意到,在这些分量当中,仅仅低带子带分量进一步被进行分析滤波。如此,对于每个划分层的低带子带系数,递归地重复分析滤波直到所设置的划分层(最高顺序层)。另一方面,高带子带系数不被更进一步地分析。也就是说,垂直分析滤波器单元118向外部输出此时生成的高带子带(1HL、1LH、1HH)的频率分量(D23)。
另一方面,低带子带(1LL)的频率分量被输出到水平分析滤波器单元119中(D19)。水平分析滤波器单元119对提供给内部存储器的低带子带频率分量执行相应划分层(在这种情况下为划分层2)的水平分析滤波(水平方向低带分析滤波和高带分析滤波),并且生成作为水平分析滤波的结果的低带分量和高带分量。随后,重复此后的处理。
也就是说,参照图3如上所述,水平分析滤波器单元119在相应层的缓冲器(在这种情况下为层2缓冲器113)中,存储并且保持作为水平分析滤波的结果所获得的频率分量的系数(低带和高带分量)(D20)。
当作为水平分析滤波的结果所获得的频率分量的系数在层2缓冲器113中被累加预定数量垂直线,从而可以执行垂直分析滤波时,必要数量垂直线的频率分量的系数从层2缓冲器113中读出(D13),并且选择器116被输入到垂直分析滤波器单元118中(D16)。随后,从中间计算缓冲器单元117中读出中间计算系数(D18),并且利用其中间计算系数执行划分层2垂直分析滤波。
在划分层2垂直分析滤波的中间的一部分系数作为划分层2垂直分析滤波的结果被存储在中间计算缓冲器单元117中,生成了由低带子带(2LL)和高带子带(2HH、2LH、2HL)组成的四个频带的频率分量。其中,高带子带(2HH、2LH、2HL)的系数被向外部输出(D23)。低带子带(2LL)的系数被提供给水平分析滤波器单元119(D19)。
水平分析滤波器单元119使划分层2低带子带(2LL)的系数进行划分层2水平分析滤波,以生成作为水平分析滤波结果的低带分量和高带分量。水平分析滤波器单元119将这些系数提供给层3缓冲器114来存储和保持(D21)。这些系数被再次提供给垂直分析滤波器单元118,并且执行垂直分析滤波。
这样,对每个划分层的低带子带的系数递归地执行垂直分析滤波和水平分析滤波,直到划分层到达最高阶层。在每个划分层处所生成的高带子带的系数被顺序地输出到外部(D23)。
当到达已被事先设定的划分层的最高阶层(划分层4)时,垂直分析滤波器单元118将其最高阶层的频率分量(4LL、4HL、4LH、4HH)输出到外部(D23)。从而完成了划分层4图像信号的小波变换。
如上所述,图1中所示的小波变换设备10具有从层1到预定数目层的每个划分层的缓冲器,在执行水平分析滤波的同时,将水平分析滤波结果存储在每个划分层的缓冲器中。因此,在从每个划分层的缓冲器中读出水平分析滤波的结果的同时,可以执行垂直方向滤波。也就是说,可以同时地并行执行水平方向和垂直方向分析滤波。这样,小波变换设备100可以以活动图像以及也具有高分辨率的图像的高速执行小波变换。
同样,利用图1中所示的小波变换设备100,中间计算缓冲器单元117连同从层1到预定数目层的每一划分层的缓冲器一起被提供,并且当执行垂直方向分析滤波时,接下来的处理所需的系数被保持,并且在接下来垂直分析滤波的时候,读出所述系数,这样不必配置外部存储器。
因此,不必与外部存储器交换数据,就可以以高速执行小波变换。因此,不必提高时钟频率以便增加在外部存储器与小波变换设备之间的数据的速度,从而节省了电能。
接下来,将详细描述在上述分析滤波中的计算方法。分析滤波计算方法中的最常见计算方法是一种被称作卷积计算的方法。该卷积计算利用对滤波器抽头系数上的实际输入数据执行卷积乘法,是实现数字滤波器的最基本方式。然而,利用卷积计算时,如果抽头长度很大,则有计算工作量因此增加的情况发生。
在″1996年的Appl.Comput.Harmon.Anal.卷3No.2第186-200页上的W.Swelden所著的″The lifting scheme:A custom-designconstruction of biorthogonal wavelets″″一文中所介绍的小波变换提升是处理这个问题的一种已知技术。
图5图解了利用JPEG(联合照相专家组)2000标准的9×7分析滤波器的提升模式。将描述将提升技术应用于该9×7分析滤波器的情况下的分析滤波。
在图5中所示的例子中,第一排(最高排)图解了输入图像(像素行)的样本组,而第二和第三排表明步骤A1和步骤A2所分别生成的分量(系数)。同样,第四排表明了步骤A3中的处理所生成高带分量输出,以及第五排表明在步骤A4中的处理所生成的低带分量输出。顶排不局限于输入图像的样本组,可以是从以前分析滤波中获得的系数。注意到,此处顶排是输入图像的样本组,具有代表偶数样本或行的实心正方形,以及代表奇数样本或行的实心圆。
利用将提升技术应用于9×7分析滤波器的分析滤波,通过步骤A3中的处理获得高带分量,以及通过步骤A4中的处理得到低带分量。步骤A1到步骤A4的处理可以由以下(1)到(4)表达式来表示。
步骤A1:di 1=di 0+α(si 0+si+10)...(1)
步骤A2:si 1=si 0+β(di-1 1+di 1)...(2)
步骤A3:di 2=di 1+γ(si 1+si+1 1)...(3)
步骤A4:si s=si 1+δ(di-1 2+si 2 ...(4)
其中α=-1.586134342,β=-0.05298011857,γ=0.8829110755,以及δ=0.4435068520
这样,利用应用提升技术的分析滤波,执行步骤A1和步骤A2的处理,步骤A3生成高带分量系数,随后步骤A4生成低带分量系数。可以从表达式(1)到(4)看出,此时所使用的滤波器组可以用单独相加和抵消计算来实现。因此,计算量可被明显的减少。这样,如下面所述,提升技术将被应用于小波变换设备100的水平分析滤波和垂直分析滤波。
首先,将详细描述由水平分析滤波器单元111和119执行的水平分析滤波。图6图解了利用图5中所示的提升模式,沿水平方向对系数组执行水平分析滤波的例子。
图6中所示的例子示出了对作为输入的水平方向系数进行上面根据图5所描述的四个步骤(步骤A1到A4)的处理的例子,从而利用从附图中的顶部向下进行的提升步骤的指示,生成高带分量系数(此后也被称作″高带系数″)和低带分量系数(此后也被称作″低带系数″)。并且,沿水平方向在系数上面所示出的数字是列的编号。
此外,位于顶部的第一排处的圆和正方形分别代表输入高带系数和低带系数,而后续排上的圆和正方形分别代表在提升计算的过程中生成的高带系数和低带系数。尤其是,画影线圆和方块分别代表作为提升计算的结果的高带系数和低带系数。
下面是按自顶部的顺序的操作的描述。图6中的顶排图解了一种情况,其中输入沿水平方向的三列系数-列号4到6,并且执行沿水平方向的提升模式的计算(此后被称作″水平提升计算″)。
为了获得水平提升计算的步骤A3中的第一高带系数,以及获得步骤A4中的第一低带系数,需要输入编号0到3的四列的系数。
随后,为了获得第二高带系数和低带系数,需要由粗实线指明的三个系数和由有圆圈的数字指明的编号5和6的两列的系数,此外,为了计算由步骤A2处的P1所指明的系数,由有圆圈的数字所指明的编号4的列的系数也是必须的。
由粗实线指明的三个系数是在用于获得第一高带系数和低带系数的水平提升计算(此后也被称作″第一水平提升计算″)的过程中所生成的一部分系数。
也就是说,为了获得第二高带系数和低带系数,最终需要输入编号4到6的三列的系数,并且此外,锁存在第一水平提升计算的过程中生成的、由粗实线指明的三个系数作为中间计算系数。实际上,利用该至多三个系数,通常被用作锁存器的触发器可被建成水平分析滤波器单元111和水平分析滤波器单元119。
因此,利用在第一水平提升计算时已被锁存的、由粗实线指明的这三个系数,以及已被输入的编号4到6三列的系数,执行水平提升计算在其计算过程终止点处生成包含第二高带系数和低带系数的四个系数(由粗虚线指明)。其中,由单虚线指明的三个系数是获得第三高带系数和低带系数所需的系数,并且因此被锁存在内置触发器中作为中间计算系数。
图6的下半部分示出了一种情况的例子,其中跟随列号6的系数的输入之后,水平方向上的两列的系数将被另外输入,即输入水平方向上的编号6到8的三列的系数,并且执行水平提升计算。
如同第二种情况一样,为了获得第三高带系数和低带系数,人们发现需要由粗实线指明的三个系数和由有圆圈的数字指明的编号7和8的两列的系数,此外,为了计算由步骤A2处的P2所指明的系数,由有圆圈的数字所指明的编号6的列的系数也是必须的。
注意到,如图例的上半部分单虚线所指明的,在下半部分由粗实线指明的三个系数在第二水平提升计算中已被锁存在触发器中。
因此,利用在第二水平提升计算时已被锁存的、由粗实线指明的这三个系数,以及已被输入的编号6到8三列的系数,执行水平提升计算生成包含第三高带系数和低带系数的四个系数(由粗虚线指明)。其中,由单虚线指明的三个系数是获得第四高带系数和低带系数所需的系数,并且因此被锁存在内置触发器中。
如此,在顺序地输入与系数等值的三列并且保持三个中间计算系数的同时,执行水平提升计算直到屏幕的最右列,从而完成水平方向分析滤波。
注意到,虽然上面已经描述了与利用提升模式进行水平分析滤波等值的一行的例子,但是将参照图7描述在顺序地从顶部到底部输入系数行的同时,利用上面的操作执行由提升模式进行水平分析滤波的操作。图7中以相同方式指明了对应于图5和图6中那些系数的系数,其描述将是多余的,因此将被省略。
图7在其左侧示意性地示出对每个输入行执行的水平提升计算的例子,并且在其右侧示意性地示出对作为顺序地沿垂直方向自顶向下提供的每个输入行的水平提升计算的结果所获得的系数执行垂直提升计算的例子。
按从左侧的顺序描述图例,第一输入行0的系数经过四个步骤的水平提升计算,从而生成由编号1到11指明的低带系数和高带系数。其中,分配奇数(1、3、5、7、9、11)的系数为低带系数,而分配双数的系数为高带系数。
尽管仅图解了输入行1,但是其适用于输入行1到输入行n。也就是说,对第一输入行1的系数进行四个步骤的水平提升计算,从而生成由编号1到11所指明的低带系数和高带系数,并且其中,分配奇数(1、3、5、7、9、11)于其的系数为低带系数,而分配双数(2、4、6、8、10)于其的系数为高带系数。
如图7中的右侧所示,分配作为输入行0的水平滤波的结果的1到11于其的系数沿水平方向从近侧到远侧、从顶部的第一排被提供。分配作为输入行1的水平滤波的结果的1到11于其的系数沿水平方向从近侧到远侧、从顶部的第二排被提供。作为输入行2的水平滤波的结果所获得的系数沿水平方向从近侧到远侧、从顶部的第三排被提供。
如上所述,如图7的右侧所示,作为输入行0到输入行n的水平滤波的结果所获得的系数沿垂直方向、自顶向下顺序地被提供。注意到,实际上作为输入行的水平滤波的结果的1到11被分配于其的系数具有从近侧到远侧交替地排列的低带和高带。
一旦预定数目的垂直方向系数已被累加,即一旦预定数目行被累加,就如图7的右侧的提升步骤的指示所指明、从左至右地执行沿垂直方向利用提升模式进行的计算(即垂直提升计算)。
接下来,将具体地描述由垂直分析滤波器单元118执行的垂直分析滤波。图8图解了如参照图2所描述的、沿垂直方向排列由水平分析滤波得到的系数,并且利用图5中所示的提升模式执行垂直分析滤波的情况。
注意到,该图例仅注意如图7的右侧概念上示出的、沿水平方向提供和排列的系数之一,显然实际上,需要与在小波变换的过程中生成的频率分量水平方向系数的数量一样多次地执行二维小波变换垂直方向分析滤波计算。
图8中所示的例子图解了一个例子,其中对垂直方向上的系数执行上面根据图5所描述的四个步骤(步骤A1到步骤A4),从而利用附图中从左至右进行的提升步骤的指示生成低带系数和高带系数。同样,垂直方向上的系数的左侧所示的数字表明行编号。
此外,左侧第一列上的圆圈和正方形分别表明输入高带系数和低带系数,第二列和后续列上的圆圈和正方形分别表明在提升计算的过程中所生成的高带系数和低带系数,并且尤其,画影线的圆圈和正方形分别表明作为提升计算的结果所生成高带系数和低带系数。
现在将按从左侧的顺序描述操作。图8的左侧图解了一个例子,其中沿垂直方向输入编号4到6的三行的系数,并且执行垂直提升计算。
为了获得垂直提升计算的步骤A3中的第一高带系数,以及获得步骤A4中的第一低带系数,行编号0到3的四行的系数是必须的。
随后,为了获得第二高带系数和低带系数,需要由粗实线指明的三个系数和由有圆圈的数字指明的编号5和6的两行系数,此外,为了计算由步骤A2处的P1所指明的系数,由有圆圈的数字所指明的编号4的行的系数也是必须的。
由粗实线指明的三个系数是在用于获得第一高带系数和低带系数的垂直提升计算(此后也被称作″第一垂直提升计算″)的过程中所生成的一部分系数。
也就是说,为了获得第二高带系数和低带系数,最终需要输入编号4到6的三行的系数,并且此外,在图1中所示的中间计算缓冲器单元117中,存储在第一垂直提升计算的过程中生成的、由粗实线指明的三个系数作为中间计算系数。此时,从相应层的缓冲器中,针对每层读出垂直方向上的三行的系数。也就是说,如果当前小波变换划分层是2,则从层2缓冲器113读出系数。
因此,利用在第一垂直提升计算时已被存储在中间计算缓冲器单元117中的、由粗实线指明的这三个系数,以及已被输入的编号4到6的三行的系数,执行垂直提升计算获得包含第二高带系数和低带系数的四个系数(由粗虚线指明)。其中,由单虚线指明的三个系数是获得第三高带系数和低带系数所需的系数,并且因此被存储在中间计算缓冲器单元117中。
图8的右侧示出了一种情况的例子,其中跟随读出行号6的系数之后,额外读出两行,即输入垂直方向上的编号6到8的三行的系数,并且执行垂直提升计算。
如同第二种情况一样,为了获得第三高带系数和低带系数,人们发现需要由粗实线指明的三个系数和由有圆圈的数字指明的编号7和8的两行的系数,此外,为了计算由步骤A2处的P2所指明的系数,由有圆圈的数字所指明的编号6的行的系数也是必须的。
注意到,如图例的左侧的单虚线所表明的,右侧由粗实线指明的三个系数在第二垂直提升计算中已被存储在中间计算缓冲器单元117中。
因此,利用在第二垂直提升计算时已被存储的、由粗实线指明的这三个系数,以及已从相应层缓冲器中读出并且输入的编号6到8的三行的系数,执行垂直提升计算获得包含第三高带系数和低带系数的四个系数(由粗虚线指明)。其中,由单虚线指明的三个系数是获得第四高带系数和低带系数所需的系数,并且因此被存储在中间计算缓冲器单元117中。
如此,在顺序地输入与系数等值的三行并且保持三个中间计算系数的同时,执行垂直提升计算直到屏幕的最后行,从而完成垂直方向分析滤波。
如上所述,每当执行垂直分析滤波,即频繁执行时,都执行访问中间计算缓冲器单元117(数据的读出和写入)。采用一种利用在用于实现所述垂直分析滤波器单元118的LSI(大规模集成)外部所提供大容量存储器(外部存储器)的方法可被认为是一种用于实现中间计算缓冲器单元117的方法,但是通常,所外部存储器的操作速度同LSI芯片内的计算处理单元比较起来较低,所以其操作较慢。同样,为了访问外部存储器,有必要通过操作速度较低的、为另一个处理单元所采用的共享总线,因此数据的读出和写入可能更慢。因此,当利用这样的外部存储器实现具有较高存取次数的中间计算缓冲器单元117时,垂直分析滤波的处理速度可能大大降低,并且延迟时间增加。
因此,期望利用在用于实现所述垂直分析滤波器单元118的LSI芯片内所提供的、能够高速操作的存储器来实现中间计算缓冲器单元117。同样在这种情况下,期望实现更高速的访问。图9的模块图图解了中间计算缓冲器单元117的配置例子。
如图9所示,中间计算缓冲器单元117包含数据链接单元131、端口1SRAM(静态随机存取存储器)132和数据分割单元133。
数据链接单元131将自垂直分析滤波器单元118连续提供的16位数据的两段链接起来(D51),以生成32位数据,并且将其提供给端口1SRAM 321(D55)。数据链接单元131包含选择器141、延迟单元142和打包单元143。
选择器141将连续提供的两段16位数据当作一对,并且分配其,以便将先提供的一个提供给延迟单元142(D52),而将后提供的另一个提供给打包单元143(D54)。延迟单元142将所提供的16位数据的定时延迟一个周期(直到下一个数据提供定时),然后将其提供给打包单元143(D53)。也就是说,两段数据被同时提供给打包单元143。打包单元143链接两段16位数据以生成32位数据,并且将其32位数据提供给端口1SRAM 321以保持(D55)。
数据分割单元133从端口1SRAM 132中读出32位数据(D56),将该一段32位数据划分成两段16位数据,并且连续输出其(D60)。数据分割单元133包含16位分离单元144、延迟单元145和选择器146。
16位分离单元144将从端口1SRAM 132中读出的32位数据分离成高16位和低16位,以生成两段16位数据,并且将作为高16位的16位数据提供给选择器146(D57),而将作为低16位的16位数据提供给延迟单元145(D58)。延迟单元145将作为低16位的16位数据的定时延迟一个周期,并且将其提供给选择器146(D59)。选择器146每个周期交替地切换输入给16位分离单元144或延迟单元145。这样,两段16位数据按顺序被连续输出(D60)。
端口1SRAM 132是用于利用一个系统执行数据的写入和读取的记录介质,并且被控制单元120控制来存储从数据链接单元131的打包单元143中提供的32位数据,以及将所存储的32位数据输出给数据分割单元133的16位分离单元144。
在嵌入被数据存储设备采用的LSI芯片的存储器中,RAM(随机访问存储器)电执行数据的写入和读取,所以其操作是高速的,但是每增加区的价格是昂贵的,从而导致很难大量地使用其的缺点。作为一种RAM类型,存在采用触发器电路作为存储单元的SRAM。SRAM具有高速操作的优点,从而不必执行用于存储和保持数据的操作,但是其具有复杂的电路,因此,集成可能较难。也就是说,为了提高集成度,可以减少多少容量的SRAM是至关重要的。
通常,对于SRAM来说,有不能同时执行数据的输入和输出的端口1SRAM,和可以同时执行数据的输入和输出的端口2SRAM,并且每个均具有诸如图10A或10B中所示的输入和输出终端。
也就是说,如图10A所示,端口1SRAM通常具有输入时钟信号″CLK″到其的端子、输入芯片使能信号″CEN″到其的端子、输入使能信号″EN″到其的端子-其控制数据的输入/输出、输入地址信息″ADR″到其的端子-其指定用于写入32位数据的地址或读出32位数据的地址、输入32位写数据″WD″到其的端子和从其输出32位读出数据″RD″的端子。
另一方面,如图10B所示,端口2SRAM通常具有输入写时钟信号″WCLK″到其的端子、输入写控制使能信号″WEN″到其的端子、输入写入地址信息″WADR″到其的端子-其指定用于写32位数据的地址、输入32位写数据″WD″到其的端子、输入读出时钟信号″RCLK″到其的端子、输入读出控制启动信号″REN″到其的端子、输入读出地址信息″RADR″到其的端子-其指定用于读出32位数据的地址和从其输出32位读出数据″RD″的端子。
在图10A中所示的端口1SRAM的情况下,芯片使能信号″CEN″是用于切换读出操作和写操作的信号,读出操作和写操作共享使能信号″EN″和地址信息″ADR″两个信号。例如,在芯片使能信号″CEN″指定读出操作的情况下,使能信号″EN″变为用于控制读出操作定时的信号,而地址信息″ADR″变为用于指定将被读出的数据的地址的信号。反之,在芯片使能信号″CEN″指定写操作的情况下,使能信号″EN″变为用于控制写操作定时的信号,而地址信息″ADR″变为用于指定将被写入的数据的地址的信号。也就是说,端口1SRAM不能同时执行读出操作和写操作。
另一方面,在图10B中所示的端口2SRAM的情况下,用于控制写操作的信号和用于控制读出操作的信号是相互完全独立的。也就是说,端口2SRAM可以在任意时间执行读出操作和写操作,并且因此,可以并行地执行读出操作和写操作。
图11A和11B的示意图图解了在这样的端口1SRAM和端口2SRAM中写入四段数据的时序图,并且紧接着从其读出这些数据段。图11A图解了端口1SRAM的时序图例子,而图11B图解了端口2SRAM的时序图例子。
如图11A中所示,在端口1SRAM的情况下,在根据SRAM的时延的一个周期之后,基于使能信号″EN″连续写四个数据段(四个周期),所写的四个数据段被连续读出(四个周期)。因此,端口1SRAM需要总共9个周期的时间用于四个数据段的写和读出处理。注意到,″周期″表示处理的同步计时,即作为定时共享的递增的时间。此处,例如表明数据的写或读出定时(或其周期)。
另一方面,如图11B所示,在端口2SRAM的情况下,写控制使能信号″WEN″和读出控制使能信号″REN″两者均存在,从而四个数据段的读出操作和写操作可被并行化。因此,如图11B所示,利用端口2SRAM,利用四个周期可以执行读出操作和写操作,并且利用包含一个周期的时延在内的总共五个周期可以完成处理。
在HDTV(高清晰度电视)的情况中,一行的水平尺寸是1920个像素,所以当其等值的一行的系数被写入端口1SRAM,并且进一步地,被读出时,需要1920×2=3840个周期。也就是说,利用分析滤波,当端口1SRAM被用作中间计算缓冲器单元117时,延迟时间可能增加。
为了减少该周期数,需要采用端口2SRAM而不是端口1SRAM,但是端口2SRAM通常相当于在内部具有两个端口1SRAM的配置,生产成本昂贵,并且电路面积通常达到两倍于端口1SRAM的。在一个普通情况下,利用存储器的电路规模,占用率在LSI芯片之间较高,并且存储器区域的增加可导致芯片面积的增加。
因此,此处做出一个方案,其中如图9所示,端口1SRAM 132被用作中间计算缓冲器单元117,利用数据链接单元131链接端口1SRAM 132中的待写数据以生成32位数据,利用端口1SRAM 132按32位的递增读出数据,利用数据分割单元133将其32位数据分成两段16位数据,从而对端口1SRAM 132的数据的读出和写可被并行操作。
参照图12中所示的时序图,将对有关图9中所示的中间计算缓冲器单元117的均单元的操作流程进行描述。
如从图12的上面数第四排所示,当第一周期上提供16位写数据(16位WD)″0″时,数据链接单元131的选择器141通过延迟单元142将数据″0″延迟一个周期,并且将其提供给打包单元143。随后,当第二周期上提供16位写数据″1″时,数据链接单元131的选择器141将数据″1″提供给打包单元143。在第二周期上,打包单元143链接其数据″0″和″1″给生成32位写数据(32位WD)″0,1″,并且根据用图12从上面数第一排到第三排表示的写指令,将数据″0,1″写入地址″0″中。
同样,如从图12上面数第四排所示,当在第三周期上提供16位写数据(16位WD)″2″时,数据链接单元131的选择器141通过延迟单元142将数据″2″延迟一个周期,并且将其提供给打包单元143。也就是说,在该第三周期上,不执行写入端口1SRAM 132。
因此,在其第三周期上,数据分割单元133的16位分离单元144根据从图12上面数第一排到第三排指明的读出指令,读出写入地址″0″中的32位数据,并且将读出数据(32位RD)″0,1″分成两段16位数据(数据″0″和数据″1″)。16位分离单元144将被分开的一个数据″0″提供给选择器146,并且通过延迟单元145将另一个数据″1″延迟一个周期来将其提供给选择器146。选择器146顺序地输出数据″0″和数据″1″(16位RD)。
如上所述,在第四周期上,在第三周期上被延迟并且被提供给打包单元143的数据″2″,被链接到在第四周期上没有通过延迟单元142、从数据链接单元131的选择器141提供给打包单元143的16位写数据″3″,以生成32位写数据(32位WD)″2,3″。在第四周期上,打包单元143根据从图12上面数第一排到第三排表示的写指令,将数据″2,3″写入地址″1″。
如同第三周期,在第五周期上,数据分割单元133的16位分离单元144根据从图12上面数第一排到第三排指明的读出指令,读出写入地址″1″中的32位数据,并且将读出数据(32位RD)″2,3″分成两段16位数据(数据″2″和数据″3″)。16位分离单元144将被分开的一个数据″2″提供给选择器146,并且通过延迟单元145将另一个数据″3″延迟一个周期来将其提供给选择器146。选择器146顺序地输出数据″2″和数据″3″(16位RD)。
如上所述,两段16位数据当作32位数据被读出和写入端口1SRAM,从而中间计算缓冲器单元117基于时间分用可以同时并行地根据数据链接单元131执行写入,以及根据数据分割单元133执行读出,因此,四个数据段在总共五个周期里可被写入从端口1SRAM 132并且还可从其读出。注意到,术语″同时并行地″是指从写开始到写结束的时间与从读出开始到读出结束的时间重叠,严格地说,这些读出和写工作未被″同时″执行,也未被″并行″执行(基于时间分用交替地执行)。
因而,小波变换设备100可抑制中间计算缓冲器单元117的电路规模方面的增加,以高速操作中间计算缓冲器单元117,从而基于小波变换在时间延迟方面的增加可被抑制。也就是说,小波变换设备100还可减少小波变换处理的延迟时间,以及降低成本。
注意到,迄今为止已经对端口1SRAM 132按32位的递增执行数据的输入/输出进行了描述,但是对于端口1SRAM 132来说数据的输入/输出的数据递增是任意的。同样,已经对按16位的递增执行关于中间计算缓冲器单元117的数据的输入/输出做出描述,但是对于中间计算缓冲器单元117来说数据的输入/输出的数据递增同样是任意的。也就是说,图10中所示的数据链接单元131和数据分割单元133的配置是一个例子,实际上,其由关于端口1SRAM 132的数据的输入/输出的数据递增和关于中间计算缓冲器单元117的数据的输入/输出的数据递增来确定。
然而,基本配置类似于图10中所示的例子。也就是说,数据链接单元131通过利用多个周期,按预定的数据递增链接输入到中间计算缓冲器单元117的多个数据段,按端口1SRAM 132的数据输入递增生成一段或多段数据,使得将被生成的数据的数量小于所提供的数据的数量,并且通过利用相当于数据的数量的周期将其数据提供给端口1SRAM 132以保持其。同样,数据分割单元133通过利用相当于其数据的数量的周期,按端口1SRAM 132的数据输出递增从端口1SRAM132中读出一个或多个数据段,将读出的数据按中间计算缓冲器单元117的数据输出递增分成多段数据,以便从中间计算缓冲器单元117输出这些数据。端口1SRAM 132交替地按数据输入/输出递增执行数据的读出和写。
将对由参照图13中所示的流程图如此配置的小波变换设备100来执行的小波变换处理的流程例子进行描述。注意到,该小波变换处理按预定的处理递增来执行。
当小波变换处理开始时,在步骤S101中,小波变换设备100的水平分析滤波器单元111执行层1水平分析滤波,在步骤S102中将作为水平分析滤波的结果所获得的系数存储在具有对应于其系数的划分层的层、层独立的缓冲器单元121的缓冲器中。
在步骤S103中,垂直分析滤波器单元118执行垂直分析滤波,读出在步骤S102中存储的系数,并且执行对应于其系数的垂直分析滤波。稍后将描述垂直分析滤波的细节。
当垂直分析滤波完成时,控制单元120判断垂直分析滤波是否已经执行到最高阶层。如果判定最高阶层的垂直分析滤波尚未被完成,则进程前进到步骤S105。在步骤S105中,垂直分析滤波器单元118外部输出所生成高带子带系数。在步骤S106中,水平分析滤波器单元119对由垂直分析滤波器单元118生成的低带子带系数进行水平分析滤波。当步骤S106中的处理完成时,进程返回到步骤S102,重复后续处理。也就是说,重复步骤S102到S106中的处理,从而对每一划分层执行分析滤波。
随后,如果在步骤S104中判定最高阶层的分析滤波已经完成,则进程前进到步骤S107。在步骤S107中,垂直分析滤波器单元118外部输出全部最高阶层的系数。当在步骤S107中的处理结束时,小波变换处理终止。
接下来,参照图14中所示的流程图,将对图13中所示的步骤S103中执行的垂直分析滤波的详细流程例子进行描述。
当垂直分析滤波开始时,在步骤S121中,垂直分析滤波器单元118从具有对应于将被处理的当前划分层的层、层独立缓冲器单元121的缓冲器中获得数据。在步骤S122中,垂直分析滤波器单元118执行垂直分析提升计算以生成较高一层系数。在步骤S123中,垂直分析滤波器单元118执行缓冲器输入/输出处理,从而将所计算的系数写入中间计算缓冲器单元117中,并且读出下一次计算所需的系数。稍后将描述该缓冲器输入/输出处理的细节。
当缓冲器输入/输出处理结束时,在步骤S124中,控制单元120判断垂直分析滤波是否结束,如果判定未处理的系数,则垂直分析滤波继续,进程返回到步骤S121,重复后续的处理。同样,如果在步骤S124中判定垂直分析滤波结束,则垂直分析滤波结束。
接下来,参照图15中所示的流程图,将对图14中所示的步骤S123中执行的缓冲器输入/输出处理的详细流程例子进行描述。
当缓冲器输入/输出处理开始时,在步骤S141中,数据分割单元133从缓冲器,即端口1SRAM 132中读出32位数据,并且在步骤S142中将读出的32位数据划分成16位数据以输出其。
在步骤S143中,数据链接单元131链接连续提供的两段16位写数据以生成一段32位数据,并且在步骤S144中,在缓冲器即端口1SRAM132中写入其32位数据。
在步骤S145中,控制单元120判断所需数据的读出和写是否已全部完成,如果判定所需数据的读出和写尚未完成,则进程返回到步骤S141,重复后续的处理。同样,如果判定所需数据的读出和写已经全部完成,则控制单元120结束缓冲器输入/输出处理。
如上所述,利用小波变换设备100,具有如图9中所示的配置的端口1SRAM被采用为中间计算缓冲器单元117,小波变换处理的延迟时间从而可被减少,成本也可被减少。
注意到,只要小波变换设备包含用于同时并行地执行数据的输入/输出的中间计算缓冲器单元,其它配置可以不同于上述配置。此后,将对有关小波变换设备的其它配置例子进行描述。
图16的图例图解了的本发明的实施例适用于其的小波变换设备的另一个配置例子。这些小波变换设备200是一种带分析设备,其中当对输入图像信号进行水平滤波和垂直滤波时,低带分量被分层地划分直到预定的划分层(在图16中所示的例子中为划分层4)。
图16中所示的小波变换设备包含交叉单元210、水平分析滤波器单元211、层1缓冲器212、层2缓冲器213、层3缓冲器214、层4缓冲器215、选择器216、Y(亮度)垂直分析滤波器单元217、C(色差)垂直分析滤波器单元218、交叉单元219、水平分析滤波器单元220、控制单元221、中间计算Y缓冲器单元223和中间计算C缓冲器单元224。
作为图像信号分量的亮度信号(亮度分量信号)和色差信号(色差分量信号)被输入到交叉单元210中(D10和D11)。注意到,此后视情况而定,亮度(分量)也将称作Y,而色差(分量)也将被称作C。交叉单元210交叉亮度信号和色差信号。注意到,在其中Y和C被交叉的图像信号被输入的情况中,显然不需要交叉单元210的处理。交叉的图像信号被输入到水平分析滤波器单元211(D112)。
水平分析滤波器单元211对其中Y和C被交叉的图像信号沿划分层1的水平方向进行低带分析滤波和高带分析滤波,并且生成由作为水平分析滤波结果的低带分量系数和高带分量系数组成的频率分量系数(此后视情况而定,也被称作低带分量、高带分量和频率分量)。
此时,利用水平分析滤波器单元211,在交替地从未示出的内部存储器(寄存器)中读出在基带上非连续位置上布置的Y或C数据的同时,对Y和C交替地执行低带分析滤波和高带分析滤波。
层1缓冲器212存储并且保持划分层1水平分析滤波的结果。也就是说,作为由水平分析滤波器单元211进行的划分层1水平分析滤波的结果的Y频率分量(低带分量和高带分量)和C频率分量(低带分量和高带分量)每个均被提供(D113),所以层1缓冲器212分别存储并且保持其。随后,一旦累加与数据(频率分量)等值的预定数量垂直线从而可以执行垂直方向上的分析滤波,层1缓冲器212读出与其频率分量等值的累加垂直线以将其提供给选择器216(D114)。
层2缓冲器213存储并且保持划分层2水平分析滤波的结果。也就是说,作为由水平分析滤波器单元220进行的划分层2水平分析滤波的结果的Y频率分量(低带分量和高带分量)和C频率分量(低带分量和高带分量)每个均被提供(D122),所以层2缓冲器213分别存储并且保持其。随后,一旦累加与数据(频率分量)等值的预定数量垂直线从而可以执行垂直方向上的分析滤波,层2缓冲器213读出与其频率分量等值的累加垂直线以将其提供给选择器216(D115)。
层3缓冲器214存储并且保持划分层3水平分析滤波的结果。也就是说,作为由水平分析滤波器单元220进行的划分层3水平分析滤波的结果的Y频率分量(低带分量和高带分量)和C频率分量(低带分量和高带分量)每个均被提供(D122),所以层3缓冲器214分别存储并且保持其。随后,一旦累加与数据(频率分量)等值的预定数量垂直线从而可以执行垂直方向上的分析滤波,层3缓冲器214读出与其频率分量等值的累加垂直线以将其提供给选择器216(D116)。
层4缓冲器215存储并且保持划分层4水平分析滤波的结果。也就是说,作为由水平分析滤波器单元220进行的划分层4水平分析滤波的结果的Y频率分量(低带分量和高带分量)和C频率分量(低带分量和高带分量)每个均被提供(D122),所以层4缓冲器215分别存储并且保持其。随后,一旦累加与数据(频率分量)等值的预定数量垂直线从而可以执行垂直方向上的分析滤波,层4缓冲器215读出与其频率分量等值的累加垂直线以将其提供给选择器216(D117)。
注意到,层1缓冲器212到层4缓冲器215也被共同称作层独立缓冲器单元222。
在Y垂直分析滤波器单元217和C垂直分析滤波器单元218的控制下,层独立缓冲器单元222的层1缓冲器212到层4缓冲器215的选择器216选择相应划分层的输出(D114到D117),并且将选定的输出输出给Y垂直分析滤波器单元217和C垂直分析滤波器单元218作为频率分量(D118)。
Y垂直分析滤波器单元217和C垂直分析滤波器单元218获得与从选择器216中提供的频率分量等值的预定数量垂直线(D118),并且对其频率分量进行Y和C垂直分析滤波器。
也就是说,Y垂直分析滤波器单元217利用选择器216来从具有对应于将被处理的当前划分层的划分层的缓冲器中读出与Y频率分量等值的预定数量垂直线(D118),并且还从中间计算Y缓冲器单元223中获得由先前分析滤波得到的一部分系数,利用其来执行Y垂直方向低带分析滤波和高带分析滤波,并且仅输出作为Y低带子带系数的低带分量给交叉单元219(D119),输出Y高带子带系数给小波变换设备200的未示出的外部(此后简称为外部)(D123)。
C垂直分析滤波器单元218利用选择器216来从具有对应于将被处理的当前划分层的划分层的缓冲器中读出与C频率分量等值的预定数量垂直线(D118),并且还从中间计算C缓冲器单元224中获得由先前分析滤波得到的一部分系数,利用其来执行C垂直方向低带分析滤波和高带分析滤波,并且仅输出作为C低带子带系数的低带分量给交叉单元219(D120),从小波变换设备200中输出高带子带系数到外部(此后,与设备的外部相互作用,例如针对该设备的输入/输出将被简称为由″外部地″)(D124)。
交叉单元219交叉从Y垂直分析滤波器单元217中提供的Y低带分量和从C垂直分析滤波器单元218中提供的C低带分量。交叉的低带分量被输入给水平分析滤波器单元220(D121)。
除了将被处理的频率分量的划分层不同,水平分析滤波器单元220与水平分析滤波器单元211基本以相同方式配置。也就是说,利用水平分析滤波器单元220,在交替地从未示出的内部存储器中读出在基带上的非连续位置上布置的Y或C数据的同时,对Y和C低带分量交替地执行水平方向上的低带分析滤波和高带分析滤波。
随后,水平分析滤波器单元220将作为水平分析滤波的结果的频率分量(低带分量和高带分量)提供给层独立缓冲器单元222的、具有对应于频率分量的划分层的划分层的缓冲器(层2缓冲器213到层4缓冲器215中的一个)(D122)来存储和保持其。
控制单元221由例如包含CPU(中央处理单元)、ROM(只读存储器)和RAM(随机访问存储器)等等的微型计算机构成,并且通过执行各种类型程序来控制小波变换设备200的每个单元的处理。
接下来,将对该小波变换设备的操作流程进行描述。
图像信号被从外部输入到交叉单元210中(D110和D111)。例如,如果输入作为图像信号的元素的亮度信号和色差信号,交叉单元210在内部存储器中交叉亮度信号和色差信号。交叉的图像信号被输入到水平分析滤波器单元211(D12)。
水平分析滤波器单元211对其中Y和C被交叉的图像信号执行划分层1水平分析滤波。也就是说,水平分析滤波器单元211具有未示出的内部存储器(或寄存器),并且如图17所示,其中Y和C已被交叉的图像信号被交替地提供于内部存储器中。利用图17中的例子,图解了其中交替地提供于存储器中的、由正方形表示的Y和C的图像信号的基带图像。
水平分析滤波器单元211读出按进阶方式位于内部存储器中所提供的基带上的预定数目的Y数据(在图2的情况中为三个样本)或预定数目的C数据,同时交换位置,并且交替地执行Y水平方向低带分析滤波和高带分析滤波,以及C水平方向低带分析滤波和高带分析滤波。
水平方向数据被容易地给予存储器地址。因此,从存储器中交替地读出Y数据并且C数据的同时,很容易地按水平分析滤波器单元211上的顺序执行水平分析滤波。
水平分析滤波器单元211将通过划分层1水平分析滤波所获得的频率分量存储到层1缓冲器212中。
此时,如图18所示,水平分析滤波器单元211交叉作为Y水平分析滤波的结果的Y高带分量(H)和低带分量(L),并且独立于C地存储在层1缓冲器212中,然后交叉作为C水平分析滤波的结果的C高带分量和低带分量,并且独立于Y地存储在层1缓冲器212中。
可以想到一种方法,如图19所示,其中水平分析滤波的结果被分成高带分量和低带分量,并且因而针对Y和C被存储在缓冲器中。然而,在这种情况下,控制可变得很复杂,需要执行将高带分量和低带分量映射到缓冲器中的不同地址,为了实现这一点需要单独的控制器。
反之,利用图解了根据本实施例的一个例子的图18中所示的例子,Y高带分量(H)和低带分量(L)被交替地存储在层1缓冲器212中,而C高带分量(H)和低带分量(L)被交替地存储在不同于Y的地址上。也就是说,针对每个Y和C,作为水平分析滤波的结果的高带分量和低带分量由水平分析滤波器单元211交叉地存储在层1缓冲器212中,这样在读出存储在层1缓冲器212中的频率分量的时候,全部所需的仅是从层1缓冲器212的前面读取,从而简化了控制。
例如,当通过水平分析滤波所获得的频率分量在图18中所示的层1缓冲器212中被累加预定数目垂直线(在图18中所示的情况下为三行),从而可以执行垂直分析滤波时,Y垂直分析滤波器单元217和C垂直分析滤波器单元218通过控制选择器216以便选择层1缓冲器212的输出,从层1缓冲器212中读取必要数量垂直线的系数。
同样,Y垂直分析滤波器单元217从中间计算Y缓冲器单元223中获得由先前垂直分析滤波得到的系数。Y垂直分析滤波器单元217采用这些系数来执行Y垂直分析滤波。类似地,C垂直分析滤波器单元218从中间计算C缓冲器单元224中获得由先前垂直分析滤波得到的系数,采用这些系数和从层1缓冲器单元212中获得的系数来执行C垂直分析滤波。Y垂直分析滤波和C垂直分析滤波被并行地相互执行。
通过划分层1Y和C垂直分析滤波(即划分层1Y和C分析滤波的结果),针对Y和C生成四个子带频率分量,如图20所示,其由低带子带(1LL)和高带子带(1HH、1LH、1HL)组成。注意到,在图20中所示的例子中,利用″L″和″H″的顺序,按该顺序左侧表明作为先前执行水平分析滤波的结果的带宽(低带或高带),而右侧表明作为执行垂直分析滤波的结果的带宽(低带或高带)。此外,″L″或″H″前面的数字表明划分层。
这是划分层1分析滤波,因此在Y垂直分析滤波器单元217上生成Y低带子带(1LL)系数和高带子带(1HH、1LH、1HL)系数,在C垂直分析滤波器单元218上生成C低带子带(1LL)系数和高带子带(1HH、1LH、1HL)系数。在这些系数中,只有低带子带(1LL)系数进一步被进行分析滤波。这样,对每个划分层的低带子带系数递归地重复分析滤波,直到设定划分层(最高顺序层)。另一方面,高带子带系数不被更进一步地分析。也就是说,Y垂直分析滤波器单元217向外输出此时生成的高带子带(1HL、1LH、1HH)频率分量(D123)。类似地,C垂直分析滤波器单元218也向外输出此时生成的高带子带(1HL、1LH、1HH)频率分量(D124)。
另一方面,Y低带子带(1LL)频率分量和C低带子带(1LL)频率分量被输出给交叉单元219(D119和D120)。交叉单元219交叉Y低带子带(1LL)频率分量与C低带子带(1LL)频率分量,并且将交叉的频率分量输入给水平分析滤波器单元220(D121)。
也就是说,如图21所示,利用在被输入给水平分析滤波器单元220时的频率分量,Y低带子带(1LL)频率分量和C低带子带(1LL)频率分量被交替地交叉和合成。注意到,在图21中所示的例子中,朝向底部所示出的Y和C的交叉之后的低带子带(1LL)的尺寸被图解成与由虚线表明的、交叉之前的单独的Y或C的低带子带(1LL)一样大小,但实际上,其尺寸是单独的Y或C的低带分量的两倍。
水平分析滤波器单元220对其中Y和C已被交叉的频率分量执行水平分析滤波(水平方向低带分析滤波和高带分析滤波),并且生成作为水平分析滤波的结果的低带分量和高带分量。
水平分析滤波器单元220将通过水平分析滤波所获得的频率分量提供给对应于频率分量的划分层的所述层的缓冲器(在这种情况下为层2缓冲器213),以存储和保持其。
随后,当通过水平分析滤波所获得的频率分量在层2缓冲器213中被累加预定数目垂直线,从而可以执行垂直分析滤波时,层2缓冲器213读出预定数目垂直线的频率分量,并且经由选择器216将其提供给Y垂直分析滤波器单元217和C垂直分析滤波器单元218。Y垂直分析滤波器单元217对与Y频率分量等值的预定数目垂直线进行划分层2Y垂直分析滤波,而C垂直分析滤波器单元218对与C频率分量等值的预定数目垂直线进行划分层2C垂直分析滤波。
通过划分层2Y和C垂直分析滤波,针对每个Y和C,生成四个子带频率分量,其由低带子带(2LL)和高带子带(2HH、2LH、2HL)组成。其中,高带子带分量每个均被向外部输出(D123和D124)。
同样,低带子带(2LL)频率分量被提供给交叉单元219(D119和D120)。交叉单元219交叉低带子带(2LL)频率分量的Y和C,以将其提供给水平分析滤波器单元220(D121)。水平分析滤波器单元220对交叉的低带子带(2LL)频率分量进行水平分析滤波。该处理结果被提供给层独立缓冲器单元222的层3缓冲器214以保持其(D122)。在Y垂直分析滤波器单元217和C垂直分析滤波器单元218上对这些系数再次进行垂直分析滤波。
如上所述,对每个划分层的低带子带系数递归地执行垂直分析滤波和水平分析滤波,直到划分层到达最高阶层。每个划分层上生成的高带子带系数按顺序被输出到外部(D123和D124)。
当到达已被事先设定的划分层的最高阶层(划分层4)时,Y垂直分析滤波器单元217和C垂直分析单元218将其最高阶层的全部频率分量(4LL、4HL、4LH、4HH)输出到外部(D123和D124)。如此,划分层4图像信号小波变换结束。
如上所述,图16中所示的小波变换设备200具有从层1到预定数目层的每一划分层的缓冲器,在执行水平分析滤波的同时,将水平分析滤波结果存储在每个划分层的缓冲器中。因此,在从每个划分层的缓冲器中读出水平分析滤波的结果的同时,可以执行垂直方向滤波。也就是说,可以同时并行地执行水平方向和垂直方向滤波。
这样,小波变换设备200也可以以活动图像和具有高分辨率的图像的高速执行小波变换。
同样,图16中所示的小波变换设备200不仅包含从层1到预定数目层的每一划分层的缓冲器(层独立缓冲器单元222),而且还包括中间计算Y缓冲器单元223和中间计算C缓冲器单元224,并且在执行垂直方向分析滤波时,在中间计算Y缓冲器单元223和中间计算C缓冲器单元224上保持接下来的处理所需的系数,并且在接下来进行垂直分析滤波的时候,读出并且使用其系数,所以不必在外部配置存储器。
因此,不必与外部存储器交换数据,就可以以高速执行小波变换。因此,不必提高时钟频率以便增加在外部存储器与小波变换设备之间的数据的速度,从而节省了电能。
同样,对其中Y和C被交叉的频率分量执行水平方向分析滤波,所以水平分析滤波单元可以是单配置,明显地有利于减少硬件尺寸。沿水平方向交叉的这些数据可被容易地提供给寄存器或存储器,并且进一步地,可被以高速读写,从而利于小波变换的较高速度。
进一步地,如上参照图18和19所描述的,针对每个Y和C交叉作为水平分析滤波的结果的高带分量和低带分量,并且存储在对应每一层的缓冲器中,其中Y和C被分别存储,所以在读出的时候,所需的只是从该层的缓冲器的前面读出,从而简化控制。
同样,分别针对Y和C执行垂直方向分析滤波,因此不需要很大的存储器容量,其在不分别针对Y和C执行图22中所示的垂直方向分析滤波的情况下是必须的,并且可以防止成本上的急剧增加。此外,也可以防止对额外处理时间的需要。
现在,图22将被用于具体地描述一种情况,其中不分别针对Y和C执行垂直方向分析滤波,即其中Y和C如利用水平分析滤波器单元211和220时一样被交叉,然后在交换Y和C的同时交替地执行Y和C垂直分析滤波,以便将这种方案与本发明的一个实施例相比较。
按图22的例子中示出了其中提供交叉的Y和C的行缓冲器的例子。如果图像由n行构成,例如,首先,行缓冲器上提供了第一行的亮度分量Y1,接着提供第一行的色差分量C1,提供第二行的亮度分量Y2,接下来提供第二行的色差分量C2,提供第三行的亮度分量Y3,接着提供第三行的色差分量C3等等,直到提供第n行的亮度分量Yn,接着提供第n行的色差分量Cn,从而交叉的Y和C被提供给行缓冲器。
也就是说,在如图16中所示的Y垂直分析滤波器单元217和C垂直分析滤波器单元218那样分别处理Y和C的情况中,所需的只是分别读出Y和C,但是以一起处理Y和C,需要交叉并且提供Y和C,从而需要一个C的(或Y的)额外的行缓冲器。
同样,例如,在累加将被执行的垂直分析滤波所需行的数量(例如三行)点处执行垂直分析滤波,如此在图22的例子中,在实际操作时,在累加从上面数第五行上的亮度分量Y3的点处执行Y垂直分析滤波,在累加从上面数第六行上的色差分量C3的点处执行C垂直分析滤波,如此下去,交替地执行Y和C垂直分析滤波。
反之,在图1中所示的Y垂直分析滤波器单元217和C垂直分析滤波器单元218的情况中,Y和C垂直分析滤波被并行地执行,所以每时间单位的处理速度比图22中的例子的处理速度要快。
如上所述,其中在交叉Y和C之后执行Y和C垂直分析滤波的方案是有利的,因为仅仅需要一个垂直分析滤波器单元,但是同本发明的一个实施例比较这需要C的(或Y的)额外的行缓冲器。在用机内存储器配置该行缓冲器的情况下,对于具有高水平分辨率(例如在HDTV(高清晰度电视)的情况中为1920个像素)的图像来说,必需非常大量的存储器,从而显著地增加了成本。同样,在图22中所示的例子中,必须利用单个垂直分析滤波器单元交替地处理Y和C,所以与利用两个垂直分析滤波器单元(如本发明的一个实施例,一个用于Y,一个用于C)相比,需要更多的处理时间。
因而,其中在交叉Y和C之后执行Y和C垂直分析滤波的方案不利之处甚于有利之处。反之,如本发明的一个实施例那样在利用两个垂直分析滤波器单元,一个用于Y以及一个用于C执行处理的情况中,不需要额外的行缓冲器,所以可以抑制成本的显著增加,并且此外,利用两个垂直分析滤波器单元可以并行地执行处理,所以可以加速处理时间。
注意到,利用图16中所示的小波变换设备200,类似于小波变换设备100,通过采用参照图5到8所描述的提升技术执行分析滤波。也就是说,水平分析滤波器单元211和220执行如图6中所示的水平分析滤波,而Y垂直分析滤波器单元217和C垂直分析滤波器单元218执行如图8中所示的垂直分析滤波器。
同样,配置参照图16所描述的中间计算Y缓冲器单元223和中间计算C缓冲器单元224,以便类似于小波变换设备100的中间计算缓冲器单元117,在利用端口1SRAM的时,同时并行地执行数据的输入/输出。也就是说,中间计算Y缓冲器单元223和中间计算C缓冲器单元224中的每个均具有如图9中所示的中间计算缓冲器单元117的配置一样的配置,并且执行相同的处理。因此,中间计算Y缓冲器单元223和中间计算C缓冲器单元224不同于中间计算缓冲器单元224之处仅在于中间计算Y缓冲器单元223仅保持Y的系数,而中间计算C缓冲器单元224仅保持C的系数,但是基本上,参照图9和15进行的描述同样可被应用于中间计算Y缓冲器单元223和中间计算C缓冲器单元224。
也就是说,用和小波变换设备100一样的方法,小波变换设备200可以进一步减少小波变换处理的延迟时间,并且也降低成本。
将参照图23中所示的流程图,对由图16中所示的小波变换设备200所执行的小波变换处理的流程例子进行描述。注意到,该小波变换处理按预定处理的递增来执行。
当小波变换处理开始时,在步骤S210中,小波变换处理设备200的交叉单元210判断是否交叉输入图像数据,并且仅在判定输入图像数据的Y和C未被交叉的情况下交叉,在步骤S202中,交叉图像数据的Y和C。在判定输入图像数据已经交叉的Y和C不进行交叉的情况下,交叉单元210忽略步骤S202中的处理,而进程前进到步骤S203。
在步骤S203中,水平分析滤波器单元211执行层1水平分析滤波,并且在步骤S204中,将通过水平分析滤波所获得的系数存储到具有对应于其系数的划分层的层的、层独立缓冲器单元222的缓冲器中。
在步骤S205中,如参照图14中所示的流程图所描述的,Y垂直分析滤波器单元217对Y进行垂直分析滤波。如参照图14中所示的流程图所描述的,在步骤S206中,C垂直分析滤波器单元218与该处理同时并行地对C进行垂直分析滤波。
当对Y和C的垂直分析滤波结束时,在步骤S207中,控制单元221判断垂直分析滤波是否已经执行到最高阶层。如果判定最高阶层的垂直分析滤波尚未被执行到最高阶层,则进程前进到步骤S208。在步骤S208中,Y垂直分析滤波器单元217和C垂直分析滤波器单元218向外部输出所生成的高带子带系数。在步骤S209中,交叉单元219交叉低带子带的Y和C。在步骤S210中,水平分析滤波器单元220对交叉的低带子带系数进行水平分析滤波。当步骤S210中的处理完成时,进程返回到步骤S204,重复后续的处理。也就是说,重复步骤S204到S210中的处理,从而在每一划分层上执行分析滤波。
随后,如果在步骤S207中判定最高阶层的分析滤波已经完成,则进程前进到步骤S211。在步骤S211中,Y垂直分析滤波器单元217和C垂直分析滤波器单元218向外部输出全部最高阶层的系数。当步骤S211中的处理完成时,小波变换处理终止。
因而,Y垂直分析滤波器单元217和C垂直分析滤波器单元218可以用和图1中所示的垂直分析滤波器单元118一样的方法来执行垂直分析滤波。也就是说,如参照图15所描述的,中间计算Y缓冲器单元223和中间计算C缓冲器单元224中的每个均可执行缓冲器输入/输出处理。
也就是说,用和小波变换设备100一样的方法,小波变换设备200可以进一步减少小波变换处理的延迟时间,并且也降低成本。
根据由如上所述的小波变换设备所进行的分析滤波,图像数据的频率分量针对每个带宽被分成多个分量,从而形成分层的子带。
图24的图例示意性地图解了分析滤波被重复4次的情况。利用图24中所示的例子,水平方向和垂直方向分析滤波被递归地重复4次,从而一个图片的图像数据的频率分量被分成13个层次子带。
在图24中,实线正方形和具有圆角的虚线正方形中的每个均代表通过分析滤波生成的子带,每个子带中所述的数字表明其子带的层次级,即表明通过对基带的图像数据进行多少次分析滤波是否获得其子带。同样,每个子带中的″L″和″H″分别代表低带分量和高带分量,左侧表明水平方向分析滤波结果,而右边表明垂直方向分析滤波。
利用图1中所示的例子,对基带图像数据进行第一分析滤波来生成划分层1的四个子带(1LL、1LH、1HL和1HH)。在这些子带中,对作为关于水平和垂直两个方向的低带分量的子带″1LL″进行第二分析滤波以生成划分层2的四个子带(2LL、2LH、2HL和2HH)。对作为关于水平和垂直两个方向的低带分量的子带″2LL″进行第三分析滤波以生成划分层3的四个子带(3LL、3LH、3HL和3HH)。对作为关于水平和垂直两个方向的低带分量的子带″3LL″进行第四分析滤波以生成划分层4的四个子带(4LL、4LH、4HL和4HH)。
因而,对低带分量进行重复转换和重复划分的理由是因为(低带分量的)的子带的阶越高,集中在低带分量上的图像能量就更多。因而根据小波变换递归地执行分析滤波以生成分层子带,并且具有低空间频率的频带数据被逼进较小区域,从而在执行熵编码的时候启动有效的压缩编码。
存在这样的一种方法,其中对整个图片集中地进行小波变换处理,并且还存在一种方法,其中一个图片的图像数据被分成若干行的递增,以按独立的方式对其中的每一行相互地执行小波变换处理。利用后一种方法,一次性处小波变换处理将被处理的图像数据的数据量同前一种方法比较起来要小,所以可以较早执行小波变换处理的处理结果的输出开始定时。换言之,可以缩短由小波变换处理所引起的延迟时间。
注意到,在这种情况下,作为小波变换处理的处理递增的行的数量基于在预定划分层上,获得与最高阶层子带系数等值的、小波变换处理的一行所需的行的数量。
如图25中所示,数据通过分析滤波被分成四段,所以行的数量减少了一半。也就是说,如同图25中所示的例子,在划分层3的小波变换处理的情况中,为了获得与最高阶层子带(3LL、3LH、3HL和3HH)等值的一行,需要与基带图像数据等值的八行。因此,在这种情况下,利用基带图像数据的八行或更多作为处理递增来执行小波变换处理。在如同图24中所示的例子,划分层是四个的情况中,需要与基带图像数据等值的十六行。
因而,生成与最高阶层低带子带″LL″系数数据等值的一行所需的一组基带像素数据被称作一个区域(precinct)(或行块)。注意到,有时区域表示对与像素数据等值的一个区域进行小波变换所得到的一组总的子带系数数据,其基本上与生成与最高阶层低带子带″LL″系数数据等值的一行所需的一组基带像素数据相同。
注意到,一个区域的行的数量在图片内的两个区域之间可能互不相同。
对进行这样的小波变换处理所获得的系数数据进行例如熵编码,并且转换成编码数据。在利用该数据的时候对该编码数据进行熵解码,从而通过对应于上述小波变换处理的小波逆变换处理恢复最初的基带图像数据。
也就是说,如图26所示,小波逆变换处理是小波变换处理的逆变换处理,其中通过小波变换处理变换基带图像数据所获得的小波系数被变换(逆变换)成最初的基带图像数据。因此,如图26所示,在执行划分层4的小波变换处理的情况中,在划分层4上还执行小波逆变换处理。同样,如图26所示,例如在把与输入基带图像数据等值的十六行当作一个区域的情况中,针对其每个区域执行小波变换处理,针对其每个区域还执行小波逆变换处理,从与系数数据等值一个区域中恢复与基带图像数据等值的十六行。
下面将对一种用于利用该小波逆变换处理进一步减少延迟时间和成本的方法进行描述。
图27的模块图图解了本发明的实施例应用于其的小波逆变换设备的配置例子。如图27所示,小波逆变换设备300是一种用于输入在划分层4上进行小波变换的系数数据,并且执行合成滤波以便合成该数据的频带合成设备。图27中所示的小波逆变换设备300包含控制单元301、选择器311、垂直合成滤波器单元312、中间计算缓冲器单元313、水平合成滤波器单元314、选择器315、输出缓冲器单元316、选择器317和层独立缓冲器单元320。
控制单元301控制选择器311到层独立缓冲器单元320的每个单元的操作。选择器311由控制单元301控制选择外部输入中的一个(D310),或选择层独立缓冲器单元320内的每一划分层的缓冲器的输出(D319、D322和D325)。垂直合成滤波器单元312由控制单元301控制,以从由选择器311所选择的缓冲器中获得将被处理的划分层的四个子带的系数数据,或基本上一次一行地获得外部输入(D311)。
垂直合成滤波器单元312由控制单元301控制,以利用从中间计算缓冲器单元313读出的中间计算系数,对所获得的系数数据进行有关沿基带图像数据的图像垂直方向的频率分量的合成滤波。
垂直合成滤波器单元312将由作为合成滤波执行的合成滤波计算所生成的系数写入中间计算缓冲器单元313(D312),并且同时,在从中间计算缓冲器单元313中读出接下来的合成滤波计算所需的系数的同时,通过重复合成滤波计算执行合成滤波(D313)。
中间计算缓冲器单元313在内部存储器中保持从垂直合成滤波器单元312中提供的系数,并且读出和提供由垂直分析滤波器单元312请求的、保存在内部存储器中的系数。中间计算缓冲器单元313具有与小波变换设备100的中间计算缓冲器单元117一样的配置,并且类似地操作。因此,参照图9中所示的模块图进行中间计算缓冲器单元117的配置的描述,并且参照图15中所示的流程图所进行的缓冲器输入/输出处理的描述也可被应用于中间计算缓冲器单元313。
也就是说,中间计算缓冲器单元313还包含一个数据链接单元131、端口1SRAM 132和数据分割单元133。数据链接单元131链接所提供的16位数据,并且将其写入端口1SRAM 132中作为32位数据,而数据分割单元133读出存储在端口1SRAM中的32位数据,将其分成16位数据,并且输出这些数据。此时,中间计算缓冲器单元313针对端口1SRAM交替地重复写入和读出,从而并行地同时执行数据的读出和写入。因而,由于访问中间计算缓冲器单元313而造成的延迟时间可被减少。
垂直合成滤波器单元312将每次执行合成滤波所生成的系数保持在中间计算缓冲器单元313上,并且进一步地,从中间计算缓冲器单元313中读出接下来的计算所需的系数。也就是说,利用合成滤波,频繁执行访问中间计算缓冲器单元313,但是如上所述,由于访问中间计算缓冲器单元313所导致的延迟时间被减少,小波逆变换设备300从而可减少合成滤波的延迟时间。
根据这样的垂直方向合成滤波,垂直方向上的低带分量和高带分量被合成,并且每次两行地生成水平方向上的低带分量和高带分量。当关于输入系数数据的合成滤波完成时,垂直合成单元312沿着预定顺序,例如按从屏幕的左边到右边的顺序,针对每一行一次一个交替地读出保持在中间计算缓冲器单元313上的水平方向上的低带分量和高带分量(D314)。
水平合成单元314由控制单元301控制,以对从垂直合成滤波器单元312中提供的系数数据进行有关基带图像数据的图像水平方向上的频率分量的合成滤波。
基于该水平方向合成滤波,沿一个较低层的垂直的和水平方向生成与作为低带分量子带的低带子带系数数据(或基带图像数据)等值的两行。水平合成滤波器单元314将与低带子带系数数据(或基带图像数据)等值的两行输出给选择器315(D315)。
如上所述,垂直合成滤波器单元312和水平合成滤波器单元314基本上在相同的位置上相互地合成与系数数据等值的、由一次性垂直方向和水平方向合成滤波处理的划分层的每个子带的一行,以生成与一个较低层或基带图像数据的低带子带系数数据等值的两行。
也就是说,如图28所示,当假定一个区域由与图像数据等值的n行组成时,垂直合成滤波器单元312和水平合成滤波器单元314基本上合成例如与划分层2的四个子带系数数据等值的N/4行,以生成与划分层1的低带子带系数数据等值的N/2行。
垂直合成滤波器单元312和水平合成滤波器单元314在根据情况改变将被处理的划分层的同时,重复这样的合成滤波,从而将按区域的增量进行小波变换的全部系数数据变换成基带图像数据。随后,垂直合成滤波器单元312和水平合成滤波器单元314以相同方式重复有关全部区域和全部图片的合成处理。通过如此按区域的增量执行合成滤波,同对整个图像进行合成滤波的情况比较起来,将被处理的数据量立刻被减少,借此小波逆变换设备300可减少由于小波逆变换导致的延迟时间。同样,如上所述,按行的增量执行合成滤波使控制能更详细地被执行,借此小波逆变换设备300可进一步优化小波逆变换处理,并且进一步减少延迟时间。
现在,描述回到图27,其中控制单元301控制选择器315来选择通过合成滤波生成的系数数据的、水平合成滤波器单元314的数据输出目标,将一部分系数数据提供给层独立缓冲器单元320以保持其,并且将另一部分系数数据提供输出缓冲器单元316以保持其。例如,选择器315提供与从水平合成滤波器单元314中提供的低带子带系数数据等值的两行中的一行给输出缓冲器单元316以保持其(D316),并且提供另一行给层独立缓冲器单元320以在层独立缓冲器单元320的、其系数数据的划分层的缓冲器上保持其(D317、D320和D323)。
注意到,在从水平合成滤波器单元314中提供的数据为基带图像数据的情况中,选择器315将与其图像数据等值的两行提供给输出缓冲器单元316(D316)以保持该行中的一行,并且向外部输出另一行。
控制单元301控制输出缓冲器单元316以根据需要保持从选择器315中提供的系数数据或图像数据,根据需要读出所保持的数据,并且将其输出给选择器317。例如,在与子带系数数据等值的一行是从选择器315中提供的情况中,输出缓冲器单元316保持其系数数据。同样,例如,与最终由合成滤波生成的基带图像数据等值的两行从选择器315中被提供,输出缓冲器单元316向外部输出其一行(D326),以及保持另一行直到下一个输出时序。当保持该基带图像数据时,在读出保持在内部存储器中的系数数据以将其输出给选择器317的同时,输出缓冲器单元316将该基带图像数据写入内部存储器(D326)。
选择器317由控制单元301控制,以控制输出缓冲器单元316的数据输出目标。。例如,在从输出缓冲器单元316中提供系数数据的情况下,选择器317将其系数数据提供给层独立缓冲器单元320(D328、D329和D330),以在其系数数据的划分层的、层独立缓冲器单元320的缓冲器上保持其。同样,例如,在从输出缓冲器单元316中提供基带图像数据的情况下,选择器317向外部输出其基带图像数据(D327)。
控制单元301控制层独立缓冲器单元320,以在系数数据的划分层的缓冲器上保持从选择器315或选择器317中提供的系数数据,以及向外部提供的系数数据,其可被再次进行合成滤波,直到执行合成滤波。层独立缓冲器单元320提供所保持的系数数据给选择器311。
层独立缓冲器单元320包含层3缓冲器321、层2缓冲器322和层1缓冲器。
层3缓冲器321由控制单元301控制,以控制划分层3的系数数据提供给选择器311(经由选择器311给垂直合成滤波器单元312)。例如,层3缓冲器321在内部存储器上保持从选择器315或选择器317中提供的划分层3低带子带系数数据(3LL)(D317和D328),或者向外部提供的(D318)划分层3高带子带系数数据(3LH、3HL和3HH)。随后,层3缓冲器321在预定的定时复用在内部存储器上保持的划分层3的每个子带的系数数据,并且经由选择器311将其提供给垂直合成滤波器单元312(D319)。
层2缓冲器322由控制单元301控制,以控制划分层2的系数数据提供给选择器311(经由选择器311给垂直合成滤波器单元312)。例如,层2缓冲器322在内部存储器上保持从选择器315或选择器317中提供的(D317和D328)划分层2低带子带系数数据(2LL),或者向外部提供的(D321)划分层2高带子带系数数据(2LH、2HL和2HH)。随后,层2缓冲器322在预定的定时复用在内部存储器上保持的划分层2的每个子带的系数数据,并且经由选择器311将其提供给垂直合成滤波器单元312(D322)。
层1缓冲器323由控制单元301控制,以控制划分层1的系数数据提供给选择器311(经由选择器311给垂直合成滤波器单元312)。例如,层1缓冲器323在内部存储器上保持从选择器315或选择器317中提供的(D323和D330)划分层1低带子带系数数据(1LL),或者向外部提供的(D324)划分层1高带子带系数数据(1LH、1HL和1HH)。随后,层1缓冲器323在预定的定时复用在内部存储器上保持的划分层1的每个子带的系数数据,并且经由选择器311将其提供给垂直合成滤波器单元312(D325)。
注意到,图27中所示的层独立缓冲器单元320的配置是利用小波逆变换设备300执行划分层4小波逆变换处理的情况中的一个例子。根据由小波逆变换设备300执行的小波逆变换处理的划分层设定层独立缓冲器单元320的配置,以便相互独立地保持不同于最高阶层的划分层的系数数据。也就是说,层独立缓冲器单元320包含与不同于最高阶层的每个划分层有关的专用缓冲器,如层3缓冲器321到层1缓冲器323。
接下来,将对由垂直合成滤波器单元312和水平合成单元314所执行的合成滤波的计算方法进行描述。用和上面参照图5描述的合成滤波一样的方法可以有效地执行滤波,所以期望同样利用小波逆变换合成滤波,以相同方式采用提升技术。
图29图解了利用JPEG 2000标准的9×7合成滤波器的提升模式。不同于常见卷积计算,利用基于提升技术的方法,通过以下步骤B1到B4的四个步骤计算偶数分量和奇数分量。
利用图29中所示的例子,第一排(最高排)表示由小波变换生成的系数,其中实心圆代表高带分量系数,而实心方形代表低带分量系数。第二和第三排分别表示由步骤B1中的处理和步骤B2中的处理所生成的分量(系数)。同样,第四排表示由步骤B3中的处理所生成偶数分量输出,以及第五排表示由步骤B4中的处理所生成的奇数分量输出。
利用9×7合成滤波,通过步骤B3中的处理获得偶数分量,以及通过步骤B4中的处理获得奇数分量。步骤B1到步骤B4的处理可以由以下(5)到(8)表达式来表示。
步骤B1:si 1=si 2-δ(di-1 2+di 2)...(5)
步骤B2:di 1=di 2-γ(si 1+si+1 1)...(6)
步骤B3:si 0=si 1-β(di-1 1+di 1)...(7)
步骤B4:di 0=di 1-α(si 0+si+1 0)...(8)
其中α=-1.586134342,β=-0.05298011857,γ=0.8829110755,以及δ=0.4435068520
这样,利用应用提升技术的合成滤波,执行步骤B1和步骤B2的处理,在步骤B3中生成偶数分量系数,随后在步骤B4中生成奇数分量系数。可以从表达式(5)到(8)中看出,此时所使用的滤波器组可以用单独减法和抵消计算来实现。因此,计算量可被明显的减少。
将详细描述由垂直合成滤波器单元312执行的垂直合成滤波。图30图解了利用图29中所示的提升模式,对垂直方向上的系数组执行垂直合成滤波的例子。
图30中所示的例子示出了一种情况的例子,其中通过上面参照图29所描述的、关于垂直方向系数数据的四个步骤(步骤B1到步骤B4)的处理,以及附图中从左至右提升步骤的指示生成偶数的系数数据(此后也被称作偶数的系数)和奇数的系数数据(此后也被称作奇数的系数)。
同样,垂直方向系数数据的左侧表明的数字代表行号,左边第一列上画影线的圆圈和正方形分别代表作为屏幕垂直方向上的高带分量的输入的高带输入,以及作为屏幕垂直方向上的低带分量的输入的低带输入。此外,后续排上的圆圈和正方形分别代表在提升计算的过程中生成的高带系数和低带系数,并且特别地,实心圆和实心方形代表作为其行号为奇数行的系数数据的奇数的系数,以及作为其行号为偶数行的系数数据的偶数的系数,所述系数分别为提升计算的结果。
下面是按自左边的顺序的操作的描述。图30中的左侧图解了一个例子,其中输入垂直方向上行号4到6的三行系数,并且执行沿垂直方向利用提升模式进行的计算(即水平提升计算)。注意到,在这种情况下,最高排上的偶数的系数不与奇数的系数接在一起,所以其描述将被忽略。
为了获得垂直提升计算的步骤B3中的第一偶数的系数,以及获得步骤B4中的第一奇数的系数,需要输入编号0到5的六行的系数。
随后,为了获得第二偶数的系数和奇数的系数,需要由粗实线指明的三个系数和由有圆圈的数字指明的编号6和7的两行的系数,此外,为了计算由步骤B2中的Q1所指明的系数,由有圆圈的数字所指明的行号5的系数也是必须的。
由粗实线指明的三个系数是在用于获得第一偶数的系数和奇数的系数的垂直提升计算(此后也被称作″第一垂直提升计算″)的过程中所生成的一部分系数。
因此,为了获得第二偶数的系数和奇数的系数,最终需要输入编号5到7的三行的系数。然而注意到,行号5的系数是将被再次输入的系数,所以实质上,该输入变成两行(行号6和7)的系数的额外输入。针对每一层,从对应于图27中所示的层独立缓冲器单元320的层的缓冲器中读出垂直方向上的三行的系数数据(实质上是两行的系数数据)。也就是说,如果当前小波变换划分层是2,则从层2缓冲器322读出系数数据。
此外,为了获得第二偶数的系数和奇数的系数,需要输入在用于获得第一偶数的系数和奇数的系数的垂直提升计算的过程中生成的、由粗实线指明的三个系数。在获得第二偶数的系数和奇数的系数之后,这些系数被保持在中间计算缓冲器单元313上,所以被从其中间计算缓冲器单元313中读出。
也就是说,在第一垂直提升计算时存储在中间计算缓冲器单元313中的、由粗实线指明的这三个系数,以及从相应层缓冲器中被读出和输入的、编号5到7的三行的系数被用于执行垂直提升计算,从而获得包含第二偶数的系数和奇数的系数的四个系数(由粗虚线指明)。用和第一垂直提升计算一样的方法,这些系数被存储在中间计算缓冲器单元313中。此时,在写入这些系数的同时,从中间计算缓冲器单元313中读出接下来的垂直提升计算所采用的系数。在图30的左侧的例子中,在存储在中间计算缓冲器单元313中的系数中,由单虚线表明三个系数是获得第三偶数的系数和奇数的系数所需的系数,并且因此被从中间计算缓冲器单元313中读出。
图30的右侧示出了一种情况的例子,其中跟随行号7的系数的读出之后,两行的系数将被额外读出,即输入垂直方向上的编号7到9的三行的系数,并且执行垂直提升计算。
如同第二种情况一样,为了获得第三偶数的系数和奇数的系数,需要由粗实线指明的三个系数和由有圆圈的数字指明的编号8和9的两行的系数,此外,为了计算由步骤B2中的Q2所指明的系数,由有圆圈的数字所指明的行号7的系数也是必须的。
注意到,如图例的左侧的单虚线所表明的,右侧由粗实线指明的三个系数在第二垂直提升计算中已被存储在中间计算缓冲器单元313中。
因此,通过利用由粗实线指明的、在第二垂直提升计算时已被存储的三个系数,以及从相应层缓冲器中已被读出和输入的、编号7到9的三行的系数,来执行垂直提升计算,获得包含第三偶数的系数和奇数的系数的四个系数(由粗虚线表明)。这些系数被存储在中间计算缓冲器单元313中。此时,在写入这些系数的同时,从中间计算缓冲器单元313中读出接下来的垂直提升计算所需的系数。在图30的右侧的例子中,在存储在中间计算缓冲器单元313中的系数中,由单虚线表明三个系数是获得第四偶数的系数和奇数的系数所需的系数,并且因此被从中间计算缓冲器单元313中读出。
因而,利用输入的系数数据和保持在中间计算缓冲器单元313上的系数,执行垂直提升计算直到屏幕的最底行,从而完成垂直方向合成滤波。
接下来,将详细描述由水平合成滤波器单元314执行的水平合成滤波。图31图解了排列通过沿水平方向的垂直方向合成滤波得到的系数,以及利用图29中所示的提升模式执行水平合成滤波的一个例子。
图31中所示的例子示出了对水平方向系数进行上面参照图29所描述的四个步骤(步骤B1到B4)的处理的例子,从而利用附图中自上而下进行的提升步骤的指示,生成奇数的分量系数和偶数的分量系数。
并且,水平方向上的系数上面示出的数字表明列编号,其中从顶层起第一排上画影线的圆圈和正方形分别代表高带输入和低带输入,后续排上的圆圈和正方形分别代表在提升计算的过程中生成的高带系数和低带系数。特别地,实心圆和实心方形分别代表作为提升计算的结果的奇数的系数和偶数的系数。
下面是按自顶部的顺序的操作的描述。图31的上面图解了一个例子,其中输入水平方向上的列号5到7的系数,以及执行利用水平方向上的提升模式进行的计算(此后被称作″水平提升计算″)。注意到,在这种情况下,在最左侧上的偶数的系数与奇数的系数不配套,因此其描述将被忽略。
为了获得水平提升计算的步骤B3中的第一偶数的系数,以及获得步骤B4中的第一奇数的系数,需要输入编号0到5的六列的系数。
随后,为了获得第二偶数的系数和奇数的系数,需要由粗实线指明的三个系数和由有圆圈的数字指明的编号6和7的两列的系数,此外,为了计算由步骤B2中的Q1所指明的系数,由有圆圈的数字所指明的列号5的系数也是必须的。
由粗实线指明的三个系数是在用于获得第一奇数的系数和偶数的系数的水平提升计算(此后也被称作″第一水平提升计算″)的过程中所生成的一部分系数。
也就是说,为了获得第二奇数的系数和偶数的系数,最终需要输入由有圆圈的数字指明的编号5到7的三列的系数,并且此外,锁存在第一水平提升计算的过程中生成的、由粗实线指明的三个系数。实际上,利用该不多于三个的系数,通常被用作锁存器的触发器可被建成水平分析滤波器单元314。
因此,利用在第一水平提升计算时已被锁存的、由粗实线指明的三个系数,以及已被输入的、编号5到7的三列的系数,执行水平提升计算在其计算过程终止时生成包含第二奇数的系数和偶数的系数的四个系数(由粗虚线指明)。其中,由单虚线指明的三个系数是获得第三奇数的系数和偶数的系数所需的系数,并且因此被锁存在内置触发器中。
图31的下半部分示出了一种情况的例子,其中跟随列号7的系数的输入之后,水平方向上的两列的系数将被另外输入,即输入水平方向上的编号7到9的三列的系数,并且执行水平提升计算。
如同第二种情况一样,为了获得第三奇数的系数和偶数的系数,需要由粗实线指明的三个系数和由有圆圈的数字指明的编号8和9的两列系数,此外,为了计算由步骤B2中的Q2所指明的系数,由有圆圈的数字所指明的列号7的系数也是必须的。
注意到,如图例的上半部的单虚线所表明的,下半部由粗实线指明的三个系数在第二垂直提升计算中已被锁存。
因此,利用由粗实线指明的、在第二水平提升计算时已被锁存的三个系数,以及已被重新输入的、编号7到9的三列的系数,执行水平提升计算生成包含第三奇数的系数和偶数的系数的四个系数(由粗虚线指明)。其中,由单虚线指明的三个系数是获得第四奇数的系数和偶数的系数所需的系数,并且因此被锁存在内置触发器中。
如此,在顺序地输入与系数等值的三列并且保持三个中间计算系数的同时,执行水平提升计算直到屏幕的最右列,从而完成水平方向分析滤波。
迄今为止,已经对一种方案进行了描述,其中如图9中所示,配置中间计算缓冲器单元313以便同时地并行执行数据的写入和读出,但是类似地,还配置输出缓冲器单元316以便利用端口1SRAM执行数据的写入和读出。
因而,控制单元301可存储从输出缓冲器单元316中的水平合成滤波器单元314中输出的基带图像数据,并且与此同时,将保持在输出缓冲器单元?上的系数数据提供给层独立缓冲器单元320。
图32的模块图图解了图5中所示的输出缓冲器单元316的内部配置例子。如图32所示,输出缓冲器单元316包含一个控制单元371、选择器372、数据链接单元373、端口1SRAM 374和数据分割单元375。
控制单元371控制选择器372到数据分割单元371的每个单元的操作。选择器372由控制单元371控制,以确定从水平合成滤波器单元314中提供的数据的供给目的地(图27)。例如,选择器372将从水平合成滤波器单元314中提供(D351)的子带系数数据提供给数据链接单元373(D353)。同样,在从水平合成滤波器单元314中提供的两行基带图像数据中,选择器372将其中一行提供给选择器317(D352),将另一行提供给数据链接单元373(D353)。
对应于图9中所示的数据链接单元131的数据链接单元373具有与数据链接单元131相同的配置,并且以相同的方式操作。端口1SRAM374具有与端口1SRAM 132相同的配置,并且以相同的方式操作。数据分割单元375对应于数据分割单元133,并且具有与数据分割单元133相同的配置,并且以相同的方式操作。
也就是说,数据链接单元373包含类似于选择器141的选择器381,类似于延迟单元142的延迟单元382,以及类似于打包单元143的打包单元383,并且如图33所示,其用两个周期链接从选择器372中提供的两段16位数据以生成32位数据,并且在一个周期中将其存储到端口1SRAM 374中以保持其。
同样,数据分割单元375包含类似于16位分离单元144的16位分离单元384,类似于延迟单元145的延迟单元385,以及类似于选择器146的选择器386,并且如图33所示,其从端口1SRAM中读出32位数据,将其32位数据分离以生成两段16位数据,并且用两个周期向外部输出其。因而,如图33中所示,对输出缓冲器单元316的端口1SRAM 374的数据的读出和写入对于每个周期来说是交替重复的,从而读取和写入32位数据。因此,读出和写入被同时并行地执行。
也就是说,由图32中的虚线围绕的部分是与图9中所示的小波变换设备100的中间计算缓冲器单元117的那些相同的配置。也就是说,用虚线围绕的部分也是与图27中所示的小波逆变换设备300的中间计算缓冲器单元313的那些相同的配置。
根据这样的配置,输出缓冲器单元316将基带图像数据存储在端口1SRAM 374中,并且同时并行地读出存储在端口1SRAM 374中的系数数据,以将其提供给层独立缓冲器单元320。因而,利用输出缓冲器单元316,数据的读出和写入造成的延迟时间可被进一步地减少,并且成本可被减少。也就是说,利用小波逆变换设备300,小波逆变换处理的延迟时间可被进一步减少,并且成本也可被减少。
接下来,将描述每个处理流程。将参照图34中所示的流程图,对由图27中所示的小波逆变换设备300所执行的小波逆变换处理的流程例子进行描述。当小波逆处理开始时,在步骤S301中控制单元301初始化将被处理的区域。在步骤S302中,控制单元301判断当前定时是否是预定的定时,并且等待直到做出当前定时是预定定时的判定。如果在步骤S302中做出当前定时是预定定时的判定,则进程前进到步骤S303。在步骤S303中,垂直合成滤波器单元312和水平合成滤波器单元314执行行递增小波逆变换处理,以生成与一个较低划分层的系数数据等值的一行,或者与基带图像数据等值的一行。稍后将描述该行递增小波逆变换处理的细节。
当行递增小波逆变换处理完成时,进程前进到步骤S304。在步骤S304中,控制单元301判断区域内的全部系数数据是否已被处理完。如果做出区域内的全部系数数据尚未被处理完的判定,则进程返回到步骤S302,重复下一进程。同样,如果做出区域内的全部系数数据已被处理完的判定,则进程前进到步骤S305。
在步骤S305中,控制单元301判断图片内的全部区域是否已被处理完。如果做出存在未处理的区域的判定,则进程前进到步骤S306。在步骤S306中,控制单元301更新将被处理的区域,以接受下一个区域作为将被处理的区域。当步骤S306中的处理完成时,进程返回到步骤S302,重复下一进程。
同样,如果在步骤S305中判定图片内的全部区域已被处理完,则小波逆变换处理结束。注意到,针对每个图片执行该小波逆变换处理。
接下来,将参照图35和36中的流程图,描述图34中的步骤S303中所执行行递增小波逆变换的流程的例子。
在步骤S321中,当行递增小波逆变换开始,控制单元301判断基带图像数据是否存在于输出缓冲器单元316中。如稍后所描述的,每当执行行递增小波逆变换时,生成两行基带图像数据。所生成的基带图像数据被一次一行地输出,其中外面的一行在输出缓冲器单元316中被累加,并且在下一个预定的定时(图34中的步骤S302中判定的定时)被输出,即在执行下一个行递增小波逆变换的时候。
也就是说,在步骤S321中进程为判断基带图像数据是否在输出缓冲器单元316中已被累加。
如果做出基带图像数据在输出缓冲器单元316中尚未被累加的判断,则流程前进到步骤S322。
在步骤S322中,控制单元301判断系数数据是否存在于层独立缓冲器单元320中。利用小波逆变换处理,在每一重复执行的合成滤波处理中,四个子带的系数中的每个合成一行,以及生成较低一层的两行低带子带系数,其中一个经由输出缓冲器单元316被保持在层独立缓冲器单元320中。在行递增小波逆变换处理中,按从图片的顶部的顺序、每次两行地生成基带图像数据,所以如果系数存在于层独立缓冲器单元320中,则首先处理那些系数,稍后将详细描述其。
如果在步骤S322中做出层独立缓冲器单元320中没有系数的判断,则流程前进到步骤S323。在步骤S323中,控制单元301将处理的划分层设置到最上层。当步骤S323中的处理结束,进程前进到图36中的步骤S331。
同样,如果在图35中的步骤S322中做出层独立缓冲器单元320中有系数的判断,则流程前进到步骤S324。在步骤S323中,控制单元301将处理的划分层设置到最低层。当步骤S324中的处理结束,进程前进到图36中的步骤S331。
在图36中的步骤S331中,控制单元301判断将被处理的划分层是否是最上层。如果做出将被处理的划分层是最上层的判断,则流程前进到步骤S332。在步骤S332中,垂直合成滤波器单元312经由选择器311从外部获得将被处理的区域的最上层的全部子带的系数数据。当获得系数数据,流程前进到步骤S335。同样,如果在步骤S331中做出将被处理的划分层不是最上层的判断,则流程前进到步骤S333。在步骤S333中,垂直合成滤波器单元312经由选择器311获得将被处理的划分层的低带子带的系数数据。同样,在步骤S334中,垂直合成滤波器单元312经由选择器311从外部获得将被处理的划分层的高带子带的系数数据。当步骤S334的处理结束,流程前进到步骤S335。
在步骤S335中,垂直合成滤波器单元312执行垂直合成滤波处理(垂直合成滤波)。稍后将描述垂直合成滤波处理的细节。当垂直合成滤波处理结束,水平合成滤波器单元314执行水平合成滤波处理(水平合成滤波)。
在步骤S337中,控制单元301判断通过步骤S336中的水平合成滤波处理是否已经生成基带图像数据。如果做出所生成的系数数据是中间层系数数据的判断,则流程前进到步骤S338。在步骤S338中,水平合成滤波器单元314在输出缓冲器单元316中保存所生成的系数的下一层的两行低带子带系数数据中的后一行。
在步骤S339中,水平合成滤波器单元314在按顺序低一层上的层独立缓冲器单元320中保存所生成的下一层的两行低带子带系数数据中的第一行。在步骤S340中,控制单元301更新将被处理的划分层为顺序上的低一个划分层。当步骤S340的处理结束,流程返回到步骤S331,并且重复后续的处理。
也就是说,小波逆变换设备300重复步骤S331到S340的处理,直到生成两行基带图像数据,并且在每次变换将被处理的划分层为顺序上低一层的同时,在每层上执行合成滤波处理。
在划分层1上执行合成滤波处理,并且如果在步骤S337中做出基带图像数据已被生成的判断,则流程前进到步骤S341。在步骤S341中,输出缓冲器单元316获得在水平合成滤波器单元314上生成的两行图像数据,与利用参照图15中的流程图所述的缓冲器输入/输出处理相同地执行处理,并且在读出存储在端口1SRAM 374中的系数数据的同时,将后一行写入内置端口1SRAM 374。
在步骤S342中,输出缓冲器单元316通过选择器317在层独立缓冲器单元320中写入已被读出到相应划分层的缓冲器单元的系数数据。在步骤S343中,输出缓冲器单元316通过选择器317向外部输出水平合成滤波器单元314上生成的两行图像数据中的第一行。当步骤S343的处理结束,行递增小波逆变换处理结束,流程返回到图34的步骤S303中的处理,并且从步骤S304起执行处理。
同样,如果在图35中的步骤S321中做出基带图像数据的一行存在于输出缓冲器单元316的判断,则流程前进到步骤S325。输出缓冲器单元316从内置端口1SRAM 374中读出一行基带图像数据,并且通过选择器317向外部输出其。当输出图像数据,行递增小波逆变换处理结束,流程返回到图34中的步骤S303,并且从步骤S304起执行处理。
这样,通过合成滤波处理,每次生成两行,所以在输出缓冲器单元316中累加一行,并且如果输出缓冲器单元316中有基带图像数据,则输出该图像数据;否则,通过合成滤波处理生成图像数据。因此,每当执行行递增小波逆变换处理,小波逆变换设备300可以以预定定时每个基带图像数据输出一行。
接下来,参照图37中所示的流程图,将对图36中的步骤S335中所执行的垂直合成滤波处理的详细例子进行描述。
当垂直滤波处理开始,在步骤S361中垂直合计算成滤波器单元312执行如参照图29和30所描述的垂直方向合成提升计算(垂直合成提升计算)。在步骤S362中,执行如参照图15描述的缓冲器输入/输出处理,并且在读出下一个计算所需的系数的同时,将通过步骤361中的垂直合成提升计算所计算的系数写给中间计算缓冲器单元313。
当缓冲器输入/输出处理结束,在步骤S363中,垂直合成滤波器单元312判断是否结束垂直合成滤波处理。如果做出垂直提升计算对于这次获得的全部系数数据尚未结束的判断,而且仍然有未处理的系数,则流程返回到步骤S361,并且重复后续的处理。也就是说,重复步骤S361和S362的处理对已获得的全部系数执行垂直提升计算。如果在步骤S363中做出结束进程的判断,即如果做出垂直提升计算对于这次获得的全部系数数据已经结束的判断,则垂直合成滤波处理结束。
图38示意性地示出了这样的行递增小波逆变换处理的流程的具体例子。图38以系数数据的转换发生的方式图解了有关每个划分层上的处理和每个缓冲器上的输入/输出。注意到,此处假设系数数据的划分层为四,即最上层是4。
如图38中的左上方所示,在行递增小波逆变换处理开始的时候,将被处理的划分层被设置成最上层,所以首先,划分层4的由一行子带HH系数和一行子带LH系数组成的数据4HH/LH,以及由一行子带HL系数和一行子带LL系数组成的数据4HL/LL被从外部,即从小波逆变换设备300的存储单元等等的上游处理单元(附图中未示出其任何一个)中提供给垂直合成滤波器单元312(数据401和数据402)。也就是说,划分层4的每一子带的每个系数,垂直合成滤波器单元312接受一行的输入。
垂直合成滤波器单元312和水平合成滤波器单元314对这些系数执行合成滤波处理,并且生成作为在顺序上低一层的划分层的一行低带子带系数的数据3LL-1(数据403)和数据3LL-2(数据404)。也就是说,垂直合成滤波器单元312和水平合成滤波器单元314通过合成滤波处理生成在顺序上低一层的划分层(划分层3)的两行低带子带系数。
其中的一个-数据3LL-1(数据403)通过选择器315被提供给层独立缓冲器单元320的层3缓冲器单元321并且被存储(数据405),而另一个-数据3LL-2(数据404)被写给输出缓冲器单元316并且被保持(数据406)。
此处,将被处理的层被设置成在顺序上低一层的层3。划分层3的每一高带子带系数,垂直合成滤波器单元312从外部获得一行,并且还读出以及获得保持在层3缓冲器单元114中的数据3LL-1(数据408)。也就是说,垂直合成滤波器单元312接受每一划分层3的子带系数一行的输入,例如数据3HH/LH(数据407)和数据3HL/LL(数据409)。数据3HH/LH代表划分层3的一行子带HH系数和一行子带LH系数,而数据3HL/LL代表划分层3的一行子带HL系数和一行子带LL系数。
垂直合成滤波器单元312和水平合成滤波器单元314对这些系数执行合成滤波处理,并且生成作为在顺序上低一层的划分层的一行低带子带系数的数据2LL-1(数据410)和数据2LL-2(数据411)。也就是说,垂直合成滤波器单元312和水平合成滤波器单元314通过合成滤波处理生成在顺序上低一层的划分层(划分层2)的两行低带子带系数。
其中的一个-数据2LL-1(数据410)通过选择器315被提供给层独立缓冲器单元320的层2缓冲器单元322并且被存储(数据412),而另一个-数据2LL-2(数据411)被写给输出缓冲器单元316并且被保持(数据413)。
此处,再次将被处理的层被设置成在顺序上低一层的层2。垂直合成滤波器单元312从外部获得每一划分层2的高带子带系数一行,并且还读出以及获得保持在层2缓冲器单元322中的数据2LL-1(数据422)。也就是说,垂直合成滤波器单元312接受每一划分层2的子带系数一行的输入,例如数据2HH/LH(数据421)和数据2HL/LL(数据423)。数据2HH/LH代表划分层2的一行子带HH系数和一行子带LH系数,而数据2HL/LL代表划分层2的一行子带HL系数和一行子带LL系数。
垂直合成滤波器单元312和水平合成滤波器单元314对这些系数执行合成滤波处理,并且生成作为在顺序上低一层的划分层的一行低带子带系数的数据1LL-1(数据424)和数据1LL-2(数据425)。也就是说,垂直合成滤波器单元312和水平合成滤波器单元314通过合成滤波处理生成在顺序上低一层的划分层(划分层1)的两行低带子带系数。
其中的一个-数据1LL-1(数据424)通过选择器315被提供给层独立缓冲器单元320的层1缓冲器单元323并且被存储(数据426),而另一个-数据1LL-2(数据425)被写给输出缓冲器单元316并且被保持(数据427)。
此处,再次设置将被处理的层为在顺序上低一层的层1。垂直合成滤波器单元312从外部获得每一划分层1的高带子带系数一行,并且还读出以及获得保持在层1缓冲器单元323中的数据1LL-1(数据432)。也就是说,垂直合成滤波器单元312接受每一划分层1的子带系数一行的输入,例如数据1HH/LH(数据431)和数据1HL/LL(数据433)。数据1HH/LH代表划分层1的一行子带HH系数和一行子带LH系数,而数据1HL/LL代表划分层1的一行子带HL系数和一行子带LL系数。
垂直合成滤波器单元312和水平合成滤波器单元314对这些系数执行合成滤波处理,并且生成代表一行基带图像数据的基带图像数据-1(数据434)和基带图像数据-2(数据435)。也就是说,垂直合成滤波器单元312和水平合成滤波器单元314通过合成滤波处理生成两行基带图像数据。
其中,一个数据-基带图像数据-1(数据434)被原样输出(数据436),而另一个数据-基带图像数据-2(数据435)被写给输出缓冲器单元316并且被保持(数据437)。与该写入同时和并行地,作为存储在输出缓冲器单元316中的划分层3低带子带系数的数据3LL-2(数据438)被读出,并且被提供给层独立缓冲器单元320的层3缓冲器单元321并且被存储在其中(数据439);作为划分层2低带子带系数的数据2LL-2(数据440)被读出,并且被提供给层独立缓冲器单元320的层2缓冲器单元322并且被存储在其中(数据441);以及作为划分层1低带子带系数的数据1LL-2(数据442)被读出,并且被提供给层独立缓冲器单元320的层1缓冲器单元323并且被存储在其中(数据443)。
每次执行参照图35和36中的流程图描述的行递增小波逆变换处理,就如图38所示处理数据。存储在输出缓冲器单元316中的基带图像数据-2(数据437)在下一次行递增小波逆变换处理时被输出到外部。在层独立缓冲器单元320的每个缓冲器中累加的系数在下一次和后续时间里被处理。
如上所述,每一划分层上的合成滤波处理每低一层划分层系数生成两行系数,但是在合成滤波处理中每次仅处理一行。也就是说,所生成的两行系数中,只有一行用于下一次合成滤波处理,而另一行直到下一次或后续行递增小波逆变换处理时才会需要。也就是说,不必同时在层独立缓冲器单元320中累加所生成的两行。因此,小波逆变换设备300相互抵消两行系数的累加,以便在层独立缓冲器单元320中一次一行地累加。因而,可减少层独立缓冲器单元320所需的容量。
层独立缓冲器单元320需要经由选择器311频繁地将保持在其中的系数提供给垂直合成滤波器单元312,所以利用只能被低速访问的存储器,例如必须通过共享总线进行数据读/写的外部存储器来实现的方案可能大大降低合成滤波处理的处理速度,从而增加小波逆变换处理造成的延迟时间。因此,层独立缓冲器单元320优选地用可被高速访问的存储器而无需通过共享总线来实现,并且被提供于执行合成滤波处理的包含CPU的LSI芯片内,例如所谓的高速缓冲存储器。
然而,高速缓冲存储器的存储器容量上的增大增加了电路的规模,从而导致LSI芯片的较大芯片尺寸。也就是说,高速缓冲存储器容量上的增加可导致设备的生产成本的增加。这意味着在真实世界适用性上存在对高速缓冲存储器容量的上限,并且从降低成本方面来看,容量越小越好。
因此,如果使用小容量高速缓冲存储器的话,存储在层独立缓冲器单元320中增加的数据量可导致不够的容量。在这种情况下,运行较慢的外部存储器需要被用作缓冲存储器,但是如上所述,这可导致小波逆变换处理造成的延迟时间的增加。同时,在这种情况下,由于在高速缓冲存储器和数据备份等等上发生的误击进一步增加延迟时间。
因此,如上所述,在延迟时间上的这种增加和在生产成本方面的增加可以通过每次一行地安排由合成滤波处理生成的系数在层独立缓冲器单元320中累加,以便减少层独立缓冲器单元320所需的容量来减少。
并且,如上所述,小波逆变换设备300在输出缓冲器单元316中累加由合成滤波处理生成的、在层独立缓冲器单元320中不立即累加的两行系数中的一行。
输出缓冲器单元316最初是用于累加两行生成的基带图像数据中的一行,以便一次一行地输出基带图像数据的缓冲器。换言之,直到生成基带图像数据才使用该数据,所以如上所述,在层独立缓冲器单元320中不被立即累加的系数被暂时存储在输出缓冲器单元316中,直到在层独立缓冲器单元320上累加的系数的合成滤波处理结束。也就是说,利用输出缓冲器单元316抵消层独立缓冲器单元320中的累加的定时。
而如层独立缓冲器单元320,输出缓冲器单元316优选地用可以高速运行的高速缓冲存储器来实现,以便减少小波逆变换处理造成的延迟时间,利用这样的空闲时间(基带图像数据未被保持的时间段)存储系数使由合成滤波处理生成的系数能在层独立缓冲器单元320被累加,而而无需增加高速缓冲存储器(输出缓冲器单元316)的容量。
也就是说,小波逆变换设备300更新用于缓冲系数数据和图像数据的高速缓冲存储器的使用效率,从而减少用于在小波逆变换处理中保持数据的如缓冲存储器所需的存储器容量。
虽然可以想到一种方案,用于在外部存储器中立即备份在层独立缓冲器单元320中未被累加的系数,但是这可能导致复杂的定时控制以防止延迟时间上的增加。如上所述,利用输出缓冲器单元316使得用合成滤波处理生成的系数在层独立缓冲器单元320中被容易地、一次一行地累加。
同样,如参照图32中的模块图和图15中的流程图所描述的,布置输出缓冲器单元316以便能够同时和并行地写入基带图像数据和读出系数。因而,将系数从输出缓冲器单元316中移到层独立缓冲器单元320所造成的延迟时间上的增加不会增加成本就可被抑制。
下面,参照图39到41将描述一个区域的小波逆变换处理的流程的更具体例子。在图39到41中,圆圈中所示的数字是区域内行的标识编号;本说明书中忽略了附图中环绕数字的圆圈。注意到,此处给出的描述是有关对进行层4小波变换的系数所执行的小波逆变换处理的描述。
如图39所示,当第一小波逆变换处理开始,首先,每一划分层4子带(4LL/HL/LH/HH)对一行进行合成滤波处理(箭头S1)。该合成滤波处理生成划分层3的低带子带的第一行系数3LL1和第二行系数3LL2(箭头S2)。接着,对第一行系数3LL1和每个重新输入的划分层3高带子带系数(3HL/LH/HH)一行执行合成滤波处理(箭头S3),从而生成划分层2的低带子带的第一行系数2LL1和第二行系数2LL2(箭头S4)。此外,对第一行系数2LL1和每个重新输入的划分层2高带子带系数数据(2HL/LH/HH)一行执行合成滤波处理(箭头S5),从而生成划分层1的低带子带的第一行系数1LL1和第二行系数1LL2(箭头S6)。进一步地,对第一行系数1LL1和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S7),从而生成基带的第一行基带图像数据Base1和第二行基带图像数据Base2(箭头S8)。
图像数据Base1的第一行被立即向外部输出,而图像数据Base2的第二行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第二行递增小波逆变换处理)。
在开始第三行递增小波逆变换处理的时候,在第一行递增小波逆变换处理中生成的划分层3低带子带的第二行系数3LL2,划分层2低带子带的第二行系数2LL2,以及划分层1低带子带的系数在层独立缓冲器单元320上被累加。因此,利用第三行递增小波逆变换处理,处理其中的划分层1低带子带的第二行系数1LL2,作为最低位系数。也就是说,对第二行系数1LL2和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S9),从而生成基带的第三行基带图像数据Base3和第四行基带图像数据Base4(箭头S10)。
图像数据Base3的第三行被立即向外部输出,而图像数据Base4的第四行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第四行递增小波逆变换处理)。
在开始第五行递增小波逆变换处理的时候,划分层1低带子带的第二行系数1LL2已经被处理,所以划分层3低带子带的第二行系数3LL2,以及划分层2低带子带的第二行系数2LL2在层独立缓冲器单元320上被累加。因此,利用第五行递增小波逆变换处理,处理其中的划分层2低带子带的第二行系数2LL2,作为最低位系数。即,对第二行系数2LL2和每个重新输入的划分层2高带子带系数数据(2HL/LH/HH)一行执行合成滤波处理(箭头S11),从而如图40所示,生成划分层1的低带子带的第三行系数1LL3和第四行系数1LL4(箭头S12)。进一步地,对划分层1第三行系数1LL3和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S13),从而生成基带的第五行基带图像数据Base5和第六行基带图像数据Base6(箭头S14)。
图像数据Base5的第五行被立即向外部输出,而图像数据Base6的第六行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第六行递增小波逆变换处理)。
在开始第七行递增小波逆变换处理的时候,第一行递增小波逆变换处理所生成的划分层3低带子带的第二行系数3LL2,以及第五行递增小波逆变换处理生成的划分层1低带子带的第四行系数1LL4在层独立缓冲器单元320上被累加。因此,利用第七行递增小波逆变换处理,处理其中的划分层1低带子带的第四行系数1LL4,作为最低位系数。也就是说,对第四行系数1LL4和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S16),从而生成基带的第七行基带图像数据Base7和第八行基带图像数据Base8(箭头S16)。
图像数据Base7的第七行被立即向外部输出,而图像数据Base8的第八行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第八行递增小波逆变换处理)。
在开始第九行递增小波逆变换处理的时候,只有在第一行递增小波逆变换处理时生成的划分层3低带子带的第二行系数3LL2在层独立缓冲器单元320上被累加。因此,利用第九行递增小波逆变换处理,处理划分层3低带子带的第二行系数3LL2。即,对第二行系数3LL2和每个重新输入的划分层3高带子带系数数据(3HL/LH/HH)一行执行合成滤波处理(箭头S17),从而生成划分层1的低带子带的第三行系数2LL3和第四行系数3LL4(箭头S18)。此外,对划分层2第三行系数2LL3和每个重新输入的划分层2高带子带系数数据(2HL/LH/HH)一行执行合成滤波处理(箭头S19),从而生成划分层1的低带子带的第五行系数1LL5和第六行系数1LL6(箭头S20)。进一步地,对划分层1第五行系数1LL5和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S21),从而生成基带的第九行基带图像数据Base9和第十行基带图像数据Base10(箭头S22)。
图像数据Base9的第九行被立即向外部输出,而图像数据Base10的第十行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第十行递增小波逆变换处理)。
在开始第十一行递增小波逆变换处理的时候,在第九行递增小波逆变换处理时生成的划分层2低带子带的第四行系数2LL4,以及划分层1低带子带的第六行系数1LL6在层独立缓冲器单元320上被累加。因此,利用第十一行递增小波逆变换处理,处理其中的划分层1低带子带的第六行系数1LL6,作为最低位系数。也就是说,对第六行系数1LL6和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S23),从而生成基带的第十一行基带图像数据Base11和第十二行基带图像数据Base12(箭头S24)。
图像数据Base11的第十一行被立即向外部输出,而图像数据Base12的第十二行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第十二行递增小波逆变换处理)。
在开始第十三行递增小波逆变换处理的时候,划分层1低带子带的第六行系数1LL6已被处理,所以划分层4低带子带的第四行系数2LL4在层独立缓冲器单元320上被累加。因此,利用第十三行递增小波逆变换处理,处理划分层2低带子带的第四行系数2LL4。即,对第四行系数2LL4和每个重新输入的划分层2高带子带系数数据(2HL/LH/HH)一行执行合成滤波处理(箭头S25),从而生成划分层1的低带子带的第七行系数1LL7和第八行系数1LL8(箭头S26)。进一步地,对划分层1第七行系数1LL7和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S27),从而生成基带的第十三行基带图像数据Base13和第十四行基带图像数据Base14(箭头S28)。
图像数据Base13的第十三行被立即向外部输出,而图像数据Base14的第十四行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第十四行递增小波逆变换处理)。
在开始第十五行递增小波逆变换处理的时候,只有在第十三行递增小波逆变换处理时生成的划分层1低带子带的第八行系数1LL8在层独立缓冲器单元320上被累加。因此,利用第十五行递增小波逆变换处理,处理划分层1低带子带的第八行系数1LL8。也就是说,对第八行系数1LL8和每个重新输入的划分层1高带子带系数(1HL/LH/HH)一行执行合成滤波处理(箭头S29),从而生成基带的第十五行基带图像数据Base15和第十六行基带图像数据Base16(箭头S30)。
图像数据Base15的第十五行被立即向外部输出,而图像数据Base16的第十六行被暂时地保持在输出缓冲器单元316中,并且在下一个输出时序上被输出(第十六行递增小波逆变换处理)。
这样,重复行递增小波逆变换处理16次生成并且输出与基带图像数据等值的一个区域(16行)。针对下一个区域重复如上所述的相同处理(箭头S31)。
因而,小波逆变换设备300重复执行行递增小波逆变换处理,从而从基带图像数据的顶层每次生成两行系数,并且选择一个来处理,使得每个系数输出一行,并且重复合成滤波处理。因此,小波逆变换设备300可以在每个预定的定时输出基带图像数据。
同样,每个基带图像数据小波逆变换设备300生成两行,并且此时,仅执行生成该两行所需的合成滤波处理。也就是说,小波逆变换设备300在输出缓冲器中保存由合成滤波处理生成的两行系数中的一行,而在层独立缓冲器单元320中保持另一行,以便对保持在层独立缓冲器单元320中的一行再次优先执行合成滤波处理,以便生成两行系数。小波逆变换设备300重复该处理直到生成两行基带图像数据。当生成了基带图像数据,并且处理了保持在层独立缓冲器单元320中的全部系数,小波逆变换设备300读出保持在输出缓冲器单元316中的系数,以及在层独立缓冲器单元320中保持其,并且优先从划分层中较低顺序的系数中执行合成滤波处理。此时同样,小波逆变换设备300重复如上所述的合成滤波处理。
因而,小波逆变换设备300不仅能从顶层起每个基带图像数据生成两行,而且能减轻生成两行基带图像数据中的每行的工作量,并且进一步地减少需要被保持的数据的数据量,例如由合成滤波处理生成的系数数据、基带图像数据等等,从而可以减少缓冲器所需的存储器容量。这还使得生产成本减少。
此外,在生成两行基带图像数据的时候,小波逆变换设备300仅执行生成该两行所需的合成滤波处理,所以可减少生成两行基带图像数据的间隔。也就是说,小波逆变换设备300可以较短的间隔输出每行基带图像数据。
小波逆变换设备300处理的图像数据是例如电视信号等。如上所述,小波逆变换设备300一次一行地输出基带图像数据,但是将其间隔匹配到电视信号的水平同步定时使小波逆变换设备300能生成实时(瞬间)电视信号。也就是说,在这种情况下,小波逆变换设备300可以实时执行输入系数数据的小波逆变换,使得输出图像数据可被显示于监视器上,而无需例如缓冲。应当指出,此处使用的术语″实时″是指每当将其间隔匹配到电视信号的水平同步定时时基带图像数据可被输出一行,并不是指小波逆变换处理造成的延迟时间为零。
图42的示意图图解了10位样本的多路复用数据格式,具有利用SMPTE(电影与电视工程师学会)292M HD-SDI(高清晰度串行数字接口)信号(1.5Gbps)规定的1920×1080、YCbCr 4:2:2格式。利用该数据格式,被多路复用成Y(亮度)和Cb、Cr(色差)的基带数据的1920像素被放置于SAV(有效图像的开始)与EAV(有效图像的结束)之间。表示水平消隐期的行消隐被放置在EAV与下一个SAV之间。
为了利用这样的数据格式实时生成基带图像数据,小波逆变换设备300需要在一个SAV与下一个SAV之间生成基带图像数据。如上所述,在生成两行基带图像数据的时候,小波逆变换设备300仅执行生成所述两行所需的合成滤波处理,所以基带图像数据的每行均可以较短的间隔被输出,并且针对每个SAV基带图像数据可被容易地一次一行地输出。
现在,在实际操作中,上述处理例如小波变换处理和小波逆变换处理被应用于例如图像数据传输系统和记录/播放系统,并且通常与诸如熵编码和熵解码等的其它处理一起使用。
下面描述小波逆变换设备300的一个应用例子。图43的模块图图解了利用本发明的实施例适用于其的小波逆变换设备300的图像传输系统的配置。
图43中所示的图像传输系统500是用于编码和发送图42中所示的数据格式的图像数据的系统,具有作为发送源的编码设备501和作为发送目的地的解码设备502。
编码设备501对从外部输入的图像数据进行小波变换,并且编码数据,以及发送编码数据给解码设备502。编码设备501具有小波变换单元511、系数重新排列缓冲器单元513、系数重新排列单元514、量化单元515和熵编码单元516。
外部输入给编码设备501的图像数据在小波变换单元511上被转换成小波系数,并且被存储在系数重新排列缓冲器单元513中。存储在系数重新排列缓冲器单元513中的系数数据按执行小波逆变换处理的顺序被系数重新排列单元514顺序地读出,在量化单元515上被量化,以及在熵编码单元516上被编码,以便是转换成编码数据。在熵编码单元516上生成的编码数据被提供给解码设备502。
解码设备502将从编码设备501发送的编码数据解码,并且执行小波逆变换处理,从而恢复并且输出基带图像数据,所述解码设备502具有熵解码单元521、逆量化单元522和小波逆变换单元523。也就是说,在熵解码单元521上解码从编码设备501中提供的编码数据,在逆量化单元522上进行逆量化,并且在小波逆变换单元523上进行小波逆变换,以便转换成基带图像数据并且从解码设备502中输出。
小波变换单元511对应于图1中所示的小波变换设备100和图16中的小波变换设备200,而小波逆变换单元523对应于上述的小波逆变换设备300,其具有基本相同的配置,执行相同的处理。因此,小波逆变换单元523可执行小波逆变换处理,以便在匹配水平同步定时的时刻一次一行地输出图像数据。
熵解码单元521具有控制单元531、代码输入单元541、解码单元542和系数输出单元543。提供给熵解码单元521的编码数据在代码输入单元541被接收,并且在解码单元542上被解码,以便转换成系数数据。所生成的系数数据通过系数输出单元543被输出给逆量化单元522。控制单元531控制解码单元542上的输入/输出,即代码输入单元541和系数输出单元543,从而控制由解码单元542执行的解码处理的执行定时。并且,控制单元531将指示图像数据的水平同步定时的时钟信号提供给逆量化单元522和小波逆变换单元523。
解码单元542、逆量化单元522和小波逆变换单元523在控制设备531的控制之下执行每个进程,即对输入的编码数据进行解码、逆量化和小波逆变换,使得在匹配水平同步定时的时间一次一行地输出图像数据。
将参照图44中所示的流程图描述由这样的解码设备502执行的解码处理的流程的例子。该解码处理针对每个图片被重复执行。
当解码处理开始,在步骤S501中控制单元531初始化欲处理的区域,在步骤S502中判断定时是否是对应于行消隐定时(水平同步定时)的预定定时,并且等待直到预定的定时。
如果在步骤S502中做出定时为预定定时的判断,则流程前进到步骤S503。
在步骤S503中,对有关小波逆变换单元523的输出缓冲器单元中是否存在基带图像数据进行判定。如果做出输出缓冲器单元上没有基带图像数据的判断,则流程前进到步骤S504。在步骤S504中,解码单元542经由被控制单元531控制的代码输入单元541获得编码数据,并且对编码数据进行熵解码,以便转换成系数数据。解码单元542将所生成的系数数据提供给被控制单元531控制的逆量化单元522。在步骤S505中,逆量化单元522执行系数数据的逆量化,并且提供受到逆量化的系数数据给小波逆变换单元523。
当步骤S505中的处理结束,流程前进到步骤S506。并且,如果步骤S503中做出输出缓冲器单元上存在基带图像数据的判定,则输出缓冲器单元中的输出图像数据被给予优先权,步骤S504和S505中的处理被跳过,流程前进到步骤S506。
在步骤S506中,根据从控制单元531中提供的控制定时,小波逆变换单元523执行如参照图35和36中的流程图描述的行递增小波逆变换处理,以便生成并且输出两行基带图像数据。
在步骤S507中,控制单元531判断区域内的全部系数数据是否已被处理完,如果做出存在未处理数据的判断,则流程返回到步骤S502并且重复后续的处理。另一方面,如果在步骤S507中做出区域内的所有系数数据已被处理完的判定,则流程前进到步骤S508。
在步骤S508中,控制单元531判断图片内的所有区域是否已被处理完。如果做出存在未处理的区域的判断,则流程前进到步骤S509。在步骤S509中,控制单元531更新将被处理的区域为下一个区域,然后流程返回到步骤S502。在步骤S508中,如果做出图片内的所有区域都已被处理的判定,则控制单元531结束对该图片的解码处理。
如上所述,解码设备502在控制单元531的控制下,以预定的定时即对应于水平同步定时,重复执行递增小波逆变换处理。
因而,解码设备502利用水平同步定时可一次输出一行。也就是说,解码设备502可实时地解码编码数据并且恢复基带图像数据。
图45的示意图图解了在这种情况下输出基带图像数据的方法。如图45所示,基带图像数据(基带图像数据-1和基带图像数据-2)在每个水平同步定时(H-Sync)被每次一行地输出。然而注意到,如图45所示,每一基带图像数据生成两行(基带图像数据-1和基带图像数据-2)。也就是说,在所生成的两行中,一行如(A)所示在被生成时以水平同步定时被直接输出,而另一行如(B)所示被写给输出缓冲器316,并且如(C)所示在下一个水平同步定时上从输出缓冲器316中读出并且输出。
因此,如图45所示,在水平同步定时周期之间需要进行熵解码处理(VLD),逆量化(IQ)以及小波逆变换处理(IDWT)。小波逆变换单元523(小波逆变换设备300)按照上述顺序执行合成滤波处理,从而使基带图像数据的生成之间能间隔,所以可以容易地实现在诸如图45中所示的定时上的实时解码处理。
虽然上面描述了一个图像数据发送系统,但是本发明适用的小波逆变换设备300也可被应用于其它系统。然而,可以认为延迟时间增加的缺点越大,即系统要求延迟时间的减少越多,则本发明的应用的优点就越大。
上面描述的一系列过程可以通过硬件或软件来实现。在这种情况下,可以形成诸如图46中所示的个人计算机的配置。
在图46中,CPU(中央处理单元)601执行各种类型的处理,遵循存储在ROM(只读存储器)602中的或从存储单元613中被加载到RAM(随机访问存储器)603的程序。RAM 603同样根据需要存储CPU601执行各种类型处理所需的任何数据。CPU 601、ROM 602和RAM603经由总线604被相互连接。总线604还被连接到输入/输出接口610。
连接到输入/输出接口610的是由键盘、鼠标等等组成输入单元611、由诸如CRT(阴极射线管)或LCD(液晶显示器)等的显示器以及扬声器等组成的输出单元612、由硬盘等组成的存储单元613,以及由调制解调器等组成的通信单元614。通信单元614经由因特网作为代表的网络执行通信处理。
驱动器615利用根据情况安装的、诸如磁盘、光盘、磁光盘、半导体存储器等的可拆卸介质621,利用从根据需要被安装在存储单元613中读出的计算机程序根据需要被连接到输入/输出接口610上。
如果用软件执行上述系列处理,则由软件组成的程序从网络或记录介质中被安装。
如图46所示,例如,记录介质可被配置成可拆卸介质621,例如磁盘(包含软盘)、光盘(包含CD-ROM(只读光盘)和DVD(数字化视频光盘)、磁光盘(包含MD(Mini-Disk(注册商标))),或半导体存储器等,其分别从设备主单元中被分配,以便将程序分配给用户,但是不局限于这样的可拆卸介质621,并且可被配置成程序已被记录其中的ROM602或存储单元613,其被建成设备主单元以便在该情况下将程序分配给用户的。
注意到,利用本说明书,描述记录在记录介质中的程序的步骤当然可包含遵循所述顺序按时间顺序执行的处理,但是不局限于按时间顺序处理,而可包含并行或个别执行的处理。并且,在本说明书中,术语″系统″是指多设备的整个设备配置。同样,可以划分如以上所述的单个设备的配置,以便由多个设备构成,或反之,如上面描述的作为多个设备的配置可被集成,以便被配置成单设备。当然,上面描述的其它配置可被加到设备的配置中。此外,一个设备的一部分配置可被包含在另一个设备的配置中,只要整个系统的配置和操作基本相同。
本领域技术人员应当理解,可以根据设计要求和至今为止的其它因素,作出各种修改、组合、子组合和替换,只要它们落在所附权利要求或其等价物的范围之内。

Claims (20)

1.一种信息处理设备,其被配置成将图像数据的频率分量划分成多个频带,包括:
分析滤波装置,其被配置成递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;以及
保持装置,其被配置成与用于保持作为所述分析滤波装置的所述分析滤波的计算结果提供的数据的定时同步地向所述分析滤波装置提供已经保持的所述数据,所述数据为下一个分析滤波的计算所需的数据。
2.如权利要求1所述的信息处理设备,所述保持装置包括:
链接装置,其被配置成链接由所述分析滤波装置在每个周期一次一个提供的多个数据,以生成一个数据段;
划分装置,其被配置成将一个数据段划分成多个数据,以便将这些数据在每个所述周期一次一个地提供给所述分析滤波装置;以及
存储装置,其被配置成针对每个所述周期,交替地执行数据的写入和读取,在用于写入所述数据的写入周期写入并且存储由所述链接装置生成的一个数据段,在用于读出所述数据的读出周期从所存储的数据中一个周期读出一个数据段,以将该数据段提供给所述划分装置以将其划分成多个数据。
3.如权利要求2所述的信息处理设备,其中所述链接装置链接每个周期从所述分析滤波装置每第一数据增量提供的所述数据,以生成作为第二数据增量的一个数据段;及
所述划分装置每所述第一数据增量划分所述作为第二数据增量的一个数据段,以生成多个作为第一数据增量的数据,并且在每个周期一次一个地将所述作为第一数据增量的数据提供给所述分析滤波装置。
4.一种信息处理方法,其用于被配置成将图像数据的频率分量划分成多个频带的信息处理设备,所述信息处理方法包括步骤:
递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;以及
与用于保持作为所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据,所述数据是下一个分析滤波的计算所需的数据。
5.一种信息处理设备,其被配置成将图像数据的频率分量划分成多个频带,包括:
亮度分量分析滤波装置,其被配置成针对所述图像数据的亮度分量递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;
色差分量分析滤波装置,其被配置成针对所述图像数据的色差分量递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;
亮度分量保持装置,其被配置成与用于保持作为所述亮度分量分析滤波装置的所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据给所述亮度分量分析滤波装置,所述数据为下一个分析滤波的计算所需的数据;以及
色差分量保持装置,其被配置成与用于保持作为所述色差分量分析滤波装置的所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据给所述色差分量分析滤波装置,所述数据为下一个分析滤波的计算所需的数据。
6.如权利要求5所述的信息处理设备,所述亮度分量保持装置包含:亮度分量链接装置,其被配置成链接由所述亮度分量分析滤波装置在每个周期一次一个提供的多个数据,以生成一个数据段;亮度分量划分装置,其被配置成将一个数据段划分成多个数据,以便将这些数据在每个所述周期一次一个地提供给所述亮度分量分析滤波装置;以及亮度分量存储装置,其被配置成针对每个所述周期,交替地执行数据的写入和读取,在用于写入所述数据的写入周期写入并且存储由所述亮度分量链接装置生成的一个数据段,在用于读出所述数据的读出周期从所存储的数据中一个周期读出一个数据段,以将该数据段提供给所述亮度分量划分装置以将其划分成多个数据;
所述色差分量保持装置包含:色差分量链接装置,其被配置成链接由所述色差分量分析滤波装置在每个周期一次一个提供的多个数据,以生成一个数据段;色差分量划分装置,其被配置成将一个数据段划分成多个数据,以便将这些数据在每个所述周期一次一个地提供给所述色差分量分析滤波装置;以及色差分量存储装置,其被配置成针对每个所述周期,交替地执行数据的写入和读取,在用于写入所述数据的写入周期写入并且存储由所述色差分量链接装置生成的一个数据段,在用于读出所述数据的读出周期从所存储的数据中一个周期读出一个数据段,以将数据段提供给所述色差分量划分装置以将其划分成多个数据。
7.如权利要求6所述的信息处理设备,其中所述亮度分量链接装置链接每个周期从所述亮度分量分析滤波装置每第一数据增量提供的所述数据,以生成作为第二数据增量的一个数据段;及
所述亮度分量划分装置每所述第一数据增量划分所述作为第二数据增量的一个数据段,以生成多个作为第一数据增量的数据,并且在每个周期一次一个地将所述作为第一数据增量的数据提供给所述亮度分量分析滤波装置;及
所述色差分量链接装置链接从所述色差分量分析滤波装置每第一数据增量提供的所述数据,以生成作为第二数据增量的一个数据段;及
所述色差分量划分装置每所述第一数据增量划分所述作为第二数据增量的一个数据段,以生成作为第一数据增量的多个数据,并且在每个周期一次一个地将所述作为第一数据增量的数据提供给所述色差分量分析滤波装置。
8.一种信息处理方法,其用于被配置成将图像数据的频率分量划分成多个频带的信息处理设备,所述信息处理方法包括步骤:
针对所述图像数据的亮度分量递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;
针对所述图像数据的色差分量递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;
与用于保持作为针对所述亮度分量的所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据,所述数据为有关下一个亮度分量的分析滤波的计算所需的数据;以及
与用于保持作为针对所述色差分量的所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据,所述数据为有关下一个色差分量的分析滤波的计算所需的数据。
9.一种信息处理设备,包括:
合成滤波装置,其被配置成对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,并且对被分成多个频带的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及
保持装置,其被配置成与用于保持作为所述合成滤波装置的所述合成滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据给所述合成滤波装置,所述数据为下一个合成滤波的计算所需的数据。
10.如权利要求9所述的信息处理设备,所述保持装置包括:
链接装置,其被配置成链接由所述合成滤波装置在每个周期一次一个提供的多个数据,以生成一个数据段;
划分装置,其被配置成将一个数据段划分成多个数据,以便将这些数据在每个所述周期一次一个地提供给所述合成滤波装置;以及
存储装置,其被配置成针对每个所述周期,交替地执行数据的写入和读取,在用于写入所述数据的写入周期写入并且存储由所述链接装置生成的一个数据段,在用于读出所述数据的读出周期从所存储的数据中一个周期读出一个数据段,以将该数据段提供给所述划分装置以将其划分成多个数据。
11.如权利要求10所述的信息处理设备,其中所述链接装置链接每个周期从所述合成滤波装置每第一数据增量提供的所述数据,以生成作为第二数据增量的一个数据段;及
所述划分装置每所述第一数据增量划分所述作为第二数据增量的一个数据段,以生成作为第一数据增量的多个数据,并且在每个周期一次一个地将所述作为第一数据增量的数据提供给所述合成滤波装置。
12.一种用于信息处理设备的信息处理方法,包括步骤:
对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,以对被分成多个频带的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及
与用于保持作为所述合成滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据,所述数据为下一个合成滤波的计算所需的数据。
13.一种信息处理设备,包括:
合成滤波装置,其被配置成对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,并且对被分成多个频带的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及
保持装置,其被配置成保持由所述合成滤波装置相互合成相同划分层的频带的频率分量而生成的频率分量,并且与用于保持由所述合成滤波装置最终生成的已恢复的所述图像数据的定时同步地读出并且输出由所述合成滤波装置生成的低一个划分层的已被保持的频率分量,所述已被保持的频率分量可被进行进一步的所述合成滤波。
14.如权利要求13所述的信息处理设备,所述保持装置包括:
链接装置,其被配置成链接在每个周期一次一个提供的多个数据,以生成一个数据段;
划分装置,其被配置成将一个数据段划分成多个数据,以便在每个所述周期一次一个地提供这些数据;以及
存储装置,其被配置成针对每个所述周期,交替地执行数据的写入和读取,在用于写入所述数据的写入周期写入并且存储由所述链接装置生成的一个数据段,在用于读出所述数据的读出周期从所存储的数据中一个周期读出一个数据段,以将该数据段提供给所述划分装置以将其划分成多个数据。
15.如权利要求14所述的信息处理设备,其中所述链接装置链接在每个周期每第一数据增量提供的所述数据,以生成作为第二数据增量的一个数据段;及
所述划分装置每所述第一数据增量划分所述作为第二数据增量的一个数据段,以生成作为所述第一数据增量的多个数据,并且在每个周期一次一个地输出所述作为所述第一数据增量的数据。
16.一种用于信息处理设备的信息处理方法,包括步骤:
对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,以对被分成多个频带的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及
保持由相互合成相同划分层的频带的频率分量而生成的频率分量,以与用于保持由所述合成滤波最终生成的恢复的所述图像数据的定时同步地读出并且输出由所述合成滤波生成的低一个划分层的已被保持的频率分量,所述已被保持的频率分量可被进行进一步的所述合成滤波。
17.一种信息处理设备,其被配置成将图像数据的频率分量划分成多个频带,所述信息处理设备包括:
分析滤波单元,其被配置成递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;以及
保持单元,其被配置成与用于保持作为所述分析滤波单元的所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据给所述分析滤波单元,所述数据为下一个分析滤波的计算所需的数据。
18.一种信息处理设备,其被配置成将图像数据的频率分量划分成多个频带,所述信息处理设备包括:
亮度分量分析滤波单元,其被配置成针对所述图像数据的亮度分量递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;
色差分量分析滤波单元,其被配置成针对所述图像数据的色差分量递归地执行用于将所述频率分量划分成高带分量和低带分量的分析滤波;
亮度分量保持单元,其被配置成与用于保持作为所述亮度分量分析滤波单元的所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据给所述亮度分量分析滤波单元,所述数据为下一个分析滤波的计算所需的数据;以及
色差分量保持单元,其被配置成与用于保持作为所述色差分量分析滤波单元的所述分析滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据给所述色差分量分析滤波单元,所述数据为下一个分析滤波的计算所需的数据。
19.一种信息处理设备,包括:
合成滤波单元,其被配置成对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,并且对被分成多个频带的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及
保持单元,其被配置成与用于保持作为所述合成滤波单元的所述合成滤波的计算结果提供的数据的定时同步地提供已经保持的所述数据给所述合成滤波单元,所述数据为下一个合成滤波的计算所需的数据。
20.一种信息处理设备,包括:
合成滤波单元,其被配置成对图像数据进行分析滤波,以便将所述图像数据的频率分量分层地划分成高带分量和低带分量,并且对被分成多个频带的所述图像数据的频率分量递归地进行合成滤波,以便相互合成相同划分层的频带的频率分量;以及
保持单元,其被配置成保持由所述合成滤波单元相互合成相同划分层的频带的频率分量而生成的频率分量,并且与用于保持由所述合成滤波单元最终生成的恢复的所述图像数据的定时同步地读出并且输出由所述合成滤波单元生成的低一个划分层的已被保持的频率分量,所述已被保持的频率分量可被进行进一步的所述合成滤波。
CN2008100992779A 2007-05-17 2008-05-16 信息处理设备和方法 Expired - Fee Related CN101309419B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-131286 2007-05-17
JP2007131286A JP4356030B2 (ja) 2007-05-17 2007-05-17 情報処理装置および方法

Publications (2)

Publication Number Publication Date
CN101309419A true CN101309419A (zh) 2008-11-19
CN101309419B CN101309419B (zh) 2012-09-05

Family

ID=40027550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100992779A Expired - Fee Related CN101309419B (zh) 2007-05-17 2008-05-16 信息处理设备和方法

Country Status (3)

Country Link
US (1) US8369635B2 (zh)
JP (1) JP4356030B2 (zh)
CN (1) CN101309419B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418604A (zh) * 2017-03-22 2019-11-05 赛佛欧普手术有限公司 用于检测电生理诱发电位变化的医疗系统和方法
CN114140313A (zh) * 2021-11-24 2022-03-04 上海御微半导体技术有限公司 一种数据传输系统
US11963784B2 (en) 2013-11-07 2024-04-23 Safeop Surgical, Inc. Systems and methods for detecting nerve function
US11986321B2 (en) 2016-09-22 2024-05-21 Safeop Surgical, Inc. System and method for detecting and removing periodic non-physiological artifact from evoked potentials
US12048567B2 (en) 2015-05-04 2024-07-30 Safeop Surgical, Inc. System, method, and computer algorithm for measuring, displaying, and accurately detecting changes in electrophysiological evoked potentials

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4793320B2 (ja) * 2007-05-17 2011-10-12 ソニー株式会社 情報処理装置および方法
JP4670947B2 (ja) * 2008-12-05 2011-04-13 ソニー株式会社 情報処理装置および方法
JP4626707B2 (ja) * 2008-12-08 2011-02-09 ソニー株式会社 情報処理装置および方法
JP5809572B2 (ja) 2012-01-30 2015-11-11 ルネサスエレクトロニクス株式会社 半導体装置
KR101904718B1 (ko) * 2012-08-27 2018-10-05 삼성전자주식회사 컬러 영상 및 깊이 영상 촬영 장치 및 방법
KR20140122835A (ko) * 2013-04-11 2014-10-21 삼성전자주식회사 프로세스 병렬 처리 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130798A (en) * 1991-01-31 1992-07-14 Thomson Consumer Electronics, Inc. Dual band progressive television system with noise reduction
US5119195A (en) * 1991-01-31 1992-06-02 Thomson Consumer Electronics, Inc. Video noise reduction system employing plural frequency bands
KR100308703B1 (ko) * 1995-09-12 2001-11-30 모리시타 요이찌 부호화방법,부호화장치,웨이블릿변환장치및웨이블릿역변환장치
JPH10283342A (ja) 1997-04-02 1998-10-23 Matsushita Electric Ind Co Ltd ウェーブレット変換装置
JP3655088B2 (ja) 1997-12-19 2005-06-02 株式会社リコー ウェーブレット変換装置及び符号化/復号化装置
US7369161B2 (en) * 1999-06-08 2008-05-06 Lightsurf Technologies, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
JP4254017B2 (ja) 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6678422B1 (en) * 2000-08-30 2004-01-13 National Semiconductor Corporation Method and apparatus for image data compression with low memory requirement
JP2002101310A (ja) 2000-09-21 2002-04-05 Canon Inc フィルタ処理装置及び方法
US7617338B2 (en) * 2005-02-03 2009-11-10 International Business Machines Corporation Memory with combined line and word access
JP4371120B2 (ja) * 2006-05-16 2009-11-25 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP4360379B2 (ja) 2006-05-16 2009-11-11 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体
JP4182446B2 (ja) 2006-07-14 2008-11-19 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4182447B2 (ja) 2006-07-14 2008-11-19 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11963784B2 (en) 2013-11-07 2024-04-23 Safeop Surgical, Inc. Systems and methods for detecting nerve function
US12048567B2 (en) 2015-05-04 2024-07-30 Safeop Surgical, Inc. System, method, and computer algorithm for measuring, displaying, and accurately detecting changes in electrophysiological evoked potentials
US11986321B2 (en) 2016-09-22 2024-05-21 Safeop Surgical, Inc. System and method for detecting and removing periodic non-physiological artifact from evoked potentials
CN110418604A (zh) * 2017-03-22 2019-11-05 赛佛欧普手术有限公司 用于检测电生理诱发电位变化的医疗系统和方法
US11963775B2 (en) 2017-03-22 2024-04-23 Safeop Surgical, Inc. Medical systems and methods for detecting changes in electrophysiological evoked potentials
CN114140313A (zh) * 2021-11-24 2022-03-04 上海御微半导体技术有限公司 一种数据传输系统

Also Published As

Publication number Publication date
US20080285872A1 (en) 2008-11-20
JP4356030B2 (ja) 2009-11-04
JP2008288835A (ja) 2008-11-27
US8369635B2 (en) 2013-02-05
CN101309419B (zh) 2012-09-05

Similar Documents

Publication Publication Date Title
CN101309419B (zh) 信息处理设备和方法
CN101076118B (zh) 图像处理设备和图像处理方法
CN101076117B (zh) 图像处理设备和图像处理方法
Zervas et al. Evaluation of design alternatives for the 2-D-discrete wavelet transform
CN101569170B (zh) 编码设备和编码方法以及解码设备和解码方法
Song et al. A GPU-accelerated wavelet decompression system with SPIHT and Reed-Solomon decoding for satellite images
CN101754013A (zh) 由图形处理单元支持的视频解码方法
JP2000308060A (ja) 符号化方法及び装置
CN102158694B (zh) 一种基于gpu的遥感图像解压缩方法
CN101309415B (zh) 信息处理设备和方法
Galiano et al. Parallel strategies for 2D discrete wavelet transform in shared memory systems and GPUs
JP4525704B2 (ja) 符号化装置および方法、記録媒体、並びにプログラム。
CN101192303B (zh) 适用于Jpeg2000标准的高速比特平面解码方法及电路
CN101309416B (zh) 信息处理设备和方法
JP4356029B2 (ja) 情報処理装置および方法
WO2005098756A1 (en) Video compression and decompression circuits
Ao et al. Fast and efficient lossless image compression based on CUDA parallel wavelet tree encoding
US8467624B2 (en) Image processing apparatus, image processing circuit, and image processing method
US7386179B2 (en) Encoding apparatus and method, and decoding apparatus, method and program
CN102158695A (zh) 图像处理设备和方法
Datla et al. Parallelizing motion JPEG 2000 with CUDA
US20080285870A1 (en) Information processing device and method
CN101754014B (zh) 信息处理设备和方法
Lee et al. CUDA-based JPEG2000 encoding scheme
CN103533357B (zh) 基于fpga的多级复用小波变换器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20180516