CN1067830C - 数字图像格式转换装置 - Google Patents

Abstract

数字图像格式转换装置，包括：图像内插装置，对解压缩数字图像数据进行高速内插及滤波处理；色彩空间转换器，电连接于图像内插装置，将该图像内插装置输出的经高速内插及滤波处理的数字图像数据由第一色彩空间转为第二色彩空间。图像内插装置包括垂直内插装置，执行解压缩数字图像数据垂直方向的内插及滤波动作；水平内插装置，电连接于该垂直内插装置，执行该垂直内插数字图像数据水平方向的内插及滤波动作。

Description

数字图像格式转换装置

本发明涉及一种转换装置，尤其涉及一种数字图像格式转换装置。

由于计算机多媒体的兴起，数字化影音压缩(DigitalVideo/Audio Compression)成为不可缺少之一环，一般而言，压缩的全动态图像(Full Motion Video)及音频信号以高密度光盘(Compact Disc)作为储存媒介，为了符合光盘之数据传输率及考虑其所能容纳之节目数据长度，该压缩的全动态图像均以SIF(Source Input Format)格式作为画面之解析度，一张画面由352×240或352×288个像素(pixel)所构成，而以Y、U、V三元素组成像素之色彩，其中，Y是辉度(luminance)或亮度(brightness)，代表一颜色之明暗，U、V是色度(Chrominance)或色差(Colordifference)，代表一颜色中某一原色成份(R、G、B，红绿蓝)减去该颜色之辉度，其中U代表B-Y(蓝色差)，V代表R-Y(红色差)。即，此种储存于光盘中的压缩数字图像数据通常由较高解析度的原始画面先经过垂直及水平次取样(Subsampling)，得到SIF格式的解析度，之后，再经由数字图像压缩法则进行压缩运算而得，因此，如希望在计算机屏幕上再次呈现出该原始画面的解析度，则必需将被压缩的数字图像数据解压缩，再进行数字图像格式转换，即是对Y、U、V元素进行垂直及水平复取样(Upsampling)。

图1所示为一现有技术的数字图像解压缩及播放子系统(subsystem)，类似的现有技术见之于美国C-Cube Microsystems公司1992年出版的“C-Cube CL450开发工具用户指南”的第1-5页的图1-2；AuraVision公司1994年1月出版的第1.1版“新一代视频处理器设计信息”第7页的图1-1以及CHIPS公司出版的第1.2修订版“新产品信息-PC视频”第1页。从图1可见，它包括一数字图像解码器11、一图像后级处理器12、一图框存储器13、一图像数字/模拟转换器14、一多路转换器15及一计算机监视器16；压缩的数字图像数据由数字图像解码器11解压缩后，经由图像后级处理器12及图框存储器13进行数字图像格式变换后，再经由图像数字/模拟转换器14转为模拟信号，模拟图像信号与来自VGA的模拟图画信号A在多路转换器15进行多路转换输出至计算机监视器16的屏幕显示。

由图1可知，传统的用以执行数字图像格式转换者为图像后级处理器12及图框存储器13，而其转换方式是以一张一张的画面为处理基础(frame basis)，其动作为：接收输入画面、进行后级处理(包括放大、缩小、滤波或色彩空间变换等)、写入画面缓冲区(framebuffer)、再由画面缓冲区输出。由于该传统的数字图像格式转换装置是以整张画面为处理基础，因此，该图框存储器13必须是大容量的VRAM或DRAM等类存储器，方足够做为画面缓冲区。也正因为该传统的图像格式转换装置是以整张画面为处理基础，故图像后级处理器12需照管整张画面的处理，因此其所需之硬件线路和存储器空间将比以一条扫描线为处理基础的更为复杂及庞大，价格也昂贵多了。

另有第二种传统的数字图像格式转换装置，其以行缓冲器(LineBuffer)及简单的存取电路来代替前述传统的图像后级处理器12及图框存储器13，其将一条扫描线的解压缩数字图像数据存于行缓冲器中，再由行缓冲器提供双倍扫描线输出，所谓双倍扫描线是指输出二条与存于行缓冲器的该条扫描线具有相同像素数据的扫描线数据，由于该第二种转换装置直接输出二条相同的扫描线数据，并无对每一条扫描线做处理，故其所呈现的效果是输出画面放大为解压缩画面的两倍，但并未于画面上显示原始画面的解析度，造成空间虚像(spatial Aliasing)的视觉效果，无法提供良好的图像品质。

本发明的主要目的在于提供一种数字图像格式转换装置，它可降低成本并可在屏幕上呈现原始画面的解析度。

本发明为一种数字图像格式转换装置，其用以对一解压缩器输出的解压缩数字图像数据执行格式转换，其包括：一图像内插装置，其对该解压缩数字图像数据进行高速(on-the-fly)内插及滤波处理；一色彩空间转换器，电连接于该图像内插装置，将该图像内插装置所输出经高速(on-the-fly)内插及滤波处理的数字图像数据由第一色彩空间转为第二色彩空间，以完成该解压缩数字图像数据的格式转换。该图像内插装置包括：一垂直内插装置，以执行该解压缩数字图像数据垂直方向的内插及滤波动作，输出一种垂直内插数字图像数据；一水平内插装置，电连接于该垂直内插装置，以执行该垂直内插数字图像数据水平方向的内插及滤波动作。

其中该第一色彩空间包括Y(luminance，辉度，或brightness，亮度)、U、V(chrominance，色度，或Color difference，色差)三种元素；该第二色彩空间包括R(红)、G(绿)、B(蓝)三种元素。

该垂直内插装置包括：一Y元素垂直内插器，以执行该解压缩数字图像数据中之Y元素垂直方向的内插及滤波动作；一U元素垂直内插器，以执行该解压缩数字图像数据中之U元素垂直方向的内插及滤波动作；一V元素垂直内插器，以执行该解压缩数字图像资料中之V元素垂直方向的内插及滤波动作。

该Y元素垂直内插器、U元素垂直内插器、V元素垂直内插器各包括：一行存储器(Line Memory)，对图像扫描线的解压缩数字图像数据进行交错(Interleave)存取；一垂直滤波器，电连接于该行存储器，其接收输入及输出该行存储器的图像扫描线数据，并对该二者进行垂直内插及滤波动作；一多路转换器，电连接于该行存储器及该垂直滤波器，以交替选择该行存储器及该垂直滤波器的输出至该水平内插装置。

该多路转换器于该行存储器接收图像扫描线数据之期间，使该垂直滤波器的输出被送至该水平内插装置，而于该行存储器无接收图像扫描线数据期间，使原存于该行存储器的图像扫描线数据被输出至该水平内插装置。

该垂直滤波器对二条相邻扫描线位于同一水平位置之每一对应像素数据逐一进行线性内插，因而制造出一条内插之扫描线。

该交错(Interleave)存取是指于该行存储器每一地址之存取周期内，先输出原存于该地址的数据，再存入新的数据于该地址。

该U元素垂直内插器及V元素垂直内插器之行存储器容量为该Y元素垂直内插器之行存储器容量的一半。

该U元素垂直内插器及V元素垂直内插器之行存储器存取频率为该Y元素垂直内插器之行存储器存取频率的一半。

该水平内插装置包括：一Y元素水平内插器，以执行该垂直内插数字图像数据中之Y元素水平方向的内插及滤波动作；一U元素水平内插器，以执行该垂直内插数字图像数据中之U元素水平方向的内插及滤波动作；一V元素水平内插器，以执行该垂直内插数字图像数据中之V元素水平方向的内插及滤波动作。

该Y元素水平内插器、U元素水平内插器及V元素水平内插器各包括：一第一级图像锁存器，用以锁住该垂直内插装置输出的像素(pixel)数据；一第二级图像锁存器，电连接于该第一级图像锁存器，对该第一级图像锁存器之输出进行移位闩锁；一水平滤波器，电连接于该第一级图像锁存器及该第二级图像锁存器，对该二者所锁存的像素数据执行滤波运算；一第三级图像锁存器，电连接于该水平滤波器，对该水平滤波器所输出之像素数据进行取样输出。

该水平滤波器以线性内插之方式于两相邻像素间制造出一内插的像素。

该U元素水平内插器及V元素水平内插器所使用的像素频率为Y元素水平内插器所使用的像素频率的一半。

该第一、二级图像锁存器所使用的取样信号的频率为该第三级图像锁存器所使用的取样信号的频率的一半。

该解压缩器与该数字图像格式转换装置为集成于同一IC中。

本发明装置是使用高速的内插滤波方式来进行解压缩数字图像格式转换，由于进行内插及滤波处理，故可在计算机屏幕上呈现原始画面的解析度，得到良好的画面品质，又因为本发明采用高速的处理方式，以一条扫描线为处理基础，故其所占用的线路较为简化，因此可将本发明装置与解压缩器集成于一片IC中，达到节省成本的目的。

以下结合附图和实施例对本发明作进一步的详细说明。

图1是传统数字图像解压缩及播放子系统的示意图。

图2是本发明数字图像格式转换装置的方块示意图。

图3是本发明垂直内插器的方块示意图。

图4是本发明垂直内插器的时序图。

图5是本发明垂直内插器的扫描线输出示意图。

图6是本发明水平内插器的方块示意图。

图7是本发明水平内插器的时序图。

图8是本发明水平内插器的像素输出示意图。

请参阅图2，其为本发明数字图像格式转换装置的方块示意图，图2显示了数字图像格式转换装置22，其包括了垂直内插装置221、水平内插装置222及色彩空间转换器223；而垂直内插装置221又包括Y元素垂直内插器2211、U元素垂直内插器2212及V元素垂直内插器2213，水平内插装置222又包括了Y元素水平内插器2221、U元素水平内插器2222及V元素水平内插器2223；另图2亦显示了解压缩器21。

压缩的数字图像数据被送至解压缩器21内解压缩后，再送至垂直内插装置221中分别进行Y、U、V等元素的垂直内插及滤波处理，经垂直内插滤波处理后的垂直内插数字图像数据再被送至水平内插装置222中进行Y、U、V三种元素的水平内插及滤波处理，其后将经垂直及水平内插及滤波处理的数字图像数据送至色彩空间(color space)转换器223将Y、U、V三元素转为R、G、B三元素，如此完成解压缩数字图像数据的格式转换。

与传统的数字图像格式转换装置不同之处在于，本发明是配合计算机屏幕顺序扫描(progressive Scan)的显示方式，使用一高速(on-the-fly)内插及滤波作为数字图像格式的转换方式，所以本发明的数字图像格式转换装置所需的硬件线路较传统以整张画面为处理基础的图像后级处理器12及图框存储器13的硬件线路要来得简化，因此，本发明的数字图像格式转换装置22可与解压缩器21一起被集成于一片IC20中，如图2所示，节省了线路成本及IC的包装成本。

以下对本发明的垂直内插装置221及水平内插装置222的动作作一详细描述。请参阅图3，其为Y垂直内插器2211、U垂直内插器2212及V垂直内插器2213的电路方块图，该三种元素的垂直内插器各包括：一行存储器31、一垂直滤波器32及一多路转换器33，行存储器31用以存放一条扫描线的数字图像数据，垂直滤波器32则执行两条相邻扫描线数据的内插及滤波，多路转换器33则用以交替选择输出行存储器31及垂直滤波器32输出的扫描线数据至水平内插装置222。

请再参阅图4，其表示了Y、U、V垂直内插器2211、2212、2213的动作时序图，于解压缩器21输入一条扫描线之期间TDL，行存储器31进行交错(Interleave)存取，所谓交错存取是指行存储器31的地址在存取周期内先输出原存放于该地址的数据，再接收新的数据，且由图3可见，该条扫描线数据不仅输入行存储器31，同时亦输入垂直滤波器32，使与该行存储器31交错输出之上一条扫描线数据作内插及滤波处理，而多路转换器33于TDL期间选择将经垂直滤波器32内插及滤波处理后的输出扫描线数据送至水平内插装置222，而在解压缩器21没有输入扫描线数据于行存储器31之期间Ts，多路转换器33则选择输出原存于行存储器31内的扫描线数据至水平内插装置222。

如图5表示了垂直内插装置221的输出扫描线信号，其中，DL1-DLn是指直接经由行存储器31输出的扫描线信号，而IL1-IL_(n-1)则为经过垂直滤波器32内插及滤波处理的扫描线信号。其中，垂直滤波器32对二条相邻扫描线位于同一水平位置的每一对应像素数据逐一进行线性内插，因而制造出一条内插的扫描线。在一条解压缩的扫描线数据中，由于Y元素的像素数据为U、V两元素像素数据的二倍，故Y元素垂直内插器的行存储器容量为U、V元素垂直内插器的行存储器容量的二倍，且U、V元素垂直内插器的行存储器存取频率为Y元素垂直内插器的行存储器存取频率的一半。

请再参阅图6，Y、U、V水平内插器2221、2222、2223各包括：第一级像素锁存器61、第二级像素锁存器62、水平滤波器63及第三级像素锁存器64，第一、二级像素锁存器61、62对垂直内插装置221所输入的像素数据进行移位闩锁(Shifting latch)，再由水平滤波器63对该两级像素锁存器61、62锁存之数据进行滤波运算，水平滤波器63的输出再由第三级像素锁存器64作取样输出。第三级图像锁存器64所使用的取样信号CK3的频率为像素频率(Pixel Rate)，用以对水平滤波器63的输出进行取样。

请参阅图7，其为该三元素水平内插器2221、2222、2223内部元件的时序图，第一级锁存器61所使用的取样信号CK1的频率为像素频率的一半，第二级锁存器62所使用的取样信号CK2的频率与第一级相同，只是延迟一像素周期，该两者串联执行移位闩锁，第一、二级锁存器61、62所闩锁的数据再由水平滤波器63进行滤波运算，其运算法则采用第一、二级像素锁存器61、62的像素数据的线性内插，因此滤波后的输出乃形成输入像素与内插像素交替输出，如图8所示。

因解压缩画面U、V元素的水平解析度各为Y元素之一半，因此Y元素水平内插器的像素频率为U、V元素水平内插器的像素频率的二倍。

当然，根据本发明的构思，本领域的熟练人员还可以对比作出种种变换，但它们均属于本发明的范围之内。

Claims (15)

1．一种数字图像格式转换装置，用以对一解压缩器输出的解压缩数字图像数据执行格式转换，其特征在于包括：

一图像内插装置，用以对该解压缩数字图像数据进行高速内插及滤波处理；以及

一色彩空间转换器，电连接于该图像内插装置，将该图像内插装置所输出经高速内插及滤波处理的数字图像数据由第一色彩空间转为第二色彩空间，以完成该解压缩数字图像数据的格式转换，

其中，该图像内插装置包括一垂直内插装置，以执行该解压缩数字图像数据垂直方向的内插及滤波动作，输出一垂直内插数字图像数据，以及一水平内插装置，电连接于该垂直内插装置，以执行该垂直内插数字图像数据水平方向的内插及滤波动作。

2．如权利要求1所述的数字图像格式转换装置，其特征在于所述第一色彩空间包括辉度Y、蓝色差U、红色差V三种元素；所述第二色彩空间包括红R、绿G、蓝B三种元素。

3．如权利要求1所述的数字图像格式转换装置，其特征在于该垂直内插装置包括：

一辉度Y元素垂直内插器，以执行该解压缩数字图像数据中之辉度Y元素垂直方向的内插及滤波动作；

一蓝色差U元素垂直内插器，以执行该解压缩数字图像数据中之蓝色差U元素垂直方向的内插及滤波动作；

一红色差V元素垂直内插器，以执行该解压缩数字图像数据中之红色差V元素垂直方向的内插及滤波动作。

4．如权利要求3所述的数字图像格式转换装置，其特征在于所述辉度Y元素垂直内插器、蓝色差U元素垂直内插器、红色差V元素垂直内插器各包括：

一行存储器，对图像扫描线的解压缩数字图像数据进行交错存取；

一垂直滤波器，电连接于该行存储器，其接收输入及输出该行存储器的图像扫描线数据，并对该二者进行垂直内插及滤波动作；

一多路转换器，电连接于该行存储器及该垂直滤波器，以交替选择该行存储器及该垂直滤波器的输出至该水平内插装置。

5．如权利要求4所述的数字图像格式转换装置，其特征在于所述多路转换器于该行存储器接收图像扫描线数据之期间，使该垂直滤波器的输出被送至该水平内插装置，而于该行存储器无接收图像扫描线数据期间，使原存于该行存储器的图像扫描线数据被输出至该水平内插装置。

6．如权利要求4所述的数字图像格式转换装置，其特征在于所述交错存取是指在该行存储器每一地址的存取周期内，先输出原存于该地址的数据，再存入新的数据于该地址。

7．如权利要求4所述的数字图像格式转换装置，其特征在于该蓝色差U元素垂直内插器及红色差V元素垂直内插器的行存储器容量为该辉度Y元素垂直内插器的行存储器容量的一半。

8．如权利要求4所述的数字图像格式转换装置，其特征在于该蓝色差U元素垂直内插器及红色差V元素垂直内插器的行存储器存取频率为该辉度Y元素垂直内插器的行存储器存取频率的一半。

9．如权利要求4所述的数字图像格式转换装置，其特征在于该垂直滤波器对二条相邻扫描线位于同一水平位置的每一对应像素数据逐一进行线性内插，因而制造出一条内插的扫描线。

10．如权利要求1所述的数字图像格式转换装置，其特征在于该水平内插装置包括：

一辉度Y元素水平内插器，以执行该垂直内插数字图像数据中之辉度Y元素水平方向的内插及滤波动作；

一蓝色差U元素水平内插器，以执行该垂直内插数字图像数据中之蓝色差U元素水平方向的内插及滤波动作；

一红色差V元素水平内插器，以执行该垂直内插数字图像数据中之红色差V元素水平方向的内插及滤波动作。

11．如权利要求10所述的数字图像格式转换装置，其特征在于该辉度Y元素水平内插器、蓝色差U元素水平内插器及红色差V元素水平内插器各包括：

一第一级图像锁存器，用以锁存该垂直内插装置输出的像素数据；

一第二级图像锁存器，电连接于该第一级图像锁存器，对该第一级图像锁存器的输出进行移位闩锁；

一水平滤波器，电连接于该第一级图像锁存器及该第二级图像锁存器，对该二者所锁存的像素数据执行滤波运算；

一第三级图像锁存器，电连接于该水平滤波器，对该水平滤波器所输出的像素数据进行取样输出。

12．如权利要求11所述的数字图像格式转换装置，其特征在于该水平滤波器以线性内插之方式于两相邻像素间制造出一内插的像素。

13．如权利要求11所述的数字图像格式转换装置，其特征在于蓝色差U元素水平内插器及红色差V元素水平内插器所使用的像素频率为辉度Y元素水平内插器所使用的像素频率的一半。

14．如权利要求11所述的数字图像格式转换装置，该第一、二级图像锁存器所使用的取样信号的频率为该第三级图像锁存器所使用的取样信号的频率的一半。

15．如权利要求1所述的数字图像格式转换装置，其特征在于该解压缩器与该数字图像格式转换装置为集成于同一片集成电路IC中。

Images