CN1175670C - 图像信号转换方法和设备以及图像提供系统 - Google Patents

图像信号转换方法和设备以及图像提供系统 Download PDF

Info

Publication number
CN1175670C
CN1175670C CNB981052940A CN98105294A CN1175670C CN 1175670 C CN1175670 C CN 1175670C CN B981052940 A CNB981052940 A CN B981052940A CN 98105294 A CN98105294 A CN 98105294A CN 1175670 C CN1175670 C CN 1175670C
Authority
CN
China
Prior art keywords
signal
color difference
group
difference signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB981052940A
Other languages
English (en)
Other versions
CN1196641A (zh
Inventor
��ҰɽŬ
上野山努
小宫大作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1196641A publication Critical patent/CN1196641A/zh
Application granted granted Critical
Publication of CN1175670C publication Critical patent/CN1175670C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/06Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • H04N11/042Codec means
    • H04N11/044Codec means involving transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

在本图像信号转换设备中,把以DVC格式压缩的数字图像信号译码成4∶1∶1彩色分量类型的非压缩图像信号,它由色差信号和亮度信号组成。每隔一行除去以矩阵排列的4∶1∶1彩色分量类型的色差信号,以在y方向上减半色差信号的数量,把一色差信号加到在x方向上彼此相邻的每对色差信号之间的位置上,以在x方向上加倍色差信号的数量。因而,从色差信号产生4∶2∶0彩色分量类型的经转换色差信号。根据色差信号的值确定经转换色差信号值。然后,组合非压缩图像信号的经转换色差信号和亮度信号,产生4∶2∶0彩色分量类型的经转换数字图像信号。

Description

图像信号转换方法和设备以及图像提供系统
技术领域
本发明一般涉及一种转换数字图像信号的图像信号转换设备、一种图像信号转换设备中使用的图像信号转换方法以及提供通过在图像信号转换设备中转换数字图像信号而获得的图像信号的图像提供系统,尤其涉及把基于一种彩色分量类型或压缩格式的数字图像信号直接转换成基于另一种彩色分量类型或另一种压缩格式的数字图像信号的数字图像转换方法和设备。
背景技术
目前,已常常使用图像设备来处理数字图像信号,并常把一种彩色分量类型的数字图像信号用作数字图像信号。在彩色分量类型的数字图像信号中,把对应于一个像素的数字图像信号分成亮度信号Y以及第一色差信号Cr和第二色差信号Cb,并且,有许多种彩色分量类型分别对应于两个色差信号Cr和Cb组与亮度信号组的取样频率比。
第一种彩色分量类型是4:4:4彩色分量类型。如图1A所示,对于每个像素,像素的色差信号Cr和色差信号Cb分别对应于同一像素的亮度信号Y。因此,对于每个像素,都存在一个亮度信号Y和两个色差信号Cr和Cb。在这种情况下,如图1B所示,如果对每种类型的亮度信号Y、Cr和Cb应用X-Y坐标系,则坐标(x,y)上的一个亮度信号Y(x,y)对应于帧坐标(x,y)上的像素,坐标(x,y)上的两个色差信号Cr(x,y)和Cb(x,y)分别对应于亮度信号Y(x,y)。在这种情况下,一帧亮度信号Y的信息量与一帧色差信号Cr的量和一帧色差信号Cb的量相同。这里,满足x=0,1,2,3--,y=0,1,2,3--。
第二种彩色分量类型是4:2:2彩色分量类型。如图2A所示,一个像素的色差信号Cr和色差信号Cb分别对应于连续排列的两个像素的两个亮度信号。因此,如图2B所示,如果把X-Y坐标系应用于每种类型的信号Y、Cr和Cb,则坐标(x,y)上的亮度信号Y(x,y)对应于帧坐标(x,y)上的一个像素,两个色差信号Cr(x,y)和Cb(x,y)分别对应于一个亮度信号Y(2x,y)和一个亮度信号Y(2x+1,y)。在这种情况下,帧色差信号Cr的信息量和帧色差信号Cb的信息量分别是帧亮度信号Y的信息量的一半。
第三种彩色分量类型是4:2:0彩色分量类型。如图3A所示,一个像素的色差信号Cr和一个像素的色差信号Cb分别对应于以两列和两行矩阵排列的四个像素的四个亮度信号。因此,如图3B所示,如果把X-Y坐标系应用于每种类型的信号Y、Cr和Cb,则坐标(x,y)上的一个亮度信号Y(x,y)对应于帧坐标(x,y)上的一个像素,两个色差信号Cr(x,y)和Cb(x,y)分别对应于亮度信号Y(2x,2y)、亮度信号Y(2x+1,2y)、亮度信号Y(2x,2y+1)和亮度信号Y(2x+1,2y+1)。在这种情况下,帧色差信号Cr的信息量和帧色差信号Cb的信息量分别为帧亮度信号Y的信息量的四分之一。
第四种彩色分量类型是4:1:1彩色分量类型。如图4A所示,一个像素的色差信号Cr和一个像素的色差信号Cb分别对应于连续排列的四个像素的四个亮度信号。因此,如图4B所示,如果把X-Y坐标系应用于每种类型的信号Y、Cr和Cb,则坐标(x,y)上的亮度信号Y(x,y)对应于帧坐标(x,y)上的像素,两个色差信号Cr(x,y)和Cb(x,y)分别对应于亮度信号Y(4x,y)、亮度信号Y(4x+1,y)、亮度信号Y(4x+2,y)和亮度信号Y(4x+3,y)。在这种情况下,帧色差信号Cr的信息量和帧色差信号Cb的信息量分别为帧亮度信号Y的信息量的四分之一。
目前,已在各种视频设备中,例如在民用的或个人计算机上使用的具有录像机的照相机都使用了数字图像信号,所以数字图像信号转换设备得到快速推广。通常,个人计算机和民用视频设备中使用的数字图像信号是以某种标准压缩格式压缩的,经常使用两种类型的压缩格式。
第一种类型的压缩格式基于运动图像专家组1(MPEG1)的图像压缩标准或运动图像专家组2(MPEG2)的图像压缩标准。基于MPEG1或MPEG2的压缩格式常用于计算机中使用的图像信号。在基于MPEG1和MPEG2的压缩格式中,通过进行运动补偿减小了帧间的时间冗余,通过离散余弦变换减少了各帧的空间冗余,通过可变长度编码减少了码量。在名称为“信息技术-数字存储媒体以高至约1.5Mbit/s的运动图像和关联音频的编码-部分2:视频”的ISO/IEC 11172-2文献中解释了MPEG1,在名称为“信息技术-运动图像和关联音频的一般编码-部分2:视频”的ISO/IEC 13818-2文献中解释了MPEG2。因此,省略了对MPEG1和MPEG2的详细描述。
图5是根据基于MPEG1或MPEG2的压缩格式产生MPEG数据的传统MPEG数据产生设备的框图。
如图5所示,当用户使用具有诸如视频磁带播放机或视频摄像机的模拟信号输出端的模拟视频设备101时(假设模拟视频设备101没有数字信号输出端),则在模数转换器102中把从模拟视频设备101输出的模拟图像信号转换成非压缩数字图像信号。另外,当用户使用具有数字信号输出端的数字视频设备103时,把非压缩数字图像信号直接从数字视频设备103输出。此后,把非压缩数字图像信号输入到MPEG编码器104,在MPEG编码器104中根据基于MPEG1或MPEG2的压缩格式由非压缩数字图像信号产生MPEG数据。
在这种情况下,把输入到MPEG编码器104的非压缩数字图像信号分类成4:2:2彩色分量类型或4:4:4彩色分量类型,把所有基于MPEG1的MPEG数据分类成4:2:0彩色分量类型,把很多基于MPEG2的PMEG数据分类成4:2:0彩色分量类型。
第二种类型的压缩格式基于DV、DVC、DVCPRO或DVcam的图像压缩标准。这种图像压缩标准适用于包括民用视频设备的数字视频设备使用的图像(或视频)信号。由于信号数据结构和基于DV、DVC、DVCPRO和DVcam的压缩格式彼此相似,所以在本说明书中,把DVC、DVCPRO和DVcam都看作DV。DV是1996年颁布的盒式录像机的图像压缩标准,并且基于“消费者使用数字VCr的技术规范(HD数字VCr会议,1996)”。目前使用基于DV的图像信号的视频设备得到迅速的推广。而且,民用视频摄像机也已迅速推广作为一种使用基于DV的图像信号的视频设备,所以人们可以容易地以低费用产生基于DV的图像信号。
在基于DV的压缩格式中,通过离散余弦变换减少了帧间冗余,通过可变长度编码减少了码量。另外,通过对基于DV的压缩信号进行移动(shuffling)处理在宏模组中改变各帧的数据位置。
把输入或输出于使用基于DV的图像信号的视频设备的图像信号分类成4:2:2彩色分量类型或4:4:4彩色分量类型,把通常视频设备使用的图像信号分类成4:1:1彩色分量类型。
与基于MPEG1或MPEG2的MPEG图像信号的MPEG数据相比,当使用基于DV的DV图像信号的DV数据时,由于各帧单独使用DV数据,所以可以容易地对各帧进行诸如“切割和粘贴”的DV数据编辑操作。另外,由于各帧的DV数据码量较高,几乎是MPEG数据码量的6倍,所以在DV数据的情况下通常可以产生高质量的图像。
而且,由于具有高质量图像和易于编辑这些优点的DV数据可以输入到计算机,当用户操作计算机来处理图像时,在输入操作、编辑操作和数据存储操作时,用户希望使用图像的DV数据,以便易于处理DV数据和再生高质量的图像。而且,当用户把图像通过互联网等传输给另一计算机时,用户希望使用由DV数据获得的MPEG数据。为了根据DV数据产生MPEG数据,要求用户把利用DV图像信号的视频设备用作数字视频设备103,并把视频设备与MPEG编码器104相连。因此,必须配备诸如利用DV图像信号的视频设备和MPEG编码器104等这两种设备,所以用户不能以低费用处理图像。
为了以低费用处理图像,有一种想法是把输入到计算机的图像的DV数据根据软件程序而不用任何MPEG编码器直接转换成MPEG数据。然而,在根据软件程序把DV数据直接转换成MPEG数据时,存在下列问题。即,没有办法把处理DV数据的数字视频设备中使用的4:1:1彩色分量类型数字图像信号直接转换成MPEG数据使用的4:2:0彩色分量类型数字图像信号(第一个问题)。另外,在对DV数据译码和对MPEG数据编码时,由于译码和编码操作的处理量很大,所以在普通计算机中要花大量的时间来进行译码和编码操作(第二个问题)。
发明内容
本发明的第一个目的在于,考虑到这种传统图像信号转换设备和传统图像信号转换方法的缺点,提供一种能容易地和快速地以低费用把多个第一彩色分量类型的数字图像信号直接转换成多个第二彩色分量类型的数字图像信号的图像信号转换设备和图像信号转换方法。
本发明的第二个目的在于提供一种能容易地和快速地以低费用把多个以第一压缩格式压缩的数字图像信号直接转换成多个以第二压缩格式压缩的数字图像信号的图像信号转换设备和图像信号转换方法。
本发明的第三个目的在于提供一种图像提供系统,它能根据用户要求的压缩格式提供多个压缩的数字图像信号。
第一个目的是通过提供这样一种图像信号转换设备来实现的,它包含:
接收一帧的每个像素的4:1:1彩色分量类型的数字图像信号的接收装置,这些数字图像信号以行列矩阵排列;
色差信号转换装置,通过把每隔一行的色差信号从数字图像信号的色差信号中去除以使y方向上的色差信号的数量减半,把一色差信号加到在x方向上彼此相邻的每对色差信号之间的位置上以使x方向上的色差信号的数量增加一倍,以及把在y方向上数量减半在x方向上数量加倍的色差信号设置成经转换的4:2:0彩色分量类型的色差信号,把接收装置接收到的数字图像信号的色差信号直接转换成经转换的4:2:0彩色分量类型的数字图像信号的经转换色差信号,并根据接收装置接收到的数字图像信号的色差信号的值设置经转换的4:2:0彩色分量类型的色差信号值;以及
输出装置,对于帧的每个像素,把接收装置接收到的数字图像信号的亮度信号与色差信号转换装置获得的经转换的4:2:0彩色分量类型的数字图像信号的色差信号组合起来,产生4:2:0彩色分量类型的数字图像信号,并输出4:2:0彩色分量类型的数字图像信号。
在上述结构中,4:1:1彩色分量类型的色差信号对应于坐标(x,y),(x+1,y),(x,y+1)和(x+1,y+1)上的四个像素的四个亮度信号,4:2:0彩色分量类型的色差信号对应于坐标(x,y),(x+1,y),(x+2,y)和(x+3,y)上的四个像素的四个亮度信号。因此,当把y方向上的色差信号数量减半,把x方向上的色差信号的数量加倍时,就把4:1:1彩色分量类型的色差信号转换成经转换的4:2:0彩色分量类型的色差信号。在这种情况下,根据色差信号的值确定经转换的色差信号的值。
而且,由于4:1:1彩色分量类型的数字图像信号的亮度信号与4:2:0彩色分量类型的数字图像信号的亮度信号相同,所以通过组合4:1:1彩色分量类型的数字图像信号的亮度信号和经转换的4:2:0彩色分量类型的色差信号来产生4:2:0彩色分量类型的数字图像信号。
因而,由于能容易地把4:1:1彩色分量类型的色差信号转换成经转换的4:2:0彩色分量类型的色差信号,所以可以容易和快速地把4:1:1彩色分量类型的数字图像信号直接转换成4:2:0彩色分量类型的数字图像信号。
较佳地,色差信号转换装置包含:
y方向信号减半装置,从数字图像信号的色差信号中去除每隔一行的色差信号,以在y方向上把色差信号的数量减半;以及
x方向信号加倍装置,把色差信号加到y方向信号减半装置获得的、在x方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置到在x方向上相邻于增加的色差信号的一个色差信号的值,以在x方向上使y方向信号减半装置获得的色差信号的数量加倍,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
在上述结构中,当把色差信号加到在x方向上彼此相邻的每对色差信号之间的位置上以在x方向上加倍色差信号的数量时,就把每个增加的色差信号的值设置成在x方向上与增加的色差信号相邻的一个色差信号的值。
因而,由于不需要算术运算把4:1:1彩色分量类型的色差信号转换成4:2:0彩色分量类型的色差信号,所以可以容易地进行彩色信号转换操作。
也可以通过提供一种图像信号转换方法来获得本发明的上述特征,这种方法包含下列步骤:
接收帧的每个像素的4:1:1彩色分量类型的数字图像信号;
从数字图像信号中取出位于X-Y坐标系(x=0,1,2,3,--,y=0,1,2,3,--)中坐标(x,y)上的色差信号;
从所述色差信号生成4:2:0彩色分量类型的经转换的色差信号,其中在y方向上的经转换的色差信号的数量是色差信号数量的一半,而在x方向上的经转换的色差信号的数量是色差信号数量的一倍;
将经转换的色差信号与数字图像信号的量度信号相组合,以生成4:2:0彩色分量类型的数字图像信号;以及
输出所述4:2:0彩色分量类型的数字图像信号。
此外,根据本发明的图像信号转换方法,从所述色差信号生成4:2:0彩色分量类型的经转换的色差信号的步骤可包括:
通过去除偶数的y值的坐标(x,2y)上或奇数的y值的坐标(x,2y+1)上的色差信号,在y方向上把色差信号的数量减半;
通过把色差信号加到在x方向上彼此相邻的每对色差信号之间的位置上,在x方向上加倍色差信号的数量;
对于每个增加的色差信号,把一个增加的色差信号的值设置成在x方向上相邻于增加的色差信号的一个色差信号的值,从与色差信号的数量相比在y方向上减半了经转换的色差信号数量以及与色差信号的数量相比在x方向上加倍了经转换的色差信号数量的色差信号中产生经转换的4:2:0彩色分量类型的色差信号。而且,较佳地,色差信号转换装置包含:
信号值设置装置,对于坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的每对色差信号,把在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2Y+2))的两个色差信号的值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的色差信号的平均值;
y方向信号减半装置,把每隔一行的色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号的数量;以及
x方向信号加倍装置,把色差信号加到y方向信号减半装置获得的、在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成在x方向上相邻于增加的色差信号的色差信号值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
在上述结构中,计算出坐标为(x,2y)和(x,2y+1)(或(x,wy+1)和(x,sy+2))的两个色差信号的平均值,并把该平均值设置成色差信号的值。此后,在y方向上减半色差信号的数量,在x方向上加倍色差信号的数量。
因而,由于所有色差信号的值都用来设置经转换的色差信号的值,所以可以在4:2:0彩色分量类型的数字图像信号中真实地保留4:1:1彩色分量类型的数字图像信号的色彩信息。因此,通过从4:2:0彩色分量类型的数字图像信号产生再现的图像可以高质量地真实再现4:1:1彩色分量类型的数字图像信号表示的原始图像。
而且,由于把坐标为(x,2y)和(x,2y+1)(或(x,wy+1)和(x,sy+2))的两个色差信号的平均值设置成色差信号的值,即使噪声不良地加入到特定色差信号中,也可以把噪声对转换的色差信号的不利影响减小一半。
而且,由于仅需要在信号值设置装置中计算算术平均值,所以算术计算是容易的。
此外,根据本发明的图像信号转换方法,从所述色差信号生成4:2:0彩色分量类型的经转换的色差信号的步骤可包括:
对于每对色差信号计算在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的两个色差信号的平均值;
把每个平均值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的色差信号的值;
通过去除偶数的y值的坐标(x,2y)上或奇数的y值的坐标(x,2y+1)上的色差信号,在y方向上把色差信号的数量减半;
通过把色差信号加到在x方向上彼此相邻的每对色差信号之间的位置上,在x方向上加倍色差信号的数量;
对于每个增加的色差信号,把一个增加的色差信号的值设置成在x方向上相邻于增加的色差信号的一个色差信号的值,从与色差信号的数量相比在y方向上减半了经转换的色差信号数量以及与色差信号的数量相比在x方向上加倍了经转换的色差信号数量的色差信号中产生经转换的4:2:0彩色分量类型的色差信号。
而且,较佳地,色差信号转换装置包含:
信号值设置装置,对于坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的每对色差信号,把在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2Y+2)的两个色差信号的值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的色差信号的平均值;
y方向信号减半装置,把每隔一行的色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号的数量;以及
x方向信号加倍装置,把色差信号加到y方向信号减半装置获得的、在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成位于在x方向上增加的色差信号两边上的色差信号值的中内插值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
在上述结构中,由信号值设置装置把坐标(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的两个色差信号的平均值设置成色差信号值,由y方向信号减半装置在y方向上把色差信号的数量减半。然后,在x方向信号加倍装置中,把色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,并把每个增加的色差信号的值设置成在x方向上位于增加的色差信号两边的色差信号值的内插值,以在x方向上加倍色差信号的数量。
因此,即使在x方向上位于一个增加的色差信号两边的特定经转换的色差信号的值彼此显著不同,由于把特定经转换的色差信号的值的内插值设置成位于特定经转换的色差信号之间经转换的色差信号值,所以,三个经转换的色差信号的值的变化变得平滑。因此,当对经转换的4:2:0彩色分量类型的色差信号进行离散余弦变换(DCT)时,由于把经转换的色差信号的彩色信息集中到低频部分,所以可以改进压缩效率。
此外,根据本发明的图像信号转换方法,从所述色差信号生成4:2:0彩色分量类型的经转换的色差信号的步骤可包括:
对于每对色差信号计算在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的两个色差信号的平均值;
把每个平均值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的色差信号的值;
通过去除偶数的y值的坐标(x,2y)上或奇数的y值的坐标(x,2y+1)上的色差信号,在y方向上把色差信号的数量减半;
把一色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,以在x方向上加倍色差信号的数量;
对于每个增加的色差信号,把一个增加的色差信号的值设置成在x方向上位于增加的色差信号两边的色差信号值的内插值,从与色差信号的数量相比在y方向上减半了经转换的色差信号数量以及与色差信号的数量相比在x方向上加倍了经转换的色差信号数量的色差信号中产生经转换的4:2:0彩色分量类型的色差信号。
而且,较佳地,色差信号转换装置包含:
平均值计算装置,用于对坐标为(x,2y),(x,2y+1),(x+1,2y)和(x+1,2y+1)(或(x,2y+1),(x,2y+2),(x+1,2y+1)和(x+1,2y+2))的每组色差信号,计算在y方向上彼此相邻的坐标(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))上的两个色差信号的第一平均值和在y方向上彼此此相邻的坐标(x+1,2y)和(x+1,2y+1)(或(x+1,2y+1)和(x+1,2y+2))上的两个色差信号的第二平均值;
内插值计算装置,对每对第一和第二平均值,计算通过以第一加权率加权平均值计算装置计算的第一和第二平均值获得的第一内插值和通过以第二加权率加权第一和第二平均值获得的第二内插值;
信号值设置装置,用于把内插值计算装置计算得到的第一内插值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的色差信号值;
y方向信号减半装置,把每隔一行色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号数量;以及
x方向信号加倍装置,用于把一色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成内插值计算装置计算的第二内插值,以在x方向上加倍y方向信号减半装置获得的色差信号数量,并且输出该色差信号作为经转换的4:2:0分量类型的色差信号。
在上述结构中,由信号值设置装置把根据坐标为(x,2y),(x,2y+1),(x+1,2y)和(x+1,2y+1)(或(x,2y+1),(x,2y+2),(x+1,2y+1)和(x+1,2y+2))的四个色差信号的值计算得到的第一内插值设置成坐标为(x,2y),(x,2y+1),(x+1,2y)和(x+1,2y+1)的色差信号的值,由y方向信号减半装置在y方向上减半色差信号的数量。此后,在x方向信号加倍装置中,把一色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,把每个增加的色差信号的值设置成根据坐标为(x,2y),(x,2y+1),(x+1,2y)和(x+1,2y+1)(或(x,2y+1),(x,2y+2),(x+1,2y+1)和(x+1,2y+2))的四个色差信号的值计算得到的第二内插值,以在x方向上加倍色差信号的数量。
因而,即使色差信号的值彼此显著不同,由于根据线性内插来确定所有经转换的色差信号的值,所以可以使经转换的色差信号值的变化变得平滑。因此,当对经转换的4:2:0彩色分量类型的色差信号进行离散余弦变换(DCT)时,由于经转换的色差信号的彩色信息集中在低频部分,所以可以改善压缩效率。
此外,根据本发明的图像信号转换方法,从所述色差信号生成4:2:0彩色分量类型的经转换的色差信号的步骤可包括:
对于每组坐标为(x,2y),(x,2y+1),(x+1,2y)和(x+1,2y+1)(或(x,2y+1),(x,2y+2),(x+1,2y+1)和(x+1,2y+2))的色差信号,计算在y方向上彼此相邻的、坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的两个色差信号的第一平均值和在y方向上彼此相邻的坐标为(x+1,2y)和(x+1,2y+1)(或(x+1,2y+1)和(x+1,2y+2))的两个色差信号的第二平均值;
对每对第一和第二平均值,计算通过以第一加权率加权第一和第二平均值获得的第一内插值和通过以第二加权率加权第一和第二平均值获得的第二内插值;
把第一内插值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的色差信号的值;
通过去除偶数的y值的坐标(x,2y)上或奇数的y值的坐标(x,2y+1)上的色差信号,在y方向上把色差信号的数量减半;
把一色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,以在x方向上加倍色差信号的数量;
对于每个增加的色差信号,把一个增加的色差信号的值设置成第二内插值,从与色差信号的数量相比在y方向上减半了经转换的色差信号数量以及与色差信号的数量相比在x方向上加倍了经转换的色差信号数量的色差信号中产生经转换的4:2:0彩色分量类型的色差信号。
而且,较佳地,色差信号转换装置包含:
平均值计算装置,用于对每对色差信号计算在y方向上彼此相邻的、位于坐标(x,2y)和(x,2y+1)的两个色差信号的平均值;
加权系数计算装置,用于把获得的对应于坐标为(x,2y)和(x,2y+1)的色差信号的数字图像信号的亮度信号作为第一参考亮度信号,根据第一参考亮度信号的值计算第一加权系数和第二加权系数,把获得的对应于坐标为(x,2y+1)和(x+1,2y+1)的色差信号的数字图像信号的亮度信号作为第二参考亮度信号,根据第二参考亮度信号的值计算第三加权系数和第四加权系数;
内插值计算装置,用于通过把坐标为(x,2y)的色差信号值乘以加权系数计算装置获得的第一加权系数计算第一乘值,通过把坐标为(x+1,2y)的色差信号值乘以加权系数计算装置获得的第二加权系数计算第二乘值,通过把坐标为(x,2y+1)的色差信号值乘以加权系数计算装置获得的第三加权系数计算第三乘值,通过把坐标为(x+1,2y+1)的色差信号值乘以加权系数计算装置获得的第四加权系数计算第四乘值,根据第一、第二、第三和第四乘值计算内插值;
信号值设置装置,用于把平均值计算装置计算得到的每个平均值设置成坐标为(x,2y)和(x,2y+1)的色差信号的值;
y方向信号减半装置,把每隔一行色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向中减半色差信号的数量;以及
x方向信号加倍装置,用于把一个色差信号增加到在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成内插值计算装置计算得到的内插值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0色彩分量信号类型的色差信号输出。
在上述结构中,参照相应于经转换的色差信号的亮度信号值计算每个经转换的色差信号设置的内插值,这些经转换的色差信号在色差信号转换装置输出的经转换的4:2:0彩色分量类型的色差信号中每隔一行排列。
因此,由于当把4:1:1彩色分量类型的数字彩色信号直接转换成4:2:0彩色分量类型的数字彩色信号时参考了亮度信号,所以可以把自然图像内一般存在的彩色信息与亮度信息之间的相互关系作为具体特征包括在经转换的色差信号中,所以可以高清晰度地再现自然图像中的图像。
此外,根据本发明的图像信号转换方法,从所述色差信号生成4:2:0彩色分量类型的经转换的色差信号的步骤可包括:
对于每对色差信号,计算在y方向上彼此相邻的、坐标为(x,2y)和(x,2y+1)的两个色差信号的平均值;
从数字图像信号中取出X-Y亮度坐标系中坐标(x,y)上的亮度信号作为第一参考亮度信号,条件是第一参考亮度信号对应于坐标为(x,2y)和(x+1,2y)的色差信号;
根据第一参考亮度信号值计算第一加权系数和第二加权系数;
从数字图像信号中取出X-Y亮度坐标系中其它亮度信号作为第二参考亮度信号,条件是第二参考亮度信号对应于坐标为(x,2y+1)和(x+1,2y+1)的色差信号;
根据第二参考亮度信号值计算第三加权系数和第四加权系数;
通过把坐标为(x,2y)的色差信号值乘以第一加权系数计算第一乘值,通过把坐标为(x+1,2y)的色差信号值乘以第二加权系数计算第二乘值,通过把坐标为(x,2y+1)的色差信号值乘以第三加权系数计算第三乘值,通过把坐标为(x+1,2y+1)的色差信号值乘以第四加权系数计算第四乘值,根据第一、第二、第三和第四乘值计算内插值;
把每个平均值设置成坐标为(x,2y)和(x,2y+1)的色差信号值;
通过去除偶数的y值的坐标(x,2y)上或奇数的y值的坐标(x,2y+1)上的色差信号,在y方向上把色差信号的数量减半;
把一色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,以在x方向上加倍色差信号的数量;
对于每个增加的色差信号,把一个增加的色差信号的值设置成内插值,从与色差信号的数量相比在y方向上减半了经转换的色差信号数量以及与色差信号的数量相比在x方向上加倍了经转换的色差信号数量的色差信号中产生经转换的4:2:0彩色分量类型的色差信号。
另外,较佳地,色差信号转换装置包含:
加权系数计算装置,用于把获得的对应于坐标为(x,2y)和(x+1,2y)的色差信号作为第一参考亮度信号,根据第一参考亮度信号计算第一加权系数、第二加权系数、第三加权系数和第四加权系数,把获得的对应于坐标(x,2y+1)和(x+1,2y+1)的色差信号的亮度信号作为第二参考亮度信号,根据第二参考亮度信号计算第五加权系数、第六加权系数、第七加权系数和第八加权系数;
内插值计算装置,用于通过把坐标为(x,2y)的色差信号的值乘以加权系数计算装置获得的第一加权系数计算第一乘值,通过把坐标为(x+1,2y)的色差信号的值乘以加权系数计算装置获得的第二加权系数计算第二乘值,通过把坐标为(x,2y+1)的色差信号的值乘以加权系数计算装置获得的第五加权系数计算第三乘值,通过把坐标为(x+1,2y+1)的色差信号的值乘以加权系数计算装置获得的第六加权系数计算第四乘值,根据第一、第二、第三和第四乘值计算第一内插值,通过把坐标为(x,2y)的色差信号的值乘以加权系数计算装置获得的第三加权系数计算第五乘值,通过把坐标为(x+1,2y)的色差信号的值乘以加权系数计算装置获得的第四加权系数计算第六乘值,通过把坐标为(x,2y+1)的色差信号的值乘以加权系数计算装置获得的第七加权系数计算第七乘值,通过把坐标为(x+1,2y+1)的色差信号的值乘以加权系数计算装置获得的第八加权系数计算第八乘值,根据第五、第六、第七和第八乘值计算第二内插值;
信号值设置装置,用于把内插值计算装置计算得到的第一内插值设置成坐标为(x,wy)和(x,2y+1)的色差信号的值;
y方向信号减半装置,把每隔一行色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号的数量;以及
x方向信号加倍装置,用于把一色差信号加到y方向信号减半装置获得的、在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号值设置成内插值计算装置计算得到的第二内插值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
在上述结构中,参照相应于经转换的色差信号的亮度信号值,计算对色差信号转换装置输出的每个经转换的4:2:0彩色分量类型的色差信号设置的内插值。
因此,由于根据基于四个色差信号的内插确定每个经转换的色差信号,所以即使色差信号的值彼此显著不同,也可以使经转换的色差信号值的变化变得平滑。因此,当对经转换的4:2:0彩色分量类型的色差信号进行离散余弦变换(DCT)时,由于经转换的色差信号的彩色信息集中于低频部分,所以可以改善压缩效率。
而且,由于参考对应于经转换的色差信号的亮度信号来确定每个转换的色差信号值,所以可以把自然图像中通常存在的彩色信息和亮度信息之间的相互关系作为特征包括在经转换的色差信号中,可以高清晰度地真实再现自然图像的图像。
此外,根据本发明的图像信号转换方法,从所述色差信号生成4:2:0彩色分量类型的经转换的色差信号的步骤可包括:
从数字图像信号中取出X-Y坐标系(x=0,1,2,3,--,y=0,1,2,3,--)中坐标(x,y)上的亮度信号作为第一参考亮度信号,条件是第一参考亮度信号对应于坐标为(x,2y)和(x+1,2y)的色差信号;
根据第一参考亮度信号值计算第一加权系数、第二加权系数、第三加权系数和第四加权系数;
从数字图像信号中取出其它亮度信号作为第二参考亮度信号,条件是第二参考亮度信号对应于坐标为(x,2y+1)和(x+1,2y+1)的色差信号;
根据第二参考亮度信号值计算第五加权系数、第六加权系数、第七加权系数和第八加权系数;
把坐标为(x,2y)的色差信号值乘以第一加权系数计算第一乘值;
把坐标为(x+1,2y)的色差信号值乘以第二加权系数计算第二乘值;
把坐标为(x,2y+1)的色差信号值乘以第五加权系数计算第三乘值;
把坐标为(x+1,2y+1)的色差信号值乘以第六加权系数计算第四乘值;
根据第一、第二、第三和第四乘值计算第一内插值;
把坐标为(x,2y)的色差信号值乘以第三加权系数计算第五乘值;
把坐标为(x+1,2y)的色差信号值乘以第四加权系数计算第六乘值;
把坐标为(x,2y+1)的色差信号值乘以第七加权系数计算第七乘值;
把坐标为(x+1,2y+1)的色差信号值乘以第八加权系数计算第八乘值;
根据第五、第六、第七和第八乘值计算第二内插值;
把第一内插值设置成坐标为(x,2y)和(x,2y+1)的色差信号值;
通过去除偶数的y值的坐标(x,2y)上或奇数的y值的坐标(x,2y+1)上的色差信号,在y方向上把色差信号的数量减半;
把一色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,以在x方向上加倍色差信号的数量;
对于每个增加的色差信号,把一个增加的色差信号的值设置成第二内插值,从与色差信号的数量相比在y方向上减半了经转换的色差信号数量以及与色差信号的数量相比在x方向上加倍了经转换的色差信号数量的色差信号中产生经转换的4:2:0彩色分量类型的色差信号。
通过提供一种图像转换设备实现第二目的,该设备包含:
接收帧的每个像素以第一格式压缩的数字图像信号的接收装置;
图像译码装置,用于对接收装置接收到的数字图像信号进行译码,以产生多个4:1:1彩色分量类型的非压缩图像信号,非压缩图像信号以行列矩阵形式排列;
分量信号转换装置,用于把每隔一行色差信号从非压缩图像信号的色差信号中除去,以在y方向上减半色差信号的数量,把一个色差信号增加到在x方向上彼此相邻的每对色差信号之间的位置上以在x方向上加倍色差信号的数量,从而把图像译码装置获得的非压缩图像信号的色差信号直接转换成多个经转换的4:2:0彩色分量类型的色差信号,根据图像译码装置获得的非压缩图像信号的色差信号值设置经转换的4:2:0彩色分量类型的色差信号值,并对帧的每个像素,把图像译码装置获得的非压缩图像信号的亮度信号与色差信号转换装置获得的经转换的4:2:0彩色分量类型的色差信号组合,产生非压缩的4:2:0彩色分量类型的色差信号;
图像编码装置,对分量信号转换装置获得的非压缩的4:2:0彩色分量类型的图像信号进行编码,产生多个以与第一格式不同的第二格式压缩的数字图像信号;
以及输出装置,用于输出图像编码装置获得的以第二格式压缩的数字图像信号。
在上述结构中,把以第一格式压缩的多个数字图像信号译码成多个非压缩的4:1:1彩色分量类型的图像信号,把4:1:1彩色分量类型的非压缩图像信号直接转换成多个经转换的4:2:0彩色分量类型的色差信号。在这种转换中,把每隔一行色差信号从4:1:1彩色分量类型的色差信号中除去,并每隔一列增加色差信号,以维持色差信号。因此,再现了多个经转换的4:2:0彩色分量类型的色差信号,其中,y方向上信号数量是4:1:1彩色分量类型的色差信号数量的一半,在x方向上经转换的色差信号的数量是4:1:1彩色分量类型的色差信号的数量的一倍。经转换的色差信号的值是根据4:1:1彩色分量类型的色差信号值来确定的。此后,组合非压缩图像信号的亮度信号和经转换的4:2:0彩色分量类型的色差信号,产生非压缩的4:2:0彩色分量类型的图像信号。然后,把非压缩的4:2:0彩色分量类型的图像信号编码成多个以第二格式压缩的数字图像信号。
因而,当用户在其计算机C1中使用多个以第一格式压缩的数字压缩图像信号,并且通过网络把以第二格式压缩的信号从其计算机传输到另一个计算机C2比以第一格式压缩的信号更有利时,能容易地把以第一格式压缩的数字压缩图像信号转换成多个以第二格式压缩的数字压缩图像信号,可以快速地通过网络把以第二格式压缩的数字压缩图像信号传输给计算机C2。
也可以提供图像信号转换方法来获得本发明的上述特征,该方法包含下列步骤:
接收帧的每个像素以DVC格式压缩的数字图像信号,以DVC格式压缩的数字图像信号是这样获得的,即对4:1:1彩色分量类型的每组非压缩图像信号进行离散余弦变换(DCT)处理以从每组非压缩图像信号获得一组DCT系数,量化每组DCT系数以从每组DCT系数获得一组量化值,对每组量化值进行编码以从每组量化值获得组可变长度码,并把每组可变长度码记录成以DVC格式压缩的数字图像信号;
对数字图像信号进行译码以产生多个4:1:1彩色分量类型的非压缩图像信号,非压缩图像信号以行列矩阵形式排列;
每隔一行把色差信号从非压缩图像信号的色差信号中除去,以在y方向上减半色差信号的数量,
把一个色差信号增加到在x方向上彼此相邻的每对色差信号之间的位置上,以在x方向上加倍色差信号的数量,
根据4:1:1彩色分量类型的非压缩图像信号的值设置色差信号的值,以把4:1:1彩色分量类型的色差信号直接转换成经转换的4:2:0彩色分量类型的色差信号;
对帧的每个像素,组合4:1:1彩色分量类型的非压缩图像信号的亮度信号和经转换的4:2:0彩色分量类型的色差信号,以产生4:2:0彩色分量类型的非压缩图像信号;
对非压缩的4:2:0彩色分量类型的图像信号进行编码,产生多个以运动图像专家组(MPEG)格式压缩的数字图像信号,在这种格式中,通过运动补偿减少了帧间的时间冗余,通过离散余弦变换减少了各帧的空间冗余,通过可变长度编码减少了码量;以及
输出以MPEG格式压缩的数字图像信号。
较佳地,第一格式为DVC格式,第二格式为MPEG格式,图像译码装置包含:
准备装置,用于对数字图像信号去移动以重排数字图像信号;
可变长度译码装置,用于对经准备装置去移动的数字图像信号进行可变长度译码,产生多个量化值;
反量化装置,用于对可变长度译码装置产生的量化值进行反量化,以产生多组4:1:1彩色分量类型的非压缩图像信号的离散余弦变换(DCT)系数;以及
反DCT处理装置,用于对反量化装置产生的每组DCT系数进行反DCT处理,以产生多组4:1:1彩色分量类型的非压缩图像信号,并且,
图像编码装置包含:
输入缓冲器,用于把逐帧存储的分量信号转换装置产生的4:2:0彩色分量类型的非压缩图像信号,作为当前帧的图像信号,把非压缩图像信号分类成多组非压缩图像信号并分别对应于当前帧中的一组;
DCT压缩装置,用于对存储在输入缓冲器内的每组非压缩图像信号进行离散余弦变换(DCT)处理,以产生多组离散余弦变换(DCT)系数并量化DCT系数,以获得多组量化值;
反DCT扩展装置,用于对DCT压缩装置获得的几组DCT系数组进行反DCT处理,以再生4:2:0彩色分量类型的非压缩的图像信号组;
帧图像存储装置,用于存储反DCT扩展装置再生的每组4:2:0彩色分量类型的非压缩图像信号作为一组参考帧的图像信号,其它非压缩4:2:0彩色分量类型的图像信号对应于接在存储在输入缓冲器内的参考帧后面的帧;
运动预测装置,用于根据存储在输入缓冲器内的当前帧的一组非压缩图像信号和存储在帧图像存储装置中的参考帧的4:2:0彩色分量类型的非压缩图像信号,对每组当前帧计算指示图像运动的运动矢量,并对每组当前帧计算当前帧的一组非压缩图像信号与运动矢量指示的参考帧的相应非压缩图像信号组之间的帧间差;
编码选择装置,用于选择对DCT压缩装置获得的当前帧的量化值进行编码的类型;
可变长度编码装置,用于根据编码选择装置选出的编码类型、运动预测装置计算得到的运动矢量和帧间差,对DCT压缩装置获得的量化值进行可变长度编码,以产生可变长度编码的数据组;以及
结构编码装置,用于根据可变长变编码装置获得的可变长度编码的数据产生以MPEG格式压缩的数字图像信号。
在上述结构中,把以DVC格式压缩的数字图像信号译码成非压缩的4:1:1彩色分量类型的图像信号,把非压缩的4:2:0彩色分量类型的图像信号编码成以MPEG格式压缩的数字图像信号。
另外,较佳地,运动预测装置包含:
分层图像产生装置,用于根据存储在输入缓冲器内的一组非压缩图像信号指示的每组当前帧的当前原始图像产生多个不同分辨率的当前分层图像,根据存储在帧图像存储装置内的一组非压缩图像信号指示的每组参考帧的参考原始图像产生多个参考分层图像,最高分辨率的当前分层图像为当前原始图像,当前分层图像分辨率低于特定当前分层图像的分辨率,它是每次这样获得的,即在x方向上每隔一个像素从特定当前原始图像的像素,每隔一个像素在y方向上特定当前原始图像的像素中除去,最高分辨率的参考分层图像为参考原始图像,分辨率低于特定参考分层图像每次是这样获得的,即的分辨率的参考分层图像在x方向每隔一个像素从特定参考原始图像的像素中除去,在y方向上每隔一个像素从特定参考原始图像的像素中除去;
运动矢量产生装置,根据分层图像产生装置产生的一个当前分层图像和一个参考分层图像以及在计算中间运动矢量前刚计算得到的粗运动矢量反复计算中间运动矢量,同时在每次计算中间运动矢量时,把同一分辨率的当前和参考分层图像改变到分辨率较高的其它当前和参考分层图像,每次计算中间运动矢量时,把中间运动矢量设置成粗运动矢量,最后,根据分辨率最高的当前和参考分层图像计算运动矢量,对每组当前帧计算运动矢量,一组当前帧的运动矢量指示一组参考帧,粗运动矢量指示中间运动矢量指示的特定组参考帧的候选帧;以及
帧间差信息产生装置,用于对每组当前帧产生帧间差信息,指示一组当前帧的像素值组与运动矢量产生装置产生的运动矢量指示的一组相应参考帧的像素值组之间的帧间差。
在上述结构中,根据每组当前帧的当前原始图像产生多个不同分辨率的当前分层图像,根据每组参考帧的参考原始图像产生多个参考分层图像。此后,根据一个当前分层图像和一个参考分层图像反复计算中间运动矢量,同时对每次中间运动矢量计算都把当前和参考分层图像改变到较高分辨率的其它当前和参考分层图像,最后根据最高分辨率的当前和参考分层图像计算运动矢量。在这种情况下,每次中间运动矢量计算时把中间运动矢量设置成粗运动矢量,计算指示特定组参考帧的中间运动矢量,同时对特定组的参考帧用粗运动矢量指示候选帧。
然后,对每组当前帧产生帧间差信息指示一组当前帧的一组像素值与运动矢量指示的相应组参考帧的像素值之间的帧间差。
因此,在较大物体引入到自然图像中时,每次计算中间运动矢量时,更精确地计算粗略地指示较大物体运动的中间运动矢量。因此,可以精确地计算出指示较大物体运动的运动矢量。
因而,即使较大物体在活动图像中动态地移动,总可以获得真实表示较大物体自然运动的运动矢量。
而且,由于在计算下一个中间运动矢量时,把在前一阶段计算得到的中间运动矢量用作粗运动矢量,则即使利用当前分层图像和参考分层图像反复计算中间运动矢量,也可以显著地减少计算运动矢量所需要的计算量。
另外,较佳地,图像编码装置还包含:
DCT系数缓冲器,用于存储从由反量化装置产生的每组非压缩图像信号DCT系数中取出的一组亮度信号DCT系数,每组亮度信号DCT系数对应于一组当前帧,每组DCT系数以行列矩阵排列;以及
分层反DCT处理装置,用于从存储在DCT系数缓冲器中的每组亮度信号DCT系数中反复取出一组DCT系数,条件是该DCT系数组的频带逐渐扩展到高频,并且对每组DCT系数进行反DCT处理,以产生分别由多个非压缩亮度信号指示的多个分层图像,对每组当前帧产生不同分辨率的分层图像,以及
运动预测装置包含:
运动矢量产生装置,用于根据分层反DCT处理装置产生的一个分层图像和存储在帧图像存储装置中的非压缩图像信号以及就在计算中间运动矢量之前计算得到的粗运动矢量指示的参考帧的参考原始图像反复计算中间运动矢量,同时每次计算中间运动矢量时,把分层图像改变成另一个更高分辨率的分层图像,每次计算中间运动矢量时,把中间运动矢量设置成粗运动矢量,最后根据每组当前帧的最高分辨率分层图像和参考原始图像以及指示一组参考帧的一组当前帧的运动矢量和对中间运动矢量指示的特定组参考帧指示候选帧的粗运动矢量计算运动矢量;以及
帧间差信息产生装置,用于为每组当前帧产生帧间差信息,指示一组当前帧组的像素值与运动矢量产生装置计算得到的运动矢量指示的相应组参考帧的一组像素值之间的帧间差。
在上述结构中,为每组当前帧产生多个非压缩亮度信号指示的多个不同分辨率的分层图像。然后,根据一个分层图像和参考帧的参考原始图像反复计算中间运动矢量,最后根据分辨率最高的当前和参考分层图像计算运动矢量。在这种情况下,每次计算中间运动矢量时,把中间运动矢量设置成粗运动矢量,计算指示特定组参考帧的中间运动矢量,同时利用粗运动矢量指示参考帧的特定组的候选。
然后,为每组当前帧产生一个帧间差信息,指示一组当前帧的一组像素值与运动矢量指示的相应组参考帧的一组像素值之间的帧间差。
因此,由于对每组当前帧产生不同分辨率的分层图像并用于计算运动矢量,所以可以精确地获得能真实地指示图像运动的运动矢量。
另外,较佳地,图像编码装置还包含:
DCT系数缓冲器,用于存储从由反量化装置产生的每组非压缩图像信号DCT系数中取出的一组亮度信号DCT系数,每组亮度信号DCT系数对应于一组当前帧,每组DCT系数以行列矩阵排列;以及
一维反DCT处理装置,用于从存储在DCT系数缓冲器内的每组DCT系数中取出一组以行排列的亮度信号DCT系数,作为DCT系数的x方向组,从存储在DCT系数缓冲器内的每组DCT系数中取出一组以列排列的亮度信号DCT系数,作为y方向的DCT系数组,对x方向的DCT系数组进行反DCT处理,以对每组当前帧获得由以x方向排列的非压缩亮度信号组成的x方向信息,对y方向的DCT系数组进行反DCT处理,以对每组当前帧获得由以y方向排列的非压缩亮度信号组成的y方向信息,以及,
运动预测装置包括运动矢量产生装置,用于根据一维反DCT处理装置获得的x方向信息和存储在帧图像存储装置中的非压缩图像信号的非压缩亮度信号为每组当前帧计算x方向运动矢量,规定排列在x方向运动矢量指示的特定组附近的多个参考帧的标记组,并对每组当前帧根据一维反DCT处理装置获得的y方向信息和标记组的非压缩亮度信号计算运动矢量;以及
帧间差信息产生装置,用于为每组当前帧产生帧间差信息,指示一组当前帧的一组像素值与运动矢量产生装置计算得到的运动矢量指示的参考帧对应组的一组像素值之间的帧间差。
在上述结构中,为每组当前帧产生由以x方向排列的非压缩亮度信号组成的x方向信息,为每组当前帧产生由以y方向排列的非压缩亮度信号组成的y方向信息。然后,根据x方向信息和参考帧的非压缩亮度信号计算x方向运动矢量,根据x方向运动矢量和y方向信息计算运动矢量。
因此,与产生分层图像的情况相比,可以减少计算运动矢量所需要的计算量,可以精确地获得真实表示图像运动的运动矢量。
也可以通过提供图像信号转换设备来实现第二个目的,该设备包含:
接收装置,用于接收帧的每个像素以第一格式压缩的数字图像信号;
图像译码装置,用于对接收装置接收到的数字图像信号进行译码,产生多个4:1:1彩色分量类型的非压缩图像的离散余弦变换(DCT)系数,把DCT系数转换成多个4:2:0彩色分量类型的非压缩图像信号的DCT系数,并根据4:2:0彩色分量类型的非压缩图像信号的DCT系数产生多个4:2:0彩色分量类型的非压缩图像信号;
图像编码装置,用于对图像译码装置获得的4:2:0彩色分量类型的非压缩图像信号进行编码,产生以与第一格式不同的第二格式压缩的多个数字图像信号;以及
输出装置,用于输出图像编码装置获得的以第二格式压缩的数字图像信号。
在上述结构中,把多个以第一格式压缩的数字图像信号译码成多个4:1:1彩色分量类型的非压缩图像信号的DCT系数,把DCT系数转换成多个4:2:0彩色类型的非压缩图像信号的DCT系数,根据4:2:0彩色分量类型的非压缩图像信号的DCT系数产生多个4:2:0彩色分量类型的非压缩图像信号,并且把4:2:0彩色分量类型的非压缩图像信号编码成多个以第二格式压缩的数字图像信号。
因此,由于把对应于4:1:1彩色分量类型的DCT系数转换成对应于4:2:0彩色分量类型的DCT系数,所以不需要把4:1:1彩色分量类型的色差信号转换成4:2:0彩色分量类型的色差信号。
较佳地,第一格式为DVC格式,第二格式为MPEG格式,图像译码装置包含:
准备装置,用于对数字图像信号进行去移动,以重排数字图像信号;
可变长度译码装置,用于对经准备装置去移动的数字图像信号进行可变长度译码,产生多个量化值;
反量化装置,用于对可变长度译码装置产生的量化值进行反量化,产生多组4:1:1彩色分量类型的非压缩图像信号的离散余弦变换(DCT)系数,每组DCT系数以行列矩阵形式排列;
DCT系数转换装置,用于从反量化装置获得的每组非压缩图像信号的DCT系数中取出4:1:1彩色分量类型的非压缩色差信号的DCT系数组,并通过把对应于高频的DCT系数的下半部分从每组DCT系数中去除,以在y方向上对每组的DCT系数分辨率减半,并把DCT系数加到每组余下的DCT系数右侧,在x方向上加倍每组的DCT系数的分辨率,来把4:1:1彩色分量类型的非压缩色差信号的每组DCT系数转换成4:2:0彩色分量类型的非压缩色差信号的DCT系数组;以及
反DCT处理装置,用于对从反量化装置获得的非压缩图像信号的DCT系数和DCT系数转换装置获得的4:2:0彩色分量类型的非压缩色差信号的相应的DCT系数组中取出的非压缩亮度信号的每组DCT系数进行反DCT处理,以产生多组4:2:0彩色分量类型的非压缩图像信号。
在上述结构中,每组DCT系数中的色差信息主要由位于该组左上侧的低频分量来表示。因此,通过从4:1:1彩色分量类型的DCT系数组中去除对应于高频的下半部分DCT系数,在y方向上减半4:1:1彩色分量类型的DCT系数的分辨率,把DCT系数加到余下的DCT系数的右侧上在x方向上加倍4:1:1彩色分量类型的DCT系数的分辨率,来把4:1:1彩色分量类型的非压缩色差信号的DCT系数组转换成4:2:0彩色分量类型的非压缩色差信号的DCT系数组。
因此,在4:1:1彩色分量类型的非压缩色差信号的DCT系数组中存在的色差信息保留在4:2:0彩色分量类型的非压缩色差信号的DCT系数组中,任何观看者在从以MPEG格式压缩的数字图像信号获得的再现图像中都不会觉察到不自然的颜色变化。
通过提供一种图像信号转换方法也可以获得本发明的上述特征,该方法包含下列步骤:
接收帧的每个像素以DVC格式压缩的数字图像信号,通过对每组4:1:1彩色分量类型的非压缩图像信号进行离散余弦变换(DCT)处理以从每组非压缩图像信号获得每组DCT系数组、量化每组DCT系数以获得每组DCT系数的量化值组、对每组量化值进行编码获得每组量化值的可变长度编码组,以及把每组可变长度编码记录成以DVC格式压缩的数字图像信号,来获得以DVC格式压缩的数字图像信号;
对以DVC格式压缩的数字图像信号进行可变长度译码,产生多个量化值;
对量化值进行反量化,产生多组4:1:1彩色分量类型的非压缩图像信号的离散余弦变换(DCT)系数,非压缩图像信号的每组DCT系数分类成非压缩亮度信号的DCT系数组和4:1:1彩色分量类型的非压缩色差信号的DCT系数组;
把4:1:1彩色分量类型的非压缩色差信号的每组DCT系数转换成4:2:0彩色分量类型的非压缩色差信号的DCT系数组,每组DCT系数以行列矩阵形式排列;
把4:2:0彩色分量类型的每组非压缩色差信号的DCT系数与非压缩亮度信号的相应DCT系数组组合,产生多组4:2:0彩色分量类型的非压缩图像信号的DCT系数;
对每组4:2:0彩色分量类型的非压缩图像信号的DCT系数进行反DCT处理,产生每组DCT系数的4:2:0彩色分量类型的非压缩图像信号组;
对4:2:0彩色分量类型的每组非压缩图像信号进行编码,产生多个以运动图像专家组(MPEG)格式压缩的数字图像信号,在这种格式中,通过进行运动补偿减少帧间时间冗余,通过进行离散余弦变换减少各帧的空间冗余,通过进行可编长度编码减少码量;以及
输出以MPEG格式压缩的数字图像信号;以及
转换每组DCT系数的步骤包含下列步骤:
从每组DCT系统中去除对应于高频的下半部分DCT系数,以对每组在y方向上减半DCT系数的分辨率;以及
把DCT系数加到每组的余下DCT系数的右侧上,以对每组在x方向上加倍DCT系数的分辨率,产生几组4:2:0彩色分量类型的非压缩色差信号的DCT系数。
通过提供一种图像提供系统可以实现第三个目的,该系统包含:
图像输入装置,用于接收以第一格式压缩的多个数字图像信号;
图像再现装置,用于根据以不同于第一格式的第二格式压缩的多个数字图像信号再现数字图像;
图像提供装置,用于从图像输入装置接收以第一格式压缩的数字图像信号,把以第一格式压缩的数字图像信号转换成以第二格式压缩的数字图像信号,并把以第二格式压缩的数字图像信号传输给图像再现装置;以及
网络,以第一格式压缩的数字图像信号通过该网络从图像输入装置传输给图像提供装置,以第二格式压缩的数字图像信号通过该网络,从图像提供装置传输给图像再现装置,
图像提供装置包含:
通信装置,用于通过网络从图像输入装置接收以第一格式压缩的数字图像信号,并通过网络向图像再现装置输出以第二格式压缩的数字图像信号;以及
图像信号转换装置,用于把通信装置接收到的第一格式的数字图像信号转换成以第二格式压缩的数字图像信号,并向通信装置输出以第二格式压缩的数字图像信号,以及
图像信号转换装置包含:
图像译码装置,用于对以第一格式压缩的数字图像信号进行译码,产生多个4:1:1彩色分量类型的非压缩图像信号,非压缩图像信号以行列矩阵形式排列;
分量信号转换装置,用于通过把色差信号在每隔一行从非压缩图像信号的色差信号中除去,以在y方向上减半色差信号的数量,把色差信号加到在x方向上彼此相相邻的每对色差信号之间的位置上以在x方向上加倍色差信号的数量,根据图像译码装置获得的非压缩图像信号的色差信号值设置经转换的4:2:0彩色分量类型的色差信号值,并对帧的每个像素,把图像译码装置获得的非压缩图像信号的亮度信号与色差信号转换装置获得的经转换的4:2:0彩色分量类型的色差信号组合,产生4:2:0彩色分量类型的非压缩图像信号,从而把图像译码装置获得的非压缩图像信号的色差信号直接转换成经转换的4:2:0彩色分量类型的色差信号;以及
图像编码装置,用于对分量信号转换装置获得的4:2:0彩色分量类型的非压缩图像信号进行编码,产生以第二格式压缩的数字图像信号。
在上述结构中,图像提供装置接收从图像输入装置传输的以第一格式压缩的多个数字图像信号。在图像提供装置中,把数字图像信号译码成多个4:1:1彩色分量类型的非压缩图像信号,把非压缩图像信号直接转换成多个4:2:0彩色分量类型的非压缩图像信号,然后把4:2:0彩色分量类型的非压缩图像信号编码成以第二格式压缩的多个数字图像信号。然后,当图像再现装置请求图像提供装置以第二格式压缩的数字图像信号时,把以第二格式压缩的数字图像信号传输给图像再现装置再现。
因此,由于图像提供装置进行了直接转换,所以即使图像再现装置要求的数字图像信号的压缩格式与图像输入装置传输的数字图像信号的压缩格式不同,仍不向图像输入装置提供图像再现装置要求的第二格式的数字图像信号。
通过提供图像提供系统也可以实现第三目的,它包含:
图像输入装置,接收多个以第一格式压缩的数字图像信号;
图像再现装置,用于根据以不同于第一格式的第二格式压缩的多个数字图像信号再现数字图像;
图像提供装置,用于从图像输入装置接收以第一格式压缩的数字图像信号,把以第一格式压缩的数字图像信号转换成以第二格式压缩的数字图像信号,并把以第二格式压缩的数字图像信号传输给图像再现装置;以及
网络,通过该网络把以第一格式压缩的数字图像信号从图像输入装置传输给图像提供装置,把以第二格式压缩的数字图像信号从图像提供装置传输给图像再现装置,
图像提供装置包含:
通信装置,用于通过网络从图像输入装置接收以第一格式压缩的数字图像信号,并把以第二格式压缩的数字图像信号通过该网络传输给图像再现装置;和
图像信号转换装置,用于把通信装置接收到的第一格式的数字图像信号转换成以第二格式压缩的数字图像信号,并把以第二格式压缩的数字图像信号输出给通信装置,以及
图像信号转换装置包含:
图像译码装置,用于对第一格式的数字图像信号进行译码,产生多个4:1:1彩色分量类型的非压缩图像信号的离散余弦变换(DCT)系数,把DCT系数转换成多个4:2:2彩色分量类型的非压缩图像信号的DCT系数,并根据4:2:0彩色分量类型的非压缩图像信号的DCT系数产生多个4:2:0彩色分量类型的非压缩图像信号;和
图像编码装置,用于对图像译码装置获得的4:2:0彩色分量类型的非压缩图像信号进行编码,产生以第二格式压缩的数字图像信号。
在上述结构中,把从图像输入装置传输到图像提供装置的多个第一格式的数字图像信号译码成多个4:1:1彩色分量类型的非压缩图像信号的DCT系数,直接把该DCT系数转换成多个4:2:0彩色分量类型的非压缩图像信号的DCT系数,对4:2:0彩色分量的非压缩图像信号的DCT系数进行反DCT处理,产生多个4:2:0彩色分量类型的非压缩图像信号,并把4:2:0彩色分量类型的非压缩图像信号编码成以多个以第二格式压缩的数字图像信号。
因此,由于由图像提供装置直接进行转换,所以即使图像再现装置要求的数字图像信号的压缩格式与图像输入装置传输的数字图像信号的压缩格式不同,仍可向图像输入装置提供图像再现装置要求的第二格式的数字图像信号。
附图说明
从下面结合附图的描述,本发明的目的、特征和优点将变得明显,图中:
图1A示出了4:4:4彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的对应关系;
图1B示出了4:4:4彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的信息量比较;
图2A示出了4:2:2彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的对应关系;
图2B示出了4:2:2彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的信息量比较;
图3A示出了4:2:0彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的对应关系;
图3B示出了4:2:0彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的信息量比较;
图4A示出了4:1:1彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的对应关系;
图4B示出了4:1:1彩色分量类型数字图像信号中亮度信号Y与色差信号Cr和Cb的信息量比较;
图5是传统MPEG数据产生设备的框图;
图6是根据本发明第一实施例的图像信号转换设备的框图;
图7是图6所示的图像信号转换设备进行的整个处理的流程图;
图8A示出了对应于子帧上8×4像素的多个4:1:1类型亮度信号Y的值;
图8B示出了对应于亮度信号Y的多个4:1:1类型的第一色差信号Cr的值;
图8C示出了对应于亮度信号Y的多个4:1:1类型的第二色差信号Cb的值;
图8D示出了对应于亮度信号Y的多个4:2:0类型的第一转换色差信号Cr’的值;
图8E示出了对应于亮度信号Y的多个4:2:0类型的第二转换色差信号Cb’的值Y2 x、y
图9A是图6所示的第一种色差信号转换方法的色差信号转换单元的框图;
图9B是图6所示的第二种色差信号转换方法的色差信号转换单元的框图;
图9C是图6所示的第三种色差信号转换方法的色差信号转换单元的框图;
图9D是图6所示的第四种色差信号转换方法的色差信号转换单元的框图;
图10A示出了多个4:2:2类型亮度信号Y的值;
图10B示出了多个4:2:2类型的色差信号Cr和Cb的值;
图10C示出了以DV压缩格式压缩的多个4:1:1类型色差信号Cr和Cb的值;
图11A示出了输入到图6所示的图像信号转换单元的4:1:1类型色差信号Cr(或Cb)的值的第一个实例;
图11B示出了图像信号转换单元以第一种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第一个实例;
图11C示出了图像信号转换单元以第二种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第一个实例;
图11D示出了图像信号转换单元以第三种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第一个实例;
图11E示出了图像信号转换单元以第四种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第一个实例;
图12A示出了输入到图6所示的图像信号转换单元的4:1:1类型色差信号Cr(或Cb)的值的第二个实例;
图12B示出了图像信号转换单元以第一种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第二个实例;
图12C示出了图像信号转换单元以第二种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第二个实例;
图12D示出了图像信号转换单元以第三种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第二个实例;
图12E示出了图像信号转换单元以第四种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第二个实例;
图13A示出了输入到图6所示的图像信号转换单元的4:1:1类型色差信号Cr(或Cb)的值的第三个实例;
图13B示出了图像信号转换单元以第一种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第三个实例;
图13C示出了图像信号转换单元以第二种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第三个实例;
图13D示出了图像信号转换单元以第三种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第三个实例;
图13E示出了图像信号转换单元以第四种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的第三个实例;
图14是根据本发明第二实施例的图像信号转换设备的框图;
图15是图14所示的图像信号转换设备进行的整个处理的流程图;
图16A是图14所示的以第五种色差信号转换方法的色差信号转换装置的框图;
图16B是图14所示的以第六种色差信号转换方法的色差信号转换装置的框图;
图17A示出了4:1:1类型亮度信号Y值的实例;
图17B示出了输入到图14所示图像信号转换单元的4:1:1类型色差信号Cr(或Cb)的值的实例;
图17C示出了图像信号转换单元以第五种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的实例;
图17D示出了图像信号转换单元以第六种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的实例;
图17E示出了图像信号转换单元以第一实施例的第一种色差信号转换方法输出的4:2:0类型转换色差信号Cr’(或Cb’)的值的实例;
图18是根据本发明第三实施例的图像信号转换设备的框图;
图19示出了图18所示的图像信号转换设备进行的整个处理;
图20是图18所示的图像信号转换设备中进行的译码处理的流程图;
图21是图18所示的图像信号转换设备内进行的图像信号编码处理的流程图;
图22示出了运动预测所用的多个分层图像的例子;
图23是图18所示的运动预测单元的框图;
图24是利用多个分层图像的运动矢量计算方法的流程图;
图25A和25B示出了运动矢量计算方法;
图26是根据第四实施例的图像信号转换设备的框图;
图27是图26所示的运动预测单元的框图;
图28是图26所示的图像信号译码单元内进行的图像信号译码(或扩展)处理的流程图;
图29是图26所示的图像信号编码单元内进行的图像信号压缩处理的流程图;
图30A至30D示出了图26所示的图像信号转换设备内进行分层反DCT处理;
图31示出了图26所示的图像信号转换设备内进行的另一种分层反DCT处理;
图32是根据第五实施例的图像信号转换设备的框图;
图33是图32中所示的运动预测单元的框图;
图34是图26所示的图像信号译码单元内进行的图像信号压缩处理的流程图;
图35示出了图26所示的图像信号译码单元内进行一维反DCT处理和运动预测;
图36示出了一维反DCT处理的运动矢量检测;
图37是根据第六实施例的图像信号转换设备的框图;
图38是图37所示的图像信号转换设备内进行的整个处理的流程图;
图39是图37所示的图像信号译码单元内进行的图像译码处理的流程图;
图40示出了对4:2:0类型色差信号DCT系数在进行DCT系数转换处理和反DCT处理时进行的4:1:1类型到4:2:0类型的分量类型转换;
图41是根据第七实施例的改型的图像信号转换设备的框图;
图42是根据本第七实施例的另一个改型的图像信号转换设备的框图;
图43是根据第七实施例的多格式图像提供系统的框图;
图44A是图43所示的图像提供单元内进行图像输入处理的流程图;
图44B是图像提供单元内进行图像输出处理的流程图;
图45A是在以比实时速率更高的速度进行图像信号转换处理时图像提供单元内进行的另一种图像输入处理的流程图;以及
图45B是在以比实时速率更高的速度进行图像信号转换处理时图像提供单元内进行的另一种图像输出处理的流程图。
具体实施方式
下面参照附图描述本发明的图像信号转换设备、图像信号转换方法和图像提供系统的较佳实施例。
(第一实施例)
在该实施例中,描述了一种图像信号转换设备和图像信号转换方法,在这种设备和方法中,把4:1:1彩色分量类型的数字图像信号(下文称为4:1:1类型分量图像信号)直接转换成4:2:0彩色分量类型的数字图像信号(下文称为4:2:0类型分量图像信号)。
图6为本发明第一实施例的图像信号转换设备的框图,图7是该图像信号转换设备中进行的所有处理的流程图。
如图6所示,图像信号转换设备11包含:
输入单元12,对每一帧,接收一帧的4:1:1类型分量图像信号,
Y帧存储器13,存储每帧的4:1:1类型分量图像信号的亮度信号Y(下文称为4:1:!类型亮度信号),
输入Cr帧存储器14,存储每帧的4:1:1类型分量图像信号的第一色差信号Cr(下文称为4:1:1类型第一色差信号),条件是第一色差信号Cr位于X-Y坐标系的Cr坐标(x,y)上,
输入Cb帧存储器15,存储每帧的4:1:1类型分量图像信号的第二色差信号Cb(下文称为4:1:1类型第二色差信号),第二色差信号Cb位于X-Y坐标系的Cb坐标(x,y)上,
色差信号转换单元16,对每帧把4:1:1类型第一色差信号Cr转换成4:2:0类型分量图像信号的第一经转换色差信号Cr’(下文称为4:2:0类型第一经转换色差信号),并对每帧把第二色差信号Cb转换成4:2:0类型分量图像信号的第二经转换色差信号Cb’(下文称为4:2:0类型第二经转换色差信号),
输出Cr帧存储器17,存储每帧的4:2:0类型第一经转换色差信号Cr’,条件是4:2:0类型第一经转换色差信号Cr’位于X-Y坐标系的Cr’坐标(x,y)上,
输出Cb帧存储器18,存储每帧的4:2:0类型第二经转换色差信号Cb’,条件是4:2:0类型第二经转换色差信号Cb’位于X-Y坐标系的Cb’坐标(x,y)上,以及
输出单元19,输出每帧的由存储在Y帧存储器13内的亮度信号Y、4:2:0类型第一经转换色差信号Cr’和4:2:0类型第二经转换色差信号Cb’组成的4:2:0类型分量图像信号。
在上述结构中,参照图7简要描述图像信号转换设备11进行的操作。
如图7所示,在步骤S101中,规定运动图像的处理帧,输入单元12接收处理帧的多个4:1:1类型分量图像信号,把多个4:1:1类型亮度信号Y存储在Y帧存储器13内,把多个4:1:1类型第一色差信号Cr存储在输入Cr帧存储器14中,把多个4:1:1类型第二色差信号Cb存储在输入Cb帧存储器15中。
在步骤S102,把存储在输入Cr帧存储器14和Cb帧存储器15中的色差信号Cr和Cb输入到色差信号转换单元16中,并根据第一色差信号转换方法、第二色差信号转换方法、第三色差信号转换方法或第四色差信号转换方法,转换成多个4:2:0类型分量图像信号的色差信号Cr’和Cb’。然后,把第一经转换色差信号Cr’存储在输出Cr帧存储器17中,把第二经转换色差信号Cb’存储在输出Cb帧存储器18中。
在步骤S103,在输出单元19中组合存储在Y帧存储器13中的亮度信号Y、存储在输出Cr帧存储器17中的第一经转换色差信号Cr’和存储在输出Cb帧存储器18中的第二经转换色差信号Cb’,产生处理帧的多个4:2:0类型分量图像信号,并由输出单元19输出4:2:0类型分量图像信号。
在步骤S104中,判断该处理帧是否是运动图像的最后一帧。如果该处理帧是运动图像的最后一帧,则操作完成。如果该处理帧不是最后一帧,则把下一帧规定为处理帧,对最后规定的处理帧重复步骤S101至S104。
下面参照图8至10详细描述在步骤S102中进行的每种色差信号转换方法。
图8A示出了对应于位于处理帧的一个子帧(8列×4行)的8×4个像素的多个亮度信号Y的值Yx、y,图8B示出了对应于亮度信号Y的多个4:1:1类型第一色差信号Cr的值U1 x,y,图8C示出了对应于亮度信号Y的多个4:1:1类型第二色差信号Cb的值V1 x,y,图8D示出了对应于亮度信号Y的多个4:2:0类型第一经转换色差信号Cr’的值U2 x,y,图8E示出了对应于亮度信号Y的多个4:2:0类型第二经转换色差信号Cb’的值V2 x,y。这里满足x=0,1,2,--,y=0,1,2,--。
对于每种类型的信号Y、Cr、CT、Cr’和Cb’,假设X-Y坐标系的原点(0,0)位于其左上方,对应于坐标为(x,y)的像素的亮度信号Y的亮度值用Yx,y表示,对应于值Y4x,y、Y4x+1,y、Y4x+2,y和Y4x+3,y的亮度信号的4:1:1类型第一色差信号Cr的值用u1 x,y表示,对应于值Y4x,y、Y4x+1,y、Y4x+2,y和Y4x+3,y的亮度信号的4:1:1类型第二色差信号Cb的值用V1 x,y表示,对应于值Y2x,2y、Y2x+1,2y、Y2x,2y+1和Y2x+1,2y的亮度信号的4:2:0类型第一经转换色差信号Cr’的值用u1 x,y表示,对应于值Y2x,2y、Y2x+1,2y、Y2x,2y+1和Y2x+1,2y的亮度信号的4:2:0类型第二经转换色差信号Cb’的值用V2 x,y表示。
由于处理帧由多个子帧组成,所以在步骤S102对每个子帧进行色差信号转换处理。
在第一色差信号转换方法中,如图9A所示,色差信号转换单元16包含:
y方向信号减半单元16a,把第一色差信号Cr每隔一行从存储在输入Cr帧存储器14内的第一色差信号中除去,以在y方向上减半第一色差信号Cr的数量,把第二色差信号Cb每隔一行从存储在输入Cb帧存储器15内的第二色差信号中除去,以在y方向上减半第二色差信号Cb的数量;以及
x方向信号加倍单元16b,把第一色差信号加到y方向信号减半单元16a获得的、在x方向上彼此相邻的每对第一色差信号Cr之间的位置上,对每个增加的第一色差信号,把一个增加的第一色差信号的值设置成在x方向上相邻于增加的第一色差信号的一个第一色差信号Cr的值,以在x方向上加倍y方向信号减半单元16a获得的第一色差信号Cr的数量,把第二色差信号加到y方向信号减半单元16a获得的、在x方向上彼此相邻的每对第二色差信号Cb之间的位置上,对于每个增加的第二色差信号,把一个增加的第二色差信号值设置成在x方向上相邻于增加的第二色差信号的一个第二色差信号Cb的值,以在x方向上加倍y方向信号减半单元16b获得的第二色差信号Cb的数量,输出第一色差信号作为4:2:0彩色分量类型的4:2:0类型第一经转换色差信号Cr’,输出x方向信号加倍单元16b获得的第二色差信号作为4:2:0类型第二经转换色差信号Cb’。
在上述结构中,在减半单元16a中,把位于奇数y坐标值上的奇数色差信号Cr和Cb(值为U1 x,2y+1和V1 x,2y+1)或位于偶数y坐标值上的偶数色差信号Cr和Cb(值为U1 x,2y和V1 x,2y)从存储在帧存储器14和15内的4:1:1类型色差信号Cr和Cb中除去,以在y方向上减半第一(或第二)色差信号Cr(或Cb)。然后,在加倍单元16b中,把第一(或第二)色差信号Cr(或Cb)加到在X方向上彼此相邻的每对第一(或第二)色差信号Cr(Cb)之间的位置上,把一个增加的第一(或第二)色差信号值设置成在x方向上相邻于增加的第一(或第二)色差信号的一个第一(或第二)色差信号Cr(或Cb)的值,以在x方向上加倍第一(或第二)色差信号Cr(或Cb)的数量。此后,把第一(或第二)色差信号Cr(或Cb)作为第一(或第二)经转换色差信号Cr’(或Cb’)输出。即,在减半单元16中,在y方向上(或纵向上)使经转换的色差信号Cr’和Cb’的分辨率减半,在加倍单元16b中,通过把位于坐标(x,2y)上的每个第一(或第二)色差信号Cr(或Cb)的值U1 x,2y(或V1 x,2y)设置成位于坐标(2x,y)和(2x+1,y)上的两个第一(或第二)经转换色差信号Cr’(或Cb’)的值U2 2x,y和U2 2x+1,y(或V2 2x+1,y),在x方向(或横向)上把经转换的色差信号Cr’和Cb’的分辨率加倍。
在除去了具有值U1 x,2y+1+1和V1 x,2y+1的奇数色差信号Cr和Cb的情况下,保留具有值U1 x,2y和V1 x,2y的偶数色差信号Cr和Cb,并根据信号转换公式(1)确定经转换色差信号Cr;和Cb’的值。
U2 2x,y=U2 2x+1,y=U1 x,2y
V2 2x,y=V2 2x+1,y=V1 x,2y                                ---(1)
信号转换公式(1)表示不需要任何算术运算可把4:1:1类型色差信号Cr和Cb转换成4:2:0类型色差信号Cr’和Cb’。
例如,如图8A至8E所示,在把对应于由8×4像素组成的一个子帧的亮度信号Y的色差信号Cr和Cb输入到色差信号转换单元16的情况下,如下确定4:2:0类型经转换色差信号Cr’和Cb’的值。
U2 0,0=U2 1,0=U1 0,0,U2 2,0=U2 3,0=U1 1,0,U2 0,1=U2 1,1=U1 0,2
U2 2,1=U2 3,1=U1 1,2,V2 0,0=V2 1,0=V1 0,0,V2 2,0=V2 3,0=V1 1,0
V2 0,1=V2 1,1=V1 0,2,V2 2,1=V2 3,1=V1 1,2
另外,在除去了具有值U1 x,2y和V1 x,2y的偶数色差信号Cr和Cb的情况下,保留具有值U1 x,2y+1和V1 x,2y+1的奇数色差信号Cr和Cb,根据信号转换公式(1)’确定经转换色差信号Cr’和Cb’的值。
U2 2x,y=U2 2x+1,y=U1 x,2y
V2 2x,y=V2 2x+1,y=V1 x,2y                             ---(1)’
因此,在直接把4:1:1类型分量图像信号转换成4:2:0类型分量图像信号时,可以容易地进行这种转换,因为不需要进行诸如加、减、乘或除等算术运算。
通常,当把表示图像的4:2:2类型分量图像信号通过把4:2:2类型色差信号转换成以DV压缩格式压缩的4:1:1类型色差信号输入到数字视频设备以把该图像记录在设备中的图像时,把位于右侧的一个4:2:2类型色差信号从两个在x方向上彼此相邻的4:2:2类型色差信号中除去来产生各4:1:1类型色差信号。例如,在图10A至10C示出了产生4:1:1类型色差信号。
图10A示出了输入到数字视频设备的多个4:2:2类型亮度信号Y的值Yx,y,图10B示出了多个4:2:2类型色差信号Cr和Cb值U1 x,y和V1 x,y,图10C示出了以DV压缩格式压缩的多个4:1:1类型色差信号Cr和Cb值。
如图10A至10C所示,在数字视频设备中除去具有值U1 2x+1,y和V1 2x+1,y的4:2:2类型色差信号,以产生4:1:1类型色差信号。因此,例如,不进行信号转换算术计算就可以把图10B中所示的4:2:2类型色差信号的值U1 0,0用作如图8D所示的4:2:0类型色差信号值U2 0,0和U2 1,0,不进行信号转换算术计算就可以把图10B所示的4:2:2类型色差信号值U1 2,0用作图8D所示的4:2:0类型色差信号值U2 2,0和U2 3,0,不进行信号转换算术计算就可以把图10B所示的4:2:2类型色差信号值U1 0,1用作图8D所示的4:2:0类型色差信号值U2 0,1和U2 1,1,不进行信号转换算术计算就可以把图10B所示的4:2:2类型色差信号值U1 2,1用作图8D所示的4:2:0类型色差信号值U2 2,1和U2 3,1
因而,在把表示图像的4:2:2类型分量图像信号通过把4:2:2类型色差信号转换成以DV压缩格式压缩的4:1:1类型色差信号输入到数字视频设备中以把该图像记录在数字视频设备中,并把4:1:1类型色差信号转换成以MPEG1或MPEG2压缩的4:2:0类型分量图像信号时,
由于不用把4:2:2类型色差信号的值U1 1,0用作4:2:0类型色差信号的值U2 2,0和U2 3,0,只要把4:2:2类型色差信号的值U1 2,0用作4:2:0类型色差信号的值U2 2,0和U2 3,0,因此,在4:2:0类型分量图像信号中可以真实地保留4:2:2类型色差信号的彩色信息。
另外,由于不需要任何算术计算来把4:2:2类型色差信号转换成4:2:0类型色差信号,所以可以容易地以这种第一色差信号转换方法进行彩色信号转换操作。
下面,参照图8A至8E描述步骤S102中进行的第二种色差信号转换方法。
在第二种色差信号转换方法中,如图9B所示,色差信号转换单元16包含:
信号值设置单元16c,用于对每对坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的第一色差信号Cr,把在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的两个第一色差信号Cr值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的第一色差信号Cr的第一平均值,对每对坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的第二色差信号Cb,把在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的两个第二色差信号Cb值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的第二色差信号Cb的第二平均值,
y方向信号减半单元16a,用于把第一色差信号Cr每隔一行从其值在信号值设置单元16c中设置的第一色差信号中除去,在y方向上减半第一色差信号Cr的数量,把第二色差信号Cr每隔一行从其值在信号值设置单元16c中设置的第二色差信号中除去,在y方向上减半第二色差信号Cb的数量,以及
x方向信号加倍单元16b。
在上述结构中,在信号值设置单元16c中,对在y方向上彼此相邻的每对色差信号Cr(或Cb)计算在y方向上彼此相邻的两个色差信号Cr(或Cb)两值U1 x,2y和U1 x,2y+1(或V1 x,2y和V1 x,2y+1)的平均值,把该平均值设置成两色差信号Cr(或Cb)的值U1 x,2y和U1 x,2y+1(或V1 x,2y和V1 x,2y+1)。此后,以与第一色差信号转换方法相同的方法,在y方向信号减半单元16a中在y方向上减半色差信号Cr(或Cb)的数量,在x方向信号加倍单元16b中在x方向上加倍色差信号Cr(或Cb)的数量。即,根据信号转换公式(2)确定经转换色差信号Cr’和Cb’的值。
U2 2x,y=U2 2x+1,y=(U1 x,2y+U1 x,2y+1)/2
V2 2x,y=V2 2x+1,y=(V1 x,2y+V1 x,2y+1)/2                               ---(2)
例如,如图8A至8E所示,在把对应于由8×4像素组成的一个子帧的亮度信号Y的色差信号Cr和Cb输入到色差信号转换单元16时,如下确定4:2:0类型经转换色差信号Cr’和Cb’值。
U2 0,0=U2 1,0=(U1 0,0+U1 0,1)/2,U2 2,0=U2 3,0=(U1 1,0+U1 1,1)/2,
U2 0,1=U2 1,1=(U1 0,2+U1 0,3)/2,U2 2,1=U2 3,1=(U1 1,2+U1 1,3)/2,
V2 0,0=V2 1,0=(V1 0,0+V1 0,1)/2,V2 2,0=V2 3,0=(V1 1,0+V1 1,1)/2,
V2 0,1=V2 1,1=(V1 0,2+V1 0,3)/2  and V2 2,1=V2 3,1=(V1 1,2+V1 1,3)/2
因而,由于用所有4:1:1类型色差信号Cr和Cb来产生4:2:0经转换色差信号Cr’和Cb’,所以可以在4:2:0类型分量图像信号中真实地保留4:1:1类型分量图像信号的彩色信息。因此,通过根据4:2:0类型分量图像信号产生再现图像可以高质量地真实再现4:1:1类型分量图像信号表示的原始图像。
另外,由于计算位置彼此相邻的两个色差信号Cr(或Cb)两值U1 x,2y和U1 x,2y+1的平均值,并把该平均值设置成彼此相邻的两个经转换色差信号Cr’(或Cb’)的值U2 2x,y和U2 2x+1,y,所以即使把不希望地加入了噪声的特定色差信号Cr(或Cb)输入到转换单元16中,也可以把噪声对经转换色差信号Cr’(或Cb’)的不利影响减少一半。
另外,由于转换单元16仅需要计算算述平均值,且这种算术计算很容易,所以可以容易地获得4:2:0类型经转换色差信号Cr’(或Cb’)。
下面,参照图8A至8E描述步骤S102中进行的第三种色差信号转换方法。
在第三种色差信号转换方法中,如图9C所示,色差信号转换单元16包含:
信号值设置单元16c,y方向信号减半单元16a和
x方向信号加倍单元16d,用于把一色差信号Cr(或Cb)加到y方向信号减半单元16b获得的、在X方向上彼此相邻的每对色差信号Cr(或Cb)之间的位置上,对每个增加的色差信号,把一个增加的色差信号Cr(或Cb)的值设置成在x方向上位于增加的色差信号两侧的色差信号Cr(或Cb)值的内插值,以在x方向上加倍色差信号的数量,并把色差信号作为4:2:0类型经转换色差信号Cr’(或Cb’)输出。
在上述结构中,在减半单元16a中把第一(或第二)色差信号Cr(或Cb)的数量减半。此后,在加倍单元16d中,对每个增加的色差信号,把第一(或第二)色差信号Cr(或第Cb)加到X方向上彼此相邻的每对第一(或第二)色差信号Cr(或Cb)之间的位置上,把一增加的色差信号Cr(或Cb)值加到在x方向上位于增加的色差信号两侧的色差信号Cr(或Cb)值的内插值上,以在x方向上加倍色差信号的数量,把该色差信号作为4:2:0类型经转换色差信号Cr’(或Cb’)输出。即,在减半单元16a中,以与第二种色差信号转换方法相同的方法在y方向上把经转换色差信号Cr’和Cb’的分辨率减少到4:1:1类型色差信号Cr和Cb的分辨率的一半。而且,在加倍单元16d中,例如,增加一个位于每个奇数x坐标值上的特定经转换色差信号Cr’(或Cb’),把每个特定经转换色差信号Cr’(或Cb’)的值U2 2x+1,y(或V2 2x+1,y)设置成在x方向上位于特定经转换色差信号两侧上的经转换色差信号Cr’(或Cb’)值U2 2x,y和U2 2(x+1),y(或者V2 2x,y和V2 2(x+1),y)的内插值,从而在x方向上加倍经转换色差信号Cr’和Cb’的分辨率。例如,根据信号转换公式(3)确定经转换色差信号Cr’和Cb’值。
V2 2x,y=(V1 x,2y+V1 x,2y+1)/2
V2 2x+1,y=(αV2 2x,y+(1-α)V2 2(x+1),y)/2                   ---(3)
这里,满足x=0,1,2,3,---和y=0,1,2,3,---,并且0≤α≤1。
在这种情况下,由于不根据每个子帧的内插来确定刚转换的色差信号值,所以根据外推来确定这些值。例如,对于每个子帧的每行,把一个刚转换的色差信号值设置成位于刚转换的色差信号的左侧上的其次刚转换的色差信号值。
如图8A至8E所示的例子一样,在把对应于8×4像素组成的一个子帧的亮度信号Y的色差信号Cr和Cb输入到色差信号转换单元16的情况下,当把常数α设置成0.5时,如下确定4:2:0类型经转换色差信号Cr’和Cb’的值。
U2 0,0=(U1 0,0+U1 0,1)/2,U2 2,0=(U1 1,0+U1 1,1)/2,
U2 1,0=(U2 0,0+U2 2,0)/2,U2 3,0=U2 2,0,U2 0,1=(U1 0,2+U1 0,3)/2,
U2 2,1=(U1 1,2+U1 1,3)/2,U2 1,1=(U2 0,1+U2 2,1)/2,U2 3,1=U2 2,1
V2 0,0=(V1 0,0+V1 0,1)/2,V2 2,0=(V1 1,0+V1 1,1)/2,
V2 1,0=(V2 0,0+V2 2,0)/2,V2 3,0=V2 2,0,V2 0,1=(V1 0,2+V1 0,3)/2,
V2 2,1=(V1 1,2+V1 1,3)/2,V2 1,1=(V2 0,1+V2 2,1)/2,V2 3,1=V2 2,1
因而,即使根据色差信号Cr(或Cb)值产生的特定经转换色差信号Cr’(或Cb’)的值U2 2x,y和U2 2(x+1),y彼此显著不同,由于在值U2 2x,y和U2 2(x+1)之间的某个值内插成位于特定经转换色差信号之间的经转换色差信号的值U2 2x+1,y,所以三个经转换的色差信号Cr’(或Cb’)值的变化变得平滑。因此,当对4:2:0类型经转换色差信号进行离散余弦变换(DCT)以根据MPEG1或MPEG2对4:2:0类型分量图像信号进行压缩时,由于经转换色差信号的彩色信息集中于低频部分,所以可以改善压缩效率。
下面,参照图8A至8E描述步骤S102内进行的第四种色差信号转换方法。在第四种色差信号转换方法中,如图9D所示,色差信号转换单元16包含:
平均值计算单元16e,对每组坐标为(x,2y),(x,2y+1),(x+1,2y)和(x+1,2y+1)的第一(或第二)色差信号,计算在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)的两个第一(或第二)色差信号Cr(或Cb)值的第一平均值以及在y方向上彼此相邻的坐标为(x+1,2y)和(x+1,2y+1)的两个第一(或第二)色差信号Cr(或Cb)值的第二平均值;
内插值计算单元16f,对每对第一和第二平均值,计算以第一权率加权第一和第二平均值获得的第一内插值和以第二权率加权第一和第二平均值获得的第二内插值;
信号值设置单元16g,把内插值计算单元16f计算得到的第一内插值设置成坐标为(x,2y)和(x,2y+1)的第一(或第二)色差信号的值;
y方向信号减半单元16a;以及
x方向信号加倍单元16h,用于把第一(或第二)色差信号加到在y方向信号减半单元16h内获得的、在x方向上彼此相邻的每对第一(或第二)色差信号Cr(或Cb)之间的位置上,对每个增加的第一(或第二)色差信号,把一个增加的第一(或第二)色差信号值设置成第二内插值以在x方向上加倍第一(或第二)色差信号的数量,并把第一(或第二)色差信号作为4:2:0类型第一(或第二)经转换色差信号Cr’(或Cb’)输出。
在上述结构中,在平均值计算单元16e中,计算在y方向上彼此相邻的两个色差信号Cr(Cb)的两值U1 x,2y和U1 x,2y+1(或V1 x,2y和V1 x,2y+1)的第一平均值以及在y方向上彼此相邻的两个色差信号Cr(或Cb)的两值U1 x+1,2y和U1 x+1,2y+1(或者V1 x+1,2y和V1 x+1,2y+1)的第二平均值。此后,在内插值计算单元16f中,根据第一和第二平均值计算第一内插值和第二内插值。然后,在信号值设置单元16g中,把第一内插值设置成坐标为(x,2y)和(x,wy+1)的色差信号值。然后,在减半单元16a中在y方向上减半色差信号的数量。然后,在加倍单元16b中,对每个增加的色差信号,通过把色差信号加到在X方向上彼此相邻的每对色差信号Cr(或Cb)之间的位置上并把一个增加的色差信号设置成第二内插值,来在x方向上加倍色差信号的数量,并把色差信号Cr(或Cb)作为经转换色差信号Cr’(或Cb’)输出。即,在设置单元16g中把第一内插值设置成每个经转换色差信号Cr’(或Cb’)的值U2 2x,y(或V2 2x,y),以与第二种色差信号转换方法相同的方法把y方向上的色差信号Cr和Cb的分辨率减少到4:1:1类型色差信号Cr和Cb的一半,在加倍单元16d中,把第二内插值设置成每个经转换色差信号Cr’(或Cb’)的值U2 2x+1,y(或V2 2x+1,y)。例如,根据信号转换公式(4)确定经转换色差信号Cr’和Cb’的值。
U2 2x,y=(3A+B)/4
U2 2x+1,y=(A+3B)/4
A=(U1 x,2y+U1 x,2y+1)/2
B=(U1 x+1,2y+U1 x+1,2y+1)/2
V2 2x,y=(3C+D)/4
V2 2x+1,y=(C+3D)/4
C=(V1 x,2y+V1 x,2y+1)/2
D=(V1 x+1,2y+V1 x+1,2y+1)/2                            ---(4)
这里,满足=0,1,2,3,---和y=0,1,2,3,---。
在这种情况下,不根据各子帧的内插来确定刚转换的色差信号的值。而且,不根据各子帧的内插来确定位于刚转换的色差信号左侧的其次刚转换的色差信号值。因此,根据外推来确定刚转换的色差信号值和其次刚转换色差信号的值。例如,对于各子帧的每一行,把一个刚转换的色差信号值和一个其次刚转换的色差信号值设置成位于其次刚转换的色差信号左侧的第三刚转换的色差信号值。
如图8A至8E所示例子一样,在把对应于8×4像素组成的一个子帧的亮度信号Y的色差信号Cr和Cb输入到色差信号转换单元16时,如下确定4:2:0类型经转换色差信号Cr’和Cb’值。
U2 0,0=(U1 0,0+U1 0,1)*3/8+(U1 1,0+U1 1,1)*1/8,
U2 1,0=(U1 0,0+U1 0,1)*1/8+(U1 1,0+U1 1,1)*3/8,
U2 0,1=(U1 0,2+U1 0,3)*3/8+(U1 1,2+U1 1,3)*1/8,
U2 1,1=(U1 0,2+U1 0,3)*1/8+(U1 1,2+U1 1,3)*3/8
因而,即使输入到转换单元16的色差信号值彼此相差显著,但由于根据线性内插来确定所有经转换色差信号值并从转换单元16输出,所以可以使经转换色差信号的值的变化比第三色差信号转换方法更平滑。因此,当对4:2:0类型经转换色差信号进行离散余弦变换(DCT)时,可以比第三色差信号转换方法更好地改善压缩效率。
下面,参照图11和13描述色差信号转换的三个实例(在公式(1),(2),(3)和(4)中x=0,1和y=0,1)。
在第一实例中,在把其值如图11A所示的4:1:1类型色差信号Cr(或Cb)输入到色差信号转换单元16的情况下,当根据第一色差信号转换方法转换色差信号时,从转换单元16输出其值如图11B所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第二色差信号转换方法转换色差信号时,从转换单元16输出其值如图11C所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第三色差信号转换方法转换色差信号时,从转换单元16输出其值如图11D所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第四色差信号转换方法转换色差信号时,从转换单元16输出其值如图11E所示的4:2:0类型经转换色差信号Cr’(或Cb’)。
另外,在第二实例中,把其值如图12A所示的4:1:1类型色差信号Cr(或Cb)输入到色差信号转换单元16的情况下,当根据第一色差信号转换方法转换色差信号时,从转换单元16输出其值如图12B所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第二色差信号转换方法转换色差信号时,从转换单元16输出其值如图12C所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第三色差信号转换方法转换色差信号时,从转换单元16输出其值如图12D所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第四色差信号转换方法转换色差信号时,从转换单元16输出其值如图12E所示的4:2:0类型经转换色差信号Cr’(或Cb’)。
另外,在第三实例中,在把其值如图13A所示的4:1:1类型色差信号Cr(或Cb)输入到色差信号转换单元16的情况下,当根据第一色差信号转换方法转换色差信号时,从转换单元16输出其值如图13B所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第二色差信号转换方法转换色差信号时,从转换单元16输出其值如图13C所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当根据第三色差信号转换方法转换色差信号时,从转换单元16输出其值如图13D所示的4:2:0类型经转换色差信号Cr’(或Cb’)。另外,当当根据第四色差信号转换方法转换色差信号时,从转换单元16输出其值如图13E所示的4:2:0类型经转换色差信号Cr’(或Cb’)。
这里,在根据一个个信号转换公式计算的值不为整数时,把该值化成整数。另外,由于要利用图11A、图12A或图13A没有指出的色差信号值来确定该值,从而不能确定经转换色差信号值时,该值在图11E、图12E或图13E中用符号“-”表示。
下面描述实例中转换结果(或经转换色差信号Cr’()或Cb’)的特点。
在第一和第二色差信号转换方法中,在所有实例中,在x方向上彼此相邻的经转换色差信号Cr’(或Cb’)的值U2 x,y和U2 2x+1,y(或V2 2x,y和V2 2x+1,y)彼此相同。
在第一色差信号转换方法中,由于不用位于奇数y坐标值(或偶数线)上的奇数色差信号来确定经转换色差信号,所以奇数色差信号值不影响经转换色差信号的值。例如,图11A所示的第一根线上的一组色差信号值、在图12A所示的第一根线上的一组色差信号值以及在图13A所示的第一根线上的一组色差信号值彼此相等。在这种情况下,虽然图11A所示的第二根线上的一组色差信号值、图12A所示的第二根线上的一组色差信号值以及图13A所示的第二根线上的一组色差信号值彼此不同,但图11B所示的第一根线上的一组经转换色差信号值、在图12B所示的第一根线上的一组经转换色差信号值以及在图13B所示的第一根线上的一组经转换色差信号值彼此相等。
在第三色差信号转换方法中,把位于y方向上彼此相邻的坐标(x,2y)和(x,2y+1)上的两个色差信号的两个值的第一平均值设置成坐标(2x,y)上的经转换色差信号值,把位于y方向上彼此相邻的坐标(x+1,2y)和(x+1,2y+1)上的两个色差信号的两个值的第二平均值设置成坐标(2x+2,y)的经转换色差信号值,并且把第一和第二平均值之间的某个值内插成坐标(2x+1,y)的经转换色差信号值。在这些实例中,把第一和第二平均值的平均值设置成坐标(2x+1,y)的经转换色差信号值。
在第四色差信号转换方法中,虽然以与第三色差信号转换方法相同的方法计算第一和第二平均值,但不把第一和第二平均值用作经转换的色差信号值,而是把第一和第二平均值之间的两个内插值用作在x方向上彼此相邻的两个经转换色差信号值。因此,即使输入到转换单元16的色差信号值变化很大,由于不把第一或第二平均值中任一个值用作经转换色差信号值,所以可以使转换单元16输出的经转换色差信号值的变化很小。而且,即使有噪声加入到色差信号中,也可以显著地减少噪声对经转换色差信号的影响。
因而,如上所述,在使用图像信号转换设备11和一种色差信号转换方法时,可以直接把4:1:1类型分量图像信号转换成4:2:0类型分量图像信号。
(第二实施例)
通常,自然图像的亮度信息和自然图像的彩色信息彼此相关。因此,像素的亮度随像素的颜色变化的概率很高。在本实施例中,考虑了自然图像的这个特点,根据亮度信号Y的值直接把4:1:1类型分量图像信号转换成4:2:0类型分量图像信号。
图14是根据本发明第二实施例的图像信号转换设备的框图。
如图14所示,图像信号转换设备21包含:
输入单元12、Y帧存储器13、输入Cr帧存储器14、输入Cb帧存储器15,
参考亮度信号取出单元22,从Y帧存储器13中取出多个亮度信号作为多个参考亮度信号,
色差信号转换单元23,对每帧把第一色差信号Cr和第二色差信号Cb转换成第一经转换色差信号Cr’和4:2:0类型的第二经转换的色差信号Cb’,同时参考亮度信号,
输出Cr帧存储器17、输出Cb帧存储器18和输出单元19。
在上述结构中,参照图15简单描述图像信号转换装置21中执行的操作。
如图15所示,在进行了步骤S101之后,执行步骤S201。在该步骤,把存储在输入Cr帧存储器14和输入Cb帧存储器15内的色差信号Cr和Cb输入到色差信号转换单元23,并根据第五色差信号转换方法或第六色差信号转换方法,同时参考由参考亮度信号取出单元22取出的多个参考亮度信号Y,把它们转换成多个4:2:0类型色差信号Cr’和Cb’。此后,把第一经转换色差信号Cr’存储在输出Cr帧存储器17中,把第二经转换色差信号Cb’存储在输出Cb帧存储器18。然后,以与转换单元11中相同的方式执行步骤S103和S104。
下面参照图8A至8E详细描述第二实施例在步骤S201进行的第五种色差信号转换方法。
在第五色差信号转换方法中,如图16A所示,色差信号转换单元23包含:
平均值计算单元23a,计算每对色差信号在y方向上彼此相邻的坐标为(x,wy)和(x,2t+1)的两个色差信号Cr(或Cb)值的平均值;
加权系数计算单元23b,获得参考亮度信号取出单元22取出的参考亮度信号作为第一参考亮度信号,条件是第一参考亮度信号对应于坐标为(x,2y)和(x+1,2y)的色差信号,根据第一参考亮度信号值计算第一加权系数B/2(A+B)和第二加权系数A/2(A+B),获得参考亮度信号取出单元23取出的参考亮度信号作为第二参考亮度信号,条件是第二参考亮度信号对应于坐标为(x,2y+1)和(x+1,2y+1)的色差信号,根据第二参考亮度信号值计算第三加权系数D/2(C+D)和第四加权系数C/2(C+D);
内插值计算单元23c,把坐标为(x,2y)的色差信号值U1 x,2y(或V1 x,2y)乘以第一加权系数计算第一乘值,把坐标为(x+1,2y)的色差信号值U1 x+1,2y(或V1 x+1,2y)乘以第二加权系数计算第二乘值,把坐标为(x,2y+1)的色差信号值U1 x,2y+1(或V1 x,2y+1)乘以第三加权系数计算第三乘值,把坐标为(x+1,2y+1)的色差信号值U1 x+1,2y+1(或V1 x+1,2y+1)乘以第四加权系数计算第四乘值,根据第一、第二、第三和第四乘值计算内插值;
信号值设置单元23d,把每个平均值设置成坐标为(x,2y)和(x,2y+1)的色差信号值;
y方向信号减半单元16a;以及
x方向信号加倍单元23e,把一色差信号加到X方向上彼此相邻的每对色差信号之间的位置上,对每个增加的色差信号把一个增加的色差信号值设置成内插值,以在x方向上加倍色差信号的数量,并输出色差信号作为4:2:0类型转换色差信号Cr’(或Cb’)。
在上述结构中,在平均值计算单元23a内计算y方向上彼此相邻的两个色差信号Cr(或Cb)的两个值U1 x,2y和U1 x,2y+1(或V1 x,2y和V1 x,2y+1)的平均值,并在信号值设置单元23d和y方向信号减半单元16a中把它设置成4:2:0类型经转换色差信号Cr’(或Cb’)的值U2x,y(或V2 x,y),以把y方向上的经转换色差信号Cr’和Cb’的分辨率减少到4:1:1类型色差信号Cr和Cb的一半。另外,在内插值计算单元23和x方向信号加倍单元23e中,用加权系数计算单元23b计算得到的加权系数对坐标(x,2y),(x+1,2y),(x,2y+1)和(x+1,2y+1)上的四个色差信号的值加权获得的加权值作线性内插,计算x方向上相邻于具有值U2 2x,y(或V2 2x,y)的经转换色差信号Cr’(或Cb’)的经转换色差信号Cr’(或Cb’)的值U2 2x+1,y(或V2 2x+1,y)。根据对应于坐标为(x,2y)的信号的坐标为(4x,2y),(4x+1,2y),(4x+2,2y)和(4x+3,2y)的第一组参考亮度信号、对应于坐标为(x+1,2y)的色差信号的坐标为(4(x+1),2y),(4(x+1)+1,2y),(4(x+1)+2,2y)和(4(x+1)+3,2y)的第二组参考亮度信号、对应于坐标为(x,2y+1)的色差信号的坐标为(4x,2y+1),(4x+1,2y+1),(4x+2,2y+1)和(4x+3,2y+1)的第三组参考亮度信号和对应于坐标为(x+1,2y+1)的色差信号的坐标为(4(x+1),2y+1),(4(x+1)+1,2y+1),(4(x+1)+2,2y+1)和(4(x+1)+3,2y+1)的第四组参考亮度信号计算加权系数。因此,在x方向上加倍了经转换色差信号Cr’和Cb’的分辨率。即,根据信号转换公式(5)来确定经转换色差信号Cr’和Cb’的值。
U2 2x,y=(U1 x,2y+U1 x,2y+1)/2
U2 2x+1,y=U1 x,2y*B/2(A+B)+U1 x+1,2y*A/2(A+B)+
           U1 x,2y+1*D/2(C+D)+U1 x+1,2y+1*C/2(C+D)
V2 2x,y=(V1 x,2y+V1 x,2y+1)/2
V2 2x+1,y=V1 x,2y*B/2(A+B)+V1 x+1,2y*A/2(A+B)+
           V1 x,2y+1*D/2(C+D)+V1 x+1,2y+1*C/2(C+D)
A={(Y4x,2y+Y4x+1,2y)-(Y4x+2,2y+Y4x+3,2y)}2
B={(Y4(x+1),2y+Y4(x+1)+1,2y)-(Y4x+2,2y+Y4x+3,2y)}2
C={(Y4x,2y+1+Y4x+1,2y+1)-(Y4x+2,2y+1+Y4x+3,2y+1)}2
D={(Y4(x+1),2y+1+Y4(x+1)+1,2y+1)-(Y4x+2,2y+1+Y4x+3,2y+1)}2
                                                      ---(5)
这里,满足x=0,1,2,3---,y=0,1,2,3,---。
在公式(5)中,当对应于位于内插位置(2x+1,y)上的特定经转换色差信号U2 2x+1,y或V2 2x+1,y的特定亮度信号Y4x+2,2y和Y4x+3,2y(或Y4x+2,2y+1和Y4x+3和Y4x+3,2y+1)的值接近位于该特定亮度信号右侧的亮度信号Y4(x+1),2y和Y4(x+1)+1,2y(或Y4(x+1),2y+1和Y4(x+1)+1,2y+1)值时,对应于亮度信号Y4(x+1),2y和Y4(x+1)+1,2y(或Y4(x+1),2y+1和Y4(x+1)+1,2y+1)的特定色差信号U1 x+1,2y或V1 x+1,2y(或U1 x+1,2y+1或V1 x+1,2y+1)对特定经转换色差信号的影响将增大。相反,当对应于位于内插位置(2x+1,y)上的特定经转换色差信号U2 2x+1,y或V2 2x+1,y的特定亮度信号Y4x+1,2y和Y4x+3,2y(或Y4x+2,2y+1和Y4x+3,2y+1)值接近位于特定亮度信号左侧上的亮度信号Y4x,2y和Y4x+1,2y(或Y4x,2y+1和Y4x+1,2y+1)值时,对应于亮度信号Y4x,2y和Y4x+1,2y(或Y4x,2y+1和Y4x+1,2y+1)的特定色差信号U1 x,2y或V1 x,2y(或U1 x,2y+1或V1 x,2y+1)对特定经转换色差信号值的影响将增大。例如,当特定亮度信号值接近亮度信号Y4(x+1),2y和Y4(x+1)+1,2y值时,满足B<A,所以得到A/2(A+B)>B/2(A+B)。因此,色差信号U1 x+1,2y对特定经转换色差信号U2 2x+1,y值的影响大于色差信号U1 x,2y对特定经转换色差信号U2 2x+1,y值的影响。这里,值A对应于一组亮度信号Y4x,2y和Y4x+1,2y值与一组亮度信号Y4x+2,2y和Y4x+3,2y值之间的距离,值B对应于一组亮度信号Y4(x+1),2y和Y4(x+1)+1,2y值与一组亮度信号Y4x+2,2y和Y4x+3,2y值之间的距离。
因此,可以认为自然图像中亮度信息与彩色信息之间有相关性。
在公式(5)中,不根据每个子帧的内插来确定刚经转换的色差信号的值,而是根据外推来确定这些值。例如,对于每个子帧中的每一行,把一个刚经转换的色差信号值设置成位于刚经转换色差信号左侧上的其次经转换色差信号值。
如图8A至8E所示例子一样,在把对应于由8×4像素组成的一个子帧的亮度信号Y的色差信号Cr和Cb输入到色差信号转换单元23时,如下确定4:2:0类型经转换色差信号Cr’和Cb’的值。
U2 0,0=(U1 0,0+U1 0,1)/2
U2 1,0=U1 0,0*B0/2(A0+B0)+U1 1,0*A0/2(A0+B0)+U1 0,1*D0/2(C0+D0)
        +U1 1,1*C0/2(C0+D0)
U2 2,0=(U1 1,0+U1 1,1)/2
U2 0,1=(U1 0,2+U1 0,3)/2
U2 1,1=U1 0,2*B1/2(A1+B1)+U1 1,2*A1/2(A1+B1)+U1 0,3*D1/2(C1+D1)
        +U1 1,3*C1/2(C1+D1)
U2 2,1=(U1 1,2+U1 1,3)/2
V2 0,0=(V1 0,0+V1 0,1)/2
V2 1,0=V1 0,0*B0/2(A0+B0)+V1 1,0*A0/2(A0+B0)+V1 0,1*D0/2(C0+D0)
        +V1 1,1*C0/2(C0+D0)
V2 2,0=(V1 1,0+V1 1,1)/2
V2 0,1=(V1 0,2+V1 0,3)/2
V2 1,1=V1 0,2*B1/2(A1+B1)+V1 1,2*A1/2(A1+B1)+V1 0,3*D1/2(C1+D1)
        +V1 1,3*C1/2(C1+D1)
V2 2,1=(V1 1,2+V1 1,3)/2
A0={(Y0,0+Y1,0)-(Y2,0+Y3,0)}2,B0={(Y4,0+Y5,0)-(Y2,0+Y3,0)}2
C0={(Y0,1+Y1,1)-(Y2,1+Y3,1)}2,D0={(Y4,1+Y5,1)-(Y2,1+Y3,1)}2
A1={(Y0,2+Y1,2)-(Y2,2+Y3,2)}2,B1={(Y4,2+Y5,2)-(Y2,2+Y3,2)}2
C1={(Y0,3+Y1,3)-(Y2,3+Y3,3)}2,D1={(Y4,3+Y5,3)-(Y2,3+Y3,3)}2
因而,由于当把4:1:1类型分量图像信号直接转换成4:2:0类型分量图像信号时,在色差信号转换单元23内引用了亮度信号Y,所以可以把通常存在于自然图像内的彩色信息与亮度信息之间的相关性作为特征包括在经转换的色差信号中,所以可以高清晰度地再现自然图像。
下面,参照图8详细描述根据第二实施例的步骤S201中进行的第六种色差信号转换方法。
在第六种色差信号转换方法中,如图16B所示,色差信号转换单元23包含:
加权系数计算单元23f,获得参考亮度信号取出单元22取出的参考亮度信号,把它作为第一参考亮度信号,条件是第一参考亮度信号对应于坐标为(x,2y)和(x+1,2y)的色差信号Cr(或Cb),根据第一参考亮度信号值计算第一加权系数B/2(A+B)、第二加权系数A/2(A+B)、第三加权系数D/2(C+D)和第四加权系数C/2(C+D),获得参考亮度信号取出单元22取出的参考亮度信号,把它作为第二参考亮度信号,条件是第二参考亮度信号对应于坐标为(x,2y+1)和(x+1,2y+1)的色差信号Cr(或Cb),根据第二参考亮度信号值计算第五加权系数F/2(F+E)、第六加权系数E/2(E+F)、第七加权系数H/2(H+G)和第八加权系数G/2(H+G);
内插值计算单元23g,把坐标为(x,2y)的色差信号Cr(或Cb)值乘以第一加权系数计算第一乘值,把坐标为(x+1,2y)的色差信号值乘以第二加权系数计算第二乘值,把坐标为(x,2y+1)色差信号值乘以第五加权系数计算第三乘值,把坐标为(x+1,2y+1)色差信号值乘以第六加权系数计算第四乘值,根据第一、第二、第三和第四乘值计算第一内插值,
把坐标为(x,2y)的色差信号值乘以第三加权系数计算第五乘值,把坐标为(x+1,2y)的色差信号值乘以第四加权系数计算第六乘值,把坐标为(x,2y+1)的色差信号)值乘以第七加权系数计算第七乘值,把坐标为(x+1,2y+1)的色差信号值乘以第八加权系数计算第八乘值,根据第五、第六、第七和第八乘值计算第二内插值;
信号值设置单元23h,把内插值计算单元23g中计算得到的第一内插值设置成坐标为(x,2y)和(x,2y+1)的色差信号Cr(或Cb)值;
y方向信号减半单元16a,把色差信号Cr(或Cb)每隔一行从其值设置在信号值设置单元23h内的色差信号Cr(或Cb)中除去,在y方向上减半色差信号Cr(或Cb)的数量;以及
x方向信号加倍单元23i,把一色差信号加到在X方向上彼此相邻的每对色差信号Cr(或Cb)之间的位置上,对每个增加的色差信号,把一个增加的色差信号的色差信号值设置成第二内插值,在x方向上加倍y方向信号减半单元23h内获得的色差信号的数量,把这些色差信号作为4:2:0类型经转换色差信号Cr’(或Cb’)输出。
在上述结构中,在信号值设置单元23h内把经转换色差信号Cr’(或Cb’)值U2 2x,y(或V2 2x,y)设置成第一内插值,它是根据位于第一坐标(x,2y)上的色差信号Cr(或Cb)值U1 x,2y(或V1 x,2y)、在x方向上相邻于第一坐标的第二坐标(x+1,2y)的色差信号值U1 x+1,2y(或V1 x+1,2y)、在y方向上相邻于第一坐标的第三坐标(x,2y+1)的色差信号值U1 x,2y+1(或V1 x,2y+1)和在y方向上相邻于第二坐标的第四坐标(x+1,2y+1)的色差信号值U1 x+1,2y+1(或V1 x+1,2y+1),同时把每个色差信号值乘以加权系数计算得到的。在加权系数计算单元23f内引用参考亮度信号Y计算分别表示一个色差信号对经转换色差信号的影响的加权系数。因此,在y方向上把经转换色差信号Cr’和Cb’的分辨率减小到色差信号Cr和Cb的一半。另外,在x方向信号加倍单元23i内根据色差信号Cr(或Cb)的值U1 x,2y,U1 x+1,2y,U1 x,2y+1,U1 x+1,2y+1(或V1 x,2y,V1 x+1,2y,V1 x,2y+1,V1 x+1,2y+1),把每个色差信号值乘以加权系数计算在x方向上相邻于值为U2 2x,y(或V2 2x,y)的经转换色差信号的经转换色差信号的值V2 2x+1,y(或V2 2x+1,y)。因此,在x方向上加倍了经转换色差信号Cr’和Cb’的分辨率。例如,可以根据信号转换公式(6)确定经转换色差信号Cr’和Cb’值。
U2 2x,y=U1 x,2y*B/2(A+B)+U1 x+1,2y*A/2(A+B)+
         U1 x,2y+1*F/2(E+F)+U1 x+1,2y+1*E/2(E+F)
U2 2x+1,y=U1 x,2y*D/2(C+D)+U1 x+1,2y*C/2(C+D)+
           U1 x,2y+1*H/2(G+H)+U1 x+1,2y+1*G/2(G+H)
V2 2x,y=V1 x,2 y*B/2(A+B)+V1 x+1,2y*A/2(A+B)+
         V1 x,2y+1*F/2(E+F)+V1 x+1,2y+1*E/2(E+F)
V2 2x+1,y=V1 x,2y*D/2(C+D)+V1 x+1,2y* C/2(C+D)+
           V1 x,2y+1*H/2(G+H)+V1 x+1,2y+1*G/2(G+H)
A={(Y4x,2y+Y4x+1,2y+Y4x+2,2y+Y4x+3,2y)-2(Y4x,2y+
     Y4x+1,2y)}2
B={(Y4(x+1),2y+Y4(x+1)+1,2y+Y4(x+1)+2,2y+Y4(x+1)+3,2y)
     -2(Y4x,2y+Y4x+1,2y)}2
C={(Y4x,2y+Y4x+1,2y+Y4x+2,2y+Y4x+3,2y)-2(Y4x+2,2y+
     Y4x+3,2y)}2
D={(Y4(x+1),2y+Y4(x+1)+1,2y+Y4(x+1)+2,2y+Y4(x+1)+3,2y)
     -2(Y4x+2,2y+Y4x+3,2y)}2
E={(Y4x,2y+1+Y4x+1,2y+1+Y4x+2,2y+1+Y4x+3,2y+1)
     -2(Y4x,2y+1+Y4x+1,2y+1)}2
F={(Y4(x+1),2y+1+Y4(x+1)+1,2y+1+Y4(x+1)+2,2y+1+Y4(x+1)+3,2y+1)
     -2(Y4x,2y+1+Y4x+1,2y+1)}2
G={(Y4x,2y+1+Y4x+1,2y+1+Y4x+2,2y+1+Y4x+3,2y+1)
     -2(Y4x+2,2y+1+Y4x+3,2y+1)}2
F={(Y4(x+1),2y+1+Y4(x+1)+1,2y+1+Y4(x+1)+2,2y+1+Y4(x+1)+3,2y+1)
     -2(Y4x+2,2y+1+Y4x+3,2y+1)}2                            ---(6)
这里,满足x=0,1,2,3,---和y=0,1,2,3,---。公式(6)中,可把各加权系数A~F的平方根用作加权系数。
在这种情况下,不根据每个子帧的内插确定刚经转换的色差信号值。而且,不根据每个子帧的内插值确定位于刚经转换的色差信号左侧的其次刚经转换的色差信号值。因此,根据外推来确定刚经转换的色差信号值和其次刚经转换的色差信号值。例如,对于各子帧的每一行,把一个刚经转换的色差信号值和一个其次刚经转换的色差信号值设置成位于其次刚经转换的色差信号左侧上的第三刚经转换的色差信号值。
如图8A至8E所示例子一样,在把对应于由8×4像素组成的的一个子帧的亮度信号Y的色差信号Cr和Cb输入到色差信号转换单元23时,如下确定4:2:0类型经转换色差信号Cr’和Cb’值。
U2 0,0=U1 0,0*B0/2(A0+B0)+U1 1,0*A0/2(A0+B0)+U1 0,1*F0/2(E0+F0)
        +U1 1,1*E0/2(E0+F0)
U2 1,0=U1 0,0*D0/2(C0+D0)+U1 1,0*C0/2(C0+D0)+U1 0,1*H0/2(G0+H0)
        +U1 1,1*G0/2(G0+H0)
V2 0,0=V1 0,0*B0/2(A0+B0)+V1 1,0*A0/2(A0+B0)+V1 0,1*F0/2(E0+F0)
        +V1 1,1*E0/2(E0+F0)
V2 1,0=V1 0,0*D0/2(C0+D0)+V1 1,0*C0/2(C0+D0)+V1 0,1*H0/2(G0+H0)
        +V1 1,1*G0/2(G0+H0)
A0={(Y0,0+Y1,0+Y2,0+Y3,0)-2(Y0,0+Y1,0)}2
B0={(Y4,0+Y5,0+Y6,0+Y7,0)-2(Y0,0+Y1,0)}2
C0={(Y0,0+Y1,0+Y2,0+Y3,0)-2(Y2,0+Y3,0)}2
D0={(Y4,0+Y5,0+Y6,0+Y7,0)-2(Y2,0+Y3,0)}2
E0={(Y0,1+Y1,1+Y2,1+Y3,1)-2(Y0,1+Y1,1)}2
F0={(Y4,1+Y5,1+Y6,1+Y7,1)-2(Y0,1+Y1,1)}2
G0={(Y0,1+Y1,1+Y2,1+Y3,1)-2(Y2,1+Y3,1)}2
H0={(Y4,1+Y5,1+Y6,1+Y7,1)-2(Y2,1+Y3,1)}2
U2 0,1=U1 0,2*B1/2(A1+B1)+U1 1,2*A1/2(A1+B1)+U1 0,3*F1/2(E1+F1)
        +U1 1,3*E1/2(E1+F1)
U2 1,1=U1 0,2*D1/2(C1+D1)+U1 1,2*C1/2(C1+D1)+U1 0,3*H1/2(G1+H1)
        +U1 1,3*G1/2(G1+H1)
V2 0,1=V1 0,2*B1/2(A1+B1)+V1 1,2*A1/2(A1+B1)+V1 0,3*F1/2(E1+F1)
        +V1 1,3*E1/2(E1+F1)
V2 1,1=V1 0,2*D1/2(C1+D1)+V1 1,2*C1/2(C1+D1)+V1 0,3*H1/2(G1+H1)
        +V1 1,3*G1/2(G1+H1)
A1={(Y0,2+Y1,2+Y2,2+Y3,2)-2(Y0,2+Y1,2)}2
B1={(Y4,2+Y5,2+Y6,2+Y7,2)-2(Y0,2+Y1,2)}2
C1={(Y0,2+Y1,2+Y2,2+Y3,2)-2(Y2,2+Y3,2)}2
D1={(Y4,2+Y5,2+Y6,2+Y7,2)-2(Y2,2+Y3,2)}2
E1={(Y0,3+Y1,3+Y2,3+Y3,3)-2(Y0,3+Y1,3)}2
F1={(Y4,3+Y5,3+Y6,3+Y7,3)-2(Y0,3+Y1,3)}2
G1={(Y0,3+Y1,3+Y2,3+Y3,3)-2(Y2,3+Y3,3)}2
H1={(Y4,3+Y5,3+Y6,3+Y7,3)-2(Y2,3+Y3,3)}2
因而,由于根据四个色差信号的内插来确定每个经转换色差信号,并把它们从转换单元23输出,因此,即使输入到转换单元23的色差信号值彼此显著不同,也可以使经转换色差信号值的变化比第五种色差信号转换方法更平滑。因此,当对4:2:0类型经转换色差信号进行离散余弦变换(DCT)时,可以比第五种色差信号转换方法更好地改善压缩效率。
另外,由于当把4:1:1类型分量图像信号直接转换成4:2:0类型分量图像信号时,在色差信号转换单元23中参照了亮度信号Y,所以可以把通常存在于自然图像中的彩色信息和亮度信息之间的相关性作为特征包括在经转换色差信号中,能高清晰地真实再现自然图像。
下面参考图17A至17E描述第二实施例的色差信号转换的实例。
图17A示出了对应于8×2像素的多个4:1:1类型亮度信号Y,图17B示出了对应于4:1:1类型亮度信号的多个4:1:1类型色差信号Cr(或Cb),图17C示出了根据第五种色差信号转换方法获得的多个4:2:0类型经转换色差信号Cr(或Cb),图17D示出了根据第六种色差信号转换方法获得的多个4:2:0类型色差信号Cr(或Cb),图17E示出了根据第一实施例的第一种色差信号转换方法获得的多个4:2:0类型经转换色差信号Cr(或Cb)。
这里,当根据一个信号转换公式计算的值不为整数时,把该值舍取成整数。另外,当由于利用图17B中没有指示的色差信号值确定某个值而不能确定经转换色差信号的值时,在图17C和17D中把该值用符号“-”表示。
当表示图像的4:2:2类型分量图像信号输入到数字视频设备中,以在该数字视频设备中通过把4:2:2类型色差信号转换成以DV压缩格式压缩的4:1:1类型色差信号来记录图像,并把4:1:1色差信号转换成根据MPEG1或MPEG2压缩的4:2:0类型色差信号时,坐标(0,y),(1,y),(2,y)和(3,y)的4:2:2类型色差信号对应于具有Y坐标(0,y)和(1,y)的值200、Y坐标(2,y)和(3,y)的值100、Y坐标(4,y)和(5,y)的值100和Y坐标(6,y)和(7,y)的值100的亮度信号,坐标为(0,y)和(1,y)的4:1:1色差信号的色差信号对应于具有Y坐标(0,y)和(1,y)的值200和Y坐标(4,y)和(5,y)的值100的亮度信号。因此,由于图17B所示的4:1:1色差信号的值随亮度信号值变化而变化,所以在考虑了通常存在于自然图像中彩色信息与亮度信息之间相关性的情况下,较佳地坐标(0,0)和(1,0)的4:2:0类型经转换色差信号值彼此不同。
如图17(E)所示,在第一实施例的第一种色差信号转换方法中,坐标(0,0)和(0,1)的经转换色差信号Cr(或Cb)值彼此相同。相反,如图17(c)所示,在第五种色差信号转换方法中,坐标(0,0)和(0,1)的经转换色差信号Cr(或Cb)值彼此不同。因此,与第一种色差信号转换方法相比,第五种色差信号转换方法中可以更真实地再现自然图像。
另外,如图17(c)和17(d)所示,根据第六种色差信号转换方法的坐标(0,0)和(0,1)的经转换色差信号Cr(或Cb)值的差小于第五色差信号转换方法。因此,由于经转换色差信号的彩色信息集中于低频部分,所以可以改善诸如DCT等正交转换的压缩效率。
因而,在使用图像信号转换设备21和第五和第六种色差信号转换方法中一种方法时,可以把4:1:1类型分量图像信号直接转换成4:2:0类型分量图像信号。
另外,由于引用了亮度信号来确定4:2:0类型经转换色差信号Cr’和Cb’,所以可以把通常存在于自然图像中的彩色信息与亮度信息之间的相关性包括在经转换色差信号中,可以高清晰度真实再现自然图像。
(第三实施例)
在本实施例中,描述这样一种图像信号转换设备,它把以DVC格式压缩的正交转换的数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的正交转换数字压缩图像信号。
图18为根据本发明第三实施例的图像信号转换设备框图。
如图18所示,图像信号转换设备31包含:
输入-输出单元32,接收以DVC格式压缩的一帧每个像素的正交转换数字压缩图像信号,输出以具有运动补偿的MPEG2格式压缩的一帧的每个像素的正交转换数字压缩图像信号,
图像信号译码单元33,对输入-输出单元32接收到的压缩图像信号进行译码,产生非压缩4:1:1类型分量图像信号,
分量图像信号转换单元34,把非压缩4:1:1类型分量图像信号直接转换成非压缩4:2:0类型分量图像信号,和
图像信号编码单元35,对非压缩4:2:0类型分量图像信号进行编码,产生以具有运动补偿的MPEG2格式压缩的压缩图像信号。
输入-输出单元32包含接收以DVC格式压缩的数字压缩图像信号的输入单元36和输出以具有运动补偿的MPEG2格式压缩的数字压缩图像信号。
图像信号译码单元33包含:
准备单元38,对根据DVC格式在压缩中移动的数字压缩图像信号去移动,
可变长度译码单元39,对准备单元38中去移动的数字压缩图像信号进行可变长度译码,产生多个DCT系数量化值,
反量化单元40,对DCT系数的量化值进行反量化,产生DCT系数,以及
反DCT处理单元41,对DCT系数进行反DCT处理,产生非压缩4:1:1类型分量图像信号。
图像信号编码单元35包含:
编码控制单元42,把规打算在编码单元35中进行编码的当前帧规定图像类型,诸如I图像、P图像或B图像,
输入缓冲器43,存储当前帧的非压缩4:2:0类型分量图像信号,
DCT压缩单元44,对非压缩4:2:0类型分量图像信号进行DCT处理,获得图像信号的多个DCT系数,并把每个DCT系数除以量化表中的一个值对DCT系数进行量化,获得图像信号的多个量化值,
反DCT扩展单元45,对图像信号的量化值进行反量化,产生图像信号的DCT系数,对在DCT压缩单元44中获得的DCT系数进行反DCT处理,再现非压缩4:2:0类型分量图像信号,
帧存储器46,把反DCT扩展单元45中再现的非压缩4:2:0类型分量图像信号存储作为参考帧的图像信号,编码控制单元42规定参考帧与当前帧之间的关系,把新存储在输入缓冲器43内的图像信号设置成新定义的当前帧的图像信号,
运动预测单元47,根据存储在帧存储器46内的参考帧的非压缩4:2:0类型分量图像信号和存储在输入缓冲器43内的当前帧的非压缩4:2:0类型分量图像信号计算当前帧每个宏组的运动矢量,根据当前帧的非压缩4:2:0类型分量图像信号与运动矢量指定的参考帧相应宏组的非压缩4:2:0类型分量图像信号之间的差计算每个宏组的帧间差,从而预测当前帧的图像运动,
编码选择单元48,在编码控制单元42控制下,选择利用运动矢量的编码方法或不利用运动矢量的编码方法,当编码控制单元42选择I图像时,把DCT压缩单元44传输的图像信号的量化值选择成宏组信息,当编码控制单元42选择B图像或P图像时,把运动预测单元47传输的运动矢量和帧间差选择成宏组信息,
可变长度编码单元49,对编码选择单元48选出的宏组信息进行可变长度编码,产生可变长度编码数据组,和
结构编码单元50,从可变长度编码数据产生以具有运动补偿的MPEG2格式压缩的数字压缩图像信号。
把根据第一或第二实施例的图像信号转换设备11或21用作分量图像信号转换单元34。
在上述结构中,参照图19描述图像信号转换设备31的工作情况。图19示出了图像信号转换设备31中进行的整个过程。
在步骤S301中,输入-输出单元32中的输入单元36接收以DVC格式压缩的数字压缩图像信号,在图像信号译码单元33中对其进行译码,产生非压缩4:1:1类型分量图像信号。
在步骤S302中,在分量图像信号转换单元34中把非压缩4:1:1类型分量图像信号直接转换成非压缩4:2:0类型分量图像信号。
在步骤S303中,把非压缩4:2:0类型分量图像信号编码成以具有运动补偿的MPEG2格式压缩的压缩图像信号,输出单元37输出压缩图像信号。
在这种情况下,较佳地,步骤301至S303的工作彼此并行进行。即,在步骤S301没有获得所有非压缩4:1:1类型分量图像信号之前,在步骤S302把在步骤S301中获得的非压缩4:1:1类型分量图像信号直接转换成非压缩4:2:0类型分量图像信号,在步骤S302没有获得全部非压缩4:2:0类型分量图像信号之前,在步骤S303对在步骤S302中获得的非压缩4:2:0类型分量图像信号进行编码。
下面,详细描述步骤S301中进行的译码处理。
先描述从4:1:1类型分量图像信号获得以DVC格式压缩的数字压缩图像信号的方法。
为了从非压缩4:1:1类型分量图像信号获得以DVC格式压缩的数字图像信号,对每组(8×8像素)的4:1:1类型分量图像信号进行DCT处理,获得每组的DCT系数的DCT组,对每个DCT系数组的DCT系数进行量化,获得每个DCT组的量化值组,把每组的量化值编码成可变长度码组,并把这些组的可变长度码记录成以DVC格式压缩的数字压缩图像信号。
另外,宏组由对应于亮度信号Y的四个DCT系数组和对应于色差信号Cr和Cb的两个DCT系数组组成,超组(superblock)由多个宏组组成,DVC格式的一帧由多个超组组成。另外,对数字压缩图像信号进行移动处理,以把一帧中宏组或超组的原始记录位置改变到其它记录位置,这样,就获得以DVC格式压缩的数字压缩图像信号。
图20是步骤S301内进行的译码处理的流程图。
在步骤S31,在准备单元38中,对以DVC格式移动的数字压缩图像信号进行去移动,对每帧,以原始位置排列宏组信息。
在步骤S312,在可变长度译码单元39中,对数字压缩图像信号进行可变长度译码,把数字压缩图像信号转换成可变长度译码信息,表示多个DCT系数量化值。
在步骤S313,在反量化单元40中对可变长度译码信息进行反量化,获得DCT系数。
在步骤S314,在反DCT处理单元41中对DCT系数进行反DCT处理,获得每帧像素的像素值。因此,产生具有像素值的非压缩4:1:1类型分量图像信号。
下面,详细描述在步骤S303中进行的4:2:0类型分量图像信号编码处理。
图21是步骤S303中进行的图像信号编码处理的流程图。
在步骤S321中,在DCT压缩单元44中对从输入缓冲器43获得的非压缩4:2:0类型分量图像信号进行DCT处理,获得图像信号的多个DCT系数,对DCT系数进行量化,获得图像信号的多个量化值。
在步骤S322中,编码控制单元42选择DCT压缩单元44中处理的当前帧的图像类型(I图像、P图像或B图像)。这里,对当前帧(不参照其它帧)的DCT系数的量化值进行编码来预测I图像,参照在P图像帧帧之前一帧的分量图像信号来预测P图像,参照在B图像之前一帧的分量图像信号和B图像帧之后一帧的分量图像信号来预测B图像。
在编码控制单元42对当前帧选择P图像或B图像时,流程进入到步骤S323。在步骤S323,进行运动预测处理,在运动预测单元47中对当前帧的每个宏组根据已存储在帧存储器46内的参考帧的非压缩4:2:0类型分量图像信号和存储在输入缓冲器43内的当前帧的非压缩4:2:0类型分量图像信号预测一宏组内画出的图像的运动。即,在当前帧的标记宏组和参考帧的特定宏组中画出同一特定图像时,对当前帧的每个宏组计算指示当前帧的标记组与参考帧的特定宏组之间的位置差的运动矢量。这里,在P图像的情况下,参考帧是当前帧之前一帧,在B图像的情况下,参考帧是当前帧前一帧或当前帧后一帧。
另外,对当前帧的每个宏组计算指示当前帧作标记的宏组上的一组像素值与参考帧的特定宏组上的一组像素值之间差异的帧间差信息。然后,在DCT压缩单元44内对帧间差信息进行DCT处理和量化,并把经DCT处理和量化的运动矢量和差信息(或没有经DCT处理或量化的运动矢量和差信息)传输给编码选择单元48。
在步骤S324中,在反DCT扩展单元45中对在DCT压缩单元44中获得的图像信号的量化值进行反量化,产生图像信号的DCT系数,对DCT系数进行DCT处理,再现非压缩4:2:0类型分量图像信号,并把非压缩4:2:0类型分量图像信号存储到帧存储器46中作为参考帧的图像信号。
在步骤S325中,编码选择单元48在编码控制单元42的控制下选择利用运动矢量的编码方法或不利用运动矢量的编码方法。在选择利用运动矢量编码方法的情况下,对于每个宏组,把运动预测单元47内产生的宏组信息(经DCT处理和量化的运动矢量和帧间差信息)传输给可变长度编码单元49。相反,在选择不利用运动矢量编码方法的情况下,对于每个宏组,把在DCT压缩单元44内产生的宏组信息(一个宏组的图像信号的量化值)传输给可变长度编码单元49。
相反,在步骤S322中,在编码控制单元42对当前帧选择I图像的情况下,把DCT压缩单元44获得的图像信号的量化值通过编码选择单元48传输给可变长度编码单元49,作为每个宏组的宏组信息。另外,把图像信号的量化值传输给反DCT扩展单元45,流程进入到步骤S326。
在步骤S326中,在反DCT扩展单元45中对在DCT压缩单元44中获得的图像信号的量化值进行反量化和DCT处理,以与步骤S324中使用的相同的方式再现非压缩4:2:0类型分量图像信号,把非压缩4:2:0类型分量图像信号存储在帧存储器46中作为参考帧的图像信号。然后流程进入到步骤S327。
在步骤S327中,在可变长度编码单元49中对编码选择单元48传输的宏组信息进行可变长度编码。
在步骤S328中,在结构编码单元50中进行结构编码,把MPEG数据要求的标题加到可变长度编码单元49中获得的可变长度码中,这样产生以具有运动补偿的MPEG2格式压缩的数字压缩图像信号。
因而,即使用户在他的计算机C1中使用多个以DVC格式压缩的数字压缩图像信号,而用户要求向另一台计算机C2提供数字压缩的图像信号,也可以容易地把以DVC格式压缩的数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的多个数字压缩图像信号,并可以快速地把以MPEG2格式压缩的数字压缩图像信号通过网络传输给计算机C2。
下面,详细描述计算步骤S323的运动预测处理时获得的运动矢量的情况。
在已知的运动矢量计算方式中,把当前帧宏组的当前像素值与参考帧的所有宏组中每个宏组的参考像素值进行比较,对参考帧的每个宏组计算分别表示一个当前像素值与一个对应参考像素值之间的差的误差,计算这些误差的平均值,作为参考帧的每个宏组的平均误差,选出对应于平均误差中最小的特定平均误差的参考帧的特定宏组,对当前帧的每个宏组计算当前帧的宏组与参考帧的特定宏组之间的位置差,作为指示图像运动的运动矢量。即,当前帧的一个宏组的一个运动矢量表示参考帧的特定宏组。
在本发明的这个实施例中,描述这样一种运动矢量计算方法,在这种方法中,对通过逐渐降低原始图像分辨率获得的多个分层图像中的每个图像计算一组运动矢量。
在这种计算方法中,把原始图像的像素数量减小一半获得低分辨率图像,把前面获得的低分辨率图像的像素再减少一半获得另一个低分辨率图像。因此,对每帧产生分辨率逐渐降低的一组低分辨率图像。在本说明书中,把当前帧的一组原始图像和低分辨率图像称为一组当前分层图像(或简称为一组分层图像),把参考帧的一组原始图像和低分辨率图像称为一组参考分层图像(或简称为一组分层图像)。
然后,根据同一分辨率的一个当前分层图像和一个参考分层图像反复计算中间运动矢量,同时把当前和参考分层图像改变到更高分辨率。在这种反复计算时,每次中间运动矢量计算,把中间运动矢量设置成粗运动矢量,把位于粗运动矢量指定的参考帧的特定宏组附近的多个宏组设置成下一中间运动矢量指定的参考帧的另一个特定宏组的候选。因此,当根据对应于最高分辨率的当前和参考分层图像(即原始图像)最后计算运动矢量时,可以获得精密表示原始运动图像运动的运动矢量。
下面参考图22描述产生多个分层图像的方法。图22示出了多个分层图像的例子。
如图22所示,对原始图像进行下取样(或像素的十取一处理),在x方向上把每隔一个像素从原始图像的像素中除去,在y方向上把每隔一个像素从像素中除去,这样,产生分辨率减少到原始图像一半的1/2分辨率图像作为分层图像。另外,对1/2分辨率图像进行下取样,产生1/4分辨率图像,其分辨率减小为原始分辨率的四分之一,作为分层图像。因此,在对下取样之前刚产生的图像反复进行这种下取样时,将产生多个分层图像。在这种下取样时,利用低通滤波器在x和y方向上把特定频带设置成一半,把每隔一个像素从每个图像的像素中除去。
因而,在自然图像中画出有大目标体时,首先计算大目标体的运动,把它作为粗运动矢量,然后每次根据对应于更高分辨率的一对分层图像利用在运动矢量计算之前刚计算得到的粗运动矢量计算运动矢量时,更精确地确定大目标体的运动,这样,可以精确地计算大目标体的运动。因而,可以提高MPEG编码的压缩效率,改善再现的图像质量。
为了利用多个分层图像实现运动矢量计算方法,如图23所示,运动预测单元47包含:
分层图像产生单元51,根据存储在输入缓冲器43内的图像信号指示的当前帧的当前原始图像产生多个当前分层图像,根据存储在帧存储器46内的图像信号指示的参考帧的参考原始图像产生多个参考分层图像,
分层图像存储器52,存储当前分层图像和参考分层图像,
运动矢量计算单元53,根据一个当前分层图像、一个参考分层图像和在计算运动矢量之前刚获得的粗运动矢量,反复计算中间运动矢量,同时一步步提高当前和参考分层图像的分辨率,
粗运动矢量存储单元54,存储中间运动矢量作为粗运动矢量,用于每次在运动矢量计算单元53内计算中间运动矢量时,在计算单元53内计算下一个中间运动矢量,
运动矢量产生单元55,用于根据最高分辨率的当前和参考分层图像和运动矢量计算单元53根据次最高分辨率的当前和参考分层图像最后计算得到的中间运动矢量产生运动矢量,并向编码选择单元48输出运动矢量,和
帧间差信息产生单元56,产生帧间差信息,指示当前帧一个宏组的一组像素值与对应于运动矢量产生单元55内产生的运动矢量的参考帧一个宏组的一组像素值之间的差异。
在运动预测单元47的上述结构中,参考图24所示的流程图描述了利用多个分层图像的运动矢量计算方法。
在步骤S331中,在分层图像产生单元51内,根据存储在输入缓冲器43内的图像信号和存储在帧存储器46内的图像信号产生多个当前分层图像和参考分层图像。例如,如图22所示,每帧的分层图像由原始图像、1/2分辨率图像、1/4分辨率图像和1/8分辨率图像组成。然后,把分层图像存储在分层图像存储器52中。
在步骤S332中,在运动矢量计算单元53内反复计算中间运动矢量。即,把当前帧的1/8分辨率图像的像素分成多个分别由256个像素(16*16)组成的当前宏组。另外,以相同方式根据参考帧的1/8分辨率图像产生多个参考宏组。然后,如图25A所示,把作标记的当前宏组的当前像素值与所有参考宏组中的每个宏组的参考像素值作比较,对每个参考宏组计算分别指示一个当前像素值与一个相应参考像素值之间的差异的误差,计算这些误差的平均值,把它作为每个参考宏组的平均误差,选出对应于平均误差最小的特定平均误差的特定参考宏组,计算作标记的当前宏组与特定参考宏组之间的位置差,作为中间运动矢量。即,当前帧的作标记的宏组的中间运动矢量指定了参考帧的特定参考宏组,对每个当前宏组获得中间运动矢量。
然后,把中间运动矢量存储到粗运动矢量存储单元54内作为每个当前宏组的粗运动矢量。
然后,如图25B所示,根据当前帧的1/4分辨率图像和参考帧的1/4分辨率图像,以相同方式产生多个当前宏组和多个参考宏组,从存储单元54获得对应于作标记的宏组的粗运动矢量,从参考宏组中取出粗运动矢量规定的特定参考宏组,指定由特定参考宏组和多个邻近于特定参考宏组的参考宏组组成的多个参考宏组候选,把作标记的当前宏组的当前像素值与每个参考宏组候选的参考像素值作比较。然后,对每个参考宏组候选计算平均误差,选出对应于最小平均误差的特定参考宏组,计算指示图像从特定参考宏组运动到作标记当前宏组运动的中间运动矢量。此后,把中间运动矢量存储到粗运动矢量存储单元54内作为每个当前宏组的粗运动矢量。
此后,以与对应于1/4分辨率图像进行的相同的方法,为对应于1/2分辨率图像的每个当前宏组计算中间运动矢量。
在步骤S333中,在运动矢量产生单元55内利用对应于1/2分辨率图像的粗运动矢量为当前帧的每个当前宏组最后产生运动矢量。
在步骤S334中,在帧间差信息产生单元56中产生帧间差信息指示一个当前宏组的一组像素值与对应于当前宏组的运动矢量指示的一个参考宏组的一组像素值之间的差异。
例如,在自然图像中画有大目标体时,首先计算大目标体的运动作为中间运动矢量,然后在每次根据对应于更高分辨率的一对分层图像计算中间运动矢量时,利用在计算中间运动矢量之前刚计算得到的粗运动矢量,更精确地确定大目标体的运动。因此,可以精确地计算表示大目标体运动的运动矢量,可以提高MPEG编码的压缩效率,改善再现图像质量。
因而,即使在活动图像中大目标体作动态移动,由于粗略表示大目标体运动的中间运动矢量的精度逐渐提高,同时再次计算中间运动矢量,所以可以最终获得真实表示大目标体自然运动的运动矢量。然后,可以精确地把以DVC格式压缩的数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的数字压缩图像信号,可以高图像质量地再现以具有运动补偿的MPEG2格式压缩的图像信号表示的图像。
另外,由于把前级计算得到的粗运动矢量用于计算下一个中间运动矢量,所以利用多个分层图像的运动矢量计算方法所需要的计算量在可显著减少。
在本实施例中,利用了本发明特有的运动矢量计算方法。然而,也可以用已知的运动矢量计算方法把以DVC格式压缩的数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的数字压缩图像信号。
(第四实施例)
在根据本实施例的图像信号转换设备中,把以DVC格式压缩的正交转换数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的正交转换数字压缩图像信号,同时把DVC格式的亮度信号的DCT系数用来产生MPEG2格式的数字压缩图像信号。
图26示出了根据第四实施例的图像信号转换设备的框图。
如图26所示,图像信号转换设备61包含:
输入-输出单元32、图像信号译码单元33、分量图像信号转换单元34和图像信号编码单元62,对非压缩4:2:0类型分量图像信号进行编码,产生以具有运动补偿的MPEG2格式压缩的压缩图像信号,同时,利用DVC格式的亮度信号的DCT系数产生MPEG2格式的数字压缩图像信号。
图像信号编码单元62包含编码控制单元42、输入缓冲器43、DCT压缩单元44、反DCT扩展单元45、帧存储器46,
DCT系数缓冲器63,存储反量化单元40获得的亮度信号的多个DCT系数,
分层反DCT处理单元64,对亮度信号的DCT系数进行分层反DCT处理,产生分别由非压缩4:2:0类型分量图像信号指示的当前帧的多个分层图像,
运动预测单元65,根据存储在帧存储器46内的参考帧的非压缩4:2:0类型分量图像信号和分层反DCT处理单元64产生的分层图像,对每个宏组预测图像的运动(或运动矢量),并对当前帧的每个宏组计算当前帧的一个宏组的非压缩4:2:0类型分量图像信号与运动矢量指示的参考帧的对应宏组的非压缩4:2:0类型分量图像信号的帧间差,
编码选择单元48,可变长度编码单元49和结构编码单元50。
如图27所示,运动预测单元65包含:
分层图像存储器52,存储在分层分反DCT处理单元64、运动矢量计算单元53、粗运动矢量存储单元54、运动矢量产生单元55和帧间差信息产生单元56中产生的当前分层图像和参考分层图像。
在上述结构中,描述图像信号转换设备61的工作情况。
在该设备61中,把表示多个非压缩4:1:1类型分量图像信号的亮度信号的多个DCT系数传输给图像信号编码单元62,在分层反DCT处理单元64中,根据DCT系数直接产生多个分层图像。因此,不需要在第三实施例中要求的下取样以产生多个分层图像,这样,能以更短的处理时间把以DVC格式压缩的数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的数字压缩图像信号。
设备61内进行的所有处理几乎与图19所示的第三实施例相同。即,步骤S301的对DVC格式进行图像信号译码处理和步骤S303内对MPEG格式进行的图像信号压缩处理与第三实施例不同。图28示出了图像信号译码单元33中进行的图像信号译码(或扩展)处理的流程图。
如图28所示,在步骤S311至313以与第三实施例相同的方式进行之后,在步骤S315,在反量化单元40中判断在处理DCT组的单元40中产生的多个DCT系数是否对应于亮度信号。在DCT组对应于亮度信号的情况下,在步骤S316,把包括在DCT组中的亮度信号的DCT系数存储到DCT系数缓冲器63中。相反,在DCT组对应于色差信号Cr(或Cb)的情况下,过程进入到步骤S317,在反DCT处理单元41中进行反DCT处理,通过根据DCT系数计算像素的像素值,根据包括在DCT组中的色差信号的DCT系数产生非压缩4:1:1类型色差信号Cr(或Cb)。然后,在分量图像信号转换单元34中,直接把非压缩4:1:1类型色差信号转换成非压缩4:2:0类型色差信号,并把它们存储在输入缓冲器43中。在这种情况下,在反DCT处理单元41中不处理亮度信号的DCT系数的DCT组,在分量图像信号转换单元34中不处理非压缩亮度信号。
图29是图像信号编码单元62中进行的图像信号压缩处理的流程图。
在步骤S341中,由于把存储在DCT系数缓冲器63中的亮度信号的DCT系数和存储在输入缓冲器43中的非压缩4:2:0类型色差信号输入到DCT压缩单元44,所以在DCT压缩单元44中判断输入到DCT压缩单元44的数据是否是亮度信号的DCT系数的DCT组。在把非压缩4:2:0类型色差信号从输入缓冲器43输入到DCT压缩单元44中的情况下,在步骤S342对非压缩4:2:0类型色差信号进行DCT处理,产生色差信号的DCT系数。相反,在把亮度信号的DCT系数从缓冲器63传输输入到DCT压缩单元44的情况下,不进行DCT处理。
因此,在重复步骤S341和S342的情况下,在DCT压缩单元44中准备好当前帧的4:2:0类型分量图像信号的DCT系数。
在步骤S343中,编码控制单元42选择当前帧的帧类型(I图像帧、P图像帧或B图像帧)。
在编码控制单元42选择当前帧为I图像时,不要求进行运动预测,流程进入到步骤S344。在步骤S344,在DCT压缩单元44中对当前帧的图像信号的DCT系数(色差信号的DCT系数和亮度信号的DCT系数)进行量化,把当前帧的量化值通过编码选择单元48传输给可变长度编码单元49,作为每个宏组的宏组信息。另外,把当前帧的量化值传输给反DCT扩展单元45。
在步骤S345,在反DCT扩展单元45中对在DCT压缩单元44中获得的图像信号的量化值进行反量化,产生图像信号的DCT系数,对DCT系数进行DCT处理,再现非压缩4:2:0类型分量图像信号,把这些非压缩4:2:0类型分量图像信号存储在帧存储器46中作为参考帧的图像信号。
相反,编码控制单元42选择当前帧为P图像或B图像时,则流程进入到步骤S346。在步骤S346,在分层反DCT处理单元64中对存储在DCT系数缓冲器63中的亮度信号的DCT系数进行分层反DCT处理(后面详述),产生当前帧的多个分层图像,把这些分层图像存储在运动预测单元65的分层图像存储器52中。
在步骤S347,在运动预测单元65中根据存储在帧存储器46中的参考帧的亮度信号和存储在分层图像存储器52中的当前帧的分层图像进行运动预测,这样,获得每个宏组的运动矢量和帧间差信息。在该运动预测时,把每个分层图像与参考帧的原始图像进行比较。然后,把运动矢量和帧间差信息(或在DCT压缩单元44中经DCT处理和量化的帧间差信息)传输给编码选择单元48。
在步骤S348,在反DCT扩展单元45中对DCT压缩单元44中获得的当前帧的图像信号的DCT系数进行反DCT处理,再现非压缩4:2:0类型分量图像信号,并把这些非压缩4:2:0类型分量图像信号存储在帧存储器46中作为参考帧的图像信号。
在步骤S349中,编码选择单元48在编码控制单元42的控制下选择利用运动矢量的编码方法或者不利用运动矢量的编码方法。在选择利用运动矢量的编码方法的情况下,把在运动预测单元65内产生的运动矢量和帧间差信息传输给可变长度编码单元49作为每个宏组的宏组信息。相反,在选择不利用运动矢量的编码方法的情况下,把在DCT压缩单元44中产生的图像信号的量化值传输给可变长度编码单元49作为每个宏组的宏组信息。
然后,以与第三实施例相同的方法执行步骤S327和S328。
然后,可以把以DVC格式压缩的数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的数字压缩图像信号,而把DVC格式的亮度信号的DCT系数用来预测每帧的图像运动。
下面参考图30A至30D更详细地描述在步骤S346中进行的分层反DCT处理。
简单地说,DVC格式的图像信号(或在本实施例中为亮度信号)的DCT系数由范围从低频分量到高频分量的各种分量组成。对一组DCT系数反复进行反DCT处理,同时一步步把更高的频率分量加到DCT系数组中,产生具有不同分辨率的多个分层图像。
图30A至30D分别示出了由以行列矩阵排列的多个DCT系数组成的DCT组和对从DCT组选出的一组DCT系数进行反DCT处理获得的分层图像。
如图30A所示,在第一级,选出排列在DCT组左上侧的直流分量(或最低频分量),对直流分量进行反DCT处理获得对应于直流分量的亮度信号值,并产生例如由亮度信号组成的1/8分辨率图像。
如图30B所示,在第二级,选择排列在DCT组左上侧的四个低分量,对这四个低分量进行反DCT处理获得对应于低分量的亮度信号值,并产生由亮度信号组成的1/4分辨率图像。另外,如图30C所示,在第三级,选出排列在DCT组左上侧的十六个低分量,产生1/2分辨率图像。另外,如图30D所示,在最后一级,选择DCT组的所有分量,产生原始图像。因此,获得了由1/8分辨率图像、1/4分辨率图像、1/2分辨率图像和原始图像组成的多个分层图像。
在这种分层反DCT处理中,每个反DCT处理与其它处理无关。然而,如图31所示,可以把某一级获得的分层图像应用到下一级。即,在第二级,从DCT组的左上侧选择三个不包括直流分量的低分量,并把在第一级获得的1/8分辨率图像与从这三个低分量获得的图像组合起来产生1/4分辨率图像。而且,在第三级,从DCT组的左上侧选择十二个低分量,不包括对应于1/4分辨率图像的四分量组,通过把1/4分辨率图像与从这十二个低分量获得的图像组合起来产生1/2分辨率图像。而且,在最后一级,选择除了对应于1/2分辨率图像的十六个分量的所有分量,,增加1/2分辨率图像产生原始图像。
因此,在如图31所示的这种分层反DCT处理中,可以减少计算量。
因而,由于直接把在反量化单元40中获得的亮度信号的DVT系数传输给图像编码单元62,作为MPEG2格式的亮度信号的DCT系数,而不通过反DCT处理单元41和分量信号转换单元34,从而把DVT格式的亮度信号的DCT系数用作MPEG2格式的亮度信号的DCT系数,所以不需要进行DVC格式的亮度信号的DCT系数到MPEG2格式的亮度信号的DCT系数的转换处理。因此,可以减少把以DVC格式压缩的数字压缩图像信号转换成以MEPG2格式压缩的数字压缩图像信号的计算量。
另外,由于在分层反DCT处理单元64中产生分层图像的计算量与第三实施例中对DVC格式的亮度信号的DCT系数进行反DCT处理的反DCT处理单元41中需要的计算量几乎相同,因此,即使产生分层图像,也可以忽略增加的计算量。
在本实施例中,由于不把DVC格式的亮度信号的DCT系数传输给反DCT处理单元41,所以分量图像信号转换单元34不起图像信号转换设备21的作用。然而,在把DVC格式的亮度信号的DCT系数传输给DCT系数缓冲器63和反DCT处理单元41的情况下,分量图像信号转换单元34可以起到图像信号转换设备21的作用。
(第五实施例)
在根据本实施例的图像信号转换设备中,把以DVC格式压缩的正交转换数字压缩图像信号转换成以具有运动补偿的MPEG2格式压缩的正交转换数字压缩图像信号,同时减少了检测运动矢量所需要的计算量。
图32是根据第五实施例的图像信号转换设备的框图。
如图32所示,图像信号转换设备71包含:
输入-输出单元32,图像信号译码单元33、分量图像信号转换单元34,和
图像信号编码单元72,对非压缩4:2:0类型分量图像信号进行编码,产生以具有运动补偿的MPEG2格式压缩的压缩图像信号,同时减少检测运动矢量所需要的计算量。
图像信号编码单元72包含编码控制单元42、输入缓冲器43、DCT压缩单元44、反DCT扩展单元45、帧存储器46、DCT系数缓冲器63,
一维反DCT处理单元73,从存储在DCT系数缓冲器63中的亮度信号DCT系数中取出以行排列的第一组DCT系数,从存储在DCT系数缓冲器63中的亮度信号DCT系数中取出以列排列的第二组DCT系数,对第一组亮度信号DCT系数和第二组亮度信号DCT系数进行一维反DCT处理,获得一维信息(x方向信息和y方向信息),
运动预测单元74,根据存储在帧存储器46内的参考帧的非压缩4:2:0类型分量图像信号、存储在输入缓冲器43中的每个宏组的当前帧的非压缩4:2:0类型分量图像信号以及在一维反DCT处理单元73中获得的一维信息预测图像的运动(或运动矢量),根据运动矢量和每个宏组的参考帧的非压缩4:2:0类型分量图像信号与当前帧的非压缩4:2:0类型分量图像信号之间的差异计算帧间差,
编码选择单元48、可变长度编码单元49和结构编码单元50。
如图33所示,运动预测单元74包含运动矢量计算单元53、粗运动矢量存储单元54、运动矢量产生单元55和帧间差信息产生单元56。
设备71中的所有处理几乎与图19所示的第三和第四实施例中进行的处理相同。即,在设备71中,以与第四实施例相同的方式执行步骤S301和S302,在步骤S303执行的图像信号压缩处理与第四实施例不同。图34是图像信号译码单元72中进行的图像信号压缩处理的流程图。
如图34所示,在以与第四实施例相同的方式执行了步骤S341和342之后,在步骤S343中,编码控制单元42为在DCT压缩处理单元44中处理的当前帧选择帧类型。
在编码控制单元42选出I图像的情况下,在步骤S344中在DCT压缩单元44中对当前帧的图像信号的DCT系数(从DCT系数缓冲器63中读取的色差信号的DCT系数和亮度信号的DCT系数)进行量化,并把当前帧的量化值通过编码选择单元48传输给可变长度编码单元49。另外,在步骤S345,在反DCT扩展单元45中对在DCT压缩单元44中获得的图像信号的量化值进行反量化,产生图像信号的DCT系数,对DCT系数进行DCT处理,再现非压缩4:2:0类型分量图像信号,并把这些非压缩4:2:0类型分量图像信号存储到帧存储器46中作为参考帧图像信号。
相反,在步骤S343中,在编码控制单元42选择P图像或B图像的情况下,流程进入到步骤S351。在步骤S351,在一维反DCT处理单元73中对存储在DCT系数缓冲器63内的亮度信号的DCT系数进行一维反DCT处理(后面详述),产生当前帧的一维信息,并把该一维信息传输给运动预测单元74。
在步骤S352,在运动预测单元74中根据存储在帧存储器46内的参考帧的亮度信号和当前帧的一维信息进行运动预测,这样就获得运动矢量和像素值的帧间差信息。然后,把在DCT压缩单元44中经DCT处理和量化的运动矢量和帧间差信息传输给编码选择单元48。
然后,以与第四实施例相同的方式执行步骤S348和S349和步骤S327和S328。接着,参照图35详述在步骤S351执行的一维反DCT处理和在步骤S352执行的运动预测。
图35示出了在一维反DCT处理单元73和运动预测单元74内进行的一维反DCT处理和运动预测。
如图35所示,每个DCT组中的多个DCT系数以行列矩阵形式排列。在一维反DCT处理单元73中进行的一维反DCT处理时,从每个DCT组中选出在x方向(或横向)连续排列的一组x方向DCT系数和在y方向(或纵向)连续排列的一组y方向DCT系数,对x方向DCT系数组和y方向DCT系数组进行反DCT处理,获得在x方向上排列的八个非压缩亮度信号的值和在y方向上排列的八个非压缩亮度信号的值。在这种情况下,把在x方向上排列的八个非压缩亮度信号的值称为一个DCT组的x方向信息,把在y方向上排列的八个非压缩亮度信号的值称为一个DCT组的y方向信息,一个DCT组的一维信息由x方向信息和y方向信息组成。然后,由于一个宏组由2×2个DCT组组成,所以把对应于2×2DCT组的四组x方向信息组合产生一个宏组的x方向信息(2×16个亮度信号的值),把对应于2×2DCT组的四组y方向信息组合产生一个宏组的y方向信息(2×16个亮度信号的值)。然后,反复产生宏组的x方向信息和y方向信息,产生对应于一帧的x方向信息组和对应于一帧的y方向信息组。
此后,在运动预测单元74中进行运动预测。如图36所示,更详细地说,在对应于作标记的当前帧的一个当前宏组的x方向信息图形与从帧存储器46中取出的参考帧的每个参考宏组的2×16亮度信号值图形之间进行匹配,以与第三实施例中相同的方式确定参考帧的特定参考宏组,特定参考宏组的平均误差是参考帧中的参考宏组的平均误差中最小的一个。然后,指定由特定参考宏组组成的多个参考宏组候选和多个位于该特定参考宏组附近的多个参考宏组,在作标记的当前宏组的y方向信息图形与参考帧的每个参考宏组候选的16×2亮度信号值图形之间进行匹配,以与第三实施例相同的方式确定参考帧的特定参考宏组,条件是特定参考宏组的平均误差是参考帧的参考宏组候选的平均误差中最小的,把连接标记的当前宏组和特定参考宏组的矢量确定为标记的当前宏组的运动矢量。因此,获得了当前帧的宏组的多个运动矢量,以对当前帧的每个宏组进行运动预测。
因而,由于虽然每个宏组中的值的数量为256(16×16),但每个宏组计算所用的值的数量为32(2×16),所以在运动预测时可以显著减少计算量。另外,由于在计算了x方向信息之后,仅对特定参考宏组进行y方向信息的计算,所以在运动预测时,y方向信息所要求的计算量也不是很多。因此,与第三实施例的计算量相比,在运动预测时的计算量减少到几乎1/8。
在本实施例中,不使用第三实施例中的分层图像。然而,也可以使用当前帧的多个分层图像和参考帧的多个分层图像。在这种情况下,对当前帧的每个分层图像进行一维反DCT处理,在一个当前宏组的一个分层图像的x方向信息图形与参考帧的一个分层图像的每个参考宏组的2×16亮度信号值图形之间进行匹配,在一个当前宏组的一个分层图像的y方向信息图形与参考帧的一个分层图像的每个参考宏组候选的16×2亮度信号值图形之间进行匹配。
(第六实施例)
在本实施例中,不使用第三至第五实施例中使用的分量信号转换单元,而改变图像译码处理时获得的作为中间信息的4:1:1类型色差信号的DCT系数结构,以转换数字图像信号的压缩格式。
图37是根据第六实施例的图像信号转换设备的框图、
如图37所示,图像信号转换设备81包含:
输入-输出单元32,
图像信号译码单元82,对输入-输出单元32接收到的DVC格式的压缩图像信号进行译码,产生非压缩4:2:0类型分量图像信号,和
图像信号编码单元35。
图像信号译码单元82包含准备单元38、变长度译码单元39、反量化单元40,
DCT系数转换单元83,从反量化单元40中获得的4:1:1类型分量图像信号的DCT系数中取出4:1:1类型色差信号的DCT系数,改变4:1:1类型色差信号的DCT系数结构,把4:1:1类型色差信号的DCT系数转换成4:2:0类型色差信号的DCT系数,和
反DCT处理单元84,对反量化单元40中获得的亮度信号的DCT系数和在DCT系数转换单元83中获得的4:2:0类型色差信号的DCT系数进行反DCT处理,产生非压缩4:2:0类型分量图像信号。
在上述结构中,描述图像信号转换设备81的工作情况。
在该设备81中,由于位于色差信号DCT系数组左上侧的低频分量表示了色差信息,所以减去位于下侧(或高频侧)的4:1:1类型色差信号的DCT系数的一半,在y方向(或纵向)上减半DCT系数的分辨率,把多个设置成0的特定DCT系数加到余下的DCT系数的右侧(或高频侧)上,以在x方向(或横向)上加倍DCT系数的分辨率。因此,在DCT系数转换单元83中从4:1:1类型色差信号的DCT系数获得了4:2:0类型色差信号的DCT系数,从4:2:0类型色差信号的DCT系数产生非压缩4:2:0类型分量图像信号。
图38是在设备81中进行的所有处理的流程图。
在步骤S401中,在图像信号译码单元82中对输入-输出单元32接收到的DVC格式的压缩图像信号进行译码,并反量化成4:1:1类型色差信号的DCT系数,然后把4:1:1类型色差信号的DCT系数转换成4:2:0类型色差信号的DCT系数,对4:2:0类型色差信号的DCT系数进行反DCT处理,产生非压缩的4:2:0类型分量图像信号。此后,在步骤S303,把非压缩4:2:0类型分量图像信号编码成以MPEG1或MPEG2格式压缩的数字图像信号。
图39是图像信号译码单元82内进行图像译码处理(步骤S401)的流程图。
如图39所示,在以与实施例三相同的方式执行了步骤S311、S312和S313之后,流程进入到步骤S411。在步骤S411,在DCT系数转换单元83中对反量化单元40中获得的4:1:1类型色差信号的DCT系数进行DCT系数转换处理,产生4:2:0类型色差信号的DCT系数,它与4:1:1类型色差信号的DCT系数相比,在y方向上分辨率减半,在x方向上分辨率加倍。
在步骤S412中,在反DCT处理单元84中对在DCT系数转换单元83中获得的4:2:0类型色差信号的DCT系数和在反量化单元40中获得的亮度信号的DCT系数进行反DCT处理。因此,从4:2:0类型色差信号的DCT系数获得非压缩4:2:0类型色差信号的值,从亮度信号的DCT系数获得非压缩亮度信号的值。把非压缩4:2:0类型色差信号的值和非压缩亮度信号的值传输给输入缓冲器43,作为非压缩4:2:0类型分量图像信号值。
下面详细描述DCT系数转换处理。图40示出了在对4:2:0类型色差信号的DCT系数进行DCT系数转换处理和反DCT处理时从4:1:1类型至4:2:0类型的分量类型转换过程。
如图40所示,4:1:1类型色差信号的DCT组由8×8色差信号的8×8DCT系数组成。由于色差信号的色差信息主要包括在位于DCT组左上侧的低频分量内,所以从DCT组中取出DCT组上侧的一组8×4DCT系数,以在y方向上减半DCT系数的分辨率,把值设置成0的8×4DCT系数加到8×4DCT系数组的右侧上,产生形变的16×4DCT系数的DCT组。因此,在形变的DCT组中在x方向上加倍了DCT系数的分辨率。然后,当对形变的16×4DCT系数的DCT组进行反DCT处理时,获得16×4非压缩色差信号的值作为4:2:0色差信号。
因而,由于把一组4:1:1类型色差信号的DCT系数组转换成一组4:2:0类型色差信号的DCT系数,即使不使用第三至第五实施例中使用的色差分量信号转换单元34,仍可以把以DVC格式压缩的数字图像信号转换成以MPEG1格式或MPEG2格式压缩的数字图像信号。
另外,当在DCT系数转换处理时进行4:1:1类型至4:2:0类型的分量类型转换时,由于色差信号的色差信息主要包括在DCT组的低频分量中,并从8×8DCT系数的DCT组中取出位于DCT组上侧的一组8×4DCT系数,所以可以把包括在8×8DCT系数内的色差信息几乎全部包括在一组8×4DCT系数中。因此,4:2:0类型分量图像信号再现的图像的颜色变化平滑,颜色不会变得不自然,可以再现高彩色质量的图像。
另外,由于16×4DCT系数的形变DCT组的右半部分与色差信息无关,所以即使把设置成0的8×4DCT系数加到8×4DCT系数组的右侧上产生16×4DCT系数的形变DCT组,设置成0的8*4DCT系数对再现的图像的不利影响也不显著,观看者都不会觉察到再现图像中不自然的颜色变化。
在本实施例中,图像编码单元35与第三实施例中的相同。然而,也可以使用第四实施例中使用的图像编码单元62,代替图像编码单元35(参见图41),或使用第五实施例中使用的图像编码单元72,代替图像编码单元35(参见图42)。
(第七实施例)
在本实施例中,描述一种多格式图像提供客户-服务系统。在这种系统中,向客户提供以客户要求的特定格式(诸如DVC格式、MPEG1格式或MPEG2格式)压缩的数字图像信号。
图43是根据第七实施例的多格式图像提供系统的框图。
如图43所示,多格式图像提供系统81包含:
图像再现终端92,由客户计算机组成,输出图像输出请求,表示接收多个以诸如DVC格式、MPEG1格式或MPEG2格式等特定格式压缩的数字图像信号,接收以特定格式压缩的数字图像信号,再现根据数字图像信号的数字图像,
图像输入单元93,接收多个以DVC格式压缩的数字图像信号,输出表示以DVC格式压缩的数字图像信号输出的图像输入请求,输出以DVC格式压缩的数字图像信号,
服务者的图像提供单元94,当接收到图像输入请求时,从图像输入单元93接收以DVC格式压缩的数字图像信号,当接收到图像输出请求时向图像再现终端输出以特定格式压缩的数字图像信号,以及
网络95,通过传输诸如图像输出请求、特定格式的数字图像信号、图像输入请求和特定格式的数字图像信号,连接图像再现终端92、图像输入单元93和图像提供单元94。
图像提供单元94包含:
通信单元96,通过网络95与图像再现终端92和图像输入单元93进行通信,
图像信号存储单元97,存储通过通信单元96接收到的DVC格式的数字图像信号,存储以特定格式压缩的数字图像信号,
图像信号转换单元98,利用图像信号转换设备31、61、71或81来实现,把存储在图像信号存储单元97内的图像信号的DVC格式转换成图像再现终端92通过通信单元96要求的特定格式,和
控制单元99,控制通信单元96、图像信号存储单元97和图像信号转换单元98中进行的操作。
在上述结构中,参照图44A、44B、45A和45B描述多格式图像提供系统91的工作情况。
图44A是图像提供单元94内进行的图像输入处理的流程图,图44B是图像提供单元94内进行的图像输出处理的流程图,图45A是在以高于实时速度的速度进行图像信号转换处理时,图像提供单元94中进行的图像输入处理的流程图,图45B是在以高于实时速度的速度进行图像信号转换处理时,图像提供单元94中进行的图像输出处理的流程图。
现在描述图像输入处理。如图44A所示,在步骤S501,当控制单元99通过通信单元96接收到图像输入单元93的图像输入请求时,控制单元99向图像输入单元93传输输入允许信号。在步骤S502,把通过通信单元96从图像输入单元93输入的以DVC格式压缩的多个数字图像信号存储在图像信号存储单元97内。在步骤S503,控制单元99指令图像信号转换单元98转换数字图像信号的压缩格式,图像信号转换单元98读出存储在图像信号存储单元97内的数字图像,把信号的DVC格式转换成MPEG1格式和MPEG2格式。然后,把以MPEG1格式压缩的数字图像信号和以MPEG2格式压缩的数字图像信号存储在图像信号存储单元97中。因此,把以DVC格式压缩的数字图像信号、以MPEG1格式压缩的数字图像信号和以MPEG2格式压缩的数字图像信号存储在图像信号存储单元97中。
现在描述图像信号输出处理。如图44B所示,在步骤S511,当控制单元99通过通信单元96接收到图像再现终端92的图像输出请求时,控制单元99向图像再现单元92传输输出允许信号。在步骤S512,从图像存储单元97读出以图像输出请求指示的特定格式(例如DVC格式、MPEG1格式或MPEG2格式)压缩的数字图像信号,并通过通信单元96输出到图像再现终端92。
因而,即使输入到图像提供单元94的是以特定格式(例如DVC格式)压缩的数字图像信号,而图像再现终端92请求图像提供单元94以另一特定格式压缩的数字图像信号,由于图像信号转换单元98把以特定格式压缩的数字图像信号转换成了以特定格式压缩的数字图像信号,所以图像提供单元94可以为图像再现终端92提供以特定格式压缩的数字图像信号。
另外,现在描述在以高于实时速度进行的图像信号转换处理的情况下,如图45A所示的图像输入处理。
在步骤S521,当控制单元99通过通信单元96接收图像输入单元93的图像输入请求时,控制单元99向图像输入单元93发送输入允许信号。在步骤S522,通过通信单元96从图像输入单元93输入以DVC格式压缩的多个数字图像信号,并存储在图像信号存储单元97内。然后,如下进行如图45B所示的图像输出处理。
在步骤S531,当控制单元99通过通信单元96从图像再现终端92接收到图像输出请求时,控制单元99向图像再现终端92传输输出允许信号。在步骤S532,在控制单元99内判断图像输出请求指示的特定压缩格式是否为DVC格式。在图像输出请求指示的特定格式为DVC格式时,在步骤S534把存储在图像信号存储单元97内的数字图像信号通过通信单元96输出到图像再现单元92。另外,当图像输出请求指示的特定压缩格式不为DVC格式时,流程进入到步骤S533。在步骤S533,控制单元99指令图像信号转换单元98把数字图像信号的压缩格式转换成特定压缩格式,图像信号转换单元98读取存储在图像信号存储单元97内的数字图像信号,并把信号的DVC格式转换成诸如MPEG1格式或MPEG2格式等特定格式。然后,在步骤S534向图像再现单元92输出以特定格式压缩的数字图像信号。
因而,即使存储在图像存储单元97内的数字图像信号的压缩格式不是图像输出请求指示的特定压缩格式,由于在图像信号转换单元98中已把存储在图像存储单元97内的数字图像信号的压缩格式实时转换成特定压缩格式,所以可以立即向图像再现终端92输出其压缩格式为图像输出请求指示的特定压缩格式的数字图像信号。
上面以较佳实施例图示和描述了本发明的原理,但显然,本领域的熟练人员可以不脱离这些原理在结构和细节上对本发明作变型。

Claims (23)

1、一种图像信号转换设备,包含:
接收一帧的每个像素的4:1:1彩色分量类型的数字图像信号的接收装置,这些数字图像信号以行列矩阵排列;
色差信号转换装置,通过把每隔一行的色差信号从数字图像信号的色差信号中除去以使y方向上的色差信号的数量减半,把一色差信号加到在x方向上彼此相邻的每对色差信号之间的位置上以使x方向上的色差信号的数量增加一倍,以及把在y方向上数量减半在x方向上数量加倍的色差信号设置成经转换的4:2:0彩色分量类型的色差信号,把接收装置接收到的数字图像信号的色差信号直接转换成经转换的4:2:0彩色分量类型的数字图像信号的经转换色差信号,并根据接收装置接收到的数字图像信号的色差信号的值设置经转换的4:2:0彩色分量类型的色差信号值;以及
输出装置,对于帧的每个像素,把接收装置接收到的数字图像信号的亮度信号与色差信号转换装置获得的经转换的4:2:0彩色分量类型的数字图像信号的经转换色差信号组合,产生4:2:0彩色分量类型的数字图像信号,并输出4:2:0彩色分量类型的数字图像信号。
2、如权利要求1所述的图像信号转换设备,其特征在于,接收装置接收到的4:1:1彩色分量类型的数字图像信号的色差信号位于X-Y坐标系的坐标(x,y)上,色差信号转换装置包含:
y方向信号减半装置,把每隔一行的色差信号从数字图像信号的色差信号中去除,以在y方向上把色差信号的数量减半;以及
x方向信号加倍装置,把色差信号加到y方向信号减半装置获得的、在x方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成在x方向上相邻于增加的色差信号的一个色差信号的值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
3、如权利要求1所述的图像信号转换设备,其特征在于,接收装置接收到的4:1:1彩色分量类型的数字图像信号的色差信号位于X-Y坐标系的坐标(x,y)上,色差信号转换装置包含:
信号值设置装置,对于坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的每对色差信号,把在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2Y+2))的两个色差信号的值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的色差信号的平均值;
y方向信号减半装置,把每隔一行的色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号的数量;以及
x方向信号加倍装置,把色差信号加到y方向信号减半装置获得的、在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成在x方向上相邻不该增加的色差信号的色差信号值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
4、如权利要求1所述的图像信号转换设备,其特征在于,接收装置接收到的4:1:1彩色分量类型的数字图像信号的色差信号位于X-Y坐标系的坐标(x,y)上,色差信号转换装置包含:
信号值设置装置,对于坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的每对色差信号,把在y方向上彼此相邻的坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2Y+2))的两个色差信号的值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+2)和(x,2y+2))的色差信号的平均值;
y方向信号减半装置,把每隔一行的色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号的数量;以及
x方向信号加倍装置,把色差信号加到y方向信号减半装置获得的、在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成位于在x方向上的增加的色差信号两边上的色差信号值的内插值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
5、如权利要求4所述的图像信号转换设备,其特征在于,x方向信号加倍装置设置的色差信号值的内插值为该色差信号的平均值。
6、如权利要求1所述的图像信号转换设备,其特征在于,接收装置接收的4:1:1彩色分量类型的数字图像信号的色差信号位于X-Y坐标系的坐标(x,y)上,色差信号转换装置包含:
平均值计算装置,用于对坐标为(x,2y),(x,2y+1),(x+1,2y)和(x+1,2y+1)(或(x,2y+1),(x,2y+2),(x+1,2y+1)和(x+1,2y+2))的每组色差信号,计算在y方向上彼此相邻的位于坐标(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))上的两个色差信号的第一平均值和在y方向上彼此此相邻的、位于坐标(x+1,2y)和(x+1,2y+1)(或(x+1,2y+1)和(x+1,2y+2))上的两个色差信号的第二平均值;
内插值计算装置,用于对每对第一和第二平均值,用于计算通过以第一加权率由加权平均值计算装置计算得到的第一和第二平均值获得的第一内插值和通过以第二加权率加权第一和第二平均值获得的第二内插值;
信号值设置装置,用于把内插值计算装置计算得到的第一内插值设置成坐标为(x,2y)和(x,2y+1)(或(x,2y+1)和(x,2y+2))的色差信号值;
y方向信号减半装置,用于把每隔一行的色差信号从其值由信号值设置装置中设置的色差信号中除去,以在y方向上减半色差信号数量;以及
x方向信号加倍装置,用于把一色差信号加到在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成内插值计算装置计算的第二内插值,以在x方向上加倍y方向信号减半装置获得的色差信号数量,并且输出该色差信号作为经转换的4:2:0分量类型的色差信号。
7、如权利要求1所述的图像信号转换设备,其特征在于,还包含:
亮度信号存储装置,用于存储接收装置接收到的数字图像信号的多个亮度信号,这些亮度信号的像素位于X-Y亮度坐标系的坐标(x,y)上;以及
参考亮度信号取出装置,用于从亮度信号存储装置中取出对应于色差信号转换装置直接转换的色差信号的多个亮度信号,作为多个参考亮度信号,色差信号转换装置获得的经转换的色差信号值根据参考亮度信号值来确定。
8、如权利要求6所述的图像信号转换设备,其特征在于,接收装置接收的4:1:1彩色分量类型的数字图像信号的色差信号位于X-Y坐标系的坐标(x,y)上,色差信号转换装置包含:
平均值计算装置,用于对每对色差信号计算在y方向上彼此相邻的、位于坐标(x,2y)和(x,2y+1)的两个色差信号的平均值;
加权系数计算装置,用于获得参考亮度信号取出装置取出的参考亮度信号,作为第一参考亮度信号,条件是第一参考亮度信号对应于坐标为(x,2y)和(x+1,2y)的色差信号,根据第一参考亮度信号的值计算第一加权系数和第二加权系数,获得参考亮度信号取出装置取出的参考亮度信号,作为第二参考亮度信号,条件是第二参考亮度信号对应于坐标为(x,2y+1)和(x+1,2y+1)的色差信号,根据第二参考亮度信号值计算第三加权系数和第四加权系数;
内插值计算装置,用于通过把坐标为(x,2y)的色差信号值乘以加权系数计算装置获得的第一加权系数计算第一乘值,通过把坐标为(x+1,2y)的色差信号值乘以加权系数计算装置获得的第二加权系数计算第二乘值,通过把坐标为(x,2y+1)的色差信号值乘以加权系数计算装置获得的第三加权系数计算第三乘值,通过把坐标为(x+1,2y+1)的色差信号值乘以加权系数计算装置获得的第四加权系数计算第四乘值,根据第一、第二、第三和第四乘值计算内插值;
信号值设置装置,用于把平均值计算装置计算得到的每个平均值设置成坐标为(x,2y)和(x,2y+1)的色差信号的值;
y方向信号减半装置,用于把每隔一行的色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号的数量;以及
x方向信号加倍装置,用于把一个色差信号增加到在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号的值设置成内插值计算装置计算得到的内插值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
9、如权利要求6所述的图像信号转换设备,其特征在于,接收装置接收到的4:1:1彩色分量类型的数字图像信号的色差信号位于X-Y坐标系的坐标(x,y)上,色差信号转换装置包含:
加权系数计算装置,用于获得参考亮度信号取出装置取出的参考亮度信号,作为第一参考亮度信号,条件是第一参考亮度信号对应于坐标(x,2y)和(x+1,2y)的色差信号,根据第一参考亮度信号值计算第一加权系数、第二加权系数、第三加权系数和第四加权系数,获得参考亮度信号取出装置取出的参考亮度信号,作为第二参考亮度信号,条件是第二参考亮度信号对应于坐标为(x,2y+1)和(x+1,2y+1)的色差信号,根据第二参考亮度信号值计算第五加权系数、第六加权系数、第七加权系数和第八加权系数;
内插值计算装置,用于通过把坐标为(x,2y)的色差信号的值乘以加权系数计算装置获得的第一加权系数计算第一乘值,通过把坐标为(x+1,2y)的色差信号的值乘以加权系数计算装置获得的第二加权系数计算第二乘值,通过把坐标为(x,2y+1)的色差信号的值乘以加权系数计算装置获得的第五加权系数计算第三乘值,通过把坐标为(x+1,2y+1)的色差信号的值乘以加权系数计算装置获得的第六加权系数计算第四乘值,根据第一、第二、第三和第四乘值计算第一内插值,通过把坐标为(x,2y)的色差信号的值乘以加权系数计算装置获得的第三加权系数计算第五乘值,通过把坐标为(x+1,2y)的色差信号的值乘以加权系数计算装置获得的第四加权系数计算第六乘值,通过把坐标为(x,2y+1)的色差信号的值乘以加权系数计算装置获得的第七加权系数计算第七乘值,通过把坐标为(x+1,2y+1)的色差信号的值乘以加权系数计算装置获得的第八加权系数计算第八乘值,根据第五、第六、第七和第八乘值计算第二内插值;
信号值设置装置,用于把内插值计算装置计算得到的第一内插值设置成坐标为(x,wy)和(x,2y+1)的色差信号的值;
y方向信号减半装置,用于把每隔一行的色差信号从其值由信号值设置装置设置的色差信号中除去,以在y方向上减半色差信号的数量;以及
x方向信号加倍装置,用于把一色差信号加到y方向信号减半装置获得的、在X方向上彼此相邻的每对色差信号之间的位置上,对于每个增加的色差信号,把一个增加的色差信号值设置成内插值计算装置计算得到的第二内插值,以在x方向上加倍y方向信号减半装置获得的色差信号的数量,并把该色差信号作为经转换的4:2:0彩色分量类型的色差信号输出。
10、一种图像信号转换装置,包含:
接收帧的每个像素以第一格式压缩的数字图像信号的接收装置;
图像译码装置,用于对接收装置接收到的数字图像信号进行译码,以产生多个4:1:1彩色分量类型的非压缩图像信号,非压缩图像信号以行列矩阵形式排列;
分量信号转换装置,通过把每隔一行的色差信号从非压缩图像信号的色差信号中除去以在y方向上减半色差信号的数量,把一个色差信号增加到在x方向上彼此相邻的每对色差信号之间的位置上以在x方向上加倍色差信号的数量,从而把图像译码装置获得的非压缩图像信号的色差信号直接转换成经转换的4:2:0彩色分量类型的色差信号,根据图像译码装置获得的非压缩图像信号的色差信号值设置经转换的4:2:0彩色分量类型的色差信号值,并对帧的每个像素,把图像译码装置获得的非压缩图像信号的亮度信号与分量信号转换装置获得的经转换的4:2:0彩色分量类型的色差信号组合,产生非压缩的4:2:0彩色分量类型的图像信号;
图像编码装置,对分量信号转换装置获得的非压缩的4:2:0彩色分量类型的图像信号进行编码,产生多个以与第一格式不同的第二格式压缩的数字图像信号;以及
输出装置,用于输出图像编码装置获得的以第二格式压缩的数字图像信号。
11、如权利要求10所述的图像信号转换设备,其特征在于,接收装置接收的数字图像信号的第一格式为DVC格式,对每组非压缩的4:1:1彩色分量类型的图像信号进行离散余弦变换(DCT)处理,以根据每组非压缩图像信号获得DCT系数组,对每组DCT系数进行量化,根据每组DCT系数获得量化值组,对每组量化值进行编码,以从每组量化值获得可变长变的码组,并把每组可变长度的码记录成以DVC格式压缩的数字图像信号,从而获得以DVC格式压缩的数字图像信号,图像编码装置获得的数字图像信号的第二格式是运动图像专家组(MPEG)格式,其中,通过进行运动补偿减少了帧间的时间冗余,通过离散余弦变换减少各帧的空间冗余,通过进行可变长度编码减少了码量。
12、如权利要求10所述的图像信号转换装置,其特征在于,图像译码装置包含:
准备装置,用于对数字图像信号去移动以重排数字图像信号;
可变长度译码装置,用于对经准备装置去移动的数字图像信号进行可变长度译码,产生多个量化值;
反量化装置,用于对可变长度译码装置产生的量化值进行反量化,以产生多组4:1:1彩色分量类型的非压缩图像信号的离散余弦变换(DCT)系数;以及
反DCT处理装置,用于对反量化装置产生的每组DCT系数进行反DCT处理,以产生多组4:1:1彩色分量类型的非压缩图像信号,并且,
图像编码装置包含:
输入缓冲器,用于一帧接一帧地存储分量信号转换装置产生的4:2:0彩色分量类型的非压缩图像信号,作为当前帧的图像信号,把非压缩图像信号分类成多组非压缩图像信号,分别对应于当前帧中的一组;
DCT压缩装置,用于对存储在输入缓冲器内的每组非压缩图像信号进行离散余弦变换(DCT)处理,以产生多组离散余弦变换(DCT)系数,并量化DCT系数以获得多组量化值;
反DCT扩展装置,用于对DCT压缩装置获得的DCT系数组进行反DCT处理,以再生4:2:0彩色分量类型的非压缩的图像信号组;
帧图像存储装置,用于存储反DCT扩展装置再生的每组4:2:0彩色分量类型的非压缩图像信号,作为一组参考帧的图像信号,其它非压缩4:2:0彩色分量类型的图像信号对应于接在存储在输入缓冲器内的参考帧后面的帧;
运动预测装置,用于根据存储在输入缓冲器内的当前帧的一组非压缩图像信号和存储在帧图像存储装置中的参考帧的4:2:0彩色分量类型的非压缩图像信号,对每组当前帧计算指示图像运动的运动矢量,并对每组当前帧计算当前帧的一组非压缩图像信号与运动矢量指示的参考帧的相应非压缩图像信号组之间的帧间差;
编码选择装置,用于选择对DCT压缩装置获得的当前帧的量化值进行的编码类型;
可变长度编码装置,用于根据编码选择装置选出的编码类型、运动预测装置计算得到的运动矢量和帧间差,对DCT压缩装置获得的量化值进行可变长度编码,以产生可变长度编码的数据组;以及
结构编码装置,用于根据可变长变编码装置获得的可变长度编码的数据产生以第二格式压缩的数字图像信号。
13、如权利要求10所述的图像信号转换设备,其特征在于,图像编码装置包含:
输入缓冲器,用于一帧接一帧地存储分量信号转换装置产生的4:2:0彩色分量类型的非压缩图像信号,作为当前帧的图像信号,把非压缩图像信号分类成多组非压缩图像信号,分别对应于当前帧组;
DCT压缩装置,用于对存储在输入缓冲器内的每组非压缩图像信号进行离散余弦变换(DCT)处理,以获得多组离散余弦变换(DCT)系数,并对DCT系数进行量化,获得多组量化值;
反DCT扩展装置,用于对DCT压缩装置获得的DCT系数组进行反DCT处理,以再生4:2:0彩色分量类型的非压缩图像信号组;
帧图像存储装置,用于存储反DCT扩展装置再生的每组4:2:0彩色分量类型的非压缩图像信号,作为一组参考帧的图像信号,其它4:2:0彩色分量类型的非压缩图像信号对应于接在存储在输入缓冲器内的参考帧的后面一帧;
运动预测装置,用于根据存储在输入缓冲器内的当前帧的一组非压缩图像信号和存储在帧图像存储装置中的参考帧的4:2:0彩色分量类型的非压缩图像信号为每组当前帧计算指示图像运动的运动矢量,并对每组当前帧计算当前帧的一组非压缩图像信号与运动矢量指示的参考帧的非压缩图像信号的对应组之间的帧间差;以及
编码装置,用于利用运动预测装置计算得到的运动矢量帧间差对DCT压缩装置获得的量化值进行编码,以产生以第二格式压缩的数字图像信号,
运动预测装置包含:
分层图像产生装置,用于根据存储在输入缓冲器内的一组非压缩图像信号指示的每组当前帧的当前原始图像产生多个不同分辨率的当前分层图像,根据存储在帧图像存储装置内的一组非压缩图像信号指示的每组参考帧的参考原始图像产生多个参考分层图像,分辨率最高的当前分层图像为当前原始图像,分辨率低于特定当前分层图像的当前分层图像,每次在x方向每隔一个像素从特定当前原始图像的像素中除去,在y方向上每隔一个像素从特定当前原始图像的像素中除去而获得,分辨率最高的参考分层图像为参考原始图像,分辨率低于特定参考分层图像的参考分层图像,每次在x方向上每隔一个像素从特定参考原始图像的像素中除去,在y方向上每隔一个像素从特定参考原始图像的像素中除去而获得;
运动矢量产生装置,用于根据分层图像产生装置产生的一个当前分层图像和一个参考分层图像以及就在计算中间运动矢量之前计算得到的粗运动矢量反复计算中间运动矢量,同时每次计算中间运动矢量时把当前和参考分层图像改变成分辨率更高的其它当前和参考分层图像,每次计算中间运动矢量时把中间运动矢量设置成粗运动矢量,最后根据分辨率最高的当前和参考分层图像计算每组当前帧的运动矢量、指示一组参考帧的一组当前帧的运动矢量以及指示中间运动矢量指示的特定参考帧组候选的粗运动矢量;以及
帧间差信息产生装置,用于产生帧间差信息,指示一组当前帧的像素值组与运动矢量产生装置为每组当前帧得到的运动矢量指示的参考帧对应组的一组像素值之间的帧间差。
14、如权利要求10所述的图像信号转换设备,其特征在于,图像译码装置包含:
可变长度译码装置,用于对数字图像信号进行可变长度译码,产生多个量化值;
反量化装置,用于对可变长度译码装置产生的量化值进行反量化,以产生多组4:1:1彩色分量类型的非压缩图像信号离散余弦变换(DCT)系数,把非压缩图像信号的DCT系数分类成非压缩亮度信号DCT系数和非压缩色差信号DCT系数;以及
反DCT处理装置,用于对反量化装置产生的每组非压缩色差信号的DCT系数进行反DCT处理,以产生多组4:1:1彩色分量类型的非压缩色差信号,根据4:1:1彩色分量类型的非压缩色差信号组由分量信号转换装置产生多组4:2:0彩色分量类型的非压缩色差信号,
图像编码装置包含
输入缓冲器,用于一帧接一帧地存储分量信号转换装置产生的4:2:0彩色分量类型的非压缩图像信号,作为当前帧的图像信号,把非压缩图像信号分类成多组非压缩图像信号,分别对应于当前帧组;
DCT系数缓冲器,用于存储从由反量化装置产生的每组非压缩图像信号DCT系数中取出的一组亮度信号DCT系数,每组亮度信号DCT系数对应于一组当前帧,每组DCT系数以行列矩阵排列;
分层反DCT处理装置,用于从存储在DCT系数缓冲器中的每组亮度信号DCT系数中反复取出一组DCT系数,条件是该DCT系数组的频带逐渐扩展到高频,并且对每组DCT系数进行反DCT处理,以产生分别由多个非压缩亮度信号指示的多个分层图像,为每组当前帧产生不同分辨率的分层图像,
DCT压缩装置,用于对存储在输入缓冲器内的每组非压缩图像信号进行离散余弦变换(DCT)处理,以获得多组离散余弦变换(DCT)系数,并对DCT系数进行量化,获得多组量化值;
反DCT扩展装置,用于对DCT压缩装置获得的DCT系数组进行反DCT处理,以再生4:2:0彩色分量类型的非压缩图像信号组;
帧图像存储装置,用于存储反DCT扩展装置再生的每组4:2:0彩色分量类型的非压缩图像信号,作为一组参考帧的图像信号,其它4:2:0彩色分量类型的非压缩图像信号对应于接在正存储在输入缓冲器内的参考帧的后面一帧;
运动预测装置,用于根据存储在输入缓冲器内的当前帧的一组非压缩图像信号和存储在帧图像存储装置中的参考帧的4:2:0彩色分量类型的非压缩图像信号为每组当前帧计算指示图像运动的运动矢量,并对每组当前帧计算当前帧的一组非压缩图像信号与运动矢量指示的参考帧的非压缩图像信号的对应组之间的帧间差;以及
编码装置,用于利用运动预测装置计算得到的运动矢量和帧间差对DCT压缩装置获得的量化值进行编码,以产生以第二格式压缩的数字图像,
运动预测装置包含:
运动矢量产生装置,用于根据分层反DCT处理装置产生的一个分层图像和存储在帧图像存储装置中的非压缩图像信号的非压缩亮度信号指示的参考帧的参考原始图像以及就在计算中间运动矢量之前计算得到的粗运动矢量反复计算中间运动矢量,同时每次计算中间运动矢量时,把分层图像改变成另一个更高分辨率的分层图像,每次计算中间运动矢量,把中间运动矢量设置成粗运动矢量,最后根据每组当前帧的最高分辨率的分层图像和参考原始图像、指示一组参考帧的一组当前帧的运动矢量以及指示中间运动矢量指示的特定参考帧组候选的粗运动矢量计算运动矢量;以及
帧间差信息产生装置,用于产生帧间差信息,指示一组当前帧组的一组像素值与运动矢量产生装置为每组当前帧计算得到的运动矢量指示的参考帧对应组的一组像素值之间的帧间差。
15、如权利要求10所述的图像信号转换装置,其特征在于,图像译码装置包含:
可变长度译码装置,用于对数字图像信号进行可变长度译码,产生多个量化值;
反量化装置,用于对可变长度译码装置产生的量化值进行反量化,以产生多组4:1:1彩色分量类型的非压缩图像信号离散余弦变换(DCT)系数,把非压缩图像信号的DCT系数分类成非压缩亮度信号DCT系数和非压缩色差信号DCT系数;以及
反DCT处理装置,用于对反量化装置产生的每组非压缩色差信号的DCT系数进行反DCT处理,以产生多组4:1:1彩色分量类型的非压缩色差信号,根据4:1:1彩色分量类型的非压缩色差信号组由分量信号转换装置产生多组4:2:0彩色分量类型的非压缩色差信号,
图像编码装置包含
输入缓冲器,用于一帧接一帧地存储分量信号转换装置产生的4:2:0彩色分量类型的非压缩图像信号,作为当前帧的图像信号,把非压缩图像信号分类成多组非压缩图像信号,分别对应于当前帧组;
DCT系数缓冲器,用于存储从由反量化装置产生的每组非压缩图像信号DCT系数中取出的一组亮度信号DCT系数,每组亮度信号DCT系数对应于一组当前帧,每组DCT系数以行列矩阵排列;
一维反DCT处理装置,用于从存储在DCT系数缓冲器内的每组DCT系数中取出以行排列的亮度信号DCT系数组,作为DCT系数的x方向组,从存储在DCT系数缓冲器内的每组DCT系数中取出以列排列的亮度信号DCT系数组,作为y方向的DCT系数组,对x方向的DCT系数组进行反DCT处理,以获得每组当前帧的由以x方向排列的非压缩亮度信号组成的x方向信息,对y方向的DCT系数组进行反DCT处理,以获得每组当前帧的由以y方向排列的非压缩亮度信号组成的y方向信息,
DCT压缩装置,用于对存储在输入缓冲器内的每组非压缩图像信号进行离散余弦变换(DCT)处理,以获得多组离散余弦变换(DCT)系数,并对DCT系数进行量化,获得多组量化值;
反DCT扩展装置,用于对DCT压缩装置获得的DCT系数组进行反DCT处理,以再生4:2:0彩色分量类型的非压缩图像信号组;
帧图像存储装置,用于存储反DCT扩展装置再生的每组4:2:0彩色分量类型的非压缩图像信号,作为一组参考帧的图像信号,其它4:2:0彩色分量类型的非压缩图像信号对应于接在正存储在输入缓冲器内的参考帧的后面一帧;
运动预测装置,用于根据存储在输入缓冲器内的当前帧的一组非压缩图像信号和存储在帧图像存储装置中的参考帧的4:2:0彩色分量类型的非压缩图像信号为每组当前帧计算指示图像运动的运动矢量,并对每组当前帧计算当前帧的一组非压缩图像信号与运动矢量指示的参考帧的非压缩图像信号的对应组之间的帧间差;以及
编码装置,用于利用运动预测装置计算得到的运动矢量和帧间差对DCT压缩装置获得的量化值进行编码,以产生以第二格式压缩的数字图像信号,运动预测装置包含:
运动矢量产生装置,用于根据一维反DCT处理装置获得的x方向信息和存储在帧图像存储装置中的非压缩图像信号的非压缩亮度信号为每组当前帧计算x方向运动矢量,规定排列在x方向运动矢量指示的特定组附近的多个参考帧的标记组,并对每组当前帧根据一维反DCT处理装置获得的y方向信息和标记组的非压缩亮度信号计算运动矢量;以及
帧间差信息产生装置,用于产生帧间差信息,指示一组当前帧组的一组像素值与运动矢量产生装置为每组当前帧计算得到的运动矢量指示的参考帧对应组的一组像素值之间的帧间差。
16、一种图像信号转换方法,包含下列步骤:
接收帧的每个像素以DVC格式压缩的数字图像信号,通过对每组4:1:1彩色分量类型的非压缩图像信号进行离散余弦变换(DCT)处理以从每组非压缩图像信号获得一组DCT系数、量化每组DCT系数以从每组DCT系数获得一组量化值、对每组量化值进行编码以从每组量化值获得一组可变长度编码组,以及把每组可变长度编码记录成以DVC格式压缩的数字图像信号,来获得以DVC格式压缩的数字图像信号;
对以DVC格式压缩的数字图像信号进行可变长度译码,产生多个量化值;
对量化值进行反量化,产生多组4:1:1彩色分量类型的非压缩图像信号的离散余弦变换(DCT)系数,非压缩图像信号的每组DCT系数分类成一组非压缩亮度信号的DCT系数和一组4:1:1彩色分量类型的非压缩色差信号的DCT系数;
把每组4:1:1彩色分量类型的非压缩色差信号的DCT系数转换成一组4:2:0彩色分量类型的非压缩色差信号的DCT系数,每组DCT系数以行列矩阵形式排列;
把每组4:2:0彩色分量类型的非压缩色差信号的DCT系数与相应组非压缩亮度信号的DCT系数组合,产生多组4:2:0彩色分量类型的非压缩图像信号的DCT系数;
对每组4:2:0彩色分量类型的非压缩图像信号的DCT系数进行反DCT处理,产生每组DCT系数的4:2:0彩色分量类型的非压缩图像信号组;
对每组4:2:0彩色分量类型的非压缩图像信号进行编码,产生多个以运动图像专家组(MPEG)格式压缩的数字图像信号,在这种格式中,通过进行运动补偿减少帧间时间冗余,通过进行离散余弦变换减少各帧的空间冗余,通过进行可编长度编码减少码量;以及
输出以MPEG格式压缩的数字图像信号;以及
转换每组DCT系数的步骤包含下列步骤:
从每组DCT系数中除去DCT系数对应于高频的下半部分,以对每组在y方向上减半DCT系数的分辨率;以及
把DCT系数加到每组的余下DCT系数的右侧上,以对每组在x方向上加倍DCT系数的分辨率,产生4:2:0彩色分量类型的非压缩色差信号的DCT系数组。
17、如权利要求16所述的图像信号转换方法,其特征在于,
对每组非压缩图像信号进行编码的步骤包含:
把4:2:0彩色分量类型的非压缩图像信号组一帧一帧地存储在输入缓冲器中作为当前帧的图像信号,每组非压缩图像信号对应于一组当前帧;
对存储在输入缓冲器中的每组非压缩图像信号进行离散余弦变换(DCT)处理,获得多组DCT系数;
对每组DCT系数进行量化,产生多个当前帧的量化值;
对DCT系数进行反DCT处理,再现4:2:0彩色分量类型的非压缩图像信号组;
把4:2:0彩色分量类型的非压缩图像信号组存储在帧存储器内作为参考帧的图像信号,4:2:0彩色分量类型的其它非压缩图像信号对应于存储在输入缓冲器内的参考帧后的一帧;
根据存储在输入缓冲器内的当前帧的一组非压缩图像信号和存储在帧存储器内的参考帧的4:2:0彩色分量类型的非压缩图像信号,对每组当前帧计算指示图像运动的运动矢量;
根据当前帧的一组非压缩图像信号与运动矢量指示的参考帧相应组的非压缩图像之间的差异计算帧间差;
对当前帧的量化值选择编码类型;
根据编码类型、运动矢量和帧间差对量化值进行可变长度编码,产生可变长度编码数据组;以及
从可变长度编码数据产生以MPEG格式压缩的数字图像信号,以及计算运动矢量的步骤包含:
把当前原始图像设置成分辨率最高的当前分层图像,每次在x方向上把每隔一个像素从特定当前原始图像的像素中除去和在y方向上把每隔一个像素从特定当前原始图像的像素中除去时获得分辨率低于特定当前分层图像的当前分层图像,从存储在输入缓冲器内的一组非压缩图像信号指示的一组当前帧的当前原始图像对每组当前帧产生多个不同分辨率的当前分层图像;
把分辨率最高的参考分层图像设置成参考原始图像,每次在x方向上把每隔一个像素从特定参考原始图像的像素中除去和在y方向上把每隔一个像素从特定参考原始图像的像素中除去时获得分辨率低于特定参考分层图像的参考分层图像,从存储在帧缓冲器内的一组非压缩图像信号指示的一组参考帧的参考原始图像,对每组参考帧产生多个不同分辨率的参考分层图像;
根据一个当前分层图像和一个参考分层图像以及在计算中间运动矢量之前刚计算得到的粗运动矢量反复计算中间运动矢量,同时把当前和参考分层图像改变到分辨率更高的另一个当前和参考分层图像;以及
最后,根据每组当前帧的分辨率最高的当前和参考分层图像、指示一组参考帧的一组当前帧的运动矢量以及指示运动矢量指示的特定组参考帧的候选的粗运动矢量计算运动矢量。
18、如权利要求16所述的图像信号转换方法,其特征在于,对每组非压缩图像信号进行编码的步骤包含:
把非压缩亮度信号的DCT系数组存储在DCT系数缓冲器中,每组非压缩亮度信号DCT系数对应于一组当前帧;
把4:2:0彩色分量类型的非压缩图像信号一帧一帧地存储在输入缓冲器中,作为当前帧的图像信号;
对存储在输入缓冲器中的每组非压缩图像信号进行离散余弦变换(DCT)处理,获得多组离散余弦变换(DCT)系数;
对各组DCT系数进行量化,产生多个当前帧的量化值;
对DCT系数组进行反DCT处理,再现4:2:0彩色分量类型的非压缩图像信号组;
把4:2:0彩色分量类型的非压缩图像信号组存储在帧存储器内,作为参考帧的图像信号,4:2:0彩色分量类型的其它非压缩图像信号对应于存储在输入缓冲器内的参考帧后的一帧;
根据DCT系数缓冲器内的非压缩亮度信号的一组DCT系数和存储在帧存储器内的参考帧的4:2:0彩色分量类型的非压缩图像信号,对每组当前帧计算指示图像运动的运动矢量;
计算当前帧的一组非压缩图像信号与运动矢量指示的参考帧的非压缩图像信号的对应组之间的帧间差;
对当前帧的量化值选择编码类型;
根据编码类型、运动矢量和帧间差对量化值进行可变长度编码,产生可变长度编码数据组;以及
从可变长度编码数据产生以MPEG格式压缩的数字图像信号,以及计算运动矢量的步骤包含:
从存储在DCT系数缓冲器内的每组亮度信号DCT系数中反复取出一组DCT系数,条件是DCT系数组的频带逐渐扩展到高频;
对每组DCT系数进行反DCT处理,产生多个非压缩亮度信号分别指示的多个分层图像,为每组产生不同分辨率的分层图像;
根据一个分层图像和存储在帧存储器内非压缩图像信号的非压缩亮度信号指示的参考帧的参考原始图像以及在计算中间运动矢量之前刚计算得到的粗运动矢量,反复计算中间运动矢量,同时把分层图像改变到分辨率更高的另一个分层图像,粗运动矢量指示中间运动矢量指示的特定参考帧组的候选;以及
最后根据分辨率最高的分层图像和参考原始图像,计算运动矢量,一组当前帧的运动矢量指示一组参考帧。
19、如权利要求16所述的图像信号转换方法,其特征在于,对每组非压缩图像信号编码的步骤包含:
把非压缩亮度信号的DCT系数组存储在DCT系数缓冲器中,每组非压缩亮度信号DCT系数对应于一组当前帧;
把4:2:0彩色分量类型的非压缩图像信号一帧一帧地存储在输入缓冲器中,作为当前帧的图像信号;
对存储在输入缓冲器中的每组非压缩图像信号进行离散余弦变换(DCT)处理,获得多组离散余弦变换(DCT)系数;
对DCT系数组进行量化,产生多个当前帧的量化值;
对DCT系数组进行反DCT处理,再现4:2:0彩色分量类型的非压缩图像信号组;
把4:2:0彩色分量类型的非压缩图像信号组存储在帧存储器内,作为参考帧的图像信号,4:2:0彩色分量类型的其它非压缩图像信号对应于存储在输入缓冲器内的参考帧后的一帧;
根据DCT系数缓冲器内的非压缩亮度信号的一组DCT系数和存储在帧存储器内的参考帧的4:2:0彩色分量类型的非压缩图像信号,对每组当前帧计算指示图像运动的运动矢量;
计算当前帧的一组非压缩图像信号与运动矢量指示的参考帧的非压缩图像信号的对应组之间的帧间差;
对当前帧的量化值选择编码类型;
根据编码类型、运动矢量和帧间差对量化值进行可变长度编码,产生可变长度编码数据组;以及
从可变长度编码数据产生以MPEG格式压缩的数字图像信号,以及计算运动矢量的步骤包含:
从存储在DCT系数缓冲器内的每组非压缩亮度信号的DCT系数中取出多个以行排列的非压缩亮度信号DCT系数,作为x方向组DCT系数;
从存储在DCT系数缓冲器内的每组非压缩亮度信号的DCT系数中取出多个以列排列的非压缩亮度信号DCT系数,作为y方向组DCT系数;
对x方向DCT系数组进行一维反DCT处理,获得每组当前帧的由以x方向排列的非压缩亮度信号组成的x方向信息;
对x方向DCT系数组进行一维反DCT处理,获得每组当前帧的由以y方向排列的非压缩亮度信号组成的y方向信息;
根据x方向信息和存储在帧存储器内的非压缩图像信号的非压缩亮度信号计算每组当前帧的x方向运动矢量;
指定排列在x方向运动矢量指示的参考帧特定组附近的多组标记的参考帧;以及
根据y方向信息和作标记的非压缩亮度信号计算每组当前帧的运动矢量。
20、一种图像提供系统,包含:
图像输入装置,用于接收以第一格式压缩的多个数字图像信号;
图像再现装置,用于根据以不同于第一格式的第二格式压缩的多个数字图像信号再现数字图像;
图像提供装置,用于从图像输入装置接收以第一格式压缩的数字图像信号,把以第一格式压缩的数字图像信号转换成以第二格式压缩的数字图像信号,并把以第二格式压缩的数字图像信号传输给图像再现装置;以及
网络,以第一格式压缩的数字图像信号通过该网络从图像输入装置传输给图像提供装置,以第二格式压缩的数字图像信号通过该网络,从图像提供装置传输给图像再现装置,
图像提供装置包含:
通信装置,用于通过网络从图像输入装置接收以第一格式压缩的数字图像信号,并通过网络向图像再现装置输出以第二格式压缩的数字图像信号;以及
图像信号转换装置,用于把通信装置接收到的第一格式的数字图像信号转换成以第二格式压缩的数字图像信号,并向通信装置输出以第二格式压缩的数字图像信号,以及
图像信号转换装置包含:
图像译码装置,用于对以第一格式压缩的数字图像信号进行译码,产生多个4:1:1彩色分量类型的非压缩图像信号,非压缩图像信号以行列矩阵形式排列;
分量信号转换装置,用于通过从把每隔一行色差信号从非压缩图像信号的色差信号中除去以在y方向上减半色差信号的数量,把色差信号加到在x方向上彼此相邻的每对色差信号之间的位置上,以在x方向上加倍色差信号的数量,根据图像译码装置获得的非压缩图像信号的色差信号值设置经转换的4:2:0彩色分量类型的色差信号值,并对帧的每个像素,把图像译码装置获得的非压缩图像信号的亮度信号与分量信号转换装置获得的经转换的4:2:0彩色分量类型的色差信号组合,产生4:2:0彩色分量类型的非压缩图像信号,从而把图像译码装置获得的非压缩图像信号的色差信号直接转换成经转换的4:2:0彩色分量类型的色差信号;以及
图像编码装置,用于对分量信号转换装置获得的4:2:0彩色分量类型的非压缩图像信号进行编码,产生以第二格式压缩的数字图像信号。
21、如权利要求20所述的图像提供系统,其特征在于,图像输入装置接收到的数字图像信号的第一格式为DVC格式,对每组4:1:1彩色分量类型的非压缩图像信号进行离散余弦变换(DCT)处理,获得每组非压缩图像信号获得一组DCT系数,对每组DCT系数进行量化,从每组DCT系数获得一组量化值,对每组量化值进行编码,从每组量化值获得一组可变长度编码,并把每组可变长度编码记录成以DVC格式压缩的数字图像信号,从而获得以DVC格式压缩的数字图像信号,图像信号转换装置获得的数字图像信号的第二格式为运动图像专家组(MPEG)格式,在这种格式中,通过运动补偿减少帧间的时间冗余,通过进行离散余弦变换减少各帧的空间冗余,通过进行可变长度编码减少码量。
22、如权利要求20所述的图像提供系统,其特征在于,图像再现装置还包含:
图像信号存储装置,用于存储通信装置接收到的第一格式的数字图像信号和图像信号转换装置获得的第二格式的数字图像信号;
控制装置,用于通过网络从通信装置接收指示请求从图像再现装置输出第二格式数字图像信号的图像输出请求,控制图像信号存储装置和通信装置通过通信装置和网络向图像再现装置输出存储在图像信号存储装置内的第二格式数字图像信号。
23、如权利要求20所述的图像提供系统,其特征在于,图像再现装置还包含:
控制装置,用于通过网络和通信装置接收指示请求从图像再现装置输出第二格式数字图像信号的图像输出请求,根据图像输出请求控制图像信号转换装置把以第一格式压缩的数字图像信号转换成以第二格式压缩的数字图像信号,并控制通信装置通过网络向图像再现装置输出以第二格式压缩的数字图像信号。
CNB981052940A 1997-02-27 1998-02-27 图像信号转换方法和设备以及图像提供系统 Expired - Fee Related CN1175670C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP58604/1997 1997-02-27
JP58604/97 1997-02-27
JP5860497 1997-02-27
JP172740/97 1997-06-16
JP172740/1997 1997-06-16
JP17274097A JP3901287B2 (ja) 1997-02-27 1997-06-16 映像信号変換装置、映像信号変換方法及び映像提供システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100488825A Division CN1315331C (zh) 1997-02-27 1998-02-27 图像信号转换方法和设备以及图像提供系统

Publications (2)

Publication Number Publication Date
CN1196641A CN1196641A (zh) 1998-10-21
CN1175670C true CN1175670C (zh) 2004-11-10

Family

ID=26399638

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2004100488825A Expired - Fee Related CN1315331C (zh) 1997-02-27 1998-02-27 图像信号转换方法和设备以及图像提供系统
CNB981052940A Expired - Fee Related CN1175670C (zh) 1997-02-27 1998-02-27 图像信号转换方法和设备以及图像提供系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2004100488825A Expired - Fee Related CN1315331C (zh) 1997-02-27 1998-02-27 图像信号转换方法和设备以及图像提供系统

Country Status (9)

Country Link
US (1) US5982432A (zh)
EP (2) EP1367840A3 (zh)
JP (1) JP3901287B2 (zh)
CN (2) CN1315331C (zh)
AU (1) AU694400B1 (zh)
CA (1) CA2228241C (zh)
DE (1) DE69820313T2 (zh)
MY (1) MY127521A (zh)
SG (1) SG76534A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU719060B2 (en) * 1997-02-28 2000-05-04 Matsushita Electric Industrial Co., Ltd. Motion picture converting apparatus
KR100563756B1 (ko) * 1997-11-05 2006-03-24 소니 가부시끼 가이샤 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
KR100275700B1 (ko) * 1998-07-10 2000-12-15 윤종용 영상신호 규격 변환장치
US6697525B1 (en) * 1998-10-02 2004-02-24 Parthusceva Ltd. System method and apparatus for performing a transform on a digital image
JP4406944B2 (ja) * 1998-11-11 2010-02-03 株式会社日立製作所 計算機システム及び問合せに対する処理分散システム
US6262771B1 (en) * 1999-03-04 2001-07-17 Victor Company Of Japan, Ltd. Method and apparatus for converting picture signal, and recording and reproducing apparatus
US6331874B1 (en) * 1999-06-29 2001-12-18 Lsi Logic Corporation Motion compensated de-interlacing
US6847365B1 (en) * 2000-01-03 2005-01-25 Genesis Microchip Inc. Systems and methods for efficient processing of multimedia data
US6674479B2 (en) * 2000-01-07 2004-01-06 Intel Corporation Method and apparatus for implementing 4:2:0 to 4:2:2 and 4:2:2 to 4:2:0 color space conversion
US7194128B1 (en) 2000-07-26 2007-03-20 Lockheed Martin Corporation Data compression using principal components transformation
US6754383B1 (en) * 2000-07-26 2004-06-22 Lockheed Martin Corporation Lossy JPEG compression/reconstruction using principal components transformation
JP3918497B2 (ja) * 2000-11-02 2007-05-23 株式会社村田製作所 端面反射型表面波装置
US7006147B2 (en) * 2000-12-22 2006-02-28 Thomson Lincensing Method and system for MPEG chroma de-interlacing
US6870963B2 (en) * 2001-06-15 2005-03-22 Qualcomm, Inc. Configurable pattern optimizer
JP3874179B2 (ja) 2002-03-14 2007-01-31 Kddi株式会社 符号化動画像変換装置
KR20040003588A (ko) * 2002-07-03 2004-01-13 삼성전자주식회사 영상신호의 포맷 변환기 및 그 방법
TWI229562B (en) * 2003-04-17 2005-03-11 Mediatek Inc Apparatus and method for signal processing of format conversion and combination of video signals
GB2405281A (en) * 2003-08-19 2005-02-23 Snell & Wilcox Ltd Format conversion using colourimetric components
JP2005167742A (ja) * 2003-12-03 2005-06-23 Funai Electric Co Ltd Dvdレコーダおよび映像信号記録装置
TW200534258A (en) * 2004-04-14 2005-10-16 Lite On It Corp Portable audiovisual data recording control device
JP3800427B2 (ja) * 2004-07-20 2006-07-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
TWI288568B (en) * 2004-12-10 2007-10-11 Seiko Epson Corp Image display method and device, and projector
JP4277793B2 (ja) * 2004-12-17 2009-06-10 ソニー株式会社 画像処理装置、符号化装置およびそれらの方法
CN102176754B (zh) * 2005-07-22 2013-02-06 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
JP4494490B2 (ja) * 2008-04-07 2010-06-30 アキュートロジック株式会社 動画処理装置及び動画処理方法、動画処理プログラム
TWI387319B (zh) * 2009-06-02 2013-02-21 Novatek Microelectronics Corp 影像處理電路及方法
CN101625847B (zh) * 2009-08-06 2011-03-30 杭州电子科技大学 一种大尺寸非压缩数字图像的快速显示方法
US8625666B2 (en) * 2010-07-07 2014-01-07 Netzyn, Inc. 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods
KR101695247B1 (ko) 2012-05-07 2017-01-12 한화테크윈 주식회사 주파수 변환 및 필터링 절차가 포함된 행렬 기반의 움직임 검출 시스템 및 방법
JP6125215B2 (ja) 2012-09-21 2017-05-10 株式会社東芝 復号装置、及び符号化装置
KR101979634B1 (ko) * 2012-12-13 2019-05-20 삼성전자주식회사 화질 개선을 위한 영상 처리 장치 및 그 방법
JP5606638B1 (ja) * 2013-06-14 2014-10-15 株式会社東芝 映像送信装置、映像表示装置、及び映像送信方法
JP2016178601A (ja) * 2015-03-23 2016-10-06 セイコーエプソン株式会社 データ処理回路、物理量検出用回路、物理量検出装置、電子機器及び移動体
TWI629892B (zh) * 2016-05-09 2018-07-11 國立成功大學 景深包裝及解包裝之rgb格式與yuv格式的轉換與反轉換的方法及電路
KR102601732B1 (ko) * 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
US11756240B2 (en) * 2020-02-28 2023-09-12 Shanghai United Imaging Intelligence Co., Ltd. Plugin and dynamic image modality reconstruction interface device
CN111556612B (zh) * 2020-06-04 2022-02-18 黄萍 一种电源线载波驱动led灯体的压缩灰度控制码协议
CN113362348B (zh) * 2021-07-19 2023-04-11 网易(杭州)网络有限公司 图像处理方法、装置、电子设备及存储介质
CN116027181B (zh) * 2023-03-30 2023-07-18 浙江瑞测科技有限公司 一种并行图像处理装置及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3360844B2 (ja) * 1992-02-04 2003-01-07 ソニー株式会社 ディジタル画像信号の伝送装置およびフレーム化方法
US5253056A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US5539663A (en) * 1993-11-24 1996-07-23 Intel Corporation Process, apparatus and system for encoding and decoding video signals using temporal filtering
US5642139A (en) * 1994-04-29 1997-06-24 Cirrus Logic, Inc. PCMCIA video card
JP2933487B2 (ja) * 1994-07-15 1999-08-16 松下電器産業株式会社 クロマフォーマット変換の方法
JPH0837672A (ja) * 1994-07-21 1996-02-06 Sony Corp カラーコンポーネントビデオ信号方式変換装置
US5610659A (en) * 1995-05-08 1997-03-11 Futuretel, Inc. MPEG encoder that concurrently determines video data encoding format and rate control
JPH0984011A (ja) * 1995-09-14 1997-03-28 Hitachi Ltd 動画符号化方式変換装置
US5712687A (en) * 1996-04-25 1998-01-27 Tektronix, Inc. Chrominance resampling for color images

Also Published As

Publication number Publication date
CN1315331C (zh) 2007-05-09
DE69820313D1 (de) 2004-01-22
EP1367840A3 (en) 2004-01-02
EP0862339A2 (en) 1998-09-02
CA2228241A1 (en) 1998-08-27
EP0862339B1 (en) 2003-12-10
US5982432A (en) 1999-11-09
MY127521A (en) 2006-12-29
CN1545330A (zh) 2004-11-10
JPH10304401A (ja) 1998-11-13
CA2228241C (en) 2000-12-12
JP3901287B2 (ja) 2007-04-04
AU694400B1 (en) 1998-07-16
DE69820313T2 (de) 2004-10-21
SG76534A1 (en) 2000-11-21
EP0862339A3 (en) 2000-03-08
EP1367840A2 (en) 2003-12-03
CN1196641A (zh) 1998-10-21

Similar Documents

Publication Publication Date Title
CN1175670C (zh) 图像信号转换方法和设备以及图像提供系统
CN1258924C (zh) 运动图像编码设备及其方法
CN1272967C (zh) 视频编码方法和装置
CN1251518C (zh) 数字信号转换方法和数字信号转换装置
CN1268135C (zh) 编码方法、编码装置和记录媒体、以及解码方法、解码装置和记录媒体
CN1213935A (zh) 分层图像编码解码、数字广播信号记录及图像音频的解码
CN1379366A (zh) 图像处理装置和方法
CN1339922A (zh) 编码信号的分离和合并装置、方法及计算机程序产品
CN1926576A (zh) 用于数字编码3d立体视频图像的方法和系统
CN1168322C (zh) 图象编码和解码方法
CN1744720A (zh) 可变长度解码装置
CN1200571C (zh) 正交变换、逆正交变换方法及装置、编码、解码方法及装置
CN1153468C (zh) 编码装置、译码装置和编码、译码方法以及图象处理装置
CN1229758C (zh) 正交变换图像的分辨率变换装置和方法
CN1288641A (zh) 视频信号编码方法、视频信号编码装置及程序记录媒体
CN1662037A (zh) 信号处理设备和方法,命令序列数据结构
CN1170437C (zh) 图像信号混洗装置和方法
CN1669329A (zh) 信息信号处理设备、信息信号处理方法、图像信号处理设备、图像显示设备、生成用在其中的校正数据的设备和方法、生成系数数据的设备和方法、执行这些方法的程序以及存储程序的计算机可读媒体
CN1722847A (zh) 数字信号转换方法和数字信号转换装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041110