CN1251724A - 图象处理器、图象数据处理器和可变长度代码解码器 - Google Patents

图象处理器、图象数据处理器和可变长度代码解码器 Download PDF

Info

Publication number
CN1251724A
CN1251724A CN98803742A CN98803742A CN1251724A CN 1251724 A CN1251724 A CN 1251724A CN 98803742 A CN98803742 A CN 98803742A CN 98803742 A CN98803742 A CN 98803742A CN 1251724 A CN1251724 A CN 1251724A
Authority
CN
China
Prior art keywords
image
circuit
data
decoding
mpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98803742A
Other languages
English (en)
Other versions
CN1138420C (zh
Inventor
锦织义久
今村哲也
三木孝保
津田贤治郎
米山辉
名田孝稔
大古濑秀之
中野博仁
中濑义盛
稲垣悟
十河美存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP33059997A external-priority patent/JPH11164299A/ja
Priority claimed from JP33059897A external-priority patent/JPH11164198A/ja
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1251724A publication Critical patent/CN1251724A/zh
Application granted granted Critical
Publication of CN1138420C publication Critical patent/CN1138420C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4084Transform-based scaling, e.g. FFT domain scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

一种图象处理器,包括输入图象每个部分的放大/缩小程度信息的图象变形信息输人部分;输入图象的编码图象数据、从图象变形信息输入部分输入图象每个部分的放大/缩小程度信息、按照放大/缩小程度信息对图象每个部分的图象数据进行解码、以及独立于放大/缩小程度信息还对整个图象数据进行解码的解码部分;利用由解码部分提供的对整个图象数据进行解码的图象、来自图象变形信息输入部分的图象每个部分的放大/缩小程度信息、以及图象数据的运动矢量产生使图象每个部分放大或缩小的参考图象;和将解码部分提供的对图象每个部分解码的图象与参考图象产生部分提供的参考图象相加的加法部分。

Description

图象处理器、图象数据处理器和可变长度代码解码器
技术领域
本发明涉及使待显示在个人计算机等显示屏上的图象产生变形的图象处理器。
此外,本发明涉及在显示屏上显示图象时对多幅图象的图象数据进行处理的图象数据处理器。
再有,本发明涉及对多个可变长度编码MPEG图象数据值进行可变长度解码的可变长度代码解码器。
背景技术
(1)迄今一直采用诸如MPEG或DV的正交变换系编码图象数据作为数字数据,用作待显示在个人计算机等显示屏上的计算机图形原始图象。
有一种映射装置,对图7(a)所示的诸如MPEG或DV的编码图象数据进行解码、使通过对编码数据解码而获得的图象15产生变形、以及把变形图象映射到如图7(b)所示的通过个人计算机等显示屏16上计算机图形形成的例如房间墙壁17上。
以下将参考附图依次描述映射从MPEG图象数据获得的图象的MPEG图象映射装置和映射从DV图象数据获得的图象的DV图象映射装置。
首先,描述传统的MPEG图象映射装置。
图8示出传统的MPEG图象映射装置的方框图。
VLD装置1输入可变长度编码的MPEG图象数据并对其进行可变长度解码,逆定量化装置2对经过可变长度解码的MPEG图象数据进行逆定量化,IDCT装置3对经过逆定量化的MPEG图象数据进行解码。当IDCT装置3对经过逆定量化的MPEG图象数据进行解码时,它对所有的MPEG图象数据值进行解码,MPEG图象的每个块具有多个8×8DCT系数。
当VLD装置1输入的MPEG图象数据是帧内编码图象(以下称为I图象)的数据时,IDCT装置3通过使解码图象穿过加法装置7把该图象输出到格式变换装置12,此外还将该图象输出到帧缓冲器8。帧缓冲器8把IDCT装置3提供的解码图象存储起来。
然而,当VLD装置1输入的MPEG图象数据是帧间正向预测编码图象(以下称为P图象)的数据或者是帧间双向预测编码图象的数据时,帧缓冲器8已经一次输入一幅I图象或者已经存储I图象或P图象的完全解码图象,其中把运动矢量和差值图象加到I图象上。在这种情况下,IDCT装置3把逆定量化装置2提供的运动矢量通过帧缓冲器8输出到运动补偿装置9,运动补偿装置9产生一幅运动补偿图象,其中通过仅把运动矢量加到存储在帧存储器8中的完全图象上仅对运动矢量进行补偿。然后,加法装置7使运动补偿装置9提供的经过运动补偿的图象与IDCT装置3提供的已解码差值图象相互相加,把相加后的图象输出到格式变换装置12,还把该图象输出到帧缓冲器8。此外,帧缓冲器8把加法装置7提供的完全解码图象存储起来。
然后,格式变换装置12把IDCT装置3或加法装置7提供的YUV格式图象变换为RGB格式图象并把RGB格式图象输出到图象变形装置18。
图象变形装置18从格式变换装置12输入RGB格式图象,此外还从CG原始数据产生装置4通过变形信息产生装置5输入图象的每个部分的放大或缩小程度的信息,按照放大或缩小程度的信息通过对图象的每个部分的象素进行内插或稀化使格式变换装置12提供的图象产生变形,将变形后的图象输出到映射装置13。
映射装置13按照CG原始数据产生装置4提供的图象的映射位置信息把图象变形装置18提供的图象映射到个人计算机等的显示器的预定位置上。
然后,以下将描述传统的DV图象映射装置。
图9示出传统的DV图象映射装置的方框图。
VLD装置1输入可变长度编码的DV图象数据并对其进行可变长度解码,逆定量化装置2对经过可变长度解码的DV图象数据进行逆定量化,IDCT装置3对经过逆定量化的DV图象数据进行解码。当对经过逆定量化DV图象数据进行解码时,IDCT装置3对所有的DV图象数据进行解码,DV图象的每个块具有多个8×8DCT系数。此外,IDCT装置3把每个块解码的部分图象输出到复原装置14。
对由IDCT装置3输出的每个块进行解码的部分图象不是按照如下所述有序地输出的:例如,从由部分图象构成的整幅图象的最左侧这列的顶部块到底部块,从左侧起的第二列从顶部块到底部块。即,对由复原装置14输入的部分图象序列进行重排。因此,复原装置14对从IDCT装置3提供的部分图象进行复原,使它们有序地排列,产生完全的DV图象。
然后,格式变换装置12将复原装置14提供的YUV格式图象变换为RGB格式图象并把RGB格式图象输出到图象变形装置18。接下来的DV图象操作与上述的MPEG图象映射装置的操作相同。
如上所述,对于传统的MPEG图象映射装置和DV图象映射装置,由格式变换装置12输入的图象是全尺寸图象,在图象变形装置18中按照图象每个部分放大或缩小程度的信息,在图象的每个部分中进行图象象素的内插或者稀化。
然而,由格式变换装置12输入的图象最好是按照图象每个部分放大或缩小程度信息解码的变形图象。
考虑到通常在对编码图象数据解码时不进行上述图象变形的问题,本发明的第一方面的目的是提供一种在对编码图象解码时按照图象每个部分的放大或缩小程度信息使图象变形的图象处理器。
(2)此外,如上所述,近年来重现MPEG图象数据和将图象显示在个人计算机等显示屏上一直是很重要的。在将MPEG图象数据作为图象显示前的解码处理量是十分大的。因此,对MPEG图象数据进行处理的装置一次只能处理一个MPEG图象数据。
下面将描述对MPEG图象数据进行解码并将图象显示在个人计算机窗口上的传统方法。由于传统方法存在两种类型,因此将分别对它们进行描述。
第一种方法是对MPEG图象数据进行完全解码以便重现图象、对象素进行内插或稀化以致于使图象与窗口的大小和形状相拟合、以及将图象显示在窗口上的方法。
第二种方法是在对MPEG图象数据进行解码前按照窗口的大小和形状选择全部或一部分MPEG图象数据的DCT系数、直接对DCT系数进行解码或者通过将预定数目的0加到高频区中对所有的DCT系数进行解码、以及通过内插或稀化象素使图象与窗口的大小和形状相拟合而将解码图象显示在窗口上的方法。
此外,已经扩展了窗口系统,它对多个MPEG图象数据值进行解码,同时将多幅图象显示在个人计算机等显示屏上。例如,采用一种窗口系统,它将从DVD提供的图象显示在个人计算机显示屏上,同时将CD-ROM提供的图象显示在同一个显示屏上。
如上所述,为了同时将多幅图象显示在同一显示屏上,上述的第一或第二种方法为每幅图象准备一个图象数据处理器以及对图象进行再生和显示以使图象与每个窗口的大小和形状相拟合。这些传统的图象数据处理器具有即使待形成的图象非常小也能够形成大图象的处理量。
如上所述,传统的图象数据处理器不能同时处理两个或多个MPEG图象数据值。
因此,为了再生多个MPEG图象数据值并将多幅图象同时显示在个人计算机等显示屏上,需要等于待显示图象个数的数个图象数据处理器。即,需要分别对应于待显示的每个图象的大小和形状的以及分别具有大处理量的个数等于图象个数的图象数据处理器,与待处理的MPEG图象数据的量无关。
考虑到在再生多个MPEG图象数据值以及将多幅图象显示在个人计算机等显示屏上时通常需要个数等于图象个数和分别具有大处理量的数个图象数据处理器的问题,本发明的第二方面的目的是提供一种即使在再生多个MPEG图象数据值时能够灵活地处理多个MPEG图象数据值以及同时将多幅图象显示在个人计算机等显示屏上的图象数据处理器。
(3)此外,对从多个数据流提供的MPEG图象数据值进行解码,将多幅图象显示在个人计算机显示器等上。在MPEG图象数据值中包括可变长度编码数据值,首先对可变长度编码数据值进行可变长度解码,然后将其解码为图象。
下面将参考附图描述对如上所述的多个可变长度编码的MPEG图象数据值进行可变长度解码的传统可变长度代码解码器。
图26示出传统的可变长度代码解码器的方框图。传统的可变长度代码解码器由第一可变长度数据解码电路5400、第二可变长度数据解码电路5500、第三可变长度数据解码电路5600、…以及第n可变长度数据解码电路5700构成,每个可变长度数据解码电路具有一个移位电路58和一个编码字解码电路59。
对数据图象的格式进行分析,例如,由第一MPEG数据层次结构解码电路1099检查由第一图象代码发生源600提供的可变长度编码MPEG图象数据是否由运动矢量和差值数据构成以及是否将该格式输入到第一可变长度数据解码电路5400。
然后,第一可变长度数据解码电路5400对可变长度编码的MPEG图象数据进行可变长度解码并将该数据输出到信息源解码器群1400。下面将描述可变长度解码。
同样,由第二MPEG数据层次结构解码电路1100、第三MPEG数据层次结构解码电路1200、…以及第n MPEG数据层次结构解码电路1300对由第二图象代码发生源700、第三图象代码发生源800、…以及第n图象代码发生源900提供的可变长度编码MPEG图象数据值的格式中的每一个进行分析并将它们输出到第二可变长度数据解码电路5500、第三可变长度数据解码电路5600、…以及第n可变长度数据解码电路5700。
然后,第二可变长度数据解码电路5500、第三可变长度数据解码电路5600、…以及第n可变长度数据解码电路5700中的每一个对可变长度编码的MPEG图象数据进行可变长度解码以及将数据输出到信息源解码器群1400。
尔后,信息源解码器群1400对第一可变长度数据解码电路5400、第二可变长度数据解码电路5500、第三可变长度数据解码电路5600、…以及第n可变长度数据解码电路5700中的每一个提供的可变长度编码的MPEG图象数据进行解码,产生对应于由每个可变长度数据解码电路提供的数据的图象。
然后,下面将进一步描述由每个可变长度数据解码电路进行的可变长度解码。
为了便于描述起见,图6示出由可变长度数据解码电路输入的可变长度编码的MPEG图象数据的一个例子。图6中符号A、B、C和D分别表示n、m、l和o位可变长度编码字,假设它们是连续的。
可变长度数据解码电路的移位电路58输入一个字长度,它能够足以存储可变长度编码MPEG图象数据中最大字长度和暂时存储字长度。为了便于说明,假设将被暂时存储的数据由图6中的编码字A、B、C和D构成。
由于每个编码字的代码长度的位数是未知的,因此,编码字解码电路59要检测由移位电路58输入的可变长度编码数据的最前面的编码字和利用独特分开表的编码字的长度。即,编码字解码电路59检测图6中的编码字A,编码字A具有n位的字长度。
此外,编码字解码电路59对最前面的编码字进行可变长度解码并将可变长度解码数据输出到信息源解码器群1400,此外还把输出数据的代码长度的位数信息输出到移位电路58。即,编码字解码电路59对编码字A进行可变长度解码并将其输出到信息源解码器群1400,此外还将输出具有n位的字长度的信息输出到移位电路58。
在此之后,移位电路58按照输出数据的字长度(例如n位)的信息从MPEG数据层次结构解码电路接收等效于该字长度的可变长度编码数据,以及使暂时存储的数据移位,例如n位。由上述移位造成的暂时存储在移位电路58中的数据的头起下一个编码字的头,即图6中编码字B的头的作用。
因此,可变长度数据解码电路依次地检测可变长度编码数据的编码字并对它进行可变长度解码。
然而,传统的可变长度代码解码器具有需要多个可变长度数据解码电路和电路太大的缺点,因为它对每个数据的多个可变长度编码MPEG图象数据值中的每一个进行可变长度解码。
因此,假设下列装置作为解决电路太大缺点的可变长度代码解码器。
该装置仅提供一个可变长度数据解码电路,即装置提供一个移位电路58和一个编码字解码电路59。
移位电路58利用时间共享方式接收从第一MPEG数据层次结构解码电路6、第二MPEG数据层次结构解码电路7、第三MPEG数据层次结构解码电路8、…以及第n MPEG数据层次结构解码电路9提供的可变长度编码MPEG图象数据值中的每一个。此外,编码字解码电路59通过上述操作对由多个MPEG数据层次结构解码电路之一提供的数据流中的最前面编码字进行可变长度解码和输出。此外,移位电路58按照如上所述使输出数据流产生移位,移位值等效于由编码字解码电路59输出的数据的字长度。在这种情况中,对于被处理数据流以外的数据流不提供处理。在此之后,编码字解码电路59依次同样地对由其它MPEG数据层次结构解码电路提供的数据流的最前面编码字进行可变长度解码和输出,移位电路58使输出数据流产生移位,其值等效于输出数据的字长度。
然而,以上假设的可变长度代码解码器尽管它克服了电路太大的问题,但具有可变长度解码速率太慢的缺点。即编码字解码电路59具有在对由一个MPEG数据层次结构解码电路提供的数据进行处理时不对其它MPEG数据层次结构解码电路提供的数据进行处理的缺点。
考虑到避免电路太大的问题和提高可变长度解码速度的问题,本发明的第三方面的目的是提供一种具有较小电路的以及能够以高速进行可变长度解码的可变长度代码解码器。
发明概要
本发明的第一方面提供一种图象处理器,它包括图象变形信息输入装置,用于输入图象每个部分的放大或缩小程度的信息;解码装置,用于输入对图象编码的图象数据,此外还输入来自图象变形信息输入装置的图象每个部分的放大或缩小程度信息、按照放大或缩小程度的信息对图象每个部分的图象数据进行解码,此外还不依赖于放大或缩小程度的信息对整个图象数据进行解码;参考图象产生装置,用于产生利用对解码装置提供的整个图象数据进行解码的图象、图象变形信息输入装置提供的图象每个部分的放大或缩小程度的信息以及图象数据的运动矢量对图象的每个部分进行放大或缩小的参考图象;以及加法装置,用于将由解码装置提供的对图象每个部分进行解码的图象与参考图象产生装置提供的参考图象相加。
本发明的第三方面提供一种图象处理器,它包括图象变形信息输入装置,用于输入说明图象的每个部分的放大或缩小程度的信息;以及解码装置,用于输入对图象进行编码的图象数据,此外还输入来自图象变形信息输入装置的图象每个部分的放大或缩小程度信息、按照放大或缩小程度的信息对图象每个部分的图象数据进行解码。
本发明的第二方面提供一种图象数据处理器,它包括放大/缩小信息输入装置,用于输入多个图象数据值的放大或缩小的程度;具有多个处理单元的图象处理装置,用于对输入多个图象数据值和处理图象的图象数据进行处理;以及分配装置,用于输入放大/缩小信息输入装置的放大或缩小程度的信息和按照放大或缩小程度的信息给图象处理装置的全部或一部分处理单元分配对应于放大或缩小程度信息的图象数据的放大或缩小处理,这里,图象处理装置按照放大或缩小程度的信息和处理单元组的分配对多个图象数据值进行处理。
本发明的第三方面提供一种可变长度代码解码器,它包括输入装置,用于通过时间共享的方式从多个具有可变长度编码MPEG图象数据的流依次连续地输入可变长度编码MPEG图象数据,以致于来自每个流的数据量增大到预定的量;可变长度解码装置,用于从输入装置输入预定量的MPEG图象数据、对数据进行可变长度解码、把预定解码字输出到可变长度代码解码器之外、以及把待输出的解码字的长度信息输出到输入装置,这里,可变长度解码装置在把预定解码字输出到可变长度代码解码器之外前从待输出解码字的MPEG图象数据流以外的每个数据流输入预定量的MPEG图象数据,以及在可变长度解码装置把预定解码字输出到可变长度代码解码器之外并输出接着输出解码字的MPEG图象数据流的下一个流的MPEG图象数据当中的预定解码字前,输入装置从解码字的MPEG图象数据流输入MPEG图象数据,利用输出解码字的长度信息由可变长度解码装置最终输出到可变长度代码解码器之外。
用作本发明第三方面的可变长度代码解码器的输入装置的高速移位电路200能够以与传统可变长度代码解码器的移位电路58可以比拟的高速率使数据产生移位。因此,本发明的可变长度代码解码器的可变长度解码装置能够把预定解码字输出到可变长度代码解码器之外,输入装置在从输出解码字的流对解码字进行解码前能够移位,并输入等效于编码字长度的MPEG图象数据。
附图简述
图1是根据本发明第一方面的实施例1的图象处理器的方框图。
图2(a)和2(b)是当根据本发明第一方面的实施例的图象处理器使图象产生变形时说明图象变形的图示。
图3(a)和3(b)是表明图2(a)和2(b)中图象分别被划分为25个块的示意图。
图4是仅仅使图3(a)和3(b)中的块缩小所获得的图示。
图5(a)至5(d)是根据本发明第一方面的实施例的图象处理器的IDCT装置对图象数据进行解码时说明解码情况的图示。
图6是根据本发明第一方面的实施例2的图象处理器的方框图。
图7(a)和7(b)是当使解码图象产生变形以及通过个人计算机等显示屏上的计算机图形绘图将其映射到房间的墙壁上时说明映射情况的图示。
图8是传统MPEG图象映射装置的方框图。
图9是传统DV图象映射装置的方框图。
图10是根据本发明第二方面的实施例的图象数据处理器的方框图。
图11是根据本发明第二方面的实施例的图象数据处理器的形状处理电路的方框图。
图12是根据本发明第二方面的实施例的图象数据处理器的计算量控制电路的方框图。
图13是根据本发明第二方面的实施例的图象数据处理器的解码和内插电路的方框图。
图14(a)和14(b)是用于本发明第二方面的实施例的个人计算机的显示屏的例子。
图15(a)至15(d)是说明由根据本发明第二方面的实施例的图象数据处理器的解码和内插电路的MPEG解码电路群执行的MPEG图象数据解码方法的图示。
图16是根据本发明第二方面的实施例的图象数据处理器的解码和内插电路的MPEG解码电路群的方框图。
图17(a)和17(b)是说明由根据本发明第二方面的实施例的图象数据处理器的放大/缩小电路群进行的处理的图示。
图18是图14场合以外的本发明实施例用的个人计算机显示屏的例子。
图19是根据本发明第三方面的实施例的可变长度代码解码器的方框图。
图20是说明根据本发明第三方面的实施例的可变长度代码解码器的操作的图示。
图21是根据本发明第三方面的实施例的可变长度代码解码器的高速移位电路的方框图。
图22是根据本发明第三方面的实施例的可变长度代码解码器的时间共享可变长度编码字解码电路的方框图。
图23是说明根据本发明第三方面的实施例的可变长度代码解码器的高速移位电路和时间共享可变长度编码字解码电路的操作的图示。
图24是表明可变长度编码数据的一个例子的图示。
图25是根据本发明第三方面的实施例2的可变长度代码解码器的高速移位电路的方框图。
图26表明传统的可变长度代码解码器的方框图和说明可变长度代码解码器操作的图示。
  [符号的描述]1     VLD装置2     逆定量化装置3     IDCT装置4     CG原始数据生成装置5     变形信息生成装置6     IDCT控制装置7     第一加法装置,加法装置8     帧缓冲器9     运动补偿装置10    校正装置11    第二加法装置12    格式变换装置13    映射装置14    复原装置15    图象16    显示器17    壁18    图象变形装置1000  用户I/F电路101   形状计算电路102   计算量控制电路106   图象代码发生源1107   图象代码发生源2108   图象代码发生源3109   图象代码发生源n110   解码和内插电路111  存储器I/F112  存储器201  粘贴面大小和形状确定电路202  纵横比计算电路302  写入位置控制电路303  尺寸变化控制电路304  图象解码控制电路404  处理量分配电路A408  MPEG解码电路群412  处理量分配电路B416  放大/缩小电路群501  显示屏503,504,505,506,507,508,509,1201,1202,1203窗口1500 外部接口电路2501 算术单元12502 算术单元22503 算术单元32504 算术单元42505 算术单元52506 算术单元n2507 变量耦合电路2508 数据暂存电路2509 耦合系计算电路100  数据多路传输电路200  高速移位电路300  时间共享可变长度编码字解码电路400  多路传输数据分离电路500  高速时钟电路600  第一图象代码发生源700  第二图象代码发生源800   第三图象代码发生源900   第n图象代码发生源1099  第一MPEG数据分层结构解码电路1100  第二MPEG数据分层结构解码电路1200  第三MPEG数据分层结构解码电路1300  第nMPEG数据分层结构解码电路1400  信息源解码器群1500  1位移位电路1600  第一选择电路1700  2位移位电路1800  第二选择电路1900  4位移位电路2000  第三选择电路2100  8位移位电路2200  第四选择电路2300  16位移位电路2400  第五选择电路2500  控制电路2600  第一判定电路2700  第一寄存器2800  第二判定电路2900  第二寄存器3000  第三判定电路3100  第三寄存器3200  极性调节电路3300  第四寄存器3400  第一标志存储器3500  第二标志存储器3600  第三标志存储器3700  第四标志存储器3800  定时测量电路3900  复位信号发生电路4000  6位移位电路4100  10位移位电路4200  12位移位电路4300  14位移位电路4400  18位移位电路4500  20位移位电路4600  22位移位电路4700  24位移位电路4800  26位移位电路4900  28位移位电路5000  30位移位电路5100  32位移位电路5200  第六选择电路5300  第七选择电路5400  第一可变长度数据解码电路5500  第二可变长度数据解码电路5600  第三可变长度数据解码电路5700  第n可变长度数据解码电路5800  移位电路5900  编码字解码电路
实现本发明的最佳方式
下面将参考附图描述根据本发明第一方面的实施例。
(根据本发明第一方面的实施例1)
首先,下面将描述根据本发明第一方面的实施例1的图象处理器的结构。
图1示出根据本发明第一方面的实施例1的图象处理器的结构。根据本发明第一方面的实施例1的图象处理器由VLD装置1、逆定量化装置2、IDCT装置3、CG原始数据生成装置4、变形信息生成装置5、IDCT控制装置6、第一加法装置7、帧缓冲器8、运动补偿装置9、校正装置10、第二加法装置11、格式变换装置12和映射装置13组成。
VLD装置1是输入可变长度编码MPEG图象数据并对其进行可变长度解码的装置。
逆定量化装置2是从VLD装置1输入可变长度解码MPEG图象数据并对该数据进行逆定量化的装置。
IDCT装置3是从逆定量化装置2输入经过逆定量化的MPEG图象数据并对每个块(下面将说明)的MPEG图象数据进行解码的装置。下文中将对块作详细描述。
CG原始数据生成装置4是接收一个表明MPEG图象的位置、形状和大小的指示以及把信息输出到变形信息生成装置5的装置,该MPEG图象是从VLD装置1的MPEG图象数据获得的,将被显示在用户的个人计算机等显示屏上。显示屏显示从图象处理器提供的MPEG图象。
变形信息生成装置5是按照从CG原始数据生成装置4提供的MPEG图象的变形的指示产生多个块(下面将说明)中每个块的放大或缩小程度的信息的装置。
IDCT控制装置6是按照从变形信息生成装置5提供的多个块中每个块的放大或缩小程度的信息控制IDCT装置3对MPEG图象数据进行解码的解码方法的装置。
第一加法装置7是使从IDCT装置3提供的已解码差值图象与已作运动补偿的图象相加的装置,当由VLD装置1输入的MPEG图象数据是帧间正向预测编码图象(下面将称为P图象)的数据或者是帧间双向预测编码图象(下面将称为B图象)的数据时,在已作运动补偿的图象中仅对运动矢量作补偿,它对应于差值图象,由运动补偿装置9提供。
帧缓冲器8是暂时存储由IDCT装置3解码的I图象或者从第一加法装置7提供的P图象或B图象的完全解码图象的装置。
运动补偿装置9是产生运动补偿图象的装置,其中当数据表明为P图象或B图象时,通过仅利用输入到VLD装置1的MPEG图象数据的运动矢量,从存储在帧缓冲器8中的I图象和/或P图象的完全解码图象,仅对运动矢量作补偿。
此外,当由VLD装置1输入的MPEG图象数据是P图象的数据时,帧缓冲器8应当已经存储了至少来自IDCT装置3的I图象。同样,当由VLD装置1输入的MPEG图象数据是B图象的数据时,帧缓冲器8应当已经存储了I图象和P图象的完全解码图象。这是因为P图象或B图象的数据仅由差值数据和运动矢量数据构成,因此,为了产生一幅完整图象,用作它们参考的图象是必需的。
校正装置10是当由VLD装置1输入的MPEG图象数据是P图象或B图象的数据时,按照从变形信息生成装置5提供的变形信息,通过对运动补偿装置9提供的已作运动补偿的图象的象素进行内插和稀化而产生参考图象并由此使已作运动补偿的图象变形的装置。
第二加法装置11是当由VLD装置1输入的MPEG图象数据是P图象或B图象的数据时,使从IDCT装置3提供的已解码差值图象与对应于该差值图象的和从校正装置10提供的参考图象相加的装置,这些图象是按照变形信息生成装置5的变形信息产生的。此外,当由VLC装置1输入的MPEG图象数据是I图象时,第二加法装置11传送按照IDCT装置3提供的变形信息编码的I图象。
格式变换装置12是将根据YUV格式的图象转换为根据RGB格式的图象的装置,因为从IDCT装置3提供并通过第二加法装置11的I图象或者由第二加法装置11提供的P图象或B图象的完全解码图象是YUV格式的图象。
映射装置13是按照从CG原始数据生成装置4提供的映射位置的指示将格式变换装置12提供的图象显示在个人计算机等的显示屏上的装置。
然后,下面将描述根据本发明第一方面的实施例1的图象处理器的操作。
由于当VLD装置1输入的MPEG图象数据是I图象数据时图象处理器的操作不同于当MPEG图象数据是P图象或B图象的数据时图象处理器的操作,因此,下面将分别描述这两种类型的操作。
首先,描述当VLD装置1输入的MPEG图象数据是I图象的数据时图象处理器的操作。
开始,为了把从VLD装置1输入的MPEG图象数据获得的如图2(a)所示的MPEG图象显示在个人计算机等的显示屏上,通过如同2(b)所示使MPEG图象产生变形,CG原始数据生成装置4接收一个表明如何使用户的MPEG图象产生变形的指示并把表明如何使MPEG图象变形的信息输出到变形信息生成装置5。在这种情况中,假设图2(a)表示当数据为帧内编码图象(下文中称为I图象)时通过对输入到VLC装置1的MPEG图象数据的每个DCT系数进行解码而获得的图象。然而,假设图2(b)表示通过使图2(a)的图象产生变形而获得的图象。
此外,变形信息产生装置5产生对应于图2(a)的图3(a)的多个块中每个块的放大或缩小程度的信息,以致于按照由CG原始图象产生装置4提供的MPEG图象的变形指定从图2(a)所示的图象产生图2(b)所示的图象。图3(a)是通过将图2(a)所示的图象划分为25个块而获得的示意图,每个块是构成图3(a)所示画面的一部分图象。同样,图3(b)示出通过将图2(b)所示的图象划分为25块而获得的示意图。采用附着在图3(a)和3(b)中每个块上的数字区分这些块,假设在图3(a)和3(b)中具有相同数字的块是相互对应的。例如,图3(a)中的第7块对应于图3(b)中的第7块。此外,假设在由图2(a)的图象产生图2(b)的图象时通过使图3(a)中每个块放大或缩小使图2(a)中的图象变形,产生图2(b)中的图象,即,假设图3(b)中的每个块是通过使图3(a)中相应块或等效块放大或缩小而获得的块。在这种情况中,变形信息产生装置5产生每个块的放大或缩小程度的信息,对应第1至第5个块,使得图3(b)中的每个块的大小变为等于图3(a)中相应块的大小,对应第6至第15个块,使图3(a)中相应块的长度和宽度缩小3/4,对应于第16至25块,使图3(a)相应块的长度和宽度缩小至1/2,此外,当只缩小图3(a)中每个块时,例如,仅缩小第7或第18个块的大小,如图4所示,由此,第7或第18个块的形状不与图3(b)中第7或第18个块的形状相拟合。然而,在这种情况下,假设只放大或缩小图3(a)中每个块,由此,使每个块接近于图3(b)中的相应块。
然后,IDCT控制装置6控制IDCT装置按照由变形信息产生装置5提供的多个块中每个块的放大或缩小程度信息对每个块的MPEG图象数据进行解码的解码方法。
此外,VLC装置1输入可变长度编码的MPEG图象数据并对其进行可变长度解码,逆定量化装置2对可变长度解码的MPEG图象数据进行逆定量化。
另外,对于MPEG图象的每个块,IDCT装置3按照由IDCT控制装置6提供的解码方法的控制对逆定量化装置2提供的经过逆定量化的MPEG图象数据进行解码。假设块,即图3(a)中的每个块是部分图象,其中对8×8个DCT系数全部解码。因此,如图5(a)所示,对于图3(a)中的第1至第5个块,IDCT装置3对所有的8×8个DCT系数进行解码,如图5(b)所示,对于第6至第15个块,对8×8个DCT系数当中低频侧的6×6个DCT系数进行解码,如图5(c)所示,对于第16至第25个块,对8×8个DCT系数当中低频侧的4×4个DCT系数进行解码。然后,IDCT装置3通过第二加法装置11把解码图象,即图2(b)所示的图象输出到格式变换装置12。
此外,IDCT装置3独立于IDCT控制装置6提供的解码方法的控制对于由逆定量化装置2提供的经过逆量化的MPEG图象数据而获得的MPEG图象的每个块对所有的8×8个DCT系数进行解码并将解码图象,即图2(a)所示的图象输出到帧缓冲器8。此外,帧缓冲器8暂时存储图2(a)所示的图象。这是因为当由VLC装置1输入的MPEG图象数据是P图象或B图象时,图2(a)所示的图象的暂时存储是必需的。
然后,格式变换装置12把由IDCT装置3提供的通过第二加法装置11传送的图象格式从YUV变换为RGB。
最后,映射装置13按照CD原始数据产生装置4提供的映射位置的指定,将格式变换装置12提供的图象显示在个人计算机等显示屏上。
然后,下面将描述当VLC装置1输入的MPEG图象数据是P图象或B图象的数据时图象处理器的操作。
当VLC装置1输入的MPEG图象数据是P图象的数据时,帧缓冲器8应当已经存储了至少I图象。此外,当VLC装置1输入的MPEG图象数据是B图象的数据时,帧缓冲器8应当已经存储了I图象和P图象的完全解码图象。这是因为P图象或B图象的数据只包括差值数据和运动矢量数据,由此,用作它们的参考的图象是产生整个图象必需的。
此外,如上所述,CG原始数据产生装置4接收一个来自用户的指定,表示当把MPEG图象显示在个人计算机等显示器上时如何使由VLC装置1输入的MPEG图象数据所获得的MPEG图象变形,以及把表示如何使MPEG图象变形的信息输出到变形信息产生装置5。
此外,变形信息产生装置5根据CG原始数据产生装置4提供的MPEG图象的变形的指示产生多个块中每个块的放大或缩小程度的信息,这些块是通过对图3(a)中所示的MPEG图象进行划分而获得的。在这种情况中,变形信息产生装置5产生每个块的放大或缩小程度的信息,使得对于第1至第5个块,图3(b)中的每个块的大小与图3(a)中相应块的大小相等,对于第6至第10个块,使图3(a)中相应块的长度和宽度缩小到3/4,对于第11至第20个块,使图3(a)中相应块的长度和宽度缩小到1/2,对于第21至第25个块,使图3(a)中相应块的长度和宽度缩小到1/4。
然后,IDCT控制装置6根据由变形信息产生装置5提供的多个块中每个块的放大或缩小程度的信息控制IDCT装置3对MPEG图象数据每个块进行解码的解码方法。
此外,VLC装置1输入可变长度编码MPEG图象数据并进行可变长度解码,逆量化装置2对可变长度解码的MPEG图象数据进行逆量化。
然后,IDCT装置3根据IDCT控制装置6提供的对MPEG图象的每个块进行解码方法的控制,仅对由逆量化装置2提供的经过逆量化的MPEG图象数据的差值数据进行解码。即,对于图3(a)中所示的MPEG图象的第1至第5个块,IDCT装置3对所有的8×8个DCT系数进行解码,如图5(a)所示,对于第6至第10个块,对低频侧的6×6个DCT系数进行解码,如图5(b)所示,对于第11至第20个块,对低频侧的4×4个DCT系数进行解码,如图5(c)所示,对于第21至第25个块,对低频侧的2×2个DCT系数进行解码,如图5(d)所示。然后,IDCT装置3按照IDCT控制装置6提供的解码方法的控制,把仅对差值数据进行解码而获得的差值图象输出到第二加法装置11。
此外,IDCT装置3对所有的8×8个DCT系数进行解码,这些系数仅仅是由逆量化装置2提供的每个块的经过逆量化的MPEG图象数据的差值数据,以及把经过解码的差值图象输出到第一加法装置7。差值图象的大小与图2(a)中的图象的大小相等。
然后,运动补偿装置9输入由VLC装置1输入的运动矢量和用作运动矢量参考的整个图象,例如来自帧缓冲器8的I图象,产生经过运动补偿的图象,其中仅补偿了运动矢量。经过运动补偿的图象是其大小与对于任何一个块对I图象的数据的每个8×8DCT系数解码的图象的大小相等的图象。即,经过运动补偿的图象的大小等于图2(a)中图象的大小。此外,运动补偿装置9把经过运动补偿的图象输出到校正装置10,还将其输出到第一加法装置7。
第一加法装置7将IDCT装置3提供的对于任何一个块对所有8×8DCT系数进行解码的差值图象与运动补偿装置9提供的对应于该差值图象的经过运动补偿的图象相加,将相加后的图象输出到帧缓冲器8,帧缓冲器8暂时存储由第一加法装置7提供的将差值图象与经过运动补偿的图象相加而获得的图象,作为P图象或B图象的整个图象。
此外,校正装置10输入来自运动补偿装置9的经过运动补偿的图象,当将25个块中的每个块放大或缩小为图3(b)中的相应的块时还输入由变形信息产生装置5提供的图3(a)中经过运动补偿的图象的25个块中每个块的放大或缩小程度的信息。此外,校正装置10根据25个块中每个块的放大或缩小程度信息内插和稀化经过运动补偿的图象的象素,并由此变形经运动补偿的图象,产生一幅参考图象。即,校正装置对对应于IDCT装置3按照IDCT控制装置6提供的解码方法的控制仅对差值数据解码时获得的差值图象的运动补偿图象的每个块的象素进行内插和稀化,使得经过运动补偿的图象的每个块的大小与差值图象的每个块的大小相等,由此对经过运动补偿的图象的每个块进行放大或缩小。例如,当IDCT装置对第7个块的低频侧的6×6DCT系数进行解码时,校正装置10使经过运动补偿的图象的第7个块的象素稀化,使得第7个块的大小与对6×6DCT系数进行解码的部分图象的大小相等。然后,校正装置10把参考图象输出到第二加法装置11。
然后,第二加法装置11将由IDCT装置3提供的按照IDCT控制装置6的解码方法的控制仅对差值数据进行解码的差值图象与由校正装置10提供的对应于该差值图象的参考图象相加,然后把相加后的图象输出到格式变换装置12。
然后,格式变换装置12把第二加法装置11提供的图象的格式从YUV变为RGB。
最后,映射装置13按照CG原始数据产生装置4提供的映射位置的指示把格式变换装置12提供的图象显示在个人计算机等显示器上。
(根据本发明第一方面的实施例2)
首先,对根据本发明第一方面的实施例2的图象处理器的结构描述如下。
图6示出根据本发明第一方面的实施例2的图象处理器的方框图。为本发明第一方面的实施例2的处理器提供的配置装置与为实施例1的图象处理器提供的配置装置相同。即,实施例2的图象处理器由VLD装置1、逆定量化装置2、IDCT装置3、CG原始数据生成装置4、变形信息生成装置5、IDCT控制装置6、复原装置14、格式变换装置12和映射装置13组成。
VLD装置1是输入可变长度编码DV图象数据并对其进行可变长度解码的装置。
逆定量化装置2是从VLD装置1输入可变长度解码DV图象数据并对该数据进行逆定量化的装置。
IDCT装置3是从逆定量化装置2输入经过逆定量化的DV图象数据并对实施例1所使用的图3中所示的每个块的DV图象数据进行解码的装置。
CG原始数据生成装置4是从用户那里接收一个表明把DV图象数据显示在个人计算机等显示器上哪里、什么形状和大小的指示以及把该指示的信息输出到变形信息生成装置5的装置,DV图象数据是从输入到VLD装置1的DV图象数据经过解码获得的。显示器显示从图象处理器提供的DV图象。
变形信息生成装置5是按照从CG原始数据生成装置4提供的DV图象的变形的指示产生实施例1所采用的图3所示的多个块中每个块的放大或缩小程度的信息的装置。
IDCT控制装置6是按照从变形信息生成装置5提供的多个块中每个块的放大或缩小程度的信息控制IDCT装置3对每个块的DV图象数据进行解码时的解码方法的装置。
复原装置14是正确地排列由IDCT装置3提供的每个块的解码部分图象并完成每一帧图象的装置。
格式变换装置12是将复原装置14提供的图象的格式从YUV格式变换为RGB格式的装置。
映射装置13是按照CG原始数据生成装置4提供的映射位置的指示将格式变换装置12提供的图象显示在个人计算机等的显示屏上的装置。
然后,下面将描述根据本发明第二方面的实施例1的图象处理器的操作。
首先,CG原始数据产生装置4从用户那里接收一个指示,表明当如图2(b)所示使DV图象变形并将其显示在个人计算机等显示器上时如何使图2(a)所示的由VLC装置1输入的DV图象数据产生的DV图象变形,以及把该指示的信息输出到变形信息产生装置5。对于实施例2,假设图2(a)示出对DV图象数据的所有DCT系数进行解码时的图象,图2(b)示出通过使图2(a)中的图象变形而获得的图象。
此外,变形信息产生装置5产生对应于图2(a)的图3(a)中多个块的每个块的放大或缩小程度的信息,以致于按照CG原始数据产生装置4提供的DV图象的变形的指示由图2(a)的图象产生图2(b)的图象。此外,对于实施例2,假设图3(a)表示通过将图2(a)的图象划分为25个块而获得的示意图,每个块是构成图3(a)中图象的一部分图象。同样,假设图3(b)表示通过将图2(b)的图象划分为25个块而获得的示意图。此外,假设附加在图3(a)和3(b)中的每个块的数字是区分各个块的数字,在图3(a)和3(b)中相同的数字是相互对应的。此外,假设图2(b)中的图象是通过使图3(a)中每个块放大或缩小和使图2(a)中的图象变形由图2(a)的图象而产生的。即,假设图3(b)中的每个块是通过使图3(a)中相应的块或者等效于图3(a)中块的放大或缩小而获得的块。在这种情况中,变形信息产生装置5产生图3(b)中每个块的放大或缩小程度的信息,以致于对于第1至第5个块,图3(b)中每个块的大小与图3(a)中相应块的大小相等,对于第6至第15个块,使图3(a)中相应块的长度和宽度缩小到3/4,对于第16至第25个块,使图3(a)中相应块的长度和宽度缩小到1/2。当只缩小图3(a)中每个块时,例如,如图4所示仅缩小第7或第18个块的大小,而每个块的形状不与图3(b)中第7或第18个块的形状相拟合。然而,在这种情况下,假设通过仅放大或缩小图3(a)中的每个块,图3(a)中每个块接近于图3(b)中的相应的块。
然后,IDCT控制装置6按照变形信息产生装置5提供的多个块中每个块的放大或缩小程度的信息控制IDCT装置3对每个块的DV图象数据进行解码时的解码方法。
此外,VLD装置1输入可变长度编码DV图象数据并对其进行可变长度解码,逆量化装置2对经过可变长度解码的DV图象数据进行逆量化。
另外,按照IDCT控制装置6对解码方法的控制,IDCT装置3对逆量化装置2提供的DV图象数据的每幅DV图象,即图3(a)中示意图的每个块的经过逆量化处理的DV图象数据进行解码,依次将经过解码的DV图象数据输出到复原装置14。对于实施例2,假设IDCT装置3按照第1→第3→第5→第7→…→第2 1→第23→第25→第2→第4→第6→第8→…→第20→第22→第24块的次序对图3(a)中的块进行解码。此外,假设图3(a)中的每个块是对其中每8×8DCT系数进行解码的一部分图象。下面将表明解码方法。即,如图5(a)所示,对于图3(a)中的第1至第5个块,IDCT装置3对每8×8个DCT系数进行解码,如图5(b)所示,对于第6至第15个块,对8×8个DCT系数当中低频侧的6×6个DCT系数进行解码,如图5(c)所示,对于第16至第25个块,对8×8个DCT系数当中低频侧的4×4个DCT系数进行解码。
然后,复原装置14把从IDCT装置3提供的每个块解码后的图3(a)中每个块的部分图象正确地排列到图3(b)的块的位置,其数字对应于图3(a)的块,完成一幅图象。例如,把图3(a)中第13个块的部分图象排列到图3(b)的第13个块的位置以及把图3(a)中第21个块的部分图象排列到图3(b)的第21个块的位置。此外,复原装置14把所完成的图象输出到格式变换装置12。
然后,格式变换装置12把复原装置14提供的图象从YUV变为RGB。
最后,映射装置13按照CG原始数据产生装置4提供的映射位置的指示把格式变换装置12提供的图象显示在个人计算机等显示器上。
对于实施例2,假设IDCT装置3对图3(a)中每个块进行解码的顺序为第1→第3→第5→第7→…→第21→第23→第25→第2→第4→第6→第8→…→第20→第22→第24块的次序。然而,顺序不限于上述顺序。简单地说,实施例2的IDCT装置3不是按照附加在图3(a)中块上数字顺序对每个块进行解码的。
对于本发明的第一方面,CG原始数据产生装置4、变形信息产生装置5和IDCT控制装置6用作图象变形信息输入装置。VLC装置1、逆量化装置2和IDCT装置3用作解码装置。此外,第一加法装置7、帧缓冲器8、运动补偿装置9和校正装置10用作参考图象产生装置。另外,第二加法装置11用作加法装置,复原装置14用作重新排列装置。然而,根据本发明第一方面的图象变形信息输入装置不限于上述的CG原始数据产生装置4、变形信息产生装置5和IDCT控制装置6。总而言之,能够采用任何装置,只要该装置输入图象的每个部分的放大或缩小程度的信息。此外,根据本发明第一方面的解码装置不限于VLC装置1、逆量化装置2和IDCT装置3。总而言之,能够采用任何装置,只要该装置从图象变形信息输入装置输入编码的图像数据并输入图象的每个部分的放大或缩小程度的信息,按照放大或缩小图象的每一部分的程度信息对图象数据进行解码,并独立于放大或缩小程度信息对整个图象数据进行解码。此外,能够采用任何装置作为本发明第一方面的解码装置,只要该装置输入编码图象数据,还输入由图象变形信息输入装置提供的图象的每个部分的放大或缩小程度的信息,以及按照放大或缩小程度信息对图象的每个部分的图象数据进行解码。再有,根据本发明第一方面的参考图象产生装置不限于第一加法装置7、帧缓冲器8、运动补偿装置9和校正装置10。总而言之,能够采用任何装置,只要该装置产生利用由解码装置提供的和对整个图象数据解码的图象和由图象变形信息输入装置提供的图象的每个部分的放大或缩小程度信息以及图象数据的运动矢量使其每个部分放大或缩小的参考图象。
此外,尽管假设图3(a)和3(b)分别表示通过将图2(a)或2(b)中的图象划分为25个块而获得的示意图,然而,将图3(a)或3(b)中图象划分为块的块数不局限于25。即可以将图3(a)中的第1至第5个块合成为一个块。简单地说,图3(a)中的图象能够使用任何图象,只要在把图3(a)中图象变形为图3(b)中图象时将该图象划分为每个部分具有相同的图象放大或缩小程度的块。此外,图3(b)中的图象能够采用任何图象,只要把该图象划分为每个部分具有相同的图象放大或缩小程度的块,以致于对应于图3(a)中的块划分。
再有,当把图2(a)中的图象变形为图2(b)的图象时,示出的情况是这样,对图3(a)中每个块进行解码,以致于具有相等的大小或者被缩小。然而,可以根据图象的变形程度将图3(a)中的每个块相应地放大。放大是通过把0值的数据增加到例如8×8DCT系数的九阶或更高阶的高频分量上,产生10×10DCT系数并对其解码而进行的。
另外,当使图象缩小时,可以使整个图象缩小,相对于图象的缩小程度,使得图3(a)中的一些块不出现在图3(b)中。即存在这样的情况,其中块的缩小率等于100%。在这种情况中,因为在产生图象时缺少的块与下一个块之间的差是必然的,因此仅对8×8DCT系数中的直流分量进行解码。
另外,对于上述实施例,由IDCT装置3、第二加法装置11或复原装置14提供的图象的格式被格式变换装置12转换。然而,不总是需要对格式进行转换。一句话,为了把由根据本发明第一方面的图象处理器提供的图象显示在个人计算机等显示器上,仅需要使图象的格式与显示器相拟合。因此,当格式变换装置12不对图象的格式进行转换时,映射装置13把由IDCT装置3、第二加法装置11或复原装置14提供的图象显示在显示器上。
另外,对于上述实施例,描述了把一幅图象显示在个人计算机等显示器上的情况。然而,为了把多幅图象显示在显示器上,仅需要将每幅图象划分为块,然后在对图象数据解码时使每个块放大或缩小,使图象变形。
如上所述,本发明的第一方面可以提供一种在对编码图象数据进行解码时按照图象的每个部分的放大或缩小程度信息使图象变形的图象处理器。
然而,下面将参考附图描述根据本发明第二方面的实施例。
(根据本发明第二方面的实施例1)
首先,将描述根据本发明第二方面的实施例1的图象数据处理器的结构。
图10示出根据本发明第二方面的实施例1的图象数据处理器的方框图。根据本发明第二方面的实施例1的图象数据处理器由用户I/F电路1000、形状计算电路101、计算量控制电路102、解码和内插电路110、存储器I/F111以及存储器112构成。形状计算电路101、计算量控制电路102以及解码和内插电路110分别提供有构成它们中每一个的配置装置。下面将描述配置装置。
图14(a)示出个人计算机的显示器501。个人计算机的显示器501是一个显示由本发明第二方面实施例1的图象数据处理器提供的图象的显示器。对于实施例1,假设有5个窗口503、504、505、506和507显示在显示器501上,每个窗口是显示有图象。此外,假设显示在上述5个窗口当中的窗口503、505、506和507上的图象是由MPEG图象数据解码的图象。
用户I/F电路1000是从用户那里接收待显示在图14(a)中显示器501上的图象的大小、形状和位置的指示的装置。
形状计算电路101是按照用户I/F电路1000提供的窗口大小和形状信息确定窗口的大小和形状以及使图象放大或缩小以便与窗口拟合时计算图象在纵向和横向上的放大/缩小率的装置。如图11所示,形状计算电路101设置有粘贴面大小和形状确定电路201和纵横比计算电路202。具体地说,粘贴面大小和形状确定电路201确定窗口的大小和形状,纵横比计算电路202计算放大/缩小率。此外,放大/缩小率是为了使对图象代码产生源1.106、图象代码产生源2.107、图象代码产生源3.108、…或图象代码产生源n.109提供的MPEG图象数据的每个DCT系数进行解码而获得的每幅图象与相应窗口的大小和形状相拟合所需的信息。
图象代码产生源1.106是产生待显示在图14(a)中显示器501的窗口503上图象的编码MPEG图象数据的装置。同样,图象代码产生源2.107、图象代码产生源3.108、…、和图象代码产生源n.109分别是产生显示在图14(a)中显示器501的窗口505、506或507上图象的编码MPEG图象数据的装置。此外,对于实施例1,假设n等于4。
计算量控制电路102是把图象写入存储器112时规定图象写入位置,以致于按照用户I/F电路1000提供的信息和形状计算电路101提供的信息把图象准确地显示在图14(a)中显示器501的窗口上的装置。此外,计算量控制电路102是利用上述两类信息控制由解码和内插电路110对MPEG图象数据进行解码的方法以及控制由MPEG图象数据解码的图象的大小和形状以便与窗口拟合的装置。下面在描述根据本发明第二方面实施例1的图象数据处理器的操作时将解释规定图象写入位置、MPEG图象数据解码方法以及控制图象的大小和形状。此外,正如图12所示,计算量控制电路102设置有写入位置控制电路302、图象解码控制电路304和大小变化控制电路303。
解码和内插电路110是从图象代码产生源1.106、图象代码产生源2.107、图象代码产生源3.108、…或图象代码产生源n.109中的每一个输入编码的MPEG图象数据、对每个MPEG图象数据进行解码、以及使象素稀疏或内插以致于使每个解码图象与图14(a)中显示器501的相应窗口相拟合的装置。此外,正如图13所示,解码和内插电路110设置有处理量分配电路A404、MPEG解码电路群408、处理量分配电路B412和放大/缩小电路群416。此外,MPEG解码电路群408和放大/缩小电路群416每一个都进一步设置有构成其的配置装置。下面将描述配置装置。
存储器I/F111是从解码和内插电路110的放大/缩小电路群416输入多幅图象和从处理量控制电路102的写入位置控制电路302输入每幅图象被写入存储器112时的写入位置的信息以及安排对应于每幅图象的写入位置的信息的装置。
存储器112是从存储器I/F111输入图象和对应于该图象的写入位置的多个信息组以及将图象存储起来以致于图象按照写入位置的输入信息显示在图14(a)中显示器501的预定位置上的装置。
然后,将描述根据本发明第二方面的实施例1的图象数据处理器的操作。
首先,用户I/F电路1000从用户那里接收用户待显示在图14(a)显示器501上的5幅图象的的窗口的大小、形状和位置指示并把该指示的信息输出到形状计算电路101的粘贴面大小和形状确定电路201和处理量控制电路102的写入位置控制电路302。
然后,形状计算电路101的粘贴面大小和形状确定电路201按照用户I/F电路1000提供的5个窗口的大小和形状信息确定5个窗口的大小和形状并将已确定的大小和形状信息输出到纵横比计算电路202。此外,纵横比计算电路202按照该信息计算待显示在5个窗口上的图象的放大/缩小比例并把计算结果输出到解码和内插电路110的处理量控制电路102和处理量分配电路A404的各个配置装置。
尔后,处理量控制电路102的写入位置控制电路302首先输入由I/F1000提供的5幅图象的大小、形状和位置的信息和由形状计算电路101的纵横比计算电路202提供的待显示在5个窗口上的图象的放大/缩小比例信息。此外,规定图象写入到存储器112中时的图象写入位置使得图象按照上述两组信息准确地显示在5个窗口上,所规定的写入位置的信息被输出到存储器I/F111。
与此同时,处理量控制电路102的图象解码控制电路304确定由解码和内插电路110的MPEG解码电路群408执行的MPEG图象数据解码方法,以便按照形状计算电路101的纵横比计算电路202提供的放大/缩小比例的信息对其大小和形状最接近5个窗口中每个窗口的大小和形状的图象进行解码。此外,电路304把解码方法的信息输出到解码和内插电路110的处理量分配电路A404。
下面将具体地描述由图象解码控制电路304确定的解码方法。为了描述解码方法,假设采用说明对由图象代码产生源1.106提供的MPEG图象数据的每个DCT系数进行解码的举例作为图象代码产生源1.106的原始举例和显示在图14(a)中显示器501窗口503上的原始举例的放大或缩小的举例。此外,图15(a)至15(d)示出说明由解码和内插电路110的MPEG解码电路群408执行的MPEG图象数据解码方法的示例。
当图象代码产生源1.106的原始示例的大小等于或接近于窗口503的大小时,图象解码控制电路304确定解码方法,使得MPEG解码电路群408对由图象代码产生源1.106提供的MPEG图象数据的每个8×8DCT系数进行解码。即,正如图15(a)所示,MPEG解码电路群408对由图象代码产生源1.106提供的MPEG图象数据的每个DCT系数进行解码。
然后,当窗口503的大小在纵向和横向两个方向上都接近于图象代码产生源1.106的原始示例的3/4时,图象解码控制电路304确定解码方法,使得MPEG解码电路群408仅对由图象代码产生源1.106提供的MPEG图象数据的每个8×8DCT系数当中的低频侧6×6个系数进行解码。即,正如图15(b)所示,MPEG解码电路群408仅对由图象代码产生源1.106提供的MPEG图象数据的6×6个DCT系数进行解码。此外,当窗口503的大小在纵向和横向两个方向上都接近于图象代码产生源1.106的原始示例的1/2时,图象解码控制电路304确定解码方法,使得MPEG解码电路群408仅对低频侧4×4个DCT系数进行解码,如图15(c)所示。
此外,当窗口503的大小在纵向和横向两个方向上都约大于图象代码产生源1.106的原始示例的2倍时,图象解码控制电路304确定解码方法,使得MPEG解码电路群408把0系数增加到由图象代码产生源1.106提供的8×8MPEG图象数据的DCT系数中,作为高频分量系数,把它们解码为16×16个系数。即,正如图15(d)所示,MPEG解码电路群408把0系数增加到由图象代码产生源1.106提供的8×8MPEG图象数据的DCT系数中,把它们解码为16×16个系数。此外,当窗口503的大小在纵向和横向两个方向上都约大于图象代码产生源1.106的原始示例的N(自然数)倍时,图象解码控制电路304确定解码方法,使得MPEG解码电路群408把0系数增加到由图象代码产生源1.106提供的8×8MPEG图象数据的DCT系数中,作为高频分量系数,把把它们解码为8N×8N个系数。因此,当图象代码产生源1.106的原始示例放大时,原始示例被放大到自然数N倍。
如上所述,处理量控制电路102的图象解码控制电路304确定由解码和内插电路110的MPEG解码电路群408执行的MPEG图象数据解码方法。
此外,在确定解码方法时,处理量控制电路102的大小变化控制电路303同时确定待由解码和内插电路110的放大/缩小电路群416放大或缩小的图象的放大或缩小方法,从而按照形状计算电路101的纵横比计算电路202提供的图象的放大/缩小比例信息使得图象与5个窗口中每个窗口的大小和形状相拟合。
根据对以上解码方法的描述,由图象代码产生源1.106提供的MPEG图象数据的原始示例仅仅被MPEG解码电路群408放大或缩小到诸如自然数N倍或6/8或4/8倍的规定大小。因此,每个窗口具有诸如原始示例的2/5倍的非规定尺寸时,尺寸变化控制电路303确定对图象进行放大或缩小的方法,以便使放大/缩小电路群416稀疏或内插象素使得由MPEG解码电路群408解码的图象与每个窗口相拟合。
此外,尺寸变化控制电路303把所确定的放大/缩小方法的信息输出到解码和内插电路110的处理量分配电路B412。
解码和内插电路110的处理量分配电路A404首先输入来自图象代码产生源1.106、图象代码产生源2.107、图象代码产生源3.108、…、和图象代码产生源n.109每一个的编码的MPEG图象数据。然后,电路A404基于形状计算电路101的纵横比计算电路202提供的多个MPEG图象数据值将图象的放大/缩小的信息与由处理量控制电路102的图象解码控制电路304提供的多个MPEG图象数据值的解码方法的信息进行比较。此外,处理量分配电路A404按照对MPEG图象数据值进行解码的处理量确定在MPEG解码电路群408的一组算术单元之外的被分配对多个MPEG图象数据值进行解码的一些算术单元。以下将描述这些算术单元。即,处理量分配电路A404按照对MPEG图象数据值进行解码的处理量确定在MPEG解码电路群408的一组算术单元之外的被分配对多个MPEG图象数据值进行解码的一些算术单元,使得MPEG解码电路群408能够按照解码MPEG图象数据的处理量同时并行地对多个MPEG图象数据值进行解码。此外,处理量分配电路A404把已确定的分配信息和由图象代码产生源1.106、图象代码产生源2.107、图象代码产生源3.108、…、和图象代码产生源n.109每一个提供的MPEG图象数据输出到解码和内插电路110的MPEG解码电路群408。
尔后,MPEG解码电路群408从处理量分配电路A404输入分配信息和多个MPEG图象数据值。
正如图16所示,MPEG解码电路群408由外部接口电路2500、耦合系计算电路2509、变量耦合电路2507、算术单元-12501、算术单元-22502、算术单元-32503、算术单元-42504、算术单元-52505、…、算术单元-n2506以及数据暂时存储电路2508组成。
因此,输入到MPEG解码电路群408的分配信息和多个MPEG图象数据值实际上是输入到外部接口电路2500。
此外,数据暂时存储电路2508从外部接口电路2500输入多个MPEG图象数据值并将它们暂时存储起来。
再有,耦合系计算电路2509从外部接口电路2500输入分配信息并将该信息输出到变量耦合电路2507。
尔后,变量耦合电路2507按照耦合系计算电路2509提供的分配信息把暂时存储在暂存电路2508中的MPEG图象数据值分配给多个算术单元中的一些单元。例如,对应于图14(a)中显示器501的大窗口的MPEG图象数据被分配给3个算术单元,作为需要大处理量的数据,因为MPEG图象数据包括大量的对数据进行解码的DCT系数,正如在说明解码方法时所描述的。然而,把对应于小窗口的图象数据分配给1个算术单元,作为需要小处理量的数据,因为MPEG图象数据包括少量几个对数据进行解码的系数。具体地说,在图15(a)中分配3个算术单元,在图15(c)中分配1个算术单元。
此外,1个已分配的单元或者多个已分配的单元对相应的MPEG图象数据进行解码。在这种情况中,已分配的一组算术单元的全部或一部分同时并行地对多个MPEG图象数据值进行解码。对数据值进行解码的方法与利用图15(a)至15(d)所描述的由处理量控制电路102的图象解码控制电路304确定的解码方法相一致。然而,对解码方法的描述从略,因为已经对该方法作了描述。通过外部接口电路2500把这些已解码的图象输出到解码和内插电路110的处理量分配电路B412。
然后,处理量分配电路B412首先从MPEG解码电路群408输入多幅图象。然后,处理量分配电路B412决定由MPEG解码电路群408提供的图象的稀疏或内插象素的处理量,从而按照处理量控制电路102的尺寸变化控制电路303提供的图象放大/缩小信息使得由MPEG解码电路群408解码的每幅图象与相应窗口的大小和形状相拟合。此外,电路B412按照上述决定结果确定在放大/缩小电路群416的一组算术单元之外的被分配对MPEG解码电路群408提供的多幅图象进行处理的一些算术单元。所确定的算术单元与如上所述的MPEG解码电路群408的算术单元之一相同。即,处理量分配电路B412确定在放大/缩小电路群416的一组算术单元之外被分配对图象进行处理的一些算术单元,使得放大/缩小电路群416能够按照MPEG解码电路群408提供的图象的处理量同时对多幅图象进行并行处理。此外,处理量分配电路B412把已确定的分配信息和MPEG解码电路群408提供的多幅图象输出到解码和内插电路110的放大/缩小电路群416。
尔后,放大/缩小电路群416从处理量分配电路B412输入分配信息和图象。
放大/缩小电路群416与MPEG解码电路群408相似,由外部接口电路、耦合系计算电路、变量耦合电路、多个算术单元和数据暂时存储电路组成。
因此,对于与MPEG解码电路群408相似的放大/缩小电路群416,已分配的1个算术单元和已分配的多个算术单元按照处理量分配电路B412提供的分配信息对相应图象的象素进行稀疏或内插。例如,为了把图17(a)所示的图象缩小为图17(b)所示的图象,使象素稀疏。在这种情况中,3个算术单元进行防止在象素稀疏化期间出现折叠畸变的处理,1个算术单元进行象素稀疏化。此外,如果需要的话,2个算术单元进行色彩变换。因此,已分配的一组算术单元的全部或一部分按照处理量分配电路B412提供的分配信息同时对多幅图象的象素并行地进行稀疏或内插。在这种情况中,对象素进行稀疏或内插,从而与相应窗口的大小和形状相拟合。把对象素进行稀疏或内插的图象通过外部接口电路输出到存储器I/F111。
然后,存储器I/F输入由放大/缩小电路群416提供的多幅图象和由处理量控制电路102的写入位置控制电路302提供的在将图象写入存储器112中时的写入位置信息、为图14(a)所示的显示器501的5个窗口的每个窗口安排每一幅图象和对应于该图象的写入位置信息、以及把信息与从放大/缩小电路群416提供的图象一起输出到存储器112。
最后,存储器112将图象存储起来,以致于每幅图象准确地显示在图14(a)所示的显示器501的预定位置上。当再现存储在存储器112中的图象时,它们分别显示在图14(a)所示的显示器501的相应窗口上。
采用媒体处理器作为MPEG解码电路群408和放大/缩小电路群416的也是可以的。
对于实施例1,描述了处理量分配电路A404与处理量分配电路B412分开以及MPEG解码电路群408与放大/缩小电路群416分开的情况。然而,采用处理量分配电路A404与处理量分配电路B412作为一个不使它们分开的处理量分配电路以及MPEG解码电路群408与放大/缩小电路群416作为一个不使它们分开的图象数据处理电路也是可行的。在这种情况下,对于图象数据处理电路,按照处理分配电路提供的指示通过已分配的单元对MPEG图象数据进行解码和对图象进行放大或缩小是可能的。
此外,对于实施例1,描述了待显示在每个窗口上的图象具有相同的整幅图象的放大/缩小比例的情况,如图14(a)的显示器501所示。然而,也可以采用整个放大/缩小比例是不同的但是它是局部不同的图象,象图18中显示器的窗口1201和1203所示的图象。在这种情况下,通过假设图象的处理量比产生具有相同放大/缩小比例的图象的情况大得多,对于MPEG解码电路群408和放大/缩小电路群416,通过对应于该图象的处理量的算术单元,能够对具有局部不同的放大/缩小比例的图象进行处理。
(根据本发明第二方面的实施例2)
下面将描述根据本发明第二方面的实施例2的图象数据处理器的构造和操作。
根据本发明第二方面的实施例2的图象数据处理器的构造与根据本发明第二方面的实施例1的图象数据处理器的构造相同,但是它的操作与根据本发明第二方面的实施例1的图象数据处理器的操作不同。
因此,对于实施例2,仅仅描述针对不同于实施例1所描述的操作部分。
在图14(a)所示的显示器501的5个窗口当中,使窗口505和506和窗口506和507产生显示以致于相互存在重叠。因此,当用户I/F电路1000从用户那里接收一个表明使这些窗口产生显示以致于它们产生局部相互重叠的指示时,电路1000甚至把重叠状态的信息输出到形状计算电路101的粘贴面大小和形状确定电路201。
在这种情况下,粘贴面大小和形状确定电路201还利用用户I/F电路1000提供的重叠状态信息确定5个窗口的大小和形状。
尔后,形状计算电路101的纵横比计算电路202把显示在图14(a)所示的显示器501的5个窗口上的图象的放大/缩小比例信息输出到处理量控制电路102的每个配置装置和解码和内插电路110的处理量分配电路A404,此外还把用户I/F电路1000输入的重叠状态信息输出到处理量控制电路102的每个配置装置和处理量分配电路A404。
然后,处理量控制电路102的写入位置控制电路302也利用形状计算电路101的纵横比计算电路202提供的窗口重叠状态信息规定图象写入存储器112中时的5幅图象的写入位置。
此外,处理量控制电路102的图象解码控制电路304也利用形状计算电路101的纵横比计算电路202提供的窗口重叠状态信息确定对MPEG图象数据进行解码的方法,使得当解码和内插电路110的MPEG解码电路群408对MPEG图象数据进行解码时不对重叠部分进行解码。即,图象解码控制电路304确定图14(a)中显示器501的窗口505和507的解码方法,使得MPEG解码电路群408仅对图14(b)中窗口508和509中图象的MPEG图象数据进行解码。总而言之,解码方法是这样确定的,即在图14(a)中显示器501的窗口505和507被窗口506遮挡的部位上不对MPEG图象数据进行解码。结果,降低了由MPEG解码电路群408进行解码的处理量。
此外,处理量控制电路102的尺寸变化控制电路303也利用形状计算电路101的纵横比计算电路202提供的窗口重叠状态信息确定使由解码和内插电路110的MPEG解码电路群408解码的图象放大或缩小的方法,使得图象分别与其5个相应窗口的大小和形状相拟合。即,放大/缩小方法是这样确定的,即在图14(a)中显示器501的窗口505和507被显示器501的窗口506遮挡的部位上,解码和内插电路110的放大/缩小电路群416不对图象进行处理。结果,降低了由放大/缩小电路群416进行的处理量。
然后,解码和内插电路110的处理量分配电路A404利用处理量控制电路102的图象解码控制电路304提供的解码方法中考虑窗口重叠状态的信息确定在MPEG解码电路群408的一组算术单元之外被分配对多幅图象的MPEG图象数据进行解码的一些算术单元。即,处理量分配电路A404确定MPEG解码电路群408的一组算术单元的分配,以致于与实施例1的情况相比,降低了待解码的MPEG图象数据的量,其降低量等效于图14(a)中显示器501的窗口505和507被显示器501的窗口506遮挡的部位的值。
然后,解码和内插电路110的处理量分配电路B412利用处理量控制电路102的尺寸变化控制电路303提供的放大/缩小方法中考虑窗口重叠状态的信息确定在放大/缩小电路群416的一组算术单元之外被分配对由MPEG解码电路群408提供的多幅图象进行处理的一些算术单元。即,处理量分配电路B412确定放大/缩小电路群416的一组算术单元的分配,以致于与实施例1的情况相比,降低了图象的放大/缩小值,其降低量等效于图14(a)中显示器501的窗口505和507被窗口506遮挡的部位的值。
此外,存储器I/F111输入来自放大/缩小电路群416的多幅图象和由处理量控制电路102的写入位置控制电路302提供的图象被写入存储器112时的写入位置信息,仅把图14(a)中5个窗口中窗口505和507的图14(b)中所示的部分写入到存储器112中。
结果,当重现存储在存储器112中的图象时,与实施例1的情况相似,它们显示在图14(a)中显示器501的相应的窗口上。
(根据本发明第二方面的实施例3)
下面将描述根据本发明第二方面的实施例3的图象数据处理器的构造和操作。
根据本发明第二方面的实施例3的图象数据处理器的构造与根据本发明第二方面的实施例1的图象数据处理器的构造相同,但是有一些操作与根据本发明第二方面的实施例1或2的图象数据处理器的操作不同。
因此,对于实施例3,仅仅描述针对不同于实施例1或2所描述的操作部分。
对于实施例1和2,描述了5幅图象显示在图14(a)的显示器501上的情况。然而,当图象的数目增大到例如20时,即使算术单元群中的所有算术单元都对图象进行处理,由于处理量大,解码和内插电路110的MPEG解码电路群408或放大/缩小电路群416也许不能对图象进行处理。
在这种情况下,用户I/F电路1000从用户那里输入每幅MPEG图象数据的处理优先级的信息并把每幅MPEG图象数据的处理优先级的信息输出到处理量控制电路102的图象解码控制电路304和尺寸变化控制电路303。
图象解码控制电路304确定对每个MPEG图象数据进行解码的方法以致于不超过由解码和内插电路110的MPEG解码电路群408的所有算术单元的处理量以及按照由用户I/F电路1000提供的每幅图象的处理优先级信息在从相应窗口尺寸起进一步缩小的尺寸上从具有最低优先级MPEG图象数据开始仅对低频DCT系数进行解码。即,图象解码控制电路304从具有最低优先级的MPEG图象数据开始降低解码处理量。在这种情况下,解码和内插电路110的处理量分配电路A404按照由图象解码控制电路304确定的解码方法确定在MPEG解码电路群408的一组算术单元之外被分配对多个MPEG图象数据值的每一个进行解码的一些算术单元。
尺寸变化控制电路303以与图象解码控制电路304相同的方式确定对由MPEG解码电路群408提供的每幅图象进行放大或缩小的方法以致于不超过由解码和内插电路110的放大/缩小电路群416的所有算术单元的处理量,但是按照由用户I/F电路1000提供的每幅图象的处理优先级信息从具有最低优先级MPEG图象数据解码的图象开始降低处理量。即,尺寸变化控制电路303从具有最低优先级的MPEG图象数据解码的图象开始降低放大/缩小处理量。在这种情况下,为了使由具有低优先级的MPEG图象数据解码的图象放大,通过将简单计算算出的图象信号绕预定位置排列可降低处理量。然而,放大的图象变为类似于镶嵌图象的图象。此外,解码和内插电路110的处理量分配电路B412按照由尺寸变化控制电路303确定的放大/缩小方法确定在放大/缩小电路群416的算术单元之外被分配对多幅图象进行放大或缩小的一些算术单元。
对于实施例3,用户I/F电路1000从用户那里输入对每个MPEG图象数据进行处理的优先级信息。然而,事先设定确定图象解码控制电路304和尺寸变化控制电路303优先级信息的规则也是较佳的。此外,对于图象解码控制电路304和尺寸变化控制电路303,按照预定的规则最好分别确定解码方法和放大/缩小方法。预定的规则可以是把最高优先级设定为离你最近的窗口的图象处理和把最低优先级设定为离你最远的窗口的图象处理的规则或者是把最高优先级设定为最终操作的的窗口的图象处理和把最低优先级设定为最初操作的的窗口的图象处理的规则。此外,预定的规则可以是基于窗口大小的规则,如对最大窗口设置最高优先级。还有,预定的规则可以是优先级依赖于MPEG图象数据的信号源的规则。例如,预定的规则可以是从用作信号源的TV调谐器提供的MPEG图象数据的图象处理的优先级高于从用作信号源的DVD或数字视频装置提供的MPEG图象数据的图象处理的优先级的规则。另外,预定的规则可以是用户能够改变设定的规则。再有,最好采用用户的指示优先于预定规则的规则,使得用户能够改变优先级,即使预定的规则是例如把最高优先级设定为窗口1、第2优先级设定为窗口2、第3优先级设定为窗口3和第4优先级设定为窗口4的规则,但用户可改变为窗口2具有第3优先级,窗口2具有第2优先级。
另外,对于实施例3,对每个MPEG图象数据进行处理的优先信息可以是降低每幅图象的帧速率的信息。
根据本发明第二方面的放大/缩小信息输入装置由用户I/F电路1000、形状计算电路101、处理量控制电路102组成。图象处理装置由解码和内插电路110的MPEG解码电路群408和放大/缩小电路群416组成。分配装置由解码和内插电路110的处理量分配电路A404和处理量分配电路B412组成。然而,根据本发明第二方面的放大/缩小信息输入装置不仅能够使用由用户I/F电路1000、形状计算电路101、处理量控制电路102组成的装置,而且也能够使用其它任何装置,只要该装置输入图象数据的放大/缩小程度的信息。此外,图象处理装置不仅能够使用由解码和内插电路110的MPEG解码电路群408和放大/缩小电路群416组成的装置,而且也能够使用其它任何装置,只要该装置具有多个处理多个图象数据值的处理单元、输入图象数据以及按照放大/缩小信息输入装置提供的图象数据的放大/缩小程度信息并由分配装置分配的一组处理单元对图象进行处理。此外,分配装置不仅能够使用由解码和内插电路110的处理量分配电路A404和处理量分配电路B412组成的装置,而且也能够其它任何装置,只要该装置从输入放大/缩小信息输入装置输入图象数据的放大/缩小程度的信息以及按照图象数据的放大/缩小程度信息把图象处理装置的一组处理单元中的全部和一部分分配给对应于图象数据的放大/缩小程度信息的图象数据的放大/缩小处理。
对于上述的实施例,描述了对编码的MPEG图象数据进行解码以及对由编码MPEG图象数据解码的图象进行放大或缩小的情况。也能够利用根据本发明第二方面的图象数据处理器输入多幅图象,其中对编码的MPEG图象数据进行完全解码以及按照相应于对图象进行放大或缩小的放大/缩小比例分配确定的处理量而确定一组待分配的算术单元使得被分配的算术单元对图象进行放大或缩小。
此外,对于实施例1和2,描述了将5个图象显示在一个显示屏上的情况。然而,待显示在显示器上的图象的数目不局限于此。简单地说,它仅需要显示在显示器上的数目为2或更多。
如上所述,本发明的第二方面使得提供一种即使在重现MPEG图象数据值和同时将多幅图象显示在个人计算机等显示器上时能够对多个MPEG图象数据值进行灵活地处理的图象数据处理器成为可能。
然后,将参考附图描述根据本发明第三方面的实施例。
(根据本发明第三方面的实施例1)
首先,以下将描述根据本发明第三方面的实施例1的可变长度代码解码器的构造。
图19示出根据本发明第三方面的实施例1的可变长度代码解码器的方框图。根据本发明第三方面的实施例1的可变长度代码解码器M由数据多路传输电路100、高速移位电路200、时间共享可变长度编码字解码电路300、多路传输数据分离电路400和高速时钟电路500组成。此外,高速移位电路200和时间共享可变长度编码字解码电路300分别设置有组成它们的配置装置。
除了上述的可变长度代码解码器M外,图20示出第一图象代码产生源600、第二图象代码产生源700、第三图象代码产生源800、第n图象代码产生源900、第一MPEG数据分层结构解码电路1099、第二MPEG数据分层结构解码电路1100、第三MPEG数据分层结构解码电路1200、第nMPEG数据分层结构解码电路1300和信息源解码器群1400。
为了便于以下的描述,下面将首先描述:第一图象代码产生源600、第二图象代码产生源700、第三图象代码产生源800、第n图象代码产生源900、第一MPEG数据分层结构解码电路1099、第二MPEG数据分层结构解码电路1100、第三MPEG数据分层结构解码电路1200、第nMPEG数据分层结构解码电路1300。
第一图象代码产生源600、第二图象代码产生源700、第三图象代码产生源800、第n图象代码产生源900中的每一个是产生显示在个人计算机显示器等上的图象的可变长度编码MPEG图象数据的装置。此外,对于实施例1,假设n等于4。另外,为了简化以下的描述,由第一图象代码产生源600、第二图象代码产生源700、第三图象代码产生源800、第n图象代码产生源900提供的数据流称为第一数据流、第二数据流、第三数据流和第四数据流。
第一MPEG数据分层结构解码电路1099是从第一图象代码产生源600输入可变长度编码的MPEG图象数据,即第一数据流并分析对于数据是否由运动矢量和差值数据组成的数据的图象格式的装置。此外,第二MPEG数据分层结构解码电路1100、第三MPEG数据分层结构解码电路1200和第nMPEG数据分层结构解码电路1300是输入第二、第三和第四数据流的可变长度编码MPEG图象数据值并分析数据值的图象格式的装置。对于实施例1,假设n等于4。
数据多路传输电路100输入第一、第二、第三和第四数据流的可变长度编码MPEG图象数据值并对数据流的数据值进行多路传输。此外,数据多路传输电路100输入来自高速时钟电路500的高速时钟信号并根据高速时钟信号以高速率对数据进行多路传输。
高速移位电路200是通过时间共享的方式依次并连续地输入由数据多路传输电路100从每个数据流输入的第一、第二、第三和第四数据流的可变长度编码MPEG图象数据值当中的最前面的64位数据的装置。此外,电路200是按照下述的时间共享可变长度编码字解码电路300的指定使数据移位的装置。在描述可变长度代码解码器的操作时将详细描述移位。此外,如图21所示,高速移位电路200设置有1位移位电路1500、第一选择电路1600、2位移位电路1700、第二选择电路1800、4位移位电路1900、第三选择电路2000、8位移位电路2100、第四选择电路2200、16位移位电路2300、第五选择电路2400和控制电路2500。此外,下面将详细描述图21中所示的高速移位电路200的每个配置装置。
时间共享可变长度编码字解码电路300是依次地检测由高速移位电路200输入的第一、第二、第三和第四数据流的每个可变长度编码MPEG图象数据值的最最面的64位数据的最前面编码字及其长度以及对编码字进行可变长度解码的装置。正如图22所示,时间共享可变长度编码字解码电路300设置有第一判定电路2600、第一寄存器2700、第二判定电路2800、第二寄存器2900、第三判定电路3000、第三寄存器3100、极性调节电路3200、第四寄存器3300、第一标志存储器3400、第二标志存储器3500、第三标志存储器3600、第四标志存储器3700、时间定时测量电路3800和复位信号产生电路3900。下面将详细描述图22所示的时间共享可变长度编码字解码电路300的每个配置装置。
多路传输数据的分离电路400是分离由时间共享可变长度编码字解码电路300提供的第一、第二、第三和第四数据流的每个数据流的可变长度解码数据值的装置。
高速时钟电路500是快速控制由数据多路传输电路100对数据的输入和多路传输、高速移位电路200对数据的输入和移位、时间共享可变长度编码字解码电路300的可变长度解码的装置。
此外,图20中的信息源解码器群1400是把可变长度代码解码器的多路传输数据分离电路400分离的每个数据流的可变长度解码数据解码为图象的装置。
然后,下面将描述根据本发明第三方面的实施例1的可变长度代码解码器的操作。
首先,数据多路传输电路100分别输入通过第一MPEG数据分层结构解码电路1099、第二MPEG数据分层结构解码电路1100、第三MPEG数据分层结构解码电路1200、第nMPEG数据分层结构解码电路1300从第一图象代码产生源600、第二图象代码产生源700、第三图象代码产生源800、第n图象代码产生源900的每一个提供的可变长度编码MPEG图象数据并对它们进行多路传输。数据多路传输电路100按照由高速时钟电路500提供的高速时钟信号以高速率对数据进行多路传输。即,数据多路传输电路100以高速率对第一、第二、第三和第四数据流的数据值进行多路传输。
此外,高速移位电路200依次且连续地输入由数据多路传输电路100通过时间共享的方式从每个数据流输入的第一、第二、第三和第四数据流的可变长度编码MPEG图象数据值当中的最前面64位数据。输入操作将参考图23作进一步描述。图23是表明由高速移位电路200或时间共享可变长度编码字解码电路300施加于第一、第二、第三和第四数据流中每一个数据的预定处理时序的图示。假设图23中每个方框代表第一、第二、第三和第四数据流的64位数据,t0、t1、t2、t3、…分别代表时序,即时间。如图23所示,高速移位电路200在时序t0首先输入第一数据流的最前面64位数据,然后类似地,高速移位电路200分别在时序t1、t2和t3输入第二、第三和第四数据流的最前面64位数据。图24示出在时序t0输入到高速移位电路200的第一数据流的最前面64位。假设64位由编码字A、B、C和D组成,编码字A、B、C和D的字长度为n、m、l和o位。
然而,在时序t0由高速移位电路200输入的第一数据流的最前面64位数据的最前面编码字的字长度的位数是未知的。即,在时序t0第一数据流的最前面64位的最前面编码字是用图24中编码字A编码,编码字A由n位组成,这是未知。
因此,时间共享可变长度编码字解码电路300利用唯一分离表检测最前面的编码字及其字长度、对最前面的编码字进行可变长度解码以及把表明最前面编码字的字长度的位数的信息输出到高速移位电路200。即,电路300检测编码字A并对其进行可变长度解码,以及把表明编码字A由n位组成的信息输出到高速移位电路200。这些处理是在图23中时序t1与t3之间进行的。此外,把经过可变长度解码的第一数据流的最前面的编码字在时序t4输出到多路传输数据分离电路400。
同样,时间共享可变长度编码字解码电路300利用唯一分离表检测由高速移位电路200在时序t1、t2和t3输入的第二、第三和第四数据流的最前面编码字及其字长度、对最前面的编码字进行可变长度解码、以及把表明最前面编码字的字长度的位数的信息输出到高速移位电路200。这些处理对于第二数据流是在图23中时序t2与t4之间进行的、对于第三数据流是在图23中时序t3与t5之间进行的、对于第四数据流是在图23中时序t4与t6之间进行的。此外,把第二数据流的最前面编码字在时序t5输出到多路传输数据分离电路400、把第三数据流的最前面编码字在时序t6输出到电路400、把第四数据流的最前面编码字在时序t7输出到电路400。
然后,参考图21和4下面将进一步描述在图23中时序t1与t5之间进行的时间共享可变长度编码字解码电路300的操作和高速移位电路200的操作。为了描述它们,假设可变长度编码MPEG图象数据的每个编码字为最高达16位的数据,数据包括正、负极性数据。
在时序t1,图22中的时间共享可变长度编码字解码电路300的第一判定电路2600利用上述的唯一分离表检测第一数据流的最前面8位数据中存在或不存在编码字,当检测到编码字时,对该编码字进行可变长度解码并通过第一寄存器2700将其输出到第二判定电路2800,此外还将表明输出数据位数的信息输出到第一标志存储器3400。第一标志存储器3400把位的信息输出到图21中高速移位电路200的控制电路2500。然而,除非检测到任何编码字,否则第一判定电路2600直接把第一数据流的最前面8位数据输出到第一寄存器2700,但是它不把任何信息输出到第一标志存储器3400。第一寄存器2700使8位数据等待时序t1,然后将数据输出到第二判定电路2800。
然后,在时序t2,图22中的时间共享可变长度编码字解码电路300的第二判定电路2800进行下列操作。当第一数据流的最前面编码字在时序t1由第一判定电路2600作可变长度解码时,第二判定电路2800直接把最前面编码字输出到第二寄存器2900,但是不把任何信息输出到第一标志存储器3400。第二寄存器2900使最前面编码字等待时序t2,然后将编码字输出到第三判定电路3000。然而,除非第一数据流的最前面编码字在时序t1由第一判定电路2600作可变长度解码,否则第二判定电路2800利用上述的唯一分离表检测第一数据流的最前面12位数据中存在或不存在编码字,当检测到编码字时,对该编码字进行可变长度解码并通过第二寄存器2900将其输出到第三判定电路3000,此外还把表明输出数据的位数的信息输出到第一标志存储器3400。第一标志存储器3400把位的信息输出到图21中高速移位电路200的控制电路2500。然而,除非检测到任何编码字,否则第二判定电路2800直接把第一数据流的最前面12位数据输出到第二寄存器2900,但是它不把任何信息输出到第一标志存储器3400。第二寄存器2900使12位数据等待时序t2,然后将数据输出到第三判定电路3000。
在相同时序t2,时间共享可变长度编码字解码电路300的第一判定电路2600检测第二数据流的最前面8位数据中存在或不存在编码字,当检测到编码字时,对该编码字进行可变长度解码并通过第一寄存器2700将其输出到第二判定电路2800,此外还把表明输出数据的位数的信息输出到第二标志存储器3500。第二标志存储器3500把位的信息输出到图21中高速移位电路200的控制电路2500。然而,除非检测到任何编码字,否则第一判定电路2600直接把第二数据流的最前面8位数据输出到第一寄存器2700,但是它不把任何信息输出到第二标志存储器3500。第一寄存器2700使8位数据等待时序t2,然后将数据输出到第二判定电路2800。
同样,在时序t3,时间共享可变长度编码字解码电路300的第三判定电路3000进行下列操作。当第一数据流的最前面编码字在时序t1或t2由第一判定电路2600或第二判定电路2800作可变长度解码时,第三判定电路3000直接把最前面的编码字输出到第三寄存器3100,但是它不把任何信息输出到第一标志存储器3400。第三寄存器3100使最前面编码字等待时序t3,然后,将其输出到极性调节电路3200。然而,除非第一数据流的最前面的编码字在时序t1或t2作了可变长度解码,否则第三判定电路3000检测第一数据流的最前面16位数据中的编码字,对该编码字作可变长度解码以及通过第三寄存器3100将其输出到极性调节电路3200,此外还把表明输出数据的位数的信息输出到第一标志存储器3400。第一标志存储器3400把位的信息输出到图21中高速移位电路200的控制电路2500。
然而,在相同时序t3,图22中的时间共享可变长度编码字解码电路300的第二判定电路2800在上述时序t2把与运用于第一数据流的数据相同的操作运用于第二数据流的数据。在这种情况下,所采用的标志存储器对应于第二标志存储器3500。
然后,在相同时序t3,图22中的时间共享可变长度编码字解码电路300的第一判定电路2600在上述时序t1把与运用于第一数据流的数据相同的操作运用于第三数据流的数据。在这种情况下,所采用的标志存储器对应于第三标志存储器3600。
尔后,在时序t4,图22中的时间共享可变长度编码字解码电路300的极性调节电路3200按照极性数据使得极性数据与在时序t4前已经经过可变长度解码的第一数据流的正或负的最前面编码字相关,并通过第四寄存器3300把数据输出到多路传输数据分离电路400。在相同的时序t4,定时测量电路3800把表明经过可变长度解码的数据输出到多路传输数据分离电路400的信息输出到复位信号产生电路3900,复位信号产生电路3900对第一标志存储器3400复位。
在相同的时序t4,图22中时间共享可变长度编码字解码电路300的第三判定电路3000、第二判定电路2800和第一判定电路2600分别在上述时序t3、t2或t1时把与应用于第一数据流的数据相同的操作应用于第二、第三和第四数据流的数据值。上述情况采用的标志存储器对应于第二标志存储器3500、第三标志存储器3600和第四标志存储器3700。
图19中的高速移位电路200在时序t1与t3之间从第一标志存储器3400输入表明第一数据流的最前面编码字的数据的位数的信息。即,电路200输入图24中表明编码字A的位数的信息。高速移位电路200按照上述信息在时序t4时使第一数据流的数据移位,使得接着最前面编码字的下一个编码字用作第一数据流的最前面编码字,总而言之,使得图24中编码字B用作第一数据流的最前面编码字。在进行移位时,高速移位电路200从数据多路传输电路100输入数据,使得第一数据流的数据变为64位。即,电路200输入n位的数据。在此之后,参考图21中高速移位电路200的方框图描述由高速移位电路200进行的移位。
图21中第一选择电路1600、第二选择电路1800、第三选择电路2000、第四选择电路2200和第五选择电路2400分别用作指定是否采用1位移位电路1500、2位移位电路1700、4位移位电路1900、8位移位电路2100或16位移位电路2300的电路。这一指定基于由控制电路2500的控制。1位移位电路1500、2位移位电路1700、4位移位电路1900、8位移位电路2100或16位移位电路2300分别用作使数据流产生1位、2位、4位、8位和16位移位的电路。控制电路2500是一个控制第一选择电路1600、第二选择电路1800、第三选择电路2000、第四选择电路2200和第五选择电路2400决定是否分别采用1位移位电路1500、2位移位电路1700、4位移位电路1900、8位移位电路2100或16位移位电路2300的电路。
如上所述,控制电路2500在时序t1与t3之间从第一标志存储器3400输入表明第一数据流的最前面编码字,即编码字A的信息,编码字A的作用是输出数据是n位数据。控制电路2500使1位移位电路1500、2位移位电路1700、4位移位电路1900、8位移位电路2100或16位移位电路2300中的全部或一部分工作,按照上述信息使第一数据流移位,以致于通过第一选择电路1600、第二选择电路1800、第三选择电路2000、第四选择电路2200和第五选择电路2400中的全部和一部分获得对应于输出数据的字长度的位数。例如,当输出数据是15位数据时,控制电路2500在时序t4通过第一选择电路1600、第二选择电路1800、第三选择电路2000、第四选择电路2200使1位移位电路1500、2位移位电路1700、4位移位电路1900、8位移位电路2100工作,使第一数据流移动15位。
然后,在时序t5,图22中时间共享可变长度编码字解码电路300的第一判定电路2600把与应用于第一数据流的数据上相同的操作应用于已移位的第一数据流的数据上。
在相同的时序t5,图22中时间共享可变长度编码字解码电路300的极性调节决定论3200按照极性数据使得极性数据与在时序t4前已经作了可变长度解码的第二数据流的正或负的最前面编码字相关,并通过第四寄存器3300把数据输出到多路传输数据分离电路400。在相同的时序t5,定时测量电路3800把表明经过可变长度解码的数据输出到多路传输数据分离电路400的信息输出到复位信号产生电路3900,复位信号产生电路3900对第二标志存储器3500复位。
然后,在相同的时序t5,图22中时间共享可变长度编码字解码电路300的第三判定电路3000和第二判定电路2800中的每一个在上述时序t3或t2分别把与应用于第一数据流的数据上相同的操作应用于第三或第四数据流的数据上。以上情况所采用的标志存储器分别对应于第三标志存储器3600和第四标志存储器3700。
图19中的高速移位电路200在时序t2与t4之间从图22中第二标志存储器3500输入表明第二数据流的最前面编码字的数据的位数的信息。按照该信息,高速移位电路200在时序t5使第二数据流的数据移位,使得接着最前面编码字的下一个编码字用作第二数据流的最前面编码字。移位是这样进行的,即图21中的高速移位电路200在时序t4使第一数据流的数据明显地移位。在移位的同时,高速移位电路200从数据多路传输电路100输入数据,使得第二数据流的数据变为64位。
然后,正如图23所示,从时序t6向后,可变长度代码解码器作可变长度解码并输出每个数据流的数据的最前面编码字,此外还以对应于施加于第一数据流的处理的t1至t4的周期以及在作相似处理的每个时序时使每个数据流的数据移位。
(根据本发明第三方面的实施例2)
下面将描述根据本发明第三方面的实施例2的可变长度代码解码器的构造和操作。
尽管根据本发明第三方面的实施例2的可变长度代码解码器的构造与根据本发明第三方面的实施例1的可变长度代码解码器的构造相同,仅仅是高速移位电路200的构造和操作以及时间共享可变长度编码字解码电路300的操作不同。对于实施例1,假设可变长度编码MPEG图象数据的每个编码字是最高达16位的数据。然而,对于实施例2,假设每个编码字是最高达32位的数据。因此,对于实施例2,仅仅描述高速移位电路200的构造和操作以及时间共享可变长度编码字解码电路300的操作。
图25示出实施例2的可变长度代码解码器的高速移位电路200的方框图。高速移位电路200设置有2位移位电路1700、4位移位电路1900、6位移位电路4000、8位移位电路2100、10位移位电路4100、12位移位电路4200、14位移位电路4300、16位移位电路2300、18位移位电路4400、20位移位电路4500、22位移位电路4600、24位移位电路4700、26位移位电路4800、28位移位电路4900、30位移位电路5000、32位移位电路5100、第六选择电路5200、1位移位电路1500、第七选择电路5300和控制电路2500。
2位移位电路1700、4位移位电路1900、8位移位电路2100、16位移位电路2300、1位移位电路1500和控制电路2500与实施例1所描述的情况相同。6位移位电路4000、10位移位电路4100、12位移位电路4200、14位移位电路4300、18位移位电路4400、20位移位电路4500、22位移位电路4600、24位移位电路4700、26位移位电路4800、28位移位电路4900、30位移位电路5000、32位移位电路5100分别用作使每个数据流移动6、10、12、14、18、20、22、24、26、28、30和32位的电路。第六选择电路5200用作在上述位的移位电路当中指定一个待使用的位数的移位电路的电路。第七选择电路5300用作指定是否采用一位移位电路1500的电路。通过第六选择电路5200的指定,第七选择电路5300基于控制电路2500的控制。控制电路2500起控制第六选择电路5200除1位移位电路1500外在上述位数的移位电路当中决定一个位数的移位电路的电路的作用。此外,控制电路2500还起控制第七选择电路5300决定是否采用1位移位电路1500的电路的作用。
高速移位电路200使每个数据流移位前,控制电路2500输入表明相应数据流被移位的位数的信息。即,电路2500输入时间共享可变长度编码字解电路300的输出数据的位数。
当输出数据的位数是偶数时,控制电路2500按照输出数据的位数的信息通过第六选择电路5200使位数对应于输出数据的字长度的移位电路工作,使相应数据流移动输出数据的位数。在这种情况下,控制电路2500不使用1位移位电路1500。例如,当输出数据是16位数据时,控制电路2500通过第六选择电路5200使16位移位电路2300工作,使相应数据流移动16位。
当输出数据的位数是奇数时,控制电路2500按照输出数据的位数的信息通过第六选择电路5200首先使位数小于输出数据的字长度的位数的移位电路工作,使相应数据流移动位数小于输出数据的字长度的位数。然后,控制电路2500通过第七选择电路5300使1位移位电路1500工作,使数据流移动1位。例如,当输出数据是17位数据时,控制电路2500通过第六选择电路5200首先使16位移位电路2300工作,使相应数据流移动16位,然后,通过第七选择电路5300使1位移位电路工作,使数据流移动1位,由此使数据流的移位达到17位。
图22中所示的时间共享可变长度编码字解码电路300的构造与实施例1所作的描述相同。然而,由于实施例2的每个编码字为最高达32位的数据,而实施例1的每个编码字为最高达16位的数据,因此时间共享可变长度编码字解码电路300的操作是不同的。
即,图22中所示的时间共享可变长度编码字解码电路300的第一判定电路2600检测每个数据流的最前面16位数据中存在或不存在编码字,当检测到编码字时,对最前面的编码字作可变长度解码并通过第一寄存器2700将其输出到第二判定电路2800。然而,除非检测到任何编码字,否则第一判定电路2600把每个数据流的最前面16位数据直接输出到第一寄存器2700。
同样,时间共享可变长度编码字解码电路300的第二判定电路2800检测每个数据流的最前面24位数据中存在或不存在编码字,当检测到编码字时,对最前面的编码字作可变长度解码并通过第二寄存器2900将其输出到第三判定电路3000。然而,除非检测到任何编码字,否则第二判定电路2800把每个数据流的最前面24位数据直接输出到第二寄存器2900。
还是同样地,时间共享可变长度编码字解码电路300的第三判定电路3000检测每个数据流的最前面32位数据中的编码字、作可变长度解码并通过第三寄存器3100将编码字输出到极性调节电路3200。
然后,第一判定电路2600、第二判定电路2800和第三判定电路3000分别输出最前面的可变长度解码的编码字,此外,对于第一数据流的数据将表明输出数据的位数的信息输出到第一标志存储器3400,对于第二数据流的数据输出到第二标志存储器3500,对于第三数据流的数据输出到第三标志存储器3600,对于第四数据流的数据输出到第四标志存储器3700。每个标志存储器把位的信息输出到图21中高速移位电路200的控制电路2500。
根据本发明第三方面的输入装置采用高速移位电路200,根据本发明第三方面的可变长度解码装置采用时间共享可变长度编码字解码电路300。
对于以上的实施例,假设数据流的数目为4。然而,数据流的数据不局限于4。可以采用任何的数据流数目,只要该数据流的数目为2或者以上。简而言之,高速移位电路200和时间共享可变长度编码字解码电路300能够分别采用任何电路,只要该电路按照如下所述进行工作。即,高速移位电路200在相互不同的时序时依次连续地输入多个数据流的可变长度编码MPEG图象数据值的每64位的最前面数据。高速移位电路200输入由数据流提供的MPEG图象数据,然后,在输入由同一数据流提供的MPEG图象数据前,时间共享可变长度编码字解码电路300对数据流的最前面的编码字作可变长度解码并把最前面编码字的字长度的信息输出到高速移位电路200。此外,时间共享可变长度编码字解码电路300输出解码字,高速移位电路200使具有与该数据的数据流的已解码编码字相同长度的MPEG图象数据移位。
假设可变长度编码的MPEG图象数据的每个编码字对于实施例1为最高达16位的数据,对于实施例2为最高达32位的数据。然而,每个编码字的最大字长度不限于16位或32位。
对于实施例1,假设高速移位电路200输入每个数据流的最前面的64位。然而,待输入到电路200的位数不限于64。对于高速移位电路200而言输入每个数据流的数据以致于每个数据流的数据量满足预定值便足够了。
假设第一判定电路2600、第二判定电路2800和第三判定电路3000中的每一个,对于实施例1,检测在每个数据流中的最前面8位、12位或16位数据中存在或不存在编码字,当检测到编码字时,对该编码字作可变长度解码,对于实施例2,检测在每个数据流中的最前面16位、24位或32位数据中存在或不存在编码字,当检测编码字时,对该编码字作可变长度解码。然而,第一判定电路2600、第二判定电路2800和第三判定电路3000不限于上述的电路。简而言之,电路2600、2800和3000可以分别采用任何电路,只要该电路检测在具有互不相同长度的数据中存在或不存在编码字,当检测到编码字时,对该编码字作可变长度解码。判定电路的数目不限于诸如第一判定电路2600、第二判定电路2800和第三判定电路3000的三个电路,只要判定电路的数目为2或者以上。
对于以上的实施例,假设高速移位电路200具有多个使每个数据流的由诸如1位或4位的预定位数组成的数据产生移位的位移位电路。然而,高速移位电路200可以采用任何高速移位电路,只要该电路具有多个使每个数据流的不仅由上述1位或4位而且由预定位数组成的数据产生移位的移位电路。
如上所述,本发明的第三方面使得提供一种具有小的电路规模和能够以高速率进行可变长度解码的可变长度代码解码器成为可能。
工业应用性
如上所述,本发明的第一方面使得提供一种在对数据进行解码时能够按照图象每个部分的放大或缩小程度信息使从编码图象数据解码的图象产生变形的图象处理器成为可能。
本发明的第二方面使得提供一种即使在重现MPEG图象数据值时能够灵活地对多个MPEG图象数据值进行处理以及同时将多幅图象显示在个人计算机等显示器上的图象数据处理器成为可能。
本发明的第三方面使得提供一种具有小的电路规模和能够以高速率进行可变长度解码的可变长度代码解码器成为可能。

Claims (14)

1.一种图象处理器,其特征在于所述图象处理器包括:
图象变形信息输入装置,用于输入图象的每个部分的放大/缩小程度的信息;
解码装置,用于从所述图象变形输入装置输入图象的编码图象数据和图象的每个部分的放大/缩小程度的信息,按照所述的放大/缩小程度的信息对图象的每个部分的图象数据进行解码,另外,整个图象数据与所述的放大/缩小程度的信息无关;
参考图象产生装置,用于产生参考图象,该参考图象是利用对解码装置提供的上述整个图象数据进行解码而获得的图象、从图象变形信息输入装置提供的所述图象每个部分的放大/缩小程度的信息以及图象数据的运动矢量对所述图象的每个部分进行放大或缩小而获得的;以及
加法装置,用于将解码装置提供的图象每个部分的解码图象与参考图象产生装置提供的参考图象相加。
2.如权利要求1所述的图象处理器,其特征在于:当图象数据是帧内编码图象数据时,所述加法装置不采用参考图象产生装置提供的参考图象。
3.一种图象处理器,其特征在于所述图象处理器包括:
图象变形信息输入装置,用于输入图象的每个部分的放大/缩小程度的信息;
解码装置,用于从所述图象变形输入装置输入图象的编码图象数据和图象的每个部分的放大/缩小程度的信息并按照所述的放大/缩小程度的信息对图象的每个部分的图象数据进行解码。
4.如权利要求3所述的图象处理器,其特征在于:包括一个重新排列装置,所述装置以预定顺序对解码装置提供的图象的每个部分的部分解码图象进行重新排列。
5.如权利要求1至4之一所述的图象处理器,其特征在于:包括一个格式变换装置,所述装置对解码装置、加法装置或重新排列装置提供的图象的格式进行变换。
6.如权利要求1至5之一所述的图象处理器,其特征在于:包括一个映射装置,所述装置将解码装置、加法装置、重新排列装置或格式变换装置提供的图象映射到预定显示屏的预定位置上。
7.一种图象数据处理器,所述图象数据处理器包括:
放大/缩小信息输入装置,用于输入多个图象数据的放大/缩小程度的信息;
具有多个处理单元的图象处理装置,用于对输入的图象数据进行处理和对多个图象数据进行图象处理,以及
分配装置,用于从放大/缩小信息输入装置输入放大/缩小程度的信息和按照放大/缩小长度信息把图象处理装置的处理单元的全部或一部分分配作对应于放大/缩小程序信息的图象数据放大/缩小处理;
其特征在于:
图象处理装置按照放大/缩小程度的信息处理多个图象数据和分配处理单元。
8.如权利要求7所述的图象数据处理器,其特征在于:
所述的图象数据是为多幅图象中的每一幅图象编码的MPEG图象数据,
所述的放大/缩小信息输入装置输入MPEG图象数据中的每一个的放大/缩小程度的信息,
所述的分配装置按照MPEG图象数据中的每一个的放大/缩小程度信息分配图象处理装置的处理单元的全部和一部分作MPEG图象数据的解码处理和放大/缩小处理,以及
所述的图象处理装置按照已分配的处理单元分别输入MPEG图象数据、进行解码以及对MPEG图象数据的全部和一部分进行放大或缩小。
9.如权利要求8所述的图象数据处理器,其特征在于:
当任何一幅图象重叠显示时,放大/缩小信息输入装置输入图象的重叠状态的信息,分配装置根据图象重叠状态信息不分配图象处理装置的处理单元中的任何一个作对应于图象被遮盖部分的MPEG图象数据的解码处理或放大/缩小处理。
10.如权利要求7至9之一所述的图象数据处理器,其特征在于:
放大/缩小信息输入装置输入有关多个图象数据的处理优先级的信息,分配装置通过考虑有关图象数据的处理优先级的信息分配图象处理装置的处理单元的全部或一部分作图象数据的处理。
11.如权利要求7至10之一所述的图象数据处理器,其特征在于:图象处理装置采用媒体处理器。
12.一种可变长度代码解码器,所述解码器包括:
输入装置,用于以从每个数据流提供的数据量达到某一预定值的方式通过时间共享的手段从多个具有MPEG图象数据的流依次连续地输入可变长度编码MPEG图象数据;
可变长度解码装置,用于从输入装置输入预定量的MPEG图象数据、对该数据作可变长度解码、把预定的解码字输出到可变长度代码解码器之外、以及把输出解码字的长度的信息输出到所述输入装置;其特征在于:
在可变长度解码装置把预定解码字输出到可变长度代码解码器之外前,
可变长度解码装置从所述输出解码字的MPEG图象数据流之外的每个流输入预定量的MPEG图象数据,以及
可变长度解码装置把预定解码字输出到可变长度代码解码器之外,以及在所述可变长度解码装置输出接着所述输出解码字的MPEG图象数据的下一个流的MPEG图象数据中的预定解码字前,所述输入装置利用所述输出解码字的长度的信息从可变长度解码装置输入与解码字最终输出的可变长度代码解码器之外的MPEG图象数据流相同的流的MPEG图象数据。
13.如权利要求12所述的可变长度代码解码器,其特征在于:
可变长度解码装置具有多个对具有互不相同字长度的编码字作可变长度解码的解码电路,每个解码电路在相同时序对由互不相同的流提供的预定量的MPEG图象数据进行可变长度解码。
14.如权利要求12或13所述的可变长度代码解码器,其特征在于:
输入装置具有多个移位电路,以便于使具有互不相同长度的MPEG图象数据移位,当可变长度解码装置把预定解码字输出到可变长度代码解码器之外时,输入装置利用移位电路的全部和一部分使等于预定解码字的字长度的MPEG图象数据移位。
CNB988037424A 1997-12-01 1998-11-27 图象处理器、图象数据处理器和可变长度代码解码器 Expired - Fee Related CN1138420C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP33059997A JPH11164299A (ja) 1997-12-01 1997-12-01 可変長符号復号装置
JP330598/1997 1997-12-01
JP330599/1997 1997-12-01
JP33059897A JPH11164198A (ja) 1997-12-01 1997-12-01 画像データ処理装置

Publications (2)

Publication Number Publication Date
CN1251724A true CN1251724A (zh) 2000-04-26
CN1138420C CN1138420C (zh) 2004-02-11

Family

ID=26573582

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB988037424A Expired - Fee Related CN1138420C (zh) 1997-12-01 1998-11-27 图象处理器、图象数据处理器和可变长度代码解码器

Country Status (4)

Country Link
US (1) US6600785B1 (zh)
EP (1) EP0957638A4 (zh)
CN (1) CN1138420C (zh)
WO (1) WO1999029112A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046852B2 (en) * 2001-09-13 2006-05-16 Sharp Laboratories Of America, Inc. Fast image decompression via look up table
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US6904176B1 (en) * 2001-09-19 2005-06-07 Lightsurf Technologies, Inc. System and method for tiled multiresolution encoding/decoding and communication with lossless selective regions of interest via data reuse
US7242713B2 (en) * 2002-05-02 2007-07-10 Microsoft Corporation 2-D transforms for image and video coding
US7379496B2 (en) * 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
JP4069818B2 (ja) * 2003-07-17 2008-04-02 株式会社日立製作所 帯域監視方法及び帯域監視機能を備えたパケット転送装置
US7822123B2 (en) * 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US7487193B2 (en) * 2004-05-14 2009-02-03 Microsoft Corporation Fast video codec transform implementations
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US7839933B2 (en) * 2004-10-06 2010-11-23 Microsoft Corporation Adaptive vertical macroblock alignment for mixed frame video sequences
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
US7689052B2 (en) * 2005-10-07 2010-03-30 Microsoft Corporation Multimedia signal processing using fixed-point approximations of linear transforms
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
US8054886B2 (en) 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US10771783B2 (en) 2018-06-11 2020-09-08 Google Llc Transforms for large video and image blocks

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04250773A (ja) * 1991-01-28 1992-09-07 Murata Mach Ltd 復号化装置
US5173948A (en) * 1991-03-29 1992-12-22 The Grass Valley Group, Inc. Video image mapping system
JP2861518B2 (ja) * 1991-09-03 1999-02-24 日本電気株式会社 適応多重化方式
JP3428033B2 (ja) * 1992-02-19 2003-07-22 株式会社日立製作所 ディジタルvtr
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
JPH06233271A (ja) * 1993-02-05 1994-08-19 Ricoh Co Ltd 動画像復号化方法
JPH06237386A (ja) * 1993-02-10 1994-08-23 Ricoh Co Ltd 画像処理装置
DE69516734T2 (de) * 1994-02-01 2000-09-28 Canon Kk Bildverarbeitungsverfahren und -gerät
JPH07222151A (ja) * 1994-02-01 1995-08-18 Canon Inc 画像処理方法及び装置
KR0160668B1 (ko) * 1994-12-30 1999-01-15 김광호 영상압축 비트스트림의 스타트코드 검출장치
JP3605891B2 (ja) * 1995-06-29 2004-12-22 セイコーエプソン株式会社 コンピュータシステム
US5812787A (en) * 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
JP3386638B2 (ja) * 1995-09-28 2003-03-17 池上通信機株式会社 可変長符号の復号方法および装置
KR100219144B1 (ko) * 1996-05-14 1999-09-01 김광호 비디오데이타 복호화장치

Also Published As

Publication number Publication date
EP0957638A4 (en) 2008-06-04
WO1999029112A1 (en) 1999-06-10
EP0957638A1 (en) 1999-11-17
US6600785B1 (en) 2003-07-29
CN1138420C (zh) 2004-02-11

Similar Documents

Publication Publication Date Title
CN1138420C (zh) 图象处理器、图象数据处理器和可变长度代码解码器
CN1093968C (zh) 图象处理装置
CN1156171C (zh) 提高处理效率的图象声音处理装置
CN1197351C (zh) 图像合成装置
CN1258909C (zh) 动图象合成装置
CN1193338C (zh) 视频信号变换装置以及视频信号变换方法
CN1130638C (zh) 存储装置和存取方法
CN1268135C (zh) 编码方法、编码装置和记录媒体、以及解码方法、解码装置和记录媒体
CN1220390C (zh) 图像处理设备和图像处理方法
CN1123230C (zh) 图象解码方法
CN1543223A (zh) 图像编码装置及图像译码装置
CN1168322C (zh) 图象编码和解码方法
CN1197252C (zh) 利用对应象素块的等级信息的变换系数进行图象的编码和译码
CN1804902A (zh) 数据处理装置
CN1216199A (zh) 数字图象填补方法、图象处理装置及数据记录媒体
CN1744720A (zh) 可变长度解码装置
CN1160947C (zh) 视频显示器
CN1152566C (zh) 图像处理装置和方法
CN1574944A (zh) 动态图像解码装置
CN1163076C (zh) 图像编码装置和图像编码方法及图像解码装置和图像解码方法
CN1929603A (zh) H.264整数变换加速的装置
CN1976473A (zh) 编码和解码坐标内插符的关键值数据的方法和装置
CN1143217C (zh) 存储装置和存取方法
CN1628465A (zh) 运动矢量检测装置和运动矢量检测方法
CN100343879C (zh) 编码和解码坐标内插符的关键字值数据的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040211

Termination date: 20101127