CN101945273A - 压缩编码装置和视觉显示控制装置 - Google Patents
压缩编码装置和视觉显示控制装置 Download PDFInfo
- Publication number
- CN101945273A CN101945273A CN2010102204999A CN201010220499A CN101945273A CN 101945273 A CN101945273 A CN 101945273A CN 2010102204999 A CN2010102204999 A CN 2010102204999A CN 201010220499 A CN201010220499 A CN 201010220499A CN 101945273 A CN101945273 A CN 101945273A
- Authority
- CN
- China
- Prior art keywords
- pixel data
- data
- subjected
- compressed encoding
- transparent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
Abstract
本发明公开压缩编码装置和视觉显示控制装置。提供一种压缩编码装置,其根据映射规则将像素数据的三个颜色分量从RGB表示形式转换为YCbCr表示形式。转换的像素数据随后被施以不可逆压缩编码,由此产生压缩编码数据。受到透明控制的像素数据被转换为根据所述映射规则的映射范围之外的规定值。压缩编码数据被提供到视觉显示控制装置,在其中,其被解码并再现为第一颜色表示形式的原始像素数据。对应于受到透明控制的像素数据的压缩编码数据以RGB表示形式中的规定颜色进行渲染,其被事先指定为透明或者不在屏幕上进行渲染。因此,不考虑不可逆压缩编码和解码,都可能准确执行透明控制而不会使得压缩因子减小。
Description
技术领域
本发明涉及压缩编码装置,特别地,其对受到透明控制的视觉数据进行不可逆的压缩编码。本发明还涉及视频显示控制装置,其对压缩编码数据进行解码,以便在屏幕上显示图形。
本申请要求日本专利申请No.2009-156990的优先权,通过引用,将其内容合并于此。
背景技术
子画面模式(Sprite-mode)的视觉处理LSI(大规模集成电路)装置是用于游戏装置的数据处理装置的典型示例。这种类型的视觉处理装置执行一系列过程,在其中,子画面模式存储器存储表示游戏人物的子画面(即,独立图形对象)的视觉数据;视觉数据与游戏的进程相一致地被从子画面模式存储器中读取;视觉数据经由旋转和缩放(即,扩充和缩小)进行编辑并且被写入缓冲器;此后,基于所述缓冲器所存储的内容在液晶显示器(LCD)的屏幕上显示图像和图形。这种类型的视觉处理装置执行覆盖表示,在其中,背景图像被诸如游戏人物之类的子画面所覆盖。所述覆盖表示通过透明控制来实现,在所述透明控制中,对应于每个子画面的背景的像素以透明的方式进行渲染,并且在屏幕上进行显现。在透明控制中,视觉处理装置事先选择每个以透明方式渲染的像素的颜色,从而不会在屏幕上显示其数据指示透明的像素。
正常情况下,子画面模式的视觉处理装置对子画面模式存储器中所存储的视觉数据执行压缩编码。压缩编码技术通常被分为可逆压缩编码和不可逆压缩编码。可逆压缩编码是例如,预测编码和可变长度编码的组合。可逆压缩编码能够基于压缩编码数据(即已经被压缩编码的视觉数据)来完全恢复原始视觉数据(即,压缩编码之前的视觉数据),但是却无法获得高的压缩因子。不可逆压缩编码例如采用正交变换。不可逆压缩编码能够获得高的压缩因子,但是无法基于压缩编码数据完全恢复原始视觉数据。出于该原因,可逆压缩编码和不可逆压缩编码是根据需要而交替改变的。也就是说,当需要完全恢复原始视觉数据时采用可逆压缩编码,而在需要减少压缩编码数据量时采用不可逆压缩编码。
在对受到透明控制的视觉数据进行压缩编码的情况下,优选地在考虑减少压缩编码数据量的需求之后交替地改变可逆压缩编码和不可逆压缩编码。对受到透明控制的视觉数据进行不可逆压缩编码的缺点在于受到透明控制的像素没有以透明方式来渲染,而不受到透明控制的像素却以透明方式来渲染。例如,图14A示出了透明由“0xFFFFFF”所指定(其中主要颜色分量R、G和B均被设置为“0xFF”),其中,受到透明控制的像素数据由于不可逆压缩编码和解码而被变化为“0xFEFEFE”,从而并不以透明方式来渲染。图14B示出的是,透明由“0x000000”所指定,其中,并不受到透明控制的输入像素数据“0x0101010”由于不可逆压缩编码和解码而被变化为“0x000000”,从而以透明方式来渲染。这些缺陷缘于在不可逆压缩编码中原始视觉数据无法基于压缩编码数据而完全恢复的特性。
专利文献1和2公开了针对以上缺陷的解决方案,其中,压缩编码数据带有掩码(mask)数据,其中,识别像素数据是否受到透明控制的二进制数据与像素序列结合在一起。如图14C和14D所示,向已经进行不可逆压缩编码的每个像素数据添加附加位,从而识别每个像素数据是否受到透明控制。附加位“1”表示每个像素数据受到透明控制,而附加位“0”则表示每个像素数据未受到透明控制。使用所述附加位,可能轻易地识别像素数据是否受到透明控制。使用诸如掩码数据和附加位之类的附加信息,可能在对表示透明像素的视觉数据进行不可逆压缩编码之后,在解码过程中准确执行透明控制。
专利文献1:日本专利申请公开No.H11-205788
专利文献2:日本专利申请公开No.2003-87572
在以上向压缩编码数据添加附加信息的技术中,必须考虑附加信息量来对整体压缩因子进行评估。与不向压缩编码数据添加附加信息的传统技术相比,这种技术的压缩因子有所降低。由于不可逆压缩编码与可逆压缩编码相比具有产生高压缩因子的优势,所以附加信息会削弱不可逆压缩编码的这种优势。
发明内容
本发明的目标是提供一种能够在解码过程中对视觉数据准确执行透明控制而不会降低不可逆压缩编码的压缩因子的压缩编码装置。
本发明的另一目标是提供一种对受到透明控制的压缩编码数据进行解码,从而在屏幕上显示图形的视觉显示控制装置。
本发明对由三个颜色分量所构成的视觉数据进行处理,所述三个颜色分量组成了屏幕上所显示的像素。本发明的压缩编码装置由以下处理来构造,即,识别处理,其识别以第一颜色表示形式(例如,RGB表示形式)来渲染的像素数据的三个颜色分量是否均受到透明控制;转换处理,其根据映射规则将未受到透明控制的第一颜色表示形式的像素数据转换为第二颜色表示形式(例如,YCbCr表示形式)的像素数据,而根据所述映射规则将受到透明控制的像素数据转换为映射范围之外的预定值;以及不可逆压缩编码处理,其对所转换的像素数据执行不可逆压缩编码,由此产生压缩编码数据。可以以硬件或者由计算机执行的软件来构造以上处理。
本发明的视觉显示控制装置接收从所述压缩编码装置输出的压缩编码数据。所述视觉显示控制装置由以下的处理进行构造,即,解码处理,其是所述不可逆压缩编码的逆处理(inverse),对压缩编码数据进行解码;识别处理,其根据所述映射规则识别像素数据是否具有映射范围之外的预定值;以及显示控制处理,其在从第二颜色表示形式再现第一颜色表示形式的像素数据的同时,对具有所述映射范围之外的预定值的像素数据执行透明控制。
在所述压缩编码装置中,受到透明控制和具有所述映射范围之外的预定值的像素数据被施以可逆压缩编码,而未受到透明控制的、其数值落入根据所述映射规则的映射范围之内的像素数据则被施以不可逆压缩编码。由于具有所述映射范围之外的预定值的像素数据被施以可逆压缩编码,所以所述视觉显示控制装置能够利用所解码的像素数据是否具有所述映射范围之外的预定值的简单判定来准确识别所解码的像素数据是否受到透明控制。
在上文中,受到透明控制的像素数据被映射到预定值,所述预定值远高于所述映射范围的上限值或者远低于所述映射范围的下限值。这是因为已经被施以不可逆压缩编码的压缩编码数据不可能被解码为与所述映射范围大幅偏离的值;因此,受到透明控制的像素数据很可能仍然远离与不可逆压缩编码和解码不相关的映射范围。出于这一原因,本发明保证了能够利用所解码的像素数据是否处于映射范围之外的简单判定来可靠识别受到透明控制的像素数据。
此外,有选择地将所转换的像素数据的三个颜色分量中的至少一种施以可逆压缩编码,而所转换像素数据的其他分量则被施以不可逆压缩编码。这使得所述视觉显示控制装置可能利用所解码的像素数据的三个分量中的至少一种是否处于映射范围之外的简单判定来准确识别所解码的像素数据是否受到透明控制。
附图说明
将参考以下附图,对本发明的这些以及其他目标、方面和实施例进行更为详细的描述。
图1是示出根据本发明第一实施例的包括压缩编码装置和视觉显示控制装置的压缩编码/解码系统的框图。
图2是示出根据本发明第二实施例的包括压缩编码装置和视觉显示控制装置的压缩编码/解码系统的框图。
图3是示出图2所示的压缩编码装置的数据转换处理的流程图。
图4示出了所述压缩编码装置所产生的透明控制数据的示例。
图5A示出了所述压缩编码装置的不可逆转换处理中所包括的缩小处理。
图5B示出了所述压缩编码装置的不可逆转换处理中所包括的扩充处理。
图6是解释用于计算与每个像素相关的预测值和预测误差的预测编码处理的图示。
图7示出了相对于水平排列的像素矩阵所计算的预测误差的示例。
图8示出了与对所述预测误差执行符号位取反的预测误差取反处理相关的输入数据和输出数据之间的关系。
图9示出了与对六位(除符号位之外)预测误差执行符号位取反的预测误差取反处理相关的输入数据和输出数据之间的关系。
图10示出了在将预测误差转换为可变长度编码时可变长度编码处理所参考的转化表;
图11A是示出在接收到启用/禁用透明控制的指令时所述视觉显示控制装置的显示控制处理的流程图。
图11B是在接收到停止使用透明控制时所述视觉显示控制装置的显示控制处理的流程图。
图12是示出根据本发明第三实施例的视觉处理LSI装置的构成的框图。
图13示出了所述视觉处理LSI装置的存储器中所存储的压缩编码信息的构造示例。
图14A示出了在其中透明像素数据被错误识别为非透明像素数据的错误过程。
图14B示出了在其中非透明像素数据被错误识别为透明像素数据的错误过程。
图14C示出了在其中向像素数据添加附加位“1”从而将其正确识别为透明像素数据的正确过程。
图14D示出了在其中向像素数据添加附加位“0”从而将其正确识别为非透明像素数据的正确过程。
具体实施方式
将参见附图,利用示例对本发明进行更为详细的描述。
1.第一实施例
图1是示出根据本发明第一实施例的包括压缩编码装置1和视觉显示控制装置2的压缩编码/解码系统的结构的框图。在所述压缩编码/解码系统中,受到透明控制的视觉数据在压缩编码装置1中被施以不可逆压缩编码,此后,其在视觉显示控制装置1中被解码,由此在屏幕上显示图像和图形。压缩编码装置1对视觉数据执行不可逆压缩编码,从而产生压缩编码数据。压缩编码数据能够存储在诸如CD-ROM(只读光盘)之类的数字存储介质中,并且分配给用户或消费者。可选地,压缩编码数据可以经由诸如因特网之类的电信线路被下载到用户或消费者那里。因此,可能实现与视觉数据有关的不可逆压缩编码和传输过程。视觉显示控制装置2对压缩编码数据进行解码,从而基于解码结果对屏幕上的图像和图形表示形式进行控制。视觉数据是形成屏幕图像的像素数据的集合,其中,每个像素数据表示与三个主要颜色分量R、G和B中的每一个相关的亮度(辉度)。在第一实施例中,每个颜色分量的亮度由8位进行表示,其数值在十进制表示中从“0”到“255”变化,由此每个像素数据被以24(=3×8)位来进行构造。
例如,压缩编码装置1被以数字信号处理器(DSP)来构造。不可逆压缩编码程序(实施作为第一实施例的基本特征的不可逆压缩编码过程)安装在压缩编码装置1中。也就是说,压缩编码装置1根据所述不可逆压缩编码程序执行不可逆压缩编码过程。所述不可逆压缩编码过程包括透明识别处理10、RGB→YCbCr转换处理20a、全零(或全“0”)转换处理20b、和不可逆压缩编码处理30。
首先,像素数据(均以24位形式的颜色分量R、G和B来构造)被输入到压缩编码装置1中。在指定了透明后,压缩编码装置1就对每个输入像素数据(表示形成屏幕图像的像素)执行透明识别处理10。在透明识别处理10中,识别每个像素数据的值是否等于表示透明的预定值。例如,当由“0xFFFFFF”表示透明时(其中“0xFF”(即,十进制表示中的“255”)被设置为与每个颜色分量R、G和B相关的亮度(或强度)),透明识别处理10将其数值不等于“0xFFFFFF”的像素数据识别为非透明像素;因此,像素数据被施以RGB→YCbCr转换处理20a。RGB→YCbCr转换处理20a根据实施从RGB表示形式到YCbCr表示形式的转换的映射规则(1)对非透明像素数据执行映射。RGB→YCbCr转换处理20a将R、G、B分量转换为Y、Cb、Cr分量,其中每个等于或大于“16”。
Y=0.257×R+0.504×G+0.098×B+16
Cb=-0.148×R-0.291×G+0.439×B+128
Cr=0.439×R-0.368×G-0.071×B+128 ...(1)
透明识别处理10将像素数据“0xFFFFFF”识别为透明像素数据,其被施以将像素数据转换为“0x000000”的全零转换处理20b。因此,“0x000000”处于从RGB表示形式到YCbCr表示形式的映射的映射范围之外;因此,其作为在基于解码装置(即,视觉显示控制装置2)的解码结果在屏幕上显示图像或图形时,识别像素数据是否受到透明控制的关键。在第一实施例中,“0x000000”将被称作受控对象指示符。
不可逆压缩编码处理30对已经以像素为单位施以RGB→YCbCr转换处理20a或全零转换处理20b的像素数据执行不可逆压缩编码,由此产生压缩编码数据。第一实施例采用不可逆压缩编码算法,根据其,具有受控对象指示符的像素数据被施以不可逆压缩编码和解码,从而对所述受控对象指示符进行解码,而以YCbCr表示形式来渲染的像素数据则被施以不可逆压缩编码和解码,从而对不同于受控对象指示符的数值进行解码。这使得可能使用以上像素数据的关键来可靠识别像素数据是否在解码装置中受到透明控制。压缩编码数据利用以上不可逆压缩编码算法而产生,并且被传送到视觉显示控制装置2。就此而言,第一实施例使用“0x000000”作为受控对象指示符,但这并非作为限制。可以有选择地使用特定数值(或者不可逆压缩编码缩放),其处于从RGB表示形式到YCbCr表示形式的映射范围之外,并且可靠地确保经由不可逆压缩编码和解码来恢复原始数据(换句话说,其与可逆压缩编码相当)。
接下来,将对视觉显示控制装置2进行详细描述。与压缩编码装置1类似,视觉显示控制装置2由数字信号处理器(DSP)所构成。执行对压缩编码数据的解码,和基于解码结果的显示控制的程序被事先安装在视觉显示控制装置2中。根据以上程序,视觉显示控制装置2执行解码处理40、透明识别处理50、YCbCr→RGB转换处理60a、判定处理60b、渲染处理70、以及透明控制处理80a和透明渲染处理80b。在输入(压缩编码装置1所产生的)压缩编码数据并且指定透明(其编码与以上在压缩编码装置1中指定的透明的编码相同)之后,视觉显示控制装置2就对压缩编码数据执行解码处理40(其是不可逆压缩编码处理30的逆处理)。解码处理40产生归于YCbCr表示形式的像素数据,或者具有受控对象指示符的像素数据。
透明识别处理50基于像素数据来识别构成由解码处理40中所解码的视觉数据所表示的图形的每个像素是否受到透明控制。特别地,透明识别处理50的识别结果在像素数据与受控对象指示符一致时为“是(YES)”,而在像素数据没有与受控对象指示符一致时识别结果为“否(NO)”。受控对象指示符即使在具有受控对象指示符的像素数据随后被施以不可逆压缩编码和解码时也必定被解码。相反,受控对象指示符在以YCbCr表示形式渲染的像素数据随后被施以不可逆压缩编码和解码时不被解码。出于该原因,透明识别处理50能够精确识别是否每个像素数据均受到透明控制。
其在透明识别处理50中的识别结果为“否”并且因此以YCbCr表示形式渲染的像素数据被施以YCbCr→RGB转换处理60a,在其中它们根据规则(2)而被转换为以RGB表示形式渲染的像素数据。随后,其被施以渲染处理70,通过其在屏幕上以R、G和B渲染相应的图形。
R=1.164×(Y-16)+1.596×(Cr-128)
G=1.164×(Y-16)-0.391×(Cb-128)-0.813×(Cr-128)
B=1.164×(Y-16)+2.018×(Cb-128) ...(2)
其在透明识别处理50中的识别结果为“是”的像素数据被施以确定其是否受到透明控制的判定处理60b。其在判定处理60b中的判决结果为“是”的像素数据被施以透明控制处理80a,其中它们并不在屏幕上进行渲染。其判决结果为“否”的像素数据被施以透明渲染处理80b,在其中它们在屏幕上以指定为透明的颜色来进行渲染。
如上所述,通过不可逆压缩编码和解码,相对于具有受控对象指示符的像素数据,必定对受控对象指示符进行解码;而相对于与以YCbCr表示形式渲染的像素数据,对与受控对象指示符不同的其他数值进行解码。第一实施例能够基于像素数据的解码结果精确识别像素数据是否均在解码装置(即,视觉显示控制装置2)中受到透明控制,而并不使用诸如附加位之类的附加信息。第一实施例未使用附加信息并不会导致不可逆压缩编码中压缩因子的降低。第一实施例能够在解码装置中精确执行透明控制,而不会降低对受到透明控制的视觉数据所进行的不可逆压缩编码的压缩因子。
2.第二实施例
图2是示出根据本发明第二实施例的包括压缩编码装置100和视觉显示控制装置200的压缩编码/解码系统的结构的框图。与图1的压缩编码/解码系统类似,图2的压缩编码/解码系统对(以24位来构造的R、G和B颜色进行渲染的)视觉数据执行压缩编码,传送压缩编码数据并且对压缩编码数据执行解码,从而基于解码结果在屏幕上对图像和图形进行渲染。与图1的压缩编码/解码系统不同的是,图2的压缩编码/解码系统采用了不可逆压缩编码算法,其与相对于受控对象指示符进行的可逆压缩编码不同。
与图1所示的压缩编码装置1类似,图2所示的压缩编码装置100由数字信号处理器(DSP)所构成。(执行作为第二实施例的基本特征的不可逆压缩编码的)不可逆压缩编码程序事先按照在压缩编码装置1中。压缩编码装置100由数据转换处理120、不可逆转换处理130和可逆压缩编码处理140所构成。第二实施例利用软件来实施这些处理;但是并非局限于此。例如,可能利用数据转换电路来构造数据转换处理120,并且利用不可逆压缩编码电路来构造不可逆转换处理130和可逆压缩编码处理140,其中,这些电子电路组合在一起以形成压缩编码装置100的硬件。
数据转换处理120将视觉数据(即,被施以不可逆压缩编码的以RGB表示形式渲染的24位像素数据)转换为适于后续处理的数据。数据转换处理120等同于图1所示的透明识别处理10、RGB→YCbCr转换处理20a、和全零(或全“0”)转换处理20b。图3是数据转换处理120的流程图。以像素为单位对于被施以不可逆压缩编码的视觉数据中所包括的(表示构成屏幕图像的像素的)像素数据执行数据转换处理120。例如,在转换之前的像素数据均以光栅扫描顺序从(被施以不可逆压缩编码的)视觉数据中选择,并且根据图3的流程图进行处理。
首先,在步骤SA100,数据转换处理120进行像素数据在转换之前是否被施以透明控制的判定。步骤SA100的判定等同于透明识别处理10。所述流程在步骤SA100的判决结果为“否”时进行至与坐标转换相关的步骤SA110,而在所述判决结果为“是”时进行至步骤SA120和SA130。
步骤SA110的坐标转换是从RGB表示形式到YCbCr表示形式的映射;因此,其等同于RGB→YCbCr转换处理20a。步骤SA120输出受控对象指示符,其处于根据映射规则(1)的映射范围之外,作为以Y、Cb和Cr分量来构造的像素数据。特别地,所述受控对象指示符小于根据所述映射规则所计算的映射范围的下限或者大于所述映射范围的上限。在步骤SA120之后,步骤SA130产生表示透明和受控对象指示符之间的对应关系的透明控制数据(见图4)。所述透明控制数据被提供给解码装置,即,视觉显示控制装置200。所述透明控制数据被包含在视觉显示控制装置200中的透明控制或视觉表示形式中(或者被包括在禁用透明控制的视觉表示形式中)。
第二实施例的第一特征与第一实施例的类似,在其中受控对象指示符被设置为“0x000000”,其远低于根据映射规则(1)的映射范围中“0x101010”的下限数值。以下将描述第二实施例采用这种非常低的数值作为受控对象指示符的原因。
数据转换处理120中所完成的像素数据随后被施以不可逆压缩编码(其通过第二实施例中的不可逆转换处理130和不可逆压缩编码处理140来实施)。第二实施例并不必基于具有经过不可逆压缩编码和解码的受控对象指示符的像素数据,来对受控对象指示符进行解码。无法假设的是,大幅偏离原始值的数值可以通过不可逆压缩编码和解码来再现。第二实施例将受到透明控制的像素数据转换为大幅偏移映射范围的上限值和下限值的数值,所述映射范围基于不受到透明控制的其他像素数据来计算。使用这样大幅偏移的数值,可能简单地识别所解码的像素数据是否均处于映射范围之外。因此,可以期望精确识别在解码装置中,经过不可逆压缩编码和解码的像素数据是否均受到透明控制,而并不使用诸如附加位之类的附加信息。这就是第二实施例将受控对象指示符设置为大幅偏移于映射范围下限值的数值“0x000000”的原因。换句话说,第二实施例的第二特征是采用确保经过不可逆压缩编码和解码的像素数据肯定处于映射范围之外的不可逆压缩编码和解码算法。随后将对第二实施例的第二特征的细节进行描述。
虽然并不试图将数据转换处理120用于从RGB表示形式到YCbCr表示形式的颜色表示形式转换,但是出于便利,通过数据转换处理120的像素数据将被称作“YCbCr表示形式的像素数据”。就此而言,第二实施例简单地将单一颜色指定为透明;但是可以将多种颜色指定为透明。在其中多种颜色被指定为透明的多颜色模式中,向其分配不同的受控对象指示符,从而使得透明控制数据表示受控对象指示符和被指定为透明的多种颜色之间的对应关系。
不可逆转换处理130是用于提高可逆压缩编码处理140中的压缩因子的预处理。不可逆转换处理130由缩小处理131、扩充处理132、和量化处理13所构成。缩小处理131和扩充处理132对从数据转换处理120输出的像素数据的三个分量Y、Cb和Cr中的两个分量Cb和Cr进行处理。缩小处理131以矩阵为单位对由Cb和Cr分量构造的像素数据进行细分,所述矩阵均以如图5A所示的2×2像素来构造。缩小处理131从四个像素构造的每个矩阵中排除除了与Cb和Cr分量的像素数据相关的左上方像素之外的三个像素,由此将(表示所有Y、Cb和Cf分量都保持四个像素的)“YCbCr444”转换为(表示Y分量仍然保持四个像素,而Cb和Cr分量均保持一个像素的)“YCbCr411”。换句话说,缩小处理131去除了每四个像素中的三个像素。如图5B所示,扩充处理131使用剩余像素(即,每个矩阵的四个像素内的左上方像素,其并没有在缩小处理131中被去除)来对去除的像素进行插值。在用于提高视觉数据的压缩因子的方面,最好对YCbCr411(见图5A)而不是YCbCr444(见图5B)的像素数据执行压缩编码。但是,第二实施例被设计为使得扩充处理132将YCbCr411的像素数据转换为YCbCr444的像素数据。将结合视觉显示控制装置200对第二实施例采用以上转换的原因进行描述。就此而言,不可逆转换处理130并不对像素数据的Y分量执行缩小处理131和扩充处理132,原因在于Y分量表示每个像素的亮度;因此,在将Y分量去除时,图片质量必然明显下降。此外,不可逆转换处理130在将RGB表示形式的像素数据转换为YCbCr表示形式的像素数据的数据转换处理120之后执行,以便于防止图片质量由于缩小处理131、扩充处理132、和量化处理133而有所下降。
量化处理133对像素数据的所有Y、Cb和Cr分量中的任意一个进行处理,从而减少对构成视觉数据的每个像素数据进行构造的位数。例如,参考其存储内容如表1所示的量化模式表来执行量化处理133。所述量化模式表能够嵌入在不可逆压缩编码程序中,或者能够在压缩编码装置100中独立于所述不可逆压缩编码程序而进行存储。所述量化模式表(见表1)存储与量化模式相结合的量化系数(即,Y分量量化系数、Cb分量量化系数、和Cr分量量化系数),其均表示每个分量中所减少的位数,所述量化模式即具有“0”至“6”数值的七种模式(其中模式=0不使用量化处理133)。在量化处理133中,响应于预设模式(或者外部装置所给出的量化模式信号所指示的模式),从所述量化模式表中读取量化系数,从而像素数据的相应分量向右逻辑位移与量化系数相应的位数。因此,可能响应于预先确定的模式实现量化。
表1
模式 | Y分量量化系数 | Cb分量量化系数 | Cr分量量化系数 |
0 | 0 | 0 | 0 |
1 | 1 | 0 | 0 |
2 | 1 | 1 | 1 |
3 | 2 | 0 | 0 |
4 | 2 | 1 | 1 |
5 | 2 | 2 | 2 |
6 | 3 | 2 | 2 |
在模式=1的情况下,像素数据向右逻辑位移1位,从而仅相对于Y分量减少一位。在模式=2的情况下,像素数据向右逻辑位移1位,从而相对于所有Y分量、Cb分量和Cr分量减少一位。在图2所示的第二实施例中,经过不可逆转换处理130的像素数据被施以可逆压缩编码处理140从而输出压缩编码数据。此后,压缩编码数据在视觉显示控制装置200中被进行解码。可逆压缩编码处理140是将预测编码和可变长度编码相结合的可逆计算的典型示例。由于可逆压缩编码处理140处于以不可逆计算来构造的不可逆转换处理130之后,所以压缩编码装置100完全执行不可逆计算。如图2所示,表示量化处理133的量化模式的量化模式信号从压缩编码装置100传送到视觉显示控制装置200。所述量化模式信号在视觉显示控制装置200中的逆向量化处理220中使用,所述逆向量化处理220是量化处理130的逆处理。
可逆压缩编码处理140由预测编码处理141、预测误差转换处理142、和可变长度编码处理143所构成。如图6所示,以光栅扫描顺序选择构成被施以压缩编码的视觉数据的像素,例如,其中像素X被选出并且被施以预测编码处理141。预测编码处理141根据其相邻像素来计算与像素X相关的预测值Mx接着,其计算预测值Mx与像素X的实际值之间的差作为预测误差X-Mx。
特别地,预测编码处理141根据以下算法计算预测值Mx。首先,选出像素X周围的三个相邻像素,即,左侧像素Xa(其数据也被表示为“Xa”)、上方像素Xb(其数据也被表示为“Xb”)、以及左上方像素Xc(其数据也被表示为“Xc”)。判定像素数据Xa、Xb和Xc中的最大值“max(Xa,Xb,Xc)”是否使得Xc=max(Xa,Xb,Xc)。当在Xc=max(Xa,Xb,Xc)的条件下Xb<Xa,则预测编码处理141以Xb替换Mx。当在Xc=max(Xa,Xb,Xc)的条件下Xa<Xb,则预测编码处理141以Xa替换Mx。如果并非Xc=max(Xa,Xb,Xc),则判定像素数据Xa、Xb和Xc中的最小值“min(Xa,Xb,Xc)”是否使得Xc=min(Xa,Xb,Xc)。当在Xc=min(Xa,Xb,Xc)的条件下Xb>Xa,则预测编码处理141以Xa替换Mx。如果既非Xc=max(Xa,Xb,Xc)也非Xc=min(Xa,Xb,Xc),换句话说,当Xc>min(Xa,Xb,Xc)且Xc<max(Xa,Xb,Xc)时,预测编码处理141将Mx=Xa+Xb-Xc设置为预测值Mx。此后,预测编码处理141计算预测误差X-Mx(即,预测值Mx和像素X的实际值之间的差)。
不可逆转换处理130产生在其中分量Cb和Cr被设置为相同数值的四个像素数据构造的矩阵。如图7所示,多个矩阵被水平排列。在所述矩阵中,右下方像素的预测误差在正常情况下被设置为零。这保证了预测误差在相对于分量Cb和Cr水平排列的像素中被交替地设置为零。(在预测编码处理141中顺序计算的)预测误差可能相对于分量Cb和Cr被连续设置为零。省略其详细解释,然而,通常认为压缩编码数据的大小在其预测值为零的像素连续出现在屏幕上时变得更小(换句话说,压缩因子变得更高)。
预测误差转换处理142对(预测编码处理141中所计算的)预测误差执行符号位取反,同时符号位取反降低了预测误差的绝对值。预测误差转换处理142的内容相对于构成预测误差的位数而有所不同,所述构成预测误差的位数即在构成被施以压缩编码的视觉数据的每个像素数据中所包括的位数。图8示出了相对于预测误差转换处理142的输入数据和输出数据之间的关系,其中,输入数据表示其位数(除符号位之外)以8位、6位、5位和4位变换的预测误差。图8仅示出了其绝对值通过符号位取反而减小的特定输入数据和相应输出数据之间的关系。也就是说,图8没有示出其绝对值并未通过符号位取反而减小的其他输入数据和相应输出数据之间的关系。在这种情况下,预测误差转换处理142并不执行符号位取反,从而输入数据直接作为输出数据进行输出。
图9示出了相对于接收六位(除符号位之外)的预测误差的预测误差转换处理142,输入数据和输出数据之间的关系,其中,箭头表示转换方向。在第二实施例中,以2的余数表示了(表示像素数据的分量、预测误差等的)二进制数据的负值。例如,在原始绝对值为32或更大时,6位(除其符号位之外)预测误差的绝对值通过符号位取反而减小为小于原始绝对值。出于该原因,预测误差转换处理142需要对其绝对值为26-1=32或更大的“正”预测误差执行符号位取反。此外,其绝对值为32或更大的“负”预测误差(即,-32或更小的负值)通过符号位取反而减小为小于原始绝对值。出于该原因,预测误差转换处理142需要对其绝对值为32或更大的“负”预测误差执行符号位取反。相对于均由不同位数构成的其他预测误差执行类似运算。例如,在8位预测误差的情况下,对其绝对值为28-1=128或更大的预测误差有选择地施以符号位取反。在5位预测误差的情况下,对其绝对值为25-1=16或更大的预测误差有选择地施以符号位取反。在4位预测误差的情况下,对其绝对值为24-1=8或更大的预测误差有选择地施以符号位取反。
可变长度编码处理143对经过预测误差转换处理142的预测误差执行可变长度编码。如以上所描述的,预测编码处理141以光栅扫描顺序相对于构成被施以压缩编码的视觉数据的像素中选择的像素X来计算预测误差。在第二实施例中,在预测编码处理141中以光栅扫描顺序来顺序计算的预测误差以计算次序而被顺序施以预测误差转换处理142和可变长度编码处理143,由此将它们顺序转换为可变长度编码。可变长度编码的集合被集成到从压缩编码装置100输出的压缩编码数据中。
图10示出了在将预测误差转换为可变长度编码时,可变长度编码处理143所参考的转换表。与量化模式表类似,所述转化表能够被嵌入不可逆压缩编码程序中,或者其能够独立于所述不可逆压缩编码程序存储在压缩编码装置100中。在图10的转换表中,“编码项”表示经过预测误差转换处理142的预测误差,而“S”表示分配了具有相同长度的可变长度编码的分组号。单个可变长度编码由编码和附加位构成,其中,所述编码作为将每个可变长度编码的分组与其他分组进行区分的标识信息。所述附加位作为将具有特定编码的可变长度编码的分组中的每个可变长度编码与其他可变长度编码进行区分的标识信息。
在编码项(即,其绝对值不为零的预测误差)内,依据图10的转化表,具有较小绝对值的预测误差被转换为具有较短长度的可变长度代码,其由编码和附加位所构成。例如,具有相同绝对值“1”的两个编码项“-1”和“1”被转换为属于被分配了编码“01”的分组号S=1的可变长度编码,其中,它们分别使用附加位“0”和“1”来进行区分。其绝对值为“2”或“3”的四个编码项“-3”、“-2”、“2”和“3”被转换为属于被分配了编码“10”的分组号S=2的可变长度编码,其中,它们分别使用附加位“00”、“01”、“10”和“11”进行区分。类似地,其他编码项被细分到具有连续绝对值的分组中,其中,具有较高绝对值的分组被分配了具有较长长度的编码。除了其绝对值为“256”的分组号S=9之外,每个分组中所包括的编码项的数目相对于具有较高绝对值的分组而变得更大;因此,对编码项进行区分的附加位的长度也相应地变得更大。在第二实施例中,构成预测误差的最大位数被设置为八位(除符号位之外);因此,“-256”和“256”表示溢出状态。就此而言,编码项“-256”和“256”均被分配为相同编码“111111110”,并且被转换为不具有附加位的可变长度编码。
相对于其绝对值为零的编码项(ZRL)(即,零运行长度),连续为0的部分被转换为可变长度编码。例如,其绝对值为“1”的编码项ZRL=1被转换为属于被分配了编码“000”的分组号S=9的可变长度编码。其绝对值为“2”或“3”的两个编码项ZRL=2,3被转换为属于被分配了编码“0010”的分组号S=10的可变长度编码,其中,它们分别使用附加位“0”和“1”进行区分。其绝对值范围为“4”至“7”的四个编码项ZRL=4,5,6,7被转换为被分配了编码“00110”的分组号S=11中,其中,它们分别使用附加位“00”、“01”、“10”和“11”进行区分。类似地,其他编码项“ZRL”被细分到具有连续ZRL数值的分组中,其中,具有较高ZRL数值的分组被分配有具有较长长度的编码。每个分组中所包括的编码项“ZRL”的数目相对于具有较高ZRL数值的分组而变得更大;因此,对编码项“ZRL”进行区分的附加位的长度也相应地变得更大。第二实施例假设与预测误差有关的“ALL0”状态以便提高压缩因子。在ALL0状态中,预测误差相对于当前指定的像素为零,并且所有预测误差相对于与当前指定像素线性排列的其他像素均为零。ALL0状态由编码“001110”所指定,由此相应的编码项被转换为不具有附加位的可变长度编码。第二实施例相对于分量Cb和Cr对像素数据执行缩小处理131和扩充处理132,从而对水平扫描线中排列的像素所计算的预测误差被交替设置为0。因此,连续0的长度可能变得更长。出于该原因,第二实施例被设计为使用ZRL有效执行可变长度编码,由此提高压缩因子。
接下来,将对视觉显示控制装置200进行详细描述。视觉显示控制装置200对压缩编码装置100所输出的压缩编码数据进行解码,从而产生视觉数据,所述视觉数据被提供给诸如液晶显示器(未示出)之类的显示单元以便控制屏幕上的视觉表示。与压缩编码装置100类似,视觉显示控制装置200的整体功能也根据安装在数字信号处理器(DSP)或计算机中的解码程序来实现。视觉显示控制装置200根据所述解码程序执行可逆解码处理210、逆向量化处理220、和显示控制处理230。第二实施例利用软件来实现这些处理;但是并不局限于此。例如,可以利用解码电路来构造可逆解码处理210和逆向量化处理220,并且利用显示控制电路来构造显示控制处理230,其中,这些电子电路被组合在一起,以形成视觉显示控制装置200的硬件。
可逆解码处理210是可逆编码处理140的逆处理,并且由可变长度解码处理211和逆向预测编码处理212构成。可变长度解码处理211是可变长度编码处理143的逆处理。可变长度解码处理211参考可变长度编码处理143中使用的相同转化表从由附加位和编码所组成的可变长度编码中再现(可变长度编码处理143之前的)预测误差。逆向预测编码处理212是预测编码处理141的逆处理。基于可变长度解码处理211中再现的预测误差,逆向预测编码处理212将压缩编码数据转换为具有与预测误差相对应的分量Y、Cb和Cr的像素数据。将相对于逆向预测编码处理212在三个像素数据Xa、Xb和Xc已经如图6所示地相对于分量Y、Cb和Cr之一进行解码的条件下接收像素数据X的预测误差的情形,对逆向预测处理212的详细操作进行描述。在这种情形中,逆向预测处理212根据与预测编码处理141类似的算法,基于像素数据Xa、Xb和Xc计算像素数据X的预测值Mx。预测值Mx被添加到预测误差,从而产生“整个”像素数据X。通过对预测编码装置100所输出的预测编码数据执行可逆解码处理210,可以在压缩编码装置100的可逆压缩编码处理140之前完全恢复原始的像素数据。换句话说,可能完全恢复经由对RGB表示形式的像素数据进行的数据转换处理120所获取的YCbCr表示形式的像素数据,以及经由不可逆转换处理130所获取的像素数据。
根据映射规则(1),由分量Y、Cb和Cr组成的像素数据具有正值(确切地,16或更大的值);因此,经过量化处理133的像素数据具有零或更大的数值。在预测编码处理141之前的由分量Y、Cb和Cr组成的像素数据具有正值的前提条件下,逆向预测编码处理212将预测误差和预测值Mx的相加结果的数据部分(除符号位之外)识别为像素数据的解码结果。出于该原因,只要输入像素数据的数据部分(除符号位之外)保持相同,逆向预测编码处理212就基于预测误差而不考虑符号位(其中“0”表示正值,而“1”表示负值)来再现相同的像素数据。压缩编码装置100需要执行归功于预测编码的上述特征的预测误差转换处理142,其中预测误差的符号位“1”/“0”并不影响解码结果,原因在于需要减小可变长度编码处理143中编码项(即,预测误差)的绝对值,并且减小转换之后的可变长度编码的长度,换句话说,需要减小压缩编码数据的量,由此提高压缩因子。以下将描述该运算的具体示例。
参考图10的转化表,假设像素数据相对于分量Y、Cb和Cr中的每一个以6位(除符号位之外)来构造,并且预测误差以6位来构造;像素数据X被设置为“59d”(其中“d”表示十进制表示),预测值被设置为“10d”,并且预测误差被设置为“49d=0110001b”(其中“b”表示二进制表示,且第一位“0”为表示正值的符号位)。当压缩编码装置100并不执行预测误差转换处理142时,例如,参考图10的转化表,可变长度编码处理143将预测误差“49d”转换为由分组号S=6“111110”和附加位“110001”组成的12位的可变长度编码。在视觉显示控制装置200中,可变长度解码处理211根据压缩编码装置100所输出的长度可变编码来再现预测误差“49d”。逆向预测编码处理212根据等式(3)对预测值“10d=0001010b”和再现的预测误差“49d=0110001b”执行二进制相加,由此再现原始像素数据“59d”。
0001010b+0110001b=0111011b=59d (3)
与以上运算相反,视觉显示控制装置200与包括预测误差转换处理142的压缩编码装置100如下进行协作。
根据图9,预测误差“49d”被转换为“0110001b”(其中第一位表示符号位)。将符号位从“0”变为“1”产生“1110001b”,其对应于十进制表示中的“-15d”。“-15d”的绝对值小于“49d”的绝对值。在压缩编码装置100中,预测误差转换处理142通过对符号位取反将预测误差转换为“1110001b=-15d”。在预测误差转换处理142之后,可变长度编码处理143参考图10的转换表,将符号位取反的预测误差“1110001b=-15d”转换为由附加位“0000”和属于分组号S=4的编码“1110”所构成的8为可变长度编码。在视觉显示控制装置200中,可变长度解码处理211将可变长度编码解码为符号位取反的预测误差“1110001b=-15d”。在可变长度解码处理211之后,逆向预测编码处理212根据等式(4)将预测值“10d=0001010b”与所解码的预测误差“1110001b=-15d”相加。
0001010b+1110001b=1111011b (4)
逆向预测编码处理212将相加结果“1111011b”中的符号位“1”取反,从而产生像素数据X“111011b=59d”。也就是说,所解码的像素数据基于预测值和预测误差(除其符号位之外)来确定。在第二实施例的预测编码装置100中,当预测误差的绝对值由于预测误差的符号位取反而减小时,对预测误差执行符号位取反的预测误差转换处理142之后跟随可变长度编码处理143,由此,减少构成压缩编码数据的可变长度编码的长度。
在上文中,至关重要的是可逆解码处理210实质上等价与之前用于对根据压缩编码算法而被施以可逆压缩编码的像素数据进行解码的解码处理,所述压缩编码算法实现预测编码和可变长度编码。出于该原因,可以采用执行可逆解码处理210的传统解码电路(图1中未示出),其对根据压缩编码算法而被施以可逆压缩编码的像素数据进行解码,所述压缩编码算法实现预测编码和可变长度编码。换句话说,第二实施例的视觉显示控制装置200能够执行第一解码运算和第二解码运算,所述第一解码运算用于对从压缩编码装置100输出的被施以不可逆压缩编码的像素数据进行解码,所述第二解码运算用于对施以可逆压缩编码的像素数据进行解码。如果压缩编码装置100跳过扩充处理132,则视觉显示控制装置200需要执行与扩充处理132等价的附加操作。在这种情况下,不可能使用传统解码电路,其需要被修改以处理上述情况。在具有以行为单位执行解码的行缓冲器构造的视觉处理LSI装置的情况下,需要执行跨行的复杂扩充处理,为此需要以复杂的方式对解码电路进行修改。相反,第二实施例允许压缩编码装置100执行扩充处理132;这使得可能直接使用解码电路对视觉显示控制装置200进行构造,所述解码电路用于对根据实施预测编码和可变长度编码的压缩编码算法对被施以可逆压缩编码的视觉数据进行解码。这就是第二实施例为何在压缩编码装置100中集成扩充处理132的原因。
逆向量化处理220是量化处理133的逆处理,其中,对在量化处理133中减少的像素数据被减少的位进行插值。从压缩编码装置100传送到视觉显示控制装置200的量化模式信号表示其位在量化处理133中被减少的像素数据,以及所减少的位数。响应于所述量化模式信号,逆向量化处理220根据表2而相对于分量Y、Cb和Cr而对像素数据进行插值。
表2
量化模式信号 | Y分量 | Cb分量 | Cr分量 |
0 | Y[7:0] | Cb[7:0] | Cr[7:0] |
1 | Y[6:0],Y[6] | Cb[7:0] | Cr[7:0] |
2 | Y[6:0],Y[6] | Cb[6:0],Cb[6] | Cr[6:0],Cr[6] |
3 | Y[5:0],Y[5:4] | Cb[7:0] | Cr[7:0] |
4 | Y[5:0],Y[5:4] | Cb[6:0],Cb[6] | Cr[6:0],Cr[6] |
5 | Y[5:0],Y[5:4] | Cb[5:0],Cb[5:4] | Cr[5:0],Cr[5:4] |
6 | Y[4:0],Y[4:2] | Cb[5:0],Cb[5:4] | Cr[5:0],Cr[5:4] |
例如,在模式=1的情况下,压缩编码装置100的量化处理133从Y分量像素数据减少一位,其由此成为七位(例如,表2中的Y[6:0])。相反,视觉显示控制装置200的逆向量化处理220添加所减少的位(例如Y[6])作为Y分量像素数据的最后一位,从而所述像素数据以八位得以再现,所述所减少的位是Y分量像素数据的第一位。
显示控制处理230以光栅扫描顺序选择从逆向量化处理220输出的像素数据,从而所选择的像素数据根据图11A和11B所示的流程图而被顺序转换为RGB表示形式的像素数据。特别地,一旦利用视觉显示控制装置200的操作人员控制台(未示出)接收到启用/禁用透明控制的指令,显示控制处理230就进行至图11A的流程图。相反,一旦接收到禁用透明控制的指令,显示控制处理230就进行至图11B的流程图。
在图11A的流程图中,显示控制处理230首先在步骤SB100进行每个像素数据是否受到透明控制的判定。该判定可以以各种方式来实施。例如,可以确定每个像素数据是否处于根据映射规则(1)所计算的映射范围之外。可选地,可以确定每个像素数据的Y分量是否单独处于所述映射范围之外(例如,十进制表示中的“16”)。由于以下原因,第二实施例允许步骤SB100单独处理像素数据的Y分量。
每个像素数据已经相对于分量Cb和Cr被施以如图5A和5B所示的缩小处理131和扩充处理132。第二实施例无法一直保证通过缩小处理131和扩充处理132来消除具有受控对象指示符的像素数据的分量Cb和Cr,或者使用具有受控对象指示符的像素数据来对其他像素数据进行插值。另一方面,像素数据的Y分量跳过缩小处理131和扩充处理132,使得其被施以可逆压缩编码,虽然压缩编码装置100整体上执行不可逆压缩处理。在视觉显示控制装置200中,受到透明控制的像素数据的Y分量被解码为指示透明控制的特定数值,而不使用透明控制的像素数据的Y分量被解码为表示其原始亮度(或强度)的数值。出于该原因,可以通过判定像素数据的Y分量是否处于根据映射规则(1)的映射范围之外,来准确确定每个像素数据是否受到透明控制。
当步骤SB100的判定结果为“否(NO)”时,显示控制处理230进行至与逆向坐标转换处理有关的步骤SB110。该逆向坐标转换处理与YCbCr→RGB转换处理60a类似。当步骤SB100的判定结果为“是(YES)”时,显示控制处理230进行至步骤SB120,其中,其输出归功于透明控制并且以RGB表示形式进行渲染的“透明”像素数据。这里,透明表示相对于受到透明控制的像素数据的RGB表示形式(换句话说,原始图片上每个像素的原始颜色)的特定颜色。根据图11A的流程图,显示控制处理230提供了从逆向量化处理220输出,并且以RGB表示形式进行渲染的所有像素的显示单元(未示出)。因此,所述显示单元在屏幕上以RGB表示形式对视觉数据的所有像素进行渲染。
相反,显示控制处理230在接收到不使用透明控制的指令时,实施图11B的流程图。与图11A的流程图相比,图11B的流程图并不包括在步骤SB100的判定结果为“YES”时执行的步骤SB120。在图11B的流程图中,受到透明控制的像素数据(即,使得步骤SB100中的判决结果为“是”的像素数据)并不被施以步骤SB120,从而显示单元在屏幕上显示缺少那些像素的画面。也就是说,当那些“缺少的”像素在背景图像上以覆盖表示形式被进行渲染时,它们并不被显示而是背景图像替代它们而部分地显现,由此实现了透明控制。
由于透明控制数据与附加信息相比(例如,图14A和14B中所示的附加位)数据大小较小,所以可以抑制压缩因子的减小。此外,第二实施例能够准确识别被施以不可逆压缩编码和解码的像素数据内受到透明控制的像素数据。也就是说,可能在解码装置中准确执行透明控制,同时防止压缩因子在对受到透明控制的像素数据进行的不可逆压缩编码中明显减小。
3.第三实施例
图12是示出根据本发明第三实施例的,具有行缓冲器构造的视觉处理LSI装置300的结构的框图,所述行缓冲器构造作为视觉显示控制装置。视觉处理LSI装置300例如被构建在游戏装置中。其在用作所述游戏装置的控制中心的CPU 402的控制之下,在监视器403的屏幕上相对于子画面(例如,游戏人物)和背景图像(例如,游戏场景)来实施覆盖表示。特别地,压缩编码装置100对子画面的视觉数据执行不可逆压缩编码,以便产生压缩编码数据,其被存储在子画面模式存储器401中。视觉处理LSI装置300在CPU 402的控制下从子画面模式存储器410读取压缩编码数据,并且将它们解码为像素数据。其以水平行为单位在监视器403的屏幕上显示与所解码的像素数据相对应的子画面。就此而言,图12仅示出了视觉处理LSI装置300的整体结构中与压缩编码数据的解码和再现密切相关的实质性部分;因此,其并没有示出其他部分。
例如,子画面模式存储器401被以ROM来构造,其存储例如,表示多个子画面模式的压缩编码数据。
在视觉处理LSI装置300中,CPU接口(或CPU I/F)301接收来自CPU 402的控制信息。存储器302存储CPU 402经由CPU接口301提供的控制信息。例如,其被以RAM来构造。CPU 402提供到存储器302的控制信息包括存储被进行解码和再现的子画面的压缩编码数据的子画面模式存储器401的地址、监视器403的屏幕上显示子画面的位置、与子画面的缩小和扩充相关的指令、以及压缩编码信息。如图13所示,压缩编码信息包括透明控制数据、以及表示量化模式的量化模式标识符。这里,透明控制数据共同表示相同颜色,或者它们被分配了被认为是透明的不同颜色。此外,透明控制数据表示相同的受控对象指示符,或者它们被分配了不同的受控对象指示符。
控制单元303是根据存储器302中所存储的控制信息对视觉处理LSI装置300的构成部分进行控制的控制中心。在控制单元303的控制下,模式存储器接口(I/F)304访问子画面模式存储器401中存储在由地址所指定的区域中、包括在存储器302的控制信息中的压缩编码数据。模式数据解码器305实现之前所述的可逆解码处理210。在控制单元303的控制下,模式数据解码器305经由模式存储器接口304从子画面模式存储器401读取压缩编码数据。其对子画面的压缩编码数据执行之前所述的可变长度解码处理211和逆向预测编码处理212。因此,可以再现像素数据,所述像素数据是通过对以RGB表示形式渲染的(压缩编码之前的)像素的原始视觉数据执行数据转换处理120和不可逆转换处理130而产生的。
从模式数据解码器305输出的像素数据被提供到逆向量化单元306和显示控制单元307,使得它们依次被施以逆向量化处理220和显示控制处理230,由此再现RGB表示形式的像素数据。特别地,逆向量化单元306根据存储器302的控制信息中所包括的压缩编码信息的量化模式标识符来执行所述逆向量化处理220。显示控制单元307依据压缩编码信息中所包括的透明控制数据和从控制单元303给出的是否执行透明处理的指令来执行图11A或图11B所示的显示控制过程。经过显示控制单元307的显示控制过程的像素数据在子画面渲染处理器308中进行渲染,并且存储在行缓冲器309A或309B中。
行缓冲器309A或309B均具有存储监视器303的屏幕上的一行像素数据的容量。控制单元303交替使用行缓冲器309A和309B。例如,在用于在监视器403的屏幕上显示行缓冲器309A中所存储的一行像素数据的周期中,控制单元303使得子画面渲染处理器308执行渲染,用于将下一行像素数据写入行缓冲器309B中。在用于在监视器403的屏幕上显示行缓冲器309B中所存储的一行像素数据的另一周期中,控制单元303使得子画面渲染处理器308执行渲染,用于将下一行像素数据写入行缓冲器309A中。在控制单元303的控制下,模式数据解码器305、逆向量化单元306和显示控制单元307为被施以渲染的(表示子画面的一部分的)一行像素数据进行准备,以使得子画面渲染处理器308能够及时执行渲染。偶尔,需要在监视器403的屏幕的一行上显示多种类型的子画面。在这种情况下,控制单元303访问子画面模式存储器401以读取相对于应当在监视器403的屏幕上显示的所有子画面来获取一行像素数据所需的压缩编码数据。接着,所读取的压缩编码数据被提供到模式数据解码器305并且被进行解码。
视觉数据控制器310、显示控制器311、和监视器接口(I/F)312交替从行缓冲器309A和309B读取一行像素数据,并且将它们提供给监视器403以便在屏幕上显示图像和图形。特别地,显示控制器311经由监视器接口312向监视器403提供垂直同步信号和水平同步信号。此外,其向视觉数据控制器310与水平同步信号同步地发送像素数据读取指令。一旦接收到像素数据读取指令,视觉数据控制器310就交替选择行缓冲器309A和309B,以便从所选择的行缓冲器309中读取一行像素数据,并且经由监视器接口312将它们发送到监视器403。
第三实施例的视觉处理LSI装置300以与视觉显示控制装置200类似的方式工作,从而其能够准确执行透明控制而不会影响不可逆压缩编码的优势。第三实施例被应用于具有行缓冲器构造的视觉处理LSI装置300;但是并不局限于此。其可应用于具有帧缓冲器构造的视觉处理LSI装置,所述视觉处理LSI装置配备有帧缓冲器,其存储一帧像素数据以便以帧为单位执行渲染。
4.变化形式
可能利用以下变化形式对以上实施例进行修改。
(1)第三实施例使用包括量化模式标识符的压缩编码信息,但是所述压缩编码信息在事先对量化处理133设置了预定量化模式时并不必须包括量化模式标识符。可以将压缩编码信息与压缩编码数据一起存储在子画面模式存储器401中。在这种情况下,CPU 402提供给控制单元303的控制信息并不必须包括压缩编码信息。
(2)第二实施例利用量化处理133减少了构成被施以可逆压缩编码处理140的像素数据的任意一个分量的位数,但是对于本发明量化处理133并非是必不可少的;因此,其可以不被使用。当在压缩编码装置100中不使用量化处理133时,不言而喻的是,在解码装置中执行逆向量化处理220以便对没有使用量化处理133所产生的压缩编码数据进行解码不是必须的。在第二实施例中,从预测编码处理141输出的预测误差被施以预测误差转换处理142,并且随后被施以可变长度编码处理143;但是可以省略预测误差转换处理142。在第二实施例中,可逆压缩编码处理140包括预测编码处理141和可变长度编码处理143,但是其仅仅需要至少包括预测编码处理141。
(3)在第二实施例中,量化处理133之后跟随着可逆压缩编码处理140;但是并非局限于此。第二实施例可以被重新设计以使用确保不可逆压缩编码和解码算法的不可逆压缩编码处理,所述算法保证了受到透明控制和经过不可逆压缩编码和解码的像素数据必然处于映射范围之外。
(4)在第一实施例中,像素数据基于透明识别处理10的识别结果而被施以RGB→YCbCr转换处理20a或全零转换处理20b,并且随后被施以不可逆压缩编码处理30;但是并非局限于此。可能采用确保可逆压缩编码和解码算法的可逆压缩编码处理,所述算法保证了受到透明控制的像素数据处于映射范围之外。
(5)为了使得由于不可逆转换处理130(特别是缩小处理131和扩充处理132)的图片质量的劣化最小化,第二实施例在预处理时从RGB表示形式映射到YCbCr表示形式;但是并非局限于此。可能执行从RGB表示形式到LUV表示形式的映射。此外,可能采用诸如RGB→YUV、RGB→YIQ、RGB→Lab、RGB→HLS、RGB→HSV、RGB→CMY以及RGB→CMYK之类的其他类型的映射。与映射规则(1)类似,这些类型的映射能够被表示为映射规则,所述映射规则基于转换之前的原始表示形式中三个颜色分量所构成的像素数据的线性组合来计算所转换表示形式的像素数据的分量。也就是说,它们基于转换之前的原始表示形式中像素数据的三个颜色分量的线性组合来计算所转换表示形式中像素数据的三个颜色分量。
(6)例如,可以将像素数据的R、G、B分量转换为像素数据的R分量、像素数据的G分量和R分量之间的差“G-R”、以及像素数据的B分量和R分量之间的差“B-R”。可选地,可能将它们转换为像素数据的G分量、像素数据的R分量和G分量之间的差“R-G”以及像素数据的B分量和G分量之间的差“B-G”。可能将它们转换为像素数据的B分量、像素数据的R分量和B分量之间的差“R-B”、以及像素数据的G分量和B分量之间的差“G-B”。当步骤SA110的数据转换处理120基于原始表示形式中像素数据的三个颜色分量的线性组合来计算所转换表示形式中像素数据的三个颜色分量时,必须将受控对象指示符设置为根据预先确定的映射规则的映射范围之外的数值,诸如低于映射范围的下限值的数值或者高于所述映射范围的上限值的数值。
(7)基于原始表示形式中像素数据的三个颜色分量的线性组合所计算的所转换表示形式中像素数据的三个颜色分量不必大于零;因此,它们可以被设置为负值。第二实施例的逆向预测编码处理212以预测编码之前的像素数据大于零的前提条件进行运算;因此,“转换的”像素数据取负值是不方便的。为了处理这样的缺陷,当数据转换处理120所输出的转换的像素数据可能被设置为负值时,转换的像素数据被施以级(level)位移(通过添加特定正值等),从而将它们强制增加到零以上。为了防止图片质量的明显退化,优选地在不可逆转换处理130之前执行级位移。
(8)第二实施例对数据转换处理120所输出的YCbCr表示形式的像素数据的分量Cb和Cr执行缩小处理131和扩充处理132;然而,可以对像素数据的分量Cb和Cr之一执行缩小处理131和扩充处理132。类似地,可以对基于原始表示形式中像素数据的三个颜色分量的线性组合所产生的其他所转换表示形式(其不同于YCbCr表示形式)中像素数据的三个分量中的至少一个来执行缩小处理131和扩充处理132。就此而言,可以确定如何选择像素数据的三种分量中被施以缩小处理131和扩充处理132的一种而不会导致图片质量的明显下降。
(9)在第一和第二实施例中,对于本实施例必不可少的不可逆压缩编码程序被安装在压缩编码装置1和100中。当然,可能将不可逆压缩编码程序写入诸如CD-ROM的计算机可读介质中,并且将其分配给用户或消费者。可选地,可以经由诸如因特网之类的电信线路将不可逆压缩编码程序下载到用户或消费者处。类似地,可能将解码程序写入计算机可读介质中,并且将其分配给用户或消费者。可选地,可能经由电信线路将解码程序下载到用户或消费者处。
最后,本发明并不必局限于以上实施例和变化形式,其能够以处于如所附权利要求所确定的本发明的范围之内的各种方式进一步进行修改。
Claims (5)
1.一种压缩编码装置,包括:
识别处理,所述识别处理识别以第一颜色表示形式渲染的像素数据的三个颜色分量是否均受到透明控制;
转换处理,所述转换处理根据映射规则将未受到所述透明控制的第一颜色表示形式的像素数据转换为第二颜色表示形式的像素数据,而根据所述映射规则将受到所述透明控制的所述第一颜色表示形式的像素数据转换为映射范围之外的预定值;以及
不可逆压缩编码处理,所述不可逆压缩编码处理对从所述转换处理输出的像素数据执行不可逆压缩编码,由此产生压缩编码数据。
2.如权利要求1所述的压缩编码装置,其中,受到透明控制和具有所述映射范围之外的预定值的像素数据被施以可逆压缩编码,而未受到透明控制的、其数值根据所述映射规则落入所述映射范围之内的像素数据则被施以所述不可逆压缩编码。
3.如权利要求1所述的压缩编码装置,其中,受到透明控制的像素数据被进行映射,从而被转换为高于所述映射范围的上限值或者低于所述映射范围的下限值的预定值。
4.如权利要求1所述的压缩编码装置,其中,所转换的像素数据的三个颜色分量中的至少一个被施以可逆压缩编码,而所转换的像素数据的其他分量则被施以所述不可逆压缩编码。
5.一种接收压缩编码数据的视觉显示控制装置,所述压缩编码数据通过根据映射规则将像素数据的三个颜色分量从第一颜色表示形式转换为第二颜色表示形式而产生,所述视觉显示控制装置包括:
解码处理,所述解码处理是不可逆压缩编码的逆处理,对压缩编码数据进行解码;
识别处理,所述识别处理根据所述映射规则,识别像素数据是否具有映射范围之外的预定值;以及
显示控制处理,所述显示控制处理在从第二颜色表示形式再现第一颜色表示形式的像素数据的同时,对具有所述映射范围之外的预定值的像素数据执行透明控制。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009156990A JP5251758B2 (ja) | 2009-07-01 | 2009-07-01 | 圧縮符号化装置、および画像表示制御装置 |
JP2009-156990 | 2009-07-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101945273A true CN101945273A (zh) | 2011-01-12 |
Family
ID=43412708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102204999A Pending CN101945273A (zh) | 2009-07-01 | 2010-06-29 | 压缩编码装置和视觉显示控制装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8385639B2 (zh) |
JP (1) | JP5251758B2 (zh) |
CN (1) | CN101945273A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102231834A (zh) * | 2011-06-27 | 2011-11-02 | 深圳市茁壮网络股份有限公司 | 一种apng文件在数字电视系统中的处理方法和装置 |
CN102231836A (zh) * | 2011-06-27 | 2011-11-02 | 深圳市茁壮网络股份有限公司 | 一种gif文件在数字电视系统中的处理方法和装置 |
CN104469327A (zh) * | 2014-12-23 | 2015-03-25 | 上海工程技术大学 | 一种康复护理机器人床的遥测遥控方法和设备 |
CN110312136A (zh) * | 2019-05-10 | 2019-10-08 | 同济大学 | 一种对多分量数据的编码和解码方法 |
CN110933418A (zh) * | 2019-11-26 | 2020-03-27 | 支付宝(杭州)信息技术有限公司 | 一种视频数据处理方法、设备、介质以及装置 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5081539B2 (ja) * | 2007-08-31 | 2012-11-28 | 株式会社リコー | 画像データ符号化装置、画像データ符号化方法、画像形成装置、画像形成方法、画像データ復号化装置、及び画像データ復号化方法 |
EP2234400A1 (en) * | 2009-03-23 | 2010-09-29 | Sony Corporation | Method and device for providing a multimedia content stream embedding processing information for the content |
JP5988696B2 (ja) | 2011-06-17 | 2016-09-07 | ローム株式会社 | 画像圧縮回路、画像圧縮方法、半導体装置、およびスマートフォン |
US8891894B2 (en) * | 2011-09-30 | 2014-11-18 | Apple Inc. | Psychovisual image compression |
JP6145965B2 (ja) * | 2012-04-19 | 2017-06-14 | 富士ゼロックス株式会社 | 画像符号化装置及び画像復号化装置並びにプログラム |
WO2014155428A1 (ja) * | 2013-03-29 | 2014-10-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 携帯情報端末の制御方法、プログラム及び情報提供方法 |
JP6614822B2 (ja) * | 2015-06-22 | 2019-12-04 | キヤノン株式会社 | 画像符号化装置及びその制御方法及びプログラム及び記憶媒体 |
TWI633791B (zh) * | 2017-10-16 | 2018-08-21 | 國立成功大學 | 景深圖框包裝及解包裝之rgb格式的調整與重建方法及電路 |
US11601665B2 (en) * | 2021-06-23 | 2023-03-07 | Microsoft Technology Licensing, Llc | Embedding frame masks in a video stream |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205788A (ja) * | 1998-01-13 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 画像圧縮装置、および画像伸張装置 |
CN1241094A (zh) * | 1998-06-16 | 2000-01-12 | 大宇电子株式会社 | 对视频信号进行编码的方法及装置 |
JP2003087572A (ja) * | 2001-09-14 | 2003-03-20 | Akuseru:Kk | 画像圧縮方法および装置、画像圧縮プログラムならびに画像処理装置 |
CN1509574A (zh) * | 2000-08-31 | 2004-06-30 | ���ĺ� | 带有标志插入的数字变码器 |
US7062087B1 (en) * | 2000-05-16 | 2006-06-13 | International Busniness Machines Corporation | System and method for optimizing color compression using transparency control bits |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07327134A (ja) * | 1994-05-31 | 1995-12-12 | Canon Inc | 画像処理装置およびその方法 |
TW376669B (en) * | 1997-02-10 | 1999-12-11 | Shinsedai Kk | Color graphic processor |
JP3304858B2 (ja) * | 1997-11-28 | 2002-07-22 | 富士ゼロックス株式会社 | 画像送信装置および画像送信方法 |
US6594385B2 (en) * | 1998-10-27 | 2003-07-15 | Hewlett-Packard Development Company, L.P. | Image compression of background and text tiles |
EP1355484B1 (en) * | 2002-04-17 | 2017-03-01 | Canon Kabushiki Kaisha | Image compression method and apparatus, and image coding method and apparatus |
US7991238B2 (en) * | 2004-04-30 | 2011-08-02 | Neiversan Networks Co. Llc | Adaptive compression of multi-level images |
US7609882B2 (en) * | 2005-05-25 | 2009-10-27 | Himax Technologies Limited | Image compression and decompression method capable of encoding and decoding pixel data based on a color conversion method |
JP4584115B2 (ja) * | 2005-11-02 | 2010-11-17 | シャープ株式会社 | 画像符号化装置、画像符号化方法、画像符号化プログラムおよび画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4662066B2 (ja) * | 2006-07-12 | 2011-03-30 | 株式会社リコー | 画像処理装置、画像形成装置、画像配信装置、画像処理方法、プログラム及び記録媒体 |
JP4847398B2 (ja) * | 2007-06-06 | 2011-12-28 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP5052569B2 (ja) * | 2009-06-25 | 2012-10-17 | シャープ株式会社 | 画像圧縮装置、画像圧縮方法、画像伸張装置、画像伸張方法、画像形成装置、コンピュータプログラム及び記録媒体 |
-
2009
- 2009-07-01 JP JP2009156990A patent/JP5251758B2/ja active Active
-
2010
- 2010-06-28 US US12/824,939 patent/US8385639B2/en active Active
- 2010-06-29 CN CN2010102204999A patent/CN101945273A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205788A (ja) * | 1998-01-13 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 画像圧縮装置、および画像伸張装置 |
CN1241094A (zh) * | 1998-06-16 | 2000-01-12 | 大宇电子株式会社 | 对视频信号进行编码的方法及装置 |
US7062087B1 (en) * | 2000-05-16 | 2006-06-13 | International Busniness Machines Corporation | System and method for optimizing color compression using transparency control bits |
CN1509574A (zh) * | 2000-08-31 | 2004-06-30 | ���ĺ� | 带有标志插入的数字变码器 |
JP2003087572A (ja) * | 2001-09-14 | 2003-03-20 | Akuseru:Kk | 画像圧縮方法および装置、画像圧縮プログラムならびに画像処理装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102231834A (zh) * | 2011-06-27 | 2011-11-02 | 深圳市茁壮网络股份有限公司 | 一种apng文件在数字电视系统中的处理方法和装置 |
CN102231836A (zh) * | 2011-06-27 | 2011-11-02 | 深圳市茁壮网络股份有限公司 | 一种gif文件在数字电视系统中的处理方法和装置 |
CN102231836B (zh) * | 2011-06-27 | 2013-06-26 | 深圳市茁壮网络股份有限公司 | 一种gif文件在数字电视系统中的处理方法和装置 |
CN104469327A (zh) * | 2014-12-23 | 2015-03-25 | 上海工程技术大学 | 一种康复护理机器人床的遥测遥控方法和设备 |
CN104469327B (zh) * | 2014-12-23 | 2018-03-13 | 上海工程技术大学 | 一种康复护理机器人床的遥测遥控方法和设备 |
CN110312136A (zh) * | 2019-05-10 | 2019-10-08 | 同济大学 | 一种对多分量数据的编码和解码方法 |
CN110933418A (zh) * | 2019-11-26 | 2020-03-27 | 支付宝(杭州)信息技术有限公司 | 一种视频数据处理方法、设备、介质以及装置 |
CN110933418B (zh) * | 2019-11-26 | 2021-12-21 | 支付宝(杭州)信息技术有限公司 | 一种视频数据处理方法、设备、介质以及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2011015139A (ja) | 2011-01-20 |
US8385639B2 (en) | 2013-02-26 |
US20110002551A1 (en) | 2011-01-06 |
JP5251758B2 (ja) | 2013-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101945273A (zh) | 压缩编码装置和视觉显示控制装置 | |
JP6659586B2 (ja) | 画像符号化/復号化方法及び装置 | |
RU2407223C2 (ru) | Сжатие текстуры на основании двух оттенков с модифицированной яркостью | |
CN100596200C (zh) | 图像压缩方法及图像编码器 | |
US20160100161A1 (en) | Decoder, encoder, decoding method, encoding method, and codec system | |
JP3695045B2 (ja) | 符号化装置 | |
JPH07236062A (ja) | 画像処理装置及びその方法 | |
CN101715132A (zh) | 无损压缩编码装置 | |
CN101375313A (zh) | 用于计算机图形的图像压缩 | |
CN101945274A (zh) | 压缩编码设备和解码设备 | |
US8582902B2 (en) | Pixel block processing | |
CN1953502A (zh) | 用于使用误差扩散来处理图像数据的设备和方法 | |
US8494291B2 (en) | Multi-mode processing of texture blocks | |
US20210250575A1 (en) | Image processing device | |
CN102271251A (zh) | 无失真的图像压缩方法 | |
JP2009077183A (ja) | データ圧縮装置、データ圧縮・伸張システム、およびデータ圧縮方法 | |
JPH11308465A (ja) | カラー画像の符号化方法およびその符号化装置ならびにカラー画像の復号化方法およびその復号化装置 | |
JP2693457B2 (ja) | 画像処理装置 | |
US20030156651A1 (en) | Method for reducing code artifacts in block coded video signals | |
CN113365080B (zh) | 串编码技术的编解码方法、设备及存储介质 | |
WO2010018494A1 (en) | Image compression | |
US11515961B2 (en) | Encoding data arrays | |
JP2007081857A (ja) | 画像データ圧縮・復元方法 | |
JP2002540685A (ja) | 画像圧縮及び圧縮解除 | |
JP3004272B2 (ja) | カラー画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110112 |