CN101729760A - 图像处理设备、图像处理方法和程序 - Google Patents
图像处理设备、图像处理方法和程序 Download PDFInfo
- Publication number
- CN101729760A CN101729760A CN200910205378A CN200910205378A CN101729760A CN 101729760 A CN101729760 A CN 101729760A CN 200910205378 A CN200910205378 A CN 200910205378A CN 200910205378 A CN200910205378 A CN 200910205378A CN 101729760 A CN101729760 A CN 101729760A
- Authority
- CN
- China
- Prior art keywords
- filter
- image
- modulation
- space
- grey level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000007704 transition Effects 0.000 claims description 109
- 238000013139 quantization Methods 0.000 claims description 91
- 238000000465 moulding Methods 0.000 claims description 84
- 238000001914 filtration Methods 0.000 claims description 81
- 230000008859 change Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 36
- 238000009792 diffusion process Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 230000035945 sensitivity Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007850 degeneration Effects 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Liquid Crystal Display Device Control (AREA)
- Picture Signal Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
本发明提供了图像处理设备、图像处理方法和程序。所述图像处理设备包括灰度级转换单元，该灰度级转换单元被配置为关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换图像的灰度级电平。
Description
技术领域
本发明涉及图像处理设备、图像处理方法和程序。具体地说，本发明涉及使得能够改进经灰度级转换的图像的感知质量的图像处理设备、图像处理方法和程序。
背景技术
例如，在小位数的显示器(比如能够显示其中RGB(红、绿和蓝)值中的每一个是6位的图像的LCD(液晶显示器))上显示大位数的图像(比如其中RGB值中的每一个是8位的图像)的情况下，必须执行用于转换图像的灰度级电平(gradation 1evel)的灰度级转换。
用于执行灰度级转换的方法的实例是FRC(帧速率控制)。
在FRC中，调节在显示器上显示的图像的帧速率以匹配显示器的显示速率(display rate)，例如，显示速率是帧速率的四倍，然后在显示器上显示图像。
也就是说，例如，假定要在6位LCD上显示8位图像。当将注意力集中在8位图像的帧中的像素上时，将该帧称作目标帧，且将该像素称作目标像素。
此外，假定目标像素的像素值是127。而且，假定8位图像的帧速率(或场速率)是60Hz且6位LCD的显示速率是8位图像的帧速率的四倍，也就是240Hz。
在FRC中，控制图像的帧速率是四倍以使得帧速率匹配显示器的显示速率，然后显示具有已经受控的帧速率的图像。
参考图1描述FRC。
作为目标像素的8位像素值的值127(＝01111111b)可以由表达式127＝(124+128+128+128)/4＝31+32+32+32来表示，如图1所示。
在表达式127＝(124+128+128+128)/4的右侧，124由以二进制数形式的01111100b表示，而128由以二进制数形式的10000000b表示，且因此两个值都是8位值。这里，b表示在前值是二进制数。
当将图像的帧速率乘以n以使得帧速率匹配显示器的显示速率时，将n称作“控制倍数”。
当将124(＝01111100b)除以作为控制倍数的4(＝22)时，获得31(＝011111b)。当将128(＝10000000b)除以作为控制倍数的4时，获得32(＝100000b)。两个值都是6位值。
可以通过根据表达式127＝(124+128+128+128)/4＝31+32+32+32，将作为目标像素的8位像素值的值127转换为四个6位像素值31、32、32和32，而将其显示在6位显示器上。
在FRC中，将目标帧转换为帧数等于控制倍数的帧，也就是，在该情况下转换为四个帧。现在，假定将四个帧以显示时间序列称作第一、第二、第三和第四帧。在该情况下，在FRC中，在第一到第四帧中目标像素的位置处的像素的像素值对应于6位像素值31、32、32和32。
在FRC中，以初始帧速率四倍的显示速率在显示器上显示第一到第四帧。在该情况下，在目标像素的位置处，将6位像素值31、32、32和32以人的视觉在时间方向中集成(integrate)，以使得像素值看来像127。
如上所述，在FRC中，通过使用其中以人的视觉执行时间方向中的集成的视觉集成效果来以伪方式表示作为8位像素值的127。
用于执行灰度级转换的方法的另一实例是误差扩散方法(例如，参见Hitoshi KIYA的“Yoku wakaru dijitaru gazou shori”，第六版，CQ公开，Co.Ltd.，2000年1月，pp.196-213)。
在误差扩散方法中，执行二维Δ∑调制，由此执行将作为噪声的量化误差成型(shaping)到高频段(high range)的空间频率的误差扩散(errordiffusion)。将噪声添加到像素值，然后将像素值量化为期望的位数。
在误差扩散方法中，如上所述，在已经添加噪声到像素值之后量化像素值。因此，在经量化(经灰度级转换)的图像中，看来好像已经关于仅通过截取较低位变得恒定的像素值执行了PWM(脉宽调制)一样。结果，由于其中以人的视觉执行空间方向上的集成的视觉集成效果，因此经灰度级转换的图像的灰度级看起来好像平滑地改变。也就是说，可以以伪方式表示等效于原始图像的灰度级电平的灰度级电平(例如，如上所述当原始图像是8位图像时256(＝28)-灰度级)。
并且，在误差扩散方法中，考虑人的视觉灵敏度在高频段的空间频率中很低，而将噪声成型之后的噪声(量化误差)添加到像素值。因此，可以减小在经灰度级转换的图像中可察觉的噪声电平。
发明内容
在FRC中，如上所述，通过使用在时间方向中的视觉集成效果，以伪方式实现高灰度级电平。但是，当在相同位置处的像素值的改变由于图像中的运动而显著时，所谓的闪烁可能变得能被察觉。
另一方面，在误差扩散方法中，将噪声成型之后的噪声(量化误差)添加到像素值，但是执行了噪声成型的量化误差是在空间上接近目标像素的像素的量化误差(像素值)。为此原因，在误差扩散方法中，当原始图像是静止图像时，在各个帧的相同位置处的像素的量化误差具有相同的值，且将相同噪声(噪声成型之后的噪声)添加到在各个帧的相同位置处的像素的像素值。
图2图示要对其执行灰度级转换的原始图像(以下称为目标图像)的三个连续的帧。
当目标图像是静止图像时，在图2中各自的三个帧中相同位置处的像素的像素值相同。因此，在图2中各自的三个帧中相同位置处的像素的量化误差相同，且在量化之前添加到相同位置处的像素的像素值的噪声相同。结果，在图2中各自的三个帧中相同位置处的像素的像素值在灰度级转换之后也相同。
注意到，在FRC中，即使当图像是静止图像时，在经灰度级转换的图像的多个连续帧中相同位置处的像素的像素值也可以彼此不同。
在误差扩散方法中，与在FRC中不同，不发生闪烁。但是，在误差扩散方法中，将噪声添加到目标图像，且因此当在其中一级灰度级的幅度电平在经灰度级转换的图像中高的情况下(例如，其中一级灰度级的幅度电平在通过关于8位图像执行的灰度级转换获得的6位图像中高的情况下)获得其中(经量化的)像素值以低频率改变的经灰度级转换的图像时，添加到像素值的噪声可能是能被察觉的。
因此，需要改进经灰度级转换的图像的感知质量。
根据本发明的实施例，提供了图像处理设备，包括灰度级转换装置，用于关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换图像的灰度级电平。并且，提供使得计算机用作图像处理设备的程序。
根据本发明的实施例，提供用于关于图像执行灰度级转换的图像处理设备的图像处理方法。图像处理方法包括关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换图像的灰度级电平的步骤。
在上述的图像处理设备、图像处理方法和程序中，关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换图像的灰度级电平。
图像处理设备可以是独立的设备或可以是构成设备的内部块。
可以通过经由传输介质发送或通过记录在记录介质上来提供程序。
根据本发明的上述实施例，可以改进经灰度级转换的感知质量。
附图说明
图1说明帧速率控制；
图2图示目标图像的三个连续帧；
图3是图示根据本发明实施例的图像处理设备的示例性配置的框图；
图4是图示在图像处理设备中的灰度级转换单元的示例性配置的框图；
图5是图示由灰度级转换单元执行的灰度级转换处理的流程图；
图6是图示在其中采用帧存储器作为时间方向滤波器的情况下的灰度级转换单元的示例性配置的框图；
图7图示用于在三维滤波单元中滤波的量化误差；
图8是图示仅执行空间方向Δ∑调制的空间方向Δ∑调制器的配置的框图；
图9图示其中以空间方向Δ∑调制器扩散目标像素的量化误差的像素区域；
图10A和图10B图示基于空间方向Δ∑调制的噪声成型的幅度特性；
图11是图示仅执行时间方向Δ∑调制的时间方向Δ∑调制器的配置的框图；
图12A和图12B图示基于时间方向Δ∑调制的噪声成型的幅度特性；
图13是图示灰度级转换单元的另一示例性配置的框图；
图14图示使用Jarvis滤波器的噪声成型的幅度特性和使用Floyd滤波器的噪声成型的幅度特性；
图15图示使用Jarvis滤波器的噪声成型的幅度特性和使用Floyd滤波器的噪声成型的幅度特性；
图16图示使用SBM滤波器的噪声成型的幅度特性；
图17A和图17B图示滤波器系数和使用SBM滤波器的噪声成型的幅度特性的第一实例；
图18A和图18B图示滤波器系数和使用SBM滤波器的噪声成型的幅度特性的第二实例；
图19A和图19B图示滤波器系数和使用SBM滤波器的噪声成型的幅度特性的第三实例；和
图20是图示根据本发明实施例的计算机的示例性配置的框图。
具体实施方式
根据本发明实施例的图像处理设备的示例性配置
图3是图示根据本发明实施例的图像处理设备的示例性配置的框图。
图3中的图像处理设备包括灰度级转换单元11和显示器12，且被应用于电视接收机(以下称为TV)等。
向灰度级转换单元11提供其中RGB分量中的每一个是8位的图像作为目标图像。灰度级转换单元11通过关于8位图像同时地执行空间方向中的Δ∑调制(以下称为空间方向Δ∑调制)和时间方向中的Δ∑调制(以下称为时间方向Δ∑调制)，来转换向其提供的8位图像(目标图像)的灰度级电平。
也就是说，例如，灰度级转换单元11将向其提供的8位图像转换为6位图像(其中RGB分量中的每一个是6位的图像)。
然后，灰度级转换单元11将通过灰度级转换获得的(经灰度级转换的)6位图像提供到显示器12。
显示器12是能够显示6位图像的6位LCD，并显示从灰度级转换单元11提供的6位图像。
在灰度级转换单元11中，对于RGB分量中的每一个独立地执行8位图像的灰度级转换。
灰度级转换单元11的示例性配置
图4图示图3中的灰度级转换单元11的示例性配置。
灰度级转换单元11包括计算单元31、量化单元32、计算单元33和三维滤波单元34。
以光栅扫描次序(raster scanning order)向计算单元31提供目标图像中的像素的像素值IN(x，y)。此外，向计算单元31提供三维滤波单元34的输出。
计算单元31将目标图像的像素值IN(x，y)和三维滤波单元34的输出相加，并将由此获得的和值U(x，y)提供(输出)到量化单元32和计算单元33。
这里，IN(x，y)表示从左侧开始第x个且从顶部开始第y个像素(x，y)的像素值。U(x，y)表示像素值IN(x，y)和三维滤波单元34的输出的和值。
量化单元32将作为计算单元31的输出的和值U(x，y)量化为可以在显示器12(图3)上显示的图像的位数，也就是，在该情况下6位，并输出由此获得的量化值作为经灰度级转换的图像中像素(x，y)的像素值OUT(x，y)。
将从量化单元32输出的像素值OUT(x，y)提供给显示器12且还提供给计算单元33。
计算单元33计算在作为计算单元31的输出的和值U(x，y)与作为和值U(x，y)的量化值的像素值OUT(x，y)(其是量化单元32的输出)之间的差U(x，y)-OUT(x，y)，由此获得在作为量化值的像素值OUT(x，y)中包括的量化误差Q(x，y)，并输出量化误差Q(x，y)。
将从计算单元33输出的量化误差Q(x，y)提供给三维滤波单元34。
三维滤波单元34关于从计算单元33提供的量化误差Q(x，y)执行在空间和时间方向中的滤波，并将滤波结果提供(输出)到计算单元31。
具体地说，参考图4，三维滤波单元34包括空间方向滤波器41、计算单元42、时间方向滤波器43以及计算单元44和45。
从计算单元33向空间方向滤波器41提供量化误差Q(x，y)。空间方向滤波器41是比如二维FIR(有限脉冲响应)滤波器之类的二维滤波器。空间方向滤波器41关于从计算单元33提供的量化误差Q(x，y)执行在空间方向中的滤波(以下称为空间方向滤波)，并将滤波结果提供(输出)到计算单元42。
也就是说，假定向计算单元31提供像素值IN(x，y)，且将作为灰度级转换的目标的像素(x，y)称作目标像素。然后，空间方向滤波器41通过使用在空间上接近目标像素的像素的量化误差来执行滤波。
计算单元42将空间方向滤波器41的输出乘以预定权重1-k，并将由此获得的乘积提供到计算单元45。
这里，k是在从0到1的范围中的实数。例如，值k可以是固定值0.5，或可以是根据用户操作而变化的可变值。
从计算单元33向时间方向滤波器43提供量化误差Q(x，y)。时间方向滤波器43是比如一维FIR滤波器之类的一维滤波器。时间方向滤波器43关于从计算单元33提供的量化误差Q(x，y)执行在时间方向中的滤波(以下称为时间方向滤波)，并将滤波结果提供(输出)到计算单元44。
也就是说，时间方向滤波器43通过使用在时间上接近目标像素的像素的量化误差来执行滤波。
计算单元44将时间方向滤波器43的输出乘以预定权重k，并将由此获得的乘积提供到计算单元45。
计算单元45将从计算单元42提供的乘积与从计算单元44提供的乘积相加，并将由此获得的和值作为三维滤波单元34的滤波结果提供到计算单元31。
在图4中，计算单元42、44和45构成加权相加单元，其执行空间方向滤波器41的输出与时间方向滤波器43的输出的加权相加并输出加权和作为在量化误差的空间和时间方向中的滤波结果。
当空间方向滤波器41的转移函数(transfer function)由G表示时且当时间方向滤波器43的转移函数由F表示时，经灰度级转换的图像的像素值OUT(x，y)由表达式(1)表示。
OUT(x，y)＝IN(x，y)-(1-k)(1-G)Q(x，y)-k(1-F)Q(x，y)…(1)
在表达式(1)中，以-(1-G)和-(1-F)中的每一个调制量化误差Q(x，y)。以-(1-G)的调制对应于关于量化误差Q(x，y)执行的基于空间方向Δ∑调制的噪声成型，以-(1-F)的调制对应于关于量化误差Q(x，y)执行的基于时间方向Δ∑调制的噪声成型。
并且，在表达式(1)中，将通过关于以-(1-G)调制量化误差Q(x，y)而获得的值执行以权重1-k的加权所获得的值(通过乘以权重1-k获得的值)和通过关于以-(1-F)调制量化误差Q(x，y)而获得的值执行以权重k的加权所获得的值加到像素值IN(x，y)。
因此，在图4中的灰度级转换单元11中，使用空间方向滤波器41的空间方向Δ∑调制的效果仅根据权重1-k工作，且使用时间方向滤波器43的时间方向Δ∑调制的效果仅根据权重k工作。
由灰度级转换单元11执行的处理
图5是图示由图4中的灰度级转换单元11执行的灰度级转换处理的流程图。
在步骤S11，计算单元31等待并接收向其提供的目标图像中像素的像素值，并与三维滤波单元34的输出相加，同时将具有提供的像素值的像素看作目标像素。
具体地说，在步骤S11，计算单元31将像素值与通过由三维滤波单元34在如下所述的步骤S14执行的先前滤波获得的值(三维滤波单元34的输出)相加，并将由此获得的和值输出到量化单元32和计算单元33。然后，处理进行到步骤S12。
在步骤S12中，量化单元32对作为计算单元31的输出的和值进行量化，并输出包括量化误差的量化值，所述量化值用作Δ∑调制的结果(基于Δ∑调制的灰度级转换的结果)。然后，处理进行到步骤S13。
在步骤S13，计算单元33计算在作为计算单元31的输出的和值与量化单元32的输出之间的差(作为计算单元31的输出的和值的量化值)，由此获得由量化单元32执行的量化的量化误差。此外，计算单元33将量化误差提供到三维滤波单元34，且处理从步骤S13进行到步骤S14。
在步骤S14，三维滤波单元34关于从计算单元33提供的量化误差执行空间方向滤波和时间方向滤波。
具体地说，在三维滤波单元34中，将从计算单元33提供的量化误差提供给空间方向滤波器41和时间方向滤波器43。
空间方向滤波器41关于从计算单元33提供的量化误差执行空间方向滤波，并将滤波结果提供到计算单元42。计算单元42将空间方向滤波器41的输出乘以预定权重1-k，并将由此获得的乘积提供到计算单元45。
另一方面，时间方向滤波器43关于从计算单元33提供的量化误差执行时间方向滤波，并将滤波结果提供到计算单元44。计算单元44将时间方向滤波器43的输出乘以预定权重k，并将由此获得的乘积提供到计算单元45。
计算单元45将从计算单元42提供的乘积与从计算单元44提供的乘积相加，并将和值作为三维滤波单元34的滤波结果提供到计算单元31。
然后，当将以光栅扫描次序紧挨着目标像素的像素的像素值提供给计算单元31时，处理从步骤S14返回到步骤S11。
在步骤S11，计算单元31将紧挨着目标像素的像素看作新的目标像素，并将新的目标像素的像素值与在先前步骤S14从三维滤波单元34提供的滤波结果相加。此后，重复相同处理。
如上所述，在灰度级转换单元11中，三维滤波单元34关于从计算单元33提供的量化误差执行空间方向滤波和时间方向滤波。因此，关于目标图像同时执行空间方向Δ∑调制和时间方向Δ∑调制。
也就是说，在灰度级转换单元11中，空间方向Δ∑调制的效果(噪声成型的效果)仅根据权重1-k发生，且时间方向Δ∑调制的效果仅根据权重k发生，由此在空间与时间方向两者中扩散量化误差。
作为在空间和时间方向两者中的量化误差扩散的结果，由于以人的视觉的在空间和时间方向的集成效果，因此已经由灰度级转换单元11对其执行了灰度级转换的图像的灰度级看起来好像平滑地改变。
此外，因为不仅在空间方向中而且在时间方向中扩散量化误差，所以与其中仅执行空间方向Δ∑调制的、根据现有技术的误差扩散方法相比，可以抑制在经灰度级转换的图像中的能被察觉的噪声(量化误差)，以使得可以改进经灰度级转换的图像的感知质量。
并且，因为不仅在时间方向中而且在空间方向中扩散量化误差，所以可以抑制如果仅执行时间方向Δ∑调制则可能发生的图像中的闪烁(比如在FRC中发生的闪烁)。因此，可以改进经灰度级转换的图像的感知质量。
时间方向滤波器43的特定实例
图6图示在采用帧存储器作为图4中的时间方向滤波器43的情况下灰度级转换单元11的示例性配置。
在时间方向滤波器43执行将先前帧中的像素的量化误差乘以1.0的滤波器系数并输出乘积作为滤波结果的时间方向滤波的情况下，时间方向滤波器43可以由单个帧存储器构成。
将在先前帧中的像素的量化误差乘以1.0的滤波器系数并输出乘积作为滤波结果的时间方向滤波还可以由能够存储一个帧的量化误差的FIFO(先入先出)存储器等执行，以及由单个帧存储器执行。
在图6中的灰度级转换单元11中，时间方向滤波器43由单个帧存储器构成。在时间方向滤波器43中，由于时间方向滤波时的量化误差Q(x，y)引起了与帧的时间对应的延迟，且将滤波结果提供给计算单元44。
当在时间方向滤波时引起与帧的时间对应的延迟的时间方向滤波器43的转移函数F由Z-1表示时，在图6的灰度级转换单元11中建立以下表达式(2)和(3)。
Q(x，y)＝U(x，y)-OUT(x，y)…(2)
U(x，y)＝IN(x，y)+(1-k)GQ(x，y)-kZ-1Q(x，y)…(3)
将表达式(3)代入表达式(2)并消去U(x，y)使得获得表达式(4)。
OUT(x，y)＝IN(x，y)-(1-k)(1-G)Q(x，y)-k(1-Z-1)Q(x，y)…(4)
表达式(4)等于表达式(1)，除了转移函数F由Z-1替代。
根据表达式(4)，灰度级转换单元11执行其中关于量化误差Q(x，y)执行以-(1-G)的噪声成型的空间方向Δ∑调制。此外，灰度级转换单元11与空间方向Δ∑调制一起执行其中关于量化误差Q(x，y)执行以-(1-Z-1)的噪声成型的时间方向Δ∑调制，也就是，将与目标像素的位置相同的位置处的先前帧中的像素的量化误差扩散到目标像素的时间方向Δ∑调制。
图7图示用于在图6的灰度级转换单元11的三维滤波单元34中的滤波的量化误差。
在三维滤波单元34(图6)中，空间方向滤波器41在目标像素的帧(目标帧)中，通过使用在5水平×5垂直像素(其中目标像素处于中心)当中的、已经以光栅扫描次序对其执行了灰度级转换的12个像素(图7中具有斜线的正方形区域)的量化误差来执行空间方向滤波。
时间方向滤波器43通过使用在与在目标帧的先前帧中的目标像素的位置相同的位置处的像素(图7中的阴影正方形区域)的量化误差来执行时间方向滤波。
接下来，分开描述在图6中由灰度级转换单元11同时执行的空间方向Δ∑调制和时间方向Δ∑调制。
图8图示在灰度级转换单元11中用于仅执行空间方向Δ∑调制的部分(以下称为空间方向Δ∑调制器)的配置。在该配置中，将权重k设置为0。
在空间方向Δ∑调制器中，计算单元31将在目标图像中像素(x，y)的8位像素值IN(x，y)与空间方向滤波器41的输出相加，并将由此获得的和值提供到量化单元32和计算单元33。
量化单元32将从计算单元31提供的和值量化为6位，并输出由此获得的6位量化值作为经灰度级转换图像中像素(x，y)的像素值OUT(x，y)。
还将从量化单元32输出的像素值OUT(x，y)提供给计算单元33。
计算单元33从计算单元31提供的和值中减去从量化单元32提供的像素值OUT(x，y)，也就是，从到量化单元32的输入中减去来自量化单元32的输出，由此获得从由量化单元32执行的量化产生的量化误差Q(x，y)，并将量化误差Q(x，y)提供到空间方向滤波器41。
空间方向滤波器41对从计算单元33提供的量化误差Q(x，y)进行滤波并将滤波结果输出到计算单元31。
计算单元31将从空间方向滤波器41输出的量化误差Q(x，y)的滤波结果与像素值IN(x，y)以上述方式相加。
根据图8中的空间方向Δ∑调制器，经由作为二维滤波器的空间方向滤波器41将量化误差Q(x，y)反馈到计算单元31。因此，以任一空间方向，即，水平方向(x方向)和垂直方向(y方向)将噪声(量化误差Q(x，y))扩散(执行噪声成型)到高频段的空间频率。
图9图示其中以图8中的空间方向Δ∑调制器扩散目标像素的量化误差Q(x，y)的像素区域。
例如，如以上参考图7所述的，在空间方向滤波器41在目标帧中通过使用在5水平×5垂直像素(其中目标像素处于中心)当中的、已经以光栅扫描次序对其执行了灰度级转换的12个像素的量化误差来执行空间方向滤波的情况下，将目标像素的量化误差Q(x，y)扩散到在上述5×5像素当中、将要以光栅扫描次序对其执行灰度级转换的像素(预期的目标像素，即，图9中具有斜线的正方形区域)。
图10A和图10B图示基于空间方向Δ∑调制的噪声成型的幅度特性。
在图10A和图10B中(也在如下所述的图12A和图12B中)，横轴指示其中将目标图像(经灰度级转换的图像)中的像素的采样频率的一半归一化(normalized)为1的频率，而纵轴指示增益。
图10A图示基于由图8中的空间方向Δ∑调制器执行的空间方向Δ∑调制的噪声成型的幅度特性。
在图8中的空间方向Δ∑调制器中，计算单元31将在图10A中幅度特性的噪声(量化误差)加到目标图像的像素值。
图10B图示基于由图6中的灰度级转换单元11执行的空间方向Δ∑调制的噪声成型的幅度特性。
在图6中的灰度级转换单元11中，计算单元42将空间方向滤波器41的输出乘以权重1-k，以使得基于空间方向Δ∑调制的噪声成型的幅度特性是图10A中幅度特性的1-k倍。
在由图6中灰度级转换单元11执行的空间方向Δ∑调制中，计算单元31将图10B中幅度特性的噪声(量化误差)加到目标图像的像素值。
因此，在由图6中的灰度级转换单元11执行的空间方向Δ∑调制中，将比在图10A的情况下更低电平(1-k倍)的噪声加到目标图像的像素值，且因此在空间方向中扩散的噪声(量化误差)小于在图8的空间方向Δ∑调制器的情况下的。
图11图示在灰度级转换单元11中用于仅执行时间方向Δ∑调制的部分(以下称为时间方向Δ∑调制器)的配置。在该配置中，将权重k设置为1。
在时间方向Δ∑调制器中，计算单元31将在目标图像中像素(x，y)的8位像素值IN(x，y)与时间方向滤波器43的输出相加，并将由此获得的和值提供到量化单元32和计算单元33。
量化单元32将从计算单元31提供的和值量化为6位，并输出由此获得的6位量化值作为经灰度级转换的图像中像素(x，y)的像素值OUT(x，y)。
还将从量化单元32输出的像素值OUT(x，y)提供给计算单元33。
计算单元33从计算单元31提供的和值中减去从量化单元32提供的像素值OUT(x，y)，也就是，从到量化单元32的输入中减去来自量化单元32的输出，由此获得从由量化单元32执行的量化产生的量化误差Q(x，y)，并将量化误差Q(x，y)提供到时间方向滤波器43。
时间方向滤波器43对从计算单元33提供的量化误差Q(x，y)进行滤波，并将滤波结果输出到计算单元31。
计算单元31将从时间方向滤波器43输出的量化误差Q(x，y)的滤波结果与像素值IN(x，y)以上述方式相加。
根据图11中的时间方向Δ∑调制器，将量化误差Q(x，y)经由作为帧存储器的时间方向滤波器43反馈到计算单元31。因此，以从先前帧到目标帧的方向，也就是，以时间方向扩散(执行噪声成型)噪声(量化误差Q(x，y))。
图12A和图12B图示基于时间方向Δ∑调制的噪声成型的幅度特性。
图12A图示基于由图11中的时间方向Δ∑调制器执行的时间方向Δ∑调制的噪声成型的幅度特性。
在图11中的时间方向Δ∑调制器中，计算单元31将在图12A中幅度特性的噪声(量化误差)加到目标图像的像素值。
图12B图示基于由图6中的灰度级转换单元11执行的时间方向Δ∑调制的噪声成型的幅度特性。
在图6中的灰度级转换单元11中，计算单元44将时间方向滤波器43的输出乘以权重k，以使得基于时间方向Δ∑调制的噪声成型的幅度特性是图12A中幅度特性的k倍。
在由图6中的灰度级转换单元11执行的时间方向Δ∑调制中，计算单元31将在图12B中幅度特性的噪声(量化误差)加到目标图像的像素值。
因此，在由图6中的灰度级转换单元11执行的时间方向Δ∑调制中，将比在图12A的情况下更低电平(k倍)的噪声加到目标图像的像素值，且因此在时间方向中扩散的噪声(量化误差)小于在图11的时间方向Δ∑调制器的情况下的。
当权重k大于0且小于1时，如上所述，在图6中的灰度级转换单元11中执行空间方向Δ∑调制和时间方向Δ∑调制。在该情况下，在空间方向Δ∑调制中以空间方向扩散的噪声和在时间方向Δ∑调制中以时间方向扩散的噪声很小。
因此，与根据现有技术的、其中仅执行空间方向Δ∑调制的误差扩散方法相比，可以抑制在经灰度级转换的图像中的能被察觉的噪声(量化误差)，以使得可以改进经灰度级转换的图像的感知质量。
此外，可以抑制由于时间方向Δ∑调制而发生的图像中的闪烁，如在FRC中发生的闪烁，以使得可以改进经灰度级转换的图像的感知质量。
在图6中，时间方向滤波器43由单个帧存储器构成。替代地，时间方向滤波器43可以由多个帧存储器构成，以使得可以通过使用在与目标帧的多个先前帧中的每一个中的目标像素的位置相同的位置处的像素的量化误差来执行时间方向滤波。当时间方向滤波器43由多个帧存储器构成时，可以实现具有不同于在时间方向滤波器43由单个帧存储器构成的情况下的噪声成型的幅度特性的幅度特性的噪声成型。
在图4和图6图示的三维滤波单元34中，空间方向滤波器41通过使用在空间上接近目标像素的像素的量化误差来执行滤波，且时间方向滤波器43通过使用在时间上接近目标像素的像素的量化误差来执行滤波，由此关于量化误差执行在空间和时间方向上的滤波。三维滤波单元34可以通过同时使用在空间上和时间上接近目标像素的像素的量化误差来执行滤波，而关于量化误差执行在空间和时间方向上的滤波。
灰度级转换单元11的另一示例性配置
图13图示图3中的灰度级转换单元11的另一示例性配置。
在图13中，与图4中部分的对应的部分由相同的附图标记表示，且适当地省略其描述。
图13中的灰度级转换单元11与图4中的相同之处在于包括计算单元31、量化单元32、计算单元33和三维滤波单元34。
但是，图13中的灰度级转换单元11不同于图4中的在于进一步包括图像分析单元51和设置单元52。
向图像分析单元51提供目标图像。图像分析单元51分析目标图像的目标帧，由此检测目标帧中的运动，并向设置单元52提供指示运动的运动信息。
这里，图像分析单元51获得在目标帧和先前帧的相同位置处的像素的像素值的绝对差的和作为运动信息。
设置单元52基于由图像分析单元51执行的目标帧的分析结果，也就是，基于从图像分析单元51提供的运动信息来设置权重k，并将权重k提供给计算单元42和44。
这里，设置单元52向权重k设置在运动信息变大时(也就是，当目标帧中的运动变大时)变小的值。
在图13中的灰度级转换单元11中，计算单元42将空间方向滤波器41的输出乘以基于从设置单元52提供的权重k而获得的权重1-k，而计算单元44将时间方向滤波器43的输出乘以从设置单元52提供的权重k。
在图13中的灰度级转换单元11中，当权重k大时，时间方向Δ∑调制的效果大而空间方向Δ∑调制的效果小。另一方面，当权重k小时，空间方向Δ∑调制的效果大而时间方向Δ∑调制的效果小。
因此，在图13中的灰度级转换单元11中，当目标帧中的运动大时，权重k小，例如，权重k是0，且时间方向Δ∑调制不工作而空间方向Δ∑调制工作。
如果当目标帧中的运动大时时间方向Δ∑调制的效果大，则具有与目标像素弱的相关性的像素的量化误差扩散到目标像素，这可能引起关于经灰度级转换的图像的负面影响。
在其中目标帧中的运动大的情况下，将小的值设置为权重k以使得时间方向Δ∑调制的效果变小。因此，可以防止由具有与目标像素弱的相关性的像素的量化误差向目标像素的扩散所引起的关于经灰度级转换的图像的负面影响。
空间方向滤波器41的特定实例
作为空间方向滤波器41(图4、图6和图13)，可以采用用于根据现有技术的误差扩散方法的噪声成型滤波器。
用于根据现有技术的误差扩散方法的噪声成型滤波器的实例包括Jarvis、Judice & Ninke滤波器(以下称为Jarvis滤波器)和Floyd & Steinberg滤波器(以下称为Floyd滤波器)。
图14图示使用Jarvis滤波器的噪声成型的幅度特性和使用Floyd滤波器的噪声成型的幅度特性。
在图14中，除噪声成型的幅度特性之外，还图示指示人的视觉的空间频率特性(在下文中也被称为视觉特性)的对比灵敏度曲线。
在图14中(也在如下所述的图15、图16、图17B、图18B和图19B中)，横轴指示空间频率，而纵轴指示幅度特性的增益或视觉特性的灵敏度。
这里，空间频率的单位是cpd(周期/度)，其指示在单位视角(视角中的一度)范围内看到的条纹的数目。例如，10cpd意味着在一度视角的范围中看到十对白线和黑线，且20cpd意味着在一度视角的范围中看到二十对白线和黑线。
由灰度级转换单元11产生的经灰度级转换的图像最终被显示在显示器12上(图3)。因此，从改进在显示器12上显示的图像的质量的观点来看，对于人的视觉的空间频率特性考虑直到在显示器12上显示的图像的最大空间频率(从0cpd开始)就足够了。
如果与显示器12的分辨率对应的空间频率非常高，例如，大约120cpd，则由Jarvis滤波器和Floyd滤波器的任何一个将噪声(量化误差)充分地调制到其中人的视觉的灵敏度低的高频段的频带，如图14所示。
在显示器12上显示的图像的最大空间频率取决于显示器12的分辨率和在显示器12与观看在显示器12上显示的图像的观看者之间的距离(以下称为观看距离)。
这里，假定显示器12在垂直方向上的长度是H英寸。在该情况下，采用大约2.5H到3.0H作为获得在显示器12上显示的图像的最大空间频率的观看距离。
例如，在该情况下，当显示器12具有40英寸的显示屏幕时(具有1920水平×1080垂直像素，以显示所谓的全HD(高清晰度)图像)，在显示器12上显示的图像的最大空间频率大约是30cpd。
图15图示在显示在显示器12(图3)上的图像的最大空间频率是大约30cpd的情况下，使用Jarvis滤波器的噪声成型的幅度特性和使用Floyd滤波器的噪声成型的幅度特性。
图15也图示了视觉特性，如在图14中。
如图15所示，在显示在显示器12上的图像的最大空间频率是大约30cpd的情况下，对于Jarvis滤波器和Floyd滤波器难以充分地将噪声调制为其中人的视觉灵敏度充分地低的高频段的频带。
因此，当使用Jarvis滤波器或Floyd滤波器时，在经灰度级转换的图像中噪声可能能被察觉，以使得其感知的图像质量可能退化。
为了抑制由于经灰度级转换的图像中的能被察觉的噪声引起的感知图像质量的退化，需要在图16中图示的噪声成型的幅度特性。
也就是说，图16图示用于抑制由于经灰度级转换的图像中能被察觉的噪声引起的感知图像质量的退化的噪声成型(以下称为退化抑制噪声成型)的幅度特性的实例。
这里，用于Δ∑调制以实现退化抑制噪声成型的噪声成型滤波器也被称为SBM(超位映射)滤波器。
图16除退化抑制噪声成型(使用SBM滤波器的噪声成型)的幅度特性之外，还图示了图15中图示的视觉特性、使用Jarvis滤波器的噪声成型的幅度特性和使用Floyd滤波器的噪声成型的幅度特性。
在退化抑制噪声成型的幅度特性中，中频段和较高频段的特性曲线具有视觉特性曲线(对比灵敏度曲线)的反转的形状(包括类似的形状)。在下文中，这种特性被称作反向特性。
此外，在退化抑制噪声成型的幅度特性中，与在使用Jarvis滤波器或Floyd滤波器的噪声成型的幅度特性中相比，增益在高频段中更陡峭地增加。
因此，在退化抑制噪声成型中，与使用Jarvis滤波器或Floyd滤波器的噪声成型相比，将噪声(量化误差)调制到其中视觉灵敏度更低的更高频段。
通过采用SBM滤波器作为空间方向滤波器41(图4、图6和图13)，也就是，通过设置空间方向滤波器41的滤波器系数以使得使用空间方向滤波器41的噪声成型的幅度特性具有在中频段和较高频段中视觉特性的反向特性且增益与基于使用Floyd滤波器或Jarvis滤波器的Δ∑调制的噪声成型的幅度特性中相比在高频段中更陡峭地增加，将视觉灵敏度低的高频段中的噪声(量化误差)加到计算单元31(图4、图6和图13)中的像素值IN(x，y)。结果，可以防止经灰度级转换的图像中的噪声(量化误差)能被察觉。
在图16中图示的使用SBM滤波器的噪声成型的幅度特性中，增益在高频段中正好超过1。这意味着与使用Jarvis滤波器或Floyd滤波器的情况相比更显著地放大了在高频段中的量化误差。
并且，在图16中图示的使用SBM滤波器的噪声成型的幅度特性中，增益在低频段到中频段是负的。因此，SBM滤波器可以由具有少量抽头(tap)的二维滤波器构成。
也就是说，在实现其中增益在低频段和中频段是0且增益仅在高频段陡峭地增加的幅度特性作为使用SBM滤波器的噪声成型的幅度特性的情况下，SBM滤波器是具有许多抽头的二维滤波器。
另一方面，在实现其中增益在低频段或中频段为负的、使用SBM滤波器的噪声成型的幅度特性的情况下，如上参考图7所述，SBM滤波器可以由具有少量抽头(例如，12抽头滤波器)的二维滤波器构成，其通过使用在5水平×5垂直像素(目标像素处于中心)当中、已经以光栅扫描次序关于其执行了灰度级转换的十二个像素的量化误差来执行滤波。通过该滤波器，在噪声成型的高频段中的增益与使用Jarvis滤波器或Floyd滤波器的情况相比可以更陡峭地增加。
采用这种SBM滤波器作为空间方向滤波器41使得能够将灰度级转换单元11小型化。
滤波器系数和噪声成型特性的特定实例
图17A和图17B图示了在其中在显示经灰度级转换的图像的显示器12上显示的图像的最大空间频率是30cpd的情况下，滤波器系数和使用SBM滤波器的噪声成型的幅度特性的第一实例。
具体地说，图17A图示12-抽头SBM滤波器的滤波器系数的第一实例，确定该滤波器系数以使得噪声成型的幅度特性的增益在低频段或中频段为负，且在高频段与基于使用Floyd滤波器的Δ∑调制的噪声成型的幅度特性中的增益相比更陡峭地增加。
在图17A中，采用滤波器系数g(1，1)＝-0.0317，g(2，1)＝-0.1267，g(3，1)＝-0.1900，g(4，1)＝-0.1267，g(5，1)＝-0.0317，g(1，2)＝-0.1267，g(2，2)＝0.2406，g(3，2)＝0.7345，g(4，2)＝0.2406，g(5，2)＝-0.1267，g(1，3)＝-0.1900，以及g(2，3)＝0.7345作为12-抽头SBM滤波器的滤波器系数。
这里，SBM滤波器是二维FIR滤波器。滤波器系数g(i，j)是与在参考图7如上所述的5水平×5垂直像素(目标像素处于中心)当中，已经以光栅扫描次序关于其执行了灰度级转换的12个像素中，从左侧开始第i和从顶部开始第j像素的量化误差相乘的滤波器系数。
图17B图示在SBM滤波器具有图17A所示的滤波器系数的情况下的使用SBM滤波器的噪声成型的幅度特性。
在图17B的噪声成型的幅度特性中，当频率f是0时增益是0，在低频段或中频段中增益为负，且增益在高频段中与基于使用Floyd滤波器(和Jarvis滤波器)的Δ∑调制的噪声成型的幅度特性相比更陡峭地增加。
图18A和图18B图示了在其中在显示经灰度级转换的图像的显示器12上显示的图像的最大空间频率是30cpd的情况下，滤波器系数和使用SBM滤波器的噪声成型的幅度特性的第二实例。
具体地说，图18A图示12-抽头SBM滤波器的滤波器系数的第二实例，确定滤波器系数以使得使用SBM滤波器的噪声成型的幅度特性中的增益在低频段或中频段为负，且在高频段与基于使用Floyd滤波器的Δ∑调制的噪声成型的幅度特性中的增益相比更陡峭地增加。
在图18A中，采用滤波器系数g(1，1)＝-0.0249，g(2，1)＝-0.0996，g(3，1)＝-0.1494，g(4，1)＝-0.0996，g(5，1)＝-0.0249，g(1，2)＝-0.0996，g(2，2)＝0.2248，g(3，2)＝0.6487，g(4，2)＝0.2248，g(5，2)＝-0.0996，g(1，3)＝-0.1494，和g(2，3)＝0.6487作为12-抽头SBM滤波器的滤波器系数。
图18B图示在SBM滤波器具有图18A所示的滤波器系数的情况下的使用SBM滤波器的噪声成型的幅度特性。
在图18B的噪声成型的幅度特性中，当频率f是0时增益是0，在低频段或中频段中增益为负，且增益在高频段中与基于使用Floyd滤波器的Δ∑调制的噪声成型的幅度特性中的增益相比更陡峭地增加。
图19A和图19B图示了在其中在显示经灰度级转换的图像的显示器12上显示的图像的最大空间频率是30cpd的情况下，滤波器系数和使用SBM滤波器的噪声成型的幅度特性的第三实例。
具体地说，图19A图示12-抽头SBM滤波器的滤波器系数的第三实例，确定滤波器系数以使得噪声成型的幅度特性的增益在低频段或中频段为负，且在高频段与基于使用Floyd滤波器的Δ∑调制的噪声成型的幅度特性中的增益相比更陡峭地增加。
在图19A中，采用滤波器系数g(1，1)＝-0.0397，g(2，1)＝-0.1586，g(3，1)＝-0.2379，g(4，1)＝-0.1586，g(5，1)＝-0.0397，g(1，2)＝-0.1586，g(2，2)＝0.2592，g(3，2)＝0.8356，g(4，2)＝0.2592，g(5，2)＝-0.1586，g(1，3)＝-0.2379，和g(2，3)＝0.8356作为12-抽头SBM滤波器的滤波器系数。
图19B图示在SBM滤波器具有图19A所示的滤波器系数的情况下的使用SBM滤波器的噪声成型的幅度特性。
在图19B的噪声成型的幅度特性中，当频率f是0时增益是0，在低频段或中频段中增益为负，且增益在高频段中与基于使用Floyd滤波器的Δ∑调制的噪声成型的幅度特性中的增益相比更陡峭地增加。
图17A、图18A和图19A所示的12-抽头SBM滤波器的滤波器系数包括负值，且因此在噪声成型的幅度特性中的增益在低频段或中频段为负。以这种方式，通过允许噪声成型的幅度特性中的增益在低频段或中频段为负，可以由具有少量抽头，比如12个抽头的SBM滤波器实现其中增益在高频段陡峭地增加的噪声成型的幅度特性。
另外，根据通过使用具有如图17A、图18A和图19A所示的滤波器系数的SBM滤波器作为空间方向滤波器41执行的模拟，在所有SBM滤波器中可以获得具有高感知质量的经灰度级转换的图像。
已经关于本发明的实施例应用于执行灰度级转换以将8位目标图像转换为6位图像并在作为6位LCD的显示器12上显示6位图像的图像处理设备(图3)的情况给出了描述。但是，本发明的实施例还可以应用于关于图像执行灰度级转换的其他各种情况。
例如，在执行将其中YUV分量中的每一个是8位的图像转换为具有RGB分量中的每一个作为像素值的图像的彩色空间转换，且然后在8位LCD上显示已经通过彩色空间转换获得且具有RGB分量作为像素值的图像的情况下，可以通过彩色空间转换获得其中RGB分量中的每一个超过初始8位，例如，扩展为16位的图像。在该情况下，必须关于其中RGB分量中的每一个已经扩展为16位的图像执行灰度级转换以获得可以在8位LCD上显示的8位图像。本发明的实施例还可以应用于这种灰度级转换。
上述的一系列处理可以由硬件或软件执行。当由软件执行该一系列处理时，将构成软件的程序安装到多用途计算机等。
图20图示根据实施例将用于执行上述一系列处理的程序安装到其的计算机的示例性配置。
可以将程序预先记录在用作在计算机中装配的记录介质的硬盘105或ROM(只读存储器)103中。
替代地，该程序可以被临时或永久地存储(记录)在可拆卸的记录介质111中，比如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多用途盘)、磁盘或半导体存储器。可以提供该可拆卸记录介质111作为所谓的封装软件。
可以经由上述可拆卸记录介质111将程序安装到计算机。并且，可以以无线方式经由用于数字卫星广播的人造卫星将程序从下载站点传送到计算机，或可以以有线方式经由比如LAN(局域网)或因特网之类的网络传送到计算机。计算机可以通过使用通信单元108接收以那些方式传送的程序，且可以将程序安装到在其中装配的硬盘105。
计算机包括CPU(中央处理单元)102。输入/输出接口110经由总线101连接到CPU 102。当通过包括键盘、鼠标和麦克风的输入单元107的用户操作经由输入/输出接口110将命令输入到CPU 102时，CPU 102响应于该命令执行在ROM 103中存储的程序。替代地，CPU 102将存储在硬盘105中的程序，经由卫星或网络传送的、由通信单元108接收和安装到硬盘105的程序、或从载入驱动器109中的可拆卸记录介质111读取并安装到硬盘105的程序装载到RAM(随机存取存储器)104，并执行该程序。因此，CPU 102执行根据上述流程的处理或由在框图中图示的上述配置执行的处理。然后，CPU102根据需要经由输入/输出接口110允许包括LCD(液晶显示器)和扬声器的输出单元106输出，允许通信单元108发送，或允许硬盘105记录处理结果。
在本说明书中，描述允许计算机执行各个处理的程序的处理步骤没有必要沿着流程图中描述的次序以时间序列执行，而是可以并行或单独地执行(例如，并行处理或通过对象的处理是可接受的)。
可以由单个计算机处理程序，或可以由多个计算机以分布式方式处理程序。此外，可以通过传送到远程计算机而执行程序。
本申请包括与于2008年10月21日在日本专利局提交的日本优先权专利申请JP 2008-270512中公开的主题相关的主题，将其全部内容通过引用完全包括于此。
本领域技术人员应该理解根据设计要求及其它因素，可产生各种修改、组合、部分组合和替代，只要它们在所附权利要求及其等效物的范围之内。
Claims (10)
1.一种图像处理设备，包括：
灰度级转换装置，用于关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换所述图像的灰度级电平。
2.如权利要求1所述的图像处理设备，其中，所述灰度级转换装置包括
滤波装置，用于关于量化误差执行空间方向滤波和时间方向滤波；
加法装置，用于将所述图像的像素值与所述滤波装置的输出相加；
量化装置，用于量化所述加法装置的输出并输出包括所述量化误差的量化值，所述量化值是Δ∑调制的结果；和
减法装置，用于计算在所述加法装置的输出与所述加法装置的输出的量化值之间的差，由此获得所述量化误差。
3.如权利要求2所述的图像处理设备，其中，所述滤波装置包括
空间方向滤波器装置，用于关于所述量化误差执行所述空间方向滤波；
时间方向滤波器装置，用于关于所述量化误差执行所述时间方向滤波；和
加权加法装置，用于执行所述空间方向滤波器装置的输出和所述时间方向滤波器装置的输出的加权加法，并输出加权和作为所述空间方向滤波和所述时间方向滤波的结果。
4.如权利要求3所述的图像处理设备，进一步包括：
分析装置，用于分析所述图像；和
设置装置，用于基于所述图像的分析结果来设置用于加权加法的权重。
5.如权利要求3所述的图像处理设备，
其中确定由所述空间方向滤波器装置执行的滤波的滤波器系数以使得基于所述空间方向Δ∑调制执行的噪声成型的幅度特性在中频段和较高频段变为人的视觉特性的反向特性，且幅度特性中的增益在高频段与基于使用Floyd滤波器的Δ∑调制执行的噪声成型的幅度特性中的增益相比更陡峭地增加。
6.如权利要求3所述的图像处理设备，
其中，确定由所述空间方向滤波器装置执行的滤波的滤波器系数以使得基于所述空间方向Δ∑调制执行的噪声成型的幅度特性中的增益在低频段或中频段中为负，且在高频段与基于使用Floyd滤波器的Δ∑调制执行的噪声成型的幅度特性中的增益相比更陡峭地增加。
7.如权利要求3所述的图像处理设备，
其中，由所述空间方向滤波器装置执行的滤波的滤波器系数包括负值，且确定其以使得基于所述空间方向Δ∑调制执行的噪声成型的幅度特性中的增益在高频段与基于使用Floyd滤波器的Δ∑调制执行的噪声成型的幅度特性中的增益相比更陡峭地增加。
8.一种图像处理方法，用于关于图像执行灰度级转换的图像处理设备，所述图像处理方法包括步骤：
关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换所述图像的灰度级电平。
9.一种使得计算机用作以下装置的程序：
灰度级转换装置，用于关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换图像的灰度级电平。
10.一种图像处理设备，包括：
灰度级转换单元，被配置为关于图像同时执行空间方向Δ∑调制和时间方向Δ∑调制，由此转换所述图像的灰度级电平。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008270512A JP2010101924A (ja) | 2008-10-21 | 2008-10-21 | 画像処理装置、画像処理方法、及び、プログラム |
| JP270512/08 | 2008-10-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101729760A true CN101729760A (zh) | 2010-06-09 |
Family
ID=41531876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910205378A Pending CN101729760A (zh) | 2008-10-21 | 2009-10-21 | 图像处理设备、图像处理方法和程序 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20100098347A1 (zh) |
| EP (1) | EP2180688A1 (zh) |
| JP (1) | JP2010101924A (zh) |
| CN (1) | CN101729760A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339447A (zh) * | 2020-09-29 | 2022-04-12 | 北京字跳网络技术有限公司 | 图片转视频的方法、装置、设备及存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4605283B2 (ja) * | 2008-10-24 | 2011-01-05 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP6152820B2 (ja) * | 2014-03-31 | 2017-06-28 | ブラザー工業株式会社 | 画像読取装置 |
| JP2019012106A (ja) * | 2017-06-29 | 2019-01-24 | 株式会社ジャパンディスプレイ | 画像処理装置、画像処理装置の画像処理方法、及びそれらを実装した表示システム |
| JP7113282B2 (ja) * | 2018-02-28 | 2022-08-05 | パナソニックＩｐマネジメント株式会社 | 映像表示システムおよび映像表示方法 |
| CN110740229B (zh) * | 2019-10-13 | 2021-09-10 | 中国航空工业集团公司洛阳电光设备研究所 | 一种液晶屏防残影以及显示深度减少的视频图像处理方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3209763B2 (ja) * | 1991-09-12 | 2001-09-17 | 株式会社日立製作所 | 画像信号処理方式 |
| JPH06325170A (ja) * | 1993-05-14 | 1994-11-25 | Canon Inc | 画像処理装置 |
| JP3338252B2 (ja) * | 1995-10-18 | 2002-10-28 | 三洋電機株式会社 | 画像処理装置 |
| JP3821327B2 (ja) * | 1997-05-23 | 2006-09-13 | ソニー株式会社 | 画像処理方法および装置 |
| JP3912633B2 (ja) * | 1998-01-23 | 2007-05-09 | ソニー株式会社 | 画像処理方法および装置 |
| JP3305669B2 (ja) * | 1998-11-20 | 2002-07-24 | 日本電気株式会社 | 誤差拡散方法および誤差拡散装置 |
| JP4504651B2 (ja) * | 2003-09-29 | 2010-07-14 | パナソニック株式会社 | 誤差拡散装置、誤差拡散方法および表示装置 |
| JP4444623B2 (ja) * | 2003-10-29 | 2010-03-31 | 富士フイルム株式会社 | 動画像変換装置および方法、動画像配信装置、メール中継装置並びにプログラム |
| US7317841B2 (en) * | 2003-12-22 | 2008-01-08 | Ge Medical Systems Global Technology Company, Llc | System and method for image noise reduction using a minimal error spatiotemporal recursive filter |
| EP1732306B1 (en) * | 2005-06-10 | 2012-11-21 | Agfa Graphics N.V. | Image processing method for reducing image artefacts |
| US7298306B2 (en) * | 2006-03-24 | 2007-11-20 | Cirrus Logic, Inc. | Delta sigma modulators with comparator offset noise conversion |
| WO2007135822A1 (ja) * | 2006-05-23 | 2007-11-29 | Panasonic Corporation | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 |
| JP4978294B2 (ja) | 2007-04-20 | 2012-07-18 | 株式会社デンソー | 半導体装置およびその製造方法 |
-
2008
- 2008-10-21 JP JP2008270512A patent/JP2010101924A/ja active Pending
-
2009
- 2009-10-07 US US12/587,450 patent/US20100098347A1/en not_active Abandoned
- 2009-10-21 EP EP09173647A patent/EP2180688A1/en not_active Withdrawn
- 2009-10-21 CN CN200910205378A patent/CN101729760A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114339447A (zh) * | 2020-09-29 | 2022-04-12 | 北京字跳网络技术有限公司 | 图片转视频的方法、装置、设备及存储介质 |
| CN114339447B (zh) * | 2020-09-29 | 2023-03-21 | 北京字跳网络技术有限公司 | 图片转视频的方法、装置、设备及存储介质 |
| US11893770B2 (en) | 2020-09-29 | 2024-02-06 | Beijing Zitiao Network Technology Co., Ltd. | Method for converting a picture into a video, device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100098347A1 (en) | 2010-04-22 |
| EP2180688A1 (en) | 2010-04-28 |
| JP2010101924A (ja) | 2010-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190098195A1 (en) | Mapping between linear luminance values and luma codes | |
| US7474316B2 (en) | Bit-depth extension of digital displays via the use of models of the impulse response of the visual system | |
| US10915999B2 (en) | Image processing apparatus, image processing method, and program | |
| EP2099014B1 (en) | A method and device to enhance image quality in digital video processing systems using dithering | |
| CN101500064B (zh) | 等级转换设备、等级转换方法和计算机程序 | |
| KR20090032031A (ko) | 가중 인코딩을 위한 방법 및 시스템 | |
| CN101729762B (zh) | 图像处理设备和图像处理方法 | |
| CN101729760A (zh) | 图像处理设备、图像处理方法和程序 | |
| JPH09163162A (ja) | 画像処理方法及び装置 | |
| KR100657339B1 (ko) | 휘도 보존 양자화 및 하프톤닝을 결합하는 방법 및 시스템 | |
| CN101796566B (zh) | 图像处理装置和图像处理方法 | |
| JP4577591B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
| CN113436087A (zh) | 一种图像二值化及显示方法、存储介质和终端设备 | |
| Mulligan et al. | Principled methods for color dithering based on models of the human visual system | |
| Yeung et al. | Restoration of half-toned color-quantized images using particle swarm optimization with wavelet mutation | |
| KR100574595B1 (ko) | 두개의 신호 시퀀스들 사이의 가시성 차이들을 평가하기 위한 방법 및 장치 | |
| JP4491701B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| CN101686319B (zh) | 灰度转换设备、灰度转换方法 | |
| Kwintenberg et al. | Motion-Blur Reduction for Liquid Crystal Displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100609 |