CN103299609A - 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备 - Google Patents

用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备 Download PDF

Info

Publication number
CN103299609A
CN103299609A CN2012800048495A CN201280004849A CN103299609A CN 103299609 A CN103299609 A CN 103299609A CN 2012800048495 A CN2012800048495 A CN 2012800048495A CN 201280004849 A CN201280004849 A CN 201280004849A CN 103299609 A CN103299609 A CN 103299609A
Authority
CN
China
Prior art keywords
image data
gain
signal
frequency
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800048495A
Other languages
English (en)
Inventor
C.达姆卡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Vision Holding BV
Original Assignee
TP Vision Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Vision Holding BV filed Critical TP Vision Holding BV
Publication of CN103299609A publication Critical patent/CN103299609A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G06T5/73
    • G06T5/90
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness

Abstract

在用于通过对比度和/或锐度增强改进图像再现的方法和设备中,锐度增强依赖于局部平均亮度值被做出。由空间增强的图像信号组成的混频体被使用,其中针对各个信号,不同的空间频率被提高。用于对提高的信号进行混频的混频因子依赖于局部平均亮度值,使得随着亮度值增加,在频带上的分布转变到较高频率和较锐增强。

Description

用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备
技术领域
本发明涉及用于将输入图像数据转换成输出图像数据的方法。
本发明还涉及用于将输入图像数据转换成输出图像数据的图像转换单元。
本发明还涉及图像处理装置,其包括:
-用于接收输入图像数据的接收装置,
-用于将输入图像数据转换成输出图像数据的图像转换单元。
本发明还涉及包括图像处理装置的显示设备,其包括:
-用于接收输入图像数据的接收装置,
-用于将输入图像数据转换成输出图像数据的图像转换单元。
背景技术
在许多显示应用中,细节的可见性是十分重要的,因为细微的细节诸如在医学图像处理中、或者对于简单地改进图像的视觉吸引力是重要的。图像的锐化和局部对比度增强方法被用来增强局部对比度。这样的方法例如从由Sacha D Cvetkovic等人在 Proc. of ICIP 2007, vol. p. 557-560, 2007年9月, San Antonio, TX发表的“Locally adaptive image contrast enhancement without noise and ringing artifacts”是已知的。在这种方法中,试图通过将较高增益分派给具有较低能量(幅度)的频率(并且反之亦然)来均衡所有输出频率的幅度的算法被使用。所述算法被设计用来增强针对监视应用的图像或视频以便协助图像的检查。
局部对比度增强方法遭受诸如光晕和鸣响(ringing)这样的令人讨厌的副作用。已知方法目的在于降低这些效果。然而,已知方法是复杂的并且可能导致提供了不自然景色的令人不悦的效果。
本发明的目标是提供一种方法、转换单元以及图像处理装置,其目的是通过相对简单的装置增加保真度并且提供更加令人愉悦且自然的图像外观。
发明内容
为了这个目的,依照本发明的方法的特征在于输入图像数据由具有空间频率响应的增强滤波器进行局部滤波以便提供滤波的信号,所述滤波的信号乘以增益来提供乘以增益的滤波的信号,局部平均亮度值被建立,其中空间滤波器针对其具有最大响应的空间频率和增益作为局部平均亮度值的函数被确定,其中所述空间滤波器频率和所述增益针对逐渐增加的局部亮度值而增加并且其中乘以增益的滤波的信号被添加到输入图像信号来提供输出图像数据。
本发明是基于这样的洞察,即人眼和脑运作使得针对各种空间频率的对比度效率作为亮度的函数而改变。
滤波器针对其具有最大响应的频率不仅是滤波器针对其具有响应的频率,还是最表征滤波器响应的频率。对于带通滤波器而言,它是带通滤波器的中心频率。
人眼在明亮条件下对高空间频率比较敏感以及在较昏暗条件下对较低空间频率比较敏感。在显示器条件下,这可能不是强烈的效果。然而,对于大多数图像,针对原始图像的亮度范围是比较大的并且存在所述效果。
这种自然效果可以通过在明亮区域中增强高空间频率以及另外在较昏暗区域中提高(boosting)较粗(coarser)的频率而不增强较昏暗区域中的高空间频率被重新获得。这已经被表明会导致图像的增加的现实性。
应当注意,仅在明亮区域中进行峰化(peaking)而没有提高较昏暗区域中的较粗频率不具有相同的现实性增加效果。通过应用滤波器(其中空间滤波器频率(即在其处最强的增强效果被获得的频率)是局部平均亮度值的函数并且其中滤波器频率随着平均亮度值增加而增加以及增益随着平均亮度值增加而增加),则这样的效果是可获得的,其中在明亮区域(即高的局部平均亮度的区域)中高空间频率被增强而没有或至少较小程度地增强较低频率,以及因此小的细节是更好可见的。在较昏暗区域中,较低的空间频率(以及因此较长的空间波长细节)被增强,而没有或至少较小程度地增强高空间频率。在锐化效果的增益和频率中的这种依赖性与人眼的对比度敏感度相对应并且导致针对显示图像的提高的现实性。并且,因此其增加了明显的全局对比度和增加了逼真度。
在实施例中,滤波器频率和增益通过局部平均亮度值被直接确定并且滤波器被应用到输入图像数据来提供滤波的图像数据,其中所述滤波的图像数据被添加到输入图像数据以便提供输出图像数据。局部地意指在图像上的位置(x)处或与图像上的位置(x)有关。在每一个像素或区域(因此局部地)处,可调滤波器被应用,其中应用到滤波的信号的频率行为和增益依赖于局部平均亮度值(即,通过其被调整),其以如以上阐明的方式进行。
在优选实施例中,对某一范围的空间频率进行响应的一组滤波器被应用到输入图像数据来提供一组增强信号,其中针对每一个增强信号选择空间频率的频带,所述空间频率的频带从高到低不同,所述增强信号乘以增益因子来提供一组乘以增益的增强信号,随后针对图像的像素或一部分,混频体由该组乘以增益的增强信号组成以便提供乘以增益的滤波的信号,其中归因于该组增益放大的增强信号的元素的混频因子是局部平均亮度值的函数,其中随着亮度的逐渐增加,混频因子改变来增加较高频率对混频体的贡献。
该实施例的优点是简单混频体由许多滤波的完整图像组成以便提供局部滤波的图像,所述滤波的完整图像的每一个用预定的静态滤波器进行滤波。这是还可以被容易地调整的快速方法。
优选地,该组空间频率(带)滤波器包括三个或两个滤波器。已经示出使用三个滤波器(低、中以及高空间频率增强滤波器)或甚至仅两个滤波器(高频率增强滤波器和中或低频率增强滤波器)提供好的结果。这样的实施例是简单且快速的,其尤其在其中处理能力被限制的实时应用中提供了优势。
附图说明
本发明的这些和另外的方面将通过例子和参考附图被更详细地说明,其中
图1图示了位于本发明的基础上的洞察;
图2以一般形式图示了本发明;
图3图示了作为局部平均亮度的函数的可调滤波器的频率;
图4图示了作为局部平均亮度的函数的可调滤波器的增益;
图5图示了本发明的方法和设备的实施例;
图6、7和8图示了本发明的另外的实施例;
图9图示了本发明的显示设备。
通常,相同的构件在图中由相同的参考标号表示。
具体实施方式
应当注意,以下例子被示出。
图1以图表的形式图示了关于一系列亮度值的作为在横轴上以周每度为单位的空间频率的函数的、纵轴上的以人类视觉的任意单位表示的对比度敏感度C。针对相应曲线的亮度值如下:曲线11为0.01                                                
Figure 198376DEST_PATH_IMAGE001
、曲线12为0.1 
Figure 177833DEST_PATH_IMAGE001
、曲线13为1、曲线14为10 、曲线15为100 
Figure 229469DEST_PATH_IMAGE001
、曲线16为1000 
Figure 51931DEST_PATH_IMAGE001
。我们看到,对比度灵敏度C针对各种亮度在特定空间频率处达到峰值。图1中由虚线图示的峰值空间频率作为亮度的函数而转变,其中它随着光强度增加而转变到较高的空间频率以及在较昏暗的照明下转变到较低频率。同样,效果在较高的亮度处变得更强。初看之下,这看起来和显示设备并无太多关联。亮度依赖关系存在,但是所述依赖性跨越六个数量级以及因此在显示器亮度(其正常地跨越仅三个数量级)处这种效果看起来非常小。然而,显示的图像取自真实场景,并且在真实场景中存在所述效果。因此在显示器中通过在明亮区域进行峰化和在较昏暗区域处提高(boosting)较长的空间波长来模拟所述效果增加了观看者在观看图像时体验到的感觉或现实性。
图2图示了本发明。
输入图像数据I在图像转换单元20中被可调增强滤波器22滤波。通过设置特征滤波器频率f,可调增强滤波器被调节。这个特征频率f依赖于局部平均亮度lum。特征频率f(例如,最锐增强效果在其处发生的频率)作为局部平均亮度的函数而改变,其中它随着局部平均亮度增加而增加。因此,在高的局部亮度处(即明亮区域),小的细节(高的空间频率)被增强以及较低的频率不被增强或至少增强比较少的程度,在较低的局部平均亮度(即较昏暗区域)处,较低的频率(即,较长的空间波长)被提高但高的空间频率增强发生或至少发生比较少的程度。
特征滤波器频率f在位置x处是x处的局部平均亮度的函数:
Figure 381281DEST_PATH_IMAGE002
。增益g也是在x处的局部平均亮度的函数并且随着局部平均亮度增加而增加:
Figure 580182DEST_PATH_IMAGE003
。针对局部平均亮度的这些值在单元21中根据输入图像数据被计算。该单元还提供针对可调滤波器22的特征频率f和针对乘法器23的增益g。乘以增益的滤波的信号被添加到输入数据以便提供增强的输出数据信号
Figure 577446DEST_PATH_IMAGE005
。该输出数据被用来例如创建在显示屏上的图像。
简言之,图2图示了输入图像信号(I)被具有空间滤波器频率(f)的增强滤波器(22)进行局部(或在位置x处或在位置x周围)滤波来提供滤波的信号,所述滤波的信号与增益(g)相乘来提供乘以增益的滤波的信号,局部平均亮度值(lum)被建立(在单元21中),其中空间滤波器频率(f)和增益(g)作为局部平均亮度值的函数
Figure 394092DEST_PATH_IMAGE006
被确定。乘以增益的信号被添加到输入图像信号以便提供输出图像信号(
Figure 131104DEST_PATH_IMAGE005
)。在这个例子中,局部平均亮度值在单元21中被建立,它也可能在单独的单元中被建立。
特征空间滤波器频率f和增益g针对逐渐增加的局部亮度值而增加。这在图3和4中通过例子由针对F1和F2的许多函数形式示意性地图示,其中频率(f)和增益(g)作为局部平均亮度lum的函数增加。图3和4示意性地示出作为在横轴上的亮度lum的函数的纵轴上的f和g。亮度的最小值和最大值由min和max给出,其中最大值还由虚线指示。函数F1以及F2可以是线性的或弯曲的(诸如指数曲线)或阶梯函数。阶梯函数例如将在锁定表(lock-up table)被使用时出现,其中针对频率或增益的特定值归因于特定范围的亮度值。峰值频率以及增益作为亮度的函数而增加。
这样的算法在增加的现实性之后具有若干附加优点:
- 在明亮区域对高频率的较高的敏感度。细微的细节在明亮区域变得可见
- 在昏暗区域对噪声的较少/无增强。由于传感器噪声,这常常是真实的。在昏暗区域提高高频率将放大噪声,而在明亮区域则不是这种情况。在较昏暗区域,较低频率被提高,其没有放大噪声
- 在昏暗区域进行峰化突出细节并减少全局图像对比度。在图2的算法中,这种效果被阻止。在昏暗区域进行峰化将增强相对轻的细节比增强昏暗细节更多些,并且增加在昏暗区域中的平均光水平和实际上减少图像对比度
- 在明亮区域放大较低频率创建了光晕,在昏暗区域更不用说也是这种情况。在诸如天空的明亮区域中放大较低频率在云周围创建光晕,其是不自然的,然而在昏暗区域,光晕是比较可接受的,因为它们常常看起来是阴影。
存在若干方式用来计算局部平均亮度值。一个方式例如是使用以下公式来计算平均亮度值,其中
Figure 654489DEST_PATH_IMAGE007
代表局部平均亮度(在图3和4中由lum表示),其被视为在位置x处的像素周围的nxn正方形大小的像素中的亮度的平均值。
Figure 146651DEST_PATH_IMAGE008
是动态范围的高的一端,即最高可能的值:
除以
Figure 725717DEST_PATH_IMAGE008
使平均亮度值归一化成在0(像素周围完全昏暗的区域)和1(像素周围最明亮的区域)之间的值。
平均亮度值还可能通过计算中值(对于其来说周围像素的50%是较明亮的以及50%是较昏暗的值)被获得。因此,在本发明的概念内,平均(average)亮度值可以是均(mean)亮度值。
同样,加权平均数可以被用来计算平均亮度值,其中在位置x处的像素周围的像素的许多壳(shells)被考虑进来并且归因于这些壳的权重随着壳离位置x处的像素越远而减少。在计算平均数(包括均值)中,最高值或最低值可以在计算平均数之前被去掉以便减少在光强度中的下降或侥幸的峰值的干扰效果。
亮度以及卢马(luma)值可以被用来计算平均亮度值。所述两个值(亮度和卢马)是强烈相关的。简言之,在本发明的概念内,平均亮度值的计算可以是基于用于表达在图像处的局部明亮度(brightness)或与图像处的局部明亮度有关的任意数据的。平均数可以通过用来计算与平均明亮度有关的统计值的任意算法或公式来取得,无论其是中值或是平均值以及无论其在计算之前考虑(如常常在取平均值中所做的那样)权重因子或是去掉可能的偏离值。在以上例子中,nxn像素的区域被使用。N例如可以是3、5或7。也可能使用像素周围的nxm区域。
图2的大体设置可以通过在每个像素或区域处直接应用可调滤波器被实施,其中滤波器的增益和频率行为依赖于局部平均亮度值lum。
然而,发明人已经认识到,如图5中图示的更快速和简单的方案近似地完成相同的方法步骤。
在这个示范性的实施例中,输入图像数据的数个(在这个例子中为两个)副本被使用。在一个副本中,高频率通过高通滤波器(HPF)51被选择,以及在另一个副本中,中间频率通过使用中通滤波器(BPF)52被选择,两个滤波器都是带通滤波器。副本分别在乘法器53和54中乘以增益
Figure 766671DEST_PATH_IMAGE011
。然后,依赖于局部平均亮度值,所述两个选择的副本在混频器(MIX)55中被混频并且在加法器56中被添加到原始图像I来获得最终的增强图像
Figure 495592DEST_PATH_IMAGE005
。混频器55具有针对局部亮度值的输入,在图5中由线58示意性地指示。所述混频可以线性地依赖于局部亮度值,或例如指数函数可以被使用。
以公式的形式,如应用到图像I的算法可以被描述为如下:
Figure 636724DEST_PATH_IMAGE012
频率依赖滤波器HPF和BPF例如使用方框滤波器(box-filters)的差被实施。HPF*I是滤波器和I的卷积。借助于例子,HPF通过从原始图像减去用5x5像素的方框尺寸滤波的方框滤波图像而被确定。对于BPF,例如,用9x9像素的方框尺寸滤波的方框滤波图像被创建以及用尺寸等于图像宽度w除以30的方框尺寸(即w/30xw/30)滤波的方框滤波图像从它被减去。
Figure 134701DEST_PATH_IMAGE013
是在尺寸
Figure 968665DEST_PATH_IMAGE014
(典型地是5x5像素)的小邻域的x处的局部亮度水平,其被归一化在0和1之间。该局部亮度水平被用来对两种增强信号进行混频。指数可以被应用到局部亮度来转变平衡,以及例如仅将峰化应用到非常明亮的区域(通过设置
Figure 919303DEST_PATH_IMAGE015
>1)。在例子中,
Figure 801809DEST_PATH_IMAGE015
被设置成1。最终,存在两个恒定增益,一个用于高频率以及一个用于低频率以便微调算法。在例子中,
Figure 216610DEST_PATH_IMAGE010
被设置成3以及
Figure 159158DEST_PATH_IMAGE011
被设置成0.5。混频因子在这个例子中分别是
Figure 659409DEST_PATH_IMAGE016
Figure 80026DEST_PATH_IMAGE017
。在图5中,所述混频借助于作为局部平均亮度值lum的函数的混频因子m的图表被生动地图示。实线给出低频率贡献的混频因子(即,),断线针对高频率贡献(即,)。在这个图中,
Figure 715910DEST_PATH_IMAGE015
的值可能是针对混频器(MIX)55的输入。
随着局部亮度的值的增加,高频率增强信号
Figure 2535DEST_PATH_IMAGE018
的更多被混入并且增益增加。
本实施例的优点在于:在混频器55中,简单混频体由许多滤波的完整图像组成以便提供局部滤波的图像。这是还可以被容易地调整的快速方法。随亮度增加而向较高频率和较高增益的转变通过改变所述混频体使得较高的频率增强信号随着局部平均亮度值的增加被给予较高的权重因子被完成。
对于每一个图像,仅两个静态的预定滤波器操作必须在图像上作为整体被执行,剩余部分是对两个滤波的图像的混频,其可以针对每一个像素快速且容易地进行。
这个方案可以通过使用一组滤波器被进一步地扩展。图6图示了该方案:
一组滤波器61(F1)到(Fm)被使用,其中每个滤波器具有峰值频率,为了便于理解,假设F到F的峰值频率形成一组峰值频率fm到f,其中它保持
Figure 64032DEST_PATH_IMAGE019
不变。因此,F是具有最高特征或峰值频率的滤波器以用于增强最细微的细节,以及F响应于空间频率的最低范围以用于增强较粗的特征。
输入图像I的每一个滤波的副本在乘法器(63、64)中乘以增益gM到g1,并且乘以增益的滤波的信号在混频器65(MIX)中被混频。所述混频由方框65中的各种线示意性地指示。在最低亮度值处,仅滤波器F起作用,在稍高的亮度处,FM-1也被混入,并且在亮度数值范围的最高端处仅F被混入。在混频器65(MIX)中,使用混频因子的例子被生动地图示,靠近图表的开始处的实线示出最低频率贡献FM的混频因子,在亮度数值范围的结束处,最高频率贡献F1的混频因子被断线图示,直接在该断线之前的虚线图示了针对第二高频率贡献的混频因子等。
针对三个滤波器的例子,表1提供了例子。
表1:针对三个增强信号的示范性混频方案:
  低频率增强信号F3, 增益g3=0.5 中频率增强信号F2,增益 g2=1.5 高频率增强信号F1, 增益 g=3.0
亮度值 混频因子 混频因子 混频因子
0-0.075 1 0 0
0.075-0.15 0.9 0.1 0
0.15-0.225 0.7 0.3 0
0.225-0.3 0.5 0.5 0
0.3-0.375 0.3 0.7 0
0.375-0.45 0.1 0.9 0
0.45-0.525 0 1 0
0.525-0.60 0 0.9 0.1
0.60-0.68 0 0.7 0.3
0.68-0.76 0 0.5 0.5
0.76-0.84 0 0.3 0.7
0.84-0.92 0 0.1 0.9
0.92-1 0 0 1
在亮度数值范围的最低端和最高端处,低频率增强信号和高频率增强信号分别被使用。随着平均亮度值lum从亮度数值范围的较低(0)端增加到较高(1)端,三个增强信号
Figure 410699DEST_PATH_IMAGE020
Figure 851225DEST_PATH_IMAGE022
的混频转变成较高频率增强信号中的混频。随着亮度值增加,通过用混频因子将三个增强信号进行混频而形成的总的滤波器的特征频率因此朝较高的频率和较高的增益转变。
本发明的方法和系统可能以各种方式被使用于各种目的,诸如例如用来创建增强算法和其它视频处理算法。
本发明还被体现在计算机程序中,所述计算机程序包括当其在计算机上被执行时用于执行根据本发明的方法的程序代码装置。
本发明可以被使用在或可以被用于图像信号的转换单元和图像信号的转换在其中被使用的设备(诸如显示设备)中。在权利要求中,放置在括号之间的任意附图标记不应该被解释为限制所述权利要求。
单词“包括”不排除在权利要求中列举的那些之外的其它元件或步骤的存在。本发明可能通过如以上描述的各种不同的优选实施例的特征的任意组合被实施。单词“单元”意在指示任意实体,无论其是硬件或软件或二者的组合的形式,以及无论其被集中在一个物理实体中或是分开在被布置成执行所指示的函数的子单元中。
本发明不被限制于以上给出的例子,而是可以以各种方式被执行。
一种可能的方式是在等式中以突显(salience)的方式进行混频。
图7图示了这样的实施例。这是这样的例子,其中在混频后,增强信号的混频体经受额外的处理,在这个例子中是增益乘法运算,其是在所述增强信号的混频体在加法器76中被添加到输入信号I以便提供增强信号
Figure 95125DEST_PATH_IMAGE005
之前进行的。
在很大程度上,除对各个部分重新编号之外,图7遵照图5的方案:
在图7的方案中,输入图像数据的数个(在这个例子中为两个)副本被使用。在一个副本中,高频率通过高通滤波器(HPF)71被选择,以及在另一个副本中,中间频率通过使用中通滤波器(BPF)72被选择,两个滤波器都是带通滤波器。所述副本分别在乘法器73和74中乘以增益
Figure 284798DEST_PATH_IMAGE010
Figure 246937DEST_PATH_IMAGE011
。然后,作为本地平均亮度值的函数,两个所选择的副本在混频器(MIX)75中被混频并且在加法器76中被添加到原始图像I来获得最终的增强图像
Figure 813048DEST_PATH_IMAGE005
。混频器75具有针对局部亮度值的输入,在图7中由线78示意性地指示。所述混频可以线性地依赖于局部亮度值或例如指数函数可以被使用。
额外步骤是:在混频之后,这样制作的混频信号在乘法器79中乘以增益
Figure 114716DEST_PATH_IMAGE023
。该增益在部分70中被计算。突显还被称为给予屏幕的一定部分的视觉注意力。突显估计器估计观看者给予图像的一定部分的视觉注意力。可能为重要的一个成分是颜色;因此,针对突显估计器70的一个输入可以是色度值。这在图7中被示意性地指示,其中色度值形成针对突显估计器70的一个输入。另一个输入可以是在屏幕上的位置x,因为人类视觉倾向于对屏幕的某些部分(诸如中央部分)比其它部分(诸如外围部分)更加留意。依赖于此,混频器75的输出在乘法器79处借助于突显增益可以被增加(增益高于1)以便使增强更强或可以被减少(增益低于1)以便使增强不那么显著。
另一个例子在图8中被提供。以上描述的针对图5的算法被书写如下:
Figure 356845DEST_PATH_IMAGE025
这可以被重新书写为:
Figure 247440DEST_PATH_IMAGE026
这个公式是这样的项(term),其可以被重新书写为:
Figure 106812DEST_PATH_IMAGE027
所述公式现在具有两个成分:
图像(I(x))加上增强的高空间频率
Figure 715648DEST_PATH_IMAGE028
图像(I(x))加上增强的中间空间频率
Figure 951457DEST_PATH_IMAGE029
这两个成分分别以混频因子
Figure 992411DEST_PATH_IMAGE031
进行混频。
图8图示了这样的例子。输入信号I在增强器81中经受高频率成分的增强,因此提供具有提高的高空间频率的信号I,以及在增强器82中经历中间频率成分的增强。
输入信号I的局部亮度值在计算器83中被计算。这两个信号(一个具有提高的高频率以及一个具有提高的中间频率)在混频器(MIX)84中被混频,其中混频因子是如以上解释的局部平均亮度值的函数。两个提高的信号的混频体提供了增强的信号
Figure 88543DEST_PATH_IMAGE005
。这个实施例不同于图5的体现,在于:在混频器中将增强信号混频到输入信号的添加和混频二者在一个步骤中被执行。
然而,如公式的以上重新书写示出的那样,这两个实施例,尽管在实际设置中不同,但是本质上是一样的。在图8中,对于每一个图像,仅两个静态的预定滤波器操作必须在图像上作为整体被执行,剩余部分是两个滤波的图像的混频,其可以针对每一个像素快速且容易地进行。
图8的方案也可以以与图6形成对图5的扩展相同的方式被扩展,其通过使用一组提高算法来提高高的、中间的以及低的频率或甚至更多频带并且然后对出来的信号(outcoming signals)混频而进行。
图9图示了依照本发明的显示设备。增强的输出数据被发送到显示屏(DIS)91,如果需要,所述数据首先可以由后期处理单元90进行后期处理。
简言之,本发明可以被描述如下:
在用于通过对比度和/或锐度增强改进图像再现的方法和设备中,锐度增强依赖于局部平均亮度值被进行,使得在高亮度处高空间频率被增强,而针对较低的亮度,较低空间频率被增强。在实施例中,混频体是由空间增强的图像信号组成的,其中,对于各个信号,不同的空间频率被从高到低进行提高。用于对提高的信号进行混频的混频因子依赖于局部平均亮度值,使得随着亮度值增加,在频带上的分布转变到较高的频率和较锐的增强。
图2图示了局部增强滤波器的使用,其中峰值频率和增益依赖于局部亮度值,使得随着局部亮度的逐渐增加,被主要增强的频带转变到较高频率并且总体增强效果随着亮度的逐渐增加而增加。图5图示了相同的效果可以通过作为整体(或如果本发明的方法仅在图像的一定部分处被进行,则是图像的所述部分)增强图像以便提供在若干(至少两个)频带处的增强而被获得。这些增强信号然后被混频(即在在混频器处被添加到彼此中),其中所述混频依赖于局部平均亮度值,并且较高的频率增强中的越来越多随着平均亮度值增加被混入。实际上,图5的方案和图2的方案一样,但它可以被更快地进行,因为仅有限数量的具有静态滤波器参数的静态滤波器被使用。所述混频是可以以极快的速度进行的附加方法步骤。

Claims (12)

1.用于将输入图像数据(I)转换成输出图像数据(                                                
Figure 2012800048495100001DEST_PATH_IMAGE001
)的方法,其中所述输入图像数据(I)由具有空间频率响应的增强滤波器(22)局部地(x)滤波来提供滤波的信号,所述滤波的信号乘以增益(g)来提供乘以增益的滤波的信号(I’),局部平均亮度值(lum)被建立,其中空间滤波器针对其具有最大响应的空间滤波器频率(f)和所述增益(g)作为所述局部平均亮度值的函数被确定,其中所述空间滤波器频率(f)和所述增益(g)针对逐渐增加的局部亮度值(lum)而增加以及其中所述乘以增益的滤波的信号(I’)被添加到所述输入图像信号来提供所述输出图像数据(
Figure 640270DEST_PATH_IMAGE001
)。
2.如权利要求1中要求保护的方法,其中一组频率依赖增强滤波器(F1,…FM,HPF,BPF)被应用到所述输入图像数据(I)来提供一组增强信号,其中空间频率的频带针对每一个增强信号被增强,所述空间频率的频带从高到低不同,所述增强信号乘以增益因子(gM,…g1,
Figure 557411DEST_PATH_IMAGE002
,
Figure 2012800048495100001DEST_PATH_IMAGE003
)来提供一组乘以增益的增强信号,随后针对所述图像的像素或一部分,混频体(MIX)由该组乘以增益的增强信号组成来提供乘以增益的滤波的信号,其中归因于该组增益放大的增强信号的元素的混频因子(m)是所述局部平均亮度值(lum)的函数,其中随着亮度的逐渐增加,所述混频因子改变来增加较高频率对混频体的贡献。
3.如权利要求2中要求保护的方法,其中该组频率依赖增强滤波器包括三个或两个滤波器。
4.如权利要求3中要求保护的方法,其中该组频率依赖增强滤波器包括两个滤波器(HPF,BPF)。
5.计算机程序,其包括程序代码装置,当所述计算机程序在计算机上被执行时,所述程序代码装置用于执行根据本发明的方法。
6.用于将输入图像数据(I)转换成输出图像数据(
Figure 461782DEST_PATH_IMAGE001
)的图像转换单元(20),其包括:针对输入图像数据(I)的输入端和针对输出图像数据()的输出端;用于局部地(x)对所述输入图像数据(I)滤波的增强滤波器(22),所述滤波器具有空间频率响应以便提供滤波的信号;乘法器(23),用于将所述滤波的信号乘以增益(g)来提供乘以增益的滤波信号;装置(21),用于建立局部平均亮度值(lum),以及作为所述局部平均亮度值的函数(f=F1(lum,x),g=F2(lum,x))来确定所述频率滤波器针对其具有最大响应的空间频率(f)和增益(g),其中所述空间频率(f)和所述增益(g)针对逐渐增加的局部平均亮度值而增加;以及用于将所述乘以增益的滤波的信号(I’)添加到所述输入图像信号(I)以用于提供所述输出图像数据(
Figure 733680DEST_PATH_IMAGE001
)的装置。
7.如权利要求6中要求保护的图像转换单元,其中所述单元包括:针对所述输入图像数据(I)的一组频率依赖增强滤波器(FM,F1,HPF,BPF),其用来提供一组增强信号,其中空间频率的频带针对每一个增强信号被增强,空间频率的所述频带从高到低不同;乘法器,用于将所述增强信号乘以增益因子(gM,g1)来提供一组乘以增益的增强信号,所述单元还包括针对所述图像的像素或一部分来制作该组乘以增益的增强信号的混频体(MIX)以便提供乘以增益的滤波的信号的装置,其中归因于该组增益放大的增强信号的元素的所述混频因子是所述局部平均亮度值(lum)的函数,其中随着亮度的逐渐增加,所述混频因子改变来增加较高频率对所述混频体的贡献。
8.如权利要求7中要求保护的图像转换单元,其中所述图像转换单元包括三个或两个滤波器。
9.如权利要求8中要求保护的图像转换单元,其中所述图像转换单元包括两个滤波器(HPF,BPF)。
10.如权利要求9中要求保护的图像转换单元,其中所述两个滤波器是由高通滤波器和中通滤波器形成的。
11.图像处理装置,其包括用于接收输入图像数据的接收装置和如权利要求6到10的任一项要求保护的用于将所述输入图像数据转换成输出图像数据的图像转换单元。
12.包括图像处理装置的显示设备,其包括:用于接收输入图像数据的接收装置、如权利要求7到10的任一项要求保护的用于将输入图像数据转换成输出图像数据的图像转换单元、以及显示屏(DIS)。
CN2012800048495A 2011-01-07 2012-01-02 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备 Pending CN103299609A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11150384 2011-01-07
EP11150384.3 2011-01-07
PCT/IB2012/050011 WO2012093348A1 (en) 2011-01-07 2012-01-02 Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device

Publications (1)

Publication Number Publication Date
CN103299609A true CN103299609A (zh) 2013-09-11

Family

ID=45498066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800048495A Pending CN103299609A (zh) 2011-01-07 2012-01-02 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备

Country Status (4)

Country Link
US (1) US9031346B2 (zh)
EP (1) EP2661873A1 (zh)
CN (1) CN103299609A (zh)
WO (1) WO2012093348A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260986A (zh) * 2015-10-13 2016-01-20 武汉大学 一种抗模糊的图像放大方法
CN107079094A (zh) * 2014-09-30 2017-08-18 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
CN108234890A (zh) * 2014-09-30 2018-06-29 富士胶片株式会社 滤波器获取装置、滤波器获取方法、及记录介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305332B2 (en) * 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9536288B2 (en) 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9349188B2 (en) * 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
TWI520101B (zh) * 2014-04-16 2016-02-01 鈺創科技股份有限公司 美化影像中人體膚色的方法、美化影像中人體膚色的裝置、調整影像中人體膚色亮度的方法及調整影像中人體膚色亮度的裝置
WO2016052001A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、フィルタ取得装置、画像処理方法、フィルタ取得方法、プログラム及び記録媒体
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
CN107944355B (zh) * 2017-11-13 2018-08-28 厦门云顶伟业信息技术有限公司 大数据采集和处理方法
US11423515B2 (en) 2019-11-06 2022-08-23 Canon Kabushiki Kaisha Image processing apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1411657A (zh) * 2000-11-06 2003-04-16 皇家菲利浦电子有限公司 用于画面清晰度增强的自适应切割防护
CN1474997A (zh) * 2000-09-21 2004-02-11 Ӧ�ÿ�ѧ��˾ 动态图像校正及成像系统
CN1608378A (zh) * 2001-12-27 2005-04-20 皇家飞利浦电子股份有限公司 在视频清晰度增强中改善时间一致性
US20070171310A1 (en) * 2006-01-26 2007-07-26 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the contrast of an image
CN101266684A (zh) * 2007-03-16 2008-09-17 株式会社东芝 图像处理装置和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556276B2 (ja) * 2000-03-23 2010-10-06 ソニー株式会社 画像処理回路及び画像処理方法
US6735330B1 (en) * 2000-10-17 2004-05-11 Eastman Kodak Company Automatic digital radiographic bright light
US7130483B2 (en) * 2001-12-12 2006-10-31 Samsung Electronics Co., Ltd. Method for enhancing a digital image while suppressing undershoots and overshoots
US8068691B2 (en) * 2005-01-26 2011-11-29 Koninklijke Philips Electronics N.V. Sparkle processing
US7881549B2 (en) * 2005-10-12 2011-02-01 Panasonic Corporaiton Visual processing device, display device, visual processing method, program, and integrated circuit
TWI380236B (en) * 2008-09-12 2012-12-21 Avisonic Technology Corp Image enhancement method using local gain correction
TWI387319B (zh) * 2009-06-02 2013-02-21 Novatek Microelectronics Corp 影像處理電路及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1474997A (zh) * 2000-09-21 2004-02-11 Ӧ�ÿ�ѧ��˾ 动态图像校正及成像系统
CN1411657A (zh) * 2000-11-06 2003-04-16 皇家菲利浦电子有限公司 用于画面清晰度增强的自适应切割防护
CN1608378A (zh) * 2001-12-27 2005-04-20 皇家飞利浦电子股份有限公司 在视频清晰度增强中改善时间一致性
US20070171310A1 (en) * 2006-01-26 2007-07-26 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the contrast of an image
CN101266684A (zh) * 2007-03-16 2008-09-17 株式会社东芝 图像处理装置和方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079094A (zh) * 2014-09-30 2017-08-18 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
CN108234890A (zh) * 2014-09-30 2018-06-29 富士胶片株式会社 滤波器获取装置、滤波器获取方法、及记录介质
CN107079094B (zh) * 2014-09-30 2018-07-13 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质
CN108234890B (zh) * 2014-09-30 2020-05-08 富士胶片株式会社 滤波器获取装置、滤波器获取方法、及记录介质
CN105260986A (zh) * 2015-10-13 2016-01-20 武汉大学 一种抗模糊的图像放大方法
CN105260986B (zh) * 2015-10-13 2018-06-29 武汉大学 一种抗模糊的图像放大方法

Also Published As

Publication number Publication date
US9031346B2 (en) 2015-05-12
WO2012093348A1 (en) 2012-07-12
US20130343670A1 (en) 2013-12-26
EP2661873A1 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
CN103299609A (zh) 用于将输入图像数据转换成输出图像数据的方法、用于将输入图像数据转换成输出图像数据的图像转换单元、图像处理装置、显示设备
Li et al. Underwater image enhancement by dehazing and color correction
US7899267B2 (en) Dynamic range compensation by filter cascade
CN102341826B (zh) 用于将输入图像数据转换成输出图像数据的方法
CN106210437B (zh) 图像处理装置和投影仪
US8761537B2 (en) Adaptive edge enhancement
WO2008011541A9 (en) Image dynamic range control for visual display
CN109817170B (zh) 像素补偿方法、装置和终端设备
US10134323B2 (en) Image display device
Shin et al. Rendering high dynamic range images by using integrated global and local processing
Jmal et al. Efficient cultural heritage image restoration with nonuniform illumination enhancement
JPWO2014162533A1 (ja) 映像表示装置
CN110402455B (zh) 影像显示装置
Kyung et al. Hue preservation using enhanced integrated multi-scale retinex for improved color correction
US20150146981A1 (en) Apparatus and method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
Ha et al. Remote sensing image enhancement based on singular value decomposition
US20060215168A1 (en) Sharpness enhancement
JP5349204B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
CN116630218B (zh) 一种基于边缘保持平滑金字塔的多曝光图像融合方法
JP2007194775A (ja) ディテイルエンハンサー
Wang et al. An Adaptive Tone Mapping Method for Displaying High Dynamic Range Images.
JP7344975B2 (ja) 映像表示装置およびプロジェクタ
KR20180003473A (ko) 신호 정정 방법 및 장치, 그리고 단말기
Bouzidi et al. Forward and backward tone mapping of high dynamic range images based on sub band architecture
Geerts et al. Embedded image enhancement for high-throughput cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130911