本申请根据35USC§119(a)要求2007年6月26日向韩国知识产权局提交的韩国专利申请No.10-2007-0063014的优先权,其全部内容通过参考而合并于此。
具体实施方式
尽管这个说明书包含许多细节,但是这些细节不应该被理解为对任何发明的范围或可能要求保护的范围的限制,而是作为特定发明的特定实施例所可能特有的特征的描述。还可以在单个实施例中组合实现在这个说明书中在单独实施例的上下文中描述的某些特征。相反地,在单个实施例的上下文中描述的各特征也可以单独地或以任何合适的子组合来在多个实施例中实现。
此外,尽管上面将特征描述为以某些组合来起作用并甚至初始地这样要求保护,但是来自所要求保护的组合的一个或多个特征在某些情况中可能从所述组合删除,并且所要求保护的组合可指向子组合或子组合的变型。
图1是图示了根据本发明的用于自动计算伽马校正曲线的设备的配置的示意框图。
如图1中所示,根据本发明的用于自动计算伽马校正曲线的设备100通过图像接口110而连接到图像信号处理器120。所述图像接口110是I/O接口,其用于对接在图像信号处理器120与根据本发明的用于自动计算伽马校正曲线的设备100之间的数据传送。图像信号处理器120从图像传感器接收对象的输入模拟图像,将模拟图像转换为数字图像,执行各种图像处理,并输出具有改善的图像质量的数字图像数据。所输出的数字图像数据可包括如图1所示的辉度(luminance)数据(Y)和色度数据(Cb和Cr)、或可包括RGB数据。然而,本发明不限于具体格式的数字图像数据。
图像信号处理器120包括伽马校正块130,用于至少校正图像的亮度分布。伽马校正块130通过根据在图像信号处理器120的寄存器中存储的伽马校正曲线的简档来非线性地编码图像的亮度分布,而校正图像的亮度分布。伽马校正曲线的简档包括在寄存器的查找表中存储的多个伽马校正坐标。所述伽马校正坐标是位于伽马校正曲线上的二维坐标,其中X坐标值是输入亮度值,以及Y坐标值是利用输入亮度值映射的输出亮度值。优选地,伽马校正块130针对每个颜色通道(R、G和B)来校正图像的亮度分布。
图3是图示了伽马校正块130通过使用伽马校正曲线将预定比特数的输入亮度值映射为预定比特数的输出亮度值、来对图像的亮度分布进行非线性编码的构思的曲线图。参考图3,伽马校正块130将对应于X1、X2、X3和X4的输入亮度值分别编码为对应于Y1、Y2、Y3和Y4的输出亮度值。输入亮度值和输出亮度值可以为12比特和8比特、10比特和8比特、或者8比特和8比特。然而,本发明不限于具体比特数的输入亮度值和输出亮度值。
其间,伽马校正意指考虑到人类视觉非线性地响应于图像的亮度、而对图像的亮度分布进行的非线性编码。然而,伽马校正可意指用以校正显示装置的非线性的、对图像的亮度分布进行的非线性编码。在这个情况下,图像信号处理器120可以用与显示装置连接的典型图形驱动器装置来替换,并且伽马校正块130被包括在所述图形驱动器装置中,并校正图像的亮度分布以校正显示装置的非线性。
图像信号处理器120可以不仅执行伽马校正,还执行从DPA(坏像素有效)、LSC(镜头阴影补偿)、ACI(自适应颜色内插)、颜色校正、色调/增益控制、图像效果、自动控制和自动白平衡中选择的任何一个图像处理或者其组合。上述图像处理技术是本领域中公知的,并因此省略它们的详细描述。
如图1中所示,根据本发明的用于自动计算伽马校正曲线的设备100至少包括图像获得单元140、坐标计算单元190、和曲线计算单元200。
图像获得单元140按照规则的帧间隔通过图像接口110接收比色图表的输入图像数据。如图4中所示,比色图表是用于评估彩色电视系统的颜色再现或颜色渲染的颜色测试图表,并包括根据颜色排列的正方形色片(patch)。
坐标计算单元190测量输入到图像获得单元140的图像的多个ROI的输入亮度值,并比较每个ROI的输入亮度值和每个ROI的预置目标亮度值,以计算用于伽马校正曲线的多个点的伽马校正坐标。
曲线计算单元200将内插应用于多个伽马校正坐标以输出伽马校正曲线,并通过图像接口110将定义伽马校正曲线的简档的多个伽马校正坐标存储在图像信号处理器120的寄存器中。
图2是图示了根据本发明的优选实施例的、用于自动计算伽马校正曲线的设备的配置的详细框图。
参考图2,根据本发明的优选实施例的用于自动计算伽马校正曲线的设备100包括图像获得单元140、图像存储单元150、图像操作单元160、显示器170、ROI设置单元180、坐标计算单元190、曲线计算单元200、校正验证单元210、和GUI(图形用户界面)输出单元220。
图像获得单元140按照规则的帧间隔通过图像接口110接收比色图表的输入图像数据,并将图像数据存储在图像存储单元150中。图像存储单元150是典型的活动或不活动存储器。图像获得单元140可在存储图像数据之前转换图像数据的色域。也就是说,在输入图像数据的色域是YUV域的情况下,图像获得单元140可将输入图像数据的色域转换为RGB域。图像操作单元160按照规则帧间隔扫描存储在图像存储单元150中的图像数据,并输出图像数据到显示器170。相应地,在显示器170上显示比色图表图像。
ROI设置单元180通过GUI输出单元220将ROI设置界面提供到显示器170,并从用户接收多个ROI的选择。这里,ROI意指在通过显示器170输出的比色图表中的、将要测量其亮度值的感兴趣区域。GUI输出单元220通过显示器170提供具有在实践本发明期间生成的各种数据并具有向用户提供的各种界面的图形用户界面。
将多个ROI设置到比色图表的不同色片。优选地,将多个ROI设置到属于比色图表的相同颜色的不同色片。更优选地,将多个ROI连续地设置到属于比色图表的相同颜色、并具有渐进亮度的色片。
图5是图示了通过显示器170提供的ROI设置界面230的示范显示视图。
如图5所示,ROI设置界面230用于在显示器170上显示的图像中选择用于亮度值测量的对象区域。ROI是位于ROI设置界面230中的内部正方形区域。然而,ROI不限于具体的形状。在图5中,将ROI设置到属于灰颜色并具有亮度缩减的6个灰色片中的每一个。当设置ROI时,用户使用鼠标来垂直和水平地移动ROI设置界面230,使得ROI位于色片中。
坐标计算单元190测量在比色图表中设置的每个ROI的输入亮度值。接下来,坐标计算单元190比较每个ROI的输入亮度值和每个ROI的预置目标亮度值,以计算用于伽马校正曲线的多个点的伽马校正坐标。伽马校正坐标可通过接下来的等式1来计算,然而,本发明不限于这一点。
[等式1]
伽马校正坐标:(X_k,Y_k)
X_k=色片的标准亮度值
Y_k=2*(第k ROI的目标亮度值)-第k ROI的输入亮度值
在等式1中,X_k是第k伽马校正坐标的X坐标值,以及Y_k是第k伽马校正坐标的Y坐标值。
根据本发明,通过对包括在每个ROI中的所有像素的输入亮度值求平均,来获得每个ROI的输入亮度值。如果在ROI中包括400个像素,则通过对400个像素的输入亮度值求平均来获得输入亮度值。每个像素的输入亮度值是通过对R、G和B通道的颜色值求平均来获得的。每个ROI的目标亮度值可由用户预置。替换地,当由已鉴定的(certified)数字相机取得比色图表时,可将目标亮度值设置到标准值或者灰色片的亮度值。坐标计算单元190在显示器170上显示用于接收输入目标亮度值的用户界面,以接收从用户输入的每个ROI的目标亮度值。例如,在如图5所示设置6个ROI的情况下,坐标计算单元190可从左到右接收40、60、120、160、200和240(基于十进制系统)作为每个ROI的目标亮度值。
曲线计算单元200使用内插而在由坐标计算单元190计算的多个伽马校正坐标之间插入附加的伽马校正坐标。然后,计算用于定义伽马校正曲线的简档的一组伽马校正坐标。内插包括线性内插、样条(spline)内插、三次内插、或贝塞尔内插。然而,本发明不限于具体种类的内插。
曲线计算单元200输出一组所计算的伽马校正坐标到GUI输出单元220。然后,GUI输出单元220在两维坐标系统上显示一组伽马校正坐标,连接相邻的坐标以形成伽马校正曲线,并通过图形用户界面在显示器170上显示伽马校正曲线。
图6是图示了GUI输出单元220通过图形用户界面显示的伽马校正曲线的示范显示视图。图6中所示的伽马校正曲线是通过使用6个ROI计算6个伽马校正坐标、并使用内插在相邻的伽马校正坐标之间添加多个伽马校正坐标来形成的。然而,本发明不限于具体数目的伽马校正坐标。在图6中,4(A1)、8(A2)、12(A3)、16(A4)、24(A5)、和28(A6)是通过初步计算获得的伽马校正坐标,并且其它坐标是通过内插添加的坐标。
其间,在推导出组成伽马校正曲线的简档的一组伽马校正坐标之后,曲线计算单元200通过图像接口110将所推导出的伽马校正坐标存储在图像信号处理器120的寄存器中。优选地,曲线计算单元200以查找表的形式来存储一组伽马校正坐标。然后,图像信号处理器120的伽马校正块130基于所存储的伽马校正简档来校正随后图像帧的图像的亮度分布。也就是说,伽马校正块130通过使用在寄存器中存储的伽马校正曲线的简档映射R、G和B通道的颜色值,来校正用于每个R、G和B通道的颜色的亮度分布。
在上述实施例中,基于用于每个R、G和B通道的平均亮度值来计算伽马校正曲线,并且当针对每个R、G和B通道执行伽马校正时,应用相同伽马校正曲线的简档。然而,可针对每个R、G和B通道单独计算伽马校正曲线,并且可将一组伽马校正坐标存储在寄存器中用于每个R、G和B通道。也就是说,用于每个R、G和B通道的伽马校正坐标是如下计算的:针对每个R、G和B通道测量多个ROI的输入亮度值,并比较用于每个R、G和B通道的输入亮度值和用于每个R、G和B通道的预置目标亮度值。如果设置6个ROI,则为每个颜色通道计算6个伽马校正坐标。接下来,将内插应用于用于每个R、G和B通道的所计算的伽马校正坐标。相应地,推导出形成伽马校正曲线的、用于每个R、G和B通道的一组伽马校正坐标。
图7是图示了通过GUI输出单元220在显示器170上显示的用于每个R、G和B通道的伽马校正曲线的示范显示视图。在图7中,R通道伽马校正曲线是红色,G通道伽马校正曲线是绿色,以及B通道伽马校正曲线是蓝色。并且,黄色曲线是通过对R、G和B通道的伽马校正曲线求平均而形成的伽马校正曲线。当输出用于每个R、G和B通道的伽马校正曲线时,向每个ROI设置相同的目标亮度值,然而可能向每个ROI设置不同的目标亮度值。
可通过图像接口110将为R、G和B通道计算的3组伽马校正坐标存储在图像信号处理器120的寄存器中。在这个情况下,当执行伽马校正时,伽马校正块130单独为每个R、G和B通道应用伽马校正曲线的简档,以校正图像的亮度分布。
校正验证单元210允许立即检查自动计算的伽马校正曲线的简档的应用结果。也就是说,当已伽马校正的图像被输入到图像获得单元140并存储在图像存储单元150中时,校正验证单元210计算用于每个R、G和B通道的亮度分布,并将用于ROI的每个R、G和B通道的亮度分布连同ROI的目标亮度分布一起输入到GUI输出单元220。然后,GUI输出单元220以曲线图的形式向显示器170输出用于ROI的每个R、G和B通道的亮度分布和ROI的目标亮度分布。优选地,校正验证单元210通过用户的明确呼叫(explicit call)来操作。为此,可向自动计算的伽马校正曲线的输出显示提供用户界面,以命令该校正验证单元210的操作。
图8是图示了由校正验证单元210计算的用于ROI的每个R、G和B通道的亮度分布与ROI的目标亮度分布的示范显示视图。在图8中,R通道的亮度分布被指示为红线,G通道的亮度分布被指示为绿线,B通道的亮度分布被指示为蓝线,并且目标亮度分布被指示为黄线。在所述曲线图中,X轴是具有ROI的色片的标准亮度值,以及Y轴是已伽马校正的ROI中的每一个的亮度值。参考图8,在根据本发明实时计算伽马校正曲线的简档并将其应用到图像处理之后,发现用于每个R、G和B通道的颜色的亮度分布几乎与目标亮度分布匹配。
其间,可以以手动方式来精巧地调节根据本发明自动计算的伽马校正曲线。也就是说,当自动计算伽马校正曲线的简档、并将其通过GUI输出单元220输出到显示器170时,用户可使用鼠标在水平和垂直方向直接移动伽马校正坐标所位于的伽马校正曲线的断点。当通过断点的精巧移动来改变伽马校正坐标时,曲线计算单元200实时更新在寄存器中存储的伽马校正坐标之中的已移动伽马校正坐标的坐标值。校正验证单元210容易地检查伽马校正坐标的更新。也就是说,当根据任何伽马校正坐标的改变来更新伽马校正曲线时,此后,更新的伽马校正曲线所应用的图像被存储在图像存储单元150中。然后,校正验证单元210计算并显示更新的伽马校正曲线所应用的图像的用于ROI的每个R、G和B通道的亮度分布和ROI的目标亮度分布,从而用户可立即检查伽马校正坐标的手动移动的效果。这样,伽马校正曲线可以以手动方式来精巧地调节,这导致更准确的伽马校正曲线。
图9是图示了根据本发明的用于自动计算伽马校正曲线的方法的流程图。所述方法的每个步骤由上述的用于自动计算伽马校正曲线的设备来执行。
首先,通过图像接口以规则的帧间隔输入比色图表的图像数据,并将其输出到显示器(S101)。
接下来,向用户提供ROI设置界面,从而在显示器上输出的比色图表图像中设置多个ROI(S102)。将多个ROI连续设置到属于比色图表的相同颜色并具有渐进亮度的色片。优选地,将多个ROI设置到灰色片。并且,每个ROI被定义在位于色片中的多边形内。
在设置多个ROI之后,测量每个ROI的输入亮度值(S103)。接下来,将每个ROI的输入亮度值与每个ROI的预置目标亮度值相比较,以通过上述的等式1来计算用于伽马校正曲线的多个点的伽马校正坐标。通过对在每个ROI中包括的所有像素的输入亮度值求平均,来获得每个ROI的输入亮度值。并且,每个像素的输入亮度值通过对用于R、G和B通道的颜色值求平均来获得。用户通过用户界面来设置每个ROI的目标亮度值。
替换地,在步骤S103中,为每个R、G和B通道计算多个伽马校正坐标。在这个情况下,对于每个R、G和B通道,将每个ROI的输入亮度值与的每个ROI的目标亮度值进行比较,以计算用于每个R、G和B通道的多个伽马校正坐标。对于每个R、G和B通道来等同地或不同地设置每个ROI的目标亮度值。
在计算多个伽马校正坐标之后,使用内插在伽马校正坐标之间插入附加的伽马校正坐标,以计算定义伽马校正曲线的简档的一组伽马校正坐标(S104)。所述内插包括线性内插、样条内插、三次内插、或贝塞尔内插。然而,本发明不限于具体种类的内插。其间,在步骤S103中对于每个R、G和B通道计算多个伽马校正坐标的情况下,在步骤S104中对于每个R、G和B通道计算一组伽马校正坐标。
在计算一组伽马校正坐标之后,在两维坐标系统上指示所述伽马校正坐标,用线连接相邻的坐标以形成伽马校正曲线,并在显示器上显示伽马校正曲线(S105)。并且,通过图像接口将组成伽马校正曲线的简档的一组伽马校正坐标存储在图像信号处理器的寄存器中(S106)。所存储的一组伽马校正坐标组成伽马校正曲线的简档。
其间,在步骤S104中对于每个R、G和B通道计算一组伽马校正曲线坐标的情况下,在步骤S105中在显示器上显示用于每个R、G和B通道的伽马校正曲线。选择性地,可在显示器上显示用于R、G和B通道的伽马校正曲线的平均。在步骤S106中,可针对每个R、G和B通道,将所存储的一组伽马校正坐标存储在图像信号处理器的寄存器中。
接下来,输入通过应用在寄存器中存储的伽马校正曲线而伽马校正的比色图表图像,并将其显示在显示器上(S107)。当对比色图表图像进行伽马校正时,可以将相同的伽马校正曲线应用于R、G和B通道。替换地,可对于每个R、G和B通道应用单独分配的伽马校正曲线。
在显示已伽马校正的比色图表图像之后,计算用于每个ROI的每个R、G和B通道的亮度分布,并将其连同每个ROI的目标亮度分布显示在显示器上(S108)。这样,用户可通过比较用于每个ROI的每个R、G和B通道的亮度分布和每个ROI的目标亮度分布,来立即检查自动计算的伽马校正曲线的应用效果。
其间,可精巧地调节在步骤S105中自动计算的伽马校正曲线。也就是说,在将伽马校正曲线的简档输出到显示器之后,当用户使用鼠标在水平和垂直方向移动伽马校正坐标所位于的伽马校正曲线的断点时,与移动的断点对应的伽马校正坐标响应于所述移动而改变。并且,实时更新在步骤S106中通过图像接口而存储在寄存器中的伽马校正坐标之中的已移动的伽马校正坐标的坐标值。当更新伽马校正坐标时,几乎实时地改变在步骤S107中通过显示器显示的图像的亮度分布、和在步骤S108中通过显示器显示的每个ROI的每个R、G和B通道的亮度分布以及每个ROI的目标亮度分布。相应地,立即检查按照手动方式的伽马校正坐标的移动效果。在自动计算伽马校正曲线之后,可以以手动方式精巧地调节伽马校正曲线,这导致更准确的伽马校正曲线。
根据本发明的用于自动计算伽马校正曲线的方法可以以计算机命令的形式合并,所述计算机命令可通过各种计算机部件执行并记录在计算机可读介质中。所述计算机可读介质可单独或组合地包含程序命令、数据文件、或者数据结构。记录在计算机可读介质中的程序命令可以被特别设计和配置用于本发明,或者可为计算机程序领域的技术人员所已知。例如,计算机可读介质包括:磁介质,诸如硬盘、软盘、和磁带;光学介质,诸如CD-ROM(致密盘只读存储器)和DVD;磁光介质,诸如光盘;以及被特别配置以存储并执行程序命令的硬件,诸如ROM(只读存储器)、RAM(随机存取存储器)和闪存。计算机可读介质可以是输送指明程序命令或数据结构的信号的传送介质,诸如光缆、金属线、或用于承载载波的波导。例如,程序命令包括由编译器制造的机器语言代码和计算机可使用解释器执行的高级语言代码。硬件可被配置为操作至少一个软件模块以实现本发明,且反之亦然。
图10是根据本发明的用于执行自动计算伽马校正曲线的方法的通用计算机系统的内部框图。
通用计算机系统400包括至少一个处理器410,该处理器410连接到包括RAM 420和ROM 430的主存储单元。处理器410可称为CPU(中央处理单元)。如本领域所公知,ROM 430用于沿着一个方向传送数据和命令到处理器410,并且RAM 420用于沿着双方向传送数据和命令到处理器410。RAM 420和ROM 430可配置为合适的计算机可读介质。大容量存储单元440沿着双方向连接到处理器410,并提供附加的数据存储容量。所述大容量存储单元440可以是上述计算机可读介质的任一个。所述大容量存储单元440用于存储程序或数据,并典型地是比主存储单元慢的辅存储单元,例如硬盘。可使用专用的大容量存储单元,诸如CD-ROM 460。处理器410连接到至少一个输入/输出接口450,例如视频监视器、跟踪球鼠标、键盘、麦克风、触摸屏显示器、读卡器、磁带或纸带读取器、语音或书写识别器、操纵杆或其它公知的计算机输入/输出装置。最后,处理器410可通过网络接口470连接到有线或无线通信网络。上述处理可通过网络连接来执行。上述装置和工具为计算机硬件和软件技术领域的普通技术人员所公知。其间,硬件可通过至少一个软件模块来操作,以执行本发明的操作。
仅描述了几个实现和示例,并且可基于在这个申请中描述和图示的内容作出其他实现、增强和变化。