CN101222575B - 基于图像属性将图像分类的方法和系统 - Google Patents

Abstract

一种基于图像属性将图像分类的方法、介质和系统，具体地说，公开了一种在诸如图像的图像校正中将图像分类为商业图形图像或照片图像的方法、介质和系统。将输入图像分类为商业图形图像或照片图像中的至少一个的系统包括：颜色空间转换单元，将输入图像转换为亮度-饱和度颜色空间的分量；亮度分析单元，计算转换的分量中的亮度分量的亮度频率分布；饱和度分析单元，计算转换的分量中的饱和度分量的平均值；以及图像分类单元，使用计算的亮度频率分布和饱和度分量平均值以及阈值对评估函数进行比较，从而将输入图像分类。

Description

基于图像属性将图像分类的方法和系统

本申请要求2007年1月9日提交到韩国知识产权局的第10-2007-0002595号韩国专利申请的优先权，该申请的公开完全合并于此，以资参考。 

                          技术领域 

本发明的一个或多个实施例涉及图像处理技术，更具体地说，涉及一种在颜色校正(color calibration)中将输入图像分类为商业图形图像和照片图像中的一个的方法、介质和系统。 

                          背景技术 

颜色校正通常被执行用于调整显示装置的输出特征以匹配参考颜色或其他装置的参考颜色，并且在尝试精确显示将被打印的颜色中被广泛使用。例如，由于使用RGB(红、绿和蓝)颜色在监视器上显示颜色，因此通常需要执行这样的颜色校正以通过使用CMYK(青色、品红色、黄色和黑色)墨水的打印机来打印在监视器上显示的图像。基于颜色查找表来执行该颜色校正。 

一般来说，表现颜色的颜色输入/输出装置(诸如监视器、扫描仪、相机、打印机等)根据其各自的应用而使用不同的颜色空间或不同的颜色模型。在彩色图像的情况下，打印装置通常使用CMY或CMYK颜色空间，彩色CRT(阴极射线管)监视器或计算机图形装置可使用RGB颜色空间，处理颜色、饱和度和亮度的装置可使用HIS颜色空间。此外，CIE颜色空间用于定义可以在任何装置上按要求精确显示的所谓装置无关(device independent)颜色。例如，CIEXYZ、CIELab和CIELuv颜色空间可以是这样的装置无关颜色空间。除了不同的颜色空间，每个颜色输入/输出装置还可使用不同的可表现颜色范围，即色域(color gamut)。因此，由于在色域中的这样的潜在差异，相同的彩色图像在不同的颜色输入/输出装置上可能看起来仍不相同。 

CIELab颜色模型基于由CIE(国际照明委员会)提出的作为颜色测量的国际标准的初始颜色模型。CIELab颜色模型是装置无关的。也就是说，无论用于形成或输出图像的装置是什么装置(诸如监视器、打印机和计算机)都  可显示相同的颜色。CIELab颜色模型由发光度(即亮度分量L以及两个色调分量a和b)构成。色调分量a存在于绿色和红色之间，色调分量b存在于蓝色和黄色之间。 

此外，由于最近已经出现Windows Vista^TM，除了现有CIELab颜色空间之外，已经提出了CIECAM02颜色空间作为用于颜色匹配的颜色空间。与CIELab颜色空间相比，CIECAM02颜色空间尝试对人类的视觉特征进行精确建模并反映观察环境。也就是说，在操作系统的现有颜色管理系统(以下，称为“CMS”)中，例如为了显示器和打印机的颜色匹配，用于观察的光源可能被限制到D50。然而，由于Windows Vista^TM支持CIECAM02颜色空间，在这样的操作系统中可以在除了D50光源之外的各种类型的照明(诸如D65光源、F光源和A光源)下比较和观察图像。 

同时，国际颜色协会(ICC；http://www.color.org)也已经提出根据渲染意图的不同色域映射技术的应用。例如，这些渲染意图可包括感知意图、相对比色意图和饱和意图。为了根据图像自适应地应用相对比色意图之外的两种意图，首先，有必要判断图像是商业图形图像还是普通照片图像。当然，在相对比色意图的情况下，可能需要上述判断以获取用于最小化色度的预期的视觉优化图像。 

图1示出通过图像分类单元将给定图像分类为商业图形图像或照片图像并将适当的色域映射技术应用于分类的图像。如图1所示，输入图像可由图像分类单元分类为商业图形图像或照片图像。其后，可通过根据图像分类应用最优色域映射技术来获得具有预期的优化图像质量的输出图像。也就是，可将ICC饱和度色域映射技术应用于分类为商业图形图像的输入图像，并将ICC感知色域映射技术应用于分类为照片图像的输入图像。 

然而，为了通过应用适当的色域映射技术来改善输出图像，需要图像分类单元执行适当的图像分类。因此，需要能够通过从图像信息进行各种分析(诸如亮度分布分析、饱和度分析和边缘分析)对输入图像的特征分类的技术/处理/系统，这将在下面更详细地描述。 

                          发明内容 

本发明的一个或多个实施例的一方面在于提供一种精确地将输入图像分类为商业图形图像或照片图像的方法、介质和系统。 

将在描述中部分地阐述另外的方面和/或优点，部分地，通过描述将是清楚的，或可通过本发明的实践而得知。 

为了实现上述和/或其他方面和优点，本发明的实施例包括将输入图像分类为商业图形图像和照片图像中的至少一个的系统，所述系统包括：亮度分析单元，计算输入图像的亮度分量的亮度频率分布；饱和度分析单元，计算输入图像的饱和度分量中的饱和度分量平均值；以及图像分类单元，根据计算的亮度频率分布、饱和度分量的平均值和阈值，基于评估函数的比较将输入图像分类为商业图形图像和照片图像中的一个，并输出分类的结果。 

为了实现上述和/或其他方面和优点，本发明的实施例包括一种将输入图像分类为商业图形图像和照片图像中的至少一个的方法，所述方法包括：计算输入图像的亮度分量的亮度频率分布；计算输入图像的饱和度分量平均值；以及根据计算的亮度频率分布、饱和度分量的平均值和阈值，基于评估函数的比较将输入图像分类为商业图形图像和照片图像中的一个，并输出分类的结果。 

为了实现上述和/或其他方面和优点，本发明的实施例包括至少一种介质，所述介质包括用于控制至少一个处理部件以实现将输入图像分类为商业图形图像和照片图像中的至少一个的方法的计算机可读代码，所述方法包括：计算输入图像的亮度分量的亮度频率分布；计算输入图像的饱和度分量平均值；以及根据计算的亮度频率分布、饱和度分量的平均值和阈值，基于评估函数的比较将输入图像分类为商业图形图像和照片图像中的一个，并输出分类的结果。 

                        附图说明 

通过下面结合附图对实施例的描述，本发明的上述和/或其他方面将会变得清楚和更容易理解，其中： 

图1示出对输入图像分类以及将色域映射应用于分类的图像； 

图2示出根据本发明实施例的基于图像属性的图像分类系统； 

图3示出根据本发明实施例的将输入图像的RGB数据转换为CIELab颜色空间的数据的处理； 

图4示出根据本发明实施例的将输入图像的RGB数据转换为CIECAM02颜色空间的数据的处理； 

图5示出根据本发明实施例的多层感知器的基本构思；以及 

图6示出根据本发明实施例的基于图像属性对图像分类的方法。 

                       具体实施方式 

现在将详细描述实施例，实施例的示例在附图中示出，其中，相同的标号始终表示相同的部件。为此，本发明的实施例可以以多种不同形式被实现，并且不应被理解为限制于在此阐述的实施例。因此，以下通过参照附图描述实施例仅用于解释本发明的各方面。 

图2示出根据本发明实施例的基于图像属性的图像分类系统100。例如，图像分类系统100可包括：颜色空间转换单元105、亮度分析单元110、饱和度分析单元120、边缘分析单元130和图像分类单元140。 

例如，颜色空间转换单元105可将输入图像的RGB数据转换为由亮度和饱和度分量构成的颜色空间。在实施例中，可将上述CIELab或CIECAM02颜色空间作为颜色空间的示例。 

图3示出将输入图像的RGB数据转换为CIELab颜色空间的数据的处理。RGB数据通常不能直接转换为Lab数据，并且通常需要进行XYZ数据(关于CIEXYZ颜色空间的数据)的转换处理。也就是说，将RGB数据转换为Lab数据的转换处理可包括在操作S31将RGB数据转换为XYZ数据的转换以及在操作S32将XYZ数据转换为Lab数据。这里，例如可通过测量将由色度装置显示的RGB斑点来执行操作S31，从而获取XYZ数据。或者，在操作S31，可通过sRGB模型将RGB数据转换为XYZ数据，注意任一选择都是可行的。在“Color Management Default RGB Color Space sRGB”(IECTC-100，IEC 61966-2-1，1999)中进一步描述了这种技术的细节。这里，RGB数据被转换为rR、rG和rB分量，并随后通过特定转换矩阵转换为XYZ数据。 

在操作S32，例如可根据以下等式1将XYZ数据转换为Lab数据： 

等式1 

                 L＝116×f(Y/Y_n)-16 

                 a＝500[(X/X_n)^1/3-(X/Y_n)^1/3] 

                 b＝200[(Y/Y_n)^1/3-(Z/Z_n)^1/3] 

                 if，f(α)＞0.008856，f(α)＝α³

                 else，f(α)＝7.787α+16/116 

这里，参考符号L表示亮度，参考符号a表示红绿色(红色和绿色之间的颜色)，参考符号b表示黄蓝色(蓝色和黄色之间的颜色)。 

同时，图4示出将输入图像的RGB数据转换为CIECAM02颜色空间的数据(JCh数据)的处理。该处理包括：在操作S31，将输入图像的RGB数据转换为XYZ数据；在操作S41，将XYZ数据转换为JCh数据。在JCh数据中，参考符号J表示亮度，参考符号C表示饱和度，参考符号h表示颜色。这里，操作S31可以与图3中示出的S31相同或相似。然而，在操作S41，可使用在“The CIECAM02 Color Appearance Model”(Nathan Moroney，MarkFairchild，Robert Hunt，Changjun Li，Ronnier Luo and Todd Newman，IS&T/SID10^th Color Imaging Conference)中描述的技术。将XYZ数据转换为Jch数据的步骤包括使用参考白色的CIEXYZ、参考条件下的参考白色、适应字段的照片亮度、背景亮度因素、周围参数和背景参数。 

再次参照图2，例如，颜色空间转换单元105可将亮度-饱和度空间的转换的数据(例如Lab数据或Jch数据)提供给亮度分析单元110、饱和度分析单元120和边缘分析单元130。 

例如，亮度分析单元110可使用从颜色空间转换单元105提供的亮度分量来计算输入图像的亮度频率分布(以下称为“LFD”)。LFD是指示亮度分量如何连续分布在整个范围中的指标(index)。例如，可使用下面的等式2计算这样的LFD： 

等式2 

$\mathrm{LFD}=\frac{\mathrm{\Σ}{(\mathrm{num}\_L_i-\mathrm{num}\_L_{i+1})}^2}{\mathrm{\Σ}{(\mathrm{num}\_L_i)}^2}$

这里，参考符号L_i表示Lab图像的第i个亮度分量，参考符号num_L_i 表示参考符号L_i的频率。当假设i在0到N的范围内，L₀与最暗的亮度分量值对应，L_N与最亮的亮度分量值对应。根据等式2，相似(相邻)亮度分量L_i和L_i+1之间的出现频率越相似，LFD变得越小。否则，LFD增加。也就是说，LFD在普通照片图像中相对较小而在商业图形图像中相对较大。 

饱和度分析单元120可计算例如从颜色空间转换单元105提供的饱和度分量的平均值Avg_C。例如，该平均值与Lab图像中的所有像素的饱和度的平均值或从Lab图像采样的图像的像素的饱和度的平均值对应。例如，通常可通过以下的等式3计算Lab图像的饱和度： 

等式3 

$C=\sqrt{a^2+b^2}$

一般来说，照片图像的饱和度分量的平均值Avg_C高于商业图形图像的饱和度分量的平均值。因此，例如可使用饱和度分量来评估输入图像的特征。 

边缘分析单元130可计算例如从颜色空间转换单元105提供的亮度分量的频率分布。具体地说，例如，边缘分析单元130可使用从颜色空间转换单元105提供的亮度分量来计算输入图像的傅立叶频率分布(以下称为“FFD”)。这里，例如所述频率分布与通过对亮度分量表示的图像执行频率变换(例如，余弦变换)获得的图像的分布对应。一般来说，在商业图形图像中存在相对较多的高频分量而在照片图像中存在相对较多的低频分量。因此，在通过对输入图像执行频率变换而获得的频率分布中，照片图像通常显示包括低频分量的各种频率分量，但是商业图形图像通常主要显示高频分量。 

例如，可通过下面的等式4计算对上述属性分类的FFD： 

等式4 

$\mathrm{FFD}=\frac{\mathrm{\Σ}{(\mathrm{num}\_A_i-\mathrm{num}\_A_{i+1})}^2}{\mathrm{\Σ}{(\mathrm{num}\_A_i)}^2}$

这里，参考符号A_i表示Lab图像的第i个频率分量(例如，关于L的频率分量)，参考符号num_A_i表示A_i的频率。当假设i在0到M的范围内时，A₀与最低频率分量值对应，A_M与最高频率分量值对应。根据等式4，相似(相邻)频率分量A_i和A_i+1之间的出现频率越相似，FFD变得越小。否则，FFD变得较大。因此，当输入图像是照片图像时，FFD通常变得相对较小，当输入图像是商业图形图像时，FFD变得相对较大。 

在实施例中，图像分类单元140可将计算的LFD、平均值Avg_C和FFD与预定阈值进行比较，以最终判断应将输入图像分类为商业图形图像或是照片图像中的哪一个。然而，例如如果为三个参数对应地设置阈值，则可执行不同的判断。例如，通过三个参数，可要求组合所述三个参数并设置一个阈值。为此，在实施例中，例如图像分类单元140可使用神经网络算法计算一个包括三个参数的评估函数，并对评估函数设置一个阈值。因此，在此示例中，图像分类单元140可通过判断评估函数是否超过或达到阈值来将输入图像分类为商业图形图像或照片图像中的一个。 

多层感知器神经网络是不同的神经网络算法中最广泛使用的神经网络算  法，并且至少可以在本发明实施例中类似地使用。这里，图5示出多层感知器的基本构思。如所示，输入矢量具有n个参数x₁至x_n以及作为偏置项的动量常数(例如定义为1)。然后各个输入值乘以加权w_i并通过加法器51相加。然后例如可应用简单函数f(x)52。该简单函数可被称为执行函数或评估函数。 

例如，通过上述处理计算的结果神经元y可通过下面的等式5表示： 

等式5 

             y＝f(w₀+x₁*w₁+...+x_n*w_n) 

与本发明的此实施例相似，如果使用三个参数LFD、Avg_C和FFD，则n＝3，x₁至x₃分别对应于LFD、Avg_C和FFD。此外，例如可通过各种方式(诸如在下面的等式6中示出的sigmoid函数)来定义等式5的评估函数f(x)： 

等式6 

                 f(u)＝1/(1+e^-u) 

因此，可通过调整加权关于多个输入图像训练多层感知器神经网络。在这样的训练中，例如可将神经网络的输出与期望的输出、用于调整加权的两个信号之间的差以及由学习速率控制的调整比率进行比较。 

可存在通过学习收敛的评估函数，例如，在0和1之间。例如如果用户指定0作为照片图像，指定1作为商业图形图像，则可使用0.5作为关于评估函数的阈值对输入图像进行分类。也就是说，例如如果收敛的评估函数等于或小于0.5，则输入图像可被分类为照片图像，而又例如如果收敛的评估函数大于0.5，则输入图像可被分类为商业图形图像。 

图6示出根据本发明实施例的基于图像属性对图像分类的方法。 

例如，在操作S61，可通过颜色空间转换单元105将输入RGB图像转换为亮度-饱和度颜色空间的分量。这里，例如亮度-饱和度颜色空间与可以表示亮度和饱和度的颜色空间(诸如CIELab颜色空间或CIECAM02颜色空间)对应，注意另外的颜色空间同样可行。 

在操作S62，例如，可通过亮度分析单元110计算由颜色空间转换单元105转换的分量中亮度分量的亮度频率分布分量。此时，如上面相关的等式2所述，可使用相邻亮度分量之间的频率差来计算亮度频率分布。 

此外，在操作S63，例如可通过饱和度分析单元120计算由颜色空间转换单元105转换的分量中的饱和度分量的平均值。在实施例中，当输入RGB图像被转换为CIELab颜色空间时，例如可根据等式3找出饱和度。 

在操作S64，例如还可通过边缘分析单元130计算由颜色空间转换单元105转换的分量中的亮度分量的频率分布。具体地说，在实施例中，例如可将转换的分量中的亮度分量转换为频率区，并且如上面相关的等式4所述，可计算频率区中的相邻频率分量之间的频率差。 

例如，在操作S65，还可通过图像分类单元140使用计算的亮度频率分布、饱和度分量的平均值和频率分布来计算评估函数。在实施例中，为了计算评估函数，可应用神经网络算法。此外，在操作S66，可判断评估函数是否超过或达到预定阈值，从而在操作S67将输入图像分类为商业图形图像，或者在操作S68分类为照片图像。 

例如，此前的图2的每个部件可通过可以在存储器的预定区域执行的软件部件(诸如任务、类、子程序、进程、对象、执行线程或程序)、硬件部件(诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))或软件和/或硬件部件的组合来实现。 

另外，示例流程图的每个方框可表示包括一个或多个能够实现特定逻辑功能的可执行指令的模块、分段或部分代码。还应注意在一些可选的实现方式中，在方框中提到的操作可不按顺序出现。例如，根据有关的操作，连续显示的两个方框实际上可被同时执行和/或所述方框有时可按照相反顺序被执行。 

考虑到此，除了上述实施例之外，还可通过介质(例如计算机可读介质)中/上的计算机可读代码/指令来实现本发明的实施例，以控制至少一个处理组件来实现任意的上述实施例。所述介质可对应于任意允许存储和/或传输计算机可读代码的介质，并且实际上可以是至少一个处理组件。所述介质还可是系统实施例的示例。 

计算机可读代码能够以各种方式被记录/传送到介质上，介质的示例包括：诸如磁存储介质的记录介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)和传输介质(诸如介质承载或包括载波的介质)，以及互联网组件。因此，根据本发明的实施例，介质可以是包括或承载信号或信息的限定的并且可测量的结构，诸如承载比特流的装置。介质还可以是分布式网络，从而以分布的方式存储/传送以及执行计算机可读代码。另外，仅作为示例，处理组件可包括处理器或计算机处理器，并且处理组件可分布和/或包括在单个装置中。 

根据本发明的一个或多个实施例，可通过从图像信息进行亮度分布、饱和度和边缘分析将给定的图像自动分类为商业图形图像和照片图像中的一个。此外，所述分类可作为输出装置/系统(诸如打印机等)的集成部分应用于图像处理技术或优化颜色再现(例如，上述系统可以是打印机)。在一个实施例中，在实验中发现可能更优选的是在系统中包括亮度分布分析和饱和度分析，并且如果需要，可选择性地增加边缘分析。 

虽然已经参照本发明的不同实施例具体地示出和描述了本发明，但是应理解这些示例性实施例应被认为是描述性的，并不是作为限制目的。缩小或扩大在一个实施例中的一方面的功能或性能不应被认为是对不同实施例中的相似特征的对应扩大或缩小，即，每个实施例的特征或各方面的描述应通常被认为是对于其余实施例的其他相似特征或方面也是可行的。 

因此，虽然已经示出和描述了若干实施例，但是本领域的技术人员将理解，在不脱离本发明的原理和精神的情况下，可以对这些实施例做出改变，本发明的范围在权利要求及其等同物中限定。 

Claims (12)

1.一种将输入图像分类为商业图形图像和照片图像中的至少一个的系统，所述系统包括：

亮度分析单元，计算输入图像的亮度分量的亮度分量的出现频率的分布；

饱和度分析单元，计算输入图像的饱和度分量中的饱和度分量平均值；以及

图像分类单元，根据计算的亮度分量的出现频率的分布和饱和度分量平均值以及阈值，基于评估函数的比较将输入图像分类为商业图形图像和照片图像中的一个，并输出分类的结果，

其中，亮度分析单元计算输入图像中亮度值相邻的亮度分量的出现频率之差来计算亮度分量的出现频率的分布，

其中，图像分类单元通过应用神经网络算法来识别评估函数。

2.如权利要求1所述的系统，还包括：颜色空间转换单元，将输入图像转换为亮度-饱和度颜色空间的分量，以至少产生输入图像的亮度分量和输入图像的饱和度分量。

3.如权利要求1所述的系统，还包括：边缘分析单元，计算输入图像的亮度分量的频率分布，并且

其中，图像分类单元将输入图像分类的步骤还基于计算的频率分布，

其中，边缘分析单元将输入图像的亮度分量转换为频率区域，并计算所述频率区域中的频率值相邻的频率分量之间的频率差来计算亮度分量的频率分布。

4.如权利要求1所述的系统，其中，输入图像是RGB图像。

5.如权利要求4所述的系统，其中，通过将RGB图像转换到亮度-饱和度颜色空间得到输入图像的亮度分量和输入图像的饱和度分量，所述亮度-饱和度颜色空间是CIELab颜色空间或CIECAM02颜色空间。

6.如权利要求1所述的系统，其中，基于通过将CIELab颜色空间的Lab数据的“a”分量的平方以及“b”分量的平方相加所得的值的平方根来计算输入图像的饱和度分量。

7.一种将输入图像分类为商业图形图像和照片图像中的至少一个的方法，所述方法包括：

计算输入图像的亮度分量的亮度分量的出现频率的分布；

计算输入图像的饱和度分量平均值；以及

根据计算的亮度分量的出现频率的分布和饱和度分量平均值以及阈值，基于评估函数的比较将输入图像分类为商业图形图像和照片图像中的一个，并输出分类的结果，

其中，计算亮度分量的出现频率的分布的步骤包括：计算输入图像中亮度值相邻的亮度分量的出现频率之差来计算亮度分量的出现频率的分布，

其中，在将输入图像分类的步骤中，通过应用神经网络算法来识别评估函数。

8.如权利要求7所述的方法，还包括：将输入图像转换为亮度-饱和度颜色空间的分量，以至少产生输入图像的亮度分量和输入图像的饱和度分量。

9.如权利要求7所述的方法，还包括：计算输入图像的亮度分量的频率分布，并且

其中，将输入图像分类的步骤还基于计算的频率分布，

其中，计算频率分布的步骤包括：

将输入图像的亮度分量转换为频率区域，以及

计算所述频率区域中的频率值相邻的频率分量之间的频率差来计算亮度分量的频率分布。

10.如权利要求7所述的方法，其中，输入图像是RGB图像。

11.如权利要求10所述的方法，其中，通过将RGB图像转换到亮度-饱和度颜色空间得到输入图像的亮度分量和输入图像的饱和度分量，所述亮度-饱和度颜色空间是CIELab颜色空间或CIECAM02颜色空间。

12.如权利要求7所述的方法，其中，基于通过将CIELab颜色空间的Lab数据的“a”分量的平方以及“b”分量的平方相加所得的值的平方根来计算输入图像的饱和度分量。

Images