CN102223480B - 图像处理装置及图像处理方法 - Google Patents

Abstract

一种图像处理装置及图像处理方法。上述图像处理装置具有：取得部，取得处理对象的图像数据；灰度转换处理部，根据输入输出特性对图像数据进行灰度转换处理，上述输入输出特性具有在灰度的中间部加入降低对比度的特性而得到的特性；以及校正部，使用强调程度对应处理对象的像素亮度信息而变化的增益曲线，对实施灰度转换处理后的图像数据进行强调局部对比度的校正，上述局部对比度表示图像的局部的对比度；由此，保持视觉上的对比度，并在抑制色相及色度变化的同时，改善亮部灰度及暗部灰度。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种对处理对象的图像数据实施图像处理的图像处理装置及图像处理方法。

背景技术

在将通过电子相机等摄像装置生成的图像数据输出到CRT监视器、打印机等输出设备时，为使视觉良好，进行利用了和输出设备对应的灰度曲线的灰度转换处理。如不进行这种灰度转换处理，则因输出设备的耀斑、黑圈、外光反射等，视觉变得不佳。在灰度转换处理中，除了和输出设备对应的灰度曲线，还使用所谓S字型的灰度曲线。用该S字型灰度曲线调整对比度，从而在输出设备中获得鲜明的输出图像(例如日本特开2004-222076号公报)。

并且，为使视觉良好，还进行加强鲜明化的轮廓强调处理。轮廓强调处理包括以下方法：将高频成分相加到原来的图像数据，从而强调轮廓的方法；使用所谓轮廓强调滤波器强调轮廓的方法等(例如日本特许第3512581号)。

在上述日本特开2004-222076号公报的发明的灰度转换处理中，可强调对比度，但存在亮部强调的对比度降低、及暗部灰度变暗的情况。并且，对各R、G、B值进行利用了S字型曲线的灰度转换处理时，存在亮部灰度、中间部灰度、暗部灰度各自的色相、色度变化的问题。

进一步，在上述日本特许第3512581号发明的轮廓强调处理中，以较大半径进行轮廓强调处理时，存在色度的变化变得明显、或亮部灰度易产生飞白的问题。

发明内容

鉴于上述现有技术中存在的问题，本发明的目的在于，进行如下图像处理：能够保持视觉上的对比度，并抑制色相及色度变化，改善亮部灰度及暗部灰度。

为解决上述课题，本发明的一种图像处理装置，具有：取得部，取得处理对象的图像数据；灰度转换处理部，根据输入输出特性对上述图像数据进行灰度转换处理，上述输入输出特性具有在灰度的中间部加入降低对比度的特性而得到的特性；以及校正部，使用强调程度根据处理对象的像素的亮度信息而变化的增益曲线，对实施上述灰度转换处理后的上述图像数据进行强调局部对比度的校正，上述局部对比度表示图像的局部的对比度。

并且，上述校正部也可以根据上述图像数据生成模糊图像的图像数据，并使用上述增益曲线进行上述校正，上述增益曲线为如下的增益曲线：当表示上述图像数据中的亮度值与上述模糊图像的图像数据中的亮度值之差的值是正值时，与表示上述差的值是负值时相比，减小上述强调程度。

并且，上述校正部也可以根据上述图像数据生成模糊图像的图像数据，并使用上述增益曲线进行上述校正，上述增益曲线为如下的增益曲线：表示上述图像数据中的亮度值与上述模糊图像的图像数据中的亮度值之差的值越大，则越减小上述强调程度。

并且，上述校正部也可以根据上述图像数据生成模糊图像的图像数据，并使用上述增益曲线进行上述校正，上述增益曲线为如下的增益曲线：表示上述图像数据中的亮度值与上述模糊图像的图像数据中的亮度值之差的值越小，则越增大上述强调程度。

并且，上述输入输出特性也可以由具有通常特性的灰度曲线及具有降低上述对比度的特性的灰度曲线定义，或由向上述通常特性中加入降低上述对比度的特性而得到的一个灰度曲线定义。

并且，将上述发明所涉及的结构转换为对处理对象的图像数据进行图像处理的图像处理方法时，作为本发明的具体方式也是有效的。

根据本发明，能够进行如下的图像处理：能够保持视觉上的对比度，并抑制色相及色度变化，改善亮部灰度及暗部灰度。

附图说明

图1是表示第1实施方式的电子相机1的结构的图。

图2是第1实施方式的电子相机1的功能框图。

图3是表示第1实施方式的电子相机1拍摄时的动作的流程图。

图4是说明灰度曲线的图。

图5是说明灰度曲线的其他图。

图6是说明低通滤波器的图。

图7是说明γ曲线的图。

图8是对确定γ曲线进行说明的图。

图9是说明灰度曲线的其他图。

图10是表示第2实施方式的电子相机1拍摄时的动作的流程图。

图11是说明灰度曲线的其他图。

具体实施方式

(第1实施方式)

以下参照附图说明本发明的第1实施方式。在第1实施方式中，以应用了本发明的图像处理装置的单镜头反光型的电子相机为例进行说明。

图1是表示第1实施方式的电子相机1的结构的图。如图1所示，电子相机1具有：拍摄透镜2、光圈3、快速复位反光镜4、副反光镜5、漫射屏6、聚光透镜7、五棱镜8、分光镜9、目镜10、成像透镜11、测光传感器12、快门13、摄像元件14、焦点检测部15。

测光传感器12例如是五分割的测光传感器。摄像元件14例如是CCD(ChargeCoupledDevice：电荷耦合器件)、CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)等半导体装置。焦点检测部15例如进行相位差方式的焦点检测，检测出拍摄透镜2的焦点状态。并且，电子相机1根据测光传感器12检测出的亮度，进行对比度方式的焦点检测，检测出拍摄透镜2的焦点状态。

并且，电子相机1还具有：显示通过摄像生成的图像等的液晶监视器等监视器16、控制各部件的控制部17。控制部17内部具有未图示的存储器，预先存储用于控制各部件的程序。

在非拍摄时、即不进行拍摄时，快速复位反光镜4如图1所示配置为45度角。并且，通过了拍摄透镜2及光圈3的光束被快速复位反光镜4反射，通过漫射屏6、聚光透镜7、五棱镜8、分光镜9被引导到目镜10。用户通过目镜10目视被摄体的图像，进行构图确认。而通过分光镜9分离到上方的光束，通过成像透镜11在测光传感器12的摄像面上再成像。并且，透过了快速复位反光镜4的光束通过副反光镜5被引导到焦点检测部15。

而当拍摄时，快速复位反光镜4退避到虚线所示的位置而打开快门13，来自拍摄透镜2的光束被引导到摄像元件14。

图2是第1实施方式的电子相机1的功能框图。如图2所示，电子相机1除了图1的结构外，还具有定时发生器20、信号处理部21、A/D转换部22、缓存23、总线24、卡接口25、压缩解压部26、图像显示部27。定时发生器20向摄像元件14提供输出脉冲。并且，有摄像元件14生成的图像数据通过信号处理部21(包括和摄像灵敏度对应的增益调整部)及A/D转换部22，暂时存储到缓存23。缓存23连接到总线24。该总线24上连接有卡接口25、图1中说明的控制部17、压缩解压部26及图像显示部27。卡接口25与可自由装卸的存储卡28连接，将图像数据存储到存储卡28。并且，控制部17上连接有电子相机1的开关组29(包括未图示的释放键等)、定时发生器20及测光传感器12。进一步，图像显示部27在设置在电子相机1背面的监视器16上显示图像等。

参照图3所示的流程图说明以上说明的结构的电子相机1在拍摄时的动作。

在步骤S1中，控制部17判断是否由用户通过开关组29指示了开始拍摄。并且，控制部17在判断为指示了开始拍摄时，前进到步骤S2。

在步骤S2中，控制部17控制各部件，通过摄像元件14拍摄被摄体图像而生成图像数据。通过摄像元件14生成的图像数据通过信号处理部21及A/D转换部22暂时存储到缓存23。

在步骤S3中，控制部17从缓存23读出图像数据，进行通常的图像处理。通常的图像处理是指，白平衡调整、内插处理、色调校正处理等。各处理的具体方法和公知技术一样，因此省略说明。

在步骤S4中，控制部17选择灰度曲线G1。灰度曲线G1用于在下述步骤S5中进行的灰度转换处理，是使与CRT等输出设备对应的灰度曲线具有公知的S字型特性而得到的灰度曲线。控制部17将图4及图5所示的两种灰度曲线(G1、G2)预先存储到内部的未图示的存储器。

在步骤S5中，控制部17根据步骤S4中选择的灰度曲线G1，对在步骤S3中实施了图像处理的图像数据进行灰度转换处理。灰度转换处理的详情和公知技术一样，因此省略说明。

在步骤S6中，控制部17选择灰度曲线G2。灰度曲线G2如图5所示，和1∶1的输入输出(参照图5的虚线)相比，具有在灰度的中间部降低对比度的特性。

在步骤S7中，控制部17根据在步骤S6中选择的灰度曲线G2，对在步骤S5中实施了第一次灰度转换处理的图像数据进行第二次灰度转换处理。灰度转换处理的详情与公知技术相同，因此省略说明。此外，根据上述灰度曲线G2进行灰度转换处理，从而在灰度的中间部，灰度柔和化。

在步骤S8中，控制部17对在步骤S7中进行了第二次灰度转换处理而得到的图像数据进行局部的对比度强调处理。局部对比度是指图像的局部区域的对比度。

各像素R(x，y)、G(x，y)、B(x，y)的局部对比度强调运算通过下式1至6进行。

Y[x，y]＝kr·R[x，y]+kg·G[x，y]+kb·B[x，y]…(式1)

$\mathrm{Ylp}[x,y]=\underset{i=-d}{\overset{d}{\mathrm{\Σ}}}\underset{j=-d}{\overset{d}{\mathrm{\Σ}}}\left(Y\right[x+i,y+j]\·\mathrm{Lpw}\left({(i^2+j^2)}^{1/2}\right))\·\·\·$ (式2)

gain[x，y]＝GLUT·(Y[x，y]-Ylp[x，y])…(式3)

Rc[x，y]＝gain[x，y]·R[x，y]…(式4)

Gc[x，y]＝gain[x，y]·G[x，y]…(式5)

Bc[x，y]＝gain[x，y]·B[x，y]…(式6)

公式1中的Y表示关注像素的亮度值。并且，公式1中的kr、kg、kb是预定的系数。公式2中的Lpw是关注像素周边的低通滤波器，该低通滤波器具有图6所示的特性。该低通滤波器是半峰宽(图6中的d)为图像短边的1/100以上的较大宽度的低通滤波器。因此，公式2中的Ylp相当于对亮度值Y实施了低通处理的低通值，因此Ylp的集合表示亮度图像的模糊图像。并且，公式3的gain是强调运算时的增益，公式3中的GLUT是强调运算时使用的增益曲线。

增益曲线GLUT如图7所示，是强调运算时的强调程度根据(Y[x，y]-Ylp[x，y])的值而不同的增益曲线。并且，当(Y[x，y]-Ylp[x，y])的值是正值时(关注像素比周围像素亮时)，提高增益而强调亮度。而当(Y[x，y]-Ylp[x，y])的值是负值时(关注像素比周围像素暗时)，降低增益而强调暗度。即，增益曲线GLUT具有以下特性：关注像素比周围像素亮时，通过公式3进一步强调亮度，当关注像素比周围像素暗时，通过公式3强调暗度。

此外，图7所示的增益曲线GLUT只是一例，本发明不限于该例。与作为直线增益的图7中的G0相比，只要关注像素比周围像素亮时的强调程度小，则可以是任意形状。例如，也可以不是曲线而是直线。并且，关注像素比周围像素暗时，可以是任意形状。例如，和图7的例子相反，和作为直线增益的图7中的G0相比，关注像素比周围像素暗时的强调程度小也可。

并且，增益曲线GLUT被规定为，在(Y[x，y]-Ylp[x，y])的值是正值时，和(Y[x，y]-Ylp[x，y])是负值时相比，强调程度小。一般情况下，亮部中的灰度饱和时，产生飞白。因此在亮部处，如上所述，通过降低强调程度，可防止飞白变得明显。

如步骤S7所述，根据灰度曲线G2进行灰度转换处理，从而使灰度柔和化，因此通过适当设定增益曲线GLUT，可调整局部的对比度，保持视觉上的对比度。增益曲线GLUT可以是固定的增益曲线，也可以是变动的增益曲线。

例如，控制部17也可以是根据拍摄模式(例如“肖像模式”、“风景模式”等)确定增益曲线GLUT。例如，在肖像模式中，大多不希望亮部灰度的飞白、暗部灰度的黑点。因此，控制部17在肖像模式中确定在亮部及暗部两者中强调程度均较小的增益曲线GLUT。并且在风景模式中，大多希望鲜明的图像。因此控制部17在风景模式中确定在亮部及暗部两者中强调程度均较大的增益曲线GLUT。

进一步，控制部17也可以是根据图像的对比度的强弱确定增益曲线GLUT的结构，也可以是根据图像的调整模式来确定增益曲线GLUT的结构。并且，也可以是根据现场分析、脸部识别的图像判断结果来确定增益曲线GLUT的结构。这样，通过适当进行增益曲线GLUT的确定，可进行最适于图像的灰度转换处理及局部对比度强调处理。

并且，控制部17可根据通过开关组29进行的用户操作来确定增益曲线GLUT。例如，控制部17在图像显示部27上显示图8所示的指定图像处理时的特性的指定画面。用户通过开关组29移动滑动条而指定图像处理时的特性。在图8的例子中，使用了“硬质”或“自然”的词语，但只是一例，只要是表示与上述增益曲线GLUT对应的图像处理时的特性的词语即可。并且，控制部17根据由用户指定的图像处理时的特性确定增益曲线GLUT。例如在图8的例子中，确定用户指定的特性越接近“自然”、则整体的强调程度越小的增益曲线GLUT，并确定用户指定的特性越接近“硬质”、则整体的强调程度越大的增益曲线GLUT。此外，用户指定图像处理时的特性时，如图8的示例所示，也可以设置预览画面，并由用户确认和指定的特性对应的图像处理的结果。

并且，控制部17也可以将在步骤S6中说明的灰度曲线G2及增益曲线GLUT建立关联来确定。例如如图9所示，准备好S字型特性不同的多个灰度曲线G2a～G2c，在步骤S6中，可选择任意一个灰度曲线。并且，也可根据选择的灰度曲线的特性，确定增益曲线GLUT。即，可根据步骤S7中的灰度转换处理下的柔和化的程度，确定步骤S8中的局部对比度强调处理的程度。

并且，关于在步骤S6中说明的灰度曲线G2及在步骤S8中说明的增益曲线GLUT，控制部17可分别从预先存储的多个曲线中选择任意一个曲线而使用，也可适当调整灰度曲线及增益曲线后使用。

在步骤S9中，控制部17将在步骤S8中进行了局部对比度强调处理而得到的图像数据通过卡接口25存储到存储卡28中，结束一系列的处理。此外，在将图像数据存储到存储卡28之前，可通过压缩解压部26根据需要进行图像压缩处理(JPEG压缩处理等)。

如上所述，根据第1实施方式，根据输入输出特性，对图像数据进行灰度转换处理，上述输入输出特性具有在灰度的中间部加入了降低对比度的特性而得到的特性，使用强调程度根据处理对象的像素的亮度信息而变化的增益曲线，对实施灰度转换处理而得到的图像数据进行强调局部对比度的校正，上述局部对比度表示图像的局部的对比度。因此，可保持对比度，并抑制色相及色度变化，并且改善亮部灰度及暗部灰度。

并且，第1实施方式中说明的局部对比度强调处理可通过改良一直广泛使用的轮廓强调处理的算法来容易地实现。

并且，根据第1实施方式，使用图6示例的半峰宽(图6中的d)为图像短边的1/100以上的较大宽度的低通滤波器来进行强调局部对比度的校正，因此可根据中频成分进行校正。该校正与通常的按照各像素进行的边沿强调等基于超高频成分的校正不同，校正局部对比度而保持对比度，并且可改善亮部灰度及暗部灰度，之所以可获得这种效果，是因为在人的视觉中，感知对比度是局部的。

(第2实施方式)

以下参照附图说明本发明的第2实施方式。第2实施方式是第1实施方式的变形例，因此仅说明和第1实施方式不同的部分。

第2实施方式的电子相机的结构和第1实施方式的电子相机1相同。因此以下采用和第1实施方式相同的标号进行说明。

图10的流程图表示第2实施方式的电子相机1进行拍摄时的动作。

在步骤S21到步骤S23中，控制部17进行和图3的流程图的步骤S1到步骤S3相同的处理。

并且，在步骤S24中，控制部17选择灰度曲线G3。灰度曲线G3如图11所示，是兼具参照图3的流程图说明的灰度曲线G1的特性和灰度曲线G2的特性的灰度曲线。

在步骤S25中，控制部17根据在步骤S24中选择的灰度曲线G3，对在步骤S23中进行了图像处理的图像数据进行灰度转换处理。即，控制部17使用对通常特性(相当于G1)加入了降低对比度的特性(相当于G2)而得到的一个灰度曲线，仅进行一次灰度转换处理。

在步骤S26到步骤S27中，控制部17进行和图3的流程图的步骤S8到步骤S9同样的处理。通过该结构，可获得和第1实施方式相同的效果。

并且在上述各实施方式中，说明了在电子相机1中实现本发明的技术的例子。但本发明不限于此。例如本发明同样适用于小型电子相机、进行动态图像拍摄的摄像机等。

并且，通过计算机和图像处理程序，也可用软件实现上述各实施方式中说明的图像处理装置。此时，只要是用计算机实现在图3的流程图中说明的步骤S4之后的处理的一部分或全部的结构即可。或者，也可以是用计算机实现在图10的流程图中说明的步骤S24之后的处理的一部分或全部的结构。此外，该图像处理程序可存储到介质中，也可通过因特网等从服务器下载。

并且，处理对象的图像是在上述各实施方式中说明的利用了灰度曲线G1的灰度转换处理后的图像时，也可同样适用本发明。此时，只要是用计算机实现在图3的流程图中说明的步骤S6之后的处理的一部分或全部的结构即可。或者，也可以是用计算机实现在图10的流程图中说明的步骤S24之后的处理的一部分或全部的结构。

此外，本发明在不脱离其精神或主要特征的前提下可通过其他各种方式实施。因此，上述实施例从各方面而言仅是示例，不作限定性解释。本发明的范围如权利要求的范围所示，不受说明书正文的任何限制。进一步，属于权利要求范围的同等范围的变形、变更均在本发明的范围内。

Claims (6)

1.一种图像处理装置，其特征在于，具有：

取得部，取得处理对象的图像数据；

灰度转换处理部，对由上述取得部取得的上述图像数据进行在灰度的中间部降低对比度的灰度转换处理；

低通处理部，对由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据进行低通处理；以及

校正部，使用增益曲线对由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据进行校正，上述增益曲线为如下的增益曲线：当由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理部进行了上述低通处理而得到的上述图像数据的亮度值之差为正时，与由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理部进行了上述低通处理而得到的上述图像数据的亮度值之差为负时相比，强调程度较小。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述校正部对由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据，使用上述增益曲线进行校正，其中，上述增益曲线为如下的增益曲线：由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理部进行了上述低通处理而得到的上述图像数据的亮度值之差越大，则上述强调程度越小。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述校正部对由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据，使用上述增益曲线进行校正，其中，上述增益曲线为如下的增益曲线：由上述灰度转换处理部进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理部进行了上述低通处理而得到的上述图像数据的亮度值之差越小，则上述强调程度越大。

4.一种图像处理方法，其特征在于，具有：

取得步骤，取得处理对象的图像数据；

灰度转换处理步骤，对由上述取得步骤取得的上述图像数据进行在灰度的中间部降低对比度的灰度转换处理；

低通处理步骤，对由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据进行低通处理；以及

校正步骤，使用增益曲线，对由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据进行校正，上述增益曲线为如下的增益曲线：当由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理步骤进行了上述低通处理而得到的上述图像数据的亮度值之差为正时，与由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理步骤进行了上述低通处理而得到的上述图像数据的亮度值之差为负时相比，强调程度较小。

5.根据权利要求4所述的图像处理方法，其特征在于，

在上述校正步骤中，对由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据，使用上述增益曲线进行校正，其中，上述增益曲线为如下的增益曲线：由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理步骤进行了上述低通处理而得到的上述图像数据的亮度值之差的值越大，则上述强调程度越小。

6.根据权利要求4所述的图像处理方法，其特征在于，

在上述校正步骤中，对由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据，使用上述增益曲线进行校正，其中，上述增益曲线为如下的增益曲线：由上述灰度转换处理步骤进行了上述灰度转换处理而得到的上述图像数据的亮度值与由上述低通处理步骤进行了上述低通处理而得到的上述图像数据的亮度值之差的值越小，则上述强调程度越大。