CN102053804B - 图像处理装置及控制方法 - Google Patents

Abstract

本发明提供图像处理装置及控制方法。所述图像处理装置执行用于对划分图像数据应用模糊处理、并将经历了所述模糊处理的划分图像进行合成的处理，所述图像处理装置包括：图像边界外估计单元，其针对所述划分图像数据当中的、经历所述模糊处理的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；以及模糊化图像生成单元，其通过在参照所述第一图像数据、所述第二图像数据、以及由所述图像边界外估计单元估计出的估计像素的同时，使用滤波器针对所述第一图像数据执行所述模糊处理，来生成针对所述第一图像数据的模糊化图像数据。

Description

图像处理装置及控制方法

技术领域

本发明涉及图像处理装置及控制方法。更具体地说，本发明涉及即使在将一个摄影图像划分成多个区域的情况下也能够生成具有期望的模糊化效果的模糊化图像的图像处理装置及图像处理方法。

背景技术

近来，诸如数码相机和扫描仪等的数字图像拍摄设备变得普及，并且照片作为电子数据被频繁载入到计算机中。使用计算机上的应用程序对数字摄影图像进行编辑，并将其从诸如显示器或打印机等的输出设备输出。在从输出设备输出摄影图像之前，往往对摄影图像中产生的诸如逆光或暗噪声等的图像质量劣化因素进行校正，以向观察者展示具有更好外观的该摄影图像。

针对摄影图像执行的一个校正处理是模糊处理。使用模糊处理来降低在摄影图像中产生的噪声。当利用Retinex理论进行局部亮度校正(局部遮光校正(dodging correction))时，还用模糊处理来生成中间数据。

以下将说明利用Retinex理论的局部亮度校正。根据Retinex理论，人从视觉上感知到的物体的明度(brightness)分布I基于以下模型，该模型通过将物体表面的反射率分布R与照明光分布L相乘来表现：

工＝L·R    …(1)

I：物体的明度分布

L：照明光分布

R：物体表面的反射率分布

(例如，参见2004年8月30日发行的《电气学会技术报告》第981号，《21世纪的媒体信息和视觉技术》，媒体信息和视觉技术研究委员会，第41-45页(″Media Information and Vision Technology in the 21st Century″，IEEJ Technical Report No.981，Investigation Committee on MediaInformation and Vision Technology，pp.41-45，August 30，2004))。

在Retinex理论模型中，物体表面的反射率分布R是物体特有的恒定属性。因此，例如认为诸如将物体的明度分布I局部化的逆光等的现象因素，不是由物体表面的反射率R引起的而是由照明光分布L引起的。只要可以从摄影图像中提取物体的明度分布I、并将其划分为照明光分布L和物体表面的反射率分布R，就可以通过校正照明光分布L来改善诸如逆光等的现象。

提出了Center/Surround(中心/周围)模型，作为用于从物体的明度分布I中提取照明光分布L的模型。Center/Surround模型假设照明光分布L是物体的明度分布I的宏观变化。通过对物体的明度分布I应用大范围高斯滤波器，来生成强模糊化图像。然而，该模糊化图像既无法再现被摄体的明度渐变，也无法再现摄影图像中的被摄体轮廓。为此，对物体的明度分布I应用中、小范围的高斯滤波器，从而生成中度模糊化图像以及弱模糊化图像。以预定的比率将弱模糊化图像、中度模糊化图像和强模糊化图像进行合成，并且将结果图像作为照明光分布L的图像来处理。这样，模糊处理成为摄影图像校正处理中的一项重要技术。

然而，在某些情况下，并不单单应用模糊处理。例如，当使用计算机应用程序将一个摄影图像划分为多个部分区域时，对各个划分图像应用模糊处理的做法，会造成在重新组合后在接合处产生诸如明度不连续等的失配。在这种情况下，根据日本专利特开03984346号公报，在计算划分后像素相互交叠的部分的加权平均之后，来执行模糊处理。这能够降低诸如在接合处的明度不连续的失配。

然而，应用程序在划分图像时，通常不产生冗余的像素交叠区域。因此，在日本专利特开03984346号公报中公开的方法极少被应用。在将摄影图像划分为多个区域而不产生像素交叠区域的情况下，如果简单应用模糊处理则会产生以下两个问题。第一个问题是：因为在模糊滤波器计算中，在邻接的划分图像之间的边界附近不参照各个图像的像素，所以在模糊滤波处理之后再次组合图像时在接合处存在明度不连续。第二个问题是：在划分边界附近，模糊滤波器的一部分落在要处理的图像之外，从而无法获得具有好的模糊化效果的模糊化图像。

发明内容

本发明是为解决上述问题而作出的，其目的在于实现当将摄影图像划分为多个部分区域时、即使在重新组合划分图像之后在接合处不产生失配的情况下也能够获得满意的模糊化效果的模糊滤波处理。

根据本发明的一方面，提供一种图像处理装置，其执行用于对划分图像数据应用模糊处理、并将经历了所述模糊处理的划分图像进行合成的处理，所述图像处理装置包括：图像边界外估计单元，其针对所述划分图像数据当中的、经历所述模糊处理的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；以及模糊化图像生成单元，其通过在参照所述第一图像数据、所述第二图像数据、以及由所述图像边界外估计单元估计出的估计像素的同时，使用滤波器针对所述第一图像数据执行所述模糊处理，来生成针对所述第一图像数据的模糊化图像数据，其中，由所述图像边界外估计单元估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，所述模糊化图像生成单元逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的所述像素以及所述第二图像数据的所述估计像素的所述权重相对应的加权平均，并参照计算出的值。

根据本发明的另一方面，提供一种图像处理装置，其执行用于对划分图像数据应用模糊处理、并将经历了所述模糊处理的划分图像进行合成的处理，所述图像处理装置包括：图像边界外估计单元，其针对所述划分图像数据当中的、经历所述模糊处理的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；模糊化图像生成单元，其通过在参照所述第一图像数据、所述第二图像数据、以及由所述图像边界外估计单元估计出的估计像素的同时，使用滤波器大小不同的多个模糊滤波器针对所述第一图像数据执行多个模糊处理，来生成针对所述第一图像数据的多个模糊化图像数据；以及图像合成单元，其将由所述模糊化图像生成单元生成的多个模糊化图像按照预定比率进行合成，以生成一个图像数据，其中，由所述图像边界外估计单元估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，所述模糊化图像生成单元逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的所述像素以及所述第二图像数据的所述估计像素的所述权重相对应的加权平均，并参照计算出的值。

根据本发明的又一方面，提供一种图像处理装置的控制方法，所述图像处理装置执行用于对划分图像数据应用模糊处理、并将经历了所述模糊处理的划分图像进行合成的处理，所述控制方法包括：图像边界外估计步骤，其使所述图像处理装置的图像边界外估计单元，针对所述划分图像数据当中的、经历所述模糊处理的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；以及模糊化图像生成步骤，其使所述图像处理装置的模糊化图像生成单元，通过在参照所述第一图像数据、所述第二图像数据、以及在所述图像边界外估计步骤中估计出的估计像素的同时，使用滤波器针对所述第一图像数据执行所述模糊处理，来生成针对所述第一图像数据的模糊化图像数据，其中，在所述图像边界外估计步骤中估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且在所述模糊化图像生成步骤中，当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的所述像素以及所述第二图像数据的所述估计像素的所述权重相对应的加权平均，并参照计算出的值。

根据本发明的又一方面，提供一种图像处理装置的控制方法，该图像处理装置对划分图像数据应用模糊处理、并将经历了所述模糊处理的划分图像进行合成，所述控制方法包括：图像边界外估计步骤，其使所述图像处理装置的图像边界外估计单元，针对所述划分图像数据当中的、经历所述模糊处理的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；模糊化图像生成步骤，其使所述图像处理装置的模糊化图像生成单元，通过在参照所述第一图像数据、所述第二图像数据、以及在所述图像边界外估计步骤中估计出的估计像素的同时，使用滤波器大小不同的多个滤波器针对所述第一图像数据执行多个模糊处理，来生成针对所述第一图像数据的多个模糊化图像数据；以及图像合成步骤，其使所述图像处理装置的图像合成单元，将在所述模糊化图像生成步骤中生成的多个模糊化图像按照预定比率进行合成，以生成一个图像数据，其中，在所述图像边界外估计步骤中估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且在所述模糊化图像生成步骤中，当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的像素以及所述第二图像数据的所述估计像素的所述权重相对应的加权平均，并参照计算出的值。

本发明能够抑制在针对通过将摄影图像划分为多个部分区域而获得的划分图像进行的滤波处理之后、在划分边界处产生像素值阶差(step)。另外，能够达到与在将图像划分成多个部分区域时获得的滤波计算结果接近的值。估计图像边界外的像素值并执行滤波处理能够确保充足的滤波器面积，从而即使在图像边界附近也能够实现满意的模糊化效果。

从以下参照附图对示例性实施例的描述中，本发明的其他特征将变得清楚。

附图说明

图1是示出根据第一实施例的包含图像处理装置的图像形成系统的结构的框图；

图2A和图2B是示出根据本实施例的物理结构的框图；

图3是示出根据本实施例的程序的系统结构的框图；

图4A和图4B是示出根据本实施例的模块结构的框图；

图5是示出根据本实施例的局部亮度校正单元的模块结构的框图；

图6是示出在根据本实施例的邻接连续图像获取单元中的处理序列的流程图；

图7是示出根据本实施例的、在经历局部亮度校正的图像与邻接连续图像(neighboring continuous image)的图像边界之外的估计区域的图；

图8是示出根据本实施例的高斯滤波器的二维空间分布的图；

图9是示出根据本实施例的模糊滤波处理单元中的处理序列的流程图；以及

图10A和图10B是分别示出根据本实施例的应用了模糊滤波器的状态的图。

具体实施方式

<第一实施例>

以下将参照附图描述本发明的实施例。第一实施例将例示一种图像处理系统，其中打印机驱动程序对摄影图像执行局部亮度校正，并且打印机引擎输出摄影图像。在第一实施例中，将模糊处理描述为模糊滤波处理。

[整个系统的一般描述]

图1是例示包含根据本发明第一实施例的图像生成装置的图像形成系统的结构的框图。图像形成系统包括数据传送线路101、计算机102、显示器103、打印机控制器104、打印机引擎105以及图像生成装置106。计算机102、打印机控制器104和图像生成装置106经由数据传送线路101相互进行数据通信。计算机102和显示器103相互连接。计算机102将运行的应用程序的画面信息发送给显示器103，以输出该画面。打印机控制器104和打印机引擎105相互连接。打印机控制器104将控制信号发送到打印机引擎105，以执行打印机输出。图像生成装置106是诸如数码相机的图像拍摄装置，或者是诸如扫描仪的图像读取装置。

图2A是示出计算机102的物理结构的框图。计算机102包括数据传送线路201、CPU 202、RAM 203、外部存储器204、显示器接口205、外部输入设备206以及网络接口207。CPU 202、RAM 203、外部存储器204、显示器接口205、外部输入设备206以及网络接口207经由数据传送线路201相互进行数据通信。当启动计算机102时，CPU 202从外部存储器204加载应用执行程序，将其存储在RAM 203中并执行。当由CPU 202执行的程序到达画面显示命令时，CPU 202开始向显示器接口205发送画面显示数据，并且将画面输出到显示器103。CPU 202监视经由外部输入设备206的用户输入信息。当输入用户输入信息时，CPU 202执行程序中定义的、与用户输入信息相对应的处理。

图2B是示出打印机控制器104的物理结构的框图。打印机控制器104包括数据传送线路501、CPU 502、RAM 503、外部存储器504、网络接口505以及引擎接口506。CPU 502、RAM 503、外部存储器504、网络接口505以及引擎接口506经由数据传送线路501相互进行数据通信。当启动打印机控制器104时，CPU 502从外部存储器504加载执行程序，将其存储在RAM 503中并执行。

图3是示出由CPU 202执行的程序的系统结构的框图。应用程序301经由显示器接口205或外部输入设备206与用户交换信息，并编辑存储在外部存储器204中的摄影图像。当接受来自用户的打印命令时，应用程序301经由操作系统302向打印机驱动程序303输出命令，以描绘摄影图像和附加文本信息。当接收到来自操作系统302的描绘命令时，打印机驱动程序303生成与描绘命令对应的打印数据。另外，打印机驱动程序303向网络接口207输出打印数据，将该打印数据传输到打印机控制器104。

图4A是示出打印机驱动程序303的模块结构的框图。打印机驱动程序303包括描绘命令获取单元401、描绘命令解释单元402、打印命令生成单元403、打印数据输出单元404以及局部亮度校正单元405。描绘命令获取单元401从操作系统302接收描绘命令，并将其传输到描绘命令解释单元402。描绘命令解释单元402确定从描绘命令获取单元401接收到的描绘命令的类型。当描绘命令的类型表示文本描绘时，描绘命令解释单元402指示打印命令生成单元403以生成文本打印命令。当描绘命令的类型表示图像描绘时，描绘命令解释单元402将摄影图像数据传输到局部亮度校正单元405，以应用局部亮度校正。之后，描绘命令解释单元402将校正后的数据传输到打印命令生成单元403，并指示打印命令生成单元403生成图像打印命令。打印命令生成单元403根据从描绘命令解释单元402接收到的打印描绘命令，生成打印命令，并将该打印命令作为打印数据输出到打印数据输出单元404。此时，打印命令生成单元403将表示图像数据已经历局部亮度校正的附加信息，添加到打印命令中。打印数据输出单元404将从打印命令生成单元403接收到的打印数据输出到网络接口207，以将打印数据发送到打印机控制器104。

图4B是示出由CPU 502执行的程序的模块结构的框图。程序包括打印数据获取单元601、打印命令解释单元602、描绘处理单元603、浓度值转换处理单元604、二值化处理单元605、引擎控制单元606、局部亮度校正处理单元607以及色彩匹配处理单元608。打印数据获取单元601接收已被网络接口505接收到的打印数据，并将其输出到打印命令解释单元602。打印命令解释单元602根据从打印数据获取单元601接收到的打印命令的类型来切换处理。当打印命令解释单元602接收到文本打印命令时，其将该文本的色彩信息传输到色彩匹配处理单元608，以将该文本转换成打印机引擎105特有的色彩信号，然后将描绘命令输出到描绘处理单元603。当打印命令解释单元602接收到图像打印命令时，其确定图像是否经历了局部亮度校正处理。针对从计算机102输出的打印数据，将表示局部亮度校正处理完成的信息添加到该打印数据，从而打印命令解释单元602跳过(skip)局部亮度校正处理单元607。打印命令解释单元602将图像的色彩信息传输到色彩匹配处理单元608，以将图像转换成打印机引擎105特有的色彩信号，然后将描绘命令输出到描绘处理单元603。描绘处理单元603根据从打印命令解释单元602接收到的描绘命令，在1页图像存储器中描绘数据。在1页图像存储器中描绘了与处理中作业的所有描绘命令对应的数据之后，描绘处理单元603将图像存储器数据输出到浓度值转换处理单元604。浓度值转换处理单元604将从描绘处理单元603接收到的图像存储器数据，转换成由打印机引擎105处理的色材(例如墨或调色剂)的浓度图像数据，并将浓度图像数据输出到二值化处理单元605。二值化处理单元605将浓度图像数据转换成点图案图像，并将该点图案图像输出到引擎控制单元606。引擎控制单元606基于点图案图像，向引擎接口506输出打印机引擎控制命令。响应于此，打印机引擎105将图像作为墨图像或调色剂图像形成在纸张上。

[局部亮度校正的详细描述]

以下将详细描述局部亮度校正。图5是示出打印机驱动程序303中的局部亮度校正单元405的模块结构的框图。局部亮度校正单元405包括图像获取单元701、亮度/色差转换单元702、照明光分布估计单元703、反射率分布估计单元711、照明光分布校正单元712、亮度信号校正单元713、图像信号转换单元714以及图像输出单元715。图像获取单元701从描绘命令解释单元402接收图像数据，并将其输出到亮度/色差转换单元702。亮度/色差转换单元702将图像数据转换成亮度/色差信号格式的图像数据。亮度/色差信号格式是例如YUV信号格式，其中Y代表亮度信号、U和V代表色差(color difference)(蓝色和红色分量)。一般情况下，由打印机驱动程序303或图像生成装置106生成的图像数据的信号往往采用RGB信号格式(R：红色，G：绿色，B：蓝色)。RGB信号格式被转换成YUV信号格式：

$\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)=\left(\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.331& 0.500\\ 0.500& -0.419& -0.081\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)...\left(2\right)$

亮度/色差转换单元702将转换成YUV信号格式的图像数据输出到照明光分布估计单元703、反射率分布估计单元711以及亮度信号校正单元713。照明光分布估计单元703利用稍后描述的方法，来从图像数据中估计照明光分布图像，并将其输出到反射率分布估计单元711和照明光分布校正单元712。反射率分布估计单元711利用从亮度/色差转换单元702接收到的图像数据的亮度分量以及从照明光分布估计单元703接收到的照明光分布图像，基于公式(1)给出的Retinex理论，来估计物体表面的反射率分布R。更具体地说，反射率分布估计单元711利用亮度信号分布I(i，j)(＝Retinex理论中的明度分布)以及照明光分布L(i，j)，来计算在图像数据的第i行和第j列的像素(i，j)处的反射率分布R(i，j)：

$R(i,j)=\frac{I(i,j)}{L(i,j)}...\left(3\right)$

反射率分布估计单元711将计算出的反射率分布图像输出到亮度信号校正单元713。照明光分布校正单元712校正从照明光分布估计单元703接收到的照明光分布图像。在第一实施例中，照明光分布校正单元712利用例如如下色调曲线(γ＝1.2)来校正照明光分布图像：

$L^{\&prime;}(i,j)=255{\left(\frac{L(i,j)}{255}\right)}^{\mathrm{\&gamma;}}...\left(4\right)$

其中γ＝1.2。

然而，校正方法并不限于此，还可以使用其他校正方法。

照明光分布校正单元712将校正后的照明光分布输出给亮度信号校正单元713。亮度信号校正单元713利用从反射率分布估计单元711接收到的反射率分布R和从照明光分布校正单元712接收到的校正后的照明光分布L’、基于公式(1)给出的Retinex理论，来校正从亮度/色差转换单元702接收到的亮度信号分布I’。更具体地说，亮度信号校正单元713利用照明光分布L(i，j)和反射率分布R(i，j)，来计算图像数据的第i行和第j列的像素(i，j)处的校正后的亮度信号分布I’(i，j)(＝Retinex理论中的明度分布)：

I′(i，j)＝L′(i，j)·R(i，j)    ...(5)

亮度信号校正单元713将校正后的亮度/色差信号格式的图像数据输出到图像信号转换单元714。图像信号转换单元714将从亮度信号校正单元接收到的亮度/色差信号的图像数据，转换成由图像获取单元701接收到的图像数据的原始信号格式。例如，当图像获取单元701接收到的图像信号是RGB色彩信号时，亮度信号校正单元713将YUV信号格式转换成RGB信号格式：

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=\left(\begin{array}{ccc}1.000& 0& 1.402\\ 1.000& -0.344& -0.714\\ 1.000& 1.772& 0\end{array}\right)\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)...\left(6\right)$

图像信号转换单元714将转换后的图像数据输出到图像输出单元715。图像输出单元715将从图像信号转换单元714接收到的图像数据输出到描绘命令解释单元402。

接下来，将详细说明照明光分布估计单元703。照明光分布估计单元703包括邻接连续图像获取单元704、临时图像存储单元705、图像边界外估计单元(out of image boundary estimation unit)706、宽域模糊滤波处理单元707、中域模糊滤波处理单元708、窄域模糊滤波处理单元709以及图像合成处理单元710。邻接连续图像获取单元704从临时图像存储单元705中的图像数据，提取与从亮度/色差转换单元702接收到的图像数据连续邻接的图像数据。请注意，存储在临时图像存储单元705中的图像数据是在局部亮度校正中已被参照过、并且由将参照图6描述的邻接连续图像获取单元704存储的图像数据。

[邻接连续图像获取序列]

下面，将参照图6的流程图来说明邻接连续图像获取单元704中的处理序列。打印机驱动程序303中的与该序列相关的程序被存储在计算机102的外部存储器204中，被读出到RAM 203，并且被CPU 202执行。在S801中，邻接连续图像获取单元704确定在临时图像存储单元705中是否存在图像数据。如果在临时图像存储单元705中不存在图像数据，则处理转到S805。如果在临时图像存储单元705中存在图像数据，则在S802中邻接连续图像获取单元704从临时图像存储单元705中提取图像数据。在S803中，邻接连续图像获取单元704通过确定这些图像数据的宽度是否相等，来确定所提取的图像数据是否是位于紧接在从亮度/色差转换单元702接收到的图像数据之前的邻接的连续图像数据。如果这些图像数据的宽度相等，则邻接连续图像获取单元704确定所提取的图像数据是邻接的连续图像数据，并且处理转到S804。在S804中，邻接连续图像获取单元704将邻接的连续图像输出到图像边界外估计单元706。如果宽度不同，则邻接连续图像获取单元704确定所提取的图像数据不是邻接的连续图像数据，并且不进行任何处理而使过程转到S805。在S805中，邻接连续图像获取单元704删除临时图像存储单元705中的所有图像数据。然后，在S806中，邻接连续图像获取单元704复制从亮度/色差转换单元702接收到的图像数据，并将复制的图像数据存储在临时图像存储单元705中。最后在S807中，邻接连续图像获取单元704将从亮度/色差转换单元702接收到的图像数据，输出到图像边界外估计单元706，然后结束该处理序列。在本处理序列中，利用图像数据的宽度来确定图像数据是否连续。然而，该确定并不限于这种方法，还可以使用其他方法，只要能够利用例如图像数据中的像素的像素信息来确定所划分的图像是否连续即可。

[图像边界外像素的估计]

图像边界外估计单元706从邻接连续图像获取单元704接收经历局部亮度校正的图像数据、以及连续邻接的图像数据。然后，图像边界外估计单元706估计各图像的图像边界外的像素值。估计范围包含在宽域模糊滤波处理单元707进行的模糊滤波处理中使用的模糊滤波器的大小。图7示出了经历局部亮度校正的图像数据和邻接图像数据的图像边界外的像素的各估计范围。图7所示的图像数据包括：要求得照明光分布的图像数据901，图像数据901的图像边界902和划分边界907，以及图像数据901的估计区域903。图像数据还包括：与要求得照明光分布的图像数据901连续邻接的图像数据904，图像数据904的图像边界905和划分边界907，以及图像数据904的估计区域906。为了描述方便起见，将图像数据901还称为第一图像数据，将与图像数据901连续邻接的图像数据904还称作第二图像数据。在划分前，在划分边界907处组合图像数据901以及图像数据904。不对图像数据901的上端边界外的像素进行估计，因为参照上端的连续邻接图像数据904足以明了。不对图像数据904的上端边界外的像素进行估计，因为即使图像没有被划分，该区域也不经历模糊滤波处理中的计算。该区域中的边界外的像素可以被估计，并且经历模糊滤波处理中的计算。令K为在宽域模糊滤波处理单元707中使用的模糊滤波器的大小，给出图像数据901的估计区域903的范围以及图像数据904的估计区域906的范围为：与图像边界相距K/2个像素的距离。已知有各种方法作为估计图像边界外的像素的方法。在第一实施例中，基于与图像边界处的像素值相同的值通过传播而连续的前提，来计算图像边界外的像素。毋庸置疑，估计方法并不限于此，并且可以使用其他方法来估计与图像部分相对应的估计区域906。图像边界外估计单元706将通过估计图像数据以及连续邻接的图像数据的图像边界外的像素而获得的图像数据，输出到宽域模糊滤波处理单元707、中域模糊滤波处理单元708以及窄域模糊滤波处理单元709。

宽域模糊滤波处理单元707、中域模糊滤波处理单元708以及窄域模糊滤波处理单元709，在参照所接收到的图像数据、邻接连续图像数据以及估计的图像数据的同时，对图像数据执行模糊滤波处理。各模糊滤波处理单元在模糊滤波器大小(filter size)上不同。各处理单元使用高斯滤波器作为模糊滤波器。高斯滤波器的计算公式Filter(x，y)由下式给出：

Filter(p，q)＝Const×f(i，j)

$\mathrm{Gaussian}(i,j)=\frac{1}{\sqrt{2\mathrm{\&pi;}}}\mathrm{\&sigma;exp}(-\frac{(x^2+y^2)}{{2\mathrm{\&sigma;}}^2})...\left(7\right)$

这里，x和y表示当将高斯滤波器的中央像素定义为原点时、在第x行和第y列的像素的值。图8示出了高斯滤波器的二维空间分布。高斯滤波器中的Gaussian(x，y)值的范围为从0到1.0。为了通过转换成整数来提高计算效率，将Filter(x，y)与Const相乘的结果用作实际模糊滤波器。Const值例如在第一实施例中是216(＝65536)，但是其也可以是任意的。当实际执行模糊滤波处理时，不是在每个模糊滤波处理中求解公式(7)，而是准备K×K矩阵的存储器并存储计算结果Filter(p，q)。K是指上述模糊滤波器大小。即使在忽略模糊滤波器值的情况下，也将K设置为无问题值(trouble-free value)。为了通过宽域模糊滤波处理单元707在大范围内获得模糊化效果，准备具有大K值的矩阵存储器，增加σ值(例如，在第一实施例中K＝800，σ＝300)，并且计算公式(7)中的Filter(p，q)。为了通过窄域模糊滤波处理单元709在小范围内获得模糊化效果，准备具有小K值的矩阵存储器，降低公式(7)中的σ值(例如，在第一实施例中K＝60，σ＝20)，并计算公式(7)中的Filter(p，q)。在第一实施例中，中域模糊滤波处理单元708采用例如K＝200，σ＝80。

[模糊滤波处理]

以下将参照图9的流程图，来说明在宽域模糊滤波处理单元707、中域模糊滤波处理单元708以及窄域模糊滤波处理单元709中的模糊滤波处理序列。打印机驱动程序303中的关于该序列的程序，被存储在计算机102的外部存储器204中，被读出到RAM 203并被CPU 102执行。在S1101中，将i定义为模糊滤波器的中央像素(关注像素)在垂直方向上的坐标(原点在图像数据901的左上角)，并且将i初始化为1。在S 1102中，确定i是否等于或小于图像数据的高度(图像数据的垂直大小)。如果i大于图像数据的高度，则处理结束。如果i等于或小于图像数据的高度，则处理进行到S1103。在S1103中，在经历局部亮度校正的图像数据的实际像素与邻接连续图像数据的估计像素相互交叠的区域中，通过预定的计算方法来确定估计像素与实际像素的参照比率。当将该比率定义为“a∶(1-a)”时，在第一实施例中确定比率a为：

$a=\left\{\begin{array}{cc}1-\frac{K/2-i}{K/2}& (1<i<K/2)\\ 0& (i>K/2)\end{array}\right....\left(8\right)$

公式(8)表示：比率a的值随着中央像素从图像边界远离(随着i增大)而增大。获得比率a的公式可以与公式(8)不同，只要比率a随着i的增大而增大即可。根据公式(8)，当中央像素远离图像边界半个模糊滤波器大小或更多时，比率a变为0，并且在不参照任何估计像素的情况下执行模糊滤波处理。在S1104中，将j定义为模糊滤波器中央像素(关注像素)在水平方向上的坐标(原点在图像数据901的左上角)，并且将j初始化为1。在S1105中，确定j是否等于或小于图像数据的宽度(图像数据的水平大小)。如果j大于图像数据的宽度，则处理进行到S1108，以将变量i增加1，并且循环返回到S1102。如果j等于或小于图像数据的宽度，则处理进行到S1106，以执行利用像素(i，j)作为关注像素的模糊滤波处理。由下式给出模糊滤波处理中的计算公式Filtering(i，j)：

$\mathrm{Filtering}(i,j)=\frac{\underset{q=-K}{\overset{K}{\mathrm{\&Sigma;}}}\underset{p=-K}{\overset{K}{\mathrm{\&Sigma;}}}\mathrm{Filter}(p,q)\mathrm{Value}(i+p,i+q)}{\underset{q=-K}{\overset{K}{\mathrm{\&Sigma;}}}\underset{p=-K}{\overset{K}{\mathrm{\&Sigma;}}}\mathrm{Filter}(p,q)}$

$\mathrm{Value}(x,y)=\left\{\begin{array}{cc}{I}_{\mathrm{Serial}}(x,y)& (x,y\&Element;I_{\mathrm{Serial}}\&cap;x,y\&NotElement;I_{\mathrm{Current}})\\ I_{\mathrm{Current}}(x,y)& (x,y\&NotElement;I_{\mathrm{Serial}}\&cap;x,y\&Element;I_{\mathrm{Current}})\\ (1-a)I_{\mathrm{Serial}}(x,y)+a{I}_{\mathrm{Current}}(x,y)& (x,y\&Element;I_{\mathrm{Serial}}\&cap;x,y\&Element;I_{\mathrm{Current}})\end{array}\right....\left(9\right)$

这里，Filter(p，q)是在公式(7)中计算的高斯滤波器，I_current(x)是属于经历了局部亮度校正的图像数据的像素值，I_Serial(x，y)是邻接连续图像数据的像素值，并且Value(x，y)是被模糊滤波器参照的像素值。x，y∈I_Serial∩x，y∈I_Current代表经历局部亮度校正的图像数据的实际像素与邻接连续图像数据的估计像素相互交叠的区域。在实际像素与估计像素相互交叠的区域中，基于通过公式(8)计算出的比率，来计算加权平均。作为结果，根据公式(9)获得针对各像素要参照的值。

当完成基于公式(9)的模糊滤波处理时，过程进入到S1107。在S1107中，将变量j增加1，并且过程循环返回到S1105。

宽域模糊滤波处理单元707、中域模糊滤波处理单元708以及窄域模糊滤波处理单元709，分别根据图9的处理序列生成模糊化图像，并将其输出到图像合成处理单元710。

图像合成处理单元710合成这三个模糊化图像，以生成局部亮度校正中需要的、具有以下特征(即“在保留被摄体轮廓的同时小亮度改变发生模糊的宏观亮度分布”)的照明光分布。在第一实施例中，图像合成处理单元710通过例如依照公式(10)(尽管也可利用公式(10)以外的其它公式)计算像素值的加权平均，来合成模糊化图像：

$L(i,j)=\frac{{\mathrm{Filtering}}_s(i,j)+{\mathrm{Filtering}}_m(i,j)+{2\mathrm{Filtering}}_l(i,j)}{4}...\left(10\right)$

这里，Filtering_l、Filtering_m和Filtering_s分别是通过宽域模糊滤波处理单元707生成的模糊化图像、通过中域模糊滤波处理单元708生成的模糊化图像以及通过窄域模糊滤波处理单元709生成的模糊化图像，并且L(i，j)是通过合成这三个模糊化图像而获得的照明光分布图像。

以下将参照图10A说明根据图9所示的流程图的图像处理的状态。针对要获得照明光分布的图像数据901、图像数据901的估计区域903、与图像数据邻接的图像数据904以及图像数据904的估计区域906，执行3种类型的模糊滤波处理。右侧的截面图示出了处理状态。从这些截面图中看出，估计区域906与图像数据901相互交叠。因此，当应用模糊滤波器1201、1202和1203时，在图像数据不相互交叠的区域中进行普通的模糊滤波计算。然而，在估计区域906和图像数据901相互交叠的区域中计算加权平均。这时，利用模糊滤波器的中央像素与划分边界907之间的距离i、基于公式(8)来计算权重比率a。随着模糊滤波器远离划分边界907，估计区域906的权重逐渐减少，并且要获得照明光分布的图像数据901的权重逐渐增加。在第一实施例中，执行作为针对宽域、中域和窄域的模糊滤波处理的三个处理，但是模糊滤波处理并不限于此，滤波器的数量可以根据需要增加或减少。这时，通过公式(10)实现的以下特征(即“在保留被摄体轮廓的同时小亮度改变发生模糊的宏观亮度分布”)也要纳入考虑之中。

如上所述，根据第一实施例，当模糊滤波器落在图像数据的边界外时，估计图像边界外的像素值以执行模糊滤波处理。因此能够确保充足的模糊滤波器面积，从而即使在图像边界附近也能够获得满意的模糊化效果。另外，在参照已经历模糊滤波处理的邻接图像数据的原始数据以及图像外估计像素的同时，对图像数据执行模糊滤波处理。这样能够抑制，在针对通过将摄影图像划分为多个部分区域而获得的划分图像执行模糊滤波处理之后、在划分边界处产生像素值阶差。在经历模糊滤波处理的图像数据与已经历模糊滤波处理的邻接图像数据的图像外估计像素相互交叠的区域中，模糊滤波处理中的估计像素的比率随着中央像素远离图像边界而减小。作为结果，能够达到与当图像不被划分为多个部分区域时获得的模糊滤波计算结果接近的值。

<第二实施例>

在第一实施例中，宽域模糊滤波处理单元707、中域模糊滤波处理单元708以及窄域模糊滤波处理单元709均采用相同的方法，来计算经历局部亮度校正的图像数据的实际像素与邻接连续图像数据的估计像素的权重比率a。

在第二实施例中，与第一实施例不同，根据模糊滤波处理的类型来切换比率a的计算方法。窄域模糊滤波处理单元709计算出比率a随着中央像素远离划分边界而变得更小。与之不同，宽域模糊滤波处理单元707和中域模糊滤波处理单元708计算出比率a逐渐减小，从而抑制在模糊滤波处理之后在照明光分布中的划分边界附近产生阶差的。计算比率a的示例是：

$a=\left\{\begin{array}{cc}1-\frac{K/2-b\&CenterDot;i}{K/2}& (1<(b\&CenterDot;i)<K/2)\\ 0& (i>(b\&CenterDot;i)<K/2)\end{array}\right....\left(11\right)$

其中

下面，将参照图10B来说明根据第二实施例中的图9的流程图的图像处理的状态。针对要获得照明光分布的图像数据901、图像数据901的估计区域903、与图像数据邻接的图像数据904以及图像数据904的估计区域906，执行这三种类型的模糊滤波处理。右侧的截面图示出了处理状态。这些截面图揭示了估计区域906和图像数据901相互交叠。因此，当应用模糊滤波器1201、1202和1203时，在图像数据不相互交叠的区域中进行普通的模糊滤波计算。然而，在估计区域906和图像数据901相互交叠的区域中计算加权平均。利用模糊滤波器的中央像素与划分边界907之间的距离i、基于公式(11)来计算权重比率a。这样，计算出窄域模糊滤波处理单元709中的比率a减小得比宽域模糊滤波处理单元707和中域模糊滤波处理单元708中的比率a更快。

根据第二实施例，在窄域模糊滤波处理单元执行的模糊滤波处理中，随着中央像素远离划分边界，比率a的值迅速减小。因此，可以从实际像素中提取在估计区域中难以估计的边缘。除了第一实施例的效果以外，在合成模糊化图像之后的照明光分布图像能够保持被摄体轮廓，从而获得如Retinex一样的更理想的照明光分布。

<第三实施例>

在第一和第二实施例中，打印机驱动程序303内部执行局部亮度校正。相反，第三实施例将例示打印机控制器104内部执行局部亮度校正的图像处理系统。

在示出由打印机控制器104中的CPU 502执行的程序的模块结构的图4B中，打印命令解释单元602解释从打印数据获取单元接收到的打印命令的类型。当打印命令解释单元602确定接收到的打印命令是图像打印命令时，其确定图像是否是已经历局部亮度校正处理的图像数据。当处理中的数据是从计算机102输出的打印数据时，将表示局部亮度校正处理完成的信息添加到打印数据中，从而打印命令解释单元602跳过局部亮度校正处理单元607，以避免两次局部亮度校正。当处理中的数据是从图像生成装置106输出的打印数据时，不将表示局部亮度校正处理完成的信息添加到打印数据。因此，打印命令解释单元602将图像数据传输给局部亮度校正处理单元607，以执行局部亮度校正。通过局部亮度校正处理单元607执行的处理与通过打印机驱动程序303中的局部亮度校正单元405执行的处理相同。在对图像数据执行局部亮度校正后，局部亮度校正处理单元607将图像数据输出到打印命令解释单元602。打印命令解释单元602将图像的色彩信息传输给色彩匹配处理单元608，以将图像转换成打印机引擎105特有的色彩信号。然后，打印命令解释单元602将图像数据和描绘命令输出到描绘处理单元603。后续处理与第一实施例中参照图4B描述的处理相同。

根据第三实施例，除了第一和第二实施例的效果外，打印机控制器还能够对未校正的图像数据执行局部亮度校正，同时避免对相同图像数据执行两次局部亮度校正。

在上述实施例中，针对图像数据的亮度信号执行局部亮度校正。然而，图像数据的信号是任意的，并且可以针对例如RGB图像数据的各色彩信号进行局部亮度校正。上述实施例采用利用高斯滤波器的模糊滤波处理。然而，模糊滤波器是任意的，只要其具有模糊化效果即可，并且可以利用例如具有恒定值的模糊滤波器来执行模糊滤波处理。

<其他实施例>

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有的这类变型例及等同结构和功能。

Claims (11)

1.一种图像处理装置，其执行用于对划分图像数据应用模糊处理的处理，所述图像处理装置包括：

图像边界外估计单元，其针对所述划分图像数据当中的、经历局部亮度校正的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；以及

模糊化图像生成单元，其通过在参照所述第一图像数据、所述第二图像数据、以及由所述图像边界外估计单元估计出的估计像素的同时，使用滤波器针对所述第一图像数据执行所述模糊处理，来生成针对所述第一图像数据的模糊化图像数据，

其中，由所述图像边界外估计单元估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且

当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，所述模糊化图像生成单元逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的所述像素以及所述第二图像数据的所述估计像素的所述权重相对应的加权平均，并参照计算出的值。

2.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

邻接连续图像获取单元，其获取所述第一图像数据和所述第二图像数据，

其中，所述邻接连续图像获取单元基于添加到所述划分图像数据的像素信息和附加信息，确定所述划分图像数据是否是邻接连续图像数据，并且

当所述划分图像数据是邻接连续图像数据时，将所述划分图像数据作为所述第一图像数据和所述第二图像数据，来应用所述图像边界外估计单元和所述模糊化图像生成单元。

3.根据权利要求1所述的图像处理装置，其中，所述模糊化图像生成单元中的所述模糊处理是使用高斯滤波器的处理。

4.根据权利要求1所述的图像处理装置，其中，所述模糊化图像生成单元在针对所述图像数据的所述模糊处理中使用应用大小不同的模糊滤波器。

5.根据权利要求4所述的图像处理装置，其中，所述模糊化图像生成单元根据所述模糊滤波器的类型，确定所述估计像素的权重比率。

6.一种图像处理装置，其执行用于对划分图像数据应用模糊处理、并将经历了所述模糊处理的划分图像进行合成的处理，所述图像处理装置包括：

图像边界外估计单元，其针对所述划分图像数据当中的、经历局部亮度校正的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；

模糊化图像生成单元，其通过在参照所述第一图像数据、所述第二图像数据、以及由所述图像边界外估计单元估计出的估计像素的同时，使用滤波器大小不同的多个模糊滤波器针对所述第一图像数据执行多个模糊处理，来生成针对所述第一图像数据的多个模糊化图像数据；以及

图像合成单元，其将由所述模糊化图像生成单元生成的多个模糊化图像按照预定比率进行合成，以生成一个图像数据，

其中，由所述图像边界外估计单元估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且

当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，所述模糊化图像生成单元逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的所述像素以及所述第二图像数据的所述估计像素的所述权重相对应的加权平均，并参照计算出的值。

7.根据权利要求6所述的图像处理装置，该图像处理装置还包括：

邻接连续图像获取单元，其获取所述第一图像数据和所述第二图像数据，

其中，所述邻接连续图像获取单元基于添加到所述划分图像数据的像素信息和附加信息，确定所述划分图像数据是否是邻接连续图像数据，并且

当所述划分图像数据是邻接连续图像数据时，将所述划分图像数据作为所述第一图像数据和所述第二图像数据，来应用所述图像边界外估计单元和所述模糊化图像生成单元。

8.根据权利要求6所述的图像处理装置，其中，所述模糊化图像生成单元中的所述模糊处理是使用高斯滤波器的处理。

9.根据权利要求6所述的图像处理装置，其中，当参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，所述模糊化图像生成单元根据在所述多个模糊处理中使用的模糊滤波器的类型，在预定计算方法当中、确定计算针对所述第二图像数据的所述估计像素的权重以及针对所述第一图像数据的像素的权重的方法，并生成图像。

10.一种图像处理装置的控制方法，所述图像处理装置执行用于对划分图像数据应用模糊处理的处理，所述控制方法包括：

图像边界外估计步骤，其使所述图像处理装置的图像边界外估计单元，针对所述划分图像数据当中的、经历局部亮度校正的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；以及

模糊化图像生成步骤，其使所述图像处理装置的模糊化图像生成单元，通过在参照所述第一图像数据、所述第二图像数据、以及在所述图像边界外估计步骤中估计出的估计像素的同时，使用滤波器针对所述第一图像数据执行所述模糊处理，来生成针对所述第一图像数据的模糊化图像数据，

其中，在所述图像边界外估计步骤中估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且

在所述模糊化图像生成步骤中，当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的所述像素以及所述第二图像数据的所述估计像素的所述权重相对应的加权平均，并参照计算出的值。

11.一种图像处理装置的控制方法，该图像处理装置对划分图像数据应用模糊处理、并将经历了所述模糊处理的划分图像进行合成，所述控制方法包括：

图像边界外估计步骤，其使所述图像处理装置的图像边界外估计单元，针对所述划分图像数据当中的、经历局部亮度校正的第一图像数据以及与所述第一图像数据邻接的第二图像数据中的各个，估计图像数据的图像边界外的像素；

模糊化图像生成步骤，其使所述图像处理装置的模糊化图像生成单元，通过在参照所述第一图像数据、所述第二图像数据、以及在所述图像边界外估计步骤中估计出的估计像素的同时，使用滤波器大小不同的多个滤波器针对所述第一图像数据执行多个模糊处理，来生成针对所述第一图像数据的多个模糊化图像数据；以及

图像合成步骤，其使所述图像处理装置的图像合成单元，将在所述模糊化图像生成步骤中生成的多个模糊化图像按照预定比率进行合成，以生成一个图像数据，

其中，在所述图像边界外估计步骤中估计出的所述估计像素，是与所述第一图像数据和所述第二图像数据中的各个中的所述图像数据的所述图像边界处的像素具有相同值的像素，并且

在所述模糊化图像生成步骤中，当在使用所述滤波器针对所述第一图像数据执行的所述模糊处理中、参照所述第一图像数据的像素与所述第二图像数据的估计像素相互交叠处的像素时，随着所参照的像素远离所述第一图像数据与所述第二图像数据之间的边界，逐渐减小参照所述第二图像数据的所述估计像素的权重，逐渐增大参照所述第一图像数据的像素的权重，计算与针对所述第一图像数据的所述像素以及所述第二图像数据的所述估计像素的权重相对应的加权平均，并参照计算出的值。

Images