CN104869370B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备和图像处理方法，所述图像处理设备能够通过颜色信号的替换来弥补颜色信号之间的饱和水平的差，以满意地对拍摄数据进行显影。计算拍摄数据中各个颜色信号的饱和水平，并且确定拍摄数据中的动态范围的上限。基于所述上限，获得向着颜色信号的饱和水平变化的颜色信号的替换比例。根据所述上限调整各个颜色信号。基于所述替换比例，进行利用饱和水平高的颜色信号替换饱和水平低的颜色信号的替换处理。使得对其进行了替换处理的拍摄数据经过预定处理，以获得显影数据。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种对拍摄数据进行显影的图像处理设备和图像处理方法、以及记录介质，尤其涉及一种能够将拍摄数据中的动态范围反映到显影图像数据上的图像处理设备和图像处理方法、以及记录介质。

背景技术

通常，为了对拍摄数据进行显影，进行所谓的白平衡(white balance)调整，其中，考虑获得拍摄数据的摄像设备的特性和拍摄条件来调整颜色信号。作为白平衡调整的结果，例如，以使得各个颜色信号的饱和水平均匀的灰色，使灰色被摄体显影。

然而，当即使在进行了白平衡调整之后各个颜色信号的饱和水平也不同时，可以不进行另外的白平衡调整，并且因此可能在图像的高亮度区域中发生所谓的着色(coloring)。

为此，提出这样一种方法，在该方法中，根据白平衡调整之前或者之后的R颜色信号的饱和水平，设置限幅水平，并且以该限幅水平对白平衡调整之后的G和B颜色信号进行限幅(参考日本特开(Kokai)2000-13808号)。

另外，提出了下面的方法，在该方法中，在白平衡调整之后判断各颜色信号是否变得饱和，并且根据除被判断为饱和的颜色信号以外的颜色信号的饱和水平，来校正被判断为饱和的颜色信号(参考日本特开(Kokai)2004-328564号)。

此外，有这样一种方法，在该方法中，在白平衡校正后的颜色信号中，检测并校正除非将其校正为处于曝光不足(减感处理)否则其将具有曝光过度的高亮的像素，从而使得可以增大它们的像素值，并且在此后，使用信息是可恢复的最大曝光校正值来进行减感处理(参考日本特开(Kokai)号2012-85360)。这里，根据周边像素值获得最大插值，并且根据要插值的像素的像素值，合并该像素值和最大插值以获得插值。

然而，根据日本特开(Kokai)2000-13808号所述的方法，与超过限幅水平的颜色信号有关的信息丢失，结果，无法在显影结果中表现高亮度区域的色阶(gradation)。

另外，根据日本特开(Kokai)2004-328564号所述的方法，适于颜色信号的饱和水平的校正是不够的。也就是说，当对颜色和亮度逐渐变化的渐变进行显影时，可能发生颜色信号在不饱和状态和饱和状态之间的边界处变化大的色调跳跃(tone jump)。作为使用具有不同饱和水平的颜色信号的校正的结果，着色残留在高亮度区域中。

图14是示出在传统显影装置中，在对于颜色信号的颜色比大于1的被摄体进行校正时所获得的结果的图。

图14示出通过使用以上日本特开(Kokai)2004-328564号所述的方法校正颜色信号所获得的结果。在图14中，横轴表示要校正的颜色信号的信号值，并且纵轴表示校正之后的输出(校正输出)。颜色信号40的信号电平的最大值小，并且颜色信号值41表示颜色信号40的输入最大值。颜色信号42的输入最大值大于颜色信号40的输入最大值。在图14所示的例子中，颜色信号40和颜色信号42之间的颜色比是1：2，并且校正之后的颜色信号42的输出是颜色信号40输出的两倍。

当颜色信号40达到输入最大值41时，以颜色信号42替换颜色信号40以获得替换结果43。在这种情况下，在颜色比大于1的被摄体中，在颜色信号40和颜色信号42之间存在差，因此在经过了校正的像素和未经过校正的像素之间的边界处发生色调跳跃。

根据日本特开(Kokai)2012-85360号所述的方法，在没有考虑动态范围的上限的情况下来进行插值。为此，当以大于动态范围的上限的最大插值对输入值小于输入最大值的颜色信号进行插值时，插值可能超过动态范围的上限。也就是说，即使增大上限以试图加宽动态范围，也可能发生动态范围缩窄的逆转现象。

另一方面，日本特开(Kokai)2012-85360号说明了：尽管通过将伽马(gamma)曲线的形状改变成非线性形状来避免调整动态范围时的饱和逆转，但是伽马曲线的变化影响最大校正值小于输入值(信号值)、并且不需要进行插值的像素和其它颜色信号，结果，发生由于输出中的非线性变化所导致的失真。

发明内容

本发明提供一种能够通过利用颜色信号的替换来弥补颜色信号之间的饱和水平的差以满意地对拍摄数据进行显影的图像处理设备和图像处理方法、以及记录介质。

因此，本发明的第一方面，提供一种图像处理设备，其对拍摄数据进行显影以获得显影数据，所述图像处理设备包括：饱和水平计算单元，用于计算所述拍摄数据中的各个颜色信号的饱和水平；上限确定单元，用于确定所述拍摄数据中的动态范围的上限；替换比例计算单元，用于基于所述上限，获得向着所述颜色信号的饱和水平变化的所述颜色信号的替换比例；调整单元，用于根据所述上限，调整各个所述颜色信号；替换处理单元，用于基于所述替换比例，进行利用饱和水平高的颜色信号替换饱和水平低的颜色信号的替换处理；以及显影处理单元，用于通过对经过了所述替换处理单元所进行的所述替换处理的所述拍摄数据进行预定处理，获得所述显影数据。

因此，本发明的第二方面，提供一种用于图像处理设备的图像处理方法，其中，所述图像处理设备对拍摄数据进行显影以获得显影数据，所述图像处理方法包括以下步骤：饱和水平计算步骤，用于计算所述拍摄数据中的各个颜色信号的饱和水平；上限确定步骤，用于确定所述拍摄数据中的动态范围的上限；替换比例计算步骤，用于基于所述上限，获得向着所述颜色信号的饱和水平变化的所述颜色信号的替换比例；调整步骤，用于根据所述上限，调整各个所述颜色信号；替换处理步骤，用于基于所述替换比例，进行利用饱和水平高的颜色信号替换饱和水平低的颜色信号的替换处理；以及显影处理步骤，用于通过对经过了所述替换处理步骤中的所述替换处理的所述拍摄数据进行预定处理，获得所述显影数据。

因此，本发明的第三方面，提供一种非瞬态计算机可读存储介质，其用于存储用于使得计算机执行用于图像处理设备的控制方法的控制程序，其中，所述图像处理设备对拍摄数据进行显影以获得显影数据，所述控制方法包括以下步骤：饱和水平计算步骤，用于计算所述拍摄数据中的各个颜色信号的饱和水平；上限确定步骤，用于确定所述拍摄数据中的动态范围的上限；替换比例计算步骤，用于基于所述上限，获得向着所述颜色信号的饱和水平变化的所述颜色信号的替换比例；调整步骤，用于根据所述上限，调整各个所述颜色信号；替换处理步骤，用于基于所述替换比例，进行利用饱和水平高的颜色信号替换饱和水平低的颜色信号的替换处理；以及显影处理步骤，用于通过对经过了所述替换处理步骤中的所述替换处理的所述拍摄数据进行预定处理，获得所述显影数据。

根据本发明，根据基于动态范围的上限向着颜色信号的饱和水平变化的替换比例，进行替换处理，其中，利用具有高饱和水平的颜色信号替换具有低饱和水平的颜色信号。因此，通过利用颜色信号的替换来弥补颜色信号之间的饱和水平的差，满意地对拍摄数据进行显影。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示意性示出作为根据本发明第一实施例的图像处理设备的示例性摄像设备的结构的框图。

图2是示出通过图1中的WB调整单元所进行的示例性WB调整处理的图。

图3是用于说明通过图1中的替换处理单元所进行的示例性替换处理的流程图。

图4是示出通过图1中的替换比例调整单元所生成的示例性替换比例表的图。

图5是示出在图3的替换处理中使用图4中的替换比例表进行替换比例控制时所获得的示例性替换结果的图。

图6A～6D是用于说明通过图3的替换处理所生成的、替换之后的RAW数据的图，其中，图6A是示出所有颜色信号在WB调整之后都达到了饱和水平的状态的图；图6B是示出颜色信号中的一些在WB调整之后达到了饱和水平的状态的图；图6C是示出颜色信号中的一些在WB调整之后达到了饱和水平的状态的另一例子的图；并且图6D是示出颜色信号中的一个在WB调整之后达到了饱和水平的状态的图。

图7是示出图1中的伽马校正单元所使用的示例性伽马曲线的图。

图8是示出图1中的颜色处理单元所使用的示例性颜色抑制表的图。

图9A和9B是用于说明通过图1中的显影单元所进行的替换处理增强高亮度区域中的色阶的图，其中，图9A是示出传统显影结果的图，并且图9B是示出根据第一实施例的显影结果的图。

图10是示出通过根据本发明第二实施例的图像处理设备中的替换比例调整单元所生成的示例性替换比例表的图。

图11是示出在使用图10中的替换比例表进行图3中的替换处理时所获得的示例性替换结果的图。

图12是示出通过根据本发明第三实施例的图像处理设备中的替换比例调整单元所生成的示例性替换比例表的图。

图13是示出在使用图12中的替换比例表进行图3中的替换处理时所获得的示例性替换结果的图。

图14是示出在传统图像处理设备中在对颜色比大于1的被摄体进行校正时所获得的结果的图。

具体实施方式

现参考附图说明根据本发明实施例的示例性图像处理设备。

图1是示意性示出作为根据本发明第一实施例的图像处理设备的示例性摄像设备的结构的框图。

该附图所示的摄像设备是例如数字照相机(以下仅称为照相机)，并且具有摄像单元1、显影单元2和记录再现单元3。摄像单元1具有摄像镜头单元(以下仅称为镜头)、摄像装置和测光单元，并且输出拍摄数据(以下称为RAW数据)。应该注意，RAW数据包括未显影的拍摄数据和仅经过了一部分显影处理的拍摄数据。

显影单元2对作为来自摄像单元1的输出的RAW数据进行显影，以生成显影数据(即，图像数据)。记录再现单元3将作为来自摄像单元1的输出的RAW数据和作为来自显影单元2的输出的显影数据作为记录数据记录在外部记录装置(未示出)中，读取记录在外部记录装置中的记录数据，并且将其提供给显影单元2。

该附图所示的照相机具有如上所述的摄像单元1、显影单元2和记录再现单元3，因此能够进行显影以及拍摄。在拍摄时，照相机能够将显影数据记录在外部记录装置中，在任意定时从外部记录装置读取RAW数据，并且对RAW数据进行显影。

应该注意，照相机可以仅装配有摄像单元1和记录再现单元3，并且可以使用具有显影单元和记录再现单元的外部信息处理设备来对RAW数据进行显影。

该附图所示的显影单元2具有白平衡(WB)调整单元10、光学校正单元11、颜色插值单元12、动态范围(D范围)调整单元13、替换比例调整单元14、替换处理单元15、消噪单元16、伽马校正单元17、锐度处理单元18和颜色处理单元19。它们相互连接。

WB调整单元10将RAW数据中各个颜色信号的信号值乘以WB系数(白平衡系数)。作为结果，WB调整单元10调整颜色信号的饱和水平，并且例如以各个颜色信号的饱和水平均匀的灰色输出灰色被摄体。

这里假定摄像单元1从RAW数据中的一部分提取颜色信号的信号值以获得WB系数，并且将WB系数以及RAW数据发送给显影单元2。应该注意，摄像单元1可以使用例如从测光单元所获得的测光结果，通过众所周知的方法来确定WB系数。

WB系数是针对各个颜色信号所获得的表示各个颜色信号的增益量的值。通过将各个颜色信号的信号值乘以WB系数，使得颜色信号在灰色被摄体中具有相同信号值。这里，如上所述，假定摄像单元1将WB系数以及RAW数据发送给显影单元2，但是可以预先在显影单元2中设置在使用标准光源拍摄时所使用的WB系数。

此外，WB调整单元10可以基于通过用户所输入的色温来计算WB系数。WB调整单元10可以不使用被附加给RAW数据的WB系数，而是可以在显影时使用用户所指定的方法来计算WB系数。

图2是示出通过图1中的WB调整单元10所进行的示例性WB调整处理的图。

参考图2，纵轴表示各个颜色信号(R、G、B)的信号值的大小。如该附图所示，RAW数据具有颜色信号R、G和B，并且这里通过附图标记21指定摄像装置(图像传感器)的传感器饱和值。传感器饱和值21是依赖于摄像装置的光谱灵敏度特性、摄像单元1的处理精度和预定阈值的颜色信号的信号值的上限。应该注意，在该附图所示的例子中，对于颜色信号，传感器饱和值21都是相同的，但是传感器饱和值21也可以根据颜色信号而不同。

通过WB调整单元10将该附图中所示的RAW数据乘以WB系数所获得的结果，是在WB调整之后所获得的信号值。与WB系数的相乘，改变各个颜色信号的上限。在该附图所示的例子中，假定用于颜色信号R的WB系数是“2”，用于颜色信号B的WB系数是“1.5”，并且用于颜色信号G的WB系数是“1”。

这里，WB调整之后的颜色信号R的饱和水平23是传感器饱和值21的两倍。颜色信号B的饱和水平24是传感器饱和值21的1.5倍。颜色信号G的饱和水平G等于传感器饱和值21。

再参考图1，例如，光学校正单元11降低从设置在摄像单元1中的镜头所产生的周边光量，校正倍率色像差，消除轴向色像差，并且校正失真。颜色插值单元12对由单色信号所构成的像素进行去马赛克处理。

D范围调整单元13判断在显影时所使用的输入信号的输入下限Bk和输入上限(上限)Wt。通过稍后说明的伽马校正单元17将输入下限Bk和输入上限Wt之间的输入信号的输入值分配给输出信号的输出值，从而通过根据拍摄数据的亮度分布等确定输入下限Bk和输入上限Wt，获得具有高对比度的显影数据。此外，通过增大输入下限Bk，获得用于降低阴影中的噪声的效果，并且通过增大输入上限Wt，获得用于降低曝光过度的高亮的效果。

替换比例调整单元14生成稍后所述的各个颜色信号的替换比例表。应该注意，替换比例表是用于在不进行替换时输出“0”、并且在进行完全替换时输出“1”的单调增大表，其中，颜色信号的信号值作为输入。

对于各像素，替换处理单元15根据通过替换比例调整单元14所生成的替换比例表，利用其它颜色信号替换某一颜色信号。消噪单元16通过滤波处理或者分层处理等消除亮度噪声和颜色噪声。

伽马校正单元17使用伽马曲线调整整个图像的对比度和动态范围。锐度处理单元18增强图像的边缘以调整整个图像的锐度。颜色处理单元19调整图像的色相，并且抑制高亮度区域中的颜色弯曲(color curving)。

尽管按照显影单元2所进行的优选处理的顺序说明了各组成元件，但是显影单元2所进行的处理的顺序并非必须是上述顺序。然而，按照上述顺序进行这些处理，具有降低图像中的噪声和降低边缘上的着色的效果。

考虑不通过替换处理单元15进行替换处理的情况，光学校正单元11保持针对各型号的镜头、焦距和焦点位置的光学校正表。因此，当替换处理单元15在通过光学校正单元11所进行的处理之前进行颜色信号的替换时，光学校正结果是过校正。

例如，当在替换处理单元15的替换处理中消除由于镜头的色像差所产生的红色着色时，光学校正单元11进行用于增强绿色颜色的校正，以消除相同量的红色着色。为此，利用绿色使图像着色。

因此，为了在光学校正单元11的校正处理之前进行替换处理单元15的替换处理，光学校正单元11的校正处理必须具有考虑用于降低替换处理单元15的着色的效果所创建的光学校正表。

应该注意，摄像单元1可以装配有图1的显影单元2中的一些组成元件，并且显影单元2还可以装配有其它组成元件。

图3是用于说明图1中的替换处理单元15所进行的示例性替换处理的流程图。

在开始替换处理时，替换处理单元15获得RAW数据中的各个颜色信号的饱和水平(步骤S10)。具体地，例如，替换处理单元15根据RAW数据获得传感器饱和值21。然后，替换处理单元15将传感器饱和值21乘以WB调整单元10所使用的WB系数，以计算颜色信号R的饱和水平23作为Mr，计算颜色信号B的饱和水平24作为Mb，并且计算颜色信号G的饱和水平25作为Mg。

然后，替换处理单元15从替换比例调整单元14获得稍后说明的替换比例表Fr、Fg和Fb(步骤S11)。替换处理单元15然后获得图像(即，RAW数据)的第一像素中的信号值(颜色信号值)r(红色)、g(绿色)和b(蓝色)。

应该注意，当没有预先通过WB调整单元10进行WB调整时，替换处理单元15将颜色信号值r、g和b乘以WB系数。当没有预先通过颜色插值单元12进行去马赛克处理或者德贝亚(debayer)处理时，替换处理单元15通过参考周边像素来弥补颜色信号值的不足。

然后，替换处理单元15对于RAW数据的各像素进行稍后说明的处理。首先，替换处理单元15按照饱和水平的降序，对饱和水平Mr、Mg和Mb、颜色信号值r、g和b、以及替换比例表Fr、Fg和Fb进行排序。也就是说，将它们排序成饱和水平Mx、My和Mz、颜色信号值x、y和z、以及替换比例表Fx、Fy和Fz(步骤S13)。

应该注意，当饱和水平如图2所示时，下面的等式成立：Mx＝Mr、My＝Mb、Mz＝Mg、x＝r、y＝b、z＝g、Fx＝Fr、Fy＝Fb和Fz＝Fg。

然后，替换处理单元15调整颜色信号值x、y和z，从而使得它们可以落在以稍后所述方式通过D范围调整单元13所确定的输入上限Wt内(步骤S14)。当颜色信号值x、y和z超过输入上限Wt时，替换处理单元15进行阈值处理，其中，替换处理单元15利用输入上限Wt替换颜色信号值x、y和z。

也就是说，在步骤S14的处理中，替换处理单元15进行通过下面的数学表达式(1)所表示的阈值处理。

[数学表达式1]

x＝Min(x，Wt)

y＝Min(y，Wt)(I)

z＝Min(z，Wt)

应该注意，在步骤S14，代替上述阈值处理，可以进行压缩所有颜色信号值或者颜色信号值的一部分的处理。例如，如下面的表达式(2)所示，将从预定阈值THx到饱和水平Mx的信号值，压缩成从阈值THx到输入上限Wt的信号值。当n＝1成立时(n是乘数，并且是不小于1的整数)，替换处理单元15线性压缩不小于阈值THx的颜色信号值。当n＝2成立时，替换处理单元15非线性压缩颜色信号值，从而使得不小于阈值THx的颜色信号值可以落在输入上限Wt内。另外，可以对在其它颜色信号值的替换时所使用的颜色信号值进行压缩处理，并且可以对要替换的其它颜色信号值进行阈值处理。

[数学表达式2]

如上所述，由于在步骤S14的处理中，使得所有颜色信号值在替换处理之前落在输入上限Wt内，因而避免了在颜色信号值超过输入上限Wt的动态范围的调整时发生由于信号值的替换而使得饱和逆转的现象。

然后，替换处理单元15对RAW数据的各像素进行下述处理。首先，替换处理单元15将颜色信号值x和y进行相互比较，以判断是否颜色信号值y<颜色信号值x(步骤S15)。

在判断为颜色信号值y<颜色信号值x时(步骤S15为“是”)，替换处理单元15利用颜色信号值x替换颜色信号值y(步骤S16)。在步骤S16的处理中，替换处理单元15根据替换比例表进行替换处理，从而使得颜色信号值y越接近其饱和水平，利用颜色信号值x的替换比例越高。

例如，替换处理单元15从替换比例表Fy获得颜色信号值y的替换比例。替换处理单元15将颜色信号值x和颜色信号值y之间的差乘以替换比例，然后进行替换处理，在该替换处理中，替换处理单元15将相乘结果相加至颜色信号值y。也就是说，替换处理单元15获得下面的表达式所示的、替换之后的颜色信号值y：y＝y+(x-y)×Fy(y)。

应该注意，替换处理单元15可以将颜色信号值x和饱和水平My之间的差乘以替换比例，然后进行替换处理，在该替换处理中，替换处理单元15将相乘结果相加至颜色信号值y。此外，替换处理单元15可以将通过将颜色信号值x乘以替换比例所获得的相乘结果，相加至通过将颜色信号y乘以(1－替换比例)所获得的相乘结果。

然后，替换处理单元15获得替换颜色信号值z的替换候选值mix。具体地，例如，替换处理单元15采用颜色信号值x和颜色信号值y的平均值作为替换候选值mix。也就是说，替换处理单元15使用下面的表达式确定替换候选值mix：mix＝(x+y)/2(步骤S17)。应该注意，当替换处理单元15在步骤S15判断为颜色信号值y≥颜色信号值x时(步骤S15为“否”)，在替换处理单元15不替换颜色信号值y的情况下，处理进入步骤S17。

当在步骤S16替换颜色信号值y时，使用替换之后的颜色信号值y来计算替换候选值mix。通过使用替换之后的颜色信号值y来计算替换候选值mix，使得替换之后的颜色信号值z的饱和水平等于替换之后的颜色信号值x的饱和水平和颜色信号值y的饱和水平。

然后，替换处理单元15将颜色信号z和替换候选值mix进行相互比较，以判断是否颜色信号值z<替换候选值mix(步骤S18)。当判断为颜色信号值z<替换候选值mix时(步骤S18为“是”)，替换处理单元15利用替换候选值mix替换颜色信号值z(步骤S19)。在步骤S19的处理中，替换处理单元15根据替换比例表进行替换处理，从而使得颜色信号值z越接近其饱和水平，利用替换候选值mix的替换比例越高。

例如，替换处理单元15从替换比例表Fz，获得颜色信号值z的替换比例。替换处理单元15将替换候选值mix和颜色信号值z之间的差乘以替换比例，然后进行替换处理，在该替换处理中，替换处理单元15将相乘结果相加至颜色信号值z。也就是说，替换处理单元15获得下面的表达式所示的、替换之后的颜色信号值z：z＝z+(mix-z)×Fz(z)。

应该注意，替换处理单元15可以将替换候选值mix和饱和水平Mz之间的差乘以替换比例，然后进行替换处理，在该替换处理中，替换处理单元15将相乘结果相加至颜色信号值z。此外，替换处理单元15可以将通过将替换候选值mix乘以替换比例所获得的相乘结果，相加至通过将颜色信号z乘以(1－替换比例)所获得的相乘结果。

在步骤S19之后，替换处理单元15判断是否对于RAW数据的所有像素完成了替换。也就是说，替换处理单元15判断是否完成了对于直到最后一个像素的替换(步骤S20)。

当替换处理单元15判断为没有完成对于直到最后一个像素的替换时(步骤S20为“否”)，处理返回至步骤S12，在步骤S12，替换处理单元15获得下一像素的颜色信号值r、g和b。另一方面，在判断为完成了对于直到最后一个像素的替换时(步骤S20为“是”)，替换处理单元15终止对于RAW数据的替换。

应该注意，当替换处理单元15在步骤S18判断为颜色信号值z≥替换候选值mix(步骤S18为“否”)，则处理进入步骤S20。

图4是示出图1中的替换比例调整单元14所生成的示例性替换比例表的图。

在图4中，控制点30表示X坐标是颜色信号的信号值的输入、并且Y坐标是颜色信号的信号值的输出的点。控制点31是输出为“1”时的点。通过使用线性函数或者仿样(spline)函数等对控制点之间的颜色信号值进行插值，获得替换比例表。

饱和水平32是颜色信号值y的饱和水平，而且通过使得控制点30向饱和水平32线性伸缩，获得替换比例表33。此外，通过使得控制点34向饱和水平32线性伸缩并且平行移动，从而使得控制点31的X坐标可以与饱和水平32重叠，来获得替换比例表35。

具体地，例如，使用下面的表达式(3)将控制点的X坐标从p移动至p’。这里，使用1024作为基准，确定控制点的X坐标p。假定通过下面的表达式表示控制点在这种情况下的平行移动量P：P＝My，由于在输入上限Wt＝2My时的伸缩率Q＝1，因而获得替换比例表33。另外，由于在输入上限Wt＝1.1My时伸缩率Q＝0.1，因而获得替换比例表35。

[数学表达式3]

在上述例子中，尽管假定平行移动量P是My，从而使得当输入颜色信号值时，饱和水平替换比例可以是“1”，但是，替换比例和平行移动量之间的关系不局限于此。例如，控制点的平行移动量P可以是0.9My，并且当饱和水平是9/10以上时，替换比例可以是“1”。

在这种情况下，在步骤S16的替换处理中，即使在替换比例变成“1”之后，直到要替换的颜色信号值y达到输入上限Wt之前，可以通过将通过将颜色信号值x和平行移动量My之间的差乘以替换比例所获得的值相加至颜色信号值y来表现色阶。

图5是示出在图3的替换处理中使用图4中的替换比例表提供替换比例控制时所获得的示例性替换结果的图。

在图5中，横轴表示颜色信号值，并且纵轴表示来自替换处理单元15的输出(替换输出)。附图标记41指定颜色信号值y的饱和水平My。附图标记40指定要替换的颜色信号值y，此外，附图标记42表示要替换颜色信号值y的颜色信号值x。附图标记43指定在图3的步骤S16没有使用替换比例表的情况下，当y＝x时所获得的替换结果。在图5所示的例子中，颜色信号值y(40)和颜色信号值x(42)之间的颜色比是1：2，并且颜色信号值x(42)的输出是颜色信号值y(40)的两倍。

当要替换的颜色信号值y(40)达到饱和水平My(41)时，信号值由于利用颜色信号值x(42)的替换而发生大的变化。该变化自身呈现为显影结果中的色调跳跃。

附图标记44指定在使用替换比例表33时所获得的替换结果。这里，要替换的颜色信号值y(40)越接近饱和水平My(41)，利用颜色信号值x(42)的替换比例越高。当颜色信号值y(40)变成饱和时，利用颜色信号值x(42)替换颜色信号值y(40)。

附图标记45指定在使用替换比例表35时所获得的替换结果。在替换结果45中，开始颜色信号值y(40)的替换时的输入值(即，颜色信号值)大于替换结果44中的。

在替换结果44和45两者中，在饱和水平My(41)下没有发生饱和，并且在动态范围的调整期间，可以在不发生饱和状态的逆转的情况下，实现用于改变输入上限的效果。

图6A～6D是用于说明通过图3的替换处理所生成的、替换之后的RAW数据的图。图6A是示出所有颜色信号R、G和B在Wb调整之后都达到了饱和水平的状态的图，并且图6B是示出颜色信号G和B在WB调整之后达到了饱和水平的状态的图。图6C是示出颜色信号R和G在WB调整之后达到了饱和水平的状态的图。图6D是示出仅颜色信号G在WB调整之后达到了饱和水平的状态的图。

在图6A～6D中，纵轴表示信号值(即，颜色信号值)的大小。在图6A所示的例子中，WB调整之后的所有颜色信号R、G和B分别达到了饱和水平23、25和24。当对于颜色信号R、G和B进行以上参考图3所述的替换处理时，在步骤S16利用颜色信号R替换颜色信号B，此外，在步骤S19利用替换候选值mix替换颜色信号G。结果，替换之后的颜色信号R、G和B的信号值达到饱和水平23。

在图6B所示的例子中，WB调整之后的颜色信号G和B的信号值分别达到饱和水平25和24。当对于颜色信号R、G和B进行以上参考图3所述的替换处理时，在步骤S15判断为颜色信号R小于颜色信号B，因此不替换颜色信号B。另一方面，在步骤S19，利用替换候选值mix替换颜色信号G。

结果，替换之后的颜色信号R的信号值与WB调整之后的颜色信号R的信号值相同，并且替换之后的颜色信号G的信号值与WB调整之后的颜色信号R和B的信号值的平均值相同。替换之后的颜色信号B的信号值与WB调整之后的颜色信号B的信号值相同。

在图6C所示的例子中，WB调整之后的颜色信号R和G的信号值分别达到了饱和水平23和25。当对于颜色信号R、G和B进行以上参考图3所述的替换处理时，在步骤S16，根据替换比例表33，利用颜色信号R替换颜色信号B。另一方面，在步骤S19，利用替换候选值mix替换颜色信号G。

结果，替换之后的颜色信号R的信号值与WB调整之后的颜色信号R的信号值相同，并且替换之后的颜色信号G的信号值与WB调整之后的颜色信号R和B的信号值的平均值相同。替换之后的颜色信号B的信号值大于WB调整之后的颜色信号B的信号值。

在图6D所示的例子中，WB调整之后的颜色信号G的信号值达到了饱和水平25。当对于颜色信号R、G和B进行以上参考图3所述的替换处理时，在步骤S16，根据替换比例表33，利用颜色信号R替换颜色信号B，然而，由于颜色信号B小，因而替换比例为“0”。另一方面，在步骤S18判断为替换候选值mix小于颜色信号G的信号值，因此不替换颜色信号G。结果，替换之后的颜色信号R、G和B的信号值与WB调整之后的颜色信号R、G和B的信号值相同。

图7是示出图1中的伽马校正单元17所使用的示例性伽马曲线的图。

在图7中，横轴表示伽马校正之前的信号值，并且纵轴表示伽马校正之后的信号值。基于饱和水平23设置伽马曲线50，并且该伽马曲线50被伽马校正单元17使用。通过附图标记51指定伽马曲线50的输入上限，并且通过附图标记52指定伽马校正之后的输出上限。

当替换处理单元15进行替换处理时，通过伽马校正单元17来使用伽马曲线53。通过附图标记54指定伽马曲线53的输入上限，并且通过D范围调整单元13来确定该输入上限。

通过将向伽马曲线50线性延伸输入上限51直到输入上限54为止，生成伽马曲线53。通过使用伽马曲线53进行伽马校正，以伽马校正单元17的输出上限52及其以下反映从输入上限51到输入上限54的色阶。

图8是示出图1中的颜色处理单元19所使用的示例性颜色抑制表的图。

在图8中，横轴表示亮度、色像差或者色比，并且纵轴表示相对于颜色饱和度的增益。通过基于RAW数据中各像素的信号值参考颜色抑制表，颜色处理单元19将各像素的颜色饱和度乘以增益。结果，颜色处理单元19抑制图像的高亮度区域中的颜色。

基于饱和水平23设置颜色抑制表60，并且该颜色抑制表60被颜色处理单元19使用。控制点61是颜色抑制的开始点。控制点62是颜色抑制的结束点。在颜色抑制表60中，直到控制点61一直不进行颜色抑制，从控制点61到控制点62逐渐增强颜色抑制，并且从控制点62开始以后完全抑制颜色。

当替换处理单元15进行替换处理时，通过颜色处理单元19使用颜色抑制表63。控制点64是颜色抑制的开始点。通过线性延伸颜色抑制表60的控制点61到控制点64，生成颜色抑制表63。

这里，通过将输入上限54的相对于上述伽马曲线的输入上限51的延伸倍率乘以预定函数，将控制点61线性延伸到控制点64。通过使用颜色抑制表63，可以减弱从控制点61到控制点62的颜色抑制。

控制点65是颜色抑制的结束点。通过将控制点64的相对于控制点61的延伸倍率乘以预定函数，将控制点62线性延伸直到控制点65。结果，获得颜色抑制表66。通过使用颜色抑制表66，可以再现从控制点64到控制点65由于颜色抑制产生的颜色饱和度丧失。

现说明通过上述替换处理所获得的示例性RAW数据。

图9A和9B是用于说明通过利用图1中的显影单元2所进行的替换处理来提高高亮度区域中的色阶的图。图9A示出传统显影结果，并且图9B示出根据第一实施例所获得的显影结果。

参考图9A和9B，太阳70周围存在耀斑71，此外，存在反射来自太阳70的光的云72。至少太阳70、耀斑71和云72是高亮度区域。

在通过根据WB调整之后的最小颜色信号进行限幅所获得的显影结果中(图9A)，云72由于不足的动态范围而具有曝光过度的高亮。另一方面，在图9B所示的显影结果中，以最大可能地使用RAW数据的色阶，因此云73是清晰的(云73的色阶被表现了出来)。在图9B所示的显影结果中，提供用于逐渐替换超过阈值的颜色信号的控制，在不会导致色调跳跃的情况下表现太阳70周围的耀斑74。

因此，根据本发明的第一实施例，由于高亮度区域中的色阶因为替换而增强，并且，增大了高亮度区域中的增益，因而忠实地表现了高亮度区域中的颜色。

此外，根据第一实施例，进行替换，从而使得使用用于控制替换比例的替换比例表来向着饱和水平增大替换比例。结果，颜色信号值逐像素依次变化，从而避免色调跳跃。

应该注意，在上述第一实施例中，利用颜色信号X(42)替换颜色信号Y(4)，可以在使用替换候选值mix替换颜色信号X(42)、使用颜色信号Z替换颜色信号Y(40)的情况下，以相同方式防止颜色信号Z的色调跳跃。

接着，说明作为根据本发明第二实施例的图像处理设备的照相机。

应该注意，根据第二实施例的照相机具有与图1中的照相机相同的结构，因此这里省略对其的说明。在根据第二实施例的图像处理设备中，进行与图3中的替换处理相同的替换处理。

图10是示出根据第二实施例的图像处理设备中的替换比例调整单元所生成的示例性替换比例表的图。

在图10所示的例子中，根据指数函数生成替换比例表。替换比例调整单元14根据下面的表达式(4)计算颜色信号y的替换比例。当阈值s＝0、并且因数n＝2(二次方)时，获得替换比例表80，其中，作为输入上限的收敛点R＝My。当阈值s＝0.9My、并且因数n＝2时，获得替换比例表81。

[数学表达式4]

Fy(y)＝0 (y<s)

在上述例子中，假定收敛点R是My，从而使得输入时的饱和水平替换比例可以为“1”，替换比例和收敛点R之间的关系不局限于此。例如，假定收敛点R为0.9My，当饱和水平为9/10以上时，替换比例可以是“1”。

图11是示出在使用图10中的替换比例表进行图3中的替换处理时所获得的示例性替换结果的图。

在图11中，横轴表示颜色信号值，并且纵轴表示来自替换处理单元15的输出(替换输出)。附图标记90指定在使用替换比例表80时所获得的替换结果。这里，要替换的颜色信号值y(40)越接近饱和水平My(41)，利用颜色信号值x(42)的替换比例越高。当颜色信号值y(40)变成饱和的时，利用颜色信号值x(42)替换颜色信号值y(40)。

附图标记91指定在使用替换比例表81时所获得的替换结果。在替换结果91中，开始颜色信号值y(40)的替换时的输入值(即，颜色信号值)大于替换结果90中的。

在替换结果90和91两者中，在饱和水平My(41)下不会发生饱和，并且在动态范围的调整期间，可以在不发生饱和逆转的情况下实现用于改变输入上限的效果。

接着，说明作为根据本发明第三实施例的图像处理设备的照相机。

应该注意，根据第三实施例的照相机具有与图1中的照相机相同的结构，因此这里省略对其的说明。在根据第三实施例的图像处理设备中，进行与图3中的替换处理相同的替换处理。

图12是示出根据第三实施例的图像处理设备中的替换比例调整单元14所生成的示例性替换比例表的图。

在图12所示的例子中，根据高斯函数生成替换比例表。替换比例调整单元14根据下面的表达式(5)，计算用于颜色信号y的替换比例。也就是说，对于各颜色信号，根据饱和水平和输入上限设置平均值和方差，并且对于各颜色信号，通过使通过对高斯函数积分直到达到饱和水平所获得的积分值标准化，而获得替换比例表。

假定收敛点R是My，当平均值μ是My、并且方差σ是0.25My时，获得替换比例表100。另外，当平均值μ是My、并且方差σ是0.04My时，获得替换比例表101。

[数学表达式5]

在上述例子中，假定收敛点R是My，因而使得输入时用于饱和水平的替换比例可以是“1”，替换比例和收敛点R之间的关系不局限于此。例如，假定收敛点R是0.9My，当饱和水平是9/10以上时，替换比例可以是“1”。

图13是示出当使用图12中的替换比例表进行图3中的替换处理时所获得的示例性替换结果的图。

在图13中，横轴表示颜色信号值，并且纵轴表示来自替换处理单元15的输出(替换输出)。附图标记110指定在使用替换比例表100时所获得的替换结果。这里，要替换的颜色信号值y(40)越接近饱和水平My(41)，利用颜色信号值x(42)的替换比例越高。当颜色信号值y(40)变成饱和的时，利用颜色信号值x(42)替换颜色信号值y(40)。

附图标记111指定在使用替换比例表101时所获得的替换结果。在替换结果111中，开始颜色信号值y(40)的替换时的输入值(即，颜色信号值)大于替换结果110中的。

在替换结果110和111两者中，在饱和水平My(41)下不会发生饱和，并且在动态范围的调整期间，可以在不发生饱和逆转的情况下实现用于改变输入上限的效果。

其它实施例

还可以通过读出并执行记录在存储装置(还可被更全面地称为“非暂时性计算机可读存储介质”)上的计算机可执行指示(例如，一个以上的程序)以进行一个以上的上述实施例的功能的、并且/或者包括用于进行一个以上的上述实施例的功能的电路(例如，专用集成电路(ASIC))的系统或设备的计算机、以及通过下面的方法来实现本发明的方面，其中，通过系统或设备的计算机例如从存储介质读出并执行计算机可执行指示程序以进行一个以上的上述实施例的功能、以及/或者通过控制一个以上的电路以进行一个以上的上述实施例的功能来进行该方法。计算机可以包含一个以上的处理单元(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离的计算机或者分离的计算机处理器的网络以读出和执行计算机可执行指示。可以通过例如网络或者存储介质将计算机可执行指示提供给计算机。存储介质可以包括例如一个以上的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)^TM等)、闪存存储器装置和存储卡等。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2014年2月21日提交的日本2014-031632号专利申请的优先权，其全部内容通过引用包含于此。

Claims (17)

1.一种图像处理设备，其对拍摄数据进行显影以获得显影数据，所述图像处理设备的特征在于包括：

饱和水平计算单元，用于将获得所述拍摄数据的摄像装置的饱和值乘以在调整所述拍摄数据的白平衡时所使用的白平衡系数，来计算所述拍摄数据中的各个颜色信号的饱和水平；

上限确定单元，用于确定所述拍摄数据中的动态范围的上限；

替换比例计算单元，用于基于所述上限，获得向着所述颜色信号的饱和水平变化的所述颜色信号的替换比例；

调整单元，用于根据所述上限，调整各个所述颜色信号；

替换处理单元，用于通过按照所述饱和水平计算单元所计算出的饱和水平的降序对所述颜色信号进行排序，来确定要替换的颜色信号，并且基于所述替换比例，进行利用饱和水平高的颜色信号替换饱和水平低的颜色信号的替换处理；以及

显影处理单元，用于通过对经过了所述替换处理单元所进行的所述替换处理的所述拍摄数据进行预定处理，获得所述显影数据。

2.根据权利要求1所述的图像处理设备，其中，所述替换比例向着所述颜色信号的饱和水平单调增大。

3.根据权利要求1所述的图像处理设备，其中，随着所述上限增大，所述替换比例计算单元加宽饱和水平低的颜色信号中基于所述替换比例所要替换的范围。

4.根据权利要求1所述的图像处理设备，其中，所述替换处理单元通过将如下所述的相乘结果相加，来进行所述替换处理：通过将要替换的颜色信号乘以(1－替换比例)所获得的相乘结果；以及通过将用以替换该颜色信号的颜色信号乘以所述替换比例所获得的相乘结果。

5.根据权利要求1所述的图像处理设备，其中，所述替换处理单元通过将如下所述的相乘结果与要替换的颜色信号相加，来进行所述替换处理：通过将要替换的颜色信号和用以替换该颜色信号的颜色信号之间的差乘以所述替换比例所获得的相乘结果。

6.根据权利要求1所述的图像处理设备，其中，所述替换处理单元通过将如下所述的相乘结果与要替换的颜色信号相加，来进行所述替换处理：通过将要替换的颜色信号和用于替换该颜色信号的颜色信号之间的饱和水平的差乘以所述替换比例所获得的相乘结果。

7.根据权利要求1所述的图像处理设备，其中，在所述替换处理单元所进行的所述替换处理之前，所述调整单元进行利用所述上限替换超过所述上限的颜色信号的阈值处理。

8.根据权利要求1所述的图像处理设备，其中，在所述替换处理单元所进行的所述替换处理之前，所述调整单元对超过所述上限的颜色信号进行压缩处理，从而使得该颜色信号的饱和水平落在所述上限内。

9.根据权利要求1所述的图像处理设备，其中，针对在对另一颜色信号进行所述替换处理所使用的颜色信号，所述调整单元进行压缩处理，从而使得该颜色信号的饱和水平在所述替换处理单元所进行的所述替换处理之前落在所述上限内，并且针对所述另一颜色信号，在所述替换处理单元所进行的所述替换处理之前，所述调整单元进行利用所述上限替换超过所述上限的颜色信号的阈值处理。

10.根据权利要求1所述的图像处理设备，其中，针对各个所述颜色信号，所述替换比例计算单元根据所述饱和水平和所述上限，设置用于各个所述颜色信号的控制点的平行移动量，并且通过根据所述平行移动量平行移动与预先所确定的替换比例相对应的控制点，计算所述替换比例。

11.根据权利要求1所述的图像处理设备，其中，针对各个所述颜色信号，所述替换比例计算单元根据所述饱和水平和所述上限，设置阈值和因数n，并且针对超过所述阈值的颜色信号，通过将(信号值－阈值)/(上限－阈值)增大至n次方，计算所述替换比例。

12.根据权利要求1所述的图像处理设备，其中，针对各个所述颜色信号，所述替换比例计算单元根据所述饱和水平和所述上限，设置平均值和方差，并且针对各个所述颜色信号，通过使通过对高斯函数进行积分直到达到所述饱和水平所获得的积分值标准化，计算所述替换比例。

13.根据权利要求1所述的图像处理设备，其中，

所述显影处理单元还包括伽马校正单元，所述伽马校正单元校正图像的对比度和所述动态范围，以及

其中，所述伽马校正单元使基于所述饱和水平计算单元所计算出的饱和水平中的最大饱和水平所设置的伽马曲线线性延伸，并且根据所延伸的伽马曲线校正所述对比度和所述动态范围。

14.根据权利要求1所述的图像处理设备，其中，

所述显影处理单元还包括颜色处理单元，所述颜色处理单元调整图像的色相，并且抑制所述图像的高亮度区域中的颜色弯曲，以及

其中，所述颜色处理单元使基于通过所述饱和水平计算单元所计算出的饱和水平中的最大饱和水平所设置的颜色抑制表线性延伸，并且根据所延伸的颜色抑制表调整所述色相和抑制所述高亮度区域中的颜色弯曲。

15.根据权利要求1所述的图像处理设备，其中，还包括光学校正单元，所述光学校正单元被配置成降低从设置在用于获得所述拍摄数据的摄像单元中的镜头所产生的周边光量，并且消除倍率色像差和色像差、以及校正失真，

其中，所述替换处理单元对所述光学校正单元校正后的拍摄数据进行所述替换处理，以及

所述显影处理单元包括消噪单元，其中，所述消噪单元通过对经过了所述替换处理单元所进行的所述替换处理的拍摄数据进行滤波处理或者分层处理，消除亮度噪声和颜色噪声。

16.根据权利要求1所述的图像处理设备，其中，还包括光学校正单元，所述光学校正单元被配置成降低从设置在用于获得所述拍摄数据的摄像单元中的镜头所产生的周边光量，消除倍率色像差和色像差，并且校正失真，

其中，针对经过了所述替换处理单元所进行的所述替换处理的拍摄数据，所述光学校正单元降低所述周边光量，消除所述倍率色像差和所述色像差，并且校正所述失真。

17.一种用于图像处理设备的图像处理方法，其中，所述图像处理设备对拍摄数据进行显影以获得显影数据，所述图像处理方法的特征在于包括以下步骤：

饱和水平计算步骤，用于将获得所述拍摄数据的摄像装置的饱和值乘以在调整所述拍摄数据的白平衡时所使用的白平衡系数，来计算所述拍摄数据中的各个颜色信号的饱和水平；

上限确定步骤，用于确定所述拍摄数据中的动态范围的上限；

替换比例计算步骤，用于基于所述上限，获得向着所述颜色信号的饱和水平变化的所述颜色信号的替换比例；

调整步骤，用于根据所述上限，调整各个所述颜色信号；

替换处理步骤，用于通过按照在所述饱和水平计算步骤中计算出的饱和水平的降序对所述颜色信号进行排序，来确定要替换的颜色信号，并且基于所述替换比例，进行利用饱和水平高的颜色信号替换饱和水平低的颜色信号的替换处理；以及

显影处理步骤，用于通过对经过了所述替换处理步骤中的所述替换处理的所述拍摄数据进行预定处理，获得所述显影数据。