CN113473099A - 图像系统、图像信号处理器的操作方法和对比度增强方法 - Google Patents

Abstract

提供了一种图像系统、图像信号处理器的操作方法和对比度增强方法，所述图像信号处理器(ISP)被配置为对从图像装置接收的原始图像执行信号处理，所述操作方法包括：基于输入图像生成多个多尺度图像，所述多个多尺度图像具有彼此不同的分辨率；对所述多个多尺度图像中的每个迭代地执行基于快速全局加权最小二乘(FGWLS)的操作，以生成最终照度图；以及基于最终照度图和输入图像输出增强的图像。

Description

图像系统、图像信号处理器的操作方法和对比度增强方法

本申请要求于2020年3月30日提交到韩国知识产权局的第10-2020-0038285号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。

技术领域

本公开的示例实施例涉及图像装置，更具体地，涉及包括图像信号处理器的图像系统和图像信号处理器的操作方法。

背景技术

包括在智能电话、平板个人计算机(PC)或数码相机中的图像传感器通过将从外部对象反射的光转换为电信号来获得关于外部对象的图像信息。各种图像信号处理操作被执行，以将从图像传感器获得的电信号转换为人实际可感知的图像信息或以改善图像质量。

发明内容

一个或多个示例实施例提供了一种包括图像信号处理单元的图像系统和图像信号处理器的操作方法。

根据示例实施例的一方面，提供了一种图像信号处理器(ISP)的操作方法，所述ISP被配置为对从图像装置接收的原始图像执行信号处理，所述操作方法包括：基于输入图像生成多个多尺度图像，所述多个多尺度图像具有彼此不同的分辨率；对所述多个多尺度图像中的每个迭代地执行基于快速全局加权最小二乘(FGWLS)的操作，以生成最终照度图；以及基于最终照度图和输入图像输出增强的图像。

根据示例实施例的一方面，提供了一种图像系统，包括：图像传感器，被配置为基于从外部对象反射的光输出原始图像；以及图像信号处理器，被配置为：对原始图像执行预处理以生成输入图像，通过基于多尺度的提取操作基于输入图像提取最终照度图，以及基于最终照度图和输入图像生成增强的图像，其中，基于多尺度的提取操作包括：基于输入图像生成具有不同分辨率的多个多尺度图像；对所述多个多尺度图像迭代地执行照度图提取操作；以及输出作为迭代地执行照度图提取操作的结果的最终照度图。

在一个示例性实施例中，照度图提取操作基于以下项被执行：

其中，(x，y)指示像素位置，FGWLS指示基于快速全局加权最小二乘(FGWLS)的操作的函数，Lⁱ指示FGWLS的计算结果，↑_n指示将输入放大n倍那么多的函数，

指示通过将初始照度图缩小n^l倍那么多而获得的照度图，Gⁱ指示引导图像，λⁱ指示在基于FGWLS的操作的函数中使用的平坦化水平，Tⁱ指示在用于基于FGWLS的操作的函数中使用的基于行的计算和基于列的计算的次数，并且照度图提取操作基于从“l”逐步改变为“0”的“i”被执行。

根据示例实施例的又一方面，提供了一种图像信号处理器的图像对比度增强方法，所述方法包括：基于输入图像生成初始照度图；将初始照度图迭代地缩小n倍那么多以生成多个多尺度图像，其中，n是大于1的正整数；基于所述多个多尺度图像之中的具有最低分辨率的第一图像来执行第一计算；基于第一计算的结果和所述多个多尺度图像之中的具有第二最低分辨率的第二图像来执行第二计算；基于第二计算的结果和所述多个多尺度图像之中的具有最高分辨率的第三图像来执行第三计算；生成第三计算的结果作为最终照度图；以及基于最终照度图和输入图像生成增强的图像，其中，第一计算、第二计算和第三计算基于快速全局加权最小二乘(FGWLS)。

附图说明

通过参照附图详细描述示例实施例，以上和/或其他方面将变得清楚，其中：

图1是示出根据示例实施例的图像系统的框图；

图2是示出图1的图像信号处理单元的框图；

图3是示出图2的增强模块的操作的流程图；

图4是示出图2的增强模块的框图；

图5是示出图4的照度图提取单元的操作的流程图；

图6是示出图4的照度图提取单元的框图；

图7是示出图5的操作S123的流程图；

图8A和图8B是示出图6的多尺度FGWLS的框图；

图9是用于描述根据图6至图8B的照度图提取单元的操作的示例效果的示图；

图10是示出图4的增强单元的框图；

图11是示出图4的颜色恢复单元的框图；

图12A和图12B是用于描述根据示例实施例的示例效果的示图；

图13是示出根据示例实施例的图像传感器装置的框图；以及

图14是示出根据示例实施例的电子装置的框图。

具体实施方式

以下，示例实施例可被详细且清楚地描述到使本领域普通技术人员可实现示例实施例的这样的程度。

在下文中，在具体实施方式中参照术语“部件”、“单元”、“模块”、“层”等描述的组件以及附图中示出的功能块可以以软件、硬件或其组合的形式来实现。例如，软件可以是机器代码、固件、嵌入式代码和应用软件。例如，硬件可包括电路、电子电路、处理器、计算机、集成电路、集成电路核、压力传感器、惯性传感器、微机电系统(MEMS)、无源元件或其组合。

图1是示出根据示例实施例的图像系统的框图。参照图1，图像系统10可包括图像传感器(或者，图像传感器装置)11和图像信号处理器(或者，图像信号处理单元)12。图像系统10可以是被配置为获得与外部对象相关联的视频或图像的各种电子系统(诸如，以智能电话、平板计算机、黑匣子和用于车辆的电子装置为例)中的至少一种，或者图像系统10可包括在被配置为获得与外部对象相关联的视频或图像的各种电子系统(诸如，以智能电话、平板计算机、黑匣子和用于车辆的电子装置为例)中的至少一种中。

图像传感器11可接收从外部对象反射的光，并且可基于接收的光获得与外部对象相关联的图像、图像信息或图像数据。例如，图像传感器11可包括诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器和动态视觉传感器(DVS)图像传感器的各种图像传感器中的至少一种。图像传感器11可输出基于从外部对象反射的光生成的图像作为原始图像RAW。在一个示例实施例中，原始图像RAW可指示由图像传感器11获得的图像数据。也就是说，原始图像RAW可以是尚未经历单独图像处理的图像数据的原版。可选地，原始图像RAW也可以是经历了图像处理(例如，在图像传感器11中执行的高动态范围(HDR)或宽动态范围(WDR))的图像。

图像信号处理器12可从图像传感器11接收原始图像RAW，并且可对接收的原始图像RAW执行图像信号处理。图像信号处理器12可输出输出图像IMG_out作为图像信号处理的结果。在一个示例实施例中，与原始图像RAW相比，输出图像IMG_out可具有增强的图像质量。输出图像IMG_out可被提供给外部装置(例如，应用处理器(AP)、图形处理器(GPU)或显示装置)。

图2是示出图1的图像信号处理器的框图。参照图1和图2，图像信号处理器12可对从图像传感器11接收的原始图像RAW执行各种图像信号处理，并且可生成或输出具有增强的质量的输出图像IMG_out。例如，图像信号处理器12可包括降噪模块12a、白平衡模块12b、滤色器阵列(CFA)插值模块12c、校正模块12d、增强模块100和存储器装置12e。

降噪模块12a可执行例如用于降低从图像传感器11接收的原始图像RAW的噪声的降噪的图像信号处理。白平衡模块12b可执行例如对降噪模块12a的输出进行白平衡的图像信号处理。滤色器阵列插值模块12c可对白平衡模块12b的输出执行例如基于图像传感器11的滤色器阵列的颜色插值的图像信号处理。校正模块12d可对滤色器阵列插值模块12c的输出执行例如基于各种因素(诸如，颜色和伽马特性)的校正的图像信号处理。

增强模块100可对校正模块12d的输出执行例如用于增强图像质量(诸如，边缘、对比度和颜色)的增强操作的图像信号处理。增强模块100的输出可作为输出图像IMG_out输出。存储器装置12e可被配置为存储包括在图像信号处理器12中的降噪模块12a、白平衡模块12b、CFA插值模块12c、校正模块12d和增强模块100的输出或中间结果。

如上所述，图像信号处理器12可通过对来自图像传感器11的原始图像RAW执行各种图像信号处理，来生成具有增强的质量的输出图像IMG_out。在一个示例实施例中，图2中示出的图像信号处理器12的配置或图像信号处理操作是示例，并且实施例不限于此。例如，图像信号处理器12可基于与图2中示出的配置不同的配置对原始图像RAW执行图像信号处理。

在一个示例实施例中，图像信号处理器12的增强模块100可被配置为对图像执行对比度增强。以下将更全面地描述图像信号处理器12中的增强模块100的图像信号处理(详细地，用于对比度增强的图像信号处理)。例如，示例实施例将被描述为图像信号处理器12或增强模块100对输入图像执行用于对比度增强的图像信号处理，但是实施例不限于此。

在图像在背光环境或低照度环境中被获得的情况下，可有必要对输入图像执行用于对比度增强的图像信号处理。例如，在图像传感器11在诸如背光或低照度的拍摄环境中获得图像的情况下，因为获得的图像的部分区域的亮度相对低，所以包括在该部分区域中的对象可能无法被识别。为了识别该部分区域中的对象，整个图像的亮度可被增加。然而，由于图像的不同区域(例如，相对亮的区域)的亮度一起被增加，所以包括在该不同区域中的对象可能无法被识别。

因此，为了增强在诸如背光或低照度的拍摄环境中获得的图像的质量，使伪影(artifact)(诸如，光晕或褪色)最小化以及有效地改善图像的局部对比度是重要的。改善图像的质量(例如，对比度)的方案可包括基于直方图的方案、基于除雾的方案、基于滤波的方案、基于retinex的方案等。以上方案之中的基于retinex的方案认为输入图像通过照度(illuminance)和反射率(reflectance)被定义，如以下等式1所示。

[等式1]

F(x，y)＝R(x，y)·L(x，y)

参照以上等式1，F指示输入图像，R指示关于输入图像的反射率信息，L指示关于输入图像的照度信息，(x，y)指示输入图像中的坐标。如从以上等式1理解的那样，输入图像F可基于作为照度分量的L以及作为反射率分量的R被表示。

为了增强输入图像的对比度，有必要提取与输入图像相关联的照度信息或照度图。输入图像的照度可根据输入图像中的亮度的整体分布被确定，而反射率可通过输入图像中的对象的唯一特性被确定。例如，输入图像的照度分量可主要包括低频分量，输入图像的反射率分量可主要包括高频分量。因此，如以下等式2所示，可通过将低通滤波应用于输入图像来提取照度信息或照度图，并且如以下等式3所示，可通过从输入图像去除关于照度图的信息来提取反射率。

[等式2]

L(x，y)＝LPF(F(x，y))

[等式3]

lnR(x，y)＝lnF(x，y)-lmL(x，y)

在等式2和等式3中，LPF指示与低通滤波对应的函数，剩余的参考符号参照以上等式1被描述。在基于等式2和等式3提取照度信息的情况下，因为高频分量被滤波，所以边缘(例如，高频分量)不会保留在提取的照度信息或照度图中。当边缘未保留在照度信息中时，在最终图像中可能发生伪影(诸如，光晕现象)。

为了解决以上问题，基于加权最小二乘(WLS)提取照度图的方案可被使用。基于WLS的提取方案指示通过获得由数据项和约束项组成的矩阵的最优解来提取照度图的方案。基于WLS的提取方案可强烈地平坦化相似的亮度区域，同时保留输入图像的边缘。在这种情况下，基于WLS的提取方案可通过计算稀疏拉普拉斯矩阵(sparse Laplacian matrix)的逆矩阵来获得矩阵的最优解。在这种情况下，稀疏拉普拉斯矩阵的元素可指示像素之间的相似性。基于WLS的提取方案的优势在于：在保留边缘的同时，平坦化强度大。然而，因为基于WLS的提取方案需要计算大尺寸的矩阵，所以大量的硬件资源被使用，并且计算速度非常慢，并且可能难以将基于WLS的提取方案应用于具有有限硬件资源的移动应用。

快速全局加权最小二乘(FGWLS)提取方案可用作基于WLS的照度图提取方案的增强版本。基于FGWLS的提取方案或操作可通过简化基于WLS的最优解来减少使用的硬件资源的量和操作时间。例如，基于FGWLS的提取方案可通过迭代地执行基于行和基于列的计算而不是对整个矩阵执行计算，来减少计算所需的硬件资源和操作时间。然而，在输入图像的尺寸或分辨率大的情况下，在通过基于FGWLS的提取方案提取的照度图中可能发生块伪影，并且块伪影可能导致输出图像IMG_out的质量的降低。

根据示例实施例，图像信号处理器12或增强模块100可通过针对输入图像生成多尺度图像并且通过执行基于多尺度的提取操作对生成的多尺度图像迭代地执行基于FGWLS的提取操作，来防止在提取的照度图中发生块伪影。根据示例实施例，以下将详细描述图像信号处理器12或增强模块100如何处理图像信号以增强对比度。

图3是示出图2的增强模块100的操作的流程图。执行快速全局加权最小二乘(FGWLS)可表示对特定图像执行一次基于FGWLS的提取或计算或者在一个周期期间对特定图像执行基于FGWLS的提取或计算。在这种情况下，可通过对多尺度图像迭代地执行FGWLS来执行根据示例实施例的基于多尺度的照度图提取操作。例如，执行FGWLS可包括对特定图像或多尺度图像之一执行基于FGWLS的提取操作，执行基于多尺度的照度图提取操作可包括对多个图像迭代地执行基于FGWLS的提取操作。然而，实施例不限于此。

参照图2和图3，在操作S110中，增强模块100可接收输入图像IMG_in。输入到图像信号处理器12的增强模块100的图像被称为输入图像IMG_in。在图2的示例实施例中，输入图像IMG_in可以是从校正模块12d输出的图像。输入图像IMG_in可以是从位于增强模块100前面的模块输出的图像。输入图像IMG_in可以是通过在增强模块100处处理输入图像IMG_in而生成的图像(例如，颜色增强的图像或伽马增强的图像)。例如，输入图像IMG_in可以是已经经历用于对比度增强的图像信号处理的图像或预处理的图像。

在操作S120中，增强模块100可对输入图像IMG_in执行基于多尺度的提取操作，以生成最终照度图LM_fin。例如，增强模块100可基于输入图像IMG_in生成多尺度图像。多尺度图像可包括多个图像，并且所述多个图像可具有不同的分辨率。增强模块100可对包括在多尺度图像中的所述多个图像中的第一图像执行第一FGWLS，并且可基于第一FGWLS的结果和所述多个图像中的第二图像执行第二FGWLS。也就是说，增强模块100可通过在将当前FGWLS的结果传送到下一FGWLS的同时迭代地执行FGWLS，来执行基于多尺度的提取操作。增强模块100可输出基于多尺度的提取操作的结果(迭代地执行FGWLS的结果)作为最终照度图LM_fin。以下将参照附图更全面地描述操作S120。

在操作S130中，增强模块100可基于输入图像IMG_in生成灰度图像GR。例如，增强模块100可通过灰度滤波器生成与输入图像IMG_in相关联的灰度图像GR。

在操作S140中，增强模块100可基于灰度图像GR和最终照度图LM_fin执行对比度增强，并且可生成增强的灰度图像GR_enh。

在操作S150中，增强模块100可基于增强的灰度图像GR_enh和输入图像IMG_in输出增强的图像IMG_enh。

图4是示出图2的增强模块100的框图。将参照图4描述根据图3的流程图的操作(即，用于对比度增强的图像信号处理)。参照图2至图4，增强模块100可包括照度图提取单元110、灰度图像生成单元(或者，灰度图像生成器)120、增强单元130和颜色恢复单元140。

照度图提取单元110可基于输入图像IMG_in生成最终照度图LM_fin。例如，照度图提取单元110可生成与输入图像IMG_in相关联的初始照度图。照度图提取单元110可基于初始照度图生成多尺度图像。多尺度图像可包括多个图像，并且所述多个图像可具有不同的分辨率。

照度图提取单元110可对包括在多尺度图像中的多个图像之中的具有最小分辨率的第一图像执行第一FGWLS。照度图提取单元110可放大第一FGWLS的结果，并且可对放大的结果执行第二FGWLS。在这种情况下，照度图提取单元110可使用多个图像之中的具有下一最小分辨率(例如，第二最小分辨率)的第二图像作为第二FGWLS的引导图像。在一个示例实施例中，引导图像可用作用于在FGWLS被执行时保留边缘的图像或信息。

如上所述，照度图提取单元110可输出作为对多个图像迭代地执行FGWLS的结果的最终照度图LM_fin，并且最终照度图LM_fin可对应于初始照度图。照度图提取单元110可执行基于多尺度的提取操作。将参照图5至图9更全面地描述照度图提取单元110的配置和基于多尺度的提取操作。

灰度图像生成单元120可生成与输入图像IMG_in相关联的灰度图像GR。例如，灰度图像生成单元120可通过使用灰度滤波器来生成与输入图像IMG_in相关联的灰度图像GR。

增强单元130可基于最终照度图LM_fin和灰度图像GR生成增强的灰度图像GR_enh。例如，增强单元130可基于灰度图像GR和最终照度图LM_fin来提取反射率。增强单元130可基于最终照度图LM_fin执行用于增强图像的全局对比度的计算，并且可基于反射率执行用于增强图像的局部对比度的计算。增强单元130可基于计算的结果输出增强的灰度图像GR_enh。将参照图10更全面地描述增强单元130的配置和操作。

颜色恢复单元140可通过基于增强的灰度图像GR_enh、输入图像IMG_in和灰度图像GR恢复增强的灰度图像GR_enh的颜色，来输出增强的图像IMG_enh。将参照图11更全面地描述颜色恢复单元140的配置和操作。

如上所述，根据示例实施例，图像信号处理器12或图像信号处理器12的增强模块100可根据基于多尺度的提取操作来提取输入图像IMG_in的照度图或最终照度图。在这种情况下，因为对从输入图像生成的每个多尺度图像执行FGWLS并且当前FGWLS的结果作为下一FGWLS的输入被传送，所以即使FGWLS中使用的平坦化水平降低，具有预期的平坦化水平的最终照度图LM_fin也可被提取。此外，因为FGWLS的平坦化水平相对低，所以在常规FGWLS(用于单个图像的FGWLS)中发生的块伪影可被防止。因此，最终输出图像的质量可被增强。

图5是示出图4的照度图提取单元的操作的流程图。图6是示出图4的照度图提取单元的框图。参照图4至图6，在操作S121中，照度图提取单元110可基于输入图像IMG_in生成初始照度图LM_int。例如，如图6中所示，照度图提取单元110的初始照度图生成器111可基于以下等式4生成初始照度图LM_int。

[等式4]

参照图4，

指示初始照度图LM_int，r(x，y)、g(x，y)和b(x，y)分别指示输入图像IMG_in中位于坐标(x，y)处的红色像素、绿色像素和蓝色像素的值。在一个示例实施例中，假设以上等式4指示色调、饱和度和明度(HSV)颜色空间的值，并且照度等于或大于红色值、绿色值和蓝色值中的最大值。在一个示例实施例中，可基于与等式4的方案不同的方案(例如，各种照度图提取方案(诸如，低通滤波器、双边滤波器、高斯滤波器和WLS))中的至少一个来生成初始照度图LM_int。

在操作S122中，照度图提取单元110可基于初始照度图LM_int生成多尺度图像img_ms。例如，如图6中所示，多尺度图像生成器112可基于初始照度图LM_int生成多尺度图像img_ms。多尺度图像img_ms可包括多个图像img_0至img_l。

多个图像img_0至img_l可具有不同的分辨率。例如，第零图像img_0可以是与初始照度图LM_int相同的图像。第零图像img_0的分辨率可与初始照度图LM_int的分辨率或输入图像IMG_in的分辨率相同。第一图像img_1可以是通过将第零图像img_0缩小n倍或下采样n次那么多(n是大于1的正整数或大于1的正实数)而获得的图像。第一图像img_1可在尺寸上小于第零图像img_0。第一图像img_1的分辨率可低于第零图像img_0的分辨率。第l图像img_l可以是通过将第零图像img_0缩小n^l倍或下采样n^l次而获得的图像。在一个示例实施例中，多尺度图像img_ms的第l图像img_l可以是具有最低分辨率或最小尺寸的图像。例如，多尺度图像生成器112可通过将初始照度图LM_int迭代地缩小n倍那么多，来生成多尺度图像img_ms。

在操作S123中，照度图提取单元110可基于多尺度图像img_ms迭代地执行FGWLS。照度图提取单元110可执行基于多尺度的照度图提取操作。例如，如图6中所示，多尺度提取器113可对包括在多尺度图像img_ms中的多个图像img_0至img_l迭代地执行FGWLS。将参照图7至图8B更全面地描述操作S123。

在操作S124中，照度图提取单元110可输出最终照度图LM_fin作为迭代地执行FGWLS的结果(基于多尺度的照度图提取操作的结果)。

常规FGWLS可通过处理具有单个分辨率的单个图像来生成最终照度图。在这种情况下，当用于计算的平坦化水平超过特定值或者单个图像的尺寸大时，在最终照度图中可能发生块伪影。

相比之下，如上所述，根据示例实施例的图像信号处理器12或增强模块100可通过对具有不同分辨率的多个图像(多尺度图像img_ms)迭代地执行FGWLS来生成最终照度图LM_fin。在这种情况下，增强模块100可通过使用相对低的平坦化水平来防止在最终照度图LM_fin中发生块伪影。此外，因为对具有低分辨率的图像执行FGWLS的结果作为下一FGWLS(用于下一分辨率的图像的FGWLS)的输入被使用，所以即使相对低的平坦化水平被使用，预期的平坦化强度也可从最终照度图LM_fin被获得。

图7是示出图5的操作S123的流程图。参照图5至图7，操作S123可包括操作S123a至操作S123g。

在操作S123a中，将变量i设置为l，将变量j设置为1。在一个示例实施例中，变量i仅用于描述与多尺度图像img_ms中的多个图像img_0至img_l对应的参考标号，变量j仅用于描述多尺度FGWLS的迭代操作，并且实施例不限于此。这里，l可以是与包括在多尺度图像img_ms中的多个图像img_0至img_l之中的具有最小分辨率的图像对应的参考标号。在一个示例实施例中，l可以是大于2的整数。例如，l可以是“3”。

在操作S123b中，多尺度提取器113可基于第i多尺度图像执行第j FGWLS。多尺度提取器113可基于包括在多尺度图像img_ms中的多个图像img_0至img_l之中的具有最小分辨率的第l图像img_l执行第一FGWLS。在一个示例实施例中，在第j FGWLS操作中，第i图像img_i可用作引导图像。在第一FGWLS操作中(j＝1)，第l图像img_l(i＝l)可用作输入图像和引导图像。

在操作S123c中，多尺度提取器113可放大或扩大操作123b的结果(第i FGWLS的结果)。在这种情况下，多尺度提取器113可将操作123b的结果(第i FGWLS的结果)放大n倍那么多。在一个示例实施例中，n可对应于用于生成多尺度图像img_ms的减小率。

在操作S123d中，将变量i设置为i-1，将变量j设置为j+1。

在操作S123e中，多尺度提取器113可基于放大的结果(操作S123c的结果)和第i多尺度图像img_i来执行第j FGWLS。例如，多尺度提取器113可通过使用放大的结果(操作S123c的结果)作为输入并且使用第i多尺度图像img_i作为引导图像来执行第j FGWLS。

在操作S123f中，确定变量i是否小于0。当确定变量i不小于0时，多尺度提取器113再次执行操作S123c。也就是说，多尺度提取器113可对具有下一分辨率(高于第(l-1)图像img_l-1的分辨率的分辨率)的图像执行FGWLS操作。换句话说，与当前分辨率相关联的FGWLS的结果可作为与作为更高分辨率的下一分辨率相关联的FGWLS的输入被传送或使用。

当确定变量i小于0时，在操作S123g中，多尺度提取器113可输出最终照度图LM_fin作为迭代地执行FGWLS的结果。

如上所述，根据示例实施例的照度图提取单元110可通过对具有不同分辨率的多尺度图像中的每个图像执行FGWLS操作来提取最终照度图LM_fin。

在一个示例实施例中，可基于以下等式5对特定图像执行加权最小二乘(WLS)。

[等式5]

参照以上等式5，p指示特定图像的像素，

指示与p像素相邻的像素的集合，q指示与p像素相邻的像素。w_p,q(G)是用于计算来自引导图像的两个像素p和q之间的相似性权重的函数。λ_a是将被应用于L_p的像素相似性条件的权重。J(L)是执行WLS的结果。

是关于像素p的初始照度的信息，L_p是关于像素p的照度的信息，L_q是关于像素q的照度的信息。如上所述，快速全局加权最小二乘(FGWLS)可指示通过简化基于以上等式5的WLS的最优解进行计算的方式，并且可通过以行为单位和以列为单位对稀疏拉普拉斯矩阵迭代地执行计算来使特定图像平坦化。可基于以下等式6来执行根据发明构思的图7的流程图的多尺度FGWLS操作。

[等式6]

参照以上等式6，FGWLS指示对基于以上等式5的WLS的最优解进行简化和计算的操作函数，↑_n指示将输入图像放大或扩大n倍那么多的函数，Lⁱ指示第i FGWLS的结果，Gⁱ指示在第i FGWLS中使用的引导图像，λⁱ指示在第i FGWLS中使用的平坦化水平，Tⁱ指示在第iFGWLS中使用的针对每行和针对每列的计算被重复的次数。剩余的参考符号在以上被描述。

引导图像Gⁱ可对应于包括在多尺度图像img_ms中的多个图像中的一个。也就是说，第零引导图像G⁰可对应于第零图像img_0或初始照度图LM_int。第一引导图像G¹可对应于通过将第零图像img_0缩小n倍那么多而获得的第一图像img_1。也就是说，可通过将初始照度图LM_int(即，

)或第零图像img_0缩小或减小nⁱ倍，来确定第i引导图像Gⁱ和输入图像

如图7中所示，可从具有最低分辨率的第l图像img_l到具有最高分辨率的第零图像img_0顺序地执行多尺度FGWLS操作。当前FGWLS的结果可作为下一FGWLS的输入被使用或传送。因此，即使使用具有相对小的值的平坦化水平λⁱ，也可从最终照度图LM_fin获得预期结果。此外，因为使用具有相对小的值的平坦化水平λⁱ，所以可防止在最终照度图LM_fin中发生块伪影。此外，因为处理各种分辨率的图像的结果被组合，所以在动态范围压缩(DRC)和色调再现(tonal rendition)方面可存在优势。

在一个示例实施例中，为了执行根据示例实施例的基于多尺度的提取操作，可能有必要将w_p,q定义为计算两个像素之间的相似性权重的函数。在根据示例实施例的基于多尺度的提取操作中，w_p,q可基于引导图像的梯度被定义，如以下等式7所示。

[等式7]

w_p，q(G)＝(|G_p-G_q|^α+β)^-1

参照以上等式7，α和β是用于根据引导图像的梯度来调节相似度的大小的变量，G_p是引导图像中的像素p的值，G_q是引导图像中的像素q的值。剩余的参考符号在以上被描述。在一个示例实施例中，α和β可分别被设置为1.32和0.001。然而，实施例不限于此。例如，α和β可以是实验确定的变量，并且可根据实现图像信号处理器的方式和图像质量被设置为各种值。

图8A和图8B是示出图6的多尺度FGWLS的框图。参照图6和图8A，多尺度提取器113可包括多个FGWLS引擎FGWLS_0至FGWLS_l、多个放大引擎SU_1至SU_l、以及多个变量引擎VAR_0至VAR_l。

多个FGWLS引擎FGWLS_0至FGWLS_l之中的第l FGWLS引擎FGWLS_l可接收第l图像img_l(例如，多尺度图像img_ms中的具有最小分辨率的图像)作为输入INPUT和引导图像GUID，并且可从第l变量引擎VAR_l接收相应的变量。第l FGWLS引擎FGWLS_l可基于以上等式6来执行FGWLS操作。在这种情况下，因为变量i是l，所以

和Gⁱ中的每个可以是第l图像img_l，并且λⁱ和Tⁱ可由第l变量引擎VAR_l设置。第l FGWLS引擎FGWLS_l的结果(输出OUT)被提供给第l放大引擎SU_l。

第l放大引擎SU_l可将第l FGWLS引擎FGWLS_l的输出OUT扩大或放大n倍(在附图中，由Xn表示)那么多。在这种情况下，n可对应于多尺度图像img_ms的减小率。第l放大引擎SU_l的输出(放大的结果)被提供给第(l-1)FGWLS引擎FGWLS_l-1。

第(l-1)FGWLS引擎FGWLS_l-1可接收第l放大引擎SU_l的输出(放大的结果)作为输入INPUT，并且可接收多尺度图像img_ms的第(l-1)图像img_l-1作为引导图像GUID。在这种情况下，第l放大引擎SU_l的输出(放大的结果)的分辨率可与第(l-1)图像img_l-1的分辨率相同。第(l-1)FGWLS引擎FGWLS_l-1可从第(l-1)变量引擎VAR_l-1接收相应的变量。

第(l-1)FGWLS引擎FGWLS_l-1可基于以上等式6来执行FGWLS操作。在这种情况下，因为变量i是l-1，所以Lⁱ⁺¹可以是第l FGWLS引擎FGWLS_l的输出OUT。也就是说，↑_n(Lⁱ⁺¹)可以是第l放大引擎SU_l的输出。Gⁱ可以是第(l-1)图像img_l-1，并且λⁱ和Tⁱ可由第(l-1)变量引擎VAR_l-1设置。第(l-1)FGWLS引擎FGWLS_l-1的结果(输出OUT)被提供给第(l-1)放大引擎SU_l-1。

第(l-1)放大引擎SU_l-1可将第(l-1)FGWLS引擎FGWLS_l-1的输出OUT扩大或放大n倍那么多，并且放大的结果可被提供给下一FGWLS引擎(例如，第(l-2)FGWLS引擎)。

多个FGWLS引擎FGWLS_0至FGWLS_l中的每个可执行以上FGWLS操作，并且多个放大引擎SU_1至SU_l中的每个可执行以上放大操作。多个FGWLS引擎FGWLS_0至FGWLS_l中的第零FGWLS引擎FGWLS_0可从第一放大引擎SU_1接收放大的结果作为输入INPUT，可接收多尺度图像img_ms中的第零图像img_0作为引导图像GUID，并且可从第零变量引擎VAR_0接收变量信息。如以上描述中那样，第零FGWLS引擎FGWLS_0可基于以上等式6执行FGWLS操作，并且第零FGWLS引擎FGWLS_0的结果可被输出为最终照度图LM_fin。

参照图6和图8B，多尺度提取器113可包括FGWLS引擎、变量引擎VAR和放大引擎SU。FGWLS引擎可基于以上等式6执行基于多尺度的提取操作。例如，如以上描述中那样，FGWLS引擎可接收第l图像img_l作为输入INPUT，可接收多尺度图像img_ms中的相应的图像(第l图像img_l)作为引导图像GUID，并且可从变量引擎VAR接收相应的变量。FGWLS引擎可通过使用接收的信息来执行基于以上等式6的FGWLS操作。FGWLS引擎的结果可被提供给放大引擎SU，并且放大引擎SU可对输入的结果进行放大并且可提供放大的结果作为FGWLS引擎的输入INPUT。

之后，FGWLS引擎可基于以上等式6对放大的结果和多尺度图像img_ms执行FGWLS操作。对多尺度图像img_ms之中的具有最高分辨率的第零图像img_0执行FGWLS操作的结果可被输出为最终照度图LM_fin。

如参照图8A所述，根据示例实施例的多尺度提取器113可具有多个FGWLS操作被顺序地执行的流水线结构。如参照图8B所述，根据示例实施例的多尺度提取器113可具有FGWLS操作的结果作为输入被反馈的反馈结构。然而，实施例不限于此。例如，根据实施例的多尺度FGWLS可被不同地改变或修改。

如上所述，与同单个分辨率相关联的常规FGWLS方案相比，根据示例实施例的使用多尺度FGWLS的照度图提取方案可防止块伪影。此外，因为通过多个步骤执行FGWLS并且将当前FGWLS结果传送到下一FGWLS作为输入，所以在动态范围压缩(DRC)和色调再现方面可存在优势。

图9是用于描述根据图6至图8B的照度图提取单元的操作的示例效果的示图。参照图9，第一照度图LM_a、第二照度图LM_b和第三照度图LM_c可以是通过针对单个图像的常规FGWLS提取的照度图，并且最终照度图LM_fin(例如，LM_d)可以是通过根据示例实施例的照度图提取单元110提取的照度图。

第一照度图LM_a可以是通过平坦化水平λ被设置为a的常规FGWLS提取的照度图，第二照度图LM_b可以是通过平坦化水平λ被设置为b(b大于a)的常规FGWLS提取的照度图，第三照度图LM_c可以是通过平坦化水平λ被设置为c(c大于b)的常规FGWLS提取的照度图。如图9中所示，根据常规FGWLS，随着平坦化水平λ增大，照度图中的平坦化强度可变得更强。然而，像第一照度图LM_a那样，在平坦化水平λ相对小的情况下，在提取的照度图可不出现预期的平坦化强度。此外，像第三照度图LM_c那样，在平坦化水平λ相对大的情况下，在特定区域中可能发生块伪影。

相比之下，即使每个FGWLS的平坦化水平λ_i被设置为作为相对小的值的d(例如，d＝a)，在通过根据示例实施例的基于多尺度的提取操作提取的最终照度图LM_fin也可出现预期的平坦化强度。此外，因为平坦化水平λ_i相对小，所以可防止在最终照度图LM_fin中发生块伪影。

图10是示出图4的增强单元的框图。参照图4和图10，增强单元130可基于灰度图像GR和最终照度图LM_fin执行信号处理，并且可生成增强灰度图像GR_enh。例如，增强单元130可包括反射率提取器131、照度增强器132、反射率增强器133和组合器134。

反射率提取器131可基于最终照度图LM_fin从灰度图像GR提取反射率RFL。例如，如以上参照等式1所述，特定图像可由反射率和照度表示。在例如关于特定图像的灰度图像GR的信息和例如关于照度的最终照度图LM_fin的信息被获得的情况下，反射率RFL可基于以上等式1被提取。最终照度图LM_fin可被提供给照度增强器132，反射率RFL可被提供给反射率增强器133。

照度增强器132可增强最终照度图LM_fin的对比度。例如，照度增强器132可基于伽马函数来增强最终照度图LM_fin的对比度。伽马函数可由以下等式8表示。

[等式8]

L^enh＝L^γ参照以上等式8，L^enh可指示作为通过增强最终照度图LM_fin的亮度和对比度而获得的信息的增强的照度图LM_enh，γ可指示伽马值。最终照度图LM_fin的暗部分的亮度可根据γ来调节。

照度增强器132可基于加窗的反S形(windowed inverse sigmoid，WIS)函数，来增强最终照度图LM_fin的对比度。WIS函数可以是用于通过增大最终照度图LM_fin的暗部分的亮度并同时减小最终照度图LM_fin的亮部分的亮度来确保结果值的动态区域的函数。WIS函数可由以下等式9来表示。

[等式9]

L′_n＝L_n[f(v_max)-f(v_min)]+f(v_min)

参照以上等式9，f可指示S形函数，L可指示最终照度图LM_fin，v、v_max和v_min可以是用于决定WIS的形状的变量。增强的照度图LM_enh的暗部分的亮度的增量以及增强的照度图LM_enh的亮部分的亮度的减量可根据v_max和v_min被调节。

在一个示例实施例中，参照以上等式8或等式9描述照度增强器132如何增强照度图的对比度，但是实施例不限于此。例如，出于增强输入图像的全局对比度的目的，照度增强器132可使用各种函数模型或各种图像信号处理技术。

反射率增强器133可通过增强反射率RFL的对比度(例如，局部对比度)来输出增强的反射率RFL_enh。最终照度图LM_fin可主要包括低频分量，并且可仅包括与反射率RFL对应的高频分量的一部分。在这种情况下(在对最终照度图LM_fin执行用于对比度增强的计算的情况下)，可通过非线性转换来改变包括在最终照度图LM_fin中的高频分量或反射率分量的值，从而降低图像的整体清晰度。为了防止这个问题，反射率增强器133可通过增强反射率RFL的局部对比度来防止最终图像的清晰度降低。例如，反射率增强器133可基于以下等式10来增强反射率RFL的对比度。

[等式10]

参照以上等式10，R可指示提取的反射率RFL，F可指示最终照度图LM_fin，R^enh可指示增强的反射率RFL_enh，P可以是用于增强局部对比度的变量。这里，假设P是大于1的数。在作为中心像素的值的F(x,y)大于作为周围像素的值的均值的L(x,y)的情况下，R^enh可变得大于R，如果作为中心像素的值的F(x,y)不大于作为周围像素的值的均值的L(x,y)，则R^enh可变得小于R。也就是说，可通过当中心像素相对亮时使中心像素的值更亮并且当中心像素相对暗时使中心像素的值更暗，来增强局部对比度。在一个示例实施例中，以上等式10中的L可用增强的照度图LM_enh替换。

组合器134可基于增强的照度图LM_enh和增强的反射率RFL_enh输出增强的灰度图像GR_enh。例如，如以上参照等式1所述，特定图像可由关于照度的信息和关于反射率的信息表示。也就是说，组合器134可通过基于以上等式1组合增强的照度图LM_enh和增强的反射率RFL_enh，来生成增强的灰度图像GR_enh。

在一个示例实施例中，组合器134可被配置为降低增强的灰度图像GR_enh的噪声。例如，在图像中的暗区域的亮度或对比度被增强的情况下，暗区域中存在的噪声可能一起被放大。为了降低以上噪声，组合器134可基于以下等式11组合增强的照度图LM_enh和增强的反射率RFL_enh。

[等式11]

参照以上等式11，R^enh可指示增强的反射率RFL_enh，并且L_n ^enh可以是利用[0,1]的值对作为增强的照度图LM_enh的L^enh进行归一化的结果。R_d可指示通过FGWLS使R^enh平坦化的结果。在一个示例实施例中，可基于参照图6至图9描述的多尺度FGWLS来执行对R^enh执行的FGWLS。可基于常规FGWLS来执行对R^enh执行的FGWLS。

如等式11所示，参照L_n ^enh，根据R_d和R^enh的线性组合来执行暗区域中的噪声的抑制或降低。原因在于：噪声的大小在图像的整个区域中是不均匀的，并且根据亮度值被适应性地处理。在图像的亮区域的情况下，像素值基于R^enh被确定，并且在图像的暗区域的情况下，像素值基于通过使R_d的噪声平坦化而获得的信息被确定。如上所述，增强的灰度图像GR_enh可被输出，在该增强的灰度图像GR_enh中，在特定区域(例如，图像的暗部分)中放大的噪声通过以上等式11被抑制。

图11是示出图4的颜色恢复单元的框图。参照图11，颜色恢复单元140可基于输入图像IMG_in和增强的灰度图像GR_enh生成增强的图像IMG_enh。例如，颜色恢复单元140可包括第一颜色通道引擎141a至第三颜色通道引擎141c以及增强图像生成器引擎142。

第一颜色通道引擎141a、第二颜色通道引擎141b和第三颜色通道引擎141c可基于来自输入图像IMG_in的对应颜色信息r、g和b以及增强的灰度图像GR_enh的对应信息，分别生成增强的颜色信息r_enh、g_enh和b_enh。例如，第一颜色通道引擎141a、第二颜色通道引擎141b和第三颜色通道引擎141c可基于以下等式12分别生成增强的颜色信息r_enh、g_enh和b_enh。

[等式12]

参照以上等式12，r、g和b指示从输入图像IMG_in获得的颜色信息，F^enh指示与增强的灰度图像GR_enh对应的信息，F指示与由如图4中所示的灰度图像生成器120生成的灰度图像GR(在对比度被增强之前的图像)对应的信息，r^enh、g^enh和b^enh分别指示关于红色、绿色和蓝色的增强的颜色信息。

增强图像生成器引擎142可组合基于以上等式12生成的增强的颜色信息r_enh、g_enh和b_enh，并且可生成增强的图像IMG_enh。

如上所述，根据示例实施例，图像信号处理器12或图像信号处理器12的增强模块100可生成与输入图像相关联的多尺度图像，并且可对多尺度图像执行多尺度FGWLS操作。在这种情况下，在常规FGWLS中发生的块伪影可被防止。因此，图像质量可被增强。这样，具有增强的可靠性和增强的性能的图像信号处理器12可被提供。

图12A和图12B是用于描述根据示例实施例的示例效果的示图。将参照图12A描述通过对输入图像INPUT执行针对单个图像的常规FGWLS而获得的照度图和输出图像，并且将参照图12B描述通过对输入图像INPUT执行根据示例实施例的MSFGWLS(针对多尺度图像的FGWLS)而获得的照度图和输出图像。

在图12A中示出通过对输入图像INPUT执行常规FGWLS而获得的照度图LM_FGWLS。如从图12A的照度图LM_FGWLS理解的那样，在一些区域中可能发生块伪影。相比之下，在图12B中示出通过对输入图像INPUT执行根据示例实施例的MSFGWLS而获得的照度图LM_MSFGWLS，并且在图12A的照度图LM_FGWLS中发生的块伪影可减少。

例如，参照经历了常规FGWLS的照度图LM_FGWLS，在输入图像INPUT的一部分区域中可能发生块伪影。相比之下，参照经历根据示例实施例的MSFGWLS的照度图LM_MSFGWLS，在相同区域中可能不会发生块伪影，或者可减少块伪影。

结果，如图12A和图12B中所示，与基于根据常规FGWLS的照度图LM_FGWLS生成的最终图像OUTPUT_FGWLS相比，基于经历了根据示例实施例的MSFGWLS的照度图LM_MSFGWLS而生成的输出图像OUTPUT_MSFGWLS可具有更好的图像质量。

图13是示出根据示例实施例的图像传感器的框图。参照图13，图像传感器1000可包括像素阵列1100、外围电路1200和包括增强模块1300的处理器。

像素阵列1100可包括多个像素。外围电路1200可被配置为处理从像素阵列1100的多个像素获得的信息。在一个示例实施例中，外围电路1200可包括在图像传感器1000生成图像数据所必需的各种组件(诸如，行驱动器、模/数转换器(ADC)、存储器及斜坡生成器)。

包括在处理器中的增强模块1300可对由外围电路1200获得的图像数据执行图像信号处理，并且可输出增强的图像IMG_enh。例如，以上描述了独立于图像传感器实现图像信号处理器的示例实施例，但是实施例不限于此。例如，如图13中所示，图像信号处理器的组件的全部或至少一部分可包括在图像传感器1000中。

图14是示出根据示例实施例的电子装置的框图。参照图14，电子装置2000可包括主处理器2100、触摸面板2200、触摸驱动集成电路(TDI)2202、显示面板2300、显示驱动集成电路(DDI)2302、系统存储器2400、存储装置2500、音频处理器2600、通信块2700和图像处理器2800。在一个示例实施例中，电子装置2000可以是各种电子装置(诸如，便携式通信终端、个人数字助理(PDA)、便携式媒体播放器(PMP)、数字相机、智能电话、平板计算机、膝上型计算机和可穿戴装置)中的一种。

主处理器2100可控制电子装置2000的整体操作。主处理器2100可控制/管理电子装置2000的组件的操作。主处理器2100可处理用于操作电子装置2000的各种操作。

触摸面板2200可被配置为在触摸驱动集成电路2202的控制下感测来自用户的触摸输入。显示面板2300可被配置为在显示驱动集成电路2302的控制下显示图像信息。

系统存储器2400可存储用于电子装置2000的操作的数据。例如，系统存储器2400可包括易失性存储器(诸如，静态随机存取存储器(SRAM)、动态RAM(DRAM)或同步DRAM(SDRAM))和/或非易失性存储器(诸如，相变RAM(PRAM)、磁阻RAM(MRAM)、电阻式RAM(ReRAM)或铁电RAM(FRAM))。

不管电力是否被供应，存储装置2500都可存储数据。例如，存储装置2500可包括各种非易失性存储器(诸如，闪存、PRAM、MRAM、ReRAM和FRAM)中的至少一种。例如，存储装置2500可包括电子装置2000的嵌入式存储器和/或可移动存储器。

音频处理器2600可通过使用音频信号处理器2610来处理音频信号。音频处理器2600可通过麦克风2620接收音频输入，或者可通过扬声器2630提供音频输出。

通信块2700可通过天线2710与外部装置/系统交换信号。通信块2700的收发器2720和调制器/解调器(MODEM)2730可基于以下各种无线通信协议中的至少一种来处理与外部装置/系统交换的信号：长期演进(LTE)、全球微波接入互操作性(WiMax)、全球移动通信系统(GSM)、码分多址(CDMA)、蓝牙、近场通信(NFC)、无线保真(Wi-Fi)和射频识别(RFID)。

图像处理器2800可通过透镜2810接收光。包括在图像处理器2800中的图像装置2820和图像信号处理器2830可基于接收的光生成关于外部对象的图像信息。在一个示例实施例中，图像信号处理器2830可实现参照图1至图13描述的增强模块。例如，图像信号处理器2830可被配置为通过参照图1至图13描述的基于多尺度的提取操作从图像装置2820提取与图像数据相关联的照度图。在一个示例实施例中，图像信号处理器2830可包括在主处理器2100中，并且图像信号处理器2830可使用系统存储器2400作为用于图像信号处理的存储器。

根据示例实施例，图像信号处理器可通过对包括在多尺度图像中的不同分辨率的图像迭代地执行基于快速全局加权最小二乘(FGWLS)的操作，来提取与输入图像相关联的照度图。这样，提取的照度图的块伪影可被防止。因此，由图像信号处理器生成的最终图像的质量被增强。

虽然已经参照附图描述了示例实施例，但是本领域普通技术人员将清楚，在不脱离如权利要求中阐述的发明构思的精神和范围的情况下，可对其进行各种改变和修改。

Claims (20)

1.一种图像信号处理器的操作方法，所述图像信号处理器被配置为对从图像装置接收的原始图像执行信号处理，所述操作方法包括：

基于输入图像生成多尺度图像，多尺度图像包括具有彼此不同的分辨率的多个图像；

对多尺度图像迭代地执行基于快速全局加权最小二乘FGWLS的操作，以生成最终照度图；以及

基于最终照度图和输入图像输出增强的图像。

2.根据权利要求1所述的操作方法，其中，在迭代地执行基于FGWLS的操作期间，当前的基于FGWLS的操作的结果被传送到下一基于FGWLS的操作的输入。

3.根据权利要求1所述的操作方法，其中，生成多尺度图像的步骤包括：

基于输入图像生成初始照度图；以及

将初始照度图的尺寸迭代地缩小n倍，以生成多尺度图像，其中，n是正实数。

4.根据权利要求3所述的操作方法，其中，对多尺度图像迭代地执行基于FGWLS的操作以生成最终照度图的步骤包括：

通过使用多尺度图像之中的具有最小分辨率的第一图像作为输入图像和引导图像，来执行第一基于FGWLS的操作；

将第一基于FGWLS的操作的结果放大n倍那么多，以生成第一放大结果；

通过使用第一放大结果作为输入图像并且使用多尺度图像之中的具有与第一放大结果的分辨率相同的分辨率的第二图像作为引导图像，来执行第二基于FGWLS的操作；

将第二基于FGWLS的操作的结果放大n倍那么多，以生成第二放大结果；

通过使用第二放大结果作为输入图像并且使用多尺度图像之中的具有与第二放大结果的分辨率相同的分辨率的第三图像作为引导图像，来执行第三基于FGWLS的操作；以及

输出第三基于FGWLS的操作的结果作为最终照度图。

5.根据权利要求4所述的操作方法，其中，第三图像对应于初始照度图。

6.根据权利要求1至5中的任意一项所述的操作方法，其中，基于最终照度图和输入图像输出增强的图像的步骤包括：

基于输入图像生成灰度图像；

基于最终照度图从灰度图像提取反射率；

增强最终照度图的全局对比度以生成增强的照度图；

增强反射率的局部对比度以生成增强的反射率；以及

组合增强的照度图和增强的反射率以输出增强的图像。

7.根据权利要求6所述的操作方法，其中，增强最终照度图的全局对比度的步骤基于加窗的反S形函数被执行。

8.根据权利要求6所述的操作方法，其中，组合增强的照度图和增强的反射率以输出增强的图像的步骤包括：

使增强的反射率平坦化以生成平坦化的反射率；

对增强的照度图进行归一化以生成归一化的照度图；以及

基于归一化的照度图，通过增强的反射率和平坦化的反射率的线性组合来生成增强的灰度图像。

9.根据权利要求8所述的操作方法，其中，使增强的反射率平坦化的步骤包括：对增强的反射率执行基于FGWLS的操作。

10.根据权利要求8所述的操作方法，其中，输出增强的图像的步骤还包括：

基于增强的灰度图像、输入图像和灰度图像，输出增强的图像。

11.根据权利要求1至5中的任意一项所述的操作方法，还包括：

从图像装置接收原始图像；以及

对原始图像执行预处理以生成输入图像。

12.根据权利要求11所述的操作方法，其中，执行预处理的步骤包括：

降低原始图像的噪声；

对降低所述噪声的结果执行白平衡；

对白平衡的结果执行滤色器阵列插值；以及

对滤色器阵列插值的结果执行校正以生成输入图像。

13.一种图像系统，包括：

图像传感器，被配置为基于从外部对象反射的光输出原始图像；以及

图像信号处理器，被配置为：

对原始图像执行预处理以生成输入图像，

通过基于多尺度的提取操作从输入图像提取最终照度图，以及

基于最终照度图和输入图像生成增强的图像，

其中，基于多尺度的提取操作包括：

基于输入图像生成包括具有不同分辨率的多个图像的多尺度图像；

对多尺度图像迭代地执行照度图提取操作；以及

输出作为迭代地执行照度图提取操作的结果的最终照度图。

14.根据权利要求13所述的图像系统，其中，多尺度图像通过将基于输入图像生成的初始照度图迭代地缩小n倍那么多以包括具有不同的分辨率的多个图像而被生成，其中，n是大于1的正整数。

15.根据权利要求14所述的图像系统，其中，照度图提取操作基于以下项被执行：

其中，(x，y)是像素位置，FGWLS是基于快速全局加权最小二乘FGWLS的操作的函数，Lⁱ是FGWLS的计算结果，↑_n是将输入放大n倍那么多的函数，

是通过将初始照度图缩小nⁱ倍那么多而获得的照度图，Gⁱ是引导图像，λⁱ是在基于FGWLS的操作的函数中使用的平坦化水平，Tⁱ是在用于基于FGWLS的操作的函数中使用的基于行的计算和基于列的计算的次数，并且

其中，照度图提取操作基于从l逐步改变为0的i被执行，l是大于2的整数。

16.根据权利要求15所述的图像系统，其中，引导图像是多尺度图像中的对应图像。

17.一种图像信号处理器的图像对比度增强方法，所述图像对比度增强方法包括：

基于输入图像生成初始照度图；

将初始照度图迭代地缩小n倍那么多以生成包括多个图像的多尺度图像，其中，n是大于1的正整数；

基于多尺度图像之中的具有最低分辨率的第一图像来执行第一计算；

基于第一计算的结果和多尺度图像之中的具有第二最低分辨率的第二图像来执行第二计算；

基于第二计算的结果和多尺度图像之中的具有最高分辨率的第三图像来执行第三计算；

生成第三计算的结果作为最终照度图；以及

基于最终照度图和输入图像生成增强的图像，

其中，第一计算、第二计算和第三计算基于快速全局加权最小二乘FGWLS。

18.根据权利要求17所述的图像对比度增强方法，其中，第一计算基于第一输入、第一引导图像、第一平坦化水平和第一迭代计数被执行，

其中，第二计算基于第二输入、第二引导图像、第二平坦化水平和第二迭代计数被执行，

其中，第三计算基于第三输入、第三引导图像、第三平坦化水平和第三迭代计数被执行，

其中，第一输入是第一图像，

其中，第二输入是通过将第一计算的结果扩大n倍那么多而获得的图像，

其中，第三输入是通过将第二计算的结果扩大n倍那么多而获得的图像，

其中，第一引导图像是第一图像，

其中，第二引导图像是第二图像，并且

其中，第三引导图像是第三图像。

19.根据权利要求17所述的图像对比度增强方法，其中，基于最终照度图和输入图像生成增强的图像的步骤包括：

基于最终照度图从与输入图像对应的灰度图像提取反射率；

增强最终照度图的全局对比度以生成增强的照度图；

增强反射率的局部对比度以生成增强的反射率；以及

组合增强的照度图和增强的反射率以输出增强的灰度图像。

20.根据权利要求19所述的图像对比度增强方法，其中，基于最终照度图和输入图像生成增强的图像的步骤还包括：

基于输入图像恢复增强的灰度图像的颜色以生成增强的图像。

Images