CN117915208A - 图像处理装置和图像校正方法 - Google Patents

Abstract

本公开涉及图像处理装置和图像校正方法。一种图像处理装置，包括：增益值管理器，用于基于预定白色图像的感测结果生成对应于多个位置的白色增益值；目标像素管理器，用于基于从外部装置接收到的像素值检测饱和像素，并且基于检测到的饱和像素中的饱和白色像素的外围像素，将目标像素确定为饱和白色像素，每个饱和白色像素具有指示饱和白色像素饱和的像素值；以及目标像素校正器，用于基于白色增益值和外围像素的像素值改变目标像素的像素值。

Description

图像处理装置和图像校正方法

相关申请的交叉引用

本申请要求于2022年10月18日提交至韩国知识产权局的韩国专利申请第10-2022-0133971号的优先权，其整体公开内容通过引用并入本文。

技术领域

多种实施方式总体上涉及图像处理装置，并且更具体地，涉及图像处理装置和图像校正方法。

背景技术

图像传感器通常可分为电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。近来，具有低制造成本、低功耗并且易于与外围电路集成的CMOS图像传感器由于这些特征而变得令人期望。

智能手机、平板PC、以及数码相机等中包括的图像传感器可以将从外部物体反射的光转换成电信号，从而获取关于外部物体的图像信息。图像传感器可以生成包括相位信息的图像数据。

响应于低光度环境，包括白色像素的图像传感器的可用性正在增加。在包括白色像素的图像传感器中，由于在高光度环境中白色像素的饱和，可能发生图像质量劣化。由于白色像素接收到的光的波长宽，因此白色像素可以比其他颜色像素更快地饱和。因此，需要通过图像处理装置的图像处理操作来校正饱和白色像素的像素值，从而提高图像质量。

发明内容

根据本公开的实施方式，可以提供一种图像处理装置，包括：增益值管理器，被配置成基于预定白色图像的感测结果生成对应于多个位置的白色增益值；目标像素管理器，被配置成基于从外部装置接收到的像素值来检测饱和像素，以及基于检测到的饱和像素中的饱和白色像素的外围像素，将目标像素确定为饱和白色像素，每个饱和白色像素具有指示饱和白色像素饱和的像素值；以及目标像素校正器，被配置成基于白色增益值和外围像素的像素值改变目标像素的像素值。

根据本公开的实施方式，可以提供一种图像校正方法，包括：基于预定白色图像的感测结果生成对应于多个位置的白色增益值；基于检测到的饱和像素中的基于从外部装置接收到的像素值检测到的饱和像素的外围像素，将目标像素确定为饱和白色像素，饱和白色像素具有指示饱和白色像素饱和的像素值；以及基于白色增益值和外围像素的像素值改变目标像素的像素值。

附图说明

现将在下文中参考附图更全面地描述实施方式的示例；然而，它们可以以不同的形式实施并且不应被解释限于本文阐述的实施方式。

在附图中，为了图示清楚起见，尺寸可能被放大。将理解，当一个元件被称为在两个元件“之间”时，它可以是这两个元件之间的唯一元件，或者也可以存在一个或更多个居间的元件。相同的附图标记通篇表示相同的元件。

图1是示出根据本公开的实施方式的图像处理系统的示图。

图2是示出根据本公开的实施方式的图1所示的图像传感器中包括的滤色器阵列的示图。

图3是示出根据本公开的实施方式的白色增益值的示图。

图4是示出根据本公开的实施方式的校正饱和白色像素的像素值的方法的示图。

图5是示出根据本公开的实施方式的图像校正方法的流程图。

图6是示出根据本公开的实施方式的生成白增益值的方法的流程图。

图7是示出根据本公开的实施方式的确定目标像素的方法的流程图。

图8是示出根据本公开的实施方式的改变目标像素值的方法的流程图。

图9是示出根据本公开的实施方式的包括图像处理系统的电子装置的框图。

具体实施方式

出于描述根据本公开的构思的实施方式的目的，本文公开的具体结构或功能描述仅仅是说明性的。根据本公开的构思的实施方式可以以多种形式实现，并且不能被解释为限于在此阐述的实施方式。

在下文中，将参考附图详细描述本公开的实施方式的示例，以便本领域技术人员能够容易地实现本公开的技术精神。

多种实施方式提供了图像处理装置和图像校正方法，其中通过针对图像传感器生成白色增益值，确定其中检测到的饱和像素中的仅有白色像素饱和的目标像素，以及使用目标像素的外围像素值改变饱和白色像素的像素值，来校正图像。

图1是示出根据本公开的实施方式的图像处理系统的示图。

参照图1，图像处理系统10可以包括图像传感器100和图像处理装置200。

根据本公开的实施方式的图像处理系统10可以获取图像。此外，图像处理系统10可以存储或显示通过处理图像获得的输出图像，或者将输出图像输出到外部装置。根据本公开的实施方式的图像处理系统10可以根据主机的请求将输出图像输出到主机。

图像传感器100可以生成通过透镜输入的关于物体的图像数据。透镜可以包括形成光学系统的至少一个透镜。

图像传感器100可以包括像素阵列，该像素阵列包括多个像素。像素阵列可以包括对应于多个像素中的每一个像素的滤色器阵列110。滤色器阵列110可以允许对应于预定波长的光从中穿过。穿过滤色器阵列110的光可以呈现特定颜色。入射到多个像素中的每一个像素上的光的波长可以根据滤色器阵列110的图案而变化。这里使用的关于参数的用语“预定”，诸如预定波长、白色图像、参考值、值或尺寸，意指参数的值在参数被用在处理或算法之前被确定。对于一些实施方式，参数的值在处理或算法开始之前被确定。在其他实施方式中，参数的值是在处理或算法期间但是在参数用于处理或算法之前确定的。

在本公开的实施方式中，通过接收特定颜色的光生成像素值的颜色像素可以被包括在图像传感器100中。图像传感器100可以包括红色像素、绿色像素、蓝色像素和白色像素。在本公开的另一实施方式中，图像传感器100还可以包括青色(cyan)像素、和品红色(magenta)像素等。

图像传感器100可以向图像处理装置200传送包括像素值的图像数据和关于滤色器阵列110的信息。图像处理装置200可以基于图像数据获取关于多个像素中的每一个像素的颜色和亮度的信息。

图像处理装置200可以包括增益值管理器210、目标像素管理器220和目标像素校正器230。在本公开的一个实施方式中，图像处理装置200可以通过使用外围像素值校正饱和白色像素的像素值。

增益值管理器210可以基于预定白色图像的感测结果生成对应于多个位置的白色增益值。增益值管理器210可以在白色图像内部设置具有预定尺寸的计算区域。每个计算区域可以是预定白色图像的一部分。增益值管理器210可以计算每个计算区域对应的白色增益值。

增益值管理器210可以定位计算区域使得计算区域之间的距离是恒定的。增益值管理器210可以计算图像传感器100的一些白色增益值。

增益值管理器210可以计算计算区域中每个具有相同颜色的像素的平均像素值。增益值管理器210可以将白色像素的平均像素值与其余像素的平均像素值之和的比率确定为白色增益值。增益值管理器210可以将通过将白色像素的平均像素值除以其余像素的平均像素值之和而获得的值确定为白色增益值。在本公开的另一实施方式中，增益值管理器210可以将通过将其余像素的平均像素值之和除以白色像素的平均像素值而获得的值确定为白色增益值。

增益值管理器210可以基于多个位置和白色增益值生成图像传感器100的增益值表。增益值表可以包括关于图像传感器100中包括的白色像素的白色增益值和位置信息。

增益值管理器210还可以包括存储增益值表的存储装置。例如，在一个实施方式中，存储装置可以是配置用于存储数据的存储器或者配置用于存储数据的存储器阵列。在一个实施方式中，数据可以对应于多种值。增益值管理器210可以基于存储装置的容量来调整计算区域之间的距离。在本公开的另一实施方式中，增益值管理器210可以存储图像传感器100中包括的所有白色像素的白色增益值。

目标像素管理器220可以基于从外部接收到的像素值来检测饱和像素。目标像素管理器220可以基于饱和像素中的饱和像素的外围像素来将目标像素确定为像素值饱和的白色像素。

目标像素管理器220可将多个像素中的像素值超过预定参考值的像素确定为饱和像素。目标像素管理器220可以根据对应于像素的颜色来确定不同的参考值。目标像素管理器220可以基于确定的参考值来确定多个像素中的饱和像素。

目标像素管理器220可以设置对应于饱和像素中的白色像素的判定区域。目标像素管理器220可以基于白色增益值计算对应于饱和像素中的白色像素的白色增益值。目标像素管理器220可以基于白色增益值来确定判定区域的尺寸。在本公开的另一实施方式中，目标像素管理器220可以根据图像传感器100中包括的滤色器阵列110的图案来确定判定区域的尺寸。

目标像素管理器220可以将判定区域中包括的像素中的除白色像素之外的其余像素确定为外围像素。目标像素管理器220可以检查外围像素是否已经饱和。对应于判定区域中包括的外围像素未全部饱和，目标像素管理器220可以将判定区域的中心像素确定为目标像素。在本公开的一个实施方式中，对应于外围像素不被包括在饱和像素中，目标像素管理器220可以允许作为判定区域的中心像素的白色像素被包括在目标像素中。

目标像素校正器230可以基于白色增益值和外围像素的像素值来改变目标像素的像素值。目标像素校正器230可将目标增益值确定为对应于每个目标像素的白色增益值。

目标像素校正器230可以计算对应于每个目标像素的外围像素中的具有相同颜色的像素的平均像素值。目标像素校正器230可以将通过将外围像素的平均像素值之和与目标增益值相乘而获得的值确定为目标像素的像素值。

目标像素校正器230可以通过改变饱和白色像素的像素值来生成校正的图像数据。目标像素校正器230可以降低原始数据的图像质量劣化现象。

图2是示出根据本公开的实施方式的图1所示的图像传感器中包括的滤色器阵列的示图。

参照图2，图像传感器100可以包括滤色器阵列110。滤色器阵列110可以被包括在像素阵列中。滤色器阵列110可以具有多种布置。图2仅示出了滤色器阵列110的布置中的一个实施方式，而滤色器阵列110的布置不限于图2。

在滤色器阵列110中，可以重复布置四个像素。这四个像素可以是绿色像素G、红色像素R、蓝色像素B和白色像素W。在本公开的一个实施方式中，滤色器阵列110可以包括黄色像素、青色像素或品红色像素。八个或十六个颜色像素可以如图2按“...”所指的重复布置。黄色像素可以布置在滤色器阵列110的布置中代替绿色像素。黄色像素的灵敏度可以高于绿色像素的灵敏度。在本公开的另一实施方式中，图像处理装置200可以通过使用黄色像素值、红色像素值和蓝色像素值来校正饱和白色像素的像素值。图像处理装置200可以基于黄色像素和绿色像素之间的相似性以及黄色像素和红色像素之间的相关性，将对应于黄色像素的像素值改变为对应于绿色像素的像素值。图像处理装置200可以通过使用改变后的像素值来校正饱和白色像素的像素值。

滤色器阵列110中包括的白色像素的比率可以是预定值。例如，在图2中，滤色器阵列110中包括的白色像素的比率可以是例如但不限于25％。

在本公开的一个实施方式中，滤色器阵列110中包括的白色像素的比率可以是例如但不限于50％。例如，滤色器阵列110中可以重复布置八个像素，对应于白色像素的比率为50％。

可以基于外围像素的像素值来校正饱和白色像素的像素值。在一个实施方式中，随着滤色器阵列110中包括的白色像素的比率变小，可以提高校正的像素值的准确度。当滤色器阵列110中包括的白色像素的比率是例如但不限于75％或更多时，饱和白色像素的像素值可能未被校正。

滤色器阵列110可以允许具有预定波长的光从中穿过。穿过滤色器阵列110的光可以到达像素。像素可以生成对应于穿过滤色器阵列110的光的像素值。

图3是示出根据本公开的实施方式的白色增益值的示图。

参照图3，图像传感器可感测预定白色图像300。增益值管理器可基于白色图像300的感测结果生成白色增益值。增益值生成操作可以仅执行一次，并且增益值管理器可以将生成的白色增益值存储在存储装置中。

增益值管理器可以在白色图像300中设置用于白色增益值计算的计算区域。增益值管理器可以设置计算区域310以提供多个计算区域310。增益值管理器可以形成虚拟水平轴和虚拟竖直轴，并且使用水平轴和竖直轴的交点作为中心点来设置计算区域310。计算区域310可以用于关于中心点的白色增益值计算。计算区域310的中心点可以是白色像素。

尽管在图3中示出了七个水平轴(即，如水平虚线所示)和七个竖直轴(即，如竖直虚线所示)，但是这仅是示例性的，而在白色图像300上形成的水平轴和竖直轴的数量可以变化。类似地，水平轴之间的距离和竖直轴之间的距离可以变化。

在图3中，增益值管理器可以形成49个计算区域。49个生成的计算区域之间的距离可以是恒定的。增益值管理器可以通过使用计算区域310中包括的像素值来计算白色增益值。

例如，可以假设十六个像素被包括在计算区域310中。四个白色像素、四个红色像素、四个绿色像素和第四个蓝色像素可以被包括在计算区域310中。增益值管理器可以计算四个白色像素的平均像素值Wavg、四个红色像素的平均像素值Ravg、四个绿色像素的平均像素值Gavg和四个蓝色像素的平均像素值Bavg。增益值管理器可以将白色像素的平均像素值Wavg与其余像素的平均像素值之和RGBsum的比率确定为白色增益值。其余像素的平均像素值之和RGBsum可以表示如下。

RGBsum＝Ravg+Gavg+Bavg

在本公开的一个实施方式中，增益值管理器可以将通过将白色像素的平均像素值Wavg除以其余像素的平均像素值之和RGBsum而获得的值确定为白色增益值。这表示如下。

增益(gain)＝Wavg/RGBsum

在本公开的另一实施方式中，增益值管理器可以将通过将其余像素的平均像素值之和RGBsum除以白色像素的平均像素值Wavg而获得的值确定为白色增益值。这表示如下。

gain＝RGBsum/Wavg

在图3中，增益值管理器可以在49个计算区域中分别计算白色增益值。增益值管理器可以基于白色增益值生成增益值表。增益值表可以包括表示白色增益值及其位置的信息。

增益值管理器可以将增益值表存储在存储装置中。增益值管理器可以根据存储装置的容量调整计算区域之间的距离。随着存储装置的容量变大，计算区域之间的距离可以变窄，并且计算区域的数量可以增加。

在本公开的另一实施方式中，增益值管理器可以针对图像传感器中包括的所有白色像素生成和存储白色增益值。增益值管理器可以基于设置的计算区域来计算一些白色增益值，并且通过在计算出的白色增益值之间进行插值来计算所有白色像素的白色增益值。

在本公开的一个实施方式中，增益值管理器可以基于滤色器阵列来确定计算区域310的尺寸。具体地，计算区域310的尺寸可以大于滤色器阵列的重复图案的尺寸。增益值管理器可以将计算区域310设置为是滤色器阵列的基本图案整数倍大。

类似地，增益值管理器可以基于滤色器阵列确定在白色图像300中形成的水平轴和竖直轴的数量。增益值管理器可以布置水平轴和竖直轴，使得水平轴之间的距离和竖直轴之间的距离变得等于或大于滤色器阵列的基本图案的整数倍。增益值管理器可以确定水平轴和竖直轴的数量，使得水平轴之间的距离和竖直轴之间的距离大于计算区域310的尺寸。增益值管理器可以布置水平轴轴和竖直轴，使得不存在交叠的计算区域。

其中饱和像素被校正的图像的分辨率可以根据由增益值管理器生成的计算区域的数量而变化。随着计算区域的数量变大，图像的分辨率可以增加。

图像传感器的白色增益值的准确度可以根据由增益值管理器设置的计算区域中包括的像素的数量而变化。随着计算区域中包括的像素的数量变大，图像传感器中包括的白色像素的白色增益值的准确度可以增加。

图4是图示根据本公开的实施方式的校正饱和白色像素的像素值的方法的示图。

参照图4，可以示出滤色器阵列的基本图案410、420和430。增益值管理器可以设置对应于基本图案410、420和430的判定区域411、421和431。其中滤色器阵列中包括的白色像素的比率是50％的第一图案410和第二图案420以及其中滤色器阵列中包括的白色像素的比率为25％的第三图案430可以在图4中示出。

目标像素管理器可以检测颜色像素中的像素值超过参考值的饱和像素。目标像素管理器可以根据颜色不同地确定饱和参考值。在本公开的实施方式中，对应于白色像素的参考值可以大于对应于其余像素的参考值。

目标像素管理器可以将饱和像素分类为白色像素和其余像素。其余像素可以是红色像素、绿色像素和蓝色像素。在本公开的另一实施方式中，其余像素中还可以包括青色像素或品红色像素。

目标像素管理器可以设置对应于具有指示白色像素饱和的像素值的白色像素的判定区域。在一个实施方式中，可以将具有指示白色像素饱和的像素值的白色像素称为饱和白色像素。目标像素管理器可根据对应于饱和白色像素的白色增益值或滤色器阵列的图案来确定判定区域的尺寸。

在本公开的一个实施方式中，当滤色器阵列的图案是第一图案410时，目标像素管理器可以设置第一判定区域411。第一判定区域411可以包括饱和白色像素作为中心像素。第一判定区域411可以具有3×3的尺寸。第一判定区域411中可以包括两个绿色像素、一个红色像素和一个蓝色像素。第一判定区域411中包括的两个绿色像素、一个红色像素和一个蓝色像素可以是饱和白色像素的外围像素。第一判定区域411中由阴影指示的白色像素可以是饱和白色像素。

在本公开的另一实施方式中，当在滤色器阵列中重复第二图案420时，目标像素管理器可以设置第二判定区域421。第二判定区域421可以包括饱和白色像素作为中心像素，并且具有5×5的尺寸。第一判定区域411和第二判定区域421可以由第一图案410和第二图案420之间的差异来确定。在第二判定区域421中可以包括六个绿色像素、四个红色像素和两个蓝色像素。第二判定区域421中包括的六个绿色像素、四个红色像素和两个蓝色像素可以是饱和白色像素的外围像素。

在本公开的又一实施方式中，第三图案430可以在滤色器阵列中重复。目标像素管理器可以设置第三判定区域431。第三判定区域431可以具有3×3的尺寸，并且第三判定区域431的尺寸可以等于第一判定区域411的尺寸。第三判定区域431可以包括四个绿色像素、两个蓝色像素和两个红色像素。第三判定区域431中包括的四个绿色像素、两个蓝色像素和两个红色像素可以是饱和白色像素的外围像素。

判定区域的尺寸可以根据滤色器阵列的图案而变化。判定区域中包括的像素可以变化，并且因此饱和白色像素的外围像素可以变化。

在本公开的另一实施方式中，目标像素管理器可以基于对应于饱和白色像素的白色增益值来改变判定区域的尺寸。例如，即使当第一图案410在滤色器阵列中重复时，第一判定区域411的尺寸也可以根据白色增益值而变化。对应于白色增益值超过预定值，目标像素管理器可以将第一图案410的尺寸确定为5×5。类似地，即使当滤色器阵列的图案对应于第二图案420和第三图案430时，第二判定区域421和第三判定区域431中的每一个的尺寸也可以根据白色增益值而变化。

判定区域中包括的外围像素的数量可以根据判定区域的尺寸而变化。判定区域的尺寸可以影响饱和白色像素是否已被校正。只有当判定区域中包括的外围像素不全是饱和像素时，才可以校正作为中心像素的饱和白色像素的像素值。判定区域的尺寸可以影响校正后的白色像素值的准确性。

对应于外围像素不全是饱和像素，目标像素管理器可以将饱和白色像素确定为目标像素。判定区域中包括的其他白色像素是否已经饱和可以对目标像素的确定没有影响。具体地，只有当第一判定区域411中包括的两个绿色像素、一个红色像素和一个蓝色像素不全是饱和像素时，作为中心像素的饱和白色像素才可以被包括在目标像素中。类似地，对应于第二判定区域421中包括的六个绿色像素、四个红色像素和两个蓝色像素全是不饱和像素，目标像素将作为中心像素的饱和白色像素确定为目标像素。只有当四个绿色像素、两个蓝色像素和两个红色像素不全是饱和像素时，作为中心像素的饱和白色像素才可以变为目标像素。

目标像素校正器可以通过使用白色增益值和外围像素的像素值来校正目标像素的像素值。目标像素校正器可确定对应于目标像素的白色增益值。目标像素校正器可以使用由目标像素管理器计算的白色增益值。目标像素校正器可以确定对应于目标像素的外围像素。目标像素校正器可以将由目标像素管理器确定的饱和白色像素的外围像素确定为目标像素的外围像素。在本公开的一个实施方式中，对应于目标像素的外围像素可以与饱和白像素的外围像素相同。类似地，目标像素校正器可以使用由目标像素管理器设置的判定区域。

目标像素校正器可以计算每种颜色的外围像素的平均像素值。在本公开的实施方式中，目标像素校正器可以计算判定区域中包括的红色像素的平均像素值AvgR、绿色像素的平均像素值AvgG和蓝色像素的平均像素值AvgB中的每一个。目标像素校正器可以将外围像素平均值之和SumRGB计算作为红色像素的平均像素值AvgR、绿色像素的平均像素值AvgG和蓝色像素的平均像素值AvgB之和。这表示为下式。

SumRGB＝AvgR+AvgG+AvgB

目标像素校正器可将目标像素的像素值确定为通过将对应于目标像素的白色增益值gain与外围像素平均值之和SumRGB相乘而获得的值。这表示为下式。

Wsat＝gain*SumRGB

Wsat可以将目标像素表示为饱和白色像素。

具体地，当在滤色器阵列中重复第一图案410时，由阴影指示的白色像素可以是目标像素。目标像素校正器可以针对第一判定区域411中包括的外围像素计算红色像素的平均像素值AvgR、绿色像素的平均像素值AvgG和蓝色像素的平均像素值AvgB。目标像素校正器可以通过使用通过将白色增益值gain与外围像素平均值之和SumRGB相乘而获得的值来改变目标像素的像素值。

类似地，当在滤色器阵列中重复第二图案420和第三图案430时，目标像素校正器可以校正目标像素的像素值。目标像素校正器可以针对第二判定区域421或第三判定区域431中包括的外围像素计算红色像素的平均像素值AvgR、绿色像素的平均像素值AvgG和蓝色像素的平均像素值AvgB，并且使用通过将白色增益值gain与外围像素平均值之和SumRGB相乘而获得的值改变目标像素的像素值。

目标像素校正器可以校正饱和白色像素的像素值。在一个实施方式中，当饱和白色像素被校正时，整个图像中的模糊现象或偏色现象可以降低。另外，在一个实施方式中，对应于饱和白色像素的校正，图像的细节可以增加。

在本公开的一个实施方式中，第一图案410、第二图案420和第三图案430仅是实施方式，并且滤色器阵列可以具有多种图案。判定区域的尺寸和外围像素可以根据滤色器阵列的图案而变化。

图5是示出根据本公开的实施方式的图像校正方法的流程图。

参照图5，图像处理装置可以预先计算图像传感器中包括的白色像素的白色增益值。图像处理装置可以通过使用白色增益值来校正饱和白色像素的像素值。在一个实施方式中，图像处理装置可以校正饱和白色像素，从而提高图像的表现力。

在步骤S510中，增益值管理器可以生成图像传感器中包括的白色像素的白色增益值。增益值管理器可以基于预定白色图像的感测结果生成对应于多个位置的白色增益值。增益值管理器可以生成白色像素的一些白色增益值，并且通过对生成的白色增益值进行插值来计算所有白色像素的白色增益值。

在步骤S520中，目标像素管理器可以检测像素中的饱和像素，并且通过使用饱和像素的外围像素来确定饱和像素中的像素值被校正的目标像素。目标像素管理器可以将像素值超过预定参考值的像素确定为饱和像素。目标像素管理器可以将饱和像素分类为饱和白色像素和其余像素。对应于饱和白色像素的外围像素不全是饱和像素，目标像素管理器可以将饱和白色像素确定为目标像素。

在步骤S530中，目标像素校正器可以基于目标像素的白色增益值和外围像素的像素值来改变目标像素的像素值。目标像素校正器可以计算外围像素中每个具有相同颜色的像素的平均像素值，并且将计算的平均像素值相加。目标像素校正器可以将通过将外围像素平均值之和与白色增益值相乘而获得的值确定为目标像素的像素值。

图6是图示根据本公开的实施方式的生成白增益值的方法的流程图。

参照图6，增益值管理器可以生成图像传感器中包括的白色像素的白色增益值。增益值管理器可以生成并存储增益值表，其包括关于白色像素的位置和增益值的信息。

在步骤S610中，增益值管理器可以基于感测结果执行调整颜色的像素值比率的白平衡操作。增益值管理器可以通过将每个红色像素值乘以绿色像素值相对于红色像素值的比率来改变白色图像的红色像素值。增益值管理器可以通过将每个蓝色像素值乘以绿色像素值相对于蓝色像素值的比率来改变白色图像的蓝色像素值。

白平衡操作可以针对每种颜色根据图像传感器的传感器强度差异来校正误差。例如，绿色像素的传感器强度可以高于红色像素或蓝色像素的传感器强度。具有高传感器强度的绿色像素值的幅值可以大于红色像素值或蓝色像素值的幅值。根据传感器强度的误差被校正，使得绿色、红色和蓝色像素值之间的幅值差异可以降低。

当执行白平衡操作时，绿色像素值、红色像素值和蓝色像素值可以包括在特定范围内。被执行白平衡操作的绿色像素值、红色像素值和蓝色像素值的比率可以变得彼此相似。

在步骤S620中，增益值管理器可以在预定白色图像内部设置用于白色增益值计算的计算区域。增益值管理器可以基于图像传感器中包括的滤色器阵列的图案来确定计算区域的尺寸。增益值管理器可以恒定地保持计算区域之间的距离。增益值管理器可以在白色图像中生成虚拟水平轴和虚拟竖直轴，并且针对水平轴和竖直轴的每个交点生成计算区域。

在步骤S630中，增益值管理器可以针对颜色计算计算区域中包括的像素的平均像素值。增益值管理器可以计算白色像素的平均像素值、红色像素的平均像素值、绿色像素的平均像素值和蓝色像素的平均像素值中的每一个。计算区域中包括的每种颜色的像素数量可以根据滤色器阵列的图案而变化。

在步骤S640中，增益值管理器可以基于关于颜色的平均像素值来确定对应于计算区域的白色增益值。增益值管理器可以将红色像素的平均像素值、绿色像素的平均像素值和蓝色像素的平均像素值之和与白色像素的平均像素值的比率确定为白色增益值。在本公开的一个实施方式中，增益值管理器可以将白色像素的平均像素值除以红色像素的平均像素值、绿色像素的平均像素值和蓝色像素的平均像素值之和而获得的值确定为对应于计算区域的白色增益值。

图7是示出根据本公开的实施方式的确定目标像素的方法的流程图。

参照图7，目标像素管理器可以基于像素值检测像素中的饱和像素，并且确定饱和像素中的目标像素。由于目标像素的像素值被校正，所以仅其外围像素未饱和的饱和白色像素可以被确定为目标像素。

在步骤S710中，目标像素管理器可以将多个像素中的像素值超过预定参考值的像素确定为饱和像素。目标像素管理器可以确定参考值根据颜色变化。具体地，目标像素管理器可以将白色像素的参考值确定为高于另一颜色像素的参考值。

在步骤S720中，目标像素管理器可以对多个像素中的除了饱和像素之外的正常像素执行白平衡操作。正常像素可以是未被目标像素管理器确定为饱和像素的像素。正常像素的像素值可以不超过参考值。目标像素管理器可以基于正常像素的像素值计算绿色像素值相对于红色像素值的第一比率和绿色像素值相对于蓝色像素值的第二比率。目标像素管理器可以通过将每个红色像素值乘以第一比率来改变红色像素值。目标像素管理器可以通过将每个蓝色像素值乘以第二比率来改变蓝色像素值。

在步骤S730中，目标像素管理器可以设置对应于饱和像素中的白色像素的判定区域。目标像素管理器可以基于滤色器阵列的图案或饱和白色像素来设置判定区域。例如，判定区域的尺寸可以根据滤色器阵列的图案而变化。随着白色增益值变大，目标像素管理器可以增加判定区域的尺寸。

在步骤S740中，目标像素管理器可以根据判定区域中包括的像素中的非白色像素的其余像素是否已饱和而将饱和白色像素确定为目标像素。对应于判定区域中包括的其余像素不全是饱和像素，目标像素管理器可以允许饱和白色像素包括在目标像素中。在本公开的一个实施方式中，判定区域中包括的其余像素可以是判定区域中包括的红色像素、绿色像素和蓝色像素。在本公开的另一实施方式中，饱和白色像素的外围像素可以包括青色像素或品红色像素。

图8是示出根据本公开的实施方式的改变目标像素值的方法的流程图。

参照图8，目标像素校正器可以基于白色增益值和外围像素的像素值来改变目标像素的像素值。目标像素校正器可以改变饱和白色像素的像素值并且输出校正的图像。校正的图像可以是其中模糊现象和色偏现象降低的图像。

在步骤S810中，目标像素校正器可以确定对应于目标像素的白色增益值。目标像素校正器可以基于由增益值管理器生成的白色增益值来计算对应于目标像素的白色增益值。具体地，目标像素校正器可以通过在白色增益值之间进行插值来计算对应于目标像素的白色增益值。

在步骤S820中，目标像素校正器可以针对颜色计算外围像素的平均像素值。目标像素校正器可以计算判定区域中包括的红色像素的平均像素值、绿色像素的平均像素值和蓝色像素的平均像素值中的每一个。在本公开的一个实施方式中，目标像素校正器可以计算外围像素平均值之和作为红色像素的平均像素值、绿色像素的平均像素值和蓝色像素的平均像素值之和。

在步骤S830中，目标像素校正器可以校正目标像素的像素值。目标像素校正器可将对应于目标像素的白色增益值与外围像素平均值之和相乘而获得的值确定为目标像素的像素值。目标像素校正器可以校正饱和白色像素的像素值，从而输出校正的图像。与在低亮度或高亮度环境中的校正之前的图像的分辨率相比，校正的图像的分辨率可以增加。

在步骤S840中，目标像素校正器可以对正常像素执行逆白平衡操作。目标像素校正器可以通过将正常像素中的红色像素的像素值乘以第一比率的倒数来改变红色像素值。目标像素校正器可以通过将正常像素中的蓝色像素的像素值乘以第二比率的倒数来改变蓝色像素值。

在本公开的一个实施方式中，对感测图像的像素值执行白平衡操作，使得饱和像素校正的准确性可以提高。在饱和像素校正之后对正常像素执行逆白平衡操作，使得可以保持原始的感测结果。

图9是示出根据本公开的实施方式的包括图像处理系统的电子装置的框图。

参照图9，电子装置2000可以包括图像传感器2010、处理器2020、存储装置2030、存储器装置2040、输入装置2050和输出装置2060。虽然未在图9中示出，但是电子装置2000还可以包括能够与视频卡、声卡、存储器卡、以及通用串行总线(USB)装置等通信或者与其他电子装置通信的端口。

图像传感器2010可以生成对应于入射光的图像数据。在本公开的一个实施方式中，图像传感器2010可以包括白色像素。白色像素可以增加低亮度环境中的感测图像的分辨率。图像数据可以被传输到处理器2020以由处理器2020处理。输出装置2060可以显示图像数据。存储装置2030可以存储图像数据。处理器2020可以控制图像传感器2010、输出装置2060和存储装置2030的操作。

处理器2020可以是图像处理装置，其执行处理从图像传感器2010接收到的图像数据的计算并且输出经处理的图像数据。该处理可以是电子图像稳定(EIS)、插值、色调校正、图像质量校正、或尺寸调整等。

处理器2020可以被实现为独立于图像传感器2010的芯片。例如，处理器2020可以利用多芯片封装实现。在本公开的另一实施方式中，处理器2020可以作为图像传感器2010的一部分被包括以实现为一个芯片。

处理器2020可以执行和控制电子装置2000的操作。根据本公开的一个实施方式，处理器2020可以是微处理器、中央处理单元(CPU)或应用处理器(AP)。处理器2020可以通过地址总线、控制总线和数据总线连接到存储装置2030、存储器装置2040、输入装置2050和输出装置2060以执行通信。

在本公开的一个实施方式中，处理器2020可以生成图像传感器2010的白色增益值。处理器2020可以基于预定白色图像的感测结果计算图像传感器2010的一些白色增益值。处理器2020可以通过在白色增益值之间进行插值来生成图像传感器2010的白色增益值。

处理器2020可以基于像素值检测饱和像素，并且通过使用饱和像素的外围像素来确定饱和白色像素中的要校正的目标像素。对应于判定区域中包括的除了白色像素之外的其余像素不饱和，处理器2020可以使用饱和白色像素作为中心像素来生成判定区域，并且校正饱和白色像素的像素值。处理器2020可以计算目标像素的外围像素中的具有相同颜色的像素的平均像素值，并且改变通过将平均像素值之和与对应于目标像素的白色增益值相乘而获得的值作为目标像素的像素值。

存储装置2030可以包括闪存装置、固态驱动器(SSD)、硬盘驱动器(HDD)、CD-ROM、以及所有类型的非易失性存储器装置等。

存储器装置2040可以存储电子装置2000的操作所需的数据。例如，存储器装置2040可以包括诸如动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM)的易失性存储器装置，和非易失性存储器装置，诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存装置。处理器2020可以通过运行存储器装置2040中存储的命令集来控制图像传感器2010和输出装置2060。

在本公开的一个实施方式中，存储器装置2040可以存储图像传感器2010的白色增益值。存储器装置2040可以存储一些白色增益值或存储所有白色增益值。

输入装置2050可以包括诸如键盘、小键盘或鼠标的输入构件，并且输出装置2060可以包括诸如打印机或显示器的输出构件。

图像传感器2010可以利用多种类型的封装来实现。例如，图像传感器2010的至少一部分的部件可以通过使用如下封装来实现，诸如叠层封装(PoP)、球栅阵列(BGA)、芯片级封装(CSP)、塑料引线芯片载体(PLCC)、塑料双列直插式封装(PDIP)、Waffle封装裸片、晶圆形式裸片、板上芯片(COB)、陶瓷双列直插式封装(CERDIP)、塑料公制四方扁平封装(MQFP)、薄四方扁平封装(TQFP)、小外形(SOIC)、收缩小外形封装(SSOP)、薄小外形(TSOP)、系统级封装(SIP)、多芯片封装(MCP)、晶圆级制造封装(WFP)、晶圆级加工堆栈封装(WSP)和晶圆级加工封装(WSP)。

同时，电子装置2000可以被解释为使用图像传感器2010的所有计算系统。电子装置2000可以以封装模块、或部件等的形式实现。例如，电子装置2000可以被实现为数码相机、移动装置、智能电话、个人计算机(PC)、平板PC、笔记本电脑、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴装置、黑匣子、机器人、或自主车辆等。

根据本公开的一个实施方式，可以提供一种图像处理装置，其能够使用白色增益值和饱和白色像素的外围像素值来检测饱和像素并且校正饱和白色像素的像素值。

尽管已经参考其某些实施方式示出和描述了本公开，但是本领域的技术人员将理解，在不脱离如所附权利要求及其等同物所限定的本公开的精神和范围的情况下，可以在其中进行形式和细节的多种改变。因此，本公开的范围不应限于上述实施方式，而是应不仅由所附权利要求确定、而且还由其等同物确定。

在上述实施方式中，可以选择性地执行所有步骤或者可以省略部分步骤。在每个实施方式中，步骤不一定根据描述的顺序执行并且可以重新排列。本说明书和附图公开的实施方式仅是便于理解本公开的示例，而本公开不限于此。也就是说，对于本领域技术人员应该显见的是，可以在本公开的技术范围的基础上进行多种修改。

同时，已经在附图和说明书中描述了本公开的实施方式。尽管这里使用了特定的术语，但是这些术语仅用于说明本公开的实施方式。因此，本公开不限于上述实施方式，并且在本公开的精神和范围内可以进行许多变化。对于本领域技术人员而言应显见的是，除了在此公开的实施方式之外，还可以基于本公开的技术范围进行多种修改。

Claims (26)

1.一种图像处理装置，包括：

增益值管理器，其基于预定白色图像的感测结果生成对应于多个位置的白色增益值；

目标像素管理器，其：基于从外部装置接收到的像素值来检测饱和像素，以及基于检测到的饱和像素中的饱和白色像素的外围像素，将目标像素确定为所述饱和白色像素，每个饱和白色像素具有指示所述饱和白色像素饱和的像素值；以及

目标像素校正器，其基于所述白色增益值和所述外围像素的像素值改变所述目标像素的像素值。

2.根据权利要求1所述的图像处理装置，其中，所述增益值管理器基于所述感测结果执行调整颜色的像素值的比率的白平衡操作。

3.根据权利要求2所述的图像处理装置，其中，所述增益值管理器在所述白色图像内部设置具有预定尺寸的计算区域，以及计算对应于每个计算区域的所述白色增益值。

4.根据权利要求3所述的图像处理装置，其中，所述增益值管理器定位所述计算区域，使得所述计算区域之间的距离恒定。

5.根据权利要求3所述的图像处理装置，其中，所述增益值管理器计算在所述计算区域中每个具有相同颜色的像素的平均像素值，以及将白色像素的平均像素值和其余像素的平均像素值之和的比率确定为所述白色增益值。

6.根据权利要求5所述的图像处理装置，其中，所述增益值管理器基于所述多个位置和所述白色增益值生成图像传感器的增益值表，以及还包括存储所述增益值表的存储装置。

7.根据权利要求6所述的图像处理装置，其中，所述增益值管理器基于所述存储装置的容量来调整所述计算区域之间的距离。

8.根据权利要求1所述的图像处理装置，其中，所述目标像素管理器将多个像素中的具有超过预定参考值的像素值的像素确定为所述检测到的饱和像素。

9.根据权利要求8所述的图像处理装置，其中，所述目标像素管理器根据对应于像素的颜色确定不同的参考值，以及基于所述参考值确定所述检测到的饱和像素。

10.根据权利要求8所述的图像处理装置，其中，所述目标像素管理器对所述多个像素中的除了所述饱和像素之外的正常像素执行白平衡操作。

11.根据权利要求10所述的图像处理装置，其中，所述目标像素管理器设置与所述检测到的饱和像素中的白色像素相对应的判定区域，将所述判定区域中包括的像素中的除白色像素之外的其余像素确定为所述外围像素，以及对应于所述外围像素不被包括在所述检测到的饱和像素中而允许所述白色像素被包括在所述目标像素中。

12.根据权利要求11所述的图像处理装置，其中，所述目标像素管理器基于所述白色增益值计算与所述检测到的饱和像素中的所述饱和白色像素相对应的白色增益值，以及基于所述白色增益值确定所述判定区域的尺寸。

13.根据权利要求11所述的图像处理装置，其中，所述目标像素管理器根据图像传感器中包括的滤色器阵列图案来确定所述判定区域的尺寸。

14.根据权利要求11所述的图像处理装置，其中，所述目标像素校正器将目标增益值确定为对应于每个所述目标像素的白色增益值，以及计算对应于每个所述目标像素的外围像素中的具有相同颜色的像素的平均像素值。

15.根据权利要求14所述的图像处理装置，其中，所述目标像素校正器将所述外围像素的平均像素值之和与所述目标增益值相乘而获得的值确定为所述目标像素的像素值。

16.根据权利要求15所述的图像处理装置，其中，所述目标像素校正器对应于所述目标像素的像素值的确定而对所述正常像素执行逆白平衡操作。

17.一种图像校正方法，包括：

基于预定白色图像的感测结果生成对应于多个位置的白色增益值；

基于检测到的饱和像素中的饱和像素的外围像素，将目标像素确定为饱和白色像素，所述白色像素具有指示所述饱和白色像素饱和的像素值，所述饱和像素是基于从外部装置接收到的像素值检测到的；以及

基于所述白色增益值和所述外围像素的像素值改变所述目标像素的像素值。

18.根据权利要求17所述的图像校正方法，其中，生成所述白色增益值包括：

基于所述感测结果执行调整颜色的像素值的比率的白平衡操作；

在所述白色图像内部以恒定距离设置具有预定尺寸的计算区域；以及

计算对应于所述计算区域的所述白色增益值。

19.根据权利要求18所述的图像校正方法，其中，执行所述白平衡操作包括：

将所述白色图像的每个红色像素值乘以绿色像素值相对于所述红色像素值的比率；以及

将所述白色图像的每个蓝色像素值乘以绿色像素值相对于所述蓝色像素值的比率。

20.根据权利要求18所述的图像校正方法，其中，计算所述白色增益值包括：

在所述计算区域中计算白色像素的平均像素值、红色像素的平均像素值、绿色像素的平均像素值和蓝色像素的平均像素值；以及

在所述计算区域中通过将所述白色像素的平均像素值除以所述红色像素的平均像素值、所述绿色像素的平均像素值和所述蓝色像素的平均像素值之和而获得的值确定为所述白色增益值。

21.根据权利要求17所述的图像校正方法，其中，确定所述目标像素包括：

将多个像素中的像素值超过预定参考值的像素确定为饱和像素；

对所述多个像素中的除所述饱和像素以外的正常像素执行白平衡操作；

设置与所述检测到的饱和像素中的白色像素相对应的判定区域；以及

对应于所述判定区域中包括的像素中的红色像素、绿色像素和蓝色像素不被包括在检测到的饱和像素中而将所述饱和白色像素确定为所述目标像素。

22.根据权利要求21所述的图像校正方法，其中，确定所述饱和白色像素包括：基于根据对应于像素的颜色的不同的参考值来确定所述检测到的饱和像素。

23.根据权利要求21所述的图像校正方法，其中，执行所述白平衡操作包括：

计算绿色像素值相对于红色像素值的第一比率和绿色像素值相对于蓝色像素值的第二比率；以及

将每个所述红色像素值乘以所述第一比率，以及将每个所述蓝色像素值乘以所述第二比率。

24.根据权利要求23所述的图像校正方法，其中，设置所述判定区域包括：

基于所述白色增益值计算对应于所述白色像素的白色增益值；以及

基于所述白色增益值确定所述判定区域的尺寸。

25.根据权利要求24所述的图像校正方法，其中，改变所述目标像素的像素值包括：

将所述白色增益值确定为所述目标像素的白色增益值；

将外围像素值计算为对应于所述目标像素的判定区域中包括的红色像素的平均像素值、绿色像素的平均像素值和蓝色像素的平均像素值之和；

将所述白色增益值与所述外围像素值相乘而获得的值确定为所述目标像素的像素值；以及

对所述正常像素执行逆白平衡操作。

26.根据权利要求25所述的图像校正方法，其中，执行所述逆白平衡操作包括：

将每个所述红色像素乘以所述第一比率的倒数；以及

将每个所述蓝色像素乘以所述第二比率的倒数。