CN118338139A - 用于校正图像中包括的伪影的装置 - Google Patents

Abstract

一种用于校正图像中包括的伪影的装置，包括图像处理器。图像处理器包括获取器，被配置成获取包括布置成2×2阵列的第一像素数据、第二像素数据、第三像素数据和第四像素数据的图像数据。图像处理器还包括引导图像生成器，被配置成基于位于对角线方向的第一像素数据和第四像素数据的平均值来获取第一引导图像。图像处理器还包括图像操作部件，被配置成输出使用第一引导图像中包括的高频分量和图像数据生成的结果图像。

Description

用于校正图像中包括的伪影的装置

相关申请的交叉引用

本申请要求于2023年1月11日提交至韩国知识产权局的韩国专利申请第10-2023-0004026号的优先权，其整体公开内容通过引用并入本文。

技术领域

本公开的多种实施方式大体涉及用于通过图像处理校正图像中包括的伪影的技术。

背景技术

近来，随着像素的尺寸响应于高像素图像传感器的要求而减小，已经开发了具有在一个微透镜下方布置两个或更多个光电二极管(以下称为“PD”)的形式的图像传感器。例如，图像传感器不仅可以被配置成使得每个像素包括一个微透镜，而且可以被配置成使得布置成2×2阵列的四个像素彼此共享一个微透镜。四个像素彼此共享一个微透镜的图像传感器可以被称为“全4耦合传感器”(以下称为“A4C传感器”)。

通过其中两个或更多个像素彼此共享一个微透镜的图像传感器捕获的图像可以包括由相位差引起的伪影。例如，通过A4C传感器捕获的图像包括在未建立焦点的区域中出现的由相位差引起的伪影。

穿过A4C传感器中的一个微透镜的光入射到两个或更多个(例如，四个)像素上，并且光被分入像素。因此，包括A4C传感器的装置获取如下图像：其中在捕获的场景中在从对焦的第一物体入射的光中不出现相位差，但是在从失焦的第二物体入射的光中出现相位差。

发明内容

根据本公开的实施方式的是一种图像处理器。该图像处理器可以包括：获取器，被配置成获取包括布置成2×2阵列的第一像素数据、第二像素数据、第三像素数据和第四像素数据的图像数据；引导图像生成器，被配置成基于位于对角线方向的第一像素数据和第四像素数据的平均值来获取第一引导图像；以及图像操作部件，被配置成输出使用第一引导图像中包括的高频分量和图像数据生成的结果图像。

根据本公开的实施方式的是一种图像处理方法。该图像处理方法可以包括：获取包括布置成2×2阵列的第一像素数据、第二像素数据、第三像素数据和第四像素数据的图像数据；基于位于对角线方向的第一像素数据和第四像素数据的平均值获取第一引导图像；以及使用第一引导图像中包括的高频分量和图像数据来生成结果图像。

附图说明

图1是示意性地示出根据本公开的实施方式的图像处理器的配置的示图。

图2是示意性地示出根据本公开的实施方式的图像处理器和图像传感器的配置的示图。

图3是示出根据本公开的实施方式的图像处理器执行G插值的方法的示例的示图。

图4是示出根据本公开的实施方式的图像处理器基于图像数据获取引导图像的方法的示图。

图5是示出根据本公开的实施方式的图像处理器获取引导图像的详细方法的示图。

图6是示出根据本公开的实施方式的图像处理器使用引导图像获取与图像数据相比减少了伪影的结果图像的方法的示图。

图7是示出根据本公开的实施方式的其中减少了由相位差引起的伪影的结果图像的示例的示图。

图8是示出根据本公开的实施方式的获取伪影减少的结果图像的方法的流程图。

图9是示出根据本公开的实施方式的获取伪影减少的结果图像的详细方法的流程图。

具体实施方式

本说明书或申请中介绍的本公开的实施方式中的具体结构或功能描述仅用于描述本公开的实施方式。这些描述不应被解释为限于说明书或申请中描述的实施方式。

现在将参照附图详细描述本公开的多种实施方式，使得本领域技术人员能够实践本公开的技术精神。

图1是示意性地示出根据本公开的实施方式的图像处理器的配置的示图。

参照图1，图像处理器100可以包括获取器110、引导图像生成器120和图像操作部件130。

获取器110可以获取图像数据，图像数据包括布置成2×2阵列的第一像素数据、第二像素数据、第三像素数据和第四像素数据。稍后将参照图2详细描述图像数据。

引导图像生成器120可以基于位于对角线方向的第一像素数据和第四像素数据的平均值来获取第一引导图像。引导图像生成器120可以基于位于对角线方向的第二像素数据和第三像素数据的平均值来获取第二引导图像。稍后将参照图4和图5详细描述引导图像。

图像操作部件130可以使用第一引导图像中包括的高频分量来生成与图像数据相比减少了伪影的图像。图像操作部件130可以输出生成的伪影减少的图像。稍后将参照图6详细描述伪影减少的图像的生成。在本公开中，伪影减少的图像可以被称为“结果图像”。

图像操作部件130可以使用第一引导图像中包括的第一高频分量或第二引导图像中包括的第二高频分量中的至少一个来生成伪影减少的图像。例如，图像操作部件130可以根据与第一引导图像相关的第一权重和与第二引导图像相关的第二权重来生成伪影减少的图像。稍后将参照图6详细描述权重。

图2是示意性地示出根据本公开的实施方式的图像处理器和图像传感器的配置的示图。对于图2，将详细描述图1中描述的部件和附加部件。

参照图2，图像处理器100可以包括接收器112、G插值器114、引导图像生成器120、图像操作部件130和R/B插值器140。图2中示出的接收器112和G插值器114可以被包括在图1的获取器110中。此外，图像处理器100可以通过接收器112从图像传感器200接收原始数据。图像处理器100可以将伪影减少的RGB图像输出到外部模块300。

图像传感器200可以通过像素阵列210获取原始数据。像素阵列210可以被配置成使得两个或更多个像素彼此共享一个微透镜。例如，像素阵列210可以包括布置成2×2阵列的第一像素211、第二像素212、第三像素213和第四像素214。第一像素211、第二像素212、第三像素213和第四像素214可以具有对应于相同颜色(例如，绿色(G))的滤色器。此外，第一像素211、第二像素212、第三像素213和第四像素214可以彼此共享一个微透镜。在本公开中，彼此共享一个微透镜的两个或更多个像素(例如，第一像素211、第二像素212、第三像素213和第四像素214)可以被指定为被包括在一个单元像素中。

通过其中两个或更多个像素彼此共享一个微透镜的图像传感器200捕获的原始数据可以包括由相位差引起的伪影。例如，通过图像传感器200获取的原始数据可以包括在未建立焦点的区域中出现的由相位差引起的伪影。在入射到图像传感器200上的光中，穿过一个微透镜的光可以入射到四个像素上，其中光被分入四个像素(例如，第一像素211、第二像素212、第三像素213和第四像素214)。因此，图像传感器200可以获取其中在捕获的场景中在从对焦的第一物体入射的光中不出现相位差、但是在从失焦的第二物体入射的光中出现相位差的原始数据。

图像传感器200可以输出原始数据。原始数据可以包括通过像素阵列210获取的像素值。原始数据可以包括与两种或更多种颜色相对应的像素值。例如，原始数据可以包括与绿色(G)相对应的像素值、与红色(R)相对应的像素值以及与蓝色(B)相对应的像素值。

图像处理器100可以通过接收器112从图像传感器200接收原始数据。接收器112可以将原始数据提供给G插值器114。

G插值器114可以对原始数据执行G插值。例如，G插值器114可以执行插值，使得在原始数据中包括的像素值中的与颜色R和颜色B对应的像素值对应于颜色G。稍后将参照图3详细描述由G插值器114执行的插值。

G插值器114可以获取插值为颜色G的图像数据。在本公开中，图像数据可以指基于原始数据被执行G插值的数据。因此，图像数据中包括的像素数据(例如，第一像素数据、第二像素数据、第三像素数据和第四像素数据)可以对应于颜色G。此外，因为G插值器114基于包括由相位差引起的伪影的原始数据来获取图像数据，所以图像数据还可以包括由相位差引起的伪影。

引导图像生成器120可以基于图像数据获取第一引导图像和/或第二引导图像。稍后将参照图4和图5详细描述引导图像。

图像操作部件130可以基于引导图像获取与图像数据相比减少了伪影的图像。图像操作部件130可以将伪影减少的图像提供给R/B插值器140。伪影减少的图像可以指其中减少了原始数据或图像数据的至少部分区域中包括的由相位差引起的伪影的图像。在本公开中，伪影减少的图像可以被称为“结果图像”。也就是说，本公开中的结果图像可以对应于图2的伪影减少的图像。稍后将参照图6详细描述伪影减少的图像。

R/B插值器140可以对伪影减少的图像执行R插值和B插值。因为引导图像生成器120和图像操作部件130基于被插值为颜色G的图像数据来生成伪影减少的图像，所以伪影减少的图像可以对应于颜色G。因此，R/B插值器140可以对伪影减少的图像中包括的一些像素值执行R插值或B插值。例如，R/B插值器140可以对伪影减少的图像中包括的像素值中的在执行G插值之前对应于颜色R(或颜色B)的一些像素值进行插值，使得一些像素值对应于颜色R(或颜色B)。

R/B插值器140可以使用通过G插值器114将颜色R(或颜色B)转换为颜色G之前和之后的比率将颜色G的像素值转换回颜色R(或颜色B)的像素值。例如，R/B插值器140可以通过将R/G的比率(或B/G的比率)乘以颜色G的像素值来将伪影减少的图像中包括的每个颜色G的像素值转换成颜色R(或颜色B)的像素值。

图像处理器100可以通过R/B插值器140获取伪影减少的RGB图像。图像处理器100可以将伪影减少的RGB图像输出到外部模块300。例如，外部模块300可以是应用处理器、存储器装置或显示器。另外，外部模块300可以是图像处理器100能够向其输出伪影减少的RGB图像的各种部件或装置中的任何一个。

图3是示出根据本公开的实施方式的图像处理器执行G插值的方法的示例的示图。可以理解，图3中要描述的G插值由图2的G插值器114执行。

G插值器114可以将原始数据310中包括的像素值中的与颜色R或颜色B相对应的像素值插值为颜色G。例如，G插值器114可以将原始数据310中包括的像素值中的与颜色R相对应的第一像素值R1、第二像素值R2、第三像素值R3和第四像素值R4转换为颜色G，并且然后可以获取对应于颜色G的第一像素数据G'1、第二像素数据G'2、第三像素数据G'3和第四像素数据G'4。

G插值器114可以使用局部区域的颜色比率来执行G插值。例如，G插值器114可以使用下式1将与颜色R相对应的第一像素值R1转换为与颜色G相对应的第一像素数据G'1：

参照式1，G插值器114可以基于位于作为插值的目标的第一像素值Rl周围的像素值来计算颜色G与颜色R的比率，并且可以通过将第一像素值Rl乘以计算的比率来获取与颜色G相对应的第一像素数据G'1。在式1中，average可以表示平均运算。

替选地，除了局部区域的颜色比率之外，G插值器114还可以使用各种方案来执行G插值。例如，G插值器114可以使用线性插值、或多项式曲线拟合等对原始数据310执行G插值。

附图标记320示出了其中对原始数据310中包括的像素值中的与颜色R相对应的像素值R1、R2、R3和R4执行G插值的状态。G插值器114除了可以对与颜色R相对应的像素值R1、R2、R3和R4执行G插值之外，还可以对原始数据310中包括的像素值中的与颜色B相对应的像素值执行G插值。G插值器114可以将原始数据310中包括的与颜色R和/或颜色B相对应的像素值插值为颜色G，然后获取图像数据(未示出)。

此外，在本公开中，尽管已经假设图像处理器100将原始数据310插值为颜色G进行了描述，但这仅是示例，并且本公开的范围不限于此。例如，本公开还可以应用于图像处理器100将原始数据插值为颜色R、颜色B或另外的颜色以获取图像数据的情况，而不是将原始数据插值为颜色G。

图4是示出根据本公开的实施方式的图像处理器基于图像数据获取引导图像的方法的示图。

参照图4，图像数据400可以包括布置成2×2阵列的第一像素数据401、第二像素数据402、第三像素数据403和第四像素数据404。图像数据400可以指基于原始数据310被执行G插值的数据。第一像素数据401、第二像素数据402、第三像素数据403和第四像素数据404可以是原始数据310中包括的与颜色G相对应的像素值，或者是通过将原始数据310中包括的与颜色R(或颜色B)相对应的像素值插值为颜色G而获得的值。此外，第一像素数据401、第二像素数据402、第三像素数据403和第四像素数据404可以是彼此共享一个微透镜并且通过一个单元像素获取的像素数据。

引导图像生成器120可以基于位于对角线方向的第一像素数据401和第四像素数据404的平均值411来获取第一引导图像415。例如，引导图像生成器120可以基于图像数据400获取包括第一像素数据401和第四像素数据404的平均值411的第一平均值组410。引导图像生成器120可以使用第一平均值组410获取分辨率高于第一平均值组410的分辨率的第一引导图像415。稍后将参照图5详细描述引导图像生成器120使用第一平均值组410获取第一引导图像415的方法。

引导图像生成器120可以基于位于对角线方向的第二像素数据402和第三像素数据403的平均值421来获取第二引导图像425。例如，引导图像生成器120可以基于图像数据400获取包括第二像素数据402和第三像素数据403的平均值421的第二平均值组420。引导图像生成器120可以使用第二平均值组420获取分辨率高于第二平均值组420的分辨率的第二引导图像425。

参照图4，引导图像生成器120可以计算从位于单元像素内的对角线方向的像素获取的像素数据的平均值。引导图像生成器120可以使用在穿过一个微透镜之后入射到四个像素上的光中的入射到位于对角线方向的两个像素上的光来获取引导图像(例如，第一引导图像415或第二引导图像425)。

引导图像生成器120可以通过计算位于单元像素内的对角线方向的像素数据(例如，第一像素数据401和第四像素数据404、或者第二像素数据402和第三像素数据403)的平均值来减少图像数据400中包括的由相位差引起的伪影。因为引导图像生成器120基于图像数据400获取第一平均值组410(或第二平均值组420)，图像数据400中包括的由相位差引起的伪影可以被去除。由于穿过一个微透镜的光被分入以2×2阵列布置的四个像素，因此图像数据400中包括的伪影可以是由行方向和列方向上出现的相位差引起的。然而，当引导图像生成器120计算图像数据400中包括的对角线方向的像素数据的平均值时，行方向上的相位差和列方向上的相位差被抵消，因此图像数据400中包括的由相位差引起的伪影可以被去除。

图像处理器100可以使用由引导图像生成器120获取的引导图像(例如，第一引导图像415和第二引导图像425)中包括的高频分量来生成与图像数据400相比减少了伪影的图像。然而，为了使图像处理器100使用引导图像中包括的高频分量来生成伪影减少的图像，图像数据400和引导图像(例如，第一引导图像415和第二引导图像425)的分辨率需要彼此匹配。

然而，通过平均计算获取的平均值组(例如，第一平均值组410和第二平均值组420)可以具有是图像数据400的分辨率的1/4的分辨率。例如，每个平均值组的水平长度和竖直长度可以是图像数据400的水平长度和竖直长度的1/2。因此，引导图像生成器120可以通过调整平均值组(例如，第一平均值组410和第二平均值组420)的尺寸来获取与图像数据400的尺寸相对应的引导图像(例如，第一引导图像415和第二引导图像425)。在图5中，将描述引导图像生成器120通过调整平均值组(例如，第一平均值组410和第二平均值组420)的尺寸来获取引导图像(例如，第一引导图像415和第二引导图像425)的方法的示例。

图5是示出根据本公开的实施方式的图像处理器获取引导图像的详细方法的示图。

参照图5，引导图像生成器120可以通过调整第一平均值组410的尺寸来获取第一引导图像415。例如，引导图像生成器120可以使用第一平均值组410来获取分辨率高于第一平均值组410的分辨率的第一引导图像415。第一引导图像415的分辨率可以对应于图像数据400的分辨率。尽管在图5中描述了引导图像生成器120基于第一平均值组410获取第一引导图像415的情况，但是图5的描述也可以应用于引导图像生成器120基于第二平均值组420获取第二引导图像425的情况。

参照图5，第一平均值组410可以包括平均值(例如，AVG00、AVG01、AVG02等)。在图像数据400中包括的像素数据之中，第一平均值组410中包括的平均值可以被包括在一个单元像素中，并且可以是位于对角线方向(例如，左上部分和右下部分)的像素数据(例如，第一像素数据401和第四像素数据404)的平均值。此外，第一平均值组410中包括的平均值可以被指定为AVGAB，其可以指示位于第A+1行和第B+1列的平均值。

引导图像生成器120可以使用第一平均值组410的拟合曲线来获取分辨率高于第一平均值组410的分辨率的第一引导图像415。

例如，当基于第一行进行描述时，AVG00的坐标可以是(-4,0)，AVG01的坐标可以是(-2,0)，AVG02的坐标可以是(0,0)，AVG03的坐标可以是(2,0)，并且AVG04的坐标可以是(4,0)。式2可以对应于穿过与上述五个坐标相对应的值AVG00、AVG01、AVG02、AVG03和AVG04的拟合曲线。

y＝coef0×x⁴+coef1×x³+coef2×x²+coef3×x¹+coef4 (2)

在式2中，x可以是坐标，并且y可以是与坐标相对应的值(平均值)。引导图像生成器120可以将第一行中的平均值代入式2以获取式2的系数coef0、coef1、coef2、coef3和coef4。式3指示通过用坐标-4、-2、0、2和4代入式2中的x以及通过用对应于相应的坐标的平均值AVG00、AVG01、AVG02、AVG03、和AVG04代入式2中的y而获得的式。

当式3通过矩阵表示时，可以获得式4。

当与式4中包括的坐标相关的矩阵的逆矩阵乘以式4两侧时，可以获得式5。

引导图像生成器120可以使用式5获取系数coef0、coef1、coef2、coef3和coef4。引导图像生成器120可以基于获取的系数coef0、coef1、coef2、coef3和coef4获取穿过第一行中包括的平均值AVG00、AVG01、AVG02、AVG03和AVG04的拟合曲线(式2)。

引导图像生成器120可以使用与式2相对应的拟合曲线来计算与坐标(-5,0)、(-3,0)、(-1,0)、(1,0)、(3,0)和(5,0)相对应的y值。例如，引导图像生成器120可以通过将x＝1代入与拟合曲线相对应的式2来获取与坐标(1,0)相对应的y值(例如，第一引导图像415中包括的像素值)。

对于图5，虽然已经基于第一平均值组410的第一行进行了描述，但是引导图像生成器120也可以将图5中描述的方法应用于第一平均值组410中包括的其他平均值。

引导图像生成器120可以使用第一平均值组410的拟合曲线(例如，式2)来获取分辨率是第一平均值组410的分辨率的四倍高的第一引导图像415。例如，引导图像生成器120可以获取水平长度和竖直长度是第一平均值组410的水平长度和竖直长度的两倍长的第一引导图像415。第一引导图像415可以具有与图像数据400的分辨率相匹配的分辨率。

图6是示出根据本公开的实施方式的图像处理器使用引导图像获取与图像数据相比减少了伪影的结果图像的方法的示图。

图像操作部件130可以使用引导图像中包括的高频分量来生成与图像数据400相比减少了伪影的图像630。在示例中，图像操作部件130可以通过将第一引导图像415中包括的第一高频分量615添加到图像数据400来获取与图像数据400相比减少了伪影的图像630。在示例中，图像操作部件130可以通过将第一引导图像415中包括的第一高频分量615和第二引导图像425中包括的第二高频分量625中的至少一个添加到图像数据400来生成伪影减少的图像630。在本公开中，伪影减少的图像630可以被称为“结果图像”。

参照图6，图像操作部件130可以通过对图像数据400应用低通滤波器来获取模糊图像数据600。例如，图像操作部件130可以通过对图像数据400应用核来执行均值滤波。

如上文参照图2描述的，图像数据400可以包括由相位差引起的伪影。因此，图像操作部件130可以通过将低通滤波器应用于图像数据400来获取其中去除了由相位差引起的伪影并且保持图像数据400的整体格式的模糊图像数据600。然而，图像操作部件130可以通过将高频分量(例如，第一高频分量615和/或第二高频分量625)添加到模糊图像数据600来生成伪影减少的图像630，以最大程度地保持图像数据400中包括的高频分量并且最小化图像数据400中的伪影。

图像操作部件130可以通过将低通滤波器(例如，均值滤波器)应用于引导图像(例如，415或425)来获取模糊引导图像610或620，并且可以通过从引导图像(例如415或425)中减去模糊引导图像(例如，610或620)来获取引导图像415或425中包括的高频分量(例如，615或625)。例如，图像操作部件130可以通过从第一引导图像415中减去被应用低通滤波器的第一引导图像610来获取第一引导图像415中包括的第一高频分量615。此外，图像操作部件130可以通过从第二引导图像425中减去被应用低通滤波器的第二引导图像620来获取第二引导图像425中包括的第二高频分量625。

因为第一引导图像415和第二引导图像425是通过计算不同对角线方向的像素数据的平均值而生成的，所以它们可以在不同方向上具有更多纹理。例如，与第二引导图像425相比，第一引导图像415可以在图像数据400中包含的纹理中的在从左上部分到右下部分的方向(即在负斜率方向“\”)上保留更多纹理。此外，与第一引导图像415相比，第二引导图像425可以在图像数据400中包含的纹理中的在从右上部分到左下部分的方向(即在正斜率方向“/”)上保留更多纹理。因此，图像操作部件130可以通过选择性地或一起利用第一引导图像415的第一高频分量615和第二引导图像425的第二高频分量625来获取具有更好质量的伪影减少的图像630。

图像操作部件130可以基于与第一引导图像415相关的第一权重a1和与第二引导图像425相关的第二权重a2来生成伪影减少的图像630。例如，图像操作部件130可以通过将通过将第一权重a1乘以第一高频分量615而获得的值和通过将第二权重a2乘以第二高频分量625而获得的值添加到模糊图像数据600来生成伪影减少的图像630。

图像操作部件130可以使用各种方案来确定第一权重a1和第二权重a2。图像操作部件130可以将第一引导图像415和第二引导图像425中的与图像数据400更相似的引导图像相关的权重设置为较高值。

在示例中，图像操作部件130可以基于第一引导图像415与图像数据400之间的相似度来确定第一权重a1，并且可以基于第二引导图像425与图像数据400之间的相似度来确定第二权重a2。下式6示出了基于引导图像(例如，415和425)与图像数据400之间的相似度确定的权重(例如，a1和a2)。

在示例中，图像操作部件130可以自适应地确定权重(例如，a1和a2)，使得第一引导图像415和第二引导图像425中的与图像数据400更相似的引导图像(例如，415或425)的高频分量(例如，615或625)可以被更多地添加到图像数据400。下式7示出了自适应确定的权重(例如，a1和a2)。

在示例中，图像操作部件130可以自适应地确定权重(例如，a1和a2)，使得仅可以将第一引导图像415和第二引导图像425中的与图像数据400更相似的引导图像(例如，415或425)的高频分量(例如，615或625)选择性地添加到图像数据400。下式8示出了选择性确定的权重(例如，a1和a2)。

如果(a1′>a2′){a1＝a1′,a2＝0}；否则{a1＝0,a2＝a2′} (8)

在式6至式8中，Covariance可以表示协方差运算，Variance可以表示方差运算，Intp_G可以表示图像数据400，Guide_l可以表示第一引导图像415，并且Guide₂可以表示第二引导图像425。此外，除了式6至式8中描述的方案之外，图像操作部件130还可以使用各种方案来确定第一权重a1和第二权重a2。

图像操作部件130可以通过参照图6描述的方案来获取伪影减少的图像630。在本公开中，伪影减少的图像630可以是其中减少了图像数据400的至少部分区域中包括的由相位差引起的伪影的图像。此外，图像操作部件130可以将第一高频分量615或第二高频分量625至少一个添加到模糊图像数据600，从而获取伪影减少的图像630，其中图像数据400中包括的高频分量被保持(例如，清晰度或锐度被保持)并且与图像数据400相比减少了由相位差引起的伪影。

图7是示出根据本公开的实施方式的其中减少了由相位差引起的伪影的结果图像的示例的示图。

参照图2，图像处理器100可以从图像传感器200接收原始数据，并且可以通过根据本公开的图像处理来生成并输出伪影减少的RGB图像。图7中的附图标记710可以指示与原始数据相对应的图像的示例，并且附图标记720可以指示伪影减少的RGB图像的示例。将附图标记710与附图标记720进行比较，附图标记710可以在失焦区域中包括由相位差引起的伪影，并且附图标记720可以即使在失焦区域中也不包括由相位差引起的伪影。通过利用图1至图6中描述的方案，图像处理器100可以获取与附图标记720相对应的图像，其中与对应于附图标记710的图像相比由相位差引起的伪影减少。

图8是示出根据本公开的实施方式的获取伪影减少的结果图像的方法的流程图。可以理解的是，图8中描述的步骤可以通过图1或图2的图像处理器100执行或者通过图像处理器100中包括的部件(例如，110、120和130)执行。

在步骤S801，图像处理器(例如，获取器110)可以获取包括布置成2×2阵列的第一像素数据401、第二像素数据402、第三像素数据403和第四像素数据404的图像数据400。

在步骤S803，图像处理器100(例如，引导图像生成器120)可以基于位于对角线方向的第一像素数据401和第四像素数据404的平均值411来获取第一引导图像415。

在步骤S805，图像处理器100(例如，图像操作部件130)可以使用第一引导图像415中包括的高频分量(例如，第一高频分量615)和图像数据400来生成结果图像(例如，与图像数据400相比减少了伪影的图像630)。

图9是示出根据本公开的实施方式的获取伪影减少的结果图像的详细方法的流程图。可以理解的是，图9中描述的步骤可以通过图1或图2的图像处理器100执行或者通过图像处理器100中包括的部件(例如，110、120和130)执行。

在步骤S901，图像处理器100(例如，接收器112)可以从图像传感器200接收原始数据。

在步骤S903，图像处理器100(例如，G插值器114)可以通过G插值获取图像数据400。

在步骤S905，图像处理器100(例如，图像操作部件130)可以通过对图像数据400应用低通滤波器来获取模糊图像数据600。步骤S905可以独立于步骤S907和S909来执行，并且步骤的执行顺序不限于此。

在步骤S907，图像处理器100(例如，引导图像生成器120)可以基于图像数据400中包括的像素数据(例如，第一像素数据401和第四像素数据404、或者第二像素数据402和第三像素数据403)的平均值来获取第一引导图像415和/或第二引导图像425。

在步骤S909，图像处理器100(例如，图像操作部件130)可以获取第一引导图像415中包括的第一高频分量615，和/或获取第二引导图像425中包括的第二高频分量625。

在步骤S911，图像处理器100(例如，图像操作部件130)可以将第一高频分量615和/或第二高频分量625添加到模糊图像数据600。

在步骤S913，图像处理器100(例如，图像操作部件130)可以生成结果图像(例如，伪影减少的图像630)。

在步骤S915，图像处理器100(例如，R/B插值器140)可以通过R或B插值来生成伪影减少的RGB图像(例如，720)。

根据本公开，包括A4C传感器的装置可以通过图像处理减少捕获的图像中包括的伪影(例如，由相位差引起的伪影)。此外，该装置可以最大限度地保持捕获的图像中包括的细节并且减少由相位差引起的伪影。

Claims (18)

1.一种图像处理器，包括：

获取器，其：获取图像数据，所述图像数据包括布置成2×2阵列的第一像素数据、第二像素数据、第三像素数据和第四像素数据；

引导图像生成器，其基于位于对角线方向的所述第一像素数据和所述第四像素数据的平均值来获取第一引导图像；以及

图像操作部件，其输出使用所述第一引导图像中包括的高频分量和所述图像数据生成的结果图像。

2.根据权利要求1所述的图像处理器，其中，所述引导图像生成器基于位于对角线方向的所述第二像素数据和所述第三像素数据的平均值来生成第二引导图像。

3.根据权利要求2所述的图像处理器，其中，所述图像操作部件使用所述第一引导图像中包括的第一高频分量或所述第二引导图像中包括的第二高频分量至少一个来生成所述结果图像。

4.根据权利要求3所述的图像处理器，其中，所述图像操作部件基于与所述第一引导图像相关的第一权重和与所述第二引导图像相关的第二权重来生成所述结果图像。

5.根据权利要求4所述的图像处理器，其中，所述图像操作部件将所述第一引导图像和所述第二引导图像中的与所述图像数据更相似的引导图像相关的权重设置为较高值。

6.根据权利要求1所述的图像处理器，其中，所述引导图像生成器：

基于所述图像数据获取第一平均值组，所述第一平均值组包括所述第一像素数据和所述第四像素数据的所述平均值，以及

使用所述第一平均值组的拟合曲线获取分辨率高于所述第一平均值组的分辨率的所述第一引导图像。

7.根据权利要求1所述的图像处理器，其中，所述图像操作部件：通过从所述第一引导图像中减去被应用了低通滤波器的第一引导图像来获取所述第一引导图像中包括的所述高频分量。

8.根据权利要求1所述的图像处理器，其中，所述图像操作部件：

通过对所述图像数据应用低通滤波器来获取模糊图像数据，以及

通过将所述第一引导图像中包括的高频分量添加到所述模糊图像数据来生成所述结果图像。

9.根据权利要求1所述的图像处理器，其中，所述结果图像是这样的图像：其中与所述图像数据相比减少了所述图像数据的至少部分区域中包括的由相位差引起的伪影。

10.一种图像处理方法，包括：

获取图像数据，所述图像数据包括布置成2×2阵列的第一像素数据、第二像素数据、第三像素数据和第四像素数据；

基于位于对角线方向的所述第一像素数据和所述第四像素数据的平均值获取第一引导图像；以及

使用所述第一引导图像中包括的高频分量和所述图像数据来生成结果图像。

11.根据权利要求10所述的图像处理方法，还包括：

基于位于对角线方向的所述第二像素数据和所述第三像素数据的平均值获取第二引导图像。

12.根据权利要求11所述的图像处理方法，其中，生成所述结果图像包括：

使用所述第一引导图像中包括的第一高频分量或所述第二引导图像中包括的第二高频分量至少一个来生成所述结果图像。

13.根据权利要求12所述的图像处理方法，其中，生成所述结果图像还包括：

基于与所述第一引导图像相关的第一权重和与所述第二引导图像相关的第二权重来生成所述结果图像。

14.根据权利要求13所述的图像处理方法，其中，生成所述结果图像还包括：

将所述第一引导图像和所述第二引导图像中的与所述图像数据更相似的引导图像相关的权重设置为较高值。

15.根据权利要求10所述的图像处理方法，其中，获取所述第一引导图像包括：

基于所述图像数据获取第一平均值组，所述第一平均值组包括所述第一像素数据和所述第四像素数据的平均值；以及

使用所述第一平均值组的拟合曲线获取分辨率高于所述第一平均值组的分辨率的所述第一引导图像。

16.根据权利要求10所述的图像处理方法，其中，生成所述结果图像还包括：

通过从所述第一引导图像中减去被应用了低通滤波器的第一引导图像来获取所述第一引导图像中包括的所述高频分量。

17.根据权利要求10所述的图像处理方法，其中，生成所述结果图像还包括：

通过对所述图像数据应用低通滤波器来获取模糊图像数据；以及

通过将所述第一引导图像中包括的所述高频分量添加到所述模糊图像数据来生成所述结果图像。

18.根据权利要求10所述的图像处理方法，其中，所述结果图像是这样的图像：其中减少了所述图像数据的至少部分区域中包括的由相位差引起的伪影。