CN112204948A - Hdr图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置 - Google Patents

Abstract

一种HDR图像生成方法、滤光片阵列(31,812)、图像传感器(81)、图像处理芯片(82)以及摄像装置。其中，HDR图像生成方法可以在摄像过程中实时地得到HDR图像，包括：接收图像传感器(81)采集的滤光处理后的图像的各像素点的像素值，其中，图像传感器(81)包括感光像素点阵列(32,811)以及覆盖于感光像素点阵列(32,811)的滤光片阵列(31,812)，滤光片阵列(31,812)包括多个以阵列形态排布的最小重复单元，最小重复单元包括至少两类滤光片单元，不同类别的滤光片单元的透光率不同，单个滤光片单元对应单个感光像素点(S402)；从滤光处理后的图像中确定一预设区域，将预设区域中的像素点作为子像素点，并基于子像素点的像素值合成HDR图像的单个像素点的像素值(S404)。

Description

HDR图像生成方法、滤光片阵列、图像传感器、图像处理芯片以 及摄像装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种HDR图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置。

背景技术

HDR(High Dynamic Range Imaging，高动态范围成像，简称HDRI或HDR)技术是用来实现比普通数字图像技术更大曝光动态范围，也就是更大的明暗差别的一种技术。通过HDR技术拍摄得到的HDR图像色彩更加鲜明，更加接近人眼的观看效果，因而被广泛应用各种摄像装置中。

目前在拍摄HDR图像时，有的技术通过采集多帧不同曝光时长的图像，然后再进行后期的融合处理，这种方式需要采集多张图像，拍摄时间较长，且还需对图像进一步融合处理，比较繁琐。也有的技术通过控制不同子像素曝光时长的方式来得到实时的HDR图像，但是这种技术只适用于卷帘快门的图像传感器，对于全局快门的图像传感器则不适用。然而，对于机器人、无人机上等本身会有大姿态运动的产品，其图像传感器大多数采用全局快门，因而这种技术在这些产品上不适用。因此，有必要对HDR技术加以改进，提供一种适用于全局快门产品的实时HDR成像技术。

发明内容

有鉴于此，本申请提供一种HDR图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置。

根据本申请实施例的第一方面，提供一种HDR图像生成方法，所述方法包括：

接收图像传感器采集的滤光处理后的图像的各像素点的像素值，其中，所述图像传感器包括感光像素点阵列以及覆盖于所述感光像素点阵列的滤光片阵列，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括至少两类滤光片单元，不同类别的所述滤光片单元的透光率不同，单个所述滤光片单元对应单个所述感光像素点；

从所述滤光处理后的图像中确定一预设区域，将所述预设区域中的所述像素点作为子像素点，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

根据本申请实施例的第二方面，提供一种用于生成HDR图像的滤光片阵列，所述滤光片阵列包括：

多个以阵列形态排布的最小重复单元；

所述最小重复单元包括至少两类滤光片单元，不同类别的滤光片单元的透光率不同。

根据本申请实施例的第三方面，提供一种图像传感器，所述图像传感器包括：

感光像素点阵列以及覆盖于所述感光像素点阵列的滤光片阵列，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括至少两类滤光片，不同类别的滤光片的透光率不同，单个所述滤光片单元对应单个所述感光像素点。

根据本申请实施例的第四方面，提供一种图像处理芯片，所述图像处理芯片包括处理器、存储器和存储在所述存储器上的计算机程序，所述处理器执行所述计算程序本说明书实施例中任意一项所述的方法。

根据本申请实施例的第五方面，提供一种摄像装置，包括图像传感器和图像处理芯片，所述图像传感器包括感光像素点阵列以及覆盖于所述感光像素点阵列的滤光片阵列，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括少两类滤光片，不同类别的滤光片的透光率不同，单个所述滤光片单元对应单个所述感光像素点；

所述图像传感器采集到滤光处理后的图像的各像素点的像素值后，发送给所述图像处理芯片，所述图像处理芯片从所述滤光处理后的图像中确定一预设区域，将所述预设区域中的感光像素点作为子像素点，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

根据本申请实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本说明书实施例任意一项所述的方法。

应用本申请的方案，通过在图像传感器的感光像素点阵列上添加滤光片阵列，采用不同透光率的滤光片单元对到达感光像素点的光线进行过滤处理，使得各像素点的像素值呈现更大的明暗差异，然后以过滤处理后的图像上的预设区域内的像素点作为子像素点，合成HDR图像的单个像素点，以得到曝光范围更大的HDR图像。通过这种方式，可以在摄像过程中实时地得到HDR图像，无需进行后期的图像融合处理，且既适用于卷帘快门传感器，也适用于全局快门传感器。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请一示例性实施例中的一种添加拜耳阵列的图像传感器的结构示意图。

图1b是本申请一示例性实施例中的一种拜耳阵列的结构示意图。

图2是本申请一示例性实施例中的一种滤光片阵列的结构示意图。

图3是本申请一示例性实施例中的一种图像的结构示意图。

图4是本申请一示例性实施例中的一种HDR图像生成方法的流程图。

图5a-5d是本申请一示例性实施例中的一种滤光片阵列的结构示意图。

图6a-6c是本申请一示例性实施例中的一种多个子像素点合成HDR图像的单个像素点的示意图。

图7是本申请一示例性实施例中的一种图像处理芯片的结构示意图。

图8是本申请一示例性实施例中的一种摄像装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

采用HDR技术拍摄得到的HDR图像相比于普通的图像具有更大的曝光动态范围，图像中高光区域和暗部区域显示的细节更加清晰，明暗对比度较大，因而得到的图像色彩更加鲜明，效果更好。目前HDR技术已广泛应用于各种摄像产品。有的技术是在图像拍摄过程中采集多帧不相同曝光率的图像，然后后期再通过软件对多张不同曝光率的图像进行合成，得到HDR图像，这种方式在拍摄过程中由于一次要采集多帧图像，拍摄时间较长，且无法实时获取图像，需要多采集到的图像经过后期的图像融合处理才能得到HDR图像。还有的技术是在摄像过程中通过控制像素点的曝光时长以得到实时的HDR图像。例如，索尼的QuadBayer Coding HDR(实现高动态范围)技术是一种实时获取HDR图像的技术，这种技术的原理是在采集图像时，控制不同子像素的曝光时长，然后再通过曝光时长不同的子像素合成HDR图像。但是这种技术只适用于卷帘快门的图像传感器，对于全局快门的图像传感器并不适用。然后，对于无人机、机器人等移动的产品，多采用全局快门，因此，有必要提供一种HDR技术，使其也可以适用这些产品。

为了便于理解本申请的各实施例，先简单介绍一下拜耳阵列。图像传感器采集的图像的像素点通常只记录各像素点的光强度，而没法记录光的颜色，因而采集的图像是黑白的。为了得到彩色的图像，需要在图像传感器上加一个微透镜层，镜头中的光线透过微透镜层后到达图像传感器的感光素点阵列，如图1a所示。这个微透镜层通常是由红、绿、蓝三种颜色的彩色滤光片构成的一个阵列，即拜耳阵列，如图1b所示。通过在图像传感器的每个子像素前面添加对应颜色的彩色滤光片，可以使得不同的子像素感应对应的颜色，最后再通过四个子像素点的像素值合成彩色图片的一个像素点的像素值，以及通过猜色算法确定彩色图片的各像素点的颜色，以得到最终的彩色图片。

类似于拜耳阵列，首先，本申请实施例提供了一种用于生成HDR图像的滤光片阵列，该滤光片阵列的结构与拜耳阵列类似，与拜耳阵列不同的是拜耳阵列是由红绿绿蓝的彩色滤光片构成，而本申请实施例提供的滤光片阵列由不同透光率的滤光片构成，该滤光片阵列可以覆盖于感光素点阵列上，用于对镜头中采集的光线进行滤光处理，从而实现HDR图像的生成。可以理解，本申请实施例中的滤光片阵列中的滤光片数量不受拜耳阵列的限制，例如可以为四个，也可以为更多个或更少个。

本申请实施例提供的滤光片阵列包括多个以阵列排布的最小重复单元，最小重复单元中包括至少两类滤光片单元，不同类别的滤光片单元对应不同的透光率。图2为本申请实施例中的一种滤光片阵列的示意图，需要指出的是，图2所展示的仅是一种示意性的滤光片阵列示意图，本申请的滤光片阵列可以是由至少两类不同透光率的滤光片单元构成的最小重复单元按任意形式排布的滤光片阵列，并不局限于图2所示的结构。其中，滤光片单元的透光率可以在0-100％的范围内任一透光率，最小重复单元可以是由滤光片单元构成的矩形区域、正方形区域以及其他形状的区域，本申请不作限制。最小重复单元中的滤光片的类别是两类或者两类以上，并且每个最小重复单元中每个类别的滤光片单元可以是一个或者多个。

其次，本申请实施例还提供了一种图像传感器，如图3所示，所述图像传感器包括感光像素点阵列32，以及位于所述感光像素点阵列的滤光片阵列31，当然，图像传感器还包括用于感光所需要的其他器件。所述滤光片阵列包括多个以阵列排布的最小重复单元，最小重复单元中包括至少两类滤光片单元，不同类别的滤光片单元对应不同的透光率，单个所述滤光片单元对应单个所述感光像素点。在摄像过程中，可以通过图像传感器上面的感光器件来记录光线的强度，感光器件上有许多感光像素点，以阵列形态排布，称之为感光像素点阵列，感光像素点阵列中的每个感光像素点会采集光强，从而得到图像的各个像素点的像素值。类似于采用拜耳阵列获得彩色图像的方式，本申请实施例提供的图像传感器在感光像素点阵列上面添加了一层微透镜层，该微透镜层即为滤光片阵列，滤光片阵列的每一个滤光片单元对应感光像素点阵列中的一个像素点，即一个滤光片单元的尺寸与一个感光像素点的尺寸一致，并且覆盖于感光像素点之上。当光线从镜头穿过，可以先通过滤光片单元过滤掉一部分光线后，再达到感光像素点阵列，以便各感光像素点记录滤光处理后的像素值。

同样的，所述感光像素点阵列上覆盖的滤光片阵列可以是由至少两类不同透光率的滤光片单元构成的最小重复单元按任意形式排布构成。通过使用至少两种不同的透光率的滤光片单元，可以过滤掉不同程度的光线，使最终到达感光像素点的光线强度呈现更大的差别，使得各像素点的亮度值呈现更大的差异。最小重复单元可以是由滤光片单元构成的矩形区域、正方形区域以及其他形状的区域，本申请不作限制。最小重复单元中的滤光片的类别是两类或者两类以上，并且每个最小重复单元中每个类别的滤光片单元可以是一个或者多个。

另外，本申请实施例还提供了一种HDR图像生成方法，该HDR图像生成方法的流程图如图4所示，包括以下步骤：

S402、接收图像传感器采集的滤光处理后的图像的各像素点的像素值，其中，所述图像传感器包括感光像素点阵列以及覆盖于所述感光像素点阵列的滤光片阵列，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括至少两类滤光片单元，不同类别的所述滤光片单元的透光率不同，单个所述滤光片单元对应单个所述感光像素点；

S404、从所述滤光处理后的图像中确定一预设区域，将所述预设区域中的所述像素点作为子像素点，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

本申请实施例提供的HDR图像生成方法可以用各种对图像信号进行处理的图像处理芯片，比如ISP芯片、FPGA芯片以及ASIC芯片等。该方法不仅可以用于各种帘卷快门的图像传感器，也适用于各种全局快门的图像传感器，以便在摄像过程中实时的生成HDR图像。

为了获取实时的HDR图像，本申请实施例使用的图像传感器的感光像素点阵列上覆盖了一层微透镜层，该微透镜层可以是由多个最小重复单元以阵列形态排布构成的滤光片阵列，用于对到达感光像素点阵列的光线进行过滤处理。其中，最小重复单元包括至少两类滤光片单元，不同类别的滤光片单元的透光率不同，单个滤光片单元对应于单个像素点，也就是一个滤光片单元的尺寸与一个像素点的尺寸一致，并且一个滤光片单元覆盖于一个像素点上，与对应的像素点重叠。当光线透过镜头后，会经过滤光片阵列的滤光处理，然后到达感光像素点进行感光，感光像素点便可以记录滤光处理后的图像的各个像素点的像素值。通过使用至少两种不同的透光率的滤光片单元，可以根据需要过滤光线，使最终到达感光像素点的光线强度呈现更大的差别，使得各像素点的亮度值呈现更大的动态范围，从而得到曝光动态范围更大的HDR图像。

当然，在采用滤光片阵列过滤处理后，临近的各像素点由于采用不同透光率的滤光片单元处理过，像素值会存在较大差异，为了让最终的图像过渡更加自然，还可以进一步的对这些像素点进行处理，得到最终的HDR图像。例如，在一种实施方式中，在接收到图像传感器采集到的经过滤处理后的图像的各像素点的像素值后，可以从过滤处理后的图像中确定出一个预设区域，然后将预设区域的像素点作为子像素点，合成HDR图像的单个像素点。其中，子像素点为图像传感器采集的滤光处理后的各像素点，预设区域可以根据对HDR图像效果的实际需求和滤光片阵列的排布结构来确定，比如可以将过滤处理后的图像中的每四个像素点作为子像素点，合成HDR图像的一个像素点，也可以将每两个像素点作为子像素点，合成HDR图像的一个像素点。

通过滤光片阵列中不同透光率的滤光片单元对各个感光像素点采集的光线进行滤光处理，可以使每个感光像素点接收到的光线强度呈现出更大的明暗差异，比如部分感光像素点覆盖有高透光率的滤光片，其感应的光线较强，最后像素点的亮度也较大，部分像素点覆盖有低透光率的滤光片单元，其感应的光线较弱，最后像素点的亮度也较小。然后将这些滤光处理后的像素点作为子像素点，进一步合成HDR图像的各个像素点，即可得到曝光范围更大的HDR图像。

对于每个滤光片阵列，其最小重复单元中包括的滤光片单元的透光率以及滤光片单元的排布无疑会影响最终的HDR图像的效果。在某些实施例中，最小重复单元可以包括由滤光片单元构成的矩形区域、正方形区域或者是其他形状的区域，可以根据实际需求设置，本申请不作限制。比如，在某些实施例中，如图5a所示，最小重复单元可以是由一个透光率为100％和一个透光率为10％的滤光片构成的矩形区域。当然，如图5b所示，最小重复单元也可以是由一个透光率为100％、一个透光率为10％和两个透光率为50％的滤光片单元构成的正方形区域。当然，滤光片单元的透光率可以根据实际需求选择，透光率取值范围可以是0-100％中的任意值。

由于高透光率的滤光片单元可以透过更多的光线，因而最后感光像素点感应到的光强更强，像素点的亮度也较大。而低透光率的滤光片单元会过滤掉更多的光线，透过的光线少，感光像素点感应的光强较弱，使得最后像素点的亮度会比较小。因此，为了使图像获得更大的动态范围，即更明显的明暗差别，像素点间的像素值差别可以更大，即接收到的光线的强度差更大。在某些实施例中，最小重复单元至少包括第一类滤光片单元和第二类滤光片单元，其中，第一类滤光片单元的透光率可以大于第一预设阈值，第二类滤光片单元的透光率单元可以小于第二预设阈值，使得两类滤光片单元的透光率呈现出一定差值，最终像素点的亮度值才能获得较大的范围。比如，可以设置第一预设阈值为一个比较高的透光率，以得到亮度较大的像素点，比如可以设置成95％，可以设置第二预设阈值为一个比较低的透光率，以得到亮度较小的像素点，比如可以设置成5％。当然，第一预设阈值和第二预设阈值可以根据实际应用场景灵活去设定，本申请不作限制。

当然，为了得到不同亮度取值的像素点，最小重复单元中滤光片的种类可以是两种或者多种，在某些实施例，最小重复单元除了包括第一类滤光片单元和第二类滤光片单元，还可以包括第三类滤光片单元，第三类滤光单元的透光率位于第一预设阈值和第二预设阈值之间。比如，第一预设阈值90％，第二预设阈值为5％，则第三类滤光片的透光率可以取5％-95％之间的一个值。当然，为了得到更多不同亮度取值的子像素点，以便最终合成的HDR图像更加精细，最小重复单元也可以包括四类、五类或者更多类别的滤光片单元，本申请不作限制。比如，如图5a所示，最小重复单元包括透光率为10％和透光率为100％的两类滤光片单元。如图5b所示，最小重复单元包括透光率为10％、透光率为100％以及透光率为50％的三类滤光片单元。如图5c所示，最小重复单元包括透光率为10％、透光率为100％、透光率为40％以及透光率70％的四类滤光片单元。如图5d所示，最小重复单元还包括透光率为10％、透光率为20％、透光率为30％、透光率为40％、透光率为50％、透光率为60％、透光率为70％、透光率为80％、透光率100％的九类滤光片单元。当然，以上只是示例性的例子，最小重复单元中滤光片的类别可以根据实际需求灵活设置。

此外，在某些实施例中，最小重复单元可以包括多类滤光片单元，每类滤光片单元的数量可以是一个，也可以是多个。比如，如图5a所示，最小重复单元由两类滤光片构成，每类滤光片单元的数量为一个。如图5b所示，最小重复单元中透光率为50％的滤光片的数量也可以是两个。

在某些实施例中，为了得到亮度较大的子像素点，第一类滤光片单元可以是透光率为100％的滤光片单元，对于镜头入射的光线完全透过，使得像素点的亮度较大。为了得到亮度较小但又至于太暗而出现欠曝的像素点，第二类滤光片单元可以是透光率为10％的滤光片单元，通过透光率为100％的滤光片单元和透光率为10％的滤光片单元来调整子像素点的亮度范围差值，使得各像素点的亮度值呈现更大的动态范围，从而得到曝光动态范围更大的HDR图像。

通过图像传感器采集到过滤处理后的图像的各像素点的像素值后，可以从过滤处理后的图像中选出一预设区域，将预设区域的像素点作为子像素点来合成HDR图像的单个像素点。其中，预设区域可以根据实际需求来选取，比如可以是由两个子像素点构成的区域，四个子像素点构成的区域，或者是更多子像素点构成区域。当然，由于每个子像素点上添加了不同透光率的滤光片单元，相邻的子像素点的像素值的亮度差异可能比较大，为了使得最后生成的HDR图像各个部分的过渡可以更加自然，在某些实施例中，在选择预设区域时，预设区域中的各个子像素点上覆盖的滤光片单元的类别可以与最小重复单元中包括的滤光片单元的类别一致，比如，最小重复单元包含透光率为10％、40％、50％以及100％四种滤光片单元，在选取预设区域时，可以选择覆盖有透光率为10％、40％、70％以及100％四种滤光片单元的四个子像素构成的区域作为预设区域，并使用这四个子像素的像素值合成HDR图像的单个像素点的像素值。这样便可以保证HDR图像的每个像素点都是由覆盖了相同种类的滤光片单元的子像素点合成得到，使得HDR图像的各像素点的亮度过渡自然些。

例如，在一个实施例中，如图6a所示，滤光片阵列中的最小重复单元可以是由1个透光率为10％和1个透光率为100％的滤光片单元构成的矩形区域，在另一个实施例中，滤光片阵列中的最小重复单元也可以是由2个透光率为10％和2个透光率为100％的滤光片单元构成的正方形区域。当最小重复单元为由1个透光率为10％和1个透光率为100％的滤光片单元构成的矩形区域时，在选取预设区域时，也就是选取合成每个HDR图像的像素点的子像素点时，可以选取覆盖有透光率为10％的滤光片单元的子像素点以及覆盖有透光率为100％的滤光片单元的子像素点(如图6a中的虚线框选的矩形区域)，并用这两个子像素点的像素值合成HDR图像的一个像素点(图6a中的黑色点)。当然，在某些实施例中，如图如6b所示，当最小重复单元为由2个透光率为10％和2个透光率为100％的滤光片单元构成的矩形区域时，在选取预设区域时，也可以选取相邻的2个覆盖有透光率为10％的滤光片单元的子像素点以及2个覆盖有透光率为100％的滤光片单元的子像素点(如图6b中虚线框选的矩形区域)，并用这四个子像素点的像素值合成HDR图像的一个像素点(例如可以为四个子像素点中心位置的点，如图6b所示)。

在另外一个实施例中，如图6c所示，滤光片阵列中的最小重复单元是由1个透光率为10％、1个透光率为100％以及2个透光率为50％的滤光片单元构成的正方形区域。选取合成每个HDR图像的像素点的子像素点时，可以选取覆盖有透光率为10％、透光率为100％以及透光率为50％的滤光片单元的子像素点(如图6c中的虚线框选的正方形区域)来合成HDR图像的单个像素点(图6c中位于四个子像素点中心的黑色点)。当然，选取的子像素点可以是任意相邻的四个分别覆盖有透光率为10％、透光率为100％以及2个透光率为50％的滤光片单元的子像素点。

在某些实施例中，预设区域的尺寸可以与最小重复单元尺寸一致，当然也可以不一致。比如，当最小重复单元的结构如图5a所示时，最小重复单元可以是2个透光率为10％和2个透光率为100％构成的正方形区域，在选取预设区域时，即在选取用于合成HDR图像像素点的子像素点所构成的区域时，可以只选取覆盖有透光率为10％和透光率为100％的两个子像素构成矩形区域作为预设区域，也就是说，可以只选取相邻的覆盖有透光率为10％和透光率为100％的两个子像素点来合成HDR图像的单个像素点。而当最小重复单元的结构如图5b所示时，则最小重复单元是1个透光率为10％、1个透光率40％、1个透光率为70％、1个透光率100％构成的正方形区域，在选取用于合成HDR图像像素点的子像素点所构成的区域时，可以选取覆盖有四种透光率的滤光片单元相邻的四个子像素点构成的正方区域作为预设区域，通过上述四个子像素点来合成一个HDR图像的单个像素点。当然，在某些情况，也可以选取更多的子像素点来合成HDR图像的单个像素点，比如选取9个或者16个子像素来合成一个HDR图像的像素点，具体可以根据实际需求去设置。

在某些实施例中，在确定出预设区域以及合成HDR图像的单个像素点的各子像素点后。可以预先确定各子像素点的权重，然后基于各子像素点的权重以及各子像素点的像素值合成所述HDR图像的单个像素点的像素值。比如，合成HDR图像的单个像素点的子像素点分别覆盖有透光率为10％以及100％的滤光片单元，确定出覆盖有透光率为10％滤光片单元的子像素点权重为60％，像素值为53，而覆盖有透光率为100％滤光片单元的权重为40％，像素值为198，则合成的HDR图像的像素点的像素值为:53*60％+198**40％＝114。

在某些实施例中，各子像素点的权重可以基于第一指定子像素点的像素值来确定。第一指定子像素点可以是经过某个特定透光率的滤光片单元进行滤光处理的子像素点。比如，在某些实施例中，第一指定子像素点可以是覆盖有透光率为50％的滤光片单元的子像素点。通过透光率为50％的滤光片单元滤光处理后的子像素点的像素值可以确定预设区域中的各子像素点的权重，进而计算HDR图像的像素点的像素值。假设感光像素点阵列上覆盖的滤光阵列如图5b所示，最小重复单元中包含透光率为10％、透光率为100％以及2个透光率为50％的滤光片单元，子像素点分别覆盖有透光率为10％、透光率为100％以及透光率为50％的滤光片单元，在计算权重时，可以将通过透光率为50％的滤光片单元滤光处理的子像素点视为为正常曝光，将通过透光率为100％的滤光片单元滤光处理的子像素点视为过曝，将通过透光率为10％的滤光片单元滤光处理的子像素点视为欠曝，则可以根据正常曝光的子像素点的像素值来确定其他子像素点的权重，比如，覆盖有透光率为10％的滤光片单元的子像素对应的权重可以通过如下计算公式计算：

weight＝0.5+(127–val50％)*0.002，

其中，weight指覆盖有透光率为10％的滤光片单元的子像素对应的权重，val50％指覆盖有透光率为50％的滤光片单元的像素值；

确定权重后，合成的HDR图像的像素点的像素值的可以采用如下公式计算得到：

合成的HDR图像的像素点的像素值val＝(val10％*weight)+(val100％*(1-weight))。

在某些实施例中，摄像过程中某些子像素点可能会出现过曝或者欠曝的现象，致使这些子像素点的亮度值过高或者过低，在一定程度上会影响最终合成的HDR图像的效果。为了避免这个问题，在采用子像素点合成HDR图像的像素点的像素值时，当某个子像素点的像素值大于第一阈值或者小于第二阈值，可以认为该子像素点出现过曝或欠曝的现象，因而在合成HDR图像的像素点的像素值时，可以将该子像素点的权重设置为0，即不考虑该过曝或欠曝的子像素点的像素值。其中，所述第一阈值可以设置为一个较大的像素值，比如250(以8bit为例，像素值取值为0-255)，所述第二阈值可以设置为一个较小的像素值，比如25(以8bit为例，像素值取值为0-255)。当然，以上只是示意性实施例，第一阈值和第二阈值可以根据实际情况具体设定。

以下用一个具体实施例进一步解释，假设滤光片阵列的最小重复单元如图6a所示，包括2个透光率为10％和2个透光率为100％的滤光片单元，在合成HDR图像时，选取相邻的两个分别覆盖有透光率为10％和透光率为100％的滤光片单元的子像素点来合成HDR图像的单个像素点，当覆盖有透光率为100％的子像素点出现过曝现象时，亮度较大时，比如覆盖有透光率为100％的子像素点的像素值大于250，这时就不考虑该子像素点的像素值，取覆盖有透光率为10％的子像素点的像素值作为HDR图像的单个像素点的像素值。当覆盖有透光率为10％的子像素点出现欠曝现象，亮度较小时，比如覆盖有透光率为10％的子像素点的像素值小于25，这时就不考虑该子像素点的像素值，取覆盖有透光率为100％的子像素点的像素值作为HDR图像的单个像素点的像素值。

在某些实施例中，在确定出用于合成HDR图像的单个像素点的各个子像素点后，可以基于第二指定子像素点的像素值范围、和预先设置的像素值映射表来确定所述HDR图像的单个像素点的像素值，其中，第二指定子像素点例如可以是未经过滤光处理的像素点，例如可以是覆盖有透光率为100％的滤光片单元的子像素点，所述像素值映射表用于记录所述第二指定子像素点的像素值范围与所述HDR图像单个像素点的像素值的对应关系。比如，可以参考所有子像素点中的某一个像素点的像素值取值，来确定合成的HDR图像的像素点的像素值。在一个实施例中，可以事先根据经验设置一个像素值映射表，记录该子像素点的像素值在不同范围时，合成的HDR图像的像素点的像素值的合适的取值。比如，该子像素点的像素值在0-50时，HDR图像的像素点的像素值为取值为40，该子像素点的像素值在50-100时，HDR图像的像素点的像素值为取值为70。当然，也可以是该子像素点的像素值在0-50时，HDR图像的像素点的像素值取覆盖有透光率为70％的滤光片单元的子像素点，该子像素点的像素值在50-100时，HDR图像的像素点的像素值取覆盖有透光率为40％的滤光片单元的子像素点。具体可以根据最小重复单元的透光片类别和结构去设置像素值映射表。

在某些实施例中，第二指定子像素点可以是未经过滤光处理像素点，比如可以是覆盖有透光率为100％的滤光片单元的子像素点。例如，在一个实施方式中，最小重复单元如图5c所示，是由一个透光率为10％、一个透光率为100％、一个透光率为40％以及一个透光率为70％的滤光片单元构成的正方形区域，因此，可以选择覆盖有上述四种滤光片单元的四个子像素点来合成HDR图像的单个像素点。在计算HDR图像的像素点时，可以采用梯度取值的方式，比如都参照覆盖有透光率为100％的滤光片单元的子像素点的像素值来确定HDR图像的单个像素点(以8bit为例，像素值取值为0-255)，具体如下：

当val100％值在0～63时，HDR图像像素点的像素值＝val100％

当val100％值在64～127时，HDR图像像素点的像素值＝val40％

当val100％值在128～191时，HDR图像像素点的像素值＝val70％

当val100％值在192～255时，HDR图像像素点的像素值＝val100％

其中，val100％指覆盖有透光率为100％的滤光片单元的子像素点的像素值，val40％指覆盖有透光率为40％的滤光片单元的子像素点的像素值，val70％指覆盖有透光率为70％的滤光片单元的子像素点的像素值。

可以理解，上述取值仅为示例性说明，可以根据实际需要计算HDR图像的像素点的像素值，在此不作限定

在某些实施例中，通过滤光处理后的子像素点合成的HDR图像可以是灰度图像，也可以是彩色图像。

在某些实施例中，如果合成的HDR图像是彩色图像的话，该彩色图像可以通过拜耳阵列得到。即图像传感器上除了覆盖一个滤光片阵列，还覆盖了一个拜耳阵列，通过拜耳阵列过滤掉红、蓝、绿三色的光线，得到子像素点，然后通过四个覆盖有红、绿、绿、蓝三色的子像素点的像素值合成一个彩色图像的像素点的像素值，该像素值可以通过红、绿、绿、蓝四个子像素点进行相应计算得到。

在某些实施例中，为了得到彩色的HDR图像，图像传感器上同时覆盖有滤光片阵列和拜耳阵列，通过上述两个阵列对入射的光线进行双重滤光处理。例如，滤光片阵列覆盖于感光像素点阵列之上，拜耳阵列覆盖于滤光片阵列之上，拜耳阵列的每个彩色滤光片单元对应所述最小重复单元。在一个实施例中，拜耳阵列是由红、绿、绿、蓝四个滤光片构成的正方形区域以阵列形态排布构成，其中，拜耳阵列的每个彩色滤光片对应一个滤光片阵列的最小重复单元。举个例子，滤光片阵列是由一个透光率为10％、一个透光率为100％、一个透光率为40％以及一个透光率为70％的滤光片单元构成的最小重复单元以阵列形态排布而成，那么拜耳阵列的每个彩色滤光片的尺寸与一个最小重复单元的尺寸一致，并且重叠。比如红色滤光片对应一个最小重复单元，两个绿色滤光片分别对应一个最小重复单元，然后蓝色滤光片也对应一个最小重复单元。经过两个阵列双重滤光处理后，然后再用双重滤光处理后的子像素点来合成最终的HDR彩色图像的像素点。合成时，可以先用最小重复单元对应的四个子像素点合成一个中级像素点，再用红、绿、绿、蓝四个彩色滤光片覆盖的四个中级像素点合成彩色HDR图像的单个像素点，以得到最终的彩色图像。

本申请实施例提供的HDR图像生成方法，在图像传感器的感光像素点阵列中覆盖滤光片阵列，通过滤光片阵列中至少两类不同透光率的滤光片单元对光线进行过滤处理，使到达感光像素点的光线强度呈现更大的区别，然后通过感光像素点阵列采集到的滤光处理后的子像素点来合成HDR图像的像素点，以便得到曝光范围更大的HDR图像。通过这种方式，可以实时的获得HDR图像，无需进行图像的融合处理，并且既能适用全局快门的图像传感器，也能适用于卷帘快门的图像传感器。

此外，本申请实施例还提供了一种图像处理芯片，该图像处理芯片用于接收图像传感器采集的滤光处理后的各子像素点的像素值，然后采用这些子像素点合成HDR图像，如图7所示，该图像处理芯片包括处理702器、内存704以及非易失存储器706，所述图像处理芯片，通常根据该芯片的实际功能，还可以包括其他硬件，对此不再赘述。非易失存储器706上存储有计算机程序，所述处理702器执行所述计算程序执行说明书实施例中任意一项所述的方法，具体实施细节可参考上述HDR图像的生成方法中的各实施例，在此不再赘述。

进一步地，本申请实施例还提供了一种摄像装置，如图8所示，该摄像装置包括图像传感器81和图像处理芯片82，图像传感器81包括感光像素点阵列811以及覆盖于所述感光像素点阵列的滤光片阵列812，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括少两类滤光片，不同类别的滤光片的透光率不同，单个所述滤光片单元对应单个所述感光像素点；

所述图像传感器采集到滤光处理后的图像的各像素点的像素值后，发送给所述图像处理芯片，所述图像处理芯片从所述滤光处理后的图像中确定一预设区域，将所述预设区域中的感光像素点作为子像素点，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

在某些实施例中，所述预设区域中的子像素点上覆盖的滤光片的类别与所述最小重复单元中滤光片的类别相同。

在某些实施例中，所述最小重复单元包括第一类滤光片单元和第二类滤光片单元，其中，第一类滤光片单元的透光率大于第一预设阈值，第二类滤光片单元的透光率小于第二预设阈值。

在某些实施例中，所述最小重复单元还包括第三类滤光片单元，第三类滤光片单元的透光率位于第一类滤光片单元的透光率和第二类滤光片单元的透光率之间。

在某些实施例中，所述第一类滤光片单元的透光率为100％，所述第二类滤光片单元的透光率为10％。

在某些实施例中，所述最小重复单元中的不同类别的滤光片单元为一个或多个。

在某些实施例中，所述最小重复单元为所述滤光片单元构成的正方形区域。

在某些实施例中，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值包括：

确定各子像素点的权重；

基于所述权重以及所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

在某些实施例中，所述权重基于第一指定子像素点的像素值计算得到。

在某些实施例中，所述第一指定子像素点为覆盖有透光率为50％的滤光片单元的子像素点。

在某些实施例中，当所述子像素点的像素值大于第一阈值或小于第二阈值时，则将所述子像素点的权重设置为0。

在某些实施例中，所述基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值，包括：

基于覆盖有透光率为100％的滤光片单元的子像素点的像素值确定所述HDR图像的单个像素点的像素值；

基于第二指定子像素点的像素值范围和预先设置的像素值映射表确定所述HDR图像的单个像素点的像素值，其中，所述像素值映射表用于记录所述第二指定子像素点的像素值范围与所述HDR图像单个像素点的像素值的对应关系。

在某些实施例中，所述第二指定子像素点为未经过滤光处理的子像素点。

在某些实施例中，所述预设区域的尺寸与所述最小重复单元的尺寸一致。

在某些实施例中，在某些实施例中，所述过滤处理后的HDR图像为灰度图像或彩色图像。

在某些实施例中，当所述过滤处理后的HDR图像为彩色图像时，所述图像传感器还包括一个拜耳阵列，所述彩色图像基于所述拜耳阵列得到。

在某些实施例中，所述拜耳阵列覆盖于所述滤光片阵列之上，所述拜耳阵列的每个彩色滤光片单元对应所述最小重复单元。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本说明说实施例中任意一项所述的方法，具体实施细节可参考上述HDR图像的生成方法中的各实施例，在此不再赘述。

本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (23)

1.一种HDR图像生成方法，其特征在于，所述方法包括：

接收图像传感器采集的滤光处理后的图像的各像素点的像素值，其中，所述图像传感器包括感光像素点阵列以及覆盖于所述感光像素点阵列的滤光片阵列，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括至少两类滤光片单元，不同类别的所述滤光片单元的透光率不同，单个所述滤光片单元对应单个所述感光像素点；

从所述滤光处理后的图像中确定一预设区域，将所述预设区域中的所述像素点作为子像素点，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

2.根据权利要求1所述的HDR图像生成方法，所述预设区域中的子像素点上覆盖的滤光片的类别与所述最小重复单元中滤光片的类别相同。

3.根据权利要求1所述的HDR图像生成方法，其特征在于，所述最小重复单元包括第一类滤光片单元和第二类滤光片单元，其中，第一类滤光片单元的透光率大于第一预设阈值，第二类滤光片单元的透光率小于第二预设阈值。

4.根据权利要求3所述的HDR图像生成方法，其特征在于，所述最小重复单元还包括第三类滤光片单元，第三类滤光片单元的透光率位于第一类滤光片单元的透光率和第二类滤光片单元的透光率之间。

5.根据权利要求3所述的HDR图像生成方法，其特征在于，所述第一类滤光片单元的透光率为100％，所述第二类滤光片单元的透光率为10％。

6.根据权利要求1所述的HDR图像生成方法，其特征在于，所述最小重复单元中的不同类别的滤光片单元为一个或多个。

7.根据权利要求1所述的HDR图像生成方法，其特征在于，所述最小重复单元为所述滤光片单元构成的正方形区域。

8.根据权利要求1-7任一项所述的HDR图像生成方法，其特征在于，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值包括：

确定各子像素点的权重；

基于所述权重以及所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

9.根据权利要求8所述的HDR图像生成方法，其特征在于，所述权重基于第一指定子像素点的像素值计算得到。

10.根据权利要求9所述的HDR图像生成方法，其特征在于，所述第一指定子像素点为覆盖有透光率为50％的滤光片单元的子像素点。

11.根据权利要求8所述的HDR图像生成方法，其特征在于，当所述子像素点的像素值大于第一阈值或小于第二阈值时，则将所述子像素点的权重设置为0。

12.根据权利要求1-7任一项所述的HDR图像生成方法，其特征在于，所述基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值，包括：

基于第二指定子像素点的像素值范围和预先设置的像素值映射表确定所述HDR图像的单个像素点的像素值，其中，所述像素值映射表用于记录所述第二指定子像素点的像素值范围与所述HDR图像单个像素点的像素值的对应关系。

13.根据权利要求12任一项所述的HDR图像生成方法，其特征在于，所述第二指定子像素点为未经过滤光处理的子像素点。

14.根据权利要求1所述的HDR图像生成方法，其特征在于，所述预设区域的尺寸与所述最小重复单元的尺寸一致。

15.根据权利要求1所述的HDR图像生成方法，其特征在于，

所述HDR图像为灰度图像或彩色图像。

16.根据权利要求15所述的HDR图像生成方法，当所述HDR图像为彩色图像时，所述图像传感器还包括一个拜耳阵列，所述彩色图像基于所述拜耳阵列得到。

17.根据权利要求16所述的HDR图像生成方法，所述拜耳阵列覆盖于所述滤光片阵列之上，所述拜耳阵列的每个彩色滤光片单元对应所述最小重复单元。

18.一种用于生成HDR图像的滤光片阵列，其特征在于，所述滤光片阵列包括：

多个以阵列形态排布的最小重复单元；

所述最小重复单元包括至少两类滤光片单元，不同类别的滤光片单元的透光率不同。

19.一种图像传感器，其特征在于，所述图像传感器包括：

感光像素点阵列以及覆盖于所述感光像素点阵列的滤光片阵列，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括至少两类滤光片，不同类别的滤光片的透光率不同，单个所述滤光片单元对应单个所述感光像素点。

20.根据权利要求19所述的图像传感器，所述图像传感器还包括一个拜耳阵列。

21.一种图像处理芯片，其特征在于，所述图像处理芯片包括处理器、存储器和存储在所述存储器上的计算机程序，所述处理器执行所述计算程序执行权利要求1-17所述的方法。

22.一种摄像装置，其特征在于，包括图像传感器和图像处理芯片，所述图像传感器包括感光像素点阵列以及覆盖于所述感光像素点阵列的滤光片阵列，所述滤光片阵列包括多个以阵列形态排布的最小重复单元，所述最小重复单元包括少两类滤光片，不同类别的滤光片的透光率不同，单个所述滤光片单元对应单个所述感光像素点；

所述图像传感器采集到滤光处理后的图像的各像素点的像素值后，发送给所述图像处理芯片，所述图像处理芯片从所述滤光处理后的图像中确定一预设区域，将所述预设区域中的感光像素点作为子像素点，并基于所述子像素点的像素值合成所述HDR图像的单个像素点的像素值。

23.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至17任意一项所述的方法。

Images