CN111835977B - 图像传感器、图像生成方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开是关于一种图像传感器、图像生成方法及装置、电子设备、存储介质，该图像传感器可以包括：感光元件层，所述感光元件层所含的感光阵列被划分为若干感光单元，每一感光单元包括一组感光像素；滤色片层，设于所述感光元件层上方，所述滤色片层所含的滤色片阵列被划分为对应于所述感光单元的若干滤色片单元，每一滤色片单元包含的滤色片像素覆盖对应感光单元中的部分感光像素。

Description

图像传感器、图像生成方法及装置、电子设备、存储介质

技术领域

本公开涉及拍照技术领域，尤其涉及一种图像传感器、图像生成方法及装置、电子设备、存储介质。

背景技术

目前，用户对于手机等电子设备的拍照质量要求越来越高。相关技术中主要是通过提升硬件参数来提升拍照质量，比如使用包含更多像素点的图像传感器、更高规格的镜头系统等，导致摄像头模组的体积增大、功耗升高、成本上升。

发明内容

本公开提供一种图像传感器、图像生成方法及装置、电子设备、存储介质，以解决相关技术中的不足。

根据本公开实施例的第一方面，提供一种图像传感器，包括：

感光元件层，所述感光元件层所含的感光阵列被划分为若干感光单元，每一感光单元包括一组感光像素；

滤色片层，设于所述感光元件层上方，所述滤色片层所含的滤色片阵列被划分为对应于所述感光单元的若干滤色片单元，每一滤色片单元包含的滤色片像素覆盖对应感光单元中的部分感光像素。

可选的，每一滤色片单元所含的滤色片像素属于相同的颜色分量。

可选的，当任一感光单元对应的滤色片单元包含任一颜色分量的滤色片像素时，所述任一感光单元与对应的滤色片单元构成所述任一颜色分量的组合像素；各个组合像素之间按照标准拜耳阵列进行排布。

可选的，在各个排列方向上，覆盖有滤色片像素的感光像素与未覆盖滤色片像素的感光像素依次间隔排列。

根据本公开实施例的第二方面，提供一种方法，应用于电子设备，所述电子设备包含如第一方面中任一所述的图像传感器，所述方法包括：

响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号；

将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据；

将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像。

可选的，生成所述第一图像数据，包括：

获取覆盖有滤色片像素的感光像素生成的第一像素数据；

确定与未覆盖滤色片像素的感光像素相邻且覆盖有滤色片像素的感光像素；

根据确定出的感光像素对应的第一像素数据，计算出所述未覆盖滤色片像素的感光像素对应的第二像素数据；

其中，所述第一图像数据包括：所有覆盖有滤色片像素的感光像素对应的第一像素数据、所有未覆盖滤色片像素的感光像素对应的第二像素数据。

可选的，生成所述第二图像数据，包括：

分别获取所述感光元件层所含的每一感光像素分别感应到的亮度信息，以作为所述第二图像数据。

根据本公开实施例的第三方面，提供一种装置，应用于电子设备，所述电子设备包含如第一方面中任一所述的图像传感器，所述装置包括：

获取单元，响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号；

生成单元，将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据；

融合单元，将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像。

可选的，所述生成单元具体用于：

获取覆盖有滤色片像素的感光像素生成的第一像素数据；

确定与未覆盖滤色片像素的感光像素相邻且覆盖有滤色片像素的感光像素；

根据确定出的感光像素对应的第一像素数据，计算出所述未覆盖滤色片像素的感光像素对应的第二像素数据；

其中，所述第一图像数据包括：所有覆盖有滤色片像素的感光像素对应的第一像素数据、所有未覆盖滤色片像素的感光像素对应的第二像素数据。

可选的，所述生成单元具体用于：

分别获取所述感光元件层所含的每一感光像素分别感应到的亮度信息，以作为所述第二图像数据。

根据本公开实施例的第四方面，提供一种电子设备，所述电子设备包含如第一方面中任一所述的图像传感器；所述电子设备还包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令以实现如上述第二方面的实施例中任一所述的方法。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述第二方面的实施例中任一所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过改进图像传感器上的像素排列，使得滤色片单元所含的滤色片像素仅覆盖对应感光单元中的部分感光像素，使得未被滤色片像素覆盖的感光像素能够专门用于感应亮度信息，相比于被滤色片像素覆盖的感光像素而言，所感应到的亮度信息包含相对更少的噪声，可以用于图像数据的降噪处理，因而在无需增加图像传感器的像素数量或更换镜头系统的情况下，即可在暗光环境中实现高质量的拍摄效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种图像传感器的分解结构示意图。

图2是根据一示例性实施例示出的一种图像传感器的像素排布示意图。

图3是根据一示例性实施例示出的一种图像生成方法的流程图。

图4是根据一示例性实施例示出的一种生成第一图像数据和第二图像数据的示意图。

图5是根据一示例性实施例示出的一种处理图像数据的示意图。

图6是根据一示例性实施例示出的一种图像融合的示意图。

图7是根据一示例性实施例示出的一种图像生成装置框图。

图8是根据一示例性实施例示出的一种用于图像生成的装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是根据一示例性实施例示出的一种图像传感器的分解结构示意图。如图1所示，本公开的图像传感器100可以包括：感光元件层1和滤色片层2，其中滤色片层2设于感光元件层1的上方，使得光线在照射并透过滤色片层2后，进一步照射在感光元件层1上，从而由滤色片层2所含的滤色片像素20形成色彩信息、由感光元件层1所含的感光像素10形成亮度信息。

感光元件层1包括若干感光像素10，图中并未对每一感光像素10进行一一标注。所有感光像素10依次排列形成如图1所示的感光阵列；其中，该感光阵列被进一步划分为若干感光单元，每一感光单元包括一组感光像素10。例如，图1中的感光阵列包含64个感光像素10，这些感光像素10按照8×8形式进行排布，并进一步通过直线L1、L2、L3和直线K1、K2、K3进行划分后，形成16个2×2的感光单元，譬如由直线L1、L2、K1、K2围成的感光单元101等，图中并未对每一感光单元进行一一标注。

滤色片层2包括若干滤色片像素20，图中并未对每一滤色片像素20进行一一标注。所有滤色片像素20依次排列形成如图1所示的滤色片阵列；其中，该滤色片阵列被进一步划分为若干滤色片单元，每一滤色片单元包含一组滤色片像素20。同时，每一滤色片单元存在对应的感光单元，并且同一滤色片单元所含的滤色片像素20仅覆盖对应感光单元中的部分感光像素10。

由图1所示的实施例可知：本公开通过改进图像传感器中的滤色片层2，使得滤色片层2仅覆盖感光元件层1所含的部分感光像素10，而非覆盖所有的感光像素10，使得覆盖有滤色片像素20的感光像素10可以用于感应色彩信息和亮度信息，而未被滤色片像素20覆盖的感光像素10可以用于感应亮度信息，那么感应到的色彩信息可以用于实现色彩还原，而亮度信息可以用于改善暗光环境下的图片亮度。

图2是根据一示例性实施例示出的一种图像传感器的像素排布示意图。如图2所示，对应于图1所示的图像传感器100，当滤色片层2覆盖于感光元件层1上方时，由于每一滤色片单元所含的滤色片像素20仅覆盖相应感光单元中的部分感光像素10，使得图2中只有部分像素被标示有字母R、G或B，而其他像素则被标示有字母C：字母R表示相应位置的感光像素10被红色分量的滤色片像素20覆盖、字母G表示相应位置的感光像素10被绿色分量的滤色片像素20覆盖、字母B表示相应位置的感光像素10被蓝色分量的滤色片像素20覆盖、字母C表示相应位置的感光像素10未被滤色片像素20覆盖。

在图2所示的实施例中，每一感光单元包括2×2阵列的4个感光像素10(同样的，每一滤色片单元包括2×2阵列的4个滤色片像素20)，且左上角、右下角的感光像素10被滤色片像素20覆盖，而左下角、右上角的感光像素10未被滤色片像素20覆盖(一些情况下，也可以使得左上角、右下角未被覆盖，而左下角、右上角被覆盖，本公开并不对此进行限制)，使得在构成相应的感光阵列、滤色片阵列时，可以确保在各个排列方向(即图2中的左右方向、上下方向)上，覆盖有滤色片像素20的感光像素10与未覆盖滤色片像素20的感光像素10依次间隔排列，便于在后续分别生成第一图像数据、第二图像数据时，根据覆盖有滤色片像素20的感光像素10获得的色彩信息，对相邻且未覆盖滤色片像素20的感光像素10进行准确地色彩恢复(即猜色)。在其他实施例中，还可以采用其他结构形式的感光单元和滤色片单元，而滤色片像素20对感光像素10的覆盖方式也可以根据情况进行变化，本公开并不对此进行限制。

在一实施例中，每一滤色片单元所含的滤色片像素20可以属于相同的颜色分量。相应地，当任一感光单元对应的滤色片单元包含任一颜色分量的滤色片像素20时，可以认为该任一感光单元与对应的滤色片单元构成该任一颜色分量的组合像素，比如图2中坐标为(1，1)的滤色片像素(坐标值中的前一数值对应于左右方向，后一数值对应于上下方向)、(2，2)的滤色片像素构成一个滤色片单元，该滤色片单元对应于坐标为(1，1)、(1，2)、(2，1)、(2，2)的感光单元，且该滤色片单元包含的两个滤色片像素均对应于红色分量，因而可以认为该滤色片单元与该感光单元构成红色分量的组合像素，比如组合像素1；坐标为(3，1)的滤色片像素、(4，2)的滤色片像素构成一个滤色片单元，该滤色片单元对应于坐标为(3，1)、(3，2)、(4，1)、(4，2)的感光单元，且该滤色片单元包含的两个滤色片像素均对应于绿色分量，因而可以认为该滤色片单元与该感光单元构成绿色分量的组合像素，比如组合像素2；坐标为(1，3)的滤色片像素、(2，4)的滤色片像素构成一个滤色片单元，该滤色片单元对应于坐标为(1，3)、(1，4)、(2，3)、(2，4)的感光单元，且该滤色片单元包含的两个滤色片像素均对应于绿色分量，因而可以认为该滤色片单元与该感光单元构成绿色分量的组合像素，比如组合像素3；坐标为(3，3)的滤色片像素、(4，4)的滤色片像素构成一个滤色片单元，该滤色片单元对应于坐标为(3，3、(3，4)、(4，3)、(4，4)的感光单元，且该滤色片单元包含的两个滤色片像素均对应于蓝色分量，因而可以认为该滤色片单元与该感光单元构成蓝色分量的组合像素，比如组合像素4。其他组合像素的情况类似，此处不再一一赘述。

因此，当采用上述实施例的排布方式时，可以将图像传感器100视为由若干上述的组合像素构成，并且这些组合像素之间可以按照一定方式进行排布。在一实施例中，各个组合像素之间按照标准拜耳阵列进行排布，比如可参考图2所示的上述组合像素1～4。

由图2所示的实施例可知：通过使得同一滤色片单元所含的滤色片像素20属于相同的颜色分量，使得该滤色片单元感应到的色彩信息可以用于构成组合像素，该过程类似于相关技术中基于Quad Bayer阵列的4in1处理方案(将4个像素组合为一个组合像素)，从而在实现色彩还原的过程中，提升单个组合像素所含的亮度。进一步地，由于滤色片单元对应的感光单元存在若干未被滤色片像素20覆盖的感光像素10，相比于Quad Bayer阵列中全部被覆盖的感光像素而言，这些未被覆盖的感光像素10能够感应到更多光线，以进一步提升单个组合像素所含的亮度信息，实现暗光环境下的高质量拍摄。

基于图1-2提供的图像传感器100，本公开提供了新的图像生成方案，以用于提升图像质量，下面结合图3进行描述。

图3是根据一示例性实施例示出的一种图像生成方法的流程图，如图3所示，该方法应用于电子设备(如手机、平板、可穿戴设备等)中，可以包括以下步骤：

在步骤302中，响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号。

在一实施例中，用户可以通过启动电子设备上的相机APP(Application，应用程序)，并基于该相机APP发出拍摄指令，比如触发手机屏幕上显示的虚拟“拍照”按键、按压手机上的物理按键(单个按键或多个按键的组合)或者发出控制语音等方式，向电子设备发出相应的拍摄指令。

在一实施例中，电子设备可以支持多种拍摄模式，比如正常模式和高质量模式等。在正常模式下，电子设备可以基于相关技术中的技术方案实施拍摄操作；而在高质量模式下，电子设备可以基于本公开的技术方案对第一图像数据和第二图像数据进行获取、拼合，以得到高质量(与正常模式下拍摄的图像相比，该高质量模式下拍摄的最终图像的质量相对更高)的最终图像。

在一实施例中，电子设备可以向用户提供相应的模式选项，使得用户可以根据实际需求选择采用正常模式、高质量模式或其他模式。

在一实施例中，电子设备可以内置AI(人工智能)系统，使得电子设备根据检测到的环境亮度、被摄场景、被摄对象的类型等信息，自动判断当前适用的拍摄模式，并进一步自动切换至该模式或向用户提供推荐信息。

本领域技术人员能够理解：结合图1-2所示的实施例，可知本公开的图像传感器与相关技术中的图像传感器相比，由于部分感光像素10并未覆盖滤色片像素20，使得即便在正常模式下实施曝光，生成的图像也能够包含相对更多的亮度信息，从而优化在暗光环境下的拍摄效果。

在步骤304中，将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据。

在一实施例中，通过电子设备中包含的图像信号处理器(ImageSignalProcessor，ISP)，可以将图像信号分别生成为第一图像数据和第二图像数据。

在一实施例中，可以获取覆盖有滤色片像素的感光像素生成的第一像素数据，该第一像素数据由于滤色片像素的作用而包含色彩信息；然后，电子设备可以确定与未覆盖滤色片像素的感光像素相邻且覆盖有滤色片像素的感光像素，并根据确定出的感光像素对应的第一像素数据，计算出所述未覆盖滤色片像素的感光像素对应的第二像素数据；相应地，所述第一图像数据可以包括：所有覆盖有滤色片像素的感光像素对应的第一像素数据、所有未覆盖滤色片像素的感光像素对应的第二像素数据。

以图4为例，图4是根据一示例性实施例示出的一种生成第一图像数据和第二图像数据的示意图。如图4所示，假定图1-2所示的图像传感器100根据电子设备收到的拍摄指令进行曝光，使得各个感光像素分别接收到相应光线后，形成图像信号41，该图像信号41与图2所示的像素阵列相对应，比如坐标为(1，1)的感光像素由于覆盖有红色分量的滤色片像素，使得该感光像素可以同时采集到亮度信息和红色分量的色彩信息，而坐标为(3，1)的感光像素由于覆盖有绿色分量的滤色片像素，使得该感光像素可以同时采集到亮度信息和绿色分量的色彩信息，而坐标为(3，3)的感光像素由于覆盖有蓝色分量的滤色片像素，使得该感光像素可以同时采集到亮度信息和蓝色分量的色彩信息；再比如坐标为(2，1)、(4，1)、(1，2)、(3，2)等的感光像素未覆盖滤色片像素，使得这些感光像素仅能够采集到亮度信息、无法采集到色彩信息。

以坐标为(2，1)的感光像素为例，该感光像素相邻(可以为上下左右四个方向，也可以进一步包括左上、左下、右上、右下)且覆盖有滤色片像素的感光像素，包括坐标分别为(1，1)、(3，1)、(2，2)的3个感光像素，因而可以根据这3个感光像素分别采集到的色彩信息，对坐标为(2，1)的感光像素进行色彩恢复，推测出该坐标为(2，1)的感光像素处的色彩信息，使得该坐标为(2，1)的感光像素可以分别得到直接采集到的亮度信息和推测出的色彩信息。类似地，可以为每一未覆盖滤色片像素的感光像素进行色彩恢复，从而由图4所示的图像信号41生成相应的中间图像数据42。可以将中间图像数据42作为上述的第一图像数据；或者，图5是根据一示例性实施例示出的一种处理图像数据的示意图，可以进一步将中间图像数据42处理为图5所示的组合图像数据51，并将该组合图像数据51作为第一图像数据。

与上文所述的组合像素相关，可以确定出中间图像数据42包含的组合像素，并将组合像素所包含的各个像素切实组合为一个大像素，从而使得该大像素能够获得相比于单个像素更多的色彩信息和亮度信息，从而具有更优的动态范围和暗光表现。当每一组合像素对应于四个感光像素，因而对每一组合像素的组合方式为四合一方式(4in 1)。实际上，中间图像数据42的像素排列方式类似于相关技术中的Quad Bayer阵列，可以通过相关技术中应用于Quad Bayer阵列的四合一方式应用于上述的像素组合过程中。

在一实施例中，是否覆盖滤色片像素并不影响感光像素对亮度信息的获取，因而可以分别获取感光元件层所含的每一感光像素分别感应到的亮度信息，以作为上述的第二图像数据。例如图4所示，通过分别获取每一感光像素感应到的亮度信息，可以获得初始亮度数据43。可以将该初始亮度数据43作为上述的第二图像数据，也可以进一步将初始亮度数据43处理为图5所示的组合亮度数据52，并将该组合亮度数据52作为第二图像数据。与上文所述的组合像素相关，可以确定出初始亮度数据51包含的组合像素，并将组合像素所包含的各个像素切实组合为一个大像素，比如可以通过上述四合一方式对每一组合像素对应的亮度信息进行组合，此处不再赘述。

在步骤306中，将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像。

在一实施例中，当第一图像数据为上述的中间图像数据42、第二图像数据为上述的初始亮度数据43时，可以将该中间图像数据42与初始亮度数据43进行融合，以生成最终图像。而当第一图像数据为上述的组合图像数据51、第二图像数据为上述的组合亮度数据52时，可以将该组合图像数据51与该组合亮度数据52进行融合，以生成最终图像。

例如，图6是根据一示例性实施例示出的一种图像融合的示意图。如图6所示，通过将组合图像数据51与该组合亮度数据52进行融合，可以生成最终图像60。在该最终图像60中，每一组合像素中融合了来自组合图像数据51中的色彩信息和亮度信息，以及来自组合亮度数据52中的亮度信息。

需要指出的是：由于单独的亮度数据不会包含色彩信息所带的噪声，使得第二图像数据所含的噪声远少于第一图像数据所含的噪声，因而通过将第一图像数据与第二图像数据进行融合，可以在不损失色彩信息的同时，通过第二图像数据实现去噪，使得最终图像既能够实现良好的色彩还原，又能够在暗光条件下实现低噪声成像，具有相对更高的图像质量。

由上述实施例可知：本公开通过采用例如图1-2所示实施例的图像传感器，即部分感光像素10被滤色片像素20覆盖、部分感光像素10未被滤色片像素20覆盖，使得所有感光像素10均能够用于采集亮度信息、而覆盖的滤色片像素20可以用于采集色彩信息，其中：包含色彩信息的第一图像数据用于实现可靠的色彩还原，而仅包含亮度信息的第二图像数据虽然无法用于色彩还原，但第二图像数据所包含的噪声相对更少，因而通过将第一图像数据与第二图像数据进行融合处理，既可以基于第一图像数据而满足色彩还原需求，又能够基于第二图像数据实现降噪处理，从而得到亮度足、噪声低的高质量图像，尤其是能够实现暗光环境下的高画质拍摄效果，而无需增加图像传感器的像素数量或采用更高规格的镜头系统等。

与前述的图像生成方法的实施例相对应，本公开还提供了图像生成装置的实施例。

图7是根据一示例性实施例示出的一种图像生成装置框图。参照图7，该装置包括上述实施例中任一所述的图像传感器；该装置还包括：

获取单元71，响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号；

生成单元72，将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据；

融合单元73，将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像。

可选的，生成单元72具体用于：

获取覆盖有滤色片像素的感光像素生成的第一像素数据；

确定与未覆盖滤色片像素的感光像素相邻且覆盖有滤色片像素的感光像素；

根据确定出的感光像素对应的第一像素数据，计算出所述未覆盖滤色片像素的感光像素对应的第二像素数据；

其中，所述第一图像数据包括：所有覆盖有滤色片像素的感光像素对应的第一像素数据、所有未覆盖滤色片像素的感光像素对应的第二像素数据。

可选的，生成单元72具体用于：

分别获取所述感光元件层所含的每一感光像素分别感应到的亮度信息，以作为所述第二图像数据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本公开还提供一种图像生成装置，包括：上述任一实施例所述的图像传感器；处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现如上述实施例中任一所述的屏幕补光的实现方法，比如该方法可以包括：响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号；将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据；将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像。

相应的，本公开还提供一种终端，所述终端包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于实现如上述实施例中任一所述的屏幕补光的实现方法的指令，比如该方法可以包括：响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号；将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据；将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像。

图8是根据一示例性实施例示出的一种用于图像生成的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。其中，前置摄像头和/或后置摄像头可以包括本公开上述任一实施例所述的图像传感器，以通过本公开的图像生成方案来生成高质量图像。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G LTE、5G NR(New Radio)或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种图像生成方法，其特征在于，应用于电子设备，所述电子设备包含图像传感器，所述图像传感器包括感光元件层和滤色片层，其中，所述感光元件层所含的感光阵列被划分为若干感光单元，每一感光单元包括一组感光像素；所述滤色片层设于所述感光元件层上方，所述滤色片层所含的滤色片阵列被划分为对应于所述感光单元的若干滤色片单元，每一滤色片单元包含的滤色片像素覆盖对应感光单元中的部分感光像素；其中，在各个排列方向上，覆盖有滤色片像素的感光像素与未覆盖滤色片像素的感光像素依次间隔排列；每一滤色片单元所含的滤色片像素属于相同的颜色分量；当任一感光单元对应的滤色片单元包含任一颜色分量的滤色片像素时，所述任一感光单元与对应的滤色片单元构成所述任一颜色分量的组合像素；各个组合像素之间按照标准拜耳阵列进行排布；所述方法包括：

响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号；

将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据；

将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像；

生成所述第一图像数据，包括：

获取覆盖有滤色片像素的感光像素生成的第一像素数据；

确定与未覆盖滤色片像素的感光像素相邻且覆盖有滤色片像素的感光像素；

根据确定出的感光像素对应的第一像素数据，计算出所述未覆盖滤色片像素的感光像素对应的第二像素数据；

其中，中间图像数据包括：所有覆盖有滤色片像素的感光像素对应的第一像素数据、所有未覆盖滤色片像素的感光像素对应的第二像素数据；

所述第一图像数据是将中间图像数据中包含的组合像素的各个像素组合为一个大像素得到的组合图像数据。

2.根据权利要求1所述的方法，其特征在于，生成所述第二图像数据，包括：

分别获取所述感光元件层所含的每一感光像素分别感应到的亮度信息，以作为初始亮度数据；

所述第二图像数据是将初始亮度数据中包含的组合像素的各个像素组合为一个大像素得到的组合亮度数据。

3.一种图像生成装置，其特征在于，应用于电子设备，所述电子设备包含图像传感器，所述图像传感器包括感光元件层和滤色片层，其中，所述感光元件层所含的感光阵列被划分为若干感光单元，每一感光单元包括一组感光像素；所述滤色片层设于所述感光元件层上方，所述滤色片层所含的滤色片阵列被划分为对应于所述感光单元的若干滤色片单元，每一滤色片单元包含的滤色片像素覆盖对应感光单元中的部分感光像素；其中，在各个排列方向上，覆盖有滤色片像素的感光像素与未覆盖滤色片像素的感光像素依次间隔排列；每一滤色片单元所含的滤色片像素属于相同的颜色分量；当任一感光单元对应的滤色片单元包含任一颜色分量的滤色片像素时，所述任一感光单元与对应的滤色片单元构成所述任一颜色分量的组合像素；各个组合像素之间按照标准拜耳阵列进行排布；所述装置包括：

获取单元，响应于接收到的拍摄指令，获取所述图像传感器在单次曝光过程中生成的图像信号；

生成单元，将所述图像信号分别生成为包含色彩信息和亮度信息的第一图像数据、包含亮度信息的第二图像数据；

融合单元，将所述第一图像数据与所述第二图像数据进行融合，以生成最终图像；

所述生成单元具体用于：

获取覆盖有滤色片像素的感光像素生成的第一像素数据；

确定与未覆盖滤色片像素的感光像素相邻且覆盖有滤色片像素的感光像素；

根据确定出的感光像素对应的第一像素数据，计算出所述未覆盖滤色片像素的感光像素对应的第二像素数据；

其中，中间图像数据包括：所有覆盖有滤色片像素的感光像素对应的第一像素数据、所有未覆盖滤色片像素的感光像素对应的第二像素数据；

所述第一图像数据是将中间图像数据中包含的组合像素的各个像素组合为一个大像素得到的组合图像数据。

4.根据权利要求3所述的装置，其特征在于，所述生成单元具体用于：

分别获取所述感光元件层所含的每一感光像素分别感应到的亮度信息，以作为初始亮度数据；

所述第二图像数据是将初始亮度数据中包含的组合像素的各个像素组合为一个大像素得到的组合亮度数据。

5.一种电子设备，其特征在于，所述电子设备包含图像传感器；所述图像传感器包括感光元件层和滤色片层，其中，所述感光元件层所含的感光阵列被划分为若干感光单元，每一感光单元包括一组感光像素；所述滤色片层设于所述感光元件层上方，所述滤色片层所含的滤色片阵列被划分为对应于所述感光单元的若干滤色片单元，每一滤色片单元包含的滤色片像素覆盖对应感光单元中的部分感光像素；其中，在各个排列方向上，覆盖有滤色片像素的感光像素与未覆盖滤色片像素的感光像素依次间隔排列；每一滤色片单元所含的滤色片像素属于相同的颜色分量；当任一感光单元对应的滤色片单元包含任一颜色分量的滤色片像素时，所述任一感光单元与对应的滤色片单元构成所述任一颜色分量的组合像素；各个组合像素之间按照标准拜耳阵列进行排布；所述电子设备还包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令以实现如权利要求1-2中任一项所述的方法。

6.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-2中任一项所述方法的步骤。

Images