CN113840067B - 图像传感器、图像生成方法、装置和电子设备 - Google Patents

图像传感器、图像生成方法、装置和电子设备 Download PDF

Info

Publication number
CN113840067B
CN113840067B CN202111062952.2A CN202111062952A CN113840067B CN 113840067 B CN113840067 B CN 113840067B CN 202111062952 A CN202111062952 A CN 202111062952A CN 113840067 B CN113840067 B CN 113840067B
Authority
CN
China
Prior art keywords
color
pixels
pixel
filter
panchromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111062952.2A
Other languages
English (en)
Other versions
CN113840067A (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111062952.2A priority Critical patent/CN113840067B/zh
Publication of CN113840067A publication Critical patent/CN113840067A/zh
Priority to PCT/CN2022/113450 priority patent/WO2023035900A1/zh
Application granted granted Critical
Publication of CN113840067B publication Critical patent/CN113840067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请涉及一种图像传感器、图像生成方法、装置、电子设备和存储介质。所述图像传感器21包括滤光片阵列23和像素阵列24，所述滤光片阵列23包括最小重复单元231，所述最小重复单元231包括多个滤光片组232，所述滤光片组232包括全色滤光片233和彩色滤光片234，所述彩色滤光片234具有比所述全色滤光片233的更窄的光谱响应，所述彩色滤光片234和所述全色滤光片233均包括9个子滤光片；所述像素阵列24包括多个像素，所述像素阵列24的像素与所述滤光片阵列23的子滤光片对应设置，所述像素阵列24被配置成用于接收穿过所述滤光片阵列23的光线以生成电信号。采用该图像传感器能够输出多种的分辨率的图像，以便适配不同的应用场景。

Description

图像传感器、图像生成方法、装置和电子设备
技术领域
本申请涉及影像技术领域，特别是涉及一种图像传感器、图像生成方法、装置、电子设备和计算机可读存储介质。
背景技术
随着计算机技术的发展，手机等电子设备中大部分都配置有摄像头，以通过摄像头实现拍照功能。目前，终端通过摄像头在进行拍摄时，图像的输出模式一般是固定的，无法灵活适应不同场景，导致在某些场景下成像的质量较差。
发明内容
本申请实施例提供一种图像传感器、图像生成方法、装置、电子设备、计算机可读存储介质，可以提高成像的质量。
一种图像传感器，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括9个子滤光片；所述像素阵列包括多个像素，所述像素阵列的像素与所述滤光片阵列的子滤光片对应设置，所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号。
上述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，在拍摄时可获取到更多的光量，从而无需调节拍摄参数，在不影响拍摄的稳定性的情况下，提高暗光下的成像质量，暗光下成像时，可兼顾稳定性和质量，暗光下成像的稳定性和质量均较高。并且，像素阵列包括多个像素，像素阵列的像素与滤光片阵列的子滤光片对应设置，像素阵列被配置成用于接收穿过滤光片阵列的光线以生成电信号，在暗光下成像时可将9个子滤光片对应的像素合并输出，得到信噪比较高的图像，而在光线较为充足的场景下，可将每个子滤光片对应的像素单独进行输出，从而得到分辨率和信噪比均较高的图像。采用该图像传感器能够输出多种分辨率的图像，从而能够适配不同的应用场景，并能够提高在各应用场景下的成像质量。
一种图像生成方法，应用于图像传感器，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括9个子滤光片；所述像素阵列包括多个像素，所述像素阵列的像素与所述滤光片阵列的子滤光片对应设置，所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号；
所述方法还包括：
在第一分辨率模式下，利用所述彩色像素在原始图像中的纹理信息，将所述原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；
基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
一种图像生成装置，应用于图像传感器，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括9个子滤光片；所述像素阵列包括多个像素，所述像素阵列的像素与所述滤光片阵列的子滤光片对应设置，所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号；
所述装置包括：
插值模块，用于在第一分辨率模式下，利用所述彩色像素在原始图像中的纹理信息，将所述原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；
生成模块，用于基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
一种电子设备，包括存储器、处理器及图像传感器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
在第一分辨率模式下，利用所述彩色像素在原始图像中的纹理信息，将所述原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；
基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
在第一分辨率模式下，利用所述彩色像素在原始图像中的纹理信息，将所述原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；
基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如下步骤：
在第一分辨率模式下，利用所述彩色像素在原始图像中的纹理信息，将所述原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；
基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
上述图像生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品，图像传感器包括滤光片阵列和像素阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片，彩色滤光片具有比全色滤光片的更窄的光谱响应，彩色滤光片和全色滤光片均包括9个子滤光片；像素阵列包括多个像素，像素阵列的像素与滤光片阵列的子滤光片对应设置，像素阵列被配置成用于接收穿过滤光片阵列的光线以生成电信号，在对分辨率要求较高的场景下使用第一分辨率模式，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到与原始图像尺寸相同的全尺寸全色通道图像。全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成第一目标图像，能够将全色通道信息融合到原始图像中，使得能够生成信息更多、细节解析更清晰的第一目标图像，从而实现高分辨率的全尺寸全分辨率输出的图像处理效果，能够满足用户对图像的高质量要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的结构示意图；
图2为一个实施例中图像传感器的分解示意图；
图3为一个实施例中像素阵列和读出电路的连接示意图；
图4为一个实施例中最小重复单元的排布方式示意图；
图5为另一个实施例中最小重复单元的排布方式示意图；
图6为其中一个实施例中最小重复单元的排布方式示意图；
图7为另一个实施例中最小重复单元的排布方式示意图；
图8为一个实施例中图像生成方法的流程图；
图9为一个实施例中在第一分辨率模式下，使用全分辨率输出模式生成第一目标图像的示意图；
图10a为一个实施例中各纹理方向的关联像素的示意图；
图10b为另一个实施例中各纹理方向的关联像素的示意图；
图11为一个实施例中计算彩色像素对应的插值权重的示意图；
图12为一个实施例中生成全尺寸全色通道图像的示意图；
图13a为一个实施例中在第二分辨率模式下得到第二目标图像的示意图；
图13b为一个实施例中在第三分辨率模式下得到第三目标图像的流程示意图；
图13c为一个实施例中在第四分辨率模式下，生成第四目标图像的流程示意图；
图14为一个实施例中图像生成装置的结构框图；
图15为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一目标图像称为第二目标图像，且类似地，可将第二目标图像称为第一目标图像。第一和第二两者都是目标图像，但其不是同一目标图像。
在一个实施例中，电子设备100包括手机、平板电脑、笔记本电脑、柜员机、闸机、智能手表、头显设备等，可以理解，电子设备100还可以是其他任意图像处理功能的装置。电子设备100包括相机20、处理器30和壳体40。相机20和处理器30均设置在壳体40内，壳体40还可用于安装终端100的供电装置、通信装置等功能模块，以使壳体40为功能模块提供防尘、防摔、防水等保护。
相机20可以是前置相机、后置相机、侧置相机、屏下相机等，在此不做限制。相机20包括镜头及图像传感器21，相机20在拍摄图像时，光线穿过镜头并到达图像传感器21，图像传感器21用于将照射到图像传感器21上的光信号转化为电信号。
在一个实施例中，如图2所示，图像传感器21包括微透镜阵列22、滤光片阵列23、像素阵列24。
微透镜阵列22包括多个微透镜221，微透镜221、滤光片阵列23中的子滤光片和像素阵列24中的像素一一对应设置，微透镜221用于将入射的光线进行聚集，聚集之后的光线会穿过对应的子滤光片，然后投射至像素上，被对应的像素接收，像素再将接收的光线转化成电信号。
滤光片阵列23包括多个最小重复单元231。最小重复单元231可包括多个滤光片组232。每个滤光片组232包括全色滤光片233和彩色滤光片234，彩色滤光片234具有比全色滤光片233的更窄的光谱响应。每个全色滤光片233中包括9个子滤光片2331，每个彩色滤光片234中包括9个子滤光片2341。在不同的滤光片组中还包括有不同的彩色滤光片234。
最小重复单元231中的滤光片组232的彩色滤光片234的透过的光线的波段对应的颜色包括颜色a、颜色b和/或颜色c。滤光片组232的彩色滤光片234的透过的光线的波段对应的颜色包括颜色a、颜色b和颜色c、或者颜色a、颜色b或颜色c、或者颜色a和颜色b、或者颜色b和颜色c、或者颜色a和颜色c。其中，颜色a为红色，颜色b为绿色，颜色c为蓝色，或者例如颜色a为品红色，颜色b为青色，颜色c为黄色等，在此不做限制。
在一个实施例中，彩色滤光片234的透过的光线的波段的宽度小于全色滤光片233透过的光线的波段的宽度，例如，彩色滤光片234的透过的光线的波段可对应红光的波段、绿光的波段、或蓝光的波段，全色滤光片233透过的光线的波段为所有可见光的波段，也即是说，彩色滤光片234仅允许特定颜色光线透光，而全色滤光片233可通过所有颜色的光线。当然，彩色滤光片234的透过的光线的波段还可对应其他色光的波段，如品红色光、紫色光、青色光、黄色光等，在此不作限制。
在一个实施例中，滤光片组232中彩色滤光片234的数量和全色滤光片233的数量的比例可以是1:3、1:1或3:1。例如，彩色滤光片234的数量和全色滤光片233的数量的比例为1:3，则彩色滤光片234的数量为1，全色滤光片233的数量为3，此时全色滤光片233数量较多，在暗光下的成像质量更好；或者，彩色滤光片234的数量和全色滤光片233的数量的比例为1:1，则彩色滤光片234的数量为2，全色滤光片233的数量为2，此时既可以获得较好的色彩表现的同时，暗光下的成像质量也较好；或者，彩色滤光片234的数量和全色滤光片233的数量的比例为3:1，则彩色滤光片234的数量为3，全色滤光片233的数量为1，此时可获得更好的色彩表现，且能提高暗光下的成像质量。
像素阵列24包括多个像素，像素阵列24的像素与滤光片阵列23的子滤光片对应设置。像素阵列24被配置成用于接收穿过滤光片阵列23的光线以生成电信号。
其中，像素阵列24被配置成用于接收穿过滤光片阵列23的光线以生成电信号，是指像素阵列24用于对穿过滤光片阵列23的被摄对象的给定集合的场景的光线进行光电转换，以生成电信号。被摄对象的给定集合的场景的光线用于生成图像数据。例如，被摄对象是建筑物，被摄对象的给定集合的场景是指该建筑物所处的场景，该场景中还可以包含其他对象。
在一个实施例中，像素阵列24包括多个最小重复单元241，最小重复单元241包括多个像素组242，多个像素组242包括全色像素组243和彩色像素组244。每个全色像素组243中包括9个全色像素2431，每个彩色像素组244中包括9个彩色像素2441。每个全色像素2431对应全色滤光片233中的一个子滤光片2331，全色像素2431接收穿过对应的子滤光片2331的光线以生成电信号。每个彩色像素2441对应彩色滤光片234的一个子滤光片2341，彩色像素2441接收穿过对应的子滤光片2341的光线以生成电信号。
本实施中的图像传感器21包括滤光片阵列23和像素阵列24，滤光片阵列23包括最小重复单元231，最小重复单元231包括多个滤光片组232，滤光片组包括全色滤光片233和彩色滤光片234，彩色滤光片234具有比全色滤光片233的更窄的光谱响应，在拍摄时可获取到更多的光量，从而无需调节拍摄参数，在不影响拍摄的稳定性的情况下，提高暗光下的成像质量，暗光下成像时，可兼顾稳定性和质量，暗光下成像的稳定性和质量均较高。并且，每个全色滤光片233中包括9个子滤光片2331，每个彩色滤光片234中包括9个子滤光片2341，像素阵列24包括多个全色像素2431和多个彩色像素2441，每个全色像素2431对应全色滤光片233的一个子滤光片2331，每个彩色像素2441对应彩色滤光片234的一个子滤光片2341，全色像素2431和彩色像素2441用于接收穿过对应的子滤光片的光线以生成电信号，在暗光下成像时可将9个子滤光片对应的像素合并输出，得到信噪比较高的图像，而在光线较为充足的场景下，可将每个子滤光片对应的像素单独进行输出，从而得到分辨率和信噪比均较高的图像，从而能够适配不同的应用场景，并能够提高在各场景下的成像质量。
在一个实施例中，如图2所示，滤光片阵列23中的最小重复单元231包括4个滤光片组232，并且4个滤光片组232呈矩阵排列。每个滤光片组232包括全色滤光片233和彩色滤光片234，每个全色滤光片233和每个彩色滤光片234均有9个子滤光片，则该滤光片组232共包括36个子滤光片。
同样的，像素阵列24包括多个最小重复单元241，与多个最小重复单元231对应。每个最小重复单元241包括4个像素组242，并且4个像素组242呈矩阵排列。每个像素组242对应一个滤光片组232。
如图3所示，读出电路25与像素阵列24电连接，用于控制像素阵列24的曝光以及像素点的像素值的读取和输出。读出电路25包括垂直驱动单元251、控制单元252、列处理单元253和水平驱动单元254。垂直驱动单元251包括移位寄存器和地址译码器。垂直驱动单元251包括读出扫描和复位扫描功能。控制单元252根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元251、列处理单元253和水平驱动单元254协同工作。列处理单元253可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。水平驱动单元254包括移位寄存器和地址译码器。水平驱动单元254顺序逐列扫描像素阵列24。
在一个实施例中，如图4所示，每个滤光片组232均包括彩色滤光片234和全色滤光片233，滤光片组232中的各个全色滤光片233设置在第一对角线方向D1，滤光片组232中的各个彩色滤光片234设置在第二对角线方向。第一对角线D1方向和第二对角线D2方向不同，能够兼顾色彩表现和暗光成像质量。
第一对角线D1方向与第二对角线D2方向不同，具体可以是第一对角线D1方向与第二对角线D2方向不平行，或者，第一对角线D1方向与第二对角线D2方向垂直等。
在其他实施方式中，一个彩色滤光片234和一个全色滤光片233可位于第一对角线D1，另一个彩色滤光片234和另一个全色滤光片233可位于第二对角线D2。
在一个实施例中，如图4所示，滤光片阵列23中的最小重复单元231包括4个滤光片组232，并且4个滤光片组232呈矩阵排列。每个滤光片组232中包含2个全色滤光片233和2个彩色滤光片234。全色滤光片233中包括9个子滤光片2331，彩色滤光片234中包括9个子滤光片2341，则最小重复单元231为12行12列144个子滤光片，排布方式为：
其中，w表示全色子滤光片2331，a、b和c均表示彩色子滤光片2341。全色子滤光片2331指的是可滤除可见光波段之外的所有光线的子滤光片，彩色子滤光片2341包括红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片和黄色子滤光片。红色子滤光片为滤除红光之外的所有光线的子滤光片，绿色子滤光片为滤除绿光之外的所有光线的子滤光片，蓝色子滤光片为滤除蓝光之外的所有光线的子滤光片，品红色子滤光片为滤除品红色光之外的所有光线的子滤光片，青色色子滤光片为滤除青光之外的所有光线的子滤光片，黄色子滤光片为滤除黄光之外的所有光线的子滤光片。
a可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片，b可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片，c可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片。例如，b为红色子滤光片、a为绿色子滤光片、c为蓝色子滤光片；或者，c为红色子滤光片、a为绿色子滤光片、b为蓝色子滤光片；再例如，c为红色子滤光片、a为绿色子滤光片、b为蓝色子滤光片；或者，a为红色子滤光片、b为蓝色子滤光片、c为绿色子滤光片等，在此不作限制；再例如，b为品红色子滤光片、a为青色子滤光片、b为黄色子滤光片等。在其他实施方式中，彩色滤光片还可包括其他颜色的子滤光片，如橙色子滤光片、紫色子滤光片等，在此不作限制。
在一个实施例中，如图5所示，滤光片阵列23中的最小重复单元231包括4个滤光片组232，并且4个滤光片组232呈矩阵排列。每个滤光片组232均包括彩色滤光片234和全色滤光片233，滤光片组232中的各个彩色滤光片234设置在第一对角线D1方向，滤光片组232中的各个全色滤光片233设置在第二对角线D2方向。
在一个实施例中，每个滤光片组232中包含2个全色滤光片233和2个彩色滤光片234，全色滤光片233中包括9个子滤光片2331，彩色滤光片234中包括9个子滤光片2341，则最小重复单元231为12行12列144个子滤光片，如图5所示，排布方式为：
其中，w表示全色子滤光片，a、b和c均表示彩色子滤光片。
12行12列144个子滤光片结合了quad和RGBW的双重优势。quad的好处是可以局部同像素2乘2合并、3乘3合并(binning)得到不同分辨率的图像，具有高信噪比。quad全尺寸输出则具有高像素，得到全尺寸全分辨率的图像，清晰度更高。RGBW的好处是，利用W像素提高图像整体的进光量，进而提升画质信噪比。
在一个实施例中，如图6所示，滤光片阵列23中的最小重复单元231包括4个滤光片组232，并且4个滤光片组232呈矩阵排列。每个滤光片组232均包括全色滤光片233和彩色滤光片234。在每个滤光片组232中，全色滤光片233设置在第三对角线及第四对角线上，彩色滤光片234设置在第三对角线D3方向或第四对角线D4方向，第三对角线D3方向与第四对角线D4方向不同。
在一个实施例中，彩色滤光片234可设置在与第三对角线D3相平行的线上，或彩色滤光片234可设置在与第四对角线D4相平行的线上。
第三对角线方向与第四对角线方向不同，具体可以是第三对角线方向与第四对角线方向不平行，或者，第三对角线方向与第四对角线方向垂直等。
在一个实施例中，如图6所示，滤光片组232中的全色滤光片233和彩色滤光片234呈矩阵排列，每个滤光片组232中包含5个全色滤光片233和4个彩色滤光片234，则全色滤光片233数量多于彩色滤光片234的数量，使得在暗光下的成像质量更好。具体地，全色滤光片233中包括9个子滤光片2331，彩色滤光片234中包括9个子滤光片2341，则最小重复单元为18行18列324个子滤光片，排布方式为：
其中，w表示全色子滤光片，a、b和c均表示彩色子滤光片。
在一个实施例中，可认为如图6的滤光片组232中所包含的彩色滤光片234处于第三对角线D3方向，也可认为滤光片组232中包含的彩色滤光片234处于第四对角线D4方向。
在一个实施例中，如图7所示，滤光片阵列23中的最小重复单元231包括4个滤光片组232，并且4个滤光片组232呈矩阵排列。每个滤光片组232均包括全色滤光片233和彩色滤光片234。在每个滤光片组232中，彩色滤光片234设置在第五对角线D5及第六对角线D6上，全色滤光片233设置在第五对角线D5方向或第六对角线D6方向，第五对角线D5方向与第六对角线D6方向不同。
在一个实施例中，全色滤光片233可设置在与第五对角线D5相平行的线上，或全色滤光片233可设置在与第六对角线D6相平行的线上。
第五对角线方向与第六对角线方向不同，具体可以是第五对角线方向与第六对角线方向不平行，或者，第五对角线方向与第六对角线方向垂直等。
在一个实施例中，如图7所示，滤光片组232中的全色滤光片233和彩色滤光片234呈矩阵排列，每个滤光片组232中包含4个全色滤光片233和5个彩色滤光片234，则彩色滤光片234数量多于全色滤光片233的数量，能够获得更好的色彩表现，且能提高暗光下的成像质量。具体地，全色滤光片233中包括9个子滤光片2331，彩色滤光片234中包括9个子滤光片2341，则最小重复单元为18行18列324个子滤光片，排布方式为：
其中，w表示全色子滤光片，a、b和c均表示彩色子滤光片。
在一个实施例中，可认为如图7的滤光片组232中包含的全色滤光片233处于第五对角线D5方向，也认为滤光片组232中包含的全色滤光片233处于第六对角线D6方向。
在一个实施例中，提供了一种图像生成方法，应用于如图2所示的图像传感器21，图像传感器21包括滤光片阵列23和像素阵列24，滤光片阵列23包括最小重复单元231，最小重复单元包括多个滤光片组232，滤光片组232包括彩色滤光片234和全色滤光片233，彩色滤光片234具有比全色滤光片233的更窄的光谱响应，彩色滤光片和全色滤光片233均包括9个子滤光片；像素阵列24包括多个像素，像素阵列24的像素与滤光片阵列23的子滤光片对应设置，像素阵列24被配置成用于接收穿过滤光片阵列23的光线以生成电信号；
在一个实施例中，像素阵列24包括多个全色像素2431和多个彩色像素2441，每个全色像素2431对应全色滤光片233的一个子滤光片2331，每个彩色像素2441对应彩色滤光片234的一个子滤光片2341；
如图8所示，该图像生成方法包括：
步骤802，在第一分辨率模式下，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；该全尺寸全色通道图中的像素均为全色像素。
步骤804，基于全尺寸全色通道图和原始图像生成第一目标图像。
第一分辨率模式是指高分辨率、低信噪比和低帧率的全分辨率(fullsize)输出模式。例如，第一分辨率模式可以是蓝光1080P、超清720P模式，但不限于此。
彩色滤光片234具有比全色滤光片233的更窄的光谱响应，则全色滤光片透过的进光量大于彩色滤光片透过的进光量，即彩色滤光片透过的光线的波段宽度小于全色滤光片透过的光线的波段宽度，全色滤光片透过更多的光线，通过全色滤光片得到相应的全色像素具有更高的信噪比，该全色像素包含有更多的信息，可以解析出更多的纹理细节。其中，信噪比是指正常信号与噪声信号之间的比值。像素的信噪比越高，则该像素包含的正常信号的比例越高，从该像素中解析到的信息也越多。
彩色像素可以是G(Green，绿色)像素、R(Red，红色)像素和B(Blue，蓝色)像素等，但不限于此。
在接收到拍摄指令的情况下，检测用户是否选择所需使用的分辨率模式，当检测到用户选择使用第一分辨率模式的情况下，全色滤光片233中的子滤光片2331透过的光线投射至对应的全色像素2431上，全色像素2431接收穿过子滤光片2331的光线以生成电信号。彩色滤光片234中的子滤光片2341透过的光线投射至对应的彩色像素2441上，彩色像素2441接收穿过对应的子滤光片2341的光线以生成电信号。基于各全色像素2431和各彩色像素2441对应的电信号，得到原始图像。
或者，在晴天或者光照环境比较好的情况，使用第一分辨率模式拍摄图像。
纹理信息至少包含纹理方向、纹理位置、纹理强度中的至少一种。
电子设备确定彩色像素在原始图像中的像素位置，利用该彩色像素在原始图像中的纹理信息，将原始图像中的各个彩色像素均插值为对应的全色像素，得到全尺寸全色通道图像，该全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成全尺寸的第一目标图像。
如图9所示，在第一分辨率模式下，获得原始图像902，利用彩色像素在原始图像902中的纹理信息，将原始图像902中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；该全尺寸全色通道图中的像素均为全色像素。基于全尺寸全色通道图和原始图像902生成全尺寸全分辨率的第一目标图像904，该第一目标图像904的分辨率与原始图像902的分辨率相同，实现了全尺寸全分辨率输出的图像处理效果。
本实施例中，在第一分辨率模式下，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到与原始图像尺寸相同的全尺寸全色通道图像。全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成第一目标图像，能够将全色通道信息融合到原始图像中，使得能够生成信息更多、细节解析更清晰的第一目标图像，从而实现高清晰度、低信噪比和低帧率的全尺寸全分辨率输出的图像处理效果，能够满足用户对图像的高质量要求。
在一个实施例中，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像，包括：遍历彩色像素对应的原始图像中各像素；在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息；基于彩色像素的纹理信息，得到彩色像素对应的插值权重，并根据彩色像素的插值权重将彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像。
包含彩色像素的预设范围可以根据需要进行设置。例如，预设范围可以是以彩色像素为中心，10*10的矩形窗口的范围。又如，预设范围可以是以彩色像素为中心，8*8的矩形窗口的范围。当然，预设范围也可以不以彩色像素为中心，如彩色像素可以在预设范围的上方区域、下方区域、左方区域、右方区域中的至少一种。
在彩色通道图中采用滑窗遍历各像素是否为彩色像素，由于滤光片阵列中彩色滤光片224的位置是周期变化的，故可以根据周期变化的规律确定当前像素是否为通过彩色滤光片224得到的彩色像素。
在每次遍历中，电子设备在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素不仅可以获取到彩色像素本身的信息，还可以获取到彩色像素临近区域的像素的信息，可以更准确地确定彩色像素的纹理信息。基于彩色像素的纹理信息，计算原始图像中彩色像素位置的彩色像素对应的插值权重，根据彩色像素的插值权重能够将该彩色像素准确插值为对应的全色像素，直至将原始图像中的每个彩色像素均插值为对应的全色像素时完成遍历，从而能够准确得到全尺寸全色通道图像。
在一个实施例中，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息，包括：确定包含彩色像素的预设范围内各像素之间的离散程度；若离散程度小于离散阈值，则彩色像素处于平坦区；若离散程度大于或等于离散阈值，则彩色像素处于纹理区。其中，离散阈值可以根据需要进行设置。
包含彩色像素的预设范围内各像素之间的离散程度越大，表示各像素之间的差异越大，可以认为预设范围内存在强纹理，则彩色像素处于纹理区。
可选地，电子设备可以通过确定包含彩色像素的预设范围内各像素的方差，通过方差表示离散程度；电子设备也可以通过确定包含彩色像素的预设范围内各像素的标准差，通过标准差表示离散程度；还可以通过其他方式表示离散程度，在此不做限定。方差(var)在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。标准差(StandardDeviation)能反映一个数据集的离散程度。
在一个实施例中，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息，包括：确定包含彩色像素的预设范围内各像素的方差；若方差小于预设阈值，则彩色像素处于平坦区；若方差大于或等于预设阈值，则彩色像素处于纹理区。
预设阈值可以根据需要进行设置。平坦区是存在弱纹理或者不存在纹理的区域。纹理区是存在强纹理的区域。
若方差小于预设阈值，表示预设范围内各像素的离散程度较小，可以认为彩色像素所处的预设范围的纹理较弱或者无纹理，则彩色像素处于平坦区。若方差大于或等于预设阈值，表示预设范围内各像素的离散程度较大，可以认为彩色像素所处的预设范围的纹理较强，则彩色像素处于纹理区。
在一个实施例中，可确定包含彩色像素的预设范围内各全色像素的方差。可确定包含该彩色像素的预设范围内的各全色像素，对该彩色像素和各全色像素求像素均值，计算彩色像素的像素值和该像素均值的差值的平方值，以及分别计算每个全色像素的像素值和该像素均值的差值的平方值。确定该彩色像素和各全色像素对应的第一像素数量，将各平方值之和与该第一像素数量的比值作为方差。该第一像素数量为该彩色像素和预设范围内的各全色像素的数量之和。
在一个实施例中，可以确定包含彩色像素的预设范围内各全色像素和各彩色像素的方差。
可确定包含该彩色像素的预设范围内的各全色像素和各彩色像素，对各彩色像素和各全色像素求像素均值，分别计算每个彩色像素的像素值和该像素均值的差值的平方值，以及分别计算每个全色像素的像素值和该像素均值的差值的平方值。确定各彩色像素和各全色像素对应的第二像素数量，将各平方值之和与该第二像素数量的比值作为方差。该第二像素数量为预设范围内的各彩色像素和各全色像素的数量之和。
例如，可以按照以下公式计算方差：
其中，x1、x2、xn为像素值，可以是全色像素的像素值，也可以是彩色像素的像素值，M为像素均值，n为像素的数量，s2为方差。
在本实施例中，通过确定包含彩色像素的预设范围内各像素的方差，可以准确地确定出彩色像素的纹理信息。
在一个实施例中，基于彩色像素的纹理信息，得到彩色像素对应的插值权重，包括：在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值；基于第一像素均值和第二像素均值之间的比例关系，得到彩色像素对应的插值权重。
第一像素均值是包含彩色像素的预设范围内各全色像素的像素均值。第二像素均值是包含彩色像素的预设范围内各彩色像素的像素均值。
具体地，在全色像素处于平坦区的情况下，电子设备将第一像素均值和第二像素均值之间的比例数值与该全色像素的像素值相乘，得到该彩色像素对应的插值权重。
在本实施例中，在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值，基于第一像素均值和第二像素均值之间的比例关系，可以准确地计算出原始图像中彩色像素位置的彩色像素对应的插值权重。
在一个实施例中，基于彩色像素的纹理信息，得到彩色像素对应的插值权重，包括：在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向；基于彩色像素在目标纹理方向上的各关联像素，得到彩色像素对应的插值权重。
关联像素可以包括全色关联像素和彩色关联像素。全色关联像素是与该彩色像素具有关联关系的全色像素。彩色关联像素是与该彩色像素具有关联关系的彩色像素。
电子设备可以预先设置多个纹理方向，在全色像素处于纹理区的情况下，从多个纹理方向中选择彩色像素的目标纹理方向。纹理方向是对称或者非对称的，纹理方向的数量也可以根据需要进行设置。例如，纹理方向的数量可以是4个、8个，也可以是12个等，例如，纹理方向可以是水平方向、垂直方向、对角方向和反对角方向。
例如，在二维平面中每间隔90度设置一个纹理方向，可以得到4个纹理方向；在二维平面中每间隔45度设置一个纹理方向，可以得到8个纹理方向；在二维平面中每间隔22.5度设置一个纹理方向，可以得到12个纹理方向。
确定彩色像素的目标纹理方向，包括：确定彩色像素在各纹理方向上的梯度值；基于各纹理方向上的梯度值确定彩色像素的纹理方向。在一种实施方式中，电子设备可以将梯度值最小的纹理方向确定为彩色像素的纹理方向。在另一种实施方式中，电子设备可以将梯度值次小的纹理方向确定为彩色像素的纹理方向。在其他实施方式中，电子设备还可以采用其他的方式确定彩色像素的纹理方向。
关联像素是与彩色像素存在关联关系的像素。例如，关联关系可以是关联像素在彩色像素的纹理方向上，关联关系也可以是关联像素处在彩色像素的预设区域内，等等。例如关联像素处在彩色像素的上方区域、下方区域、左侧区域和右侧区域中的至少一种。
在彩色像素处于纹理区的情况下，电子设备确定彩色像素在各纹理方向上的关联像素，根据彩色像素在各纹理方向上的关联像素确定出彩色像素的目标纹理方向。基于彩色像素在目标纹理方向上的各关联像素，计算出该彩色像素对应的插值权重。按照相同的处理方式，可以计算出原始图像中每个彩色像素对应的插值权重。
本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向，基于彩色像素在目标纹理方向上的各关联像素，准确计算出各彩色像素对应的插值权重。
在一个实施例中，在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向，包括：在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素；基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值；将各第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
在彩色像素处于纹理区的情况下，电子设备确定彩色像素在各纹理方向分别关联的全色关联像素。例如，电子设备确定该彩色像素在水平方向上关联的各全色关联像素，在垂直方向上关联的各全色关联像素，在对角线方向上关联的各全色关联像素，以及在反对角线方向上关联的各全色关联像素。
对于每个纹理方向上的全色关联像素，计算各全色关联像素的差值的绝对值之和，得到每个纹理方向分别对应的第一关联值。在各第一关联值中存在满足第一关联条件的第一关联值的情况下，将满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
第一关联条件可以是各第一关联值之间的差值大于预设差值，或者最小的第一关联值和次小的第一关联值之间的差值大于预设差值。
电子设备确定各第一关联值之间的差值是否大于预设差值，在各第一关联值之间的差值大于预设差值的情况下，将最小的第一关联值对应的纹理方向，作为彩色像素的目标纹理方向。
或者，电子设备确定各第一关联值中最小的第一关联值和次小的第一关联值，确定最小的第一关联值和次小的第一关联值之间的差值是否大于预设差值，在大于预设差值的情况下，将最小的第一关联值对应的纹理方向，作为彩色像素的目标纹理方向。
本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素，以通过与彩色像素关联的全色关联像素确定彩色像素的目标纹理方向。基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值，能够确定各全色关联像素与该彩色像素之间的关联程度，从而能够基于全色关联像素与该彩色像素之间的关联程度，准确确定彩色像素的目标纹理方向。
在一个实施例中，该方法还包括：在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值；将各第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，电子设备确定该彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素。
对于每个纹理方向上的全色关联像素和彩色关联像素，电子设备计算各全色关联像素的差值的绝对值，以及各彩色关联像素的差值的绝对值，对同一纹理方向的各绝对值求和。确定各全色关联像素和彩色关联像素的像素数量之和，绝对值求和后除以像素数量之和，得到该纹理方向对应的第二关联值，从而得到每个纹理方向分别对应的第二关联值。在各第二关联值中存在满足第二关联条件的第二关联值的情况下，将满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
第二关联条件可以是各第二关联值之间的差值大于预设差值，或者最小的第二关联值和次小的第二关联值之间的差值大于预设差值。可以理解的是，第一关联条件中的预设差值与第二关联条件中的预设差值可以相同，也可以不相同。
电子设备确定各第二关联值之间的差值是否大于预设差值，在各第二关联值之间的差值大于预设差值的情况下，将最小的第二关联值对应的纹理方向，作为彩色像素的目标纹理方向。
或者，电子设备确定各第二关联值中最小的第二关联值和次小的第二关联值，确定最小的第二关联值和次小的第二关联值之间的差值是否大于预设差值，在大于预设差值的情况下，将最小的第二关联值对应的纹理方向，作为彩色像素的目标纹理方向。
本实施例中，在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，表示仅使用全色关联像素无法准确确定该彩色像素的目标纹理方向，则确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素，以通过与彩色像素关联的全色关联像素、彩色关联像素共同确定彩色像素的目标纹理方向。基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值，使用的信息量多，所计算得到的关联值涵盖了更多的信息量，能够更准确确定全色关联像素、彩色关联像素与该彩色像素之间的关联程度，从而能够基于全色关联像素、彩色关联像素所共同确定的与该彩色像素之间的关联程度，准确确定彩色像素的目标纹理方向。
图10a为一个实施例中各纹理方向的关联像素的示意图。如图10a所示，以10*10的像素窗口为例，展示了彩色像素(图中黑色圆点所在位置的像素)分别在水平方向、垂直方向、对角线方向和反对角线方向上的关联像素。该关联像素为图10a中箭头所指向的全色关联像素。
对于水平方向的全色关联像素，计算各同一箭头所指向的两个全色关联像素的差值的绝对值，可得到两个绝对值。对水平方向的两个绝对值求和，得到水平方向对应的第一关联值。按照相同的处理方式，可得到垂直方向、对角线方向和反对角线方向分别对应的第一关联值。
在最小的第一关联值和次小的第一关联值之间的差值大于预设差值的情况下，将最小的第一关联值对应的纹理方向，作为彩色像素的目标纹理方向。
在最小的第一关联值和次小的第一关联值之间的差值不大于预设差值的情况下，使用如图10b所示的关联像素确定彩色像素的目标纹理方向。图10b中该彩色像素的关联像素包括全色关联像素和彩色关联像素。
对于水平方向的全色关联像素和彩色关联像素，计算各同一箭头所指向的两个全色关联像素的差值的绝对值，以及各同一箭头所指向的两个彩色关联像素的差值的绝对值，可得到多个绝对值。对水平方向的多个绝对值求和，求和后除以全色关联像素和彩色关联像素的像素数量之和，得到水平方向对应的第二关联值。按照相同的处理方式，可得到垂直方向、对角线方向和反对角线方向分别对应的第二联值。
在最小的第二关联值和次小的第二关联值之间的差值大于预设差值的情况下，将最小的第二关联值对应的纹理方向，作为彩色像素的目标纹理方向。
在彩色像素处于平坦区的情况下，或者在确定彩色像素的目标纹理方向后，通过如图11所示的各像素计算彩色像素C1对应的插值权重W_C1。
平坦区：W_C1＝0.5*C1*(W1+W2+W3+W4+W5+W6+W7+W8)/(C1+C2+C3+C4)，在彩色像素C1处于平坦区的情况下，求出图9中W1至W8的均值和C1至C4的均值，再将两个均值的比值与C1相乘，得到插值权重W_C1。
在确定彩色像素的目标纹理方向后，可按照以下方式计算彩色像素C1对应的插值权重W_C1：
水平方向DirH：W_C1＝(2*W8+W3)/3
垂直方向DirV：W_C1＝(2*W1+W6)/3
反对角线方向DirA：W_C1＝0.5*W2+0.5*W7
对角线方向DirD：W_C1＝(3*W1+3*W8+W4+W5)/8
遍历彩色像素对应的原始图像中各像素后，可得到每个彩色像素对应的插值权重，从而得到插值权重图。将插值权重图和原始图像进行融合处理，得到全尺寸全色通道图像。
如图12所示，在计算出彩色像素C1、C2、C3和C4分别对应的插值权重w1、w2、w3和w4后，可根据各个插值权重和原始图像中的相应像素值的强度比或强度差，重新分配，得到全尺寸全色通道图像。以w1’为例，计算当(C1+C2+C3+C4)的像素之和小于某个阈值时，可认为是低强度，例如(C1+C2+C3+C4)<100时触发低强度计算方式；当(C1+C2+C3+C4)的像素之和大于或等于某个阈值时，可认为是正常强度，则触发正常强度计算方式。
正常强度：w1’＝C1*(w1+w2+w3+w4)/(C1+C2+C3+C4)
低强度：w1’＝C1+0.25*(w1+w2+w3+w4)-0.25*(C1+C2+C3+C4)
按照相同方式，可计算出w2’、w3’和w4’，得到如图10中所示的部分全色图像图像，该部分全色通道图像中，彩色像素C1、C2、C3、C4已经被插值为全色像素。按照相同处理方式，可将原始图像中的彩色像素均插值为相应的全色像素，从而得到全尺寸的全色通道图像，即W通道图像，该全尺寸的全色通道图像的尺寸与原始图像的尺寸相同。
在一个实施例中，基于彩色像素在目标纹理方向上的各关联像素，得到彩色像素对应的插值权重，包括：根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，得到彩色像素对应的插值权重。
电子设备确定该彩色像素的目标纹理方向后，根据该彩色像素在目标纹理方向关联的各全色关联像素，按照各全色关联像素之间的比例关系，计算出该彩色像素对应的插值权重。按照相同的处理方式遍历彩色像素对应的原始图像中各像素，遍历完成时可得到原始图像中每个彩色像素分别对应的插值权重。
本实施例中，根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，计算出该彩色像素对应的插值权重，不仅使用了彩色像素本身的信息，还使用到彩色像素临近区域的相关联的全色像素的信息，可以更准确地计算出彩色像素对应的插值权重。
在一个实施例中，该方法还包括：
在第二分辨率模式下，对于全色滤光片对应的第一数量的全色像素，将相邻的预设数量的全色像素合并读出一个全色像素，得到全色滤光片对应的第二数量的全色像素；第二数量小于第一数量；对于彩色滤光片对应的第一数量的彩色像素，将相邻的预设数量的彩色像素合并读出一个彩色像素，得到彩色滤光片对应的第二数量的彩色像素；基于每个全色滤光片对应的第二数量的全色像素和每个彩色滤光片对应的第二数量的彩色像素，得到第二目标图像；第二分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
第二分辨率模式是指中分辨率、中功耗、中信噪比、中帧率的像素合并读出模式，该第二分辨率模式对应的分辨率、功耗小于第一分辨率模式对应的分辨率、功耗。该第二分辨率模式对应的信噪比、帧率大于第一分辨率模式对应的信噪比、帧率。
在接收到拍摄指令的情况下，检测用户是否选择所需使用的分辨率模式，是否使用预览拍摄、以及检测当前环境。在用户选择第二分辨率模式下的情况下，全色滤光片233中的子滤光片2331透过的光线投射至对应的全色像素2431上，全色像素2431接收穿过子滤光片2331的光线以生成电信号。彩色滤光片234中的子滤光片2341透过的光线投射至对应的彩色像素2441上，彩色像素2441接收穿过对应的子滤光片2341的光线以生成电信号。
每个全色滤光片233分别对应第一数量的全色像素2431。对于同一个全色滤光片233分别对应的第一数量的全色像素2431，电子设备将相邻的预设数量的全色像素合并读出一个全色像素，得到全色滤光片对应的第二数量的全色像素，第二数量小于第一数量。
每个彩色滤光片234分别对应第一数量的彩色像素2441。对于同一个彩色滤光片234分别对应的第一数量的彩色像素2441，电子设备将相邻的预设数量的彩色像素合并读出一个彩色像素，得到彩色滤光片234对应的第二数量的彩色像素。按照相同的处理方式，得到每个全色滤光片233对应的第二数量的全色像素和每个彩色滤光片234对应的第二数量的彩色像素后，即可得到第二目标图像。
在一个实施例中，如图13a所示，全色滤光片的对应9个全色像素呈3×3排列，将9个的全色像素中相邻的4个全色像素合并读出一个全色像素后，可得到该全色滤光片对应的呈2×2排列的4个全色像素。彩色滤光片对应9个的彩色像素呈3×3排列，将该9个的彩色像素中相邻的4个彩色像素合并读出一个彩色像素后，可得到该彩色滤光片对应的呈2×2排列的4个彩色像素。所有全色像素和彩色像素均按照上述方式合并读出后，得到第二目标图像。
在一个实施例中，3x3至2x2的输出模式，可以通过图像传感器先输出全分辨率图像，然后再后端通过数字合成的方式来实现相邻四个像素合成一个像素，也可以通过图像传感器内部的电路实现相邻四个像素合成1个像素的输出。
本实施例中，在第二分辨率模式下，对于全色滤光片对应的第一数量的全色像素，将相邻的预设数量的全色像素合并读出一个全色像素，得到全色滤光片对应的第二数量的全色像素，第二数量小于第一数量，对于彩色滤光片对应的第一数量的彩色像素，将相邻的预设数量的彩色像素合并读出一个彩色像素，得到彩色滤光片对应的第二数量的彩色像素，使得基于每个全色滤光片对应的第二数量的全色像素和每个彩色滤光片对应的第二数量的彩色像素所得到的第二目标图像尺寸小于第一分辨率模式下获得的图像，消耗的功耗小于第一分辨率模式下的功耗，而帧率高于第一分辨率模式下的帧率，能够适配不同的应用场景。
在一个实施例中，该方法还包括：在第三分辨率模式下，根据滤光片组中的同一全色滤光片对应的多个全色像素合并读出的第一像素值和同一彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第三目标图像；第三分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
第三分辨率模式是指中分辨率、中功耗、中信噪比、中帧率的一级像素合并读出模式，与第二分辨率模式对应的像素合并读出方式不同。该第三分辨率模式对应的分辨率、功耗小于第一分辨率模式对应的分辨率、功耗。该第三分辨率模式对应的信噪比、帧率大于第一分辨率模式对应的信噪比、帧率。该第三分辨率模式对应的分辨率、功耗小于第二分辨率模式对应的分辨率、功耗，第三分辨率模式对应的信噪比、帧率大于第二分辨率模式对应的信噪比、帧率。第三分辨率模式具体可以是图像、视频拍摄的默认模式。
在接收到拍摄指令的情况下，检测用户是否选择所需使用的分辨率模式，是否使用预览拍摄、以及检测当前环境。在用户未选择所需使用的分辨率模式，未使用预览拍摄、且当前环境非夜景模式的情况下，使用第三分辨率模式响应该拍摄指令。
在第三分辨率模式下，全色滤光片233中的子滤光片2331透过的光线投射至对应的全色像素2431上，全色像素2431接收穿过子滤光片2331的光线以生成电信号。彩色滤光片234中的子滤光片2341透过的光线投射至对应的彩色像素2441上，彩色像素2441接收穿过对应的子滤光片2341的光线以生成电信号。电子设备将同一全色滤光片233对应的多个全色像素2431合并读出的第一像素值，以及同一彩色滤光片234对应的多个彩色像素2441合并读出的第二像素值，得到第三目标图像。
如图13b所示，全色滤光片对应的9个全色像素呈3×3排列，彩色滤光片对应的9个彩色像素呈3×3排列。将全色滤光片对应的9个全色像素合并读出一个全色像素，将彩色滤光片对应的9个彩色像素合并读出一个彩色像素后，按照相同的处理方式，可得到得到第二目标图像。
本实施例中，在第三分辨率模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，使得所生成的第三目标图像尺寸减小、生成图像所需消耗的功耗低。
在一个实施例中，该方法还包括：在第四分辨率模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到合并图像；将合并图像中在第七对角线方向上的多个全色像素合并，并将在第八对角线方向上的多个彩色像素合并，得到第四目标图像；第七对角线方向不同于第八对角线方向，第四分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
第四分辨率模式是指对分辨率要求比较低的场景下所使用的模式，是低分辨率、低功耗、高信噪比、高帧率的二级像素合并读出模式。该第四分辨率模式对应的分辨率、功耗小于第一分辨率模式对应的分辨率、功耗。该第四分辨率模式对应的信噪比、帧率大于第一分辨率模式对应的信噪比、帧率。该第四分辨率模式对应的分辨率、功耗小于第二分辨率模式对应的分辨率、功耗，第四分辨率模式对应的信噪比、帧率大于第二分辨率模式对应的信噪比、帧率。该第四分辨率模式对应的分辨率、功耗小于第三分辨率模式对应的分辨率、功耗，第四分辨率模式对应的信噪比、帧率大于第三分辨率模式对应的信噪比、帧率。
第四分辨率模式具体可以是图像拍摄时的预览模式、视频拍摄时的预览模式，或者在夜景下进行图像拍摄、视频拍摄的夜景模式等分辨率要求较低的场景，但不限于此。视频拍摄的预览模式例如1080p视频预览、微信视频预览等。
在接收到拍摄指令的情况下，确定该拍摄指令是否为预览拍摄。在该拍摄指令为预览拍摄的情况下，触发第四分辨率模式。或者，电子设备检测当前环境是否为夜景，在当前环境为夜景的情况下，触发第四分辨率模式。或者，在用户选择第四分辨率模式的情况下，触发第四分辨率模式对应的读出模式。
在第四分辨率模式下，全色滤光片233中的子滤光片2331透过的光线投射至对应的全色像素2431上，全色像素2431接收穿过子滤光片2331的光线以生成电信号。彩色滤光片234中的子滤光片2341透过的光线投射至对应的彩色像素2441上，彩色像素2441接收穿过对应的子滤光片2341的光线以生成电信号。电子设备将同一全色滤光片233对应的多个全色像素2431合并读出的第一像素值，以及同一彩色滤光片234对应的多个彩色像素2441合并读出的第二像素值，得到合并图像。
在一个实施例中，针对每个全色滤光片233，电子设备将全色滤光片233包含的9个子滤光片所对应的9个全色像素合并以读出第一像素值，从而得到各第一像素值。针对每个彩色滤光片234，将彩色滤光片234包含的9个子滤光片所对应的9个彩色像素合并以读出第二像素值，从而得到各第二像素值。
电子设备将合并图像中在第七对角线方向上的多个全色像素合并，并将合并图像中在第八对角线方向上的多个彩色像素合并，得到第四目标图像。该第七对角线方向不同于第八对角线方向，具体可以是第七对角线方向与第八对角线方向不平行，或者，第七对角线方向与第八对角线方向垂直等。
在一个实施例中，该第七对角线方向与第八对角线方向垂直。该多个全色像素和多个彩色像素均可以是至少两个。例如，将在第七对角线D7方向上的2个全色像素合并，并将合并图像中在第八对角线D8方向上的2个同一颜色的彩色像素合并，得到第四目标图像，如图13c所示。
本实施例中，在第四分辨率模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到合并图像，将合并图像中在第七对角线方向上的多个全色像素合并，并将在不同于第七对角线方向的第八对角线方向上的多个彩色像素合并，多合一的像素读出方式使得生成的图像噪声少，而全色通道的进光量更大，全色像素具有更高的信噪比，使得所得到第四目标图像的分辨率进一步减小，且全色像素具有更高的信噪比，图像的帧率高，从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。
在一个实施例中，基于3×3RGBW pattern支持多种分辨率输出的CIS(CMOS ImageSensor，互补金属氧化物半导体图像传感器)结构，能够提供4种分辨率模式，每种分辨率模式对应各自的分辨率输出。
以第一分辨率模式(fullsize模式)对应的分辨率为108M(兆)为例，第一分辨率模式(108M)下的分辨率下最高，信噪比最低，帧率最低，通常在晴天或者光照环境比较好的情况下使用。
第二分辨率模式，即3×3至2×2模式，第二分辨率模式对应的分辨率为48M，第二分辨率模式(48M)下的分辨率次高，信噪比次低，帧率次低，通常在8K视频拍摄和预览时使用，或者对分辨率要求介于fullsize和binning之间的情况下使用。
第三分辨率模式，即一级binning模式，第三分辨率模式对应的分辨率为12M，第三分辨率模式(12M)下的分辨率次低，信噪比次高，帧率次高，通常用于普通模式拍照，4K视频拍摄和预览的时候使用。
第四分辨率模式，即二级binning模式，第四分辨率模式对应的分辨率为3M，第四分辨率模式(3M)下的分辨率最低，信噪比最高，帧率最高，通常在1080p视频场景或者夜晚场景拍照使用。
本实施例中，基于3×3RGBW pattern支持多种分辨率输出的CIS结构，3×3的RGBWpattern可以直接输出fullsize的图像，也可以通过将3×3的结构转换成2×2的RGBWpattern输出，同时也能支持9合1的一级Binning输出以及18合1的二级Binning输出，从而使得3×3的RGBW pattern能够输出更多种的分辨率，以便适配不同的应用场景。同时结合W通道的高进光量，能够提高图像的信噪比和清晰度，提升夜间拍照和视频效果。
在一个实施例中，提供了一种图像生成方法，应用于电子设备的图像传感器，其特征在于，图像传感器包括滤光片阵列和像素阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片，彩色滤光片具有比全色滤光片的更窄的光谱响应，彩色滤光片和全色滤光片均包括9个子滤光片；像素阵列包括多个全色像素和多个彩色像素，每个全色像素对应全色滤光片的一个子滤光片，每个彩色像素对应彩色滤光片的一个子滤光片；
该图像生成方法包括：
在第一分辨率模式下，遍历彩色像素对应的原始图像中各像素；在确定原始图像的当前像素为彩色像素的情况下，确定包含彩色像素的预设范围内各像素的方差；若方差小于预设阈值，则彩色像素处于平坦区；若方差大于或等于预设阈值，则彩色像素处于纹理区。
接着，在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值；基于第一像素均值和第二像素均值之间的比例关系，得到彩色像素对应的插值权重。
进一步地，在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素；基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值；将各第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
接着，在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值；将各第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
接着，根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，得到彩色像素对应的插值权重。
进一步地，根据彩色像素的插值权重将彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像；全尺寸全色通道图中的像素均为全色像素；基于全尺寸全色通道图和原始图像生成第一目标图像。
可选地，在第二分辨率模式下，对于全色滤光片对应的第一数量的全色像素，将相邻的预设数量的全色像素合并读出一个全色像素，得到全色滤光片对应的第二数量的全色像素；第二数量小于第一数量；对于彩色滤光片对应的第一数量的彩色像素，将相邻的预设数量的彩色像素合并读出一个彩色像素，得到彩色滤光片对应的第二数量的彩色像素；基于每个全色滤光片对应的第二数量的全色像素和每个彩色滤光片对应的第二数量的彩色像素，得到第二目标图像；第二分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
可选地，在第三分辨率模式下，根据滤光片组中的同一全色滤光片对应的多个全色像素合并读出的第一像素值和同一彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第三目标图像；第三分辨率模式对应的分辨率小于第二分辨率模式对应的分辨率。
可选地，在第四分辨率模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到合并图像；将合并图像中在第七对角线方向上的多个全色像素合并，并将在第八对角线方向上的多个彩色像素合并，得到第四目标图像；第七对角线方向不同于第八对角线方向，第四分辨率模式对应的分辨率小于第三分辨率模式对应的分辨率。
本实施例中，提供了支持多种分辨率输出的图像传感器结构，从而提供了四种分辨率的输出模式，能够适配不同的应用场景。
在对分辨率要求比较高的场景下使用第一分辨率模式，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到与原始图像尺寸相同的全尺寸全色通道图像。全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成第一目标图像，能够将全色通道信息融合到原始图像中，使得生成信息更多、细节解析更清晰的第一目标图像，从而实现高分辨率、低信噪比和低帧率的全尺寸全分辨率输出的图像处理效果，能够满足用户对图像的高质量要求。
在第二分辨率模式下，对于全色滤光片对应的第一数量的全色像素，将相邻的预设数量的全色像素合并读出一个全色像素，得到全色滤光片对应的第二数量的全色像素，第二数量小于第一数量，对于彩色滤光片对应的第一数量的彩色像素，将相邻的预设数量的彩色像素合并读出一个彩色像素，得到彩色滤光片对应的第二数量的彩色像素，使得基于每个全色滤光片对应的第二数量的全色像素和每个彩色滤光片对应的第二数量的彩色像素所得到的第二目标图像尺寸小于第一分辨率模式下获得的图像，消耗的功耗小于第一分辨率模式下的功耗，而帧率高于第一分辨率模式下的帧率，能够适配不同的应用场景。
在一般拍摄或预览场景下使用第三分辨率模式，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，使得所生成的第三目标图像尺寸减小、生成图像所需消耗的功耗低。
在夜景拍摄等分辨率要求较低的场景下使用第四分辨率模式，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到合并图像，将合并图像中在第七对角线方向上的多个全色像素合并，并将在不同于第七对角线方向的第八对角线方向上的多个彩色像素合并，多合一的像素读出方式使得生成的图像噪声少，而全色通道的进光量更大，全色像素具有更高的信噪比，使得所得到第四目标图像的分辨率进一步减小，且全色像素具有更高的信噪比，图像的帧率高，从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果，从而进一步提升夜间拍照和视频效果。
应该理解的是，虽然图2-图13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图13中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图14为一个实施例的图像生成装置的结构框图。如图14所示，图像生成装置1400应用于图像传感器，图像传感器包括滤光片阵列和像素阵列，滤光片阵列包括最小重复单元，最小重复单元包括多个滤光片组，滤光片组包括彩色滤光片和全色滤光片，彩色滤光片具有比全色滤光片的更窄的光谱响应，彩色滤光片和全色滤光片均包括9个子滤光片；像素阵列包括多个像素，像素阵列的像素与滤光片阵列的子滤光片对应设置，像素阵列被配置成用于接收穿过滤光片阵列的光线以生成电信号；
该图像生成装置1400包括：
插值模块1402，用于在第一分辨率模式下，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到全尺寸全色通道图像；全尺寸全色通道图中的像素均为全色像素；
生成模块1404，用于基于全尺寸全色通道图和原始图像生成第一目标图像。
本实施例中，在第一分辨率模式下，利用彩色像素在原始图像中的纹理信息，将原始图像中的彩色像素均插值为全色像素，得到与原始图像尺寸相同的全尺寸全色通道图像。全尺寸全色通道图中的像素均为全色像素，基于全尺寸全色通道图和原始图像生成第一目标图像，能够将全色通道信息融合到原始图像中，使得生成信息更多、细节解析更清晰的第一目标图像，从而实现高清晰度、低信噪比和低帧率的全尺寸全分辨率输出的图像处理效果，能够满足用户对图像的高质量要求。
在一个实施例中，该插值模块1402还用于遍历彩色像素对应的原始图像中各像素；在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素确定彩色像素的纹理信息；基于彩色像素的纹理信息，得到彩色像素对应的插值权重，并根据彩色像素的插值权重将彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像。
本实施例中，在确定原始图像的当前像素为彩色像素的情况下，基于包含彩色像素的预设范围内各像素不仅可以获取到彩色像素本身的信息，还可以获取到彩色像素临近区域的像素的信息，可以更准确地确定彩色像素的纹理信息。基于彩色像素的纹理信息，计算原始图像中彩色像素位置的彩色像素对应的插值权重，根据彩色像素的插值权重能够将该彩色像素准确插值为对应的全色像素，直至将原始图像中的每个彩色像素均插值为对应的全色像素时完成遍历，从而能够准确得到全尺寸全色通道图像。
在一个实施例中，该插值模块1402还用于确定包含彩色像素的预设范围内各像素的方差；若方差小于预设阈值，则彩色像素处于平坦区；若方差大于或等于预设阈值，则彩色像素处于纹理区。
在本实施例中，通过确定包含彩色像素的预设范围内各像素的方差，可以准确地确定出彩色像素的纹理信息。
在一个实施例中，该插值模块1402还用于在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值；基于第一像素均值和第二像素均值之间的比例关系，得到彩色像素对应的插值权重。
在本实施例中，在彩色像素处于平坦区的情况下，确定包含彩色像素的预设范围内各全色像素的第一像素均值，以及预设范围内各彩色像素的第二像素均值，基于第一像素均值和第二像素均值之间的比例关系，可以准确地计算出原始图像中彩色像素位置的彩色像素对应的插值权重。
在一个实施例中，该插值模块1402还用于在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向；基于彩色像素在目标纹理方向上的各关联像素，得到彩色像素对应的插值权重。
本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素的目标纹理方向，基于彩色像素在目标纹理方向上的各关联像素，准确计算出各彩色像素对应的插值权重。
在一个实施例中，该插值模块1402还用于在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素；基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值；将各第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
本实施例中，在彩色像素处于纹理区的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素，以通过与彩色像素关联的全色关联像素确定彩色像素的目标纹理方向。基于各纹理方向分别关联的全色关联像素，确定彩色像素在各纹理方向分别对应的第一关联值，能够确定各全色关联像素与该彩色像素之间的关联程度，从而能够基于全色关联像素与该彩色像素之间的关联程度，准确确定彩色像素的目标纹理方向。
在一个实施例中，该插值模块1402还用于在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值；将各第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为彩色像素的目标纹理方向。
本实施例中，在彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，表示仅使用全色关联像素无法准确确定该彩色像素的目标纹理方向，则确定彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素，以通过与彩色像素关联的全色关联像素、彩色关联像素共同确定彩色像素的目标纹理方向。基于各纹理方向分别关联的全色关联像素和彩色关联像素，确定彩色像素在各纹理方向分别对应的第二关联值，使用的信息量多，所计算得到的关联值涵盖了更多的信息量，能够更准确确定全色关联像素、彩色关联像素与该彩色像素之间的关联程度，从而能够基于全色关联像素、彩色关联像素所共同确定的与该彩色像素之间的关联程度，准确确定彩色像素的目标纹理方向。
在一个实施例中，该插值模块1402还用于根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，得到彩色像素对应的插值权重。
本实施例中，根据彩色像素在目标纹理方向关联的全色关联像素之间的比例关系，计算出该彩色像素对应的插值权重，不仅使用了彩色像素本身的信息，还使用到彩色像素临近区域的相关联的全色像素的信息，可以更准确地计算出彩色像素对应的插值权重。
在一个实施例中，该装置还包括：
第一合并模块，用于在第二分辨率模式下，对于全色滤光片对应的第一数量的全色像素，将相邻的预设数量的全色像素合并读出一个全色像素，得到全色滤光片对应的第二数量的全色像素；第二数量小于第一数量；对于彩色滤光片对应的第一数量的彩色像素，将相邻的预设数量的彩色像素合并读出一个彩色像素，得到彩色滤光片对应的第二数量的彩色像素。
获得模块，用于基于每个全色滤光片对应的第二数量的全色像素和每个彩色滤光片对应的第二数量的彩色像素，得到第二目标图像；第二分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
本实施例中，在第二分辨率模式下，对于全色滤光片对应的第一数量的全色像素，将相邻的预设数量的全色像素合并读出一个全色像素，得到全色滤光片对应的第二数量的全色像素，第二数量小于第一数量，对于彩色滤光片对应的第一数量的彩色像素，将相邻的预设数量的彩色像素合并读出一个彩色像素，得到彩色滤光片对应的第二数量的彩色像素，使得基于每个全色滤光片对应的第二数量的全色像素和每个彩色滤光片对应的第二数量的彩色像素所得到的第二目标图像尺寸小于第一分辨率模式下获得的图像，消耗的功耗小于第一分辨率模式下的功耗，而帧率高于第一分辨率模式下的帧率，能够适配不同的应用场景。
在一个实施例中，该装置还包括：
第二合并模块，用于在第三分辨率模式下，根据滤光片组中的同一全色滤光片对应的多个全色像素合并读出的第一像素值和同一彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第三目标图像；第三分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
本实施例中，在第三分辨率模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，使得所生成的第三目标图像尺寸减小、生成图像所需消耗的功耗低。
在一个实施例中，该装置还包括：
第三合并模块，用于在第四分辨率模式下，根据滤光片组中的全色滤光片对应的多个全色像素合并读出的第一像素值，以及彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到合并图像；将合并图像中在第七对角线方向上的多个全色像素合并，并将在第八对角线方向上的多个彩色像素合并，得到第四目标图像；第七对角线方向不同于第八对角线方向，第四分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
本实施例中，将合并图像中在第七对角线方向上的多个全色像素合并，并将在不同于第七对角线方向的第八对角线方向上的多个彩色像素合并，多合一的像素读出方式使得生成的图像噪声少，而全色通道的进光量更大，全色像素具有更高的信噪比，使得所得到第四目标图像的分辨率进一步减小，且全色像素具有更高的信噪比，图像的帧率高，从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。
上述图像生成装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像生成装置按照需要划分为不同的模块，以完成上述图像生成装置的全部或部分功能。
图15为一个实施例中电子设备的内部结构示意图。如图15所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像生成方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像生成方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括9个子滤光片；所述像素阵列包括多个像素，所述像素阵列的像素与所述滤光片阵列的子滤光片对应设置，所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号；
所述图像传感器，用于在第一分辨率模式下，遍历彩色像素对应的原始图像中各像素；在确定所述原始图像的当前像素为彩色像素的情况下，基于包含所述彩色像素的预设范围内各像素确定所述彩色像素的纹理信息；基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，并根据所述彩色像素的插值权重将所述彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
2.根据权利要求1所述的图像传感器，其特征在于，所述滤光片组为4个，4个所述滤光片组呈矩阵排列。
3.根据权利要求2所述的图像传感器，其特征在于，在每个所述滤光片组中，所述全色滤光片设置在第一对角线方向，所述彩色滤光片设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同。
4.根据权利要求3所述的图像传感器，其特征在于，所述滤光片组中包含2个全色滤光片和2个彩色滤光片，所述最小重复单元为12行12列144个所述子滤光片，排布方式为：
其中，w表示全色子滤光片，a、b和c均表示彩色子滤光片。
5.根据权利要求3所述的图像传感器，其特征在于，所述滤光片组中包含2个全色滤光片和2个彩色滤光片，所述最小重复单元为12行12列144个所述子滤光片，排布方式为：
其中，w表示全色子滤光片，a、b和c均表示彩色子滤光片。
6.根据权利要求2所述的图像传感器，其特征在于，在每个所述滤光片组中，所述全色滤光片设置在第三对角线及第四对角线上，所述彩色滤光片设置在第三对角线方向或第四对角线方向，所述第三对角线方向与所述第四对角线方向不同。
7.根据权利要求6所述的图像传感器，其特征在于，所述最小重复单元为18行18列324个所述子滤光片，排布方式为：
其中，w表示全色子滤光片，a、b和c均表示彩色子滤光片。
8.根据权利要求1所述的图像传感器，其特征在于，在每个所述滤光片组中，所述彩色滤光片设置在第五对角线及第六对角线上，所述全色滤光片设置在第五对角线方向或第六对角线方向，所述第五对角线方向与所述第六对角线方向不同。
9.根据权利要求8所述的图像传感器，其特征在于，所述最小重复单元为18行18列324个所述子滤光片，排布方式为：
其中，w表示全色子滤光片，a、b和c均表示彩色子滤光片。
10.一种图像生成方法，应用于图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括9个子滤光片；所述像素阵列包括多个像素，所述像素阵列的像素与所述滤光片阵列的子滤光片对应设置，所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号；
所述方法还包括：
在第一分辨率模式下，遍历彩色像素对应的原始图像中各像素；
在确定所述原始图像的当前像素为彩色像素的情况下，基于包含所述彩色像素的预设范围内各像素确定所述彩色像素的纹理信息；
基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，并根据所述彩色像素的插值权重将所述彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；
基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
11.根据权利要求10所述的方法，其特征在于，所述基于包含所述彩色像素的预设范围内各像素确定所述彩色像素的纹理信息，包括：
确定包含所述彩色像素的预设范围内各像素的方差；
若所述方差小于预设阈值，则所述彩色像素处于平坦区；
若所述方差大于或等于所述预设阈值，则所述彩色像素处于纹理区。
12.根据权利要求10所述的方法，其特征在于，所述基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，包括：
在所述彩色像素处于平坦区的情况下，确定包含所述彩色像素的预设范围内各全色像素的第一像素均值，以及所述预设范围内各所述彩色像素的第二像素均值；
基于所述第一像素均值和所述第二像素均值之间的比例关系，得到所述彩色像素对应的插值权重。
13.根据权利要求10所述的方法，其特征在于，所述基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，包括：
在所述彩色像素处于纹理区的情况下，确定所述彩色像素的目标纹理方向；
基于所述彩色像素在所述目标纹理方向上的各关联像素，得到所述彩色像素对应的插值权重。
14.根据权利要求13所述的方法，其特征在于，所述在所述彩色像素处于纹理区的情况下，确定所述彩色像素的目标纹理方向，包括：
在所述彩色像素处于纹理区的情况下，确定所述彩色像素在各纹理方向分别关联的全色关联像素；
基于各所述纹理方向分别关联的全色关联像素，确定所述彩色像素在各所述纹理方向分别对应的第一关联值；
将各所述第一关联值中满足第一关联条件的第一关联值所对应的纹理方向，作为所述彩色像素的目标纹理方向。
15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
在所述彩色像素在各纹理方向分别对应的第一关联值不满足第一关联条件的情况下，确定所述彩色像素在各纹理方向分别关联的全色关联像素和彩色关联像素；
基于各所述纹理方向分别关联的全色关联像素和彩色关联像素，确定所述彩色像素在各所述纹理方向分别对应的第二关联值；
将各所述第二关联值中满足第二关联条件的第二关联值所对应的纹理方向，作为所述彩色像素的目标纹理方向。
16.根据权利要求14或15所述的方法，其特征在于，所述基于所述彩色像素在所述目标纹理方向上的各关联像素，得到所述彩色像素对应的插值权重，包括：
根据所述彩色像素在所述目标纹理方向关联的全色关联像素之间的比例关系，得到所述彩色像素对应的插值权重。
17.根据权利要求10所述的方法，其特征在于，所述方法还包括：
在第二分辨率模式下，对于所述全色滤光片对应的第一数量的全色像素，将相邻的预设数量的全色像素合并读出一个全色像素，得到所述全色滤光片对应的第二数量的全色像素；所述第二数量小于所述第一数量；
对于所述彩色滤光片对应的第一数量的彩色像素，将相邻的预设数量的彩色像素合并读出一个彩色像素，得到所述彩色滤光片对应的第二数量的彩色像素；
基于每个所述全色滤光片对应的第二数量的全色像素和每个所述彩色滤光片对应的第二数量的彩色像素，得到第二目标图像；所述第二分辨率模式对应的分辨率小于所述第一分辨率模式对应的分辨率。
18.根据权利要求10所述的方法，其特征在于，所述方法还包括：
在第三分辨率模式下，根据所述滤光片组中的同一全色滤光片对应的多个全色像素合并读出的第一像素值和同一彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到第三目标图像；所述第三分辨率模式对应的分辨率小于所述第一分辨率模式对应的分辨率。
19.根据权利要求10所述的方法，其特征在于，所述方法还包括：
在第四分辨率模式下，根据所述滤光片组中的所述全色滤光片对应的多个全色像素合并读出的第一像素值，以及所述彩色滤光片对应的多个彩色像素合并读出的第二像素值，得到合并图像；
将所述合并图像中在第七对角线方向上的多个全色像素合并，并将在第八对角线方向上的多个彩色像素合并，得到第四目标图像；所述第七对角线方向不同于所述第八对角线方向，所述第四分辨率模式对应的分辨率小于所述第一分辨率模式对应的分辨率。
20.一种图像生成装置，应用于图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素阵列，所述滤光片阵列包括最小重复单元，所述最小重复单元包括多个滤光片组，所述滤光片组包括彩色滤光片和全色滤光片，所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应，所述彩色滤光片和所述全色滤光片均包括9个子滤光片；所述像素阵列包括多个像素，所述像素阵列的像素与所述滤光片阵列的子滤光片对应设置，所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号；
所述装置包括：
插值模块，用于遍历彩色像素对应的原始图像中各像素；在确定所述原始图像的当前像素为彩色像素的情况下，基于包含所述彩色像素的预设范围内各像素确定所述彩色像素的纹理信息；基于所述彩色像素的纹理信息，得到所述彩色像素对应的插值权重，并根据所述彩色像素的插值权重将所述彩色像素插值为全色像素，直至遍历完成时得到全尺寸全色通道图像；所述全尺寸全色通道图中的像素均为全色像素；
生成模块，用于基于所述全尺寸全色通道图和所述原始图像生成第一目标图像。
21.一种电子设备，包括存储器、处理器及图像传感器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求10至19中任一项所述的方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求10至19中任一项所述的方法的步骤。
CN202111062952.2A 2021-09-10 2021-09-10 图像传感器、图像生成方法、装置和电子设备 Active CN113840067B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111062952.2A CN113840067B (zh) 2021-09-10 2021-09-10 图像传感器、图像生成方法、装置和电子设备
PCT/CN2022/113450 WO2023035900A1 (zh) 2021-09-10 2022-08-19 图像传感器、图像生成方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111062952.2A CN113840067B (zh) 2021-09-10 2021-09-10 图像传感器、图像生成方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113840067A CN113840067A (zh) 2021-12-24
CN113840067B true CN113840067B (zh) 2023-08-18

Family

ID=78958915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111062952.2A Active CN113840067B (zh) 2021-09-10 2021-09-10 图像传感器、图像生成方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN113840067B (zh)
WO (1) WO2023035900A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840067B (zh) * 2021-09-10 2023-08-18 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备
CN114554046A (zh) * 2021-12-01 2022-05-27 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114338988A (zh) * 2021-12-29 2022-04-12 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314592A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN112118378A (zh) * 2020-10-09 2020-12-22 Oppo广东移动通信有限公司 图像获取方法及装置、终端和计算机可读存储介质
CN213279832U (zh) * 2020-10-09 2021-05-25 Oppo广东移动通信有限公司 图像传感器、相机和终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
WO2020177123A1 (en) * 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
US11470286B2 (en) * 2019-07-16 2022-10-11 Mritunjay Singh Image sensors with color, panchromatic and infrared pixels
CN112508783B (zh) * 2020-11-19 2024-01-30 西安全志科技有限公司 基于方向插值的图像处理方法、计算机装置及计算机可读存储介质
CN113840067B (zh) * 2021-09-10 2023-08-18 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备
CN114338988A (zh) * 2021-12-29 2022-04-12 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111314592A (zh) * 2020-03-17 2020-06-19 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111757006A (zh) * 2020-07-08 2020-10-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN112118378A (zh) * 2020-10-09 2020-12-22 Oppo广东移动通信有限公司 图像获取方法及装置、终端和计算机可读存储介质
CN213279832U (zh) * 2020-10-09 2021-05-25 Oppo广东移动通信有限公司 图像传感器、相机和终端

Also Published As

Publication number Publication date
WO2023035900A1 (zh) 2023-03-16
CN113840067A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
TWI504257B (zh) 在產生數位影像中曝光像素群組
CN113840067B (zh) 图像传感器、图像生成方法、装置和电子设备
CN213279832U (zh) 图像传感器、相机和终端
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN112118378A (zh) 图像获取方法及装置、终端和计算机可读存储介质
CN113676708B (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
US6909461B1 (en) Method and apparatus to extend the effective dynamic range of an image sensing device
WO2023082766A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023124607A1 (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN113573030B (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
WO2023098284A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
US11758289B2 (en) Image processing method, image processing system, electronic device, and readable storage medium
WO2023109265A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023109264A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023098282A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
US20230007191A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
WO2023098230A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2022073364A1 (zh) 图像获取方法及装置、终端和计算机可读存储介质
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant