CN118102133A - 一种图像传感器、图像对焦方法、电子设备及存储介质 - Google Patents

一种图像传感器、图像对焦方法、电子设备及存储介质 Download PDF

Info

Publication number
CN118102133A
CN118102133A CN202410406088.0A CN202410406088A CN118102133A CN 118102133 A CN118102133 A CN 118102133A CN 202410406088 A CN202410406088 A CN 202410406088A CN 118102133 A CN118102133 A CN 118102133A
Authority
CN
China
Prior art keywords
pixel
unit
filter
phase
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410406088.0A
Other languages
English (en)
Other versions
CN118102133B (zh
Inventor
眭新雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202410406088.0A priority Critical patent/CN118102133B/zh
Priority claimed from CN202410406088.0A external-priority patent/CN118102133B/zh
Publication of CN118102133A publication Critical patent/CN118102133A/zh
Application granted granted Critical
Publication of CN118102133B publication Critical patent/CN118102133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种图像传感器、图像对焦方法、电子设备及存储介质，图像传感器包括：像素阵列和滤光阵列，滤光阵列覆盖设置在像素阵列上，像素阵列包括若干像素单元，滤光阵列包括若干滤光单元，滤光阵列中的滤光单元与像素阵列中的像素单元一一对应；其中，滤光阵列包括具有不同透过率的滤光单元。通过调整部分像素单元对应的滤光单元的透过率，使得滤波阵列包括不同透过率的滤光单元，使得在读取用于实现相位对焦所需的相位信号时，可以读取到具有不同透过率的滤光单元所对应的像素单元输出的相位信号，由于不同透过率的像素单元对光线的捕捉能力不同，因此能够更好地获取到明暗区域的相位信息，从而有效地扩大输出的相位信号的动态范围。

Description

一种图像传感器、图像对焦方法、电子设备及存储介质
技术领域
本申请涉及终端技术领域，尤其涉及一种图像传感器、图像对焦方法、电子设备及存储介质。
背景技术
在数字图像中，动态范围表征了在图像可显示范围内的最大亮度与最小亮度之间的比率，也就是图像从“最亮”像素到“最暗”像素之间灰度划分的等级数。一个图像的动态范围越大，它所能表示的亮度层次越丰富，图像的视觉效果越逼真。高动态范围（highdynamic range，HDR）图像可以提供更多的动态范围和图像细节，因此能够更好地反映出真实环境中的视觉效果。
目前图像传感器在HDR图像出图过程中，由于出图时序的原因，难以实现高动态范围的相位对焦。
发明内容
本申请实施例提供一种图像传感器、图像对焦方法、电子设备及存储介质，能够有效地扩大输出的相位信号的动态范围，实现高动态范围的相位对焦。
第一方面，本申请实施例提供了一种图像传感器，包括：像素阵列和滤光阵列，所述滤光阵列覆盖设置在所述像素阵列上，所述像素阵列包括具有不同透过率的滤光单元，所述滤光阵列包括若干滤光单元，所述滤光阵列中的所述滤光单元与所述像素阵列中的所述像素单元一一对应。
在此，上述滤光阵列包括具有不同透过率的滤光单元，从而使得不同的像素单元能够对应不同的感光度。上述滤光片阵列中可以包括具有高透过率特性的滤光单元、普通RGB滤光单元以及具有低透过率特性的滤光单元。其中具有高透过率特性的滤光单元能够使对应的像素单元对于暗光场景的捕捉能力增强，具有低透过率特性的滤光单元能够使得对应的像素单元对于高亮场景的捕捉能力增强。
这样，通过调整部分像素单元对应的滤光单元的透过率，使得滤波阵列包括不同透过率的滤光单元，使得在读取用于实现相位对焦所需的相位信号时，可以读取到具有不同透过率的滤光单元所对应的像素单元输出的相位信号，由于不同透过率的像素单元对光线的捕捉能力不同，因此能够更好地获取到明暗区域的相位信息，从而有效地扩大输出的相位信号的动态范围。
在一种可能的实现方式中，所述滤光阵列包括第一滤光单元、第二滤光单元以及第三滤光单元；所述像素阵列包括与所述第一滤光单元对应的第一像素单元、与所述第二滤光单元对应的第二像素单元以及与所述第三滤光单元对应的第三像素单元；
其中，所述第一滤光单元的透过率小于所述第二滤光单元的透过率，所述第二滤光单元的透过率小于所述第三滤光单元的透过率。
在此，上述第一滤光单元可以是具有低透过率特性的滤光单元，上述第三滤光单元可以是具有高透过率特性的滤光单元，上述第二滤光单元可以是传统的图像传感器中所使用的彩色滤光单元，具体可以是RGB滤光单元。
这样，可以通过第一像素单元输出的相位信号和第三像素单元输出的相位信号来扩大相位信号的动态范围。
在一种可能的实现方式中，所述第二滤光单元的数量大于所述第一滤光单元的数量。
在一种可能的实现方式中，所述第二滤光单元的数量大于所述第二滤光单元的数量。
示例性的，上述第一滤光单元的覆盖率可以是滤光阵列中所有滤光单元数量的1/32、第三滤光单元的覆盖率同样可以是滤光阵列中所有滤光单元数量的1/32，剩余的滤光单元均为上述第二滤光单元。
这样，可以仅设置数量较少的特殊滤光单元，能够减少实现成本。
在一种可能的实现方式中，所述第一滤光单元和所述第三滤光单元设置在滤光阵列不同的行和不同的列中。
第一像素单元所在的行与第三像素单元所在的行不同，第一像素单元所在的列与第三像素单元所在的列不同，从而实现第一像素单元和第三像素单元的错开分布，以减少图像出现断线、锯齿等情况。
在一种可能的实现方式中，所述第一滤光单元和所述第三滤光单元包括中性密度衰减的滤光片。
在一种可能的实现方式中，第三滤光单元包括透明滤光片。
第二方面，本申请实施例提供一种图像对焦方法，应用于如第一方面任意一项所述的图像传感器，该方法包括：获取像素阵列输出的相位信号；其中，所述像素阵列对应设置的滤光阵列中设置不同透过率的滤光单元；根据所述像素阵列输出的相位信号和图像的亮度区域，确定像素阵列中每个对焦像素单元的目标相位信号；根据所述对焦像素单元的目标相位信号执行相位对焦操作。
通过使用具有不同透过率的像素单元输出的相位信号来确定不同的亮度区域的对焦像素单元的目标相位信号，能够更好地获取到明暗区域的相位信息，有效扩大用于相位对焦的相位信号的动态范围。
在一种可能的实现方式中，像素阵列输出的相位信号包括第一像素单元输出的第一相位数据、第二像素单元输出的第二相位数据以及第三像素单元输出的第三相位数据，其中，所述第一像素单元为与第一滤光单元对应的像素单元，所述第二像素单元为与第二滤光单元对应的像素单元，所述第三像素单元为与第三滤光单元对应的像素单元，所述第一滤光单元的透过率小于所述第二滤光单元的透过率，所述第二滤光单元的透过率小于所述第三滤光单元的透过率；
所述根据所述像素阵列输出的相位信号和图像的亮度区域，确定像素阵列中每个对焦像素单元的目标相位信号，包括：
确定亮色阶阈值和暗色阶阈值；
确定像素数据，所述像素数据用于亮度区域划分；
根据亮色阶阈值、暗色阶阈值以及像素数据对图像进行亮度区域划分，将图像划分为过曝区域、欠曝区域以及中间区域；
根据第一相位数据和第二相位数据确定过曝区域中对焦像素单元的相位数据；
根据第二相位数据和第三相位数据确定欠曝区域中对焦像素单元的相位数据；
将第二相位数据确定为中间区域的对焦像素单元的相位数据；
将过曝区域的对焦像素单元的相位数据、欠曝区域的对焦像素单元的相位数据以及中间区域的对焦像素单元的相位数据进行融合，得到对焦像素单元的目标相位信号。
在此，上述亮色阶阈值可以根据经验值进行设置，具体可以是亮色阶阈值的取值范围和暗色阶阈值的取值范围对应的上限值，示例性的，假设亮色阶阈值的取值范围和暗色阶阈值的取值范围为[0，1023LSB]，则上述亮色阶阈值可以设置为1023LSB。暗色阶阈值的取值可以根据第二滤光单元的透过率和第三滤光单元的透过率来确定，例如上述暗色阶阈值的取值可以表示为：L2=256*TPDAF3/TPDAF2，其中，L2表示暗色阶阈值的取值，TPDAF3表示第三滤光单元的透过率，TPDAF2表示第二滤光单元的透过率，假设第三滤光单元的透过率为95%，第二滤光单元的透过率为50%，则暗色阶阈值可以设置为486.4。
上述第二像素单元既可以是用来检测相位实现相位对焦的像素单元，也可以是用于成像的像素单元，因此可以采用上述第二相位数据作为用于亮度区域划分的像素数据。
在一种可能的实现方式中，所述根据亮色阶阈值、暗色阶阈值以及像素数据对图像进行亮度区域划分，包括：
将亮度大于或等于所述亮色阶阈值的像素单元划分为过曝区域；
将亮度小于或等于所述暗色阶阈值的像素单元划分为欠曝区域；
将亮度小于所述亮色阶阈值且大于所述暗色阶阈值的像素单元划分为中间区域。
在一种可能的实现方式中，所述根据第一相位数据和第二相位数据确定过曝区域中对焦像素单元的相位数据，包括：
采用所述第一相位数据对所述第二相位数据进行插值填充，得到所述过曝区域中对焦像素单元的相位数据。
由于图像的过曝区域的光线强度较强，因此可以采用对于高亮场景捕捉能力较强的第一像素单元输出的第一相位数据对第二相位数据进行插值，从而确定出过曝区域中第二像素单元的相位数据，具体可以利用第一相位数据对第二相位数据进行双线性插值填充，从而得到过曝区域的相位数据。
在一种可能的实现方式中，所述根据第二相位数据和第三相位数据确定欠曝区域中对焦像素单元的相位数据，包括：
采用所述第三相位数据对所述第二相位数据进行插值填充，得到所述欠曝区域中对焦像素单元的相位数据。
由于图像的欠曝区域的光线强度较弱，因此，对于欠曝区域中的第二像素单元，可以采用对暗光场景捕捉能力较强的第三像素单元输出的第三相位数据对第二数据进行插值填充，从而确定出欠曝区域的相位数据。具体可以利用第三相位数据对第二相位数据进行双线性插值填充，从而得到欠曝区域的相位数据。
在一种可能的实现方式中，在所述获取像素阵列输出的相位信号之后，还包括：
根据增益补偿系数对所述像素阵列输出的相位信号进行亮度补偿。
不同位置的像素单元对应的增益补偿系数不同，不同位置的增益补偿系数可以通过标定测试进行确定，具体可以以标准色温和标准亮度环境进行拍摄，之后根据拍摄得到的像素信号和标定参数确定出每个位置的像素单元的增益补偿系数。
在一种可能的实现方式中，所述根据增益补偿系数对所述像素阵列输出的相位信号进行亮度补偿，包括：
根据所述第一像素单元的坐标和所述第三像素单元的坐标确定待补偿的像素单元；
加载与所述待补偿的像素单元对应的增益补偿系数；
根据所述与待补偿的像素单元对应的增益补偿系数对所述待补偿的像素单元输出的相位信号进行亮度补偿。
部分像素单元的滤光单元设置为了高透过率的滤光单元或低透过率的滤光单元，这部分像素单元打破了像素阵列原本均匀的排列，因此会对邻近的其他像素单元造成一定的串扰，像素设置了高透或低透 对其他像素会造成一定的串扰。高透过率的滤光单元对应的像素单元（即上述第三像素单元）会增加邻近像素单元的亮度，低透过率滤光单元的像素单元（即上述第一像素单元）会降低邻近像素单元的亮度，因此可以根据第一像素单元的坐标和第二像素单元的坐标确定出周围受影响的像素单元，即待补偿的像素单元，然后加载待补偿的像素单元对应的增益补偿系数，在输出像素信号时，可以基于增益补偿系数对输出的像素信号进行增益补偿，以减少特殊像素单元对其他像素单元的串扰。
第三方面，本申请实施例提供一种电子设备，一个或多个处理器，以及存储器，所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如上述第二方面任意一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行如上述第二方面任意一项的方法。
第五方面，本申请实施例提供一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如第二方面任意一项的方法。
第六方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第二方面任意一项上述的方法。
可以理解的是，上述第三方面至第六方面的有益效果可以参见上述第二方面中的相关描述，在此不再赘述。
附图说明
图1为一种图像传感器的出图时序示意图；
图2为本申请实施例提供的一种电子设备的硬件结构示意图；
图3为本申请实施例提供的一种电子设备的软件架构示意图；
图4为本申请实施例提供的一些应用场景下涉及的图形用户界面示意图；
图5为本申请实施例提供的一种图像传感器的结构示意图；
图6为本申请实施例提供的图像传感器的滤光阵列和像素阵列的结构示意图；
图7为本申请实施例提供的不同透过率的滤光单元对应的像素单元输出的像素信号与光线强度的对应关系曲线示意图；
图8为本申请实施例提供的图像传感器的像素阵列中的一个子像素块的结构示意图；
图9为本申请实施例的图像传感器输出数据的过程示意图；
图10为本申请实施例提供的基本读出单元的结构示意图；
图11为本申请实施例提供的图像传感器输出的数据的数据结构示意；
图12为本申请实施例提供的一种图像对焦方法的实现流程示意图；
图13为本申请实施例提供一种图像对焦方法中S1202的具体实新流程示意图；
图14为本申请实施例提供的一种芯片的结构示意图。
具体实施方式
在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a--c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
以下对本申请实施例涉及的部分概念进行说明：
1、高动态范围（high dynamic range，HDR）图像（以下简称HDR图像）是指基于高动态范围成像技术得到的图像。
在数字图像中，动态范围表征了在图像可显示范围内的最大亮度与最小亮度之间的比率，也就是图像从“最亮”像素到“最暗”像素之间灰度划分的等级数。一个图像的动态范围越大，它所能表示的亮度层次越丰富，图像的视觉效果越逼真。高动态范围（highdynamic range，HDR）图像（以下简称HDR图像）的动态范围大于普通数位的图像，因此可以提供更多的动态范围和图像细节，因此能够更好地反映出真实环境中的视觉效果。
目前生成HDR图像的方法包括双转换增益（dual conversion gain，DCG）技术和单帧逐行（stagger）技术。
其中，DCG技术是指通过双原生ISO在同一快门速度、同一曝光条件下用两路信号增益电路来生成两张图片（即高增益挡位和低增益挡位），利用生成的两者图片合成HDR图像的技术。stagger技术是指通过将输出单位由帧变为行，基于三组读出电路逐行依次进行长、中、短曝光后合成HDR图像的技术。
2、相位检测自动对焦（phase detection auto focus，PDAF），是指基于图像传感器中的像素阵列输出的对焦数据计算相位差，然后再基于相位差控制镜头移动至合适的位置进行对焦的过程。
3、图像传感器（image sensor，IS），是利用光电器件的光电转换功能，将感光元件上的光学图像转换为与光学图像成比例关系的电信号的设备，被广泛地应用在数码相机、智能手机等电子设备中。图像传感器可以包括电荷耦合器件(charge coupled device，CCD)图像传感器和互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)图像传感器。
4、互补金属氧化物半导体（complementary metal oxide semiconductor，CMOS）图像传感器，是一种具有高度集成化、功耗低的图像信号处理器。CMOS传感器通常包括像素阵列、滤光阵列、行驱动器、列驱动器、时序逻辑控制单元、模拟信号处理单元、模数转换器等，该时序逻辑控制单元可以包括行选择逻辑单元和列选择逻辑单元，CMOS图像传感器的工作原理为：
外界光照射像素阵列，发生光电效应，在像素阵列的像素单元内产生相应的电荷。时序逻辑控制单元中的行选择逻辑单元可以根据出图时序的需要，选通相应的行像素单元。行像素单元内的像素信号通过各自所在列的信号总线传输到对应的模拟信号处理单元以及模数转换器，转换成数字图像信号输出。其中的行选择逻辑单元可以对像素阵列逐行扫描也可隔行扫描。行选择逻辑单元与列选择逻辑单元配合使用可以实现图像的窗口提取功能，输出CMOS传感器所需的图像数据。
5、透过率，是指在入射光通量自被照面或介质入射面至另外一面离开的过程中，投射并透过物体的辐射能与投射到物体上的总辐射能之比，本申请实施例中的透过率是指滤光单元的透过率，即透射并透过滤光单元的辐射能与透射到滤光单元上的总辐射能之比。
目前图像传感器在HDR图像出图过程中，由于出图时序的原因，很难实现高动态范围的相位对焦，从而会影响成像图像的质量。
以下以4T像素结构的CMOS图像传感器基于DCG技术生成HDR图像的出图时序为例，对目前图像传感器在单帧HDR图像出图过程中，难以实现高动态范围的相位对焦的原因说明如下：
请参阅图1，图1示出了的一种CMOS图像传感器的出图时序示意图。如图1所示，上述CMOS图像传感器的出图时序为：
S101：相关双采样重置。
S102：相关双采样低增益挡位噪声读取。
S103：相关双采样高增益挡位噪声读取。
S104：相关双采样的高增益相位信号的读取。
在此，上述相位信号可以来源于像素单元（该像素单元可以为对焦像素单元，即PD像素单元）的左半部分的像素信号或右半部分的像素信号，图像信号可以来源于像素信号左右两个部分的合并，因此，该图像传感器的出图时序必须先读出相位信号，待读出完毕后，才能合并左右两个部分的像素信号，以将合并的左右两个部分的像素信号读取为图像信号，本实例中以左半部分的像素单元的相位信号为读取到的高增益相位信号。
S105：相关双采样的高增益挡位图像信号读取。
此时像素信号左右两个部分已被合并，即高增益挡位图像信号包括左半部分的高增益挡位的像素信号和右半部分的高增益挡位的像素信号。
S106：相关双采样的低增益挡位图像信号读取。
此时像素信号左右两个部分已被合并，即低增益挡位图像信号包括左半部分的低增益挡位的像素信号和右半部分的低增益挡位的像素信号。
S107：融合上述高增益挡位图像信号和上述低增益挡位图像信号，并输出至HDR图像信号处理单元，进行图像信号处理，得到合成的HDR图像。
S108：根据相关双采样得到的高增益挡位图像信号与相关双采样的得到的高增益相位信号，恢复出未被采样的另一半像素单元的相位信号。
在此，本实施例中，上述另一半像素单元的相位信号即使右半部分的相位信号。
需要说明的是，上述相关双采样（correlated double sampling，CDS）是指图像传感器分别采样像素单元的输出信号的两个电平，即一次是对复位电平进行采样，另一次是对信号电平进行采样，即在一个信号周期内，产生两个采样脉冲的过冲，上述CMOS图像传感器的出图时序中相关双采样的各个操作步骤（即上述S101至S108）的具体实现方式均可参见现有CMOS图像传感器的实现方式，本申请在此不加以赘述。
从上述出图时序可以清晰地知道，上述HDR图像是基于高增益挡位图像信号和低增益挡位图像信号融合形成的，而用于实现相位对焦的相位信号仅涉及到高增益挡位相位信号，即没有实现高动态范围的相位对焦。
目前，要实现高动态范围的相位对焦，则需要改变图像传感器的出图时序，增加低增益挡位的相位信号的读取以及高低增益挡位的相位信号的融合等步骤，由于图像传感器处理一帧图像所用时长是一定的，因此增加低增益挡位的相位信号的读取和高低增益挡位的相位信号的融合步骤，势必会对HDR融合的处理时长造成影响，进而会影响生成的HDR图像的质量。
基于此，本申请实施例提供一种图像传感器、图像对焦方法、电子设备及存储介质，通过调整部分像素单元的滤光单元的透过率，使得在读取用于实现相位对焦所需的相位信号时，可以读取到具有不同透过率的滤光单元所对应的像素单元输出的相位信号，由于不同透过率的像素单元对光线的捕捉能力不同，因此能够更好地获取到明暗区域的相位信息，从而有效地扩大输出的相位信号的动态范围，在不改变现有图像传感器的硬件架构及图像传感器的信号读出时序的情况下，实现高动态范围的相位对焦。
下面将结合附图对本申请实施例提供的图像传感器、图像对焦方法进行详细阐述，以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。
在一些实施例中，上述图像对焦方法的执行主体可以电子设备。上述电子设备也可以称为终端（terminal）、用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）等。电子设备可以是手机（mobile phone）、智能电视、穿戴式设备（例如智能手环、智能手表、智能眼镜等）、平板电脑（Pad）、带无线收发功能的电脑、虚拟现实（virtual reality，VR）电子设备、增强现实（augmented reality，AR）电子设备、工业控制（industrial control）中的无线终端、无人驾驶（self-driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、云端服务器等能够执行训练计划的生成任务的设备。本申请的实施例对电子设备所采用的具体技术和具体设备形态不做限定。
为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍：
图2示出了电子设备100的结构示意图。如图2所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
在一些实施例中，上述处理器110通过系统级芯片（system on chip，SOC）实现，即在本申请一些实施例中提及处理器110具体可以是指SOC芯片。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
在一些实施例中，电子设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统（global system for mobile communications，GSM），通用分组无线服务（general packet radio service，GPRS），码分多址接入（code divisionmultiple access，CDMA），宽带码分多址（wideband code division multiple access，WCDMA），时分码分多址（time-division code division multiple access，TD-SCDMA），长期演进（long term evolution，LTE），蓝牙（bluetooth，BT），全球导航卫星系统（globalnavigation satellite system，GNSS），无线局域网（wireless local area network，WLAN），近场通信（near field communication，NFC），和/或红外（infrared，IR）技术等。所述GNSS可以包括全球卫星定位系统（global positioning system，GPS），全球导航卫星系统（global navigation satellite system，GLONASS），北斗卫星导航系统 （beidounavigation satellite system，BDS），准天顶卫星系统（quas-zenith satellite system，QZSS）和/或星基增强系统（satellite based augmentation systems，SBAS）。
电子设备100通过扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，音频采集、录音等。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode的，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色，锐度，色彩进行算法优化，例如进行去噪、去马赛克、色彩调整、亮度调整等优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。
在本申请实施例中，摄像头的感光元件可以是上述图像传感器，也可以是图像传感器中的感光器件，感光器件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。
在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备根据压力传感器180A检测所述触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴（即，x，y和z轴）的角速度。示例性的，可以基于陀螺仪传感器180B获取用户运动时的运动姿态。陀螺仪传感器180B还可以用于导航，体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上（一般为三轴）加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
具有上述硬件结构的电子设备100，该电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图3为本申请实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，系统层以及内核层。
应用程序层可以包括一系列应用程序包。如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，视频，即时聊天，阅读等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。例如可以包括活动管理器、窗口管理器，内容提供器，视图系统，资源管理器，通知管理器、相机服务（camera service）和人脸识别服务等。
系统层包括系统库、安卓运行时（Android runtime）、核心库、媒体库（medialibraries）。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。可以包括表面管理器、三维图形处理库、二维图形引擎以及运动健康数据处理中台。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
本申请实施例提供的图像传感器可以应用于上述电子设备100中，具体可以设置在摄像头193中，上述摄像头193可以是前置摄像头，也可以是后置摄像头，上述摄像头193可以包括镜头和图像传感器，在用户使用电子设备100进行拍摄时，光线穿过镜头并到达图像传感器后，就可以通过图像传感器输出相应的相位信号，具体可以包括具有不同透过率的像素单元输出的相位信号，并可以基于本申请实施例提供的图像对焦方法实现拍摄过程中的相位自动检测对焦。
下面以上述电子设备100为手机，用户使用手机进行人物抓拍的场景为例，对本申请实施例提供的图像传感器和图像对焦方法的应用场景进行示例性说明。
可以理解的是，上述图像传感器和图像对焦方法还可以应用在其他场景中，例如宠物抓拍、运动抓拍、安防检测、医疗设备中基于图像实现操作等场景。
请参阅图4，为人物抓拍场景中可能涉及的一些图形用户界面（graphical userinterface，GUI）示意图。如图4所示，手机的主界面上包括应用商城、相机、备忘录、图库以及音乐等应用程序。
用户通过点击相机应用的图标41之后，手机能够基于触摸传感器180K和/或压力传感器180A检测到该点击操作。手机在检测到该点击操作后会响应该点击操作，打开相机应用，启动摄像头193，并同时显示取景界面42。此时用户可以选择自己喜欢的人、物、风景等进行拍照或录像（这里以人物抓拍为例），当用户点击屏幕进行对焦时，手机会响应该操作，显示操作控件43，并基于用户选择的对焦位置43进行自动相位对焦，获取取景界面42中的图像信息，具体的，可以基于图像传感器获取取景界面42中的光学图像，并将其转换为对应的电信号，从而获取到取景界面42中图像的图像信息，例如用于相位对焦的相位信号，并基于该相位信号进行相位对焦，以调整摄像头的镜头至合适的位置。
需要说明的是，当用户启动相机应用，将取景界面42对准需要拍摄的对象后，图像传感器便可以获取到取景界面42中的光学图像对应的电信号，图像传感器可以根据获取到的光学图像对应的相位信号自动进行对焦，无需用户手动选择对焦点。
在本申请实施例中，上述图像传感器输出的相位信号可以包括具有不同透过率的像素单元输出的相位信号。
需要说明的是，上述相位对焦的具体方式可以是全像素对焦，也可以是双核成像对焦，当然还可以是能够实现相位对焦的其他方式。
以上结合附图，对本申请实施例提供的图像对焦方法所适用的应用场景进行了介绍。下面将对本申请实施例提供的图像传感器进行说明：
请参阅图5，图5示出了本申请一实施例提供的图像传感器的结构示意图，如图5所示，上述图像传感器可以包括像素阵列51和滤光阵列52，其中像素阵列51包括多个像素单元51a，上述滤光阵列52可以包括多个滤光单元52a，上述滤光阵列52可以覆盖设置在上述像素阵列51上，滤光阵列52中的滤光单元52a和像素阵列51中的像素单元51a一一对应，滤光单元52a可以包括不同透过率的滤光单元，从而使得像素单元51a能够对应不同的感光度。
示例性的，如图6所示，上述滤光单元52a包括第一滤光单元52a1、第二滤光单元52a2以及第三滤光单元52a3。像素阵列51包括与第一滤光单元52a1对应的第一像素单元PDAF1、与第二滤光单元52a2对应的第二像素单元PDAF2、与第三滤光单元52a3对应的第三像素单元PDAF3。
其中，上述第二滤光单元52a2可以为传统的图像传感器中所使用的彩色滤光单元，具体可以是RGB滤光单元，上述第一滤光单元52a1可以是具有低透过率特性的滤光单元，上述第三滤光单元52a3可以是具有高透过率特性的滤光单元，其中，第一滤光单元52a1的透过率<第二滤光单元52a2的透过率<第三滤光单元52a3的透过率。
在具体实现中，上述第一滤光单元52a1和上述第三滤光单元52a3可以使用在420nm 至680 nm范围内呈现中性密度衰减的滤光片。其中，上述第一滤光单元52a1可以使用透过率约为12.5%的滤光片，上述第三滤光单元52a3可以使用透明滤光片，透过率高达90%以上。
示例性的，以上述第一滤光单元52a1的透过率为12.5%，第二滤光单元52a2的透过率为50%，第三滤光单元52a3的透过率为90%为例，图7示出了不同透过率的滤光单元对应的像素单元输出信号的强度与光线强度的对应关系曲线，其中，L1表示与第三滤光单元52a3对应的第三像素单元PDAF3的关系曲线，L2表示与第二滤光单元52a2对应的第二像素单元PDAF2的关系曲线，L3表示与第一滤光单元52a1对应的第一像素单元PDAF1的关系曲线。由图7可以看出，能够具有低透过率特性的滤光单元能够使得对应的像素单元对于高亮场景（即光线强度较强的场景）的捕捉能力增强，高透过率特性的滤光单元能够使得对应的像素单元对于暗光场景（光线强度较弱的场景）的捕捉能力增强。
因此，本申请实施例提供的图像传感器，通过调整部分像素单元对应的滤光单元的透过率，使得滤波阵列包括不同透过率的滤光单元，使得在读取用于实现相位对焦所需的相位信号时，可以读取到具有不同透过率的滤光单元所对应的像素单元输出的相位信号，由于不同透过率的像素单元对光线的捕捉能力不同，因此能够更好地获取到明暗区域的相位信息，从而有效地扩大输出的相位信号的动态范围。
在一些实施例中，上述第二滤光单元52a2的数量大于第一滤光单元52a1的数量，第二滤光单元52a2的数量也大于第三滤光单元52a3的数量，即可以仅设置数量较少的特殊滤光单元，能够减少实现成本。示例性的，上述第一滤光单元52a1的覆盖率可以是滤光阵列中所有滤光单元数量的1/32、第三滤光单元52a3的覆盖率同样可以是滤光阵列中所有滤光单元数量的1/32，剩余的滤光单元均为上述第二滤光单元52a2。
在一个实施例中，上述图像传感器中的像素阵列可以被分为多个子像素块，每个子像素块可以具有相同的结构，即上述像素阵列可以由上述多个子像素块拼接而成，在每个子像素块中都包括有上述第一像素单元PDAF1、第二像素单元PDAF2以及第三像素单元PDAF3。其中，第一像素单元PDAF1、第二像素单元PDAF2、第三像素单元PDAF3都可以为对焦像素单元（PD像素单元）。为了减少图像出现断线、锯齿等情况，需要将上述第一像素单元PDAF1和第三像素单元PDAF3错开分布，即将第一像素单元PDAF1与第三像素单元PDAF3设置在不同的行和不同的列中。
需要说明的是，上述图像传感器还可以包括微透镜阵列、行驱动器、列驱动器、时序逻辑控制单元、模拟信号处理单元、模数转换器等器件。
以下以一个子像素块包括16*16个像素单元为例，对本申请实施例提供的图像传感器的像素阵列的排布情况进行说明如下：
请参阅图8，图8为本申请实施例中的图像传感器的像素阵列中的一个子像素块的结构示意图。如图8所示，上述第一像素单元PDAF1的分布坐标分别为：（4，3）、（8，3）、（12，3）、（16，3）、（4，11）、（8，11）、（12，11）、（16，11），上述第三像素单元PDAF3分布坐标分别为：（2，7）、（6，7）、（10，7）、（14，7）、（2，15）、（6，15）、（10，15）、（14，15）。即第一像素单元PDAF1所在的行与第三像素单元PDAF3所在的行不同，第一像素单元PDAF2所在的列与第三像素单元PDAF3所在的列不同，从而实现第一像素单元PDAF1和第三像素单元PDAF3的错开分布，以减少图像出现断线、锯齿等情况。
需要说明的是，每个子像素块所包含的像素单元的数量可以根据实际应用需求进行设置，本申请对此不作具体限制。
以下以图6所述的图像传感器为例，对本申请实施例提供的图像传感器输出数据的过程进行示例性说明，请参阅图9，图9示出了本申请实施例提供的图像传感器输出数据的过程示意图。如图9所示，上述图像传感器输出数据的过程包括以下步骤：
S901：图像传感器上电。
S902：图像传感器中烧录数据加载。
上述烧录数据包括第一像素单元PDAF1的坐标、第二像素单元PDAF2的坐标、第三像素单元PDAF3的坐标。上述烧录数据还可以包括第一像素单元PDAF1近邻点的增益补偿系数、第三像素单元PDAF3近邻点的增益补偿系数。
在具体应用中，上述近邻点的增益补偿系数用于对邻近像素单元输出的像素信号进行亮度补偿。
由于本申请实施例中，部分像素单元的滤光单元设置为了高透过率的滤光单元或低透过率的滤光单元，这部分像素单元打破了像素阵列原本均匀的排列，因此会对邻近的其他像素单元造成一定的串扰，像素设置了高透或低透 对其他像素会造成一定的串扰。高透过率的滤光单元对应的像素单元（即上述第三像素单元PDAF3）会增加邻近像素单元的亮度，低透过率滤光单元的像素单元（即上述第一像素单元PDAF1）会降低邻近像素单元的亮度，因此可以根据第一像素单元PDAF1的坐标和第二像素单元PDAF3的坐标确定出周围受影响的像素单元，即待补偿的像素单元，然后加载待补偿的像素单元对应的增益补偿系数，在输出像素信号时，可以基于增益补偿系数对输出的像素信号进行增益补偿。
在具体实现中，不同位置的像素单元对应的增益补偿系数不同，不同位置的增益补偿系数可以通过标定测试进行确定，具体可以以标准色温和标准亮度环境进行拍摄，之后根据拍摄得到的像素信号和标定参数确定出每个位置的像素单元的增益补偿系数，即得到标定结果，根据标定结果就可以确定出上述第一像素单元PDAF1的邻近像素单元的增益补偿系数和第三像素单元PDAF3的邻近像素单元的增益补偿系数。
可以理解的是，上述第一像素单元PDAF1的邻近像素单元的增益补偿系数为正数，上述第三像素单元PDAF3的邻近像素单元的增益补偿系数为负数。
S903：输出HDR图像。
在具体应用中，上述HDR图像是由图像传感器输出的，输出HDR图像的具体实现可以参见图1中S101至S108的相关说明，本申请在此不加以赘述。
S904：根据第一像素单元的坐标、第二像素单元的坐标、第三像素单元的坐标将像素单元输出的相位信号进行分离，得到第一相位数据、第二相位数据以及第三相位数据。
在具体应用中，上述第一相位数据为第一像素单元PDAF1对应的相位信号，第二相位数据为第二像素单元PDAF2对应的相位信号，第三相位数据为第三像素单元PDAF3对应的相位信号。
请参阅图10，图10示出了基本读出单元的结构示意图。图10以8*4的像素单元区域作为一个基本读出单元，其中坐标为（2，7）的像素单元为第一像素单元，坐标为（4，3）的像素单元为第三像素单元，其余的像素单元均为第二像素单元，在对像素单元的相位信号进行分离时，可以将第一相位数据确定为坐标为（2，7）的像素单元输出的相位信号，将第三相位数据确定为坐标为（4，3）的像素单元，对于第二相位数据，可以去除掉第一像素单元对应的相位信号和第三像素单元对应的相位信号，抽取出相应的相位信号组成第二相位数据。
在具体实现中，由于像素阵列中的像素数量较多，在进行相位对焦时，并不需要使用全部像素单元的相位信号来进行对焦，此时可以将8个像素单元的相位信号合并的方式来输出第二相位数据。示例性的，如图10所示，对于坐标为（1，1）、（1，2）、（2，1）、（2，2）、（3，1）、（3，2）、（4，1）、（4，2）这8个像素单元，可以随机抽取其中一个像素单元的相位信号作为这8个像素单元的合并输出结果，对于存在第一像素单元或第三像素单元的像素单元区域，则在随机抽取像素单元的相位数据的时候，需要先去除掉第一像素单元的相位信号和第三像素单元的相位信号后，在剩余的像素单元的相位信号中随机抽取。示例性的，如图10所示，对于坐标为（1，3）、（1，4）、（2，3）、（2，4）、（3，3）、（3，4）、（4，3）、（4，4）这8个像素单元，则需要将坐标为（4，3）的像素单元去除掉后，从剩余的7个像素单元中随机抽取一个像素单元的相位信号作为这8个像素单元的合并输出结果。
需要说明的是，将8个像素单元的相位信号合并的方式仅是一种示例，还可以使用如16个像素单元的相位信号合并、4个像素单元的相位信号合并等方式来输出第二相位数据。
S905：将上述HDR图像打包为HDR图像数据，将第一相位数据、第二相位数据以及第三相位数据分别打包输出。
图11示出了本申请实施例提供的图像传感器输出的数据的数据结构示意。如图11所示，图像传感器每4行图像信号采集完毕后，就会输出4行HDR图像数据、一行第二相位数据、一行第一相位数据、一行第三相位数据的结构输出数据。其中，第二相位数据的数据宽度与HDR图像数据的数据宽度一致，第二相位数据的数据宽度为第二相位数据的数据宽度的1/8，第三相位数据的数据宽度也为第二相位数据的数据宽度的1/8。
在具体应用中，图像传感器输出的数据可以为RAW格式的数据，即上述HDR图像数据具体可以是HDR RAW数据，第二相位数据可以是第二相位RAW数据，第一相位数据可以是第一相位RAW数据，第三相位数据可以是第三相位RAW数据。
需要说明的是，以上仅是以滤光阵列具有3种不同透过率的实施例对滤光阵列进行说明，上述图像传感器中的滤光阵列还可以具有其他类型的不同透过率的滤光单元，例如可以包括两种不同透过率的滤光单元、4种不同透过率的滤光单元、5种不同透过率的滤光单元等。
还需要说明的是，上述第一滤光单元52a1的透过率、第二滤光单元52a2的透过率、第三滤光单元52a3的透过率可以根据实际应用需求进行选择，本申请对此不作具体限制。
上面对本申请实施例提供的图像传感器进行了说明，下面将结合附图，通过下述多个示例性实施例对本申请实施例提供的图像对焦方法进行举例说明。以下实施例中的方法均可以在具有上述硬件结构和软件架构的电子设备中实现。电子设备的硬件结构图可以如图2所示，电子设备的软件结构框图可以如图3所示，但本申请实施例并不限于此。为了便于说明，本申请实施例中均以电子设备为如图2所示的手机为例。
请参阅图12，图12为本申请实施例提供的一种图像对焦方法的实现流程示意图，如图12所示，上述图像对焦方法包括：
S1201：获取像素阵列输出的相位信号。
其中，像素阵列对应设置的滤光阵列设置不同透过率的滤光单元，示例性的，上述滤光阵列中分别设置了第一滤光单元、第二滤光单元以及第三滤光单元，其中，第一滤光单元的透过率小于第二滤光单元的透过率，第二滤光单元的透过率小于第三滤光单元的透过率，相应的，该像素阵列中包括了与第一滤光单元对应的第一像素单元，与第二滤光单元对应的第二像素单元以及与第三滤光单元对应的第三像素单元，上述像素阵列输出的相位信号可以包括上述第一像素单元输出的第一相位数据、第二像素单元输出的第二相位数据以及第三像素单元输出的第三相位数据。
在此，上述第一相位数据、第二相位数据以及第三相位数据可以参见如图9所示的数据读取方式读取得到，本申请在此不加以赘述。
S1202：根据像素阵列输出的相位信号和像素单元所属的亮度区域，确定出像素阵列中每个对焦像素单元的目标相位信号。
在此，上述图像的亮度区域可以包括过曝区域、欠曝区域以及中间区域。针对不同的亮度区域，可以选择不同的像素单元输出的相位信号作为目标相位信号，例如针对过曝区域，可以采用对应透过率较低的滤光单元的像素单元输出的相位信号和普通像素单元（即对应的滤光单元为普通RGB滤光片）输出的相位信号综合确定出过曝区域中对焦像素单元的目标相位信号。针对欠曝区域，可以采用对应透过率较高的滤光单元的像素单元输出的相位信号和普通像素单元输出的相位信号综合确定出欠曝区域中对焦像素单元的目标相位信号。针对中间区域，可以采用普通像素单元输出的相位信号来确定对焦像素单元的目标相位信号。
需要说明的是，上述对焦像素单元是指用于实现相位对焦的像素单元，对焦像素单元输出的像素信号即为相位信号。
以上述像素阵列具有如图8所示的第一像素单元、第二像素单元和第三像素单元为例，请参阅图13，上述S1202具体可以包括以下步骤：
S1301：确定亮色阶阈值和暗色阶阈值。
在具体应用中，上述亮色阶阈值L1可以根据经验值进行设置，具体可以是亮色阶阈值L1的取值范围和暗色阶阈值L2的取值范围对应的上限值，示例性的，假设亮色阶阈值L1的取值范围和暗色阶阈值L2的取值范围为0-1023LSB，则上述亮色阶阈值L1可以设置为1023LSB。暗色阶阈值L2的取值可以根据第二滤光单元的透过率和第三滤光单元的透过率来确定，例如上述暗色阶阈值L2的取值可以表示为：L2=256*TPDAF3/TPDAF2，其中，TPDAF3表示第三滤光单元的透过率，TPDAF2表示第二滤光单元的透过率，假设第三滤光单元的透过率为95%，第二滤光单元的透过率为50%，则暗色阶阈值L2可以设置为486.4。
S1302：确定像素数据。
上述像素数据用于亮度区域划分。
在具体应用中，上述第二像素单元既可以是用来检测相位实现相位对焦的像素单元，也可以是用于成像的像素单元，因此可以采用上述第二相位数据作为用于亮度区域划分的像素数据。
在具体应用中，上述第二相位数据具体可以为如图9所示的数据输出流程所输出的第二相位数据，上述第二相位数据具体可以是直方图数据。
S1303：根据亮色阶阈值、暗色阶阈值以及像素数据对图像进行亮度区域划分。
上述图像为图像传感器获取到的图像，利用上述亮色阶阈值L1和上述暗色阶阈值L2，与第二相位数据对应的亮度值进行阈值比较，就能够识别出图像中的过曝区域、欠曝区域和中间区域。
在具体应用中，将亮度大于或等于亮色阶阈值L1的像素单元划分为过曝区域，将亮度小于或等于暗色阶阈值L2的像素单元划分为欠曝区域，将亮度小于亮色阶阈值L1且大于暗色阶阈值L2的像素单元划分为中间区域。
S1304：根据第一相位数据和第二相位数据确定过曝区域中第二像素单元的相位数据。
在此，上述第二像素单元即为对焦像素单元。
在具体应用中，由于图像的过曝区域的光线强度较强，因此可以采用对于高亮场景捕捉能力较强的第一像素单元输出的第一相位数据对第二相位数据进行插值，从而确定出过曝区域中第二像素单元的相位数据。
在具体应用中，可以利用第一相位数据对第二相位数据进行双线性插值填充，从而得到过曝区域的相位数据。
S1305：根据第二相位数据和第三相位数据确定欠曝区域中第二像素单元的相位数据。
在具体应用中，由于图像的欠曝区域的光线强度较弱，因此，对于欠曝区域中的第二像素单元，可以采用对暗光场景捕捉能力较强的第三像素单元输出的第三相位数据对第二数据进行插值填充，从而确定出欠曝区域的相位数据。
在具体应用中，可以利用第三相位数据对第二相位数据进行双线性插值填充，从而得到欠曝区域的相位数据。
需要说明的是，在其他实现方式中，还可以使用其他插值方式来进行插值填充，例如采用三次样条插值进行插值填充、采用最近邻域插值进行插值填充等。
S1306：将第二相位数据确定为中间区域的第二像素单元的相位数据。
S1307：将过曝区域的第二像素单元的相位数据、欠曝区域的第二像素单元的相位数据以及中间区域的第二像素单元的相位数据进行融合，得到对焦像素单元的目标相位信号。
在此，上述融合是指将每个区域中每个第二像素单元的相位数据对应设置为该像素单元进行插值后的得到相位数据的过程，就可以得到对焦像素单元的目标相位信号，即PDraw。
S1203：根据对焦像素单元的目标相位信号执行相位对焦操作。
在具体应用中，上述根据目标相位信号PDraw执行相位对焦操作的具体内容可以是：通过对焦像素单元（PD像素单元）之间的相位差和变化情况确定出对焦的偏移值，根据对焦的偏移值控制镜头移动至合适位置，从而实现对焦。
需要说明的是，上述根据目标相位数据执行相位对焦操作的实现可以是由图像传感器来实现，也可以由图像传感器的后级模块，例如ISP来实现，本申请对此不作具体限制。
以上可以看出，本申请实施例提供的一种图像对焦方法，能够通过使用具有不同透过率的像素单元输出的相位信号来确定不同的亮度区域的对焦像素单元的目标相位信号，能够更好地获取到明暗区域的相位信息，有效扩大用于相位对焦的相位信号的动态范围。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对音频通道切换方法的装置进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图14为本申请实施例提供的一种芯片的结构示意图。如图14所示，芯片140包括一个或两个以上（包括两个）处理器1401、通信线路1402、通信接口1403和存储器1404。
在一些实施方式中，存储器1404存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
上述本申请实施例描述的方法可以应用于处理器1401中，或者由处理器1401实现。处理器1401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述第一设备或第二设备执行方法的各步骤可以通过处理器1401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1401可以是通用处理器（例如，微处理器或常规处理器）、数字信号处理器（digital signal processing，DSP）、专用集成电路（applicationspecific integrated circuit，ASIC）、现成可编程门阵列（field-programmable gatearray，FPGA）或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器1401可以实现或者执行本申请实施例中提供的各方法、步骤及逻辑框图。
结合本申请实施例所提供的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器（electricallyerasable programmable read only memory，EEPROM）等本领域成熟的存储介质中。该存储介质位于存储器1404，处理器1401读取存储器1404中的信息，结合其硬件完成上述方法的步骤。
处理器1401、存储器1404以及通信接口1403之间可以通过通信线路1402进行通信。
在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。
本申请实施例还提供一种计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如，可用介质可以包括磁性介质（例如，软盘、硬盘或磁带）、光介质（例如，数字通用光盘（digital versatile disc，DVD））、或者半导体介质（例如，固态硬盘（solid state disk，SSD））等。
本申请实施例还提供一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
作为一种可能的设计，计算机可读介质可以包括紧凑型光盘只读储存器（compactdisc read-only memory，CD-ROM）、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，DSL或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘（CD），激光盘，光盘，数字通用光盘（digital versatile disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。
上述的组合也应包括在计算机可读介质的范围内。以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种图像传感器，其特征在于，包括：像素阵列和滤光阵列，所述滤光阵列覆盖设置在所述像素阵列上，所述像素阵列包括若干像素单元，所述滤光阵列包括具有不同透过率的滤光单元，所述滤光阵列中的所述滤光单元与所述像素阵列中的所述像素单元一一对应。
2.根据权利要求1所述的图像传感器，其特征在于，所述滤光阵列包括第一滤光单元、第二滤光单元以及第三滤光单元；
所述像素阵列包括与所述第一滤光单元对应的第一像素单元、与所述第二滤光单元对应的第二像素单元以及与所述第三滤光单元对应的第三像素单元；
其中，所述第一滤光单元的透过率小于所述第二滤光单元的透过率，所述第二滤光单元的透过率小于所述第三滤光单元的透过率。
3.根据权利要求2所述的图像传感器，其特征在于，所述第二滤光单元的数量大于所述第一滤光单元的数量。
4.根据权利要求2所述的图像传感器，其特征在于，所述第二滤光单元的数量大于所述第三滤光单元的数量。
5.根据权利要求2所述的图像传感器，其特征在于，所述第一滤光单元和所述第三滤光单元设置在所述滤光阵列不同的行和不同的列中。
6.根据权利要求2至5任意一项所述的图像传感器，其特征在于，所述第一滤光单元和所述第三滤光单元包括中性密度衰减的滤光片。
7.根据权利要求6所述的图像传感器，其特征在于，所述第三滤光单元包括透明滤光片。
8.一种图像对焦方法，其特征在于，应用于如权利要求1至7任意一项所述的图像传感器，所述方法包括：
获取像素阵列输出的相位信号；其中，所述像素阵列对应设置的滤光阵列中设置不同透过率的滤光单元；
根据所述像素阵列输出的相位信号和图像的亮度区域，确定所述像素阵列中每个对焦像素单元的目标相位信号；
根据所述对焦像素单元的目标相位信号执行相位对焦操作。
9.根据权利要求8所述的方法，其特征在于，所述像素阵列输出的相位信号包括第一像素单元输出的第一相位数据、第二像素单元输出的第二相位数据以及第三像素单元输出的第三相位数据，其中，所述第一像素单元为与第一滤光单元对应的像素单元，所述第二像素单元为与第二滤光单元对应的像素单元，所述第三像素单元为与第三滤光单元对应的像素单元，所述第一滤光单元的透过率小于所述第二滤光单元的透过率，所述第二滤光单元的透过率小于所述第三滤光单元的透过率；
所述根据所述像素阵列输出的相位信号和图像的亮度区域，确定所述像素阵列中每个对焦像素单元的目标相位信号，包括：
确定亮色阶阈值和暗色阶阈值；
确定像素数据，所述像素数据用于亮度区域划分；
根据亮色阶阈值、暗色阶阈值以及像素数据对图像进行亮度区域划分，将所述图像划分为过曝区域、中间区域以及欠曝区域；
根据所述第一相位数据和所述第二相位数据确定过曝区域中对焦像素单元的相位数据；
根据所述第二相位数据和所述第三相位数据确定欠曝区域中对焦像素单元的相位数据；
将所述第二相位数据确定为中间区域的对焦像素单元的相位数据；
将所述过曝区域的对焦像素单元的相位数据、所述欠曝区域的对焦像素单元的相位数据以及所述中间区域的对焦像素单元的相位数据进行融合，得到所述对焦像素单元的目标相位信号。
10.根据权利要求9所述的方法，其特征在于，所述根据亮色阶阈值、暗色阶阈值以及像素数据对图像进行亮度区域划分，包括：
将亮度大于或等于所述亮色阶阈值的像素单元划分为过曝区域；
将亮度小于或等于所述暗色阶阈值的像素单元划分为欠曝区域；
将亮度小于所述亮色阶阈值且大于所述暗色阶阈值的像素单元划分为中间区域。
11.根据权利要求9所述的方法，其特征在于，所述根据所述第一相位数据和所述第二相位数据确定过曝区域中对焦像素单元的相位数据，包括：
采用所述第一相位数据对所述第二相位数据进行插值填充，得到所述过曝区域中对焦像素单元的相位数据。
12.根据权利要求9所述的方法，其特征在于，所述根据所述第二相位数据和所述第三相位数据确定欠曝区域中对焦像素单元的相位数据，包括：
采用所述第三相位数据对所述第二相位数据进行插值填充，得到所述欠曝区域中对焦像素单元的相位数据。
13.根据权利要求8所述的方法，其特征在于，在所述获取像素阵列输出的相位信号之后，还包括：
根据增益补偿系数对所述像素阵列输出的相位信号进行亮度补偿。
14.根据权利要求12所述的方法，其特征在于，所述根据增益补偿系数对所述像素阵列输出的相位信号进行亮度补偿，包括：
根据所述第一像素单元的坐标和所述第三像素单元的坐标确定待补偿的像素单元；
加载与所述待补偿的像素单元对应的增益补偿系数；
根据与待补偿的像素单元对应的增益补偿系数对所述待补偿的像素单元输出的相位信号进行亮度补偿。
15.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和存储器耦合，所述存储器用于存储计算机程序，当所述处理器执行所述计算机程序时，使得电子设备执行权利要求8至14中任意一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求8至14任意一项所述的方法。
17.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器和存储器耦合，所述存储器用于存储计算机程序指令，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如权利要求8至14中任意一项所述的方法。
CN202410406088.0A 2024-04-07 一种图像传感器、图像对焦方法、电子设备及存储介质 Active CN118102133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410406088.0A CN118102133B (zh) 2024-04-07 一种图像传感器、图像对焦方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410406088.0A CN118102133B (zh) 2024-04-07 一种图像传感器、图像对焦方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN118102133A true CN118102133A (zh) 2024-05-28
CN118102133B CN118102133B (zh) 2024-09-27

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012128098A (ja) * 2010-12-14 2012-07-05 Olympus Corp 撮像装置
CN109922270A (zh) * 2019-04-17 2019-06-21 德淮半导体有限公司 相位对焦图像传感器芯片
CN112204948A (zh) * 2019-09-19 2021-01-08 深圳市大疆创新科技有限公司 Hdr图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置
CN113660415A (zh) * 2021-08-09 2021-11-16 Oppo广东移动通信有限公司 对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质
CN115696078A (zh) * 2022-08-01 2023-02-03 荣耀终端有限公司 色彩滤波阵列、图像传感器、摄像头模组和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012128098A (ja) * 2010-12-14 2012-07-05 Olympus Corp 撮像装置
CN109922270A (zh) * 2019-04-17 2019-06-21 德淮半导体有限公司 相位对焦图像传感器芯片
CN112204948A (zh) * 2019-09-19 2021-01-08 深圳市大疆创新科技有限公司 Hdr图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置
CN113660415A (zh) * 2021-08-09 2021-11-16 Oppo广东移动通信有限公司 对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质
CN115696078A (zh) * 2022-08-01 2023-02-03 荣耀终端有限公司 色彩滤波阵列、图像传感器、摄像头模组和电子设备

Similar Documents

Publication Publication Date Title
CN112529775A (zh) 一种图像处理的方法和装置
US20220210308A1 (en) Image processing method and electronic apparatus
CN105323497A (zh) 恒定包围的高动态范围（cHDR）操作
CN115601244B (zh) 图像处理方法、装置和电子设备
CN113452898B (zh) 一种拍照方法及装置
CN114095666B (zh) 拍照方法、电子设备和计算机可读存储介质
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
US20240137659A1 (en) Point light source image detection method and electronic device
CN115526787B (zh) 视频处理方法和装置
US20210409588A1 (en) Method for Shooting Long-Exposure Image and Electronic Device
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
KR102207633B1 (ko) 촬영 장치 및 그 제어 방법
US20240119566A1 (en) Image processing method and apparatus, and electronic device
KR20230088353A (ko) 디스플레이 픽셀 동작을 갖는 언더 디스플레이 카메라 동기화
CN112929558B (zh) 图像处理方法和电子设备
CN116744120B (zh) 图像处理方法和电子设备
CN114466134A (zh) 生成hdr图像的方法及电子设备
CN115633262B (zh) 图像处理方法和电子设备
KR20160149842A (ko) 영상 처리 방법 및 그 장치
CN115631250B (zh) 图像处理方法与电子设备
CN112866557A (zh) 构图推荐方法和电子设备
CN115150542A (zh) 一种视频防抖方法及相关设备
CN117135293B (zh) 图像处理方法和电子设备
CN115460343B (zh) 图像处理方法、设备及存储介质
CN118102133A (zh) 一种图像传感器、图像对焦方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination