CN117652153A - 电子装置及其控制方法 - Google Patents

Abstract

提供了一种电子装置。电子装置可包括：图像信号处理器，其包括分别在第一方向和与第一方向正交的第二方向上布置的多个图像像素，可将入射在多个微透镜上的光转换为电信号，基于电信号执行用于第一方向上的相位差检测的第一相关性计算，包括相机以及用于输出包括第一相位差相关性计算值的图像数据的图像传感器，并且通过使用从图像传感器输出的图像数据执行用于第二方向上的相位差检测的第二相关性计算；并且可包括驱动单元，用于基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节相机的聚焦。其他实施例是可能的。

Description

电子装置及其控制方法

技术领域

本公开总体上涉及一种用于自动聚焦和捕获对象的电子装置，以及用于控制该电子装置的方法。

背景技术

为了拍摄清晰的静态图像(例如，静止图像)或运动图片(例如，视频)，对象上的准确聚焦对于对象捕获装置(例如，相机)可能是关键的。

对象捕获装置通过对比度自动聚焦或相位自动聚焦来执行聚焦。对比度自动聚焦利用以下特性：当精确地聚焦时，对象的轮廓是清晰的，使得对比度增加，但是当失焦时，它是模糊的，导致对比度下降。对比度自动聚焦测量在例如来回移动透镜组件时在成像元件(例如，图像传感器)上形成的图像的特定部分的对比度，并且可将最大对比度确定为在聚焦。相位自动聚焦使用两个或更多个距离测量点之间的相位差来测量从通过成像元件获得的中心图像偏移多少以及在什么方向上偏移。提供对比度自动聚焦的常规方法通过检测在成像元件上实际形成的真实图像的聚焦而表现出高聚焦精度。然而，此方法在透镜被移动之后(即，缺少方向性)测量对比度并且因此经历缓慢聚焦检测。虽然，由于其透镜组件的移动方向上的可预测性(即，这具有方向性)，相位自动聚焦能够比对比度自动聚焦更快地进行聚焦检测，但是，因为它通过单独为相位差检测准备的传感器输出相位数据，它仍然可能导致误差。因此，有时使用组合对比度自动聚焦和相位自动聚焦的混合自动聚焦。

已经开发出了对象捕获装置，诸如小型胶片相机、单镜头反光(SLR)相机和将数字技术应用于SLR的数字单镜头反光(DSLR)相机，以及通过从DSLR移除反射镜和五棱镜来减小尺寸的无反光镜(mirrorless)相机。已经尝试在对象捕获装置的聚焦中采用相位自动聚焦的同时将相位差检测传感器集成到成像元件中。

将相位差检测传感器集成到成像元件中可允许快速相位自动聚焦(“相位差检测AF”)，该快速相位自动聚焦被应用于无反光镜相机和其他类型的相机。

发明内容

技术问题

将相位差检测传感器集成到成像元件中带来了像素掩模结构和双像素结构，像素掩模结构包括通过用金属隐藏与一个微透镜对应设置的一个光电二极管的一半而形成的相位差检测像素，双像素结构使用设置有与一个微透镜对应的两个光电二极管(2PD)(即2PD像素结构)的图像像素来检测相位差。像素掩模结构在一个传感器中具有与图像像素分离的相位差检测像素，因此缺点是其损失与相位差检测像素一样多的图像像素。在这个意义上，按照原样使用图像像素来实现相位差功能的2PD像素结构在获得明亮图像方面可能比像素掩模结构更有优势。然而，尽管在2PD像素结构中，与一个微透镜对应的像素被划分为两个光电二极管以实现相位差，但是，因为在将通过成像元件获得的图像相关数据显示为由用户实际感知的图像或视频的阶段中，水平-垂直纵横比不适合，在执行重马赛克(re-mosaic)时读出分辨率可能被降低。

因此，可应用设置有与一个微透镜对应的四个光电二极管(4PD)的像素结构，即“4PD像素结构”，相对于上述2PD像素结构，不降低读出分辨率。在2PD像素结构中，两个光电二极管将一个像素划分为两个线性对称的左子像素和右子像素。然而，在4PD像素结构中，四个光电二极管可将一个像素划分为在上/下/左/右方向上点对称的四个子像素。4PD像素结构比2PD像素结构更有优势在于，它可在重马赛克期间将每个光电二极管转换为拜耳滤色器(Bayer color filter)形式，因此能够恢复分辨率。

然而，由于难以应用重马赛克技术，4PD像素结构尚未被广泛采用。具体地，没有建立技术规则，诸如在一个方向上同时执行相位差检测(例如，水平相位差检测)，然后在正交方向上执行相位差检测(例如，垂直相位差检测)。

根据一些实施例，在4PD像素结构上执行相位差检测时，可应用2PD像素结构的相位差检测以执行水平方向上的相位差检测，然后使用通过水平方向上的相位差检测获得的线存储器或帧存储器执行垂直方向上的相位差检测。在这种情况下，由于在水平相位差检测之后执行垂直相位差检测，因此操作速度可能降低。同时，采用这种相位差检测方法的4PD像素结构可能难以快速同步水平相位差检测的结果和垂直相位差检测的结果。

因此，根据本公开的各种实施例，提供了一种能够使用4PD像素结构在一个方向及其正交方向上执行相位差检测而在检测相位差时没有延迟的电子装置及其控制方法。

技术解决方案

已经进行了本公开以至少解决上述问题和/或缺点并且至少提供下面描述的优点。

本公开的一方面提供了一种包括至少一个相机的电子装置，所述电子装置包括：图像传感器，包括在第一方向和与第一方向正交的第二方向上布置的多个图像像素，将入射在多个微透镜上的光转换为电信号，基于电信号执行用于第一方向上的相位差检测的第一相关性计算，并且输出包括第一相位差相关性计算值的图像数据；图像信号处理器(ISP)，被配置为使用关于图像数据的相位差信息来执行用于第二方向上的相位差检测的第二相关性计算；以及驱动器，被配置为基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节所述至少一个相机的聚焦。

本公开的另一方面提供了一种用于控制包括相机、图像传感器和至少一个处理器的电子装置的方法，所述方法包括：使用所述图像传感器对包括在所述图像传感器中的多个图像像素执行用于第一方向上的相位差检测的第一相关性计算，所述图像传感器被配置为收集入射在透镜上的光，并且所述多个图像像素被布置在第一方向和与第一方向正交的第二方向上，使用所述至少一个处理器执行用于第二方向上的相位差检测的第二相关性计算，以及基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节所述相机的聚焦。

有利效果

根据各种实施例，在本公开中，可在没有帧存储器的情况下执行垂直于第二方向(其是读出方向)的第一方向上的相位差相关性计算。因此，提高了计算速度，并且显著提高包括相机模块的电子装置的聚焦速度。

附图说明

通过以下结合附图的详细描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：

图1示出根据实施例的网络环境中的电子装置；

图2示出根据实施例的电子装置的组件；

图3示出根据实施例的图像传感器；

图4示出根据实施例的包括微透镜和滤色器阵列的像素组；

图5a和图5b示出根据实施例的2PD像素和4PD像素；

图6示出根据实施例的用于读取多个光接收元件的光电转换信号的方法；

图7示出根据实施例的多个图像像素；

图8a至图8c示出根据实施例的用于计算相位差检测的数据的相关性的方法；

图9示出根据实施例的用于读取多个光接收元件的光电转换信号的方法；

图10示出根据实施例的在包括多个图像像素的图像传感器中的用于水平方向上的相位差检测和垂直方向上的相位差检测的距离测量点；

图11示出根据实施例的用于垂直和水平方向上的相位差检测的电子装置的组件；

图12示出根据实施例的紧接在第一相关性计算之后的数据；以及

图13示出根据实施例的用于根据第一方向上的相位差检测操作和第二方向上的相位差检测操作来产生可靠性信息的方法。

具体实施方式

在下文中，将参照附图详细描述本公开的实施例。在本公开中，在附图中描述了实施例，并且阐述了相关的详细描述，但是这并不旨在限制本公开的实施例。为了清楚和简明起见，省略了对公知功能和结构的描述。

图1是示出根据实施例的网络环境中的电子装置。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。根据实施例，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)集成为单个部件(例如，显示模块160)。

处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理器(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被配置为比主处理器121用电更少，或者被配置为专用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，ISP或CP)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，NPU)可包括专用于人工智能模型处理的硬件结构。可经由机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可以包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环DNN(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外或替代地，人工智能模型可以包括除了硬件结构以外的软件结构。

存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。

声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。

显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示器160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示器160可包括被配置为检测触摸的触摸传感器或被配置为测量由触摸产生的力的强度的压力传感器。

音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。

传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像捕获元件(图像传感器)、ISP或闪光灯。

电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，AP)独立操作的一个或更多个CP，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、第五代(5G)网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置104进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在SIM 196中的用户信息(例如，国际移动用户识别码(IMSI))识别或验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。

无线通信模块192可支持在第四代(4G)网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可以支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可以支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。

天线模块197可将信号或电力发送到外部(例如，外部电子装置)或者从外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个天线，所述天线包括辐射体，所述辐射体由形成在基底(例如，印刷电路板(PCB))上的导电体或导电图案形成。根据实施例，天线模块197可包括多个天线(例如，天线阵列)。在这种情况下，可由例如通信模块190从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射体之外的其他部分(例如，射频集成电路(RFIC))可另外地形成为天线模块197的一部分。根据各种实施例，天线模块197可以形成毫米波天线模块。根据实施例，毫米波天线模块可以包括PCB、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在PCB的第一表面(例如，底表面)上，或与第一表面相邻，并且能够支持指定的高频带(例如，毫米波带)，多个天线设置在PCB的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。

上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104每一个可以是与电子装置101相同类型或者不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。子装置101可使用例如分布式计算或MEC来提供超低延迟服务。根据另一实施例，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可以应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。

图2是示出根据实施例的电子装置的组件的框图。

参照图2，电子装置200(例如，相机)收集由对象反射的光并且捕获照片(或视频)。电子装置200包括图像捕获部210、图像接口220、图像处理部230、第一存储器240、处理器260、显示器270和第二存储器280。图像捕获部210可构成相机。ISP 232和处理器260可构成至少一个处理器。

图像捕获部210可包括透镜部211、光圈212、成像元件213(即，图像传感器)、快门214以及驱动器215和216。

透镜部211收集从对象反射的到达电子装置200的光。透镜部211可包括至少一个透镜，并且例如可被实现为多个透镜在光轴方向上排列的透镜组件。在这种情况下，图像捕获部210可以是例如双相机、360度相机或球面相机。包括在透镜组件中的透镜可具有相同的透镜属性(例如，视角、焦距、自动聚焦、f数或光学变焦)，或者至少一个透镜可具有与另一透镜不同的至少一个透镜属性。透镜组件可包括例如广角透镜或长焦透镜。可通过光圈212调节通过透镜部211收集的光的量(光量)，并且已经通过光圈212的光可到达图像传感器213。在图2所示的实施例中，光圈212被示出为与透镜部211分离。可选地，光圈212可被集成到透镜部211中。

图像传感器213可包括多个图像像素以网格形状被二维地布置的像素阵列。多个参考颜色中的一个参考颜色可被分配给多个图像像素中的每个图像像素。多个参考颜色可包括例如红-绿-蓝(RGB)、红-绿-蓝-白(RGBW)、青色-品红-黄(CMY)、青色-品红-黄-黑(CMYK)、红-黄-蓝(RYB)和RGB IR射线(RGBIR)。多个微透镜相对于多个图像像素被设置在光轴方向上更靠近对象的一侧。图像传感器213可基于从对象反射的光生成数字信号(或电信号)，并且可基于电信号生成数字图像数据(下文中，简称为“图像数据”)。图像传感器213可包括从具有不同属性的图像传感器(诸如RGB传感器、黑白(BW)传感器、IR传感器或紫外(UV)传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器中选择的一个。作为图像传感器213，可使用例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。

图像传感器213可包括光电二极管(PD)、传输晶体管(TX或传输门)、复位晶体管(RX或复位门)和浮动扩散(FD)节点。PD可生成并累积与对象的光学图像对应的光电荷。TX可响应于发送信号将聚焦在PD上的光电荷发送到FD节点。RX可响应于复位信号使存储在FD节点中的电荷放电。在施加复位信号之前存储在FD节点中的电荷被输出。在这种情况下，可执行相关双采样(CDS)，并且可通过模数转换器(ADC)和/或模拟前端(AFE)将经过CDS的模拟信号转换为数字信号。作为示例，本公开的图像传感器213可在与一个微透镜对应的像素中包括四个光电二极管(例如，4PD像素)。

快门214可调节图像传感器213被暴露于光的时间。例如，当快门214缓慢操作时，较多光可入射在图像传感器213上，并且当快门214快速操作时，较少光可入射在图像传感器213上。

驱动器215和216可调节透镜部211、光圈212或图像传感器213的位置。驱动器215和216可包括第一驱动器215和第二驱动器216。例如，第一驱动器215可平行于光轴方向移动透镜部211或光圈212。通过经由第一驱动器215实现图像捕获部210的自动聚焦操作，成像在图像传感器213上的光的聚焦可被调节。此外，例如，第二驱动器216可调节透镜部211或图像传感器213的位置，防止当用户操纵图像捕获部210时的抖动。第二驱动器216可响应于图像捕获部210或包括图像捕获部210的电子装置200的运动在特定方向上移动，或者控制图像传感器213或包括在透镜组件中的至少一个透镜(例如，调节图像传感器213或包括在透镜组件中的至少一个透镜的读出定时)，以至少部分地补偿由该运动引起的对捕获图像的负面影响(例如，图像模糊)。第二驱动器可被实现为例如图像稳定器或光学图像稳定器，并且可使用设置在图像捕获部210内部或外部的陀螺仪传感器或加速度传感器来检测运动。

图像接口220可被设置在图像传感器213与图像处理部230之间以执行接口连接。通过图像接口220从图像传感器213输出的数据可被发送到图像处理部230。取决于电子装置200的配置，图像接口220可被包括在图像处理部230中。此外，取决于电子装置200的配置，可省略图像接口220，或者可另外提供另一接口。

存储器240和280可至少临时存储通过图像传感器213获得的图像的至少一部分以用于下一个图像处理任务，或者可存储与电子装置200的至少一个其他组件(例如，图像处理部230)相关的命令或数据。例如，当由于快门滞后而图像捕获被延迟或者多个图像被快速捕获时，可将获得的原始图像(例如，高分辨率图像)存储在第一存储器240或第二存储器280中，并且其对应的副本(例如，低分辨率图像)可通过显示装置被预览。此后，如果满足指定条件(例如，通过用户的输入或系统命令)，则可例如由ISP 232获得和处理存储在第一存储器240或第二存储器280中的原始图像的至少一部分。第一存储器240或第二存储器280可被配置为电子装置200的存储器(例如，图1的存储器130)的至少一部分，或者被配置为独立于存储器被操作的单独存储器。

存储器240和280可包括彼此分离的第一存储器240和第二存储器280，如图2所示。第一存储器240可存储至少一个校正数据(例如，白平衡校正数据、伽马校正数据、膝点校正(knee correction)数据等)。例如，至少一个校正数据可以以查找表(LUT)格式被存储。第二存储器280可以是非易失性存储器(例如，闪存)，并且可存储由图像处理部230生成的图像数据。在图2中，为了便于描述，存储器240和280根据其功能被示出为单独的组件。然而，不限于所描述的那些，应当注意，存储器240和280也可被实现为单个组件。

图像处理部230对从图像传感器213输出的图像数据执行各种处理。图像处理部230可对通过图像传感器213获得的图像或存储在存储器(例如，第一存储器240)中的图像执行图像处理(例如，深度图生成、三维(3D)建模、全景生成、特征点提取、图像混合或图像补偿(例如，噪声消除、分辨率调整、亮度调整、模糊、锐化或软化))。另外地或可选地，图像处理部230可针对图像捕获部210中包括的组件中的至少一个(例如，图像传感器213)执行控制(例如，曝光时间控制或读出定时控制)。由图像处理部230处理的图像可被存储回第一存储器240或第二存储器280中以进一步处理，或者可被提供给图像捕获部210外部的外部组件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。图像处理部230可包括预处理单元(例如，预ISP)231和ISP 232。预处理单元231可执行诸如图像匹配或伽马处理的功能。例如，当在多个连续捕获的图像中存在抖动时，预处理单元231可通过图像匹配处理来去除或减少抖动分量。ISP 232可通过校正和合成从预处理单元231接收的信号来生成整个图像信号。预处理单元231可与ISP 232集成以构成图像处理部230。

图像处理部230可被配置为处理器260的至少一部分，或者被配置为独立于处理器260被操作的单独处理器。例如，图像处理部230的预处理单元231和ISP 232可被集成到处理器260中。相反，当图像处理部230被配置为与处理器260不同的单独处理器时，由图像处理部230处理的图像可原样或在经历附加图像处理之后通过显示装置160被显示。

除了分析和计算从图像传感器213输出的图像数据之外，图像处理部230还可生成用于控制透镜部211或图像传感器213的信号。例如，出于防抖目的，图像处理部230可生成用于控制第一驱动器215在光轴方向上移动透镜部211的信号，或者生成用于控制第二驱动器216移动透镜部211或图像传感器213的信号。

包括在电子装置中的处理器260可包括CPU、AP或CP中的一个或多个。处理器260可对电子装置200中包括的至少一个其他组件执行控制，和/或执行与通信有关的操作或数据处理。如上所述，处理器260可包括图像处理部230作为处理器260的至少一部分，或者可作为独立于图像处理部230操作的单独处理器操作。

显示器270可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器270可显示在处理器260的控制下的例如由图像捕获部210捕获的图像或由图像处理部230校正了白平衡的图像。显示器270可包括触摸屏，并且可接收例如使用电子笔或用户的身体部位输入的触摸、姿势、接近或悬停。实施例的以下描述例示了包括在ISP 232的至少一部分中的预处理单元231，并且因此假设ISP 232具有与图像处理部230基本相同的配置。如本文所使用的至少一个处理器可意指图像处理部230被设置为处理器260的至少一部分或与处理器260分开。因此，作为示例，ISP 232是独立于处理器260操作的单独处理器。然而，这仅仅是示例，并且图像处理部230、ISP 232和处理器260的组合不限于任何一种类型。

图3示出根据实施例的图像传感器。

参照图3，图像传感器300(例如，图2的图像传感器213)可包括多个像素。尽管图3示出了分别在y轴方向(水平方向)上布置18个像素和在z轴方向(垂直方向)上布置8个像素(即，总共144个像素)的示例，但是本公开不限于此。例如，图像传感器300可包括数百万到数千万个像素。以下描述描述了具有4PD像素结构并且包括当y轴方向(水平方向)上的4000个子像素和3000个子像素被组合的1200万个像素的图像传感器300的示例。

根据实施例，可为包括在图像传感器300中的多个像素中的每个像素分配多个指定参考颜色(例如，红色R、绿色G或蓝色B)中的一个。多个像素可被设计为在垂直于y轴和z轴的方向上接收每个光束中具有指定波长范围的光。多个像素可输出与接收到的光对应的电信号。

图像传感器300包括多个微透镜310和滤色器阵列320。包括在图像传感器300中的每个单位像素可包括微透镜、滤色器和光接收元件(例如，光电二极管)。

图4示出根据实施例的包括微透镜和滤色器阵列的像素组。

参照图4，包括在图像传感器300中的像素组301可由两个或更多个单位像素的组合组成。一个单位像素可包括微透镜、滤色器和光接收元件。微透镜可用于折射和/或聚焦光。滤色器可相对于光的传播路径被设置在微透镜后面，并且可透射具有指定参考颜色的光，即具有指定波长范围的光。光接收元件可以是例如设置在微透镜和滤色器后面的光电二极管。当光到达光接收元件时，与入射光对应的电信号通过光电效应被输出。电信号可根据接收到的光的强度(或量)生成电荷(或电流)。图4示出将四个单位像素组合成一个像素组301的实施例。

更具体地，一个像素组301可包括2×2阵列的滤色器阵列320。在根据图4的实施例的滤色器阵列320中，包括在第一行中的第一滤色器321和第二滤色器322可分别被形成为[绿色G，红色R]，并且包括在第二行中的第三滤色器323和第四滤色器324可分别被形成为[蓝色B，绿色G]。换句话说，一个像素组301可包括以[绿色G，红色R]×[蓝色B，绿色G]模式形成的滤色器阵列320。此外，像素组301中包括的多个微透镜310可包括分别与第一至第四滤色器321、322、323和324对应地设置的第一至第四微透镜311、312、313和314。此外，像素组301可被重复布置，形成图3的图像传感器300。滤色器阵列320的重复布置结构和模式可变化。作为示例，图4示出了具有以拜耳模式形成的滤色器阵列320的像素组301。然而，不限于此，滤色器阵列320可以以包括RGBE、CYYM、CYGM、RGBW和X-trans的各种模式被形成。为了清楚起见，以下描述主要集中于RGB模式(或RGGB模式)。然而，应当注意，可采用滤色器阵列320的其他重复布置结构和模式而没有限制。根据实施例，可提供如图4所示的多个像素组301以形成图像传感器300。

一个微透镜和一个滤色器可被设置在单位像素中，并且一个光接收元件可被设置在滤色器后面。换句话说，一个光接收元件可被设置在一个单位像素中。

可选地，一个微透镜和一个滤色器可被设置在单位像素中，并且两个或更多个光接收元件可被设置在滤色器后面。

两个光接收元件可被设置在单位像素中，或者四个光接收元件可被设置在单位像素中。通常，当多个光接收元件被设置在单位像素中时，具有相同规格的元件关于单位像素的中心对称地被形成(线性对称或点对称)。例如，当两个光接收元件被设置在单位像素中时，它们可关于单位像素的中心在左/右或上/下方向上线性对称地被布置，并且当四个光接收元件被设置在单位像素中时，它们可关于单位像素的中心在右上/左上/右下/左下方向上点对称地被布置。因此，当两个光接收元件被设置在单位像素中时，单位像素结构可被表示为双像素结构(即，2PD像素结构)，并且当四个光接收元件被设置在单位像素中时，单位像素结构可被表示为四像素结构(即，4PD像素结构)。与包括在2PD像素结构和4PD像素结构中的每个光接收元件对应的部分可被表示为子像素。

图5a和图5b示出根据实施例的2PD像素结构和4PD像素结构。具体地，图5a示出了在单位像素中设置有两个光接收元件的2PD像素结构，图5b示出了在单位像素中设置有四个光接收元件的4PD像素结构。

每个单位像素中包括的光接收元件也可被表示为光电转换元件。此外，尽管光电二极管被描述为包括在每个单位像素中的光接收元件的示例，但是每个单位像素可替代地包括针状(pinned)光电二极管、光电晶体管或光电门。

每个单位像素中包括的多个光接收元件中的每个可独立地将入射光捕获到图像中。当多个光接收元件中的每个将入射光捕获到图像中时，入射光可作为光电转换信号被输出。

参照图5a，由于设置两个不同的光接收元件，每个单位像素可在Y方向(例如，图4的Y方向)上被划分为两个部分，并且每个光接收元件的光电转换信号可独立地被读取。图5a的像素组301被描述为示例。可在包括第一微透镜311和第一滤色器321的单位像素中提供两个光接收元件331a和331b，并且可在包括第二微透镜312和第二滤色器322的单位像素中提供两个光接收元件332a和332b。可在包括第三微透镜313和第三滤色器323的单位像素中提供两个光接收元件333a和333b，并且可在包括第四微透镜314和第四滤色器324的单位像素中提供两个光接收元件334a和334b。

参照图5b，由于设置四个不同的光接收元件，每个单位像素可被划分为四个部分，即，Y方向上的两个部分和Z方向(例如，图4的Z方向)上的两个部分，并且每个光接收元件的光电转换信号可独立地被读取。图5b的像素组401被描述为示例。可在包括第一微透镜411和第一滤色器421的单位像素中提供四个光接收元件431a、431b、431c和431d，并且在包括第二微透镜412和第二滤色器422的单位像素中提供四个光接收元件432a、432b、432c和432d。在包括第三微透镜413和第三滤色器423的单位像素中提供四个光接收元件433a、433b、433c和433d，并且在包括第四微透镜414和第四滤色器424的单位像素中提供四个光接收元件434a、434b、434c和434d。换句话说，在图5b所示的实施例中，多个图像像素中的每个是4PD像素，4PD像素在每个微透镜中包括四个光接收元件，并且可包括第一子像素、第二子像素、第三子像素和第四子像素。

图6示出根据实施例的用于读取多个光接收元件的光电转换信号的方法。

为了清楚起见，图6示出用于读取根据图5a所示的实施例的两个光接收元件被设置在单位像素中的2PD像素的光电转换信号的方法。

设置在单位像素中的两个光接收元件的光电转换信号可表示以不同入射角到达各个光接收元件的光束之间的相位差。因此，两个光接收元件的光电转换信号可被划分为入射光的左分量和右分量。可通过比较左分量和右分量来检测入射光的相位差。

每个光接收元件的光电转换信号可包括包含滤色器的单位像素的各种颜色信息(例如，红色R、绿色G或蓝色B)的输出值。每个光接收元件的光电转换信号可以以原始数据的形式被存储。根据另一实施例，每个光接收元件的光电转换信号也可在经历如对包括在滤色器的单位像素中的红色R、绿色G或蓝色B的输出值相邻的邻近像素的颜色值进行插值这样的处理之后被存储。参照图6，在2PD像素的光电转换信号中，左分量和右分量可分别由“L”和“R”表示。

图7示出根据实施例的多个图像像素。

图7示出以拜耳模式布置的多个图像像素。图7的多个图像像素可以是其中重复设置图4所示的像素组301并且在像素组301中包括的每个微透镜中设置两个光电二极管的图像像素。例如，图7示出由第一至第四行r1、r2、r3和r4以及第一至第十二列c1、c2、c3、c4、c5、c6、c7、c8、c9、c10、c11和c12组成的多个图像像素，在多个图像像素中，准备了多个相同的2×2像素组，每个像素组由第一行r1、第二行r2、第一列c1和第二列c2的组合组成并且在第一方向(例如，z方向)和第二方向(例如，y方向)上重复布置。

每个光接收元件的光电转换信号还可包括关于每个像素的相位差信息，并且包含相位差信息的相位差数据可以以YCbCr数据的形式输出以表示颜色空间。作为另一示例，相位差数据可在除了用于表示颜色空间的YCbCr的数据形式的Cb/Cr的颜色信息之外仅包含亮度Y信息的状态下被输出，以便减少存储的数据量(或大小)。总之，每个光接收元件的用于入射光的左分量和右分量的光电转换信号可被表示为用于亮度Y的数据(LY，RY)，并且可包括相位差信息。

ISP(例如，图2的图像信号处理器232)对表示为相位差数据(例如，亮度(Y)数据)值的光接收元件的数据执行相关性计算，从而检测相位差。在这种情况下，可对多个图像像素执行相关性计算。例如，可对相同像素行或列的预定范围内的多个图像像素执行相关性计算。根据图6所示的实施例，可通过在第二方向(例如，水平方向(y方向))上读出多个图像像素的数据来执行相关性计算。ISP 232可在第二方向(例如，水平方向(y方向))上读出设置在第一行r1、第二行r2、第三行r3和第四行r4中的多个图像像素，并执行相关性计算。ISP232可读出布置在第一行r1中的多个图像像素的数据，然后顺序地对第二行r2、第三行r3和第四行r4执行读出。在第一行r1、第二行r2、第三行r3和第四行r4上读出之后，可使用包括在图像传感器213和/或图像处理部230中的线存储器，以包括相位差信息的相位差数据(例如，亮度数据)的形式输出关于每个像素的相位差信息。

图7中由虚线表示的区域是向用户示出的聚焦检测区域，即感兴趣区域(ROI)。例如，作为ROI，可设置被布置在同一行中的12个像素。然而，不限于此，可以将布置在同一行中的各种数量的像素(例如，6、8、16或24个像素)作为目标来设置ROI。此外，可通过捆绑布置在两个不同行(例如，r1和r2)中的像素来设置ROI，以便增加数据输出并因此增加数据的可靠性。作为另一示例，如图7所示，在第二方向(例如，y方向)上布置的6个2×2像素组可被设置为ROI。然而，不限于此，可在第一方向(例如，z方向)上设置ROI。如上所述，设置的ROI中的每个像素可包括两个光电二极管，使得像素组中的多个像素中的每个像素可输出光电转换信号，该光电转换信号被划分为入射光的左分量和右分量。

光电转换信号可包括像素数据和相位差数据，像素数据包括颜色信息，相位差数据包括相位差信息。作为另一示例，相位差数据可以以仅包括亮度数据的形式被输出，以减少存储的数据量。例如，如图7所示，可仅收集一个像素组中的光电转换信号的左分量并将其作为“LY”数据输出，并且可仅收集一个像素组中的光电转换信号的右分量并将其作为“RY”数据输出。“LY”数据和“RY”数据可被收集并且输出到一条线YL。可使用输出的LY数据和RY数据来执行用于相位差检测的相关计算。同时，在图7所示的实施例中，为了便于描述，以两行(例如，r1和r2)输出LY数据和RY数据。然而，不限于此，LY数据和RY数据可以以四行(例如，r1、r2、r3和r4)或更多行被输出。

图8a至图8c示出根据实施例的用于计算相位差检测的数据的相关的方法。

图7中所示的“LY”数据与“RY”数据之间的差的绝对值的总和可被定义为相关性计算值。图8a示出像素的位置未被移动以用于相关性计算的状态，并且图8b示出像素的位置被移动以用于相关性计算的状态。图8c示出通过移动像素的位置而检测到的相关性计算值。可对每个像素或每个像素组执行移动。参照图7和图8，可在一个方向(例如，Y方向)上或单边(例如，Y方向或-Y方向)移动目标像素的位置以用于相关性计算的同时以获得“LY”数据与“RY”数据之间的相关性计算值的方式来执行相关性计算。作为具体示例，相关性计算可采用普查或用于发现例如平方差之和(SSD)、绝对差均值(MAD)或绝对差之和(SAD)的这种方法或其他各种方案。

相关性计算的结果可被用于聚焦调节、深度信息检测等。相关性计算值中的最小值可被定义为聚焦位置。例如，如图8c所示，可在如图8a和图8b所示在一个方向上移动像素的同时获得根据“LY”数据与“RY”数据之间的差的相关性计算值，并且由此可获得关于与ROI对应的对象的视差信息。

另外，例如，图8a至图8c的实施例的描述涉及读取用于如图5a所示的实施例中的单位像素中包括两个光接收元件的2PD像素的光电转换信号。同时，如图5b所示的实施例中，用于单位像素中包括四个光接收元件的4PD像素的光电转换信号需要检测从上到下的相位差以及从左到右的相位差，这与仅需要光电转换信号的从左到右的相位差检测的图5a所示的实施例不同。

在下文中，描述根据实施例的用于从上到下的相位差检测的方法。

图9示出根据实施例的用于读取多个光接收元件的光电转换信号的方法。

图9示出用于读取两个光接收元件从上到下被布置或者在单位像素中包括四个光接收元件的4PD像素的光电转换信号的方法。这里，包括四个光接收元件的4PD像素可以是例如在右上、左上、右下和左下中的每个处设置有一个光接收元件的4PD像素。图6至图8c所示的实施例可被应用于用于4PD像素结构的从左到右相位差检测的方法。相比之下，描述主要集中于图5b中所示的与用于4PD像素结构的从上到下相位差检测的方法相关的实施例。

在单位像素中从上到下分开设置的光接收元件的光电转换信号可表示以不同入射角入射到各个光接收元件上的光束之间的相位差。例如，光接收元件的光电转换信号可被划分为入射光的上分量和下分量。可通过比较上分量和下分量来检测入射光的相位差。为了便于描述，结合图6至图8描述的用于左分量和右分量的相位差检测可被定义为“水平相位差检测”，并且下面结合图9和图10描述的用于上分量和下分量的相位差检测可被定义为“垂直相位差检测”。

类似于图6中提到的水平相位差检测方法，在垂直相位差检测方法中，每个光接收元件的光电转换信号可被转换成用于表示颜色空间的YcbCr的亮度(Y)值的数据并被使用。例如，用于入射光的上分量和下分量的每个光接收元件的光电转换信号可被表示为用于亮度Y的数据。参照图9，在图像像素的光电转换信号中，上分量和下分量可分别用“T”和“B”表示。

在垂直相位差检测方法中，ISP(例如，图2的图像信号处理器232)还可对表示为亮度(Y)值的光接收元件的数据执行相关性计算，从而检测相位差。在这种情况下，可对多个图像像素执行相关性计算。类似于对布置在同一像素行中的多个图像像素执行的水平相位差检测方法，可对布置在同一列中的多个图像像素执行垂直相位差检测。

然而，与读出多个图像像素的数据的方向与作为相位差检测的目标的像素阵列相同的水平相位差检测不同，在垂直相位差检测中，读出多个图像像素的数据的方向可与作为相位差检测的目标的像素阵列不同。例如，关于读出多个图像像素的数据的方向(例如，第二方向(y方向))，在图6中，作为相位差检测的目标的多个图像像素可在与读出方向平行的第二方向上被布置，而在图9中，作为相位差检测的目标的多个图像像素可在与读出方向(例如，第二方向)垂直的第一方向(例如，z方向)上被布置。

图10示出根据实施例的在包括多个图像像素的图像传感器中的用于水平方向上的相位差检测和垂直方向上的相位差检测的距离测量点。

参照图10，可为包括多个图像像素的图像传感器设置ROI。包括在图像传感器中的多个图像像素每个可由包括四个光电二极管的4PD像素形成，并且为了聚焦在其上，水平相位差检测操作和垂直相位差检测操作可被执行。根据实施例，ROI可任意地被设置在图像传感器的各种位置，并且可对设置在各种位置的ROI(例如，ROI1、ROI2、ROI3、ROI4和ROI5)执行水平相位差检测操作和垂直相位差检测操作。

在对ROI执行水平相位差检测操作和垂直相位差检测操作时，可能需要设置用于检测光电转换信号的左分量和右分量的水平距离测量点H和用于检测上分量和下分量的垂直距离测量点V。这里，距离测量点可以是在图像传感器213中设置的多个图像像素的不同行之间区分以指定用于计算相位差的区域的点。在水平距离测量点H处，可存储针对多行中的每行存在的线存储器，并且在垂直距离测量点V处，可存储包括所有多行的帧存储器。这里，“线存储器”可与按每多行存在的信息相关，并且“帧存储器”可与关于包括至少两行或更多行的整个帧的信息相关。例如，虽然线存储器可按每多个水平距离测量点H被存储，但是帧存储器可包括关于多个水平距离测量点H的信息并且被整体存储。

通常，每个像素的光电转换信号需要被读出以执行相位差检测。在这种情况下，读出的方向可被固定为一个方向。因此，可使用线存储器来执行水平相位差检测操作，并且可使用帧存储器来执行垂直相位差检测操作。换句话说，垂直相位差检测操作可能由于需要在计算中使用帧存储器而导致延迟。在水平相位差检测操作中，可在完成对行的读出之后立即执行相关性计算。在垂直相位差检测操作中，因为帧存储器被应用，所以在完成读出之后不可立即执行相关性计算。因此，可能难以同步水平相位差检测操作和垂直相位差检测操作。如上所述，如果在相位差检测操作中发生帧延迟，则可能难以执行需要快速计算的自动聚焦驱动。

图11示出根据实施例的用于在垂直和水平方向上的相位差检测的电子装置的组件。

根据本公开的实施例，为了在相似的时间输出垂直相位差检测操作和水平相位差检测操作，图像传感器213可在至少一个处理器(例如，ISP 232或处理器260)执行计算之前执行相关性计算。

根据本公开的实施例，电子装置可包括图像传感器213，图像传感器213包括在第一方向和垂直于第一方向上的第二方向上布置的多个图像像素，可将入射在多个微透镜上的光转换为电信号，基于电信号执行用于第一方向上的相位差检测的第一相关性计算，并输出包括第一相位差相关性计算值的图像数据。这里，第一方向可以是例如垂直方向(例如，图9的z方向)，并且第二方向可意指水平方向(例如，图9的y方向)。在下文中，垂直相位差检测操作可被称为第一方向上的相位差检测操作，并且水平相位差检测操作可被称为第二方向上的相位差检测操作。第一方向上的相位差检测操作和第二方向上的相位差检测操作可包括例如以上结合图8a至图8c所述的相关性计算。第一方向上的相位差检测操作和第二方向上的相位差检测操作的相应结果可分别被称为第一相位差相关性计算值和第二相位差相关性计算值。

根据本公开的实施例，通过由图像传感器213计算第一相位差相关性计算值，可防止可能在完成一帧的读出之后执行在垂直于读出方向上的方向上获得相位差数据的处理时出现的帧延迟。

基本上，ISP 232可使用图像数据执行包括相关性计算的各种计算操作。ISP 232可在第二方向(例如，水平方向)上执行第二相关性计算232a，作为各种计算操作中的相位差检测的一部分。可使用与第二方向上的像素数据比特的数量一样多的线存储器，通过第二方向上的像素移位(参照图8a至图8c)来执行第二相关性计算232a。例如，当以4000(H)×3000(V)(逐像素)为单位提供图像传感器213时，可按照4000像素存储线存储器(例如，存储在图2的第一存储器240中)。如果对图像传感器213执行合并(binning)，那么可减少存储于存储器(例如，图2的第一存储器240)中的数据量。例如，如果在4000(H)×3000(V)的第二方向上执行4合并，则可存储多达1000个像素的数据。然而，当单位像素是4PD像素时，数据被存储在每个光接收元件(例如，图5b的左上431a、432a、433a和434a、右上431b、432b、433b和434b、左下431c、432c、433c和434c以及右下431d、432d、433d和434d)中。因此，尽管4合并，但可能需要4000个像素的数据量。

根据本公开的实施例，电子装置可执行第一相关性计算213b作为第一方向(例如，垂直方向)上的相位差检测操作的一部分。对于第一相关性计算213b，可使用与第一方向上的像素数据比特的数量一样多的线存储器(例如，第三存储器213a(或线存储器))在第一方向上执行移位型相位差计算。类似于如图8a至图8c所示在第二方向上移位每个单位像素，可在第一方向上移位每个像素的同时执行第一方向上的移位型相位差计算。根据本公开的实施例，由于用于图像像素的读出方向垂直于相位差计算的方向，因此可在对至少一些行执行采样读出操作之后实现第一方向上的相位差检测操作。例如，可在多个图像像素的整个区域或ROI中的第一方向上的多个行被采样和读出之后执行第一方向上的相位差检测操作。在这种情况下，通过对至少一些行上的读出操作进行采样的数据可被存储在第三存储器213a中，其中，不同于第一存储器(例如，图2的240)和第二存储器(例如，图2的280)，第三存储器213a存储用于对图像像素的读出之后的相关操作的信息或命令，并且可以以芯片的形式被集成到图像传感器213中。例如，当以4000(H)×3000(V)逐像素单位提供图像传感器213时，第三存储器213a可在第二方向上包括至少两行或更多行的4000像素线存储器。例如，即使在这种情况下，合并也可被执行，并且可能需要存储与应用4PD像素一样多的数据。根据实施例，在根据第一方向上的相位差检测操作的第一相关性计算213b之前，可进一步执行IIR或FIR型阴影、伽马、缺陷像素校正(DPC)或此类校正，并且用于此类校正的数据也可被存储在第三存储器213a中。

参照图11所示的实施例，可在第二相关性计算232a之前执行第一相关性计算213b。第一相关性计算213b可由图像传感器213执行，并且第一相关性计算213b可与对图像像素的读出基本上同时被执行。

图12示出根据实施例的紧接在第一相关性计算之后的数据。

图12示出以拜耳模式布置的多个图像像素。这里，图12所示的实施例可表示关于在图11所示的图像传感器213与ISP 232之间读取的图像像素的信息。图像数据可包括关于在图像传感器213与ISP 232之间读取的图像像素的信息。也就是说，图像数据可包括第一相位差相关性计算值和相位差数据。

图12的多个图像像素可以是其中重复设置图4所示的像素组301并且在像素组301中包括的每个微透镜中设置四个光电二极管的图像像素。例如，图12示出由第一至第八行r1、r2、r3、r4、r5、r6、r7和r8以及第一至第十二列c1、c2、c3、c4、c5、c6、c7、c8、c9、c10、c11和c12组成的多个图像像素。多个图像像素可被形成为在第一方向(例如，y方向)和第二方向(例如，z方向)上被准备和重复布置的多个相同的2×2像素组，每个2×2像素组包括第一行r1、第二行r2、第一列c1和第二列c2的组合。

图12中由虚线表示的区域是向用户示出的聚焦检测区域，即，ROI最小单位。例如，可设置在同一行中布置16个单位像素的ROI，但不限于此。此外，可通过捆绑布置在两个或更多个不同行(例如，r1和r2)中的单位像素来设置ROI，以便增加数据输出并因此增加数据的可靠性。作为另一示例，如图12所示，在第一方向(例如，y方向)上布置的16个2×2像素组可被设置为ROI。如上所述，设置的ROI中的每个单位像素可包括四个光电二极管，使得像素组中的多个像素中的每个可输出光电转换信号，该光电转换信号被划分为入射光的左分量和右分量以及入射光的上分量和下分量。

图12中所示的图像数据可包括用于多个图像像素的原始数据。这里，原始数据可以是光接收元件的光电转换信号，该光电转换信号以文件的形式被存储而不被图像处理部(例如，图2的230)处理。用于图像像素的原始数据可以是无损压缩形式或以应用于其的对数的存储的形式，或者光接收元件的光电转换信号可以以用于表示颜色空间的YCbCr的亮度(Y)值的数据的形式被存储。图像数据可包括通过仅收集和输出一个像素组中的光电转换信号的左分量而得到的“LY”数据和通过仅收集和输出一个像素组中的光电转换信号的右分量而得到的“RY”数据。如图12所示，“LY”数据和“RY”数据可以以一个线存储器YL的形式被收集和存储并且输出。根据另一实施例，作为图像数据，仅一个像素组中的光电转换信号的上分量和仅一个像素组中的光电转换信号的下分量可被收集并且经历第一相关性计算。参照图12所示的实施例，与第二相关性计算不同，第一相关性计算可立即被执行，而不输出光电转换信号的上分量和下分量的原始数据。

从图像传感器213输出的图像数据可包括在用于多个图像像素的原始数据之间以相等间隔的用于第二方向上的亮度数据和用于第一方向上的第一相位差相关性计算值。例如，如图12所示，从图像传感器输出的图像数据可包括用于由第一行至第四行r1、r2、r3和r4以及第一列至第十二列c1、c2、c3、c4、c5、c6、c7、c8、c9、c10、c11和c12组成的多个图像像素的原始数据、用于第一方向上的第一相位差相关性计算值、以及用于第二方向上的亮度数据。此外，如图12所示，从图像传感器输出的图像数据可包括用于由第五至第八行r5、r6、r7和r8以及第一至第十二列c1、c2、c3、c4、c5、c6、c7、c8、c9、c10、c11和c12组成的多个图像像素的原始数据、用于第一方向上的第一相位差相关性计算值、以及用于第二方向上的亮度数据。通过以相等间隔输出用于第二方向上的亮度数据和用于第一方向上的第一相位差相关计算值，可防止由于以图像行单位曝光的差异引起的图像质量的劣化。

图13示出根据实施例的用于根据第一方向上的相位差检测操作和第二方向上的相位差检测操作来产生可靠性信息的方法。

参照图13，关于用于聚焦ROI内的对象(例如，铅笔)的方法，处理器260可执行第一方向相位差检测操作和第二方向相位差检测操作。在这种情况下，如上所述，处理器260可通过在第二方向上的相位差检测操作(即，第二相关性计算232a)之前执行第一方向上的相位差检测操作(即，第一相关性计算213b)来提高计算速度。处理器260可使用相关性计算的结果来产生可靠性信息。处理器260可通过相关性计算曲线的最低点与相邻特定点之间的差异来获得用于不同方向上的相关性计算曲线的可靠性。在这种情况下，与最低点相邻的特定点可被设置为与最低点的相位轴值间隔开相同距离的点。

例如，由于如图13的左侧所示的第二方向上的相关性计算曲线的最低点与相邻特定点之间的差(200-100＝100)大于如图13的上侧所示的第一方向上的相关性计算曲线的最低点与相邻特定点之间的差(400-100＝300)，因此处理器260可确定第一方向上的相关性计算曲线820具有高可靠性。

电子装置(例如，图2的电子装置200)使用驱动器(例如，图2的驱动器215或216)基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节至少一个相机模块的聚焦。驱动器215或216可通过应用通过第一相位差相关性计算值与第二相位差相关性计算值之间的可靠性比较(例如，图11的可靠性比较250a)确定的权重来设置用于调节相机模块的聚焦的最佳位置。例如，一起参照图11和图13的实施例，由于第一相位差相关性计算值具有更高的可靠性，因此可通过对用于第一相位差相关性计算值的数据应用权重来设置用于调节相机模块的聚焦的最佳位置(X位置)。

根据本公开的各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如本文所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为商品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play Store^TM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

根据实施例，包括至少一个相机模块(例如，图1的相机模块180)的电子装置可包括：图像传感器(例如，图2的图像传感器213)、ISP(例如，图2的图像信号处理器232)以及驱动器，其中，图像传感器包括在第一方向(例如，图3的Z轴方向)和与第一方向正交的第二方向(例如，图3的Y轴方向)上布置的多个图像像素，将入射在多个微透镜上的光转换为电信号，基于电信号执行用于第一方向上的相位差检测的第一相关性计算，并输出包括第一相位差相关性计算值的图像数据；ISP被配置为使用关于图像数据的相位差信息执行用于第二方向上的相位差检测的第二相关性计算；驱动器被配置为基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节至少一个相机模块的聚焦。

根据实施例，第一方向可垂直于用于多个图像像素的读出方向，并且第二方向可与用于多个图像像素的读出方向相同。

根据实施例，多个图像像素中的每个图像像素包括包含一个微透镜的、设置有四个光电二极管作为光接收元件(4PD像素)的像素结构，每个图像像素具有第一子像素、第二子像素、第三子像素和第四子像素。

根据实施例，可通过根据用于第一子像素和第二子像素的第一子组以及第三子像素和第四子像素的第二子组在第一方向上的相邻像素之间的移位的相位比较来执行第一相关性计算。

根据实施例，ISP还被配置为执行重马赛克功能，以经由包括在多个图像像素中的4PD像素重新排列从ISP输出的数据。

根据实施例，可使用第一方向上的预定数量的采样的线存储器来执行第一相关性计算。

根据实施例，从图像传感器输出的图像数据可包括像素数据、用于第一方向上的第一相位差相关性计算值和相位差数据，其中，像素数据包括关于多个图像像素的颜色信息，相位差数据包括用于第二方向上的相位差信息。

根据实施例，从图像传感器输出的图像数据可包括在用于多个图像像素的像素数据之间以相等间隔的用于第一方向上的第一相位差相关性计算值和包括用于第二方向上的相位差信息的相位差数据。

根据实施例，可通过根据相邻像素之间的用于第一子像素和第三子像素的第三子组以及第二子像素和第四子像素的第四子组在第二方向上的移位的相位比较来执行第二相关性计算。

根据实施例，驱动器可被配置为通过对第一相位差相关性计算值和第二相位差相关性计算值中的每个进行可靠性比较以应用权重来调节至少一个相机模块的聚焦。

根据实施例，可对与ROI对应的部分或者多个图像像素的整个区域执行第一相关性计算。

根据实施例，提供了一种用于控制包括相机、图像传感器和至少一个处理器的电子装置的方法，该方法包括：使用图像传感器对包括在图像传感器中的多个图像像素执行用于第一方向上的相位差检测的第一相关性计算，图像传感器被配置为收集入射到透镜的光，并且多个像素被布置在第一方向和与第一方向正交的第二方向上；使用至少一个处理器执行用于第二方向上的相位差检测的第二相关性计算，以及基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节相机的聚焦。

虽然已经参考本公开的某些实施例具体示出和描述了本公开，但是本领域普通技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，包括：

相机；

图像传感器，包括在第一方向上和与第一方向正交的第二方向上布置的多个图像像素，并且被配置为将入射在多个微透镜上的光转换为电信号，基于电信号执行用于第一方向上的相位差检测的第一相关性计算，并且输出包括第一相位差相关性计算值的图像数据；

图像信号处理器ISP，被配置为使用关于图像数据的相位差信息来执行用于第二方向上的相位差检测的第二相关性计算；以及

驱动器，被配置为基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节所述相机的聚焦。

2.根据权利要求1所述的电子装置，其中，第一方向垂直于用于所述多个图像像素的读出方向，并且第二方向与所述多个图像像素的读出方向相同。

3.根据权利要求1所述的电子装置，其中，所述多个图像像素中的每个图像像素包括包含一个微透镜的、具有四个光电二极管作为光接收元件(4PD像素)的像素结构，每个图像像素具有第一子像素、第二子像素、第三子像素和第四子像素。

4.根据权利要求3所述的电子装置，其中，通过根据用于第一子像素和第二子像素的第一子组以及第三子像素和第四子像素的第二子组在第一方向上的相邻像素之间的移位的相位比较来执行第一相关性计算。

5.根据权利要求3所述的电子装置，其中，所述ISP被配置为执行重马赛克功能，以根据包括在所述多个图像像素中的4PD像素重新排列从所述ISP输出的数据。

6.根据权利要求1所述的电子装置，其中，使用第一方向上的预定数量的采样的线存储器来执行第一相关性计算。

7.根据权利要求6所述的电子装置，其中，从所述图像传感器输出的图像数据包括像素数据、用于第一方向上的第一相位差相关性计算值和相位差数据，所述像素数据包括关于所述多个图像像素的颜色信息，所述相位差数据包括用于第二方向上的相位差信息。

8.根据权利要求7所述的电子装置，其中，从所述图像传感器输出的图像数据包括在用于所述多个图像像素的像素数据之间以相等间隔的用于第一方向上的第一相位差相关性计算值和包括用于第二方向上的相位差信息的相位差数据。

9.根据权利要求7所述的电子装置，其中，通过相邻像素之间的用于第一子像素和第三子像素的第三子组与第二子像素和第四子像素的第四子组在第二方向上的移位的相位比较来执行第二相关性计算。

10.根据权利要求1所述的电子装置，其中，所述驱动器被配置为通过对第一相位差相关性计算值和第二相位差相关性计算值中的每个进行可靠性比较以应用权重来调节所述相机的聚焦。

11.根据权利要求1所述的电子装置，其中，对所述多个图像像素的与感兴趣区域ROI对应的部分或者整个区域中的至少一个执行第一相关性计算。

12.一种用于控制包括相机、图像传感器和至少一个处理器的电子装置的方法，所述方法包括：

使用所述图像传感器对包括在所述图像传感器中的多个图像像素执行用于第一方向上的相位差检测的第一相关性计算，所述图像传感器被配置为收集入射在透镜上的光，并且所述多个图像像素被布置在第一方向和与第一方向正交的第二方向上；

使用所述至少一个处理器执行用于第二方向上的相位差检测的第二相关性计算；以及

基于用于第一方向上的第一相位差相关性计算值和用于第二方向上的第二相位差相关性计算值来调节所述相机的聚焦。

13.根据权利要求12所述的方法，其中，第一方向垂直于所述多个图像像素的读出方向，并且第二方向与所述多个图像像素的读出方向相同。

14.根据权利要求13所述的方法，其中，所述多个图像像素中的每个图像像素包括包含一个微透镜的、具有四个光电二极管作为光接收元件(4PD像素)的像素结构，每个图像像素具有第一子像素、第二子像素、第三子像素和第四子像素。

15.根据权利要求12所述的方法，其中，通过对第一相位差相关性计算值和第二相位差相关性计算值中的每个进行可靠性比较以应用权重来实现调节所述聚焦。