CN115066882A - 用于执行自动对焦的电子装置和方法 - Google Patents

用于执行自动对焦的电子装置和方法 Download PDF

Info

Publication number
CN115066882A
CN115066882A CN202180012317.5A CN202180012317A CN115066882A CN 115066882 A CN115066882 A CN 115066882A CN 202180012317 A CN202180012317 A CN 202180012317A CN 115066882 A CN115066882 A CN 115066882A
Authority
CN
China
Prior art keywords
data
paf
electronic device
calculation
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012317.5A
Other languages
English (en)
Inventor
李昌优
金度翰
房镇敏
赵宰宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN115066882A publication Critical patent/CN115066882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

根据本文档中公开的实施例的电子装置包括：包括多个像素的图像传感器；AF处理单元；存储器；以及控制单元。包括在所述多个像素中的每个像素包括多个光电二极管和微透镜。所述控制单元向所述AF处理单元提供第一条AF数据和第二条AF数据中的至少一者，并且所述AF处理单元可以基于第一条AF数据执行第一相位自动对焦(PAF)操作或基于第二条AF数据执行第二PAF操作。

Description

用于执行自动对焦的电子装置和方法
技术领域
本公开的各种实施例涉及一种用于捕获图像的电子装置和一种用于执行自动对焦(AF)的方法。
背景技术
能够捕获图像的各种类型的电子装置(例如，智能电话、平板PC和相机装置)已经进入市场。电子装置可以识别对象以执行自动对焦(AF)。
用于检测彼此相邻的两个像素之间的相位差并确定焦点的相位自动对焦(PAF)方案被用作用于执行自动对焦(AF)的方法。可以将PAF方案与用于根据图像的平面频率特性的变化来测量焦点的连续AF方案进行比较，以便在确定焦点的方向性时获得更准确且快速的结果。
在PAF方案中，在相邻位置上连续且周期性地排列的二维图像像素具有共享一个微透镜的多个光电二极管(以下称为PD)。当彼此电分离且光学上具有相同特性的PD没有准确地聚焦时，它们可能指示不同的检测特性。PAF方案可以分析在PD没有聚焦时检测到的多个PD之间的多条信息，并且可以确定AF的一致性。
发明内容
技术问题
根据现有技术的电子装置的图像传感器可以通过检测在水平方向上排列的2个PD之间的相位差来执行AF。水平分离的2个PD可以共享一个微透镜，并且可以由像素壁分开。通过微透镜入射的光可以沿路径不同地折射以彼此分离。因为图像是由同一个透镜水平形成的，所以当焦点匹配并且在像素的排列方向上存在被摄体(subject)时，水平定位的像素的特性和等级值可能会发生变化。在这种情况下，在竖直方向上分离的边缘导致了无论焦点是否匹配都不能检测到理想值的问题。
当使用包括在水平方向和竖直方向上分离的4(2x2)个PD的4PD图像传感器时，AF检测电路同时执行水平方向上的计算和竖直方向上的计算，因此其中需要相对较多的缓冲器来检查彼此相邻的像素之间的相关性。此外，计算过程变得复杂并且可能由于功耗或成本的增加而出现问题。
技术解决方案
本公开的各种实施例可以使用由4PD图像传感器获得的数据同时或顺序地处理多个方向上的AF数据。
根据本公开的一个方面，提供了一种电子装置。所述电子装置可以包括：图像传感器，所述图像传感器包括多个像素；AF处理单元，所述AF处理单元执行计算以基于相位差执行自动对焦；存储器；以及控制器，所述控制器将由图像传感器获得的数据递送到AF处理单元或存储器。包括在所述多个像素中的每个像素可以包括多个光电二极管和覆盖所述多个光电二极管的微透镜。控制器可以向AF处理单元提供所述多个光电二极管之中沿第一方向排列的光电二极管的第一AF数据或所述多个光电二极管之中沿第二方向排列的光电二极管的第二AF数据中的至少一者。AF处理单元可以基于第一AF数据执行第一相位自动对焦(PAF)计算，或者可以基于第二AF数据执行第二PAF计算。
有利效果
根据本公开中公开的实施例的电子装置可以使用由图像传感器获得的数据同时或顺序地处理多个方向上的AF数据。
根据本公开中公开的实施例的电子装置可以检测边缘的方向性，并且可以在边缘方向上对AF数据进行重新排序，从而简化AF检测电路的计算。
根据本公开中公开的实施例的电子装置可以通过对图像传感器的AF数据的旋转或重新排序来减少计算时间并且可以提高AF精度。
附图说明
图1示出了根据实施例的能够捕获图像的电子装置；
图2示出了根据实施例的图像传感器的配置；
图3是示出根据各种实施例的描述对象的边缘方向和AF检测的图；
图4示出了根据各种实施例的相机模块；
图5是根据各种实施例的图像数据和AF数据的输出时序图；
图6示出了根据各种实施例的在拜耳模式中使用两个2PD PAF电路的AF处理；
图7a示出了根据各种实施例的在拜耳模式中使用一个2PD PAF电路的AF处理；
图7b是根据各种实施例的处理图像数据和AF数据的输出时序图；
图8a示出了根据各种实施例的在拜耳模式中使用方向滤波器的AF处理；
图8b是根据各种实施例的使用方向滤波器的选择性AF处理的输出时序图；
图9示出了根据各种实施例的在处理模式中使用两个2PD PAF电路的AF处理；
图10示出了根据各种实施例的在处理模式中使用一个2PD PAF电路的AF处理；
图11示出了根据各种实施例的在处理模式中使用方向滤波器的AF处理；
图12a和图12b是示出根据各种实施例的通过方向滤波器检测多个方向上的边缘并执行PAF计算的图；
图13是示出根据各种实施例的网络环境中的电子装置的框图；并且
图14是示出根据各种实施例的相机模块的框图。
关于附图的描述，相同或相似的部件可以使用相同或相似的标号。
具体实施方式
在下文中，参考附图描述本公开的各种实施例。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例做出各种修改、等同物和/或替代物。关于附图的描述，相似的部件可以使用相似的标号。
图1示出了根据实施例的能够捕获图像的电子装置。
参考图1，根据实施例的电子装置100可以基于使用相机模块(或相机装置)110获得的图像数据来生成预览图像，并且可以将所生成的预览图像输出到显示器120。
相机模块110可以包括例如包括一个或多个透镜的透镜组件和图像传感器。图像传感器的每个像素可以包括多个光电二极管。
在第一屏幕101上，电子装置100可以通过由共享微透镜的多个光电二极管(以下称为PD)生成的光程差来生成相位差数据(或深度数据)。
在第二屏幕105上，电子装置100可以基于所生成的相位差数据通过移动相机模块110中包括的一个或多个透镜来调整对外部对象150的焦点。因此，电子装置100可以在显示器120上显示聚焦于外部对象的预览图像。
在图1中说明性地示出了相机模块110是电子装置100的前置相机，但不限于此。例如，相机模块110可以设置在电子装置100的后表面或侧表面中的至少一者上。
图2示出了根据实施例的图像传感器的配置。
参考图2，包括在相机模块(例如，图1的相机模块110)中的图像传感器200可以包括多个像素。在图2中说明性地示出图像传感器200基于由4PD图像传感器生成的信号输出拜耳模式的图像，但不限于此。
根据实施例，多个像素中的一个210可以包括微透镜205、滤色器206、第一PD(或第一子像素)(PD1)211、第二PD(或第二子像素)(PD2)212、第三PD(或第三子像素)(PD3)213和第四PD(或第四子像素)(PD4)214。
微透镜205可以覆盖第一至第四PD 211、212、213和214。微透镜205可以调整入射光的路径，使得从外部入射的光可以到达第一至第四PD 211、212、213和214。
滤色器206可以设置在微透镜205与第一至第四PD 211、212、213和214之间，以通过指定波长范围(例如，对应于绿光的波长范围)的光。滤色器206可以仅允许光中的指定波长范围的光穿过微透镜205，并且可以限制除指定波长范围之外的光。
第一至第四PD 211、212、213和214中的每一个可以将穿过微透镜205和滤色器206的光转换成电信号。
从外部引入的光可以被微透镜205折射以改变前进路径。穿过微透镜205的光可以被直接引入PD中，或者可以从PD之间的像素壁W反射以引入PD中。
图3是示出根据各种实施例的描述对象的边缘方向和AF检测的图。
参考图3，图像传感器200可以包括多个像素。所述多个像素中的一个210可以被一个微透镜205覆盖。例如，所述一个像素210可以包括第一至第四PD 211、212、213和214。
布置在竖直方向上的第一对象310可以形成水平方向上的边缘311。水平分离的两个像素(例如，第一PD 211和第二PD 212)可以由像素壁312分开。通过微透镜205入射的光可以沿路径不同地折射以彼此分离。因为图像是由同一个微透镜205形成的，所以对于具有相同焦点并且存在于像素排列方向上的第一对象310，水平定位的像素(例如，第一PD 211和第二PD 212)的特性和等级值可能会发生变化。
布置在水平方向上的第二对象320可以形成竖直方向上的边缘321。竖直分离的两个像素(例如，第一PD 211和第二PD 212)可以由像素壁322分开。通过微透镜205入射的光可以沿路径不同地折射以彼此分离。因为图像是由同一个微透镜形成的，所以对于具有相同焦点并且存在于像素排列方向上的第二对象320，竖直定位的像素(例如，第一PD 211和第三PD 213)的特性和等级值可能会发生变化。
图4示出了根据各种实施例的相机模块。
参考图4，相机模块400可以包括图像传感器410、控制器420、存储器430、图像处理单元440和AF处理单元450。图4是按功能分开的，但不限于此。例如，图像传感器410和控制器420可以整合为一个，或者控制器420和AF处理单元450可以整合为一个。
图像传感器410可以将从外部入射的光转换成电信号。图像传感器410可以由多个像素组成。每个像素可以包括多个PD。在下文中，将描述每个像素包括四个PD的情况，但不限于此。
根据实施例，图像传感器410可以生成用于拍摄照片或运动图像的图像数据或者用于显示预览屏幕的图像数据。此外，图像传感器410可以生成用于执行AF的数据(或信号)(以下称为AF数据)。
根据实施例，当图像传感器410由共享同一个微透镜的多个PD组成时，可以以排列的顺序(例如，拜耳模式)输出多个PD的数据。根据另一个实施例，图像传感器410可以生成并输出通过诸如合并的输出模式处理的格式的信号以减少输出数据。图像传感器410可以根据像素的排列并且在必要时输出通过在水平/竖直方向或对角方向上执行图像处理而处理的格式的信号。
控制器(或预处理单元或数据转换单元)420可以处理从图像传感器410接收到的图像数据或AF数据。控制器420可以将图像数据提供给图像处理单元(例如，ISP)440。控制器420可以将AF数据临时存储在存储器430中，或者可以将AF数据递送到AF处理单元450。
控制器420可以从图像传感器410的AF数据检测到方向性，以便针对水平和竖直或更多的方向进行准确且简单的AF计算，并且可以在主导方向上对数据进行重新排序，使得AF处理单元450执行AF计算。
例如，控制器420可以在第一方向(例如，水平方向)上保持AF数据，并且可以在第二方向(例如，竖直方向)上旋转AF数据或对其进行重新排序，并且可以将AF数据递送到AF处理单元450。因此，AF处理单元450可以一致地执行PAF计算，而不管方向性如何。
根据实施例，控制器420可以将从图像传感器410接收到的图像数据或AF数据转换并递送到存储器430、图像处理单元440或AF处理单元450，或者可以将图像数据或AF数据递送到存储器430、图像处理单元440或AF处理单元450而无需单独的转换任务。
根据各种实施例，控制器420可以包括方向滤波器421或旋转器422。方向滤波器421可以用于确定对象的边缘方向之中的主导方向。旋转器422可以改变AF数据的方向以将AF数据改变为能够被AF处理单元450容易地处理的数据的形式。
存储单元430可以存储AF数据(或转换的AF数据)。例如，存储单元430可以是DRAM。可以根据边缘的方向性将存储的AF数据递送到AF处理单元450。
图像处理单元(例如，ISP)440可以处理图像数据。例如，可以处理接收的图像数据以显示为预览图像。
AF处理单元450可以基于接收的AF数据使用相位差来执行AF(PAF)。AF处理单元450可以包括至少一个或多个PAF电路451。在图4中说明性地示出了包括一个PAF电路，但不限于此。
PAF电路451可以在指定方向上执行PAF计算。例如，PAF电路451可以处理包括在图像传感器410的一个像素中的多个光电二极管(例如，第一至第四PD)中的一些(例如，两个)光电二极管的AF数据。
根据实施例，PAF电路451可以使用从水平分离的像素(例如，第一PD和第二PD或者第三PD和第四PD)中提取的AF数据来执行PAF计算，或者可以使用从竖直分离的像素(例如，第一PD和第三PD或者第二PD和第四PD)中提取的AF数据来执行PAF计算。在下文中，将给出对2PD PAF电路的描述，但不限于此。
根据实施例，相机模块400可以包括分别对应于能够被图像传感器200检测到的多个边缘方向的多个PAF电路。例如，在竖直/水平方向上的边缘检测的情况下，可以包括两个PAF电路。再例如，当可以检测八个方向上的边缘时，可以包括八个PAF电路。
根据另一个实施例，相机模块400可以使用一个PAF电路对多个边缘方向执行PAF计算。例如，在竖直/水平方向上的边缘检测的情况下，可以首先执行水平方向上的边缘的PAF计算，并且可以其次执行竖直方向上的边缘的PAF计算。
根据另一个实施例，相机模块400可以使用一个PAF电路确定边缘方向之中的主导方向，针对一个主导方向执行PAF，并且可能无法或者辅助地继续进行针对其他方向的PAF。
根据各种实施例，由控制器420、图像处理单元440或AF处理单元450执行的功能中的至少一些可以由包括相机模块400的电子装置(例如，图1的电子装置100)的处理器(例如，AP)来执行。
根据各种实施例，控制器420、图像处理单元440或AF处理单元450中的至少一些可以是在硬件中分离的部件(例如，芯片)。替代性地，控制器420、图像处理单元440或AF处理单元450中的至少一些可以是在同一计算元件中的软件中分离的操作。
图5是根据各种实施例的图像数据和AF数据的输出时序图。
参考图5，当图像传感器410的使能信号501的状态改变时，图像传感器410可以输出图像数据(例如，拜耳信号)510。图像传感器410可以以比图像数据(例如，拜耳信号)510更长的时间间隔输出与图像数据(例如，拜耳信号)510一起输出的AF数据520。
图像传感器410可以在一个方向上处理AF数据以从图像数据(例如，拜耳信号)510获得AF，并且可以通过合并等方式输出具有比图像数据(例如，拜耳信号)510更小的分辨率的AF数据520。
在图5中说明性地示出了水平方向上的AF数据AF_LR 521和竖直方向上的AF数据AF_TB 522是以相同的时序输出的，但不限于此。例如，水平方向上的AF数据AF_LR 521和竖直方向上的AF数据AF_TB 522是以不同的时序输出的。
图6示出了根据各种实施例的在拜耳模式中使用两个2PD PAF电路的AF处理。在图6中说明性地示出了两个2PDPAF电路，但不限于此。
参考图6，4PD图像传感器610可以在一个像素中包括四个PD。4PD图像传感器610可以顺序地读出包括在每个像素中的PD以生成多PD信号(或原始数据)601。
图像生成器620可以整合一个像素中包括的四个PD的值以生成图像数据602。图像生成器620可以将图像数据602发送到图像处理单元(例如，ISP)625。
第一AF数据生成器630可以将多PD信号601中的第一方向(例如，水平方向)上的AF数据603递送到第一PAF电路635。
第二AF数据生成器640可以将多PD信号601中的第二方向(例如，竖直方向)上的AF数据604递送到第二PAF电路645。
第一PAF电路635和第二PAF电路645中的每一个可以针对不同的方向执行PAF计算。第一PAF电路635和第二PAF电路645可以同时执行PAF计算。因此，可以执行快速且准确的AF。
在图6中说明性地示出了包括两个PAF电路，但不限于此。例如，可以由八个PAF电路同时且分别处理八个方向的AF数据。
图7a示出了根据各种实施例的在拜耳模式中使用一个2PDPAF电路的AF处理。
参考图7a，4PD图像传感器710可以在一个像素中包括四个PD。4PD图像传感器710可以顺序地读出包括在每个像素中的PD以生成多PD信号(或原始数据)701。
图像生成器720可以整合一个像素中包括的四个PD的值以生成主图像数据702。图像生成器720可以将图像数据702发送到图像处理单元(例如，ISP)725。
AF数据生成器730可以将多PD信号701转换成能够由PAF电路735处理的AF数据703，并且可以将AF数据703存储在存储器(例如，DRAM)750中。例如，可以存储竖直数据703a和水平数据703b。
存储器750可以存储AF数据703。存储单元740可以是包括在相机模块中的存储器缓冲器或独立于相机模块形成的存储器区域。
PAF电路735可以处理来自存储器750的针对每个方向存储的AF数据703。根据实施例，PAF电路735可以根据方向顺序地处理AF数据703。例如，PAF电路735可以首先处理水平数据703b并且可以其次处理竖直数据703a。
根据实施例，旋转器760可以旋转除第一方向(例如，水平方向)之外的其他方向上的信号并将其递送到PAF电路735。
例如，竖直数据703a可以旋转90度以提供给PAF电路735(703a-1)。因此，水平数据703b和转换后的竖直数据703a-1可以具有彼此相似的数据结构，并且可以简化PAF电路735的计算过程。
图7b是根据各种实施例的处理图像数据和AF数据的输出时序图。
参考图7b，响应于图像传感器710的时序信号SENSOR_VSYNC，图像传感器710可以以指定的时间间隔存储AF数据SAVE_LR和SAVE_TB。
PAF电路735可以在水平数据SAVE_LR的存储完成时使用水平数据SAVE_LR启动PAF。水平方向的PAF(AF_LR)可以在水平数据SAVE_LR的存储结束的同时完成(或者随着水平数据SAVE_LR的存储的一部分被延迟而完成)。
在完成水平方向的PAF之后，PAF电路735可以使用存储的竖直数据SAVE_TB来启动PAF(AF_TB)。使用竖直数据SAVE_TB的PAF可以在存储竖直数据SAVE_TB的状态(时序信号SENSOR_VSYNC为低的状态)下继续进行。
AF数据可以被转换成比要输出的图像数据小的尺寸。使用水平方向的PAF(AF_LR)或竖直数据SAVE_TB可以在相对较短的时间内处理PAF(AF_TB)。由于具有不同的读出方向，在所有帧的读出完成之后，使用竖直数据SAVE_TB来继续进行PAF(AF_TB)是可能的。
根据各种实施例，PAF电路735可以在时序信号SENSOR_VSYNC为低的状态下针对多个方向执行PAF计算。例如，PAF电路735可以在时序信号SENSOR_VSYNC为低的状态下针对竖直方向、45度方向和125度方向上的多个方向执行PAF计算。
图8a示出了根据各种实施例的在拜耳模式中使用方向滤波器的AF处理。
参考图8a，4PD图像传感器810可以在一个像素中包括四个PD。4PD图像传感器810可以顺序地读出包括在每个像素中的PD以生成多PD信号(或原始数据)801。
图像生成器820可以整合一个像素中包括的四个PD的值以生成主图像数据802。图像生成器820可以将图像数据802发送到图像处理单元(例如，ISP)825。
AF数据生成器830可以将多PD信号801转换成能够由PAF电路835处理的AF数据803，并且可以将AF数据803存储在存储器(例如，DRAM)850中。例如，可以存储竖直数据803a和水平数据803b。
存储器850可以存储AF数据803。存储单元840可以是包括在相机模块中的存储器缓冲器或独立于相机模块形成的存储器区域。
方向滤波器860可以使用AF数据803检测边缘方向。PAF电路835可以处理来自存储器850的针对每个方向存储的AF数据803之中的针对一个方向的AF数据。PAF电路835可以针对通过方向滤波器860确定的一个方向执行一次PAF计算。
例如，可以在水平数据703a与竖直数据703b之间选择作为根据边缘的排列方向(或对象的排列方向)的一个方向的竖直数据803a。PAF电路835可以通过旋转器860旋转竖直数据803a(803a-1)以执行一次PAF计算。
根据实施例，旋转器860可以旋转除第一方向(例如，水平方向)之外的其他方向上的信号并将其递送到PAF电路835。例如，竖直数据803a可以旋转90度以递送给PAF电路835(803a-1)。因此，水平数据803b和转换后的竖直数据803a-1可以具有彼此相似的数据结构，并且可以简化PAF电路835的计算过程。
图8b是根据各种实施例的使用方向滤波器的选择性AF处理的输出时序图。
参考图8b，响应于图像传感器810的时序信号SENSOR_VSYNC，图像传感器810可以以指定的时间间隔存储AF数据SAVE_LR和SAVE_TB。
当水平数据SAVE_LR和水平数据SAVE_LR的存储继续进行时，PAF电路835可以使用方向滤波器870执行边缘检测(或图像的方向性确定)。
在水平数据SAVE_LR和水平数据SAVE_LR的存储结束之后，PAF电路835可以针对通过方向滤波器870选择的一个方向继续进行PAF。在时序信号SENSOR_VSYNC为低的状态下，可以进行一次PAF。
图9示出了根据各种实施例的在处理模式中使用两个2PD PAF电路的AF处理。在图9中说明性地示出了两个2PDPAF电路，但不限于此。
参考图9，4PD图像传感器910可以在一个像素中包括四个PD。4PD图像传感器910可以整合一个像素中包括的四个PD的值以生成图像数据902。4PD图像传感器910可以将图像数据902发送到图像处理单元(例如，ISP)925。
4PD图像传感器910可以将通过在第一方向(例如，水平方向)上处理AF数据而获得的第一处理数据903递送到第一PAF电路935。
4PD图像传感器910可以将通过在第二方向(例如，竖直方向)上处理AF数据而获得的第二处理数据904递送到第二PAF电路945。
第一PAF电路935和第二PAF电路945中的每一个可以针对不同的方向执行PAF计算。第一PAF电路935和第二PAF电路945可以同时执行PAF计算。因此，可以执行快速且准确的AF。
在图9中说明性地示出了包括两个PAF电路，但不限于此。例如，可以由八个PAF电路同时且分别处理八个方向的AF数据。
图10示出了根据各种实施例的在处理模式中使用一个2PDPAF电路的AF处理。
参考图10，4PD图像传感器1010可以在一个像素中包括四个PD。4PD图像传感器1010可以整合一个像素中包括的四个PD的值以生成图像数据1002。4PD图像传感器1010可以将图像数据1002发送到图像处理单元(例如，ISP)1025。
4PD图像传感器1010可以将通过在第一方向(例如，水平方向)上处理AF数据而获得的第一处理数据903存储在存储器(例如，DRAM)1050中。例如，可以存储竖直数据1003a和水平数据1003b。
存储器1050可以存储AF数据1003。存储单元1040可以是包括在相机模块中的存储器缓冲器或独立于相机模块形成的存储器区域。
PAF电路1035可以处理来自存储器1050的针对每个方向存储的AF数据1003。根据实施例，PAF电路1035可以根据方向顺序地处理AF数据1003。例如，PAF电路1035可以首先处理水平数据1003b并且可以其次处理竖直数据1003a。
根据实施例，旋转器1060可以旋转除第一方向(例如，水平方向)之外的其他方向上的信号并将其递送到PAF电路1035。例如，竖直数据1003a可以旋转90度以提供给PAF电路1035(1003a-1)。因此，水平数据1003b和转换后的竖直数据1003a-1可以具有彼此相似的数据结构，并且可以简化PAF电路1035的计算过程。
图11示出了根据各种实施例的在处理模式中使用方向滤波器的AF处理。
参考图11，4PD图像传感器1110可以在一个像素中包括4个PD。4PD图像传感器1110可以整合一个像素中包括的四个PD的值以生成图像数据1102。4PD图像传感器1110可以将图像数据1102发送到图像处理单元(例如，ISP)1125。
4PD图像传感器1110可以将通过在第一方向(例如，水平方向)上处理AF数据而获得的第一处理数据1103存储在存储器(例如，DRAM)1150中。例如，可以存储竖直数据1103a和水平数据1103b。
存储器1150可以存储AF数据1103。存储单元1140可以是包括在相机模块中的存储器缓冲器或独立于相机模块形成的存储器区域。
方向滤波器1160可以使用AF数据1103检测边缘方向。PAF电路1135可以处理来自存储器1150的针对每个方向存储的AF数据1103之中的针对一个方向的AF数据。PAF电路1135可以针对通过方向滤波器1160确定的一个方向执行一次PAF计算。
例如，可以在水平数据1103a与竖直数据1103b之间选择作为根据边缘的排列方向(或对象的排列方向)的一个方向的竖直数据1103a。PAF电路1135可以通过旋转器1160旋转竖直数据1103a(1103a-1)以执行一次PAF计算。
根据实施例，旋转器1160可以旋转除第一方向(例如，水平方向)之外的其他方向上的信号并将其递送到PAF电路1135。例如，竖直数据1103a可以旋转90度以提供给PAF电路1135(1103a-1)。因此，水平数据1103b和转换后的竖直数据1103a-1可以具有彼此相似的数据结构，并且可以简化PAF电路1135的计算过程。
图12a和图12b是示出根据各种实施例的通过方向滤波器检测多个方向上的边缘并执行PAF计算的图。
参考图12a，4PD图像传感器1210可以在一个像素中包括四个PD。4PD图像传感器1210可以顺序地读出包括在每个像素中的PD以生成多PD信号(或原始数据)1201。
方向滤波器1270可以比较使用多PD信号(或原始数据)的AF数据中的多个方向的检测值，以检测图像的方向性(边缘方向)。例如，当在AF数据的所有像素之中第一部分和第二部分的数据被外部物体改变为指定值或更大时，可以确定第一部分和第二部分的边界(边缘)形成。
例如，在图12b中，4PD图像传感器1210的第一部分1201a1和第二部分1201a2的数据可以被第一对象1251改变为指定值或更大。方向滤波器1270可以比较图像数据的值以检测垂直于第一部分1201a1和第二部分1201a2的边界的边缘方向1251a作为第五方向(0度)。
再例如，4PD图像传感器1210的第一部分1201b1和第二部分1201b2的数据可以被第二对象1252改变为指定值或更大。方向滤波器1270可以比较图像数据的值以检测垂直于第一部分1201b1和第二部分1201b2的边界的边缘方向1252a作为第三方向(45度)。
例如，4PD图像传感器1210的第一部分1201c1和第二部分1201c2的数据可以被第三对象1253改变为指定值或更大。方向滤波器1270可以比较图像数据的值以检测垂直于第一部分1201c1和第二部分1201c2的边界的边缘方向1253a作为第一方向(90度)。
再例如，4PD图像传感器1210的第一部分1201d1和第二部分1201d2的数据可以被第四对象1254改变为指定值或更大。方向滤波器1270可以比较图像数据的值以检测垂直于第一部分1201d1和第二部分1201d2的边界的边缘方向1254a作为第七方向(135度)。
重新排序单元1280可以针对每个方向(或主要设置边缘的方向)旋转AF数据或对其进行重新排序。重新排序单元1280可以在垂直于第一部分1201a1、1201b1、1201c1或1201d1和第二部分1201a2、1201b2、1201c2或1201d2的边界的边缘方向1251a、1252a、1253a或1254a上旋转AF数据或对其进行重新排序。因此，PAF电路1235可以根据边缘的方向性执行PAF计算。
尽管PAF电路1235执行确定的计算而不考虑关于方向性的信息，但是它可以根据边缘的方向性执行PAF计算以获得具有高可靠性的PAF结果。PAF电路1235可以提取每个方向的统计值并且可以执行AF确定。
图13是根据本公开的各种实施例的网络环境1300中的电子装置1301的框图。根据本文档中公开的各种实施例的电子装置可以是各种类型的装置。电子装置包括例如便携式通信装置(例如，智能电话)、计算机装置(例如，个人数字助理；PDA)、平板PC、膝上型PC(台式PC、工作站或服务器)、便携式多媒体装置(例如，电子书阅读器或MP3播放器)、便携式医疗装置(例如，心跳测量装置、血糖监测装置、血压测量装置和体温测量装置)、相机或可穿戴装置中的至少一者。可穿戴装置可以包括附件类型(例如手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或服装集成类型(例如电子服装)、身体附着类型(例如皮肤垫或纹身)或生物植入类型(例如植入式电路)中的至少一者。根据各种实施例，电子装置可以包括例如电视(TV)、数字多功能盘(DVD)播放器、音频、音频附件装置(例如扬声器、耳机或头戴式耳机)、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、游戏控制台、电子词典、电子钥匙、摄像机或电子相框中的至少一者。
在另一个实施例中，电子装置可以包括导航装置、卫星导航系统(例如，全球导航卫星系统(GNSS))、事件数据记录器(EDR)(例如，汽车、轮船或飞机的黑匣子)、车辆信息娱乐装置(例如，车辆的平视显示器)、工业或家用机器人、无人机、自动柜员机(ATM)、销售点(POS)、测量仪器(例如，水表、电表或煤气表)或物联网(例如，灯泡、洒水装置、火警、恒温器或路灯)中的至少一者。根据本公开实施例的电子装置可以不限于上述装置，并且可以提供多个装置的功能，如具有个人生物信息(例如，心率或血糖)测量功能的智能手机。在本公开中，术语“用户”可以指使用电子装置的人，或者可以指使用所述电子装置的装置(例如，人工智能电子装置)。
图13是示出根据各种实施例的网络环境1300中的电子装置1301(如图1的可折叠电子装置101)的框图。参照图13，网络环境1300中的电子装置1301可经由第一网络1398(例如，短距离无线通信网络)与电子装置1302进行通信，或者经由第二网络1399(例如，长距离无线通信网络)与电子装置1304或服务器1308的至少一个进行通信。根据实施例，电子装置1301可经由服务器1308与电子装置1304进行通信。根据实施例，电子装置1301可包括处理器1320、存储器1330、输入装置1350、声音输出装置1355、显示装置1360、音频模块1370、传感器模块1376、接口1377、连接端1378、触觉模块1379、相机模块1380、电力管理模块1388、电池1389、通信模块1390、用户识别模块(SIM)1396或天线模块1397。在一些实施例中，可从电子装置1301中省略所述部件中的至少一个(例如，连接端1378)，或者可将一个或更多个其它部件添加到电子装置1301中。在一些实施例中，可将一些部件(例如，传感器模块1376，相机模块1380或天线模块1397)实现为单个组件(例如，显示装置1360)。
处理器1320可运行例如软件(例如，程序1340)来控制电子装置1301的与处理器1320连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器1320可将从另一部件(例如，传感器模块1376或通信模块1390)接收到的命令或数据加载到易失性存储器1332中，对存储在易失性存储器1332中的命令或数据进行处理，并将结果数据存储在非易失性存储器1334中。根据实施例，处理器1320可包括主处理器1321(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器1321在操作上独立的或者相结合的辅助处理器1323(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置1301包括主处理器1321和辅助处理器1323时，辅助处理器1323可被适配为比主处理器1321耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器1323实现为与主处理器1321分离，或者实现为主处理器1321的部分。
在主处理器1321处于未激活(例如，睡眠)状态时，辅助处理器1323(而非主处理器1321)可控制与电子装置1301的部件之中的至少一个部件(例如，显示装置1360、传感器模块1376或通信模块1390)相关的功能或状态中的至少一些，或者在主处理器1321处于激活状态(例如，运行应用)时，辅助处理器1323可与主处理器1321一起来控制与电子装置1301的部件之中的至少一个部件(例如，显示装置1360、传感器模块1376或通信模块1390)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器1323(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器1323相关的另一部件(例如，相机模块1380或通信模块1390)的部分。根据实施例，辅助处理器1323(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置1301或经由单独的服务器(例如，服务器1308)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器1330可存储由电子装置1301的至少一个部件(例如，处理器1320或传感器模块1376)使用的各种数据。所述各种数据可包括例如软件(例如，程序1340)以及针对与其相关的命令的输入数据或输出数据。存储器1330可包括易失性存储器1332或非易失性存储器1334。
可将程序1340作为软件存储在存储器1330中，并且程序1340可包括例如操作系统(OS)1342、中间件1344或应用1346。
输入装置1350可从电子装置1301的外部(例如，用户)接收将由电子装置1301的其它部件(例如，处理器1320)使用的命令或数据。输入装置1350可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出装置1355可将声音信号输出到电子装置1301的外部。声音输出装置1355可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置1360可向电子装置1301的外部(例如，用户)视觉地提供信息。显示装置1360可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置1360可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块1370可将声音转换为电信号，反之亦可。根据实施例，音频模块1370可经由输入装置1350获得声音，或者经由声音输出装置1355或与电子装置1301直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置1302)的耳机输出声音。
传感器模块1376可检测电子装置1301的操作状态(例如，功率或温度)或电子装置1301外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块1376可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口1377可支持将用来使电子装置1301与外部电子装置(例如，电子装置1302)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口1377可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端1378可包括连接器，其中，电子装置1301可经由所述连接器与外部电子装置(例如，电子装置1302)物理连接。根据实施例，连接端1378可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块1379可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块1379可包括例如电机、压电元件或电刺激器。
相机模块1380可捕获静止图像或运动图像。根据实施例，相机模块1380可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块1388可管理对电子装置1301的供电。根据实施例，可将电力管理模块1388实现为例如电力管理集成电路(PMIC)的至少部分。
电池1389可对电子装置1301的至少一个部件供电。根据实施例，电池1389可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块1390可支持在电子装置1301与外部电子装置(例如，电子装置1302、电子装置1304或服务器1308)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块1390可包括能够与处理器1320(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块1390可包括无线通信模块1392(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块1394(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络1398(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络1399(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块1392可使用存储在用户识别模块1396中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络1398或第二网络1399)中的电子装置1301。
天线模块1397可将信号或电力发送到电子装置1301的外部(例如，外部电子装置)或者从电子装置1301的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块1397可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块1397可包括多个天线。在这种情况下，可由例如通信模块1390(例如，无线通信模块1392)从所述多个天线中选择适合于在通信网络(诸如第一网络1398或第二网络1399)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块1390和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块1397的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络1399连接的服务器1308在电子装置1301和外部电子装置1304之间发送或接收命令或数据。电子装置1302和电子装置1304中的每一个可以是与电子装置1301相同类型的装置，或者是与电子装置1301不同类型的装置。根据实施例，将在电子装置1301运行的全部操作或一些操作可在外部电子装置1302、外部电子装置1304或服务器1308中的一个或更多个运行。例如，如果电子装置1301应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置1301可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置1301除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置1301。电子装置1301可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图14是示出根据各种实施例的相机模块1380的框图1400。
参照图14，相机模块1380可包括镜头组件1410、闪光灯1420、图像传感器1430、图像稳定器1440、存储器1450(例如，缓冲存储器)或图像信号处理器1460。镜头组件1410可采集从将被拍摄图像的物体发出或反射的光。镜头组件1410可包括一个或更多个透镜。根据实施例，相机模块1380可包括多个镜头组件1410。在这种情况下，相机模块1380可形成例如双相机、360度相机或球形相机。多个镜头组件1410中的一些镜头组件1410可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件1410可包括例如广角镜头或长焦镜头。
闪光灯1420可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯1420可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器1430可通过将从物体发出或反射并经由镜头组件1410透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器1430可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器1430中的每个图像传感器。
图像稳定器1440可沿特定方向移动图像传感器1430或包括在镜头组件1410中的至少一个透镜，或者响应于相机模块1380或包括相机模块1380的电子装置1301的移动来控制图像传感器1430的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器1440可使用布置在相机模块1380之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块1380或电子装置1301的这样的移动。根据实施例，可将图像稳定器1440实现为例如光学图像稳定器。存储器1450可至少暂时地存储经由图像传感器1430获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳模式图像、高分辨率图像)存储在存储器1450中，并且可经由显示装置1360来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器1460来获取和处理存储在存储器1450中的原始图像的至少一部分。根据实施例，可将存储器1450配置为存储器1330的至少一部分，或者可将存储器1450配置为独立于存储器1330进行操作的分离的存储器。
图像信号处理器1460可对经由图像传感器1430获取的图像或存储在存储器1450中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器1460可对包括在相机模块1380中的部件中的至少一个部件(例如，图像传感器1430)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器1460处理的图像存储回存储器1450以用于进一步处理，或者可将该图像提供给在相机模块1380之外的外部部件(例如，存储器1330、显示装置1360、电子装置1302、电子装置1304或服务器1308)。根据实施例，可将图像信号处理器1460配置为处理器1320的至少一部分，或者可将图像信号处理器1460配置为独立于处理器1320进行操作的分离的处理器。如果将图像信号处理器1460配置为与处理器1320分离的处理器，则可由处理器1320经由显示装置1360将由图像信号处理器1460处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置1301可包括具有不同属性或功能的多个相机模块1380。在这种情况下，所述多个相机模块1380中的至少一个相机模块1380可形成例如广角相机，并且所述多个相机模块1380中的至少另一个相机模块1380可形成长焦相机。类似地，所述多个相机模块1380中的至少一个相机模块1380可形成例如前置相机，并且所述多个相机模块1380中的至少另一个相机模块1380可形成后置相机。
根据各种实施例的电子装置(例如，图1的电子装置100或图13的电子装置1301)可以包括包括多个像素的图像传感器(例如，图2的图像传感器200或图14的传感器1430)、用于基于相位差执行进行自动对焦的计算的AF处理单元(例如，图4的AF处理单元450)、存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)，以及用于传送由图像传感器(例如，图2的图像传感器或图14的图像传感器1430)获得的数据到AF处理单元或存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)的控制器(例如，图4的控制器420)。包括在多个像素中的每个像素可以包括多个光电二极管和用于覆盖多个光电二极管的微透镜。控制器(例如，图4的控制器420)可以向AF处理单元(例如，图4的AF处理单元450)提供多个光电二极管中以第一方向排列的光电二极管的第一AF数据或者多个光电二极管中以第二方向排列的光电二极管的第二AF数据中的至少一个。AF处理单元(例如，图4的AF处理单元450)可以基于第一AF数据执行第一相位自动对焦(PAF)计算，或者可以基于第二AF数据执行第二PAF计算。
根据各种实施例，AF处理单元(例如，图4的AF处理单元450)可以包括第一AF电路和第二AF电路。第二AF电路可以执行第二相位自动对焦(PAF)计算，而第一AF电路执行第一相位自动对焦(PAF)计算。
根据各种实施例，AF处理单元(例如，图4的AF处理单元450)可以包括一个AF电路。AF电路可以执行第一相位自动对焦(PAF)计算并且当第一相位自动对焦(PAF)计算结束时，可以执行第二PAF。
根据各种实施例，控制器(例如，图4的控制器420)可以旋转第二AF数据以对应于第一方向，并且可以将第二AF数据提供给AF处理单元(例如，图4的AF处理单元450)。
根据各种实施例，AF处理单元(例如，图4的AF处理单元450)可以通过方向滤波器选择第一方向或第二方向中的一个，并且可以对与选择的方向对应的AF数据执行PAF计算。
根据各种实施例，AF控制器(例如，图4的控制器420)可以将第一AF数据或第二AF数据存储在存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)中。AF控制器(例如，图4的控制器420)可以旋转或重新排序并且将第一AF数据或第二AF数据中的至少一个存储在存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)中。
根据各种实施例，AF控制器(例如，图4的控制器420)可以向AF处理单元(例如，图4的AF处理单元450)提供具有拜耳模式或处理模式的第一AF数据或第二AF数据。
根据各种实施例，AF处理单元(例如，图4的AF处理单元450)可以在第一AF数据和第二AF数据被存储在存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)中的过程期间执行第一PAF计算，并且可以在过程结束之后计算第二PAF计算。
根据各种实施例，当通过图像传感器(例如，图2的图像传感器200或图14的图像传感器1430)读出第一AF数据和第二AF数据时，AF处理单元(例如，图4的AF处理单元450)可执行第一PAF计算，并可在读出结束后执行第二PAF计算。
根据各种实施例，图像传感器(例如，图2的图像传感器200或图14的图像传感器1430)可形成为使得一个微透镜覆盖四个光电二极管。AF处理单元(例如，图4的AF处理单元450)可以比较两个光电二极管的测量值以执行PAF计算。
根据各种实施例的电子装置(例如，图1的电子装置100或图13的电子装置1301)可包括包含多个像素的图像传感器(例如，图2的图像传感器200或图14的图像传感器1430)，其中所述多个像素中包含的每个像素包括多个光电二极管和用于覆盖所述多个光电二极管的微透镜，AF处理单元(例如，图4的AF处理单元450)，用于基于相位差执行用于执行自动对焦的计算；存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)；以及控制器(例如，图4的控制器420)，用于传送由图像传感器(例如，图2的图像传感器200或图14的图像传感器1430)获得的数据到AF处理单元或存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)。控制器(例如，图4的控制器420)可以基于对应于多个方向的光电二极管的测量值来设置优先级。AF处理单元(例如，图4的AF处理单元450)可基于优先级执行PAF计算。
根据各种实施例，AF处理单元(例如，图4的AF处理单元450)可包括分别对应于多个方向的多个PAF电路。多个PAF电路中的每一个可以同时开始PAF计算。
根据各种实施例，AF处理单元(例如，图4的AF处理单元450)可包括一个AF电路。AF电路可以按优先级顺序地执行PAF计算。
根据各种实施例的在电子装置(例如，图1的电子装置100或图13的电子装置1301)中执行的用于执行自动对焦(AF)的方法可包括：通过包括多个像素的图像传感器(例如，图2的图像传感器200或图14的图像传感器1430)获得图像数据，基于所述图像数据获得包括在所述多个像素中的每个像素中包括的多个光电二极管之中沿第一方向排列的光电二极管的第一AF数据，基于所述图像数据获得所述多个光电二极管之中沿第二方向排列的光电二极管的第二AF数据，以及基于所述第一AF数据执行第一相位自动对焦(PAF)计算或者基于所述第二AF数据执行第二PAF计算。
根据各种实施例，电子装置(例如，图1的电子装置100或图13的电子装置1301)可包括第一AF电路和第二AF电路。执行第一PAF计算或第二PAF计算可以包括通过第一AF电路执行第一相位自动对焦(PAF)的同时，通过第二AF电路执行第二相位自动对焦(PAF)计算。
根据各种实施例，电子装置(例如，图1的电子装置100或图13的电子装置1301)可包括一个AF电路。执行第一PAF计算或第二PAF计算可包括使用AF电路执行第一相位自动对焦(PAF)，并且当第一相位自动对焦(PAF)计算结束时执行所述第二PAF计算。
根据各种实施例，获得第二AF数据可包括旋转第二AF数据以对应于第一方向。
根据各种实施例，执行第一PAF计算或第二PAF计算可包括通过电子装置(例如，图1的电子装置100或图13的电子装置1301)的方向滤波器选择第一方向或第二方向中的一者，并且针对与所选择的方向对应的AF数据执行PAF计算。
根据各种实施例，执行AF的方法还可以包括将所述第一AF数据或所述第二AF数据存储在电子装置(例如，图1的电子装置100或图13的电子装置1301)的存储器(例如，图4的存储器430、图13的存储器1330或图14的存储器1450)中。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接或经由第三元件与所述另一元件连接。
如这里使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器1336或外部存储器1338)中的可由机器(例如，电子装置1301)读取的一个或更多个指令的软件(例如，程序1340)。例如，在处理器的控制下，所述机器(例如，电子装置1301)的处理器(例如，处理器1320)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (15)

1.一种电子装置，包括：
图像传感器，所述图像传感器包括多个像素；
AF处理单元，所述AF处理单元被配置为基于相位差来执行用于执行自动对焦的计算；
存储器；以及
控制器，所述控制器被配置为将由所述图像传感器获得的数据递送到所述AF处理单元或所述存储器，
其中包括在所述多个像素中的每个像素包括多个光电二极管和被配置为覆盖所述多个光电二极管的微透镜，
其中所述控制器向所述AF处理单元提供所述多个光电二极管之中沿第一方向排列的光电二极管的第一AF数据或所述多个光电二极管之中沿第二方向排列的光电二极管的第二AF数据中的至少一者，并且
其中所述AF处理单元基于所述第一AF数据执行第一相位自动对焦(PAF)计算，或者基于所述第二AF数据执行第二PAF计算。
2.如权利要求1所述的电子装置，其中所述AF处理电路包括第一AF电路和第二AF电路，并且
其中，在所述第一AF电路执行第一相位自动对焦(PAF)计算时，所述第二AF电路执行第二相位自动对焦(PAF)计算。
3.如权利要求1所述的电子装置，其中所述AF处理单元包括一个AF电路，并且
其中AF电路执行第一相位自动对焦(PAF)计算，并且当所述第一相位自动对焦(PAF)计算结束时执行第二PAF。
4.如权利要求1所述的电子装置，其中所述控制器旋转所述第二AF数据以对应于所述第一方向并向所述AF处理单元提供所述第二AF数据。
5.如权利要求1所述的电子装置，其中所述AF处理单元通过方向滤波器选择所述第一方向或所述第二方向中的一者，并且针对与所选择的方向对应的AF数据执行PAF计算。
6.如权利要求1所述的电子装置，其中所述控制器将所述第一AF数据或所述第二AF数据存储在所述存储器中。
7.如权利要求6所述的电子装置，其中所述控制器旋转所述第一AF数据或所述第二AF数据中的至少一者或对其进行重新排序并将其存储在所述存储器中。
8.如权利要求1所述的电子装置，其中所述控制器向所述AF处理单元提供具有拜耳模式或处理模式的所述第一AF数据或所述第二AF数据。
9.如权利要求1所述的电子装置，其中所述AF处理单元在将所述第一AF数据和所述第二AF数据存储在所述存储器中的过程中执行所述第一PAF计算，并在所述过程结束之后计算所述第二PAF计算。
10.如权利要求1所述的电子装置，其中所述AF处理单元在所述图像传感器读出所述第一AF数据和所述第二AF数据的同时执行第一PAF计算，并在所述读出结束之后执行第二PAF计算。
11.如权利要求1所述的电子装置，其中所述图像传感器被形成为使得一个微透镜覆盖四个光电二极管，并且
其中所述AF处理单元比较两个光电二极管的测量值以执行PAF计算。
12.如权利要求1所述的电子装置，其中所述控制器基于对应于多个方向的光电二极管的测量值设置优先级，并且
其中所述AF处理单元基于所述优先级来执行PAF计算。
13.如权利要求12所述的电子装置，其中所述AF处理电路包括分别对应于所述多个方向的多个PAF电路，并且
其中所述多个PAF电路中的每一个同时开始所述PAF计算。
14.如权利要求12所述的电子装置，其中所述AF处理单元包括一个AF电路，并且
其中AF电路按所述优先级顺序地执行PAF计算。
15.一种用于执行在电子装置中执行的自动对焦(AF)的方法，所述方法包括：
通过包括多个像素的图像传感器获得图像数据；
基于所述图像数据获得包括在所述多个像素中的每个像素中包括的多个光电二极管之中沿第一方向排列的光电二极管的第一AF数据；
基于所述图像数据获得所述多个光电二极管之中沿第二方向排列的光电二极管的第二AF数据；以及
基于所述第一AF数据执行第一相位自动对焦(PAF)计算或者基于所述第二AF数据执行第二PAF计算。
CN202180012317.5A 2020-02-04 2021-02-04 用于执行自动对焦的电子装置和方法 Pending CN115066882A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200013175A KR20210099379A (ko) 2020-02-04 2020-02-04 전자 장치 및 af 수행 방법
KR10-2020-0013175 2020-02-04
PCT/KR2021/001496 WO2021158043A1 (ko) 2020-02-04 2021-02-04 전자 장치 및 오토 포커스 수행 방법

Publications (1)

Publication Number Publication Date
CN115066882A true CN115066882A (zh) 2022-09-16

Family

ID=77200265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012317.5A Pending CN115066882A (zh) 2020-02-04 2021-02-04 用于执行自动对焦的电子装置和方法

Country Status (5)

Country Link
US (1) US20220359597A1 (zh)
EP (1) EP4087232A4 (zh)
KR (1) KR20210099379A (zh)
CN (1) CN115066882A (zh)
WO (1) WO2021158043A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4254977A4 (en) * 2022-01-21 2024-04-03 Samsung Electronics Co Ltd ELECTRONIC DEVICE COMPRISING AN IMAGE SENSOR AND ASSOCIATED OPERATING METHOD

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017250B2 (en) * 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
JP5856376B2 (ja) * 2011-01-27 2016-02-09 キヤノン株式会社 撮像装置及びその制御方法
EP3245547A4 (en) * 2015-01-14 2018-12-26 Invisage Technologies, Inc. Phase-detect autofocus
CN107105141B (zh) * 2017-04-28 2019-06-28 Oppo广东移动通信有限公司 图像传感器、图像处理方法、成像装置和移动终端
US10440301B2 (en) * 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
KR20190042353A (ko) * 2017-10-16 2019-04-24 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Also Published As

Publication number Publication date
EP4087232A1 (en) 2022-11-09
KR20210099379A (ko) 2021-08-12
WO2021158043A1 (ko) 2021-08-12
EP4087232A4 (en) 2023-09-27
US20220359597A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
US11048923B2 (en) Electronic device and gesture recognition method thereof
CN109672827B (zh) 用于组合多个图像的电子装置及其方法
US11102409B2 (en) Electronic device and method for obtaining images
CN109756763B (zh) 用于基于优先级处理图像的电子装置及其操作方法
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US11509815B2 (en) Electronic device and method for processing image having human object and providing indicator indicating a ratio for the human object
US20210248218A1 (en) Electronic device and method for recognizing object
CN112840644A (zh) 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
CN113366527A (zh) 用于处理图像的电子装置和方法
US20190272423A1 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
US20200204747A1 (en) Electronic device and method for obtaining data from second image sensor by means of signal provided from first image sensor
US20220359597A1 (en) Electronic device, and method for performing autofocus
KR20190114242A (ko) 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치
CN111788568B (zh) 利用相机感测多个波长带宽生成多个信息的方法及其设备
US20240086512A1 (en) Electronic device including image sensor and dynamic vison sensor, and operation method thereof
US20240098347A1 (en) Electronic device comprising image sensor and dynamic vision sensor, and operating method therefor
US20230026684A1 (en) Biometric authentication system and electronic device for same
US20220294986A1 (en) Electronic device, method for controlling the same, and recording medium of recording program
CN117546476A (zh) 对图像应用散景效果的电子装置及其运行方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination