CN115428433A - 采用相位检测自动聚焦(pdaf)光学系统的方法和装置 - Google Patents

采用相位检测自动聚焦(pdaf)光学系统的方法和装置 Download PDF

Info

Publication number
CN115428433A
CN115428433A CN202180028726.4A CN202180028726A CN115428433A CN 115428433 A CN115428433 A CN 115428433A CN 202180028726 A CN202180028726 A CN 202180028726A CN 115428433 A CN115428433 A CN 115428433A
Authority
CN
China
Prior art keywords
interest
pixels
region
focused
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180028726.4A
Other languages
English (en)
Inventor
崔楠
Z·肖
W·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN115428433A publication Critical patent/CN115428433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本文公开了采用PDAF光学系统的装置和方法。示例装置包括：包括多个像素的图像传感器。多个像素包括可被配置为成像像素或聚焦像素的像素集合。图像传感器被配置为基于在多个像素处的接收到的光来生成场景的图像数据。处理器可以被配置为：接收场景的第一帧的第一图像数据；确定第一帧的至少一个感兴趣区域或非感兴趣区域；基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择像素集合的要作为聚焦像素的子集；以及使得像素集合的所选择的子集作为聚焦像素进行操作。

Description

采用相位检测自动聚焦(PDAF)光学系统的方法和装置
相关申请的交叉引用
本申请要求享受于2020年4月27日递交的并且名称为“METHODS AND APPARATUSEMPLOYING A PHASE DETECTION AUTOFOCUS(PDAF)OPTICAL SYSTEM”的美国专利申请No.16/859,821的权益，上述申请的全部内容通过引用的方式被明确地并入本文中。
技术领域
概括而言，本公开内容涉及相位检测自动聚焦(PDAF)，并且更具体地，本公开内容涉及采用PDAF光学系统的方法和装置。
背景技术
图像捕获设备(诸如数字相机和移动设备(例如，智能电话、平板设备、膝上型计算机等))包括成像系统，该成像系统包括被定位在一个或多个光学组件下游的图像传感器。典型的光学组件可以包括一个或多个镜头和光圈。光学组件将场景的光引导到图像传感器上。处理器处理由图像传感器捕获的数据以记录图像。为了记录清晰的图像，光学组件将来自场景的光聚焦到图像传感器上。如果光在图像传感器的平面上失焦，则图像传感器可能捕获模糊图像。
一些图像捕获设备使用相位检测自动聚焦(PDAF)像素来执行自动聚焦。图像捕获设备可以包括图像传感器，图像传感器包括像素阵列。像素阵列可以包括以图案布置的一个或多个成像像素以及一个或多个聚焦像素(也被称为“相位检测像素”)。目前存在对于改进自动聚焦技术(包括利用组合图像传感器实现的技术(例如，包括成像像素和聚焦像素的图像传感器))的需求。
发明内容
下文给出了一个或多个方面的简要概述，以便提供对这样的方面的基本理解。该概述不是对全部预期方面的广泛概述，以及既不旨在标识全部方面的关键或必要元素，也不旨在描绘任何或全部方面的范围。其唯一目的是以简化形式呈现一个或多个方面的一些概念，作为稍后呈现的更加详细描述的序言。
在本公开内容的一个方面中，提供了一种方法、计算机可读介质和装置。一种示例装置包括图像传感器以及耦合到图像传感器的处理器。示例图像传感器可以包括多个像素，多个像素包括可被配置为成像像素或聚焦像素的像素集合。示例图像传感器可以被配置为基于在多个像素处的接收到的光来生成场景的第一图像数据。示例处理器可以被配置为：接收场景的第一帧的第一图像数据。示例处理器可以被配置为：确定第一帧的至少一个感兴趣区域或非感兴趣区域。示例处理器可以被配置为：基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择像素集合的要作为聚焦像素的子集，示例处理器可以被配置为：使得像素集合的所选择的子集作为聚焦像素进行操作。
在另一方面中，所公开的技术包括一种用于自动聚焦的操作的方法。示例方法包括：从图像传感器接收场景的第一帧的第一图像数据。在一些示例中，图像传感器可以包括多个像素，多个像素包括可被配置为成像像素或聚焦像素的像素集合。在一些示例中，图像传感器可以被配置为基于在多个像素处的接收到的光来生成场景的第一图像数据。示例方法还包括：确定第一帧的至少一个感兴趣区域或非感兴趣区域。另外，示例方法包括：基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择像素集合的要作为聚焦像素的子集。进一步地，示例方法包括：使得像素集合的所选择的子集作为聚焦像素进行操作。
在另一方面中，所公开的技术包括一种用于执行自动聚焦的装置。示例装置包括：用于从图像传感器接收场景的第一帧的第一图像数据的单元。在一些示例中，图像传感器可以包括多个像素，多个像素包括可被配置为成像像素或聚焦像素的像素集合。在一些示例中，图像传感器可以被配置为基于在多个像素处的接收到的光来生成场景的第一图像数据。示例装置还包括：用于确定第一帧的至少一个感兴趣区域或非感兴趣区域的单元。另外，示例装置包括：用于基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择像素集合的要作为聚焦像素的子集的单元。进一步地，示例装置包括：用于使得像素集合的所选择的子集作为聚焦像素进行操作的单元。
为了实现前述和相关目的，一个或多个方面包括下文中充分描述并且在权利要求中具体指出的特征。以下描述和附图详细地阐述了一个或多个方面的某些说明性特征。然而，这些特征指示可以采用各个方面的原理的各种方式中的仅一些方式，并且该描述旨在包括所有这样的方面以及它们的等效物。
附图说明
图1示出了包括可以用于执行PDAF的稀疏聚焦像素的示例图像传感器。
图2是示出根据本公开内容的一种或多种技术的示例内容生成系统的框图。
图3示出了本公开内容的一种或多种技术的图像传感器的示例可配置像素的侧视图。
图4A和4B示出了本公开内容的一种或多种技术的可配置像素的俯视图。
图5A至5F示出了本公开内容的一种或多种技术的针对可配置像素的聚焦朝向的俯视图，其中不透明转换材料被划分为四个可独立控制的部分。
图6是本公开内容的一种或多种技术的图像处理器的框图。
图7描绘了本公开内容的一种或多种技术的示例图像。
图8描绘了本公开内容的一种或多种技术的包括多个水平纹理的感兴趣区域。
图9描绘了本公开内容的一种或多种技术的包括被识别的感兴趣区域的示例图像。
图10示出了本公开内容的一种或多种技术的包括像素阵列的图像传感器的一部分。
图11至15示出了本公开内容的一种或多种技术的可以由图2的示例设备实现的示例方法的示例流程图。
具体实施方式
下文结合附图阐述的详细描述旨在作为对各种配置的描述，而不旨在表示可以在其中实践本文所描述的概念的仅有配置。出于提供对各种概念的透彻理解的目的，详细描述包括特定细节。然而，对于本领域技术人员将显而易见的是，可以在没有这些特定细节的情况下实践这些概念。在一些实例中，以框图的形式示出公知的结构和组件，以便避免使这样的概念模糊。
下文参考附图更加充分地描述了系统、装置、计算机程序产品和方法的各个方面。然而，本公开内容可以以许多不同的形式来体现，以及不应当被解释为限于遍及本公开内容所呈现的任何特定的结构或功能。而是，提供这些方面以使得本公开内容将是全面和完整的，以及将向本领域技术人员充分地传达本公开内容的范围。基于本文的教导，本领域技术人员应当认识到的是，本公开内容的范围旨在涵盖本文公开的系统、装置、计算机程序产品和方法的任何方面，无论该方面是独立于本公开内容的其它方面实现的还是与其结合地实现的。例如，使用本文所阐述的任何数量的方面，可以实现装置或者可以实践方法。此外，本公开内容的范围旨在涵盖使用除了本文所阐述的本公开内容的各个方面以外或不同于其的其它结构、功能或者结构和功能来实践的这样的装置或方法。本文公开的任何方面可以通过权利要求的一个或多个元素来实现。
尽管本文描述了各个方面，但是这些方面的许多变型和置换落在本公开内容的范围之内。尽管提到了本公开内容的各方面的一些潜在益处和优势，但是本公开内容的范围并非旨在限于特定益处、用途或目标。而是，本公开内容的各方面旨在广泛地适用于不同的无线技术、系统配置、网络和传输协议，其中的一些通过示例的方式在附图和下文的描述中进行说明。具体实施方式和附图仅是对本公开内容的说明而不是限制，本公开内容的范围通过所附的权利要求以及其等效物来限定。
现在将参考各种装置和方法来给出若干方面。将通过各个框、组件、电路、过程、算法等(被统称为“元素”)，在下文的详细描述中描述以及在附图中示出这些装置和方法。这些元素可以使用电子硬件、计算机软件或其任何组合来实现。这样的元素是实现为硬件还是软件，取决于特定的应用和对整个系统所施加的设计约束。
举例而言，可以将元素、或元素的任何部分、或元素的任何组合实现为“处理系统”，其包括一个或多个处理器(其还可以被称为处理单元)。处理器的示例包括：微处理器、微控制器、图形处理单元(GPU)、通用GPU(GPGPU)、中央处理单元(CPU)、应用处理器、图像信号处理器(ISP)、数字信号处理器(DSP)、精简指令集运算(RISC)处理器、片上系统(SoC)、基带处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立硬件电路、以及被配置为执行遍及本公开内容描述的各种功能的其它合适的硬件。处理系统中的一个或多个处理器可以执行软件。无论被称为软件、固件、中间件、微代码、硬件描述语言还是其它名称，软件都应当被广泛地解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行的线程、过程、函数等。术语应用可以指代软件。如本文描述的，一种或多种技术可以指代被配置为执行一种或多种功能的应用，即软件。在这样的示例中，应用可以被存储在存储器上，例如，处理器的片上存储器、系统存储器或任何其它存储器。本文描述的硬件(诸如处理器)可以被配置为执行应用。例如，应用可以被描述为包括当由硬件执行时使得硬件执行本文描述的一种或多种技术的代码。作为示例，硬件可以从存储器存取代码以及执行从存储器存取的代码以执行本文描述的一种或多种技术。在一些示例中，在本公开内容中标识组件。在这样的示例中，组件可以是硬件、软件或其组合。组件可以是单独的组件或单个组件的子组件。
相应地，在本文描述的一个或多个示例配置中，可以用硬件、软件或其任何组合实现所描述的功能。如果用软件来实现，所述功能可以作为一个或多个指令或代码存储在计算机可读介质上或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是能够由计算机访问的任何可用介质。通过举例而非限制的方式，这样的计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储、磁盘存储、其它磁存储设备、上述类型的计算机可读介质的组合、或者可以用于以指令或数据结构的形式存储能够由计算机访问的计算机可执行代码的任何其它介质。
相位检测自动聚焦(PDAF)技术是基于测量在使用不同的非对称光学光圈生成的两个图像之间的偏移(或相位差)的。所计算出的相位的大小和符号可以与散焦量相关，散焦量可以用于估计对于最佳聚焦所需要的镜头位移。
可以存在可以在图像传感器中包括的许多不同类型的聚焦像素图案和/或布置。图1示出了包括可以用于执行PDAF的稀疏聚焦像素的示例图像传感器100。像素104的阵列102可以包括被屏蔽(例如，使用金属屏蔽)的一个或多个聚焦像素106，其可以用于创建在PDAF中使用的左图像或右图像。例如，在使用具有金属屏蔽的稀疏PDAF的一些示例中，1％到3％的像素104可以专用于左/右PDAF。在聚焦像素106中的每一者上，金属屏蔽件108位于光电二极管和微镜头(有时被称为“u镜头”、“片上镜头”或“OCL”)之间，该微镜头通过以特定拦截角度阻挡光来创建有效的不对称光圈，从而允许捕获用于PDAF目的的左或右图像信息。微镜头可以用于提高底层光电二极管对光的灵敏度。出于成像目的，聚焦像素106的值可以通过周围像素的插值来替换，类似于可以如何校正缺陷像素。
应当明白，虽然对图像传感器100的以上描述包括左和右聚焦像素对，但是在其它示例中，图像传感器100可以另外或替代地包括上和下聚焦像素对。例如，聚焦像素的遮罩或金属屏蔽可以掩蔽相应聚焦像素的顶部和底部，这可以生成上和下(或顶部和底部)图像对。
在一些示例中，聚焦像素可以包括双光电二极管(2PD)像素，其中，每个聚焦像素包括两个二极管(例如，第一光电二极管以及与第一光电二极管相邻的第二光电二极管)。在一些示例中，图像传感器100可以包括一个或多个2PD聚焦像素，其包括左二极管和右二极管。在一些这样的示例中，左二极管可以生成左图像，而右二极管可以生成右图像。在一些示例中，图像传感器100可以包括所有2PD聚焦像素(例如，任何成像像素都不包括单个光电二极管)。在一些示例中，图像传感器100可以包括稀疏的2PD聚焦像素。例如，图像传感器100可以包括像素阵列，该像素阵列包括：包括单个光电二极管的第一成像像素子集、以及第二2PD聚焦像素子集。在一些这样的示例中，2PD聚焦像素可以以任何方式来布置(例如，彼此相邻、彼此间隔开等)。在一些示例中，图像传感器100的像素阵列中的聚焦像素可以是左右聚焦像素对或上下聚焦像素对。在一些示例中，图像传感器100可以包括左右聚焦像素对和上下聚焦像素对的组合。
在一些示例中，图像传感器100可以包括4PD聚焦像素，其中，每个聚焦像素包括四个光电二极管(有时被称为“四PD”或QPD”像素)。在一些这样的示例中，4PD聚焦像素可以生成两个图像对(例如，左右图像对以及上下图像对)。
在一些示例中，图像传感器100可以包括所有4PD聚焦像素(例如，任何成像像素都不包括单个光电二极管)。在一些示例中，图像传感器100可以包括稀疏4PD聚焦像素，使得图像传感器100的像素阵列的聚焦像素的子集是以任何方式布置(例如，彼此相邻、彼此间隔开等)的4PD聚焦像素。在一些这样的示例中，像素阵列的一个或多个剩余像素可以是成像像素和/或2PD聚焦像素。
一旦针对每个聚焦像素生成了图像对(例如，左右图像对和/或上下图像对)，就可以彼此比较图像。例如，可以比较从左聚焦像素(例如，左图像)和右聚焦像素(比如，右图像)生成的信号之间的相位差，并且可以确定信号之间的偏移(例如，相位差)。偏移可以用于估计对于最佳聚焦所需要的镜头位移。
虽然不同的图像传感器可以利用聚焦像素的不同图案和/或布置，但是应当明白，在图像传感器内的这样的聚焦像素的分布是固定的。因此，出于PDAF目的而提供与图像中的感兴趣区域相关联的聚焦数据(或“相位信息”)的聚焦像素的密度也是固定的。然而，对于图像中的一些感兴趣区域(ROI)(例如，面部、食物和人们认为“更重要”的其它ROI)，相应聚焦像素的密度可能太低，以至于无法提供准确的聚焦数据。对于其它ROI(例如，天空、墙壁和人们认为“低重要性”的其它ROI)，图像传感器内的与该ROI相关联的聚焦像素的密度可能过高，并且可能导致信息浪费。
在一些示例中，聚焦像素的固定聚焦朝向(例如，左右或上下)可能导致图像的纹理或边缘未被检测到。例如，由具有左右聚焦朝向的聚焦像素提供的聚焦数据可能无法检测到感兴趣区域内的水平纹理。在一些示例中，如果感兴趣区域(region)包括非感兴趣区(area)(诸如饱和区)，则由对应于该非感兴趣区的聚焦像素提供的聚焦数据可能无法提供有用的信息。在一些示例中，当应用去噪技术时，聚焦像素的固定图案和/或布置可能导致伪影。
通常，本文公开的示例技术针对基于对场景的分析来调整图像传感器的聚焦像素。例如，所公开的技术利用具有多个像素的图像传感器，多个像素包括可被配置为作为聚焦像素或成像像素操作的像素集合。例如，可配置像素可以包括光电二极管和位于光电二极管上方的不透明转换材料。不透明转换材料可以包括被布置在光电二极管的第一区段上方的第一不透明转换材料部分以及被布置在光电二极管的第二区段上方的第二不透明转换材料部分，并且其中，第一不透明转换材料部分和第二不透明转换材料部分可被独立地配置为不透明或透明。在一些这样的示例中，当第一不透明转换材料部分或第二不透明转换材质部分中的一者是不透明的并且另一不透明转换材料部分是透明的时，可配置像素可以被配置为作为聚焦像素操作。当两个不透明转换材料部分都是透明的时，可配置像素可以被配置为作为成像像素进行操作。
当可配置像素被配置为作为成像像素进行操作时，相应的成像像素生成可以用于捕获场景的成像数据。当可配置像素被配置为作为聚焦像素操作时，相应的聚焦像素生成可以用于执行自动聚焦的聚焦数据。在一些示例中，当可配置像素被配置为作为聚焦像素操作时，相应的聚焦像素可以以被配置有聚焦朝向。如上所述，聚焦像素可以是以左右图案来布置的，其中，第一聚焦像素可以作为左聚焦像素进行操作，并且第二聚焦像素可以作为右聚焦像素进行操作。在其它示例中，聚焦像素可以是以上下图案来布置的，其中，第一聚焦像素可以作为上聚焦像素来操作，并且第二聚焦像素可以作为下聚焦像素来操作。
在一些示例中，可配置像素可以基于对场景的分析而被动态地调整为作为成像像素或聚焦像素来操作。例如，所公开的技术可以将可配置像素设置为针对场景的第一帧作为成像像素进行操作，并且可以将可配置像素设置为针对场景的后续帧作为聚焦像素进行操作。在一些示例中，所公开的技术可以设置用于针对帧作为聚焦像素进行操作的可配置像素的第一聚焦朝向，并且可以针对场景的后续帧来设置可配置像素的第二聚焦朝向。
本文公开的示例技术包括在处理器处从耦合到处理器的图像传感器接收第一图像数据，并且基于第一图像数据来确定至少一个感兴趣区域或非感兴趣区域。如本文所使用的，“感兴趣区域”或“非感兴趣区域”通常可以被称为“被识别区域”。然后，所公开的技术可以对第一图像数据和被识别区域应用一种或多种场景分析技术，以确定如何调整图像传感器的像素配置。然后，所公开的技术可以基于所确定的像素配置来调整图像传感器内的与被识别区域相关联的聚焦像素的密度。例如，所公开的技术可以增加或减少与被识别区域相关联的聚焦像素的数量，以调整图像传感器内的聚焦像素的密度。
在一些示例中，一种或多种场景分析技术可以包括执行对象检测和/或辨识技术。例如，所公开的技术可以处理第一图像数据并且检测和/或辨识被识别区域内的一个或多个对象。在一些示例中，所公开的技术可以基于检测到的和/或辨识出的对象来增加图像传感器内的与被识别区域相关联的聚焦像素的密度。在一些示例中，所公开的技术可以另外或替代地基于检测到的和/或辨识出的对象来降低图像传感器内的与被识别区域相关联的聚焦像素的密度。例如，场景可以包括：包括面部的第一被识别区域、包括麦克风的第二被识别区域、以及包括杯子的第三被识别区域。在一些示例中，所公开的技术可以将与第一被识别区域相关联的聚焦像素的密度设置为第一密度水平，可以将与第二被识别区域相关联的聚焦像素的密度设置为与第一密度水平相比较不密集的第二密度水平，并且可以将与第三被识别区域相关联的聚焦像素的密度设置为与第一密度水平和第二密度水平相比较不密集的第三密度水平。在一些示例中，第一密度水平和第二密度水平可以对应于增加图像传感器内的与相应的被识别区域相关联的聚焦像素的密度，而第三密度水平可以对应于降低图像传感器内的与第三被识别区域相关联的聚焦像素的密度。
在一些示例中，所公开的技术可以基于对场景的分析来执行聚焦数据朝向检测技术。例如，在一些情况下，感兴趣区域内的纹理或边缘可以被定向在特定方向上，诸如水平方向或垂直方向。此外，与感兴趣区域相关联的对应聚焦像素可以被配置在聚焦朝向上，使得纹理或边缘可以不被所生成的聚焦数据检测到。例如，由于聚焦数据的相位检测(PD)分析可能无法分别确定由左聚焦像素和右聚焦像素生成的左图像和右图像之间的偏移，所以以左右聚焦朝向布置的聚焦像素可能无法检测到水平纹理。
本文公开的示例技术针对图像传感器内的与感兴趣区域相关联的聚焦像素设置第一(或默认)聚焦朝向。然后，所公开的技术在聚焦像素被设置在第一聚焦朝向上时对由图像传感器生成的图像数据执行PD分析。如果通过PD分析输出的置信度水平不满足置信度门限，则所公开的技术然后可以针对与感兴趣区域相关联的聚焦像素设置第二聚焦朝向，其中，第二聚焦朝向不同于第一聚焦朝向。例如，所公开的技术可以将与被识别区域相关联的聚焦像素的聚焦朝向从左右聚焦朝向改变为上下聚焦朝向。然而，如果置信度水平满足置信度门限，则所公开的技术然后可以保持聚焦像素的第一聚焦朝向。应当明白，在一些示例中，与不同的感兴趣区域相关联的聚焦像素可以与不同的相应聚焦朝向相关联。此外，应当明白，在一些示例中，与感兴趣区域相关联的各个聚焦像素的相应聚焦朝向可以变化。
置信度水平指示针对图像计算的聚焦值正确的可能性。例如，置信度水平(有时被称为“置信度测量”)可以是基于对应于边缘的图像数据的光谱分析来确定的。更清晰的边缘在相邻像素之间具有高对比度，并且光谱分析表明更清晰的边缘具有针对高阶频率分量的非零系数。图像中的作为焦距的函数的置信度水平通常跟踪作为焦距(镜头位置)的函数的聚焦值。置信度水平通常在图像聚焦的焦距处具有峰值，并且随着镜头位置远离聚焦位置而迅速下降。低光水平或存在高频图案(例如，紧密间隔的平行线)可能降低针对聚焦值的置信度水平。当图像严重失焦时，自动聚焦可以选择具有局部最大对比度值的镜头位置，因此置信度水平是低的。在大多数情况下，在充足照明的情况下，当聚焦值准确时，置信度水平具有峰值。置信度值可以基于是各种统计度量的，诸如均值、方差、标准差或其它度量。在一个示例中，如果统计分析揭示针对近或远聚焦范围所选择的镜头位置包括位于距彼此相当远的距离处的镜头位置，则置信度值可以是低的。
在一些示例中，所公开的技术可以基于对场景的分析来执行饱和检测技术。例如，在一些情况下，感兴趣区域可以包括一个或多个饱和区。如本文所使用的，当由图像传感器针对相应像素输出的数字值大于饱和门限时，区是饱和的。在一些示例中，饱和门限可以是预定值。在一些示例中，饱和门限可以是百分比。由与饱和区相对应的聚焦像素提供的信息可能不利于自动聚焦目的，因为所提供的信息可能无法用于比较图像以及确定偏移。本文公开的示例技术提供了用于识别感兴趣区内的饱和区的技术。然后，示例技术可以将图像传感器内的与饱和区相对应的聚焦像素的密度设置为第一密度水平，并且可以将与感兴趣区域中的剩余区相对应的聚焦像素的密度设置为大于第一密度水平的第二密度水平。在一些示例中，所公开的技术可以将第一密度水平设置为零，使得与饱和区相对应的可配置像素被配置为作为成像像素进行操作。
在一些示例中，所公开的技术可以基于对场景的分析来执行边缘检测技术。在低光环境中，由图像传感器生成的图像数据可能包括低信噪比(SNR)和/或高噪声。为了提高这样的图像的质量，一些示例将去噪技术应用于所生成的图像数据。例如，针对被选择的像素，装仓(binning)包括对两个或更多个附近像素(本文中统称为“装仓像素”)的值进行平均，并且使用平均值作为用于被选择的像素的值。然而，在一些示例中，边缘可能在装仓像素之间延伸。例如，感兴趣区域可以包括监视器的屏幕(例如，第一对象)和监视器的底座(例如，第二对象)。如本文中使用的，“边缘”指代通过两个或更多个对象创建的边界(例如，显示器的屏幕与显示器的底座之间的边界)。在一些这样的示例中，装仓像素可以包括位于与第一对象相对应的位置的像素以及位于与第二对象相对应的位置的像素(例如，与不同对象相对应的像素)。对这些像素的值进行装仓或平均可能使针对被选择的像素的平均值偏斜，从而导致图像的伪影和/或不正确表示。
本文公开的示例技术可以应用边缘检测技术来检测感兴趣区域内的边缘。如果检测到边缘，则所公开的技术可以基于检测到的边缘来分割感兴趣区域和对应像素。然后，示例技术可以增加图像传感器内的与相应的感兴趣区域部分相关联的聚焦像素的数量。通过增加与相应的感兴趣区域部分相关联的聚焦像素的数量，所公开的技术可以促进使用与相应的感兴趣区域部分相关联的聚焦像素来针对相同的相应对象执行装仓，从而减少(或避免)跨边缘以及针对两个或更多个对象执行聚焦像素的装仓。
图2是示出被配置为实现本公开内容的一种或多种技术的示例内容生成系统200的框图。内容生成系统200包括设备204。如本文所描述的，诸如设备204之类的设备可以指代被配置为执行本文描述的一种或多种技术的任何设备、装置或系统。例如，设备可以是服务器、基站、用户设备、客户端设备、站、接入点、计算机(例如，个人计算机、台式计算机、膝上型计算机、平板计算机、计算机工作站或大型计算机)、终端产品、装置、电话、智能电话、服务器、视频游戏平台或控制台、手持设备(例如，便携式视频游戏设备或个人数字助理(PDA))、可穿戴计算设备(例如，智能手表、增强现实设备或虚拟现实设备)、非可穿戴设备、显示器或显示设备、电视机、电视机顶盒、中间网络设备、数字媒体播放器、视频流设备、内容流设备、车载计算机、任何移动设备、被配置为生成图形内容的任何设备、或被配置为执行本文描述的一种或多种技术的任何设备。本文中的过程可以被描述为由特定组件(例如，ISP)来执行，但是在进一步的实施例中，可以使用其它组件(例如，应用处理器或CPU)来执行，这与所公开的实施例一致。
设备204可以包括用于执行本文描述的各种功能的一个或多个组件或电路。在一些示例中，设备204的一个或多个组件可以是SOC的组件。设备204可以包括被配置为执行本公开内容的一种或多种技术的一个或多个组件。在所示的示例中，设备204包括处理单元220、存储器224和光学系统250。在一些示例中，该设备204可以包括多个额外或替代组件，诸如通信接口226、收发机232、接收机228、发射机230和显示客户端231。
在所示的示例中，处理单元220包括内部存储器221。处理单元220可以被配置为执行图像处理，诸如在图像处理流水线209中。图像处理流水线299的示例实现可以促进图像捕获功能。在一些示例中，处理单元220可以另外或替代地被配置为执行图形处理，诸如在图形处理流水线和/或非图形处理中，诸如在计算处理流水线中。计算处理流水线的示例实现可以促进执行通用操作或非图形操作，诸如机器学习操作和/或人工智能操作。
在一些示例中，处理单元220包括被配置为实现图像处理流水线209的ISP(或应用处理器)。ISP以促进控制图像捕获功能，诸如自动聚焦、自动白平衡和/或自动曝光。在一些示例中，ISP还可以促进执行后处理功能，例如深度映射和/或散景效果。在一些示例中，ISP还可以促进执行裁剪、缩放(例如，缩放到不同分辨率)、图像拼接、图像格式转换、色彩插值、色彩处理、图像滤波(例如，空间图像滤波)、镜头伪影或缺陷校正、锐化等。
在一些示例中，处理单元220可以包括显示处理器，其用于在由显示客户端231呈现由处理单元220生成的一个或多个帧之前对所生成的帧执行一种或多种显示处理技术。例如，显示处理器可以被配置为对由处理单元220生成的一个或多个帧执行一种或多种显示处理技术。显示处理器可以根据接口协议(例如，MIPI DSI(移动行业处理器接口、显示串行接口))来将图像数据输出到显示客户端231。
显示客户端231可以被配置为显示或以其它方式呈现由处理单元220(和/或显示处理器)处理的帧。在一些示例中，显示客户端231可以包括以下各项中的一项或多项：液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、投影显示设备、增强现实显示设备、虚拟现实显示设备、头戴式显示器、或任何其它类型的显示设备。
对显示客户端231的引用可以指代一个或多个显示器。例如，显示客户端231可以包括单个显示器或多个显示器。显示客户端231可以包括第一显示器和第二显示器。在进一步的示例中，图像处理的结果可以不被显示在设备上。例如，显示器可以不接收用于在其上呈现的任何帧。相反，帧或图像处理结果可以被传输到另一设备。在一些示例中，将帧或图像处理结果传输到另一设备可以被称为拆分渲染。
如上所公开的，显示客户端231可以根据MIPI DSI标准进行配置。MIPI DSI标准支持视频模式和命令模式。在显示客户端231正在视频模式下操作的示例中，处理单元220(和/或显示处理器)可以连续地刷新显示客户端231的图形内容。例如，可以每个刷新周期(例如，逐行地)刷新帧的整个图形内容。
在显示客户端231正在命令模式下操作的示例中，处理单元220(和/或显示处理器)可以将帧的图形内容写入缓冲器。在一些示例中，显示客户端231可以包括缓冲器，并且因此缓冲器可以表示在显示客户端231本地的存储器。在一些这样的示例中，处理单元220(和/或显示处理器)可以不连续地刷新显示客户端231的图形内容。相反，处理单元220(和/或显示处理器)可以使用垂直同步(Vsync)脉冲来协调在缓冲器处的图形内容的渲染和消耗。例如，当生成Vsync脉冲时，处理单元220(和/或显示处理器)可以将新的图形内容输出到缓冲器。因此，Vsync脉冲的生成可以指示缓冲器处的当前图形内容何时已经被渲染。
在处理单元220外部的存储器(诸如存储器224)可以是处理单元220、显示客户端231和/或通信接口226可访问的。例如，处理单元220可以被配置为从诸如存储器224之类的外部存储器进行读取和/或写入该外部存储器。处理单元220、显示客户端231和/或通信接口226可以通过总线通信地耦合到存储器224。在一些示例中，处理单元220、存储器224、通信接口226和/或显示客户端231可以通过总线或不同的连接彼此通信地耦合。
在一些示例中，设备204可以包括内容编码器/解码器，其被配置为从诸如存储器224和/或通信接口226之类的任何源接收图形和/或显示内容。存储器224可以被配置为存储所接收的经编码的内容或经解码的内容。在一些示例中，内容编码器/解码器可以被配置为(例如，从存储器224和/或通信接口226)接收具有经编码的像素数据或经解码的像素数据的形式的经编码的内容或经解码的内容。在一些示例中，内容编码器/解码器可以被配置为对任何内容进行编码或解码。
内部存储器221和/或存储器224可以包括一个或多个易失性或非易失性存储器或存储设备。在一些示例中，内部存储器221和/或存储器224可以包括RAM、SRAM、DRAM、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁数据介质或光存储介质、或任何其它类型的存储器。
根据一些示例，内部存储器221和/或存储器224可以是非暂时性存储介质。术语“非暂时性”可以指示存储介质没有体现在载波或传播的信号中。然而，术语“非暂时性”不应当被解释为意指内部存储器221和/或存储器224是不可移动的或者其内容是静态的。作为一个示例，存储器224可以从设备204移除以及移动到另一设备。作为另一示例，存储器224可以是不可从设备204移除的。
处理单元220可以是CPU、应用处理器、ISP、GPU、通用GPU(GPGPU)、DPU、显示处理器或可以被配置为执行图像处理的任何其它处理单元。在一些示例中，处理单元220可以被集成到设备204的主板中。在一些示例中，处理单元220可以存在于安装在设备204的主板中的端口中的图形卡上，或者可以以其它方式并入被配置为与设备204进行互操作的外围设备内。处理单元220可以包括一个或多个处理器，诸如一个或多个微处理器、CPU、应用处理器、GPU、DPU、显示处理器、ISP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、算术逻辑单元(ALU)、数字信号处理器(DSP)、分立逻辑、软件、硬件、固件、其它等效的集成或分立逻辑电路、或其任何组合。如果所述技术部分地用软件来实现，则处理单元220可以将用于软件的指令存储在合适的非暂时性计算机可读存储介质(例如，内部存储器221)中，以及可以使用一个或多个处理器在硬件中执行所述指令，以执行本公开内容的技术。包括硬件、软件、硬件和软件的组合等的任何前述内容可以被认为是一个或多个处理器。
在所示的示例中，设备204可以包括通信接口226。通信接口226可以包括接收机228和发射机230。接收机228可以被配置为执行本文中关于设备204描述的任何接收功能。另外，接收机228可以被配置为从另一设备接收信息(例如，眼睛或头部位置信息、渲染命令和/或位置信息)。发射机230可以被配置为执行本文中关于设备204描述的任何发送功能。例如，发射机230可以被配置为向另一设备发送可以包括针对内容的请求的信息。接收机228和发射机230可以被组合成收发机232。在这样的示例中，收发机232可以被配置为执行本文关于设备204描述的任何接收功能和/或发送功能。
在所示的示例中，设备204包括与处理单元220相通信的光学系统250。光学系统250包括镜头组装件252、图像传感器254和电荷组件256。镜头组装件253可以促进将入射光聚焦到图像传感器255的像素上。应当明白，镜头组装件252可以包括任何数量的光学元件。在一些示例中，处理单元220可以被配置为将镜头组装件252移位以调整在图像传感器254上接收的光的聚焦。应当明白，光学系统250可以包括安装在设备204的壳体内和/或被定位在壳体或镜头组装件252上的一个或多个额外光学组件。例如，额外光学组件可以包括运动传感器(例如，加速度计、陀螺仪等)、光圈、快门、反光镜、滤波器、涂层等。
示例图像传感器254可以是互补金属氧化物半导体(CMOS)成像传感器或电荷耦合器件(CCD)传感器。然而，应当明白，在其它示例中，图像传感器可以是包括用于捕获图像数据的像素的任何合适的传感器。图2的示例图像传感器254包括用于捕获图像数据的多个像素。图像传感器254可以被配置为对通过每个像素接收的光量进行数字化。例如，当所接收的光被表示为10比特数字值时，低值(例如，100)可以指示低光量，而高值(例如，1023)可以指示高光量。多个像素还可以包括可被配置为作为聚焦像素或成像像素进行操作的像素集合。在一些示例中，可配置像素集合可以包括图像传感器254的多个像素中的一个到所有像素。
图3示出了根据本文公开的技术的图2的图像传感器254的可配置像素300的侧视图。可配置像素300包括与成像像素共用的三个组件，包括微镜头310、滤色器320和光电二极管330。微镜头310可以被配置为将接收到的光聚焦到光电二极管330上。滤色器320可以是以Bayer图案布置的红色、绿色或蓝色(R、G或B)。在其它示例中，滤色器320可以是以青色、黄色、绿色和洋红色图案、以红色、绿色、蓝色和祖母绿图案、以青色、洋红色、黄色和白色图案、以红色、绿色、蓝和白色图案或以其它图案来布置的。图3的光电二极管330位于衬底340(诸如硅衬底)内。
图3的可配置像素300包括位于滤色器320和光电二极管330之间的不透明转换材料350。不透明转换材料350可以是可以表现为透明或不透明的电控材料，诸如液晶。当不透明转换材料350透明时，光可以被光电二极管330接收。当不透明转换材料350不透明时，光被阻挡而不被光电二极管330接收。
在图3所示的示例中，不透明转换材料350被划分为第一不透明转换材料部分350a和第二不透明转换材料部分350b，并且每个部分350a、350b可以被独立地控制。当未对不透明转换材料350上施加电荷(或电流或电压)时，不透明转换材料350表现为透明，并且可配置像素300可以作为成像像素进行操作，诸如图1的红色/绿色/蓝色像素104。当对不透明转换材料350施加电荷(或电流或电压)时，相应部分350a、350b变得不透明，这产生与使用金属屏蔽而阻挡光类似的效果(如图1所示)，并且可配置像素可以作为聚焦像素(诸如图1的聚焦像素106)进行操作。下面结合图2的电荷组件256描述应用电荷(或电流或电压)的示例技术。
因此，可配置像素300可以被配置为基于电荷是否被施加到不透明转换材料350而作为聚焦像素或成像像素进行操作。此外，可以通过对图像传感器254的可配置像素300中的相应像素施加(或不施加)电荷来调整与图像的感兴趣区域相关联的聚焦像素的密度。
在一些示例中，图像传感器254的多个像素可以是可配置像素。在一些这样的示例中，图像传感器254的每个像素可以被配置为作为聚焦像素和/或成像像素进行操作。
在一些示例中，可配置像素集合可以少于图像传感器254的多个像素。例如，图像传感器254的像素中的一个或多个像素可以是专用成像像素，并且剩余像素可以是可配置像素。在一些这样的示例中，专用成像像素可以被定位为沿着图像传感器254的外围。应当明白，专用成像像素与可配置像素的比率可以变化。
在一些示例中，不透明转换材料350可以被划分为两个可独立控制的部分(如图3所示)。图4A示出了可配置像素400的俯视图，可配置像素400包括第一(或左侧)不透明转换材料部分410和第二(或右侧)不透明转换材料部分420。在图4A所示的示例中，部分410、420被定位为使得可配置像素40可以作为左右聚焦像素进行操作。例如，可以对左侧不透明转换材料部分410施加电荷，并且可配置像素400可以作为“右聚焦像素”进行操作，因为进入右侧不透明转换材料部分420的光可以到达光电二极管。类似地，当对右侧不透明转换材料部分420施加电荷时，可配置像素400可以作为“左聚焦像素”进行操作，因为进入左侧不透明转换材料部分410的光可以到达光电二极管。部分410、420的各方面可以通过图3的部分350来实现。
图4B示出了可配置像素450的俯视图，可配置像素450包括第一(或上部)不透明转换材料部分460和第二(或下部)不透明转换材料部分470。在图4B所示的示例中，部分460、470被定位为使得可配置像素400可以作为上下聚焦像素进行操作。例如，可以对上部不透明转换材料部分460施加电荷，并且可配置像素450可以作为“下聚焦像素”进行操作，因为进入下部不透明转换材料部分470的光可以到达光电二极管。类似地，当对下部不透明转换材料部分470施加电荷时，可配置像素450可以作为“上聚焦像素”进行操作，因为进入上部不透明转换材料部分460的光可以到达光电二极管。部分460、470的各方面可以通过图3的部分350来实现。
图5A至5F示出了用于可配置像素的聚焦朝向的俯视图，其中不透明转换材料被划分为四个可独立控制的部分502、504、506、508。部分502、504、506、508的各方面可以通过图3的部分350、图4A的部分410、420和/或图4B的部分460、470来实现。在一些示例中，可配置像素的聚焦朝向可以是基于电荷被施加在不透明转换材料的哪个部分来确定的。图5A和5B示出了具有左右聚焦朝向的可配置像素。例如，图5A示出了被配置为作为“右聚焦像素”进行操作的可配置像素500，因为电荷被施加到第一不透明转换材料部分502和第三不透明转换材料部分506，并且电荷未被施加到第二不透明转换材料部分504和第四不透明转换材料部分508。图5B示出了被配置为作为“左聚焦像素”进行操作的可配置像素510，因为电荷被施加到第二不透明转换材料部分504和第四不透明转换材料部分508，并且电荷未被施加到第一不透明转换材料部分502和第三不透明转换材料部分506。
图5C和5D示出了具有上下聚焦朝向的可配置像素。例如，图5C示出了被配置为作为“上聚焦像素”进行操作的可配置像素520，因为电荷被施加到第三不透明转换材料部分506和第四不透明转换材料部分508，并且电荷未被施加到第一不透明转换材料部分502和第二不透明转换材料部分504。图5D示出了被配置为作为“下聚焦像素”进行操作的可配置像素530，因为电荷被施加到第一不透明转换材料部分502和第二不透明转换材料部分504，并且电荷未被施加到第三不透明转换材料部分506和第四不透明转换材料部分508。
图5E和5F示出了具有对角聚焦朝向的可配置像素。例如，图5E示出了被配置为作为“左上、右下聚焦像素”进行操作的可配置像素540，因为电荷被施加到第二不透明转换材料部分504和第三不透明转换材料部分506，并且电荷不被施加到第一不透明转换材料部分502和第四不透明转换材料部分508。图5F示出了被配置为“右上、左下聚焦像素”进行操作的可配置像素550，因为电荷被施加到第一不透明转换材料部分502和第四不透明转换材料部分508，并且电荷不被施加到第二不透明转换材料部分504和第三不透明转换材料部分506。
尽管图4A和4B的示例可配置像素示出了被布置为两个部分的不透明转换材料并且图5A至5F的示例可配置像素示出了被布置为四个部分的不透明转换材料，但是应当明白，其它示例可以包括额外或替代数量和/或布置的部分。此外，应当明白，虽然图5A至5F的所示的示例包括将四个不透明转换材料部分中的两者设置为不透明，但是在其它示例中，任何合适数量的不透明转换材料部分可以被配置为不透明以使得相应像素能够作为聚焦像素进行操作。
此外，应当明白，在一些示例中，不同的可配置像素可以被配置为作为具有不同聚焦朝向的聚焦像素进行操作。例如，第一可配置像素子集可以被配置为作为具有左右聚焦朝向(如图5A和5B所示)的聚焦像素进行操作，第二可配置像素子集可以被配置为作为具有上下聚焦朝向(如图5C和5D所示)的聚焦像素进行操作，和/或第三可配置像素子集可以被配置为作为具有对角聚焦朝向的聚焦像素进行操作(如图5E和5F所示)。
再次参考图2，电荷组件256可以例如经由导线耦合到可配置像素集合的被选择的可配置像素的不透明转换材料的部分。电荷组件256可以被配置为对可配置像素集合中的被选择的可配置像素的不透明转换材料的部分施加电荷(或电流或电压)(例如，经由导线)，以使得被选择的可配置像素作为聚焦像素进行操作。此外，电荷组件256可以被配置为不对可配置像素集合的非选择的可配置像素施加电荷(或电流或电压)(例如，经由导线)，以使得非选择的可配置像素作为成像像素进行操作。尽管以上描述提供了其中电荷组件256经由导线耦合到不透明转换材料的部分的示例，但是应当明白，其它示例可以使用额外或替代技术来将电荷组件256耦合到不透明转换材料的部分。例如，电荷组件256可以经由电极耦合到不透明转换材料的部分。
仍然参考图2，在一些方面中，处理单元220可以被配置为操作本文公开的一种或多种技术。例如，处理单元220可以包括确定组件298，其被配置为接收场景的第一帧的第一图像数据。确定组件298可以被配置为确定第一帧的至少一个感兴趣区域或非感兴趣区域。确定组件298可以被配置为基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择可配置像素集合的要作为聚焦像素的子集。确定组件298还可以被配置为使得可配置像素集合的所选择的子集作为聚焦像素进行操作。
图6示出了根据本公开内容的各方面的图像处理器600的框图。图像处理器600的一个或多个方面可以由图2的处理单元220来实现。示例图像处理器600可以包括一个或多个处理器，其被配置为执行对象处置组件610、朝向处置组件620、饱和处置组件630和边缘处置组件640。
在所示的示例中，图像处理器600被配置为接收用于帧的图像数据。例如，图像处理器600可以从图2的图像传感器254接收用于场景的帧的图像数据。在一些示例中，图像数据可以不包括聚焦数据。例如，图像传感器254的可配置像素可以被配置为在图像传感器255生成图像数据时作为成像像素进行操作。在一些示例中，图像数据可以包括聚焦数据。例如，图像传感器254的可配置像素的子集可以被配置为在图像传感器255生成图像数据时作为聚焦像素进行操作。在一些示例中，可配置像素的被配置为作为聚焦像素进行操作的子集可以是可配置像素的默认子集。例如，可配置像素的默认子集可以是预定数量和/或图案的聚焦像素，其不是基于对先前接收的图像数据(例如，用于先前帧)执行的场景分析技术的。在一些示例中，可配置像素的被配置为作为聚焦像素进行操作的子集可以是基于对先前接收的图像数据执行一种或多种场景分析技术的。在一些示例中，聚焦数据可以用于调整设备204的聚焦。
示例图像处理器600还可以被配置为对所接收的图像数据执行一种或多种场景分析技术，并且基于执行一种或多种场景分析技术来选择图像传感器254的可配置像素的要作为聚焦像素进行操作的子集。图像处理器600可以通过指示电荷组件256对用于可配置像素的所选择的子集的相应不透明转换材料部分施加电荷，从而使得可配置像素的所选择的子集作为聚焦像素进行操作。
示例图像处理器600还可以被配置为基于对图像数据的分析来识别图像中的感兴趣区域和/或非感兴趣区域。例如，图像处理器600可以利用人工智能机制和/或机器学习机制来识别区域。在一些示例中，图像处理器600可以接收指示感兴趣区域或非感兴趣区域的信息。例如，图像处理器600可以经由输入接口来接收用户输入。在一些这样的示例中，图像处理器600可以基于所接收的用户输入来确定至少一个感兴趣区域和/或非感兴趣区域。
在一些示例中，图像处理器600可以被配置为基于执行一种或多种场景分析技术来调整图像传感器内的与被识别区域相关联的聚焦像素的密度。例如，图像处理器600可以被配置为增加或减少与被识别区域相关联的聚焦像素的数量。在一些示例中，图像处理器600可以被配置为调整与被识别区域的子区域相关联的聚焦像素的数量。例如，图像处理器600可以识别感兴趣区域内的非感兴趣区域(或区)。在一些这样的示例中，图像处理器600可以增加图像传感器的与感兴趣区域相关联的聚焦像素的数量，并且还可以减少与被识别的非感兴趣区域相关联的聚焦像素的数量。
在图6所示的示例中，图像处理器600被配置为包括对象处置组件610，以促进实现对象检测和/或辨识技术。在一些示例中，图像可以包括一个或多个被识别区域。在一些这样的示例中，对象处置组件610可以被配置为确定被识别区域是感兴趣区域还是非感兴趣区域。例如，对象处置组件610可以被配置为实现一个或多个对象检测和/或辨识机制，以识别(例如，检测和/或者辨识)图像中的对象。
图7描绘了图像700，其包括在前景中的戴着帽子720的人710以及在背景中的墙730。在所示的示例中，图6的对象处理组件610可以识别与人710的面部相对应的第一区域712、与帽子720相对应的第二区域722以及与墙730相对应的第三区域732。对象处置组件310可以基于在每个被识别区域712、722、732区域内检测到和/或辨识出的对象来对相对区域进行分类。例如，对象处置组件610可以将与人710的面部相对应的第一区域712和与帽子720相对应的第二区域722分类为感兴趣区域。对象处置组件610可以将与墙730相对应的第三区域732分类为非感兴趣区域。在一些示例中，对象处置组件610可以被配置为基于目标项目或感兴趣项目(诸如面部或人)来对区域进行分类。
在一些示例中，对象处置组件610可以被配置为基于检测到的和/或辨识出的对象来对被识别区域进行细分类。例如，对象处置组件610可以被配置为将人710的面部分类为第一级别重要性的对象，将帽子720分类为第二级别重要性的对象以及将墙730分类为第三级别重要性的对象。在一些这样的示例中，第二级别重要性可以与第一级别重要性相比不太重要，并且可以与第三级别重要性相比更加重要。
对象处置组件610还可以被配置为确定如何调整与被识别区域中的每一者相对应的聚焦像素的密度。例如，对象处置组件610可以确定增加与感兴趣区域相关联的聚焦像素的密度和/或减少与非感兴趣区域相关联的聚焦像素的密度。在一些示例中，与非感兴趣区域相关联的聚焦像素的密度可以被减小，使得与非感兴趣区相对应的可配置像素被配置为作为成像像素进行操作。在一些示例中，对象处置组件610可以基于不同的重要性级别来确定调整聚焦像素的密度。例如，第一级别重要性的区域可以与第一密度水平相关联，第二级别重要性的区域可以与第二密度水平相关联，并且第三级别重要性的区域可以与第三密度水平相关联。在一些这样的示例中，第二密度水平可以与第一密度水平相比不太密集，并且可以与第三密度水平更加密集。
应当明白，图像的与被识别区域不相对应的区可以与背景密度水平相关联。例如，图像700的与人710的头发或衬衫相对应的区可以与背景密度水平相关联。在一些示例中，密度水平中的一个或多个密度水平可以与背景密度水平相比具有较大密度和/或可以与背景密度水平相比具有较小密度。例如，在一些示例中，第一密度水平、第二密度水平和第三密度水平可以大于背景密度水平。在一些示例中，用于感兴趣区域(例如，第一区域712和第二区域722)的密度水平可以与背景密度水平相比具有较大密度，而用于非感兴趣区域(例如，第三区域732)的密度水平可以与背景密度水平相比不太密集。
在图6所示的示例中，图像处理器600被配置为包括朝向处置组件620，以促进实现聚焦数据朝向检测技术。在一些示例中，被识别区域可以包括被定向在特定方向上的纹理或边缘，诸如水平纹理或垂直纹理。在一些这样的示例中，如果与被识别区域相对应的聚焦像素具有与纹理或边缘相同的聚焦朝向，则由相应聚焦像素生成的聚焦数据可能对于PDAF目的不是有用的。
在一些示例中，朝向处置组件620可以被配置为基于针对图像数据接收的聚焦数据来执行置信度测试。例如，置信度测试可以沿着相应聚焦像素的聚焦朝向来测量与聚焦数据相关联的噪声。图8描绘了包括多个水平纹理810的感兴趣区域800。应当明白，如果与感兴趣区域800相对应的聚焦像素具有左右聚焦朝向，则由聚焦像素生成的聚焦数据可能不提供用于PDAF目的的有用信息。例如，朝向处置组件620可能无法分别确定由左聚焦像素和右聚焦像素生成的左图像和右图像之间的偏移。
在所示的示例中，朝向处置组件620可以被配置为针对与被识别区域相关联的聚焦像素设置第一聚焦朝向。例如，第一聚焦朝向可以是默认聚焦朝向，诸如左右聚焦朝向(如图5A和5B所示)。朝向处置组件620可以基于从聚焦像素接收的图像数据具有第一聚焦朝向来执行置信度测试。
在一些示例中，如果由置信度测试生成的置信度水平满足置信度门限，则朝向处置组件620可以确定与被识别区域相关联的聚焦像素的当前聚焦朝向能够提供用于PDAF目的的有用信息。然而，如果置信度水平不满足置信度门限，则朝向处置组件620可以确定改变与被识别区域相关联的聚焦像素的聚焦朝向。例如，朝向处置组件620可以确定将聚焦朝向改变为上下聚焦朝向(如图5C和5D所示)或对角聚焦朝向(如图5E和5F所示)。
在一些示例中，当置信度水平大于或等于置信度门限时，置信度水平可以满足置信度门限。在一些示例中，当置信度水平大于置信度门限时，置信度水平可以满足置信度门限。然而，应当明白，在一些示例中，当置信度水平小于或等于置信度门限时或当置信度水平小于置信度门限时，置信度水平可以满足置信度门限。
在一些示例中，置信度水平可以是数值，诸如零与一百之间的数字。在一些这样的示例中，置信度门限可以是在零与一百之间的数值。在一些示例中，置信度水平可以是与“确信”或“非确信”水平相对应的二进制值。在一些这样的示例中，置信度门限可以是与“确信”相对应的值。
应当明白，当置信度水平不满足置信度门限时，通过调整图像传感器的与被识别区域相关联的聚焦像素的聚焦朝向，朝向处置组件620促进增加从在后续帧期间生成的聚焦数据接收用于PDAF目的的有用信息的可能性。
在图6所示的示例中，图像处理器600被配置为包括饱和处置组件630，以促进实现饱和检测技术。在一些图像中，感兴趣区域可以包括饱和区。由与饱和区相关联的聚焦像素生成的聚焦数据可能无法提供用于PDAF目的的有用信息。例如，由与饱和区相关联的聚焦像素生成的聚焦数据可能无法提供足够的细节来测量聚焦像素对之间的偏移。
图9描绘了包括与汽车相对应的被识别的感兴趣区域910的示例图像900。示例饱和处置组件630可以被配置为应用饱和区检测技术来识别帧中的一个或多个饱和区。在一些示例中，饱和处置组件630可以基于由图像传感器254生成的数字值来识别饱和区。例如，对于10比特数字值，图像传感器254可以生成0与1023之间的数字值。在一些这样的示例中，数字值1023表示图像传感器254能够数字化的最大光量。在一些示例中，饱和处置组件630可以被配置为应用当一个区饱和时由图像传感器254能够输出的最大数字值的百分比。
在图9所示的示例中，饱和处置组件630可以识别与汽车的前灯相对应的第一饱和区920以及与另一汽车的后尾灯相对应的第二饱和区930。如图9所示，第一饱和区920位于被识别的感兴趣区域910内。
在一些示例中，饱和处置组件630可以确定降低图像传感器的与饱和区920、930相关联的聚焦像素的密度。例如，饱和处置组件630可以将与饱和区920、930相关联的聚焦像素的数量设置为零聚焦像素，使得图像传感器的与饱和区920、930相关联的可配置像素被配置为作为成像像素进行操作。
在一些示例中，饱和处置组件630可以确定饱和区是否与被识别的感兴趣区域重叠。例如，饱和处置组件630可以确定被识别的感兴趣区域910和第一饱和区920重叠。在一些这样的示例中，饱和处置组件630可以确定增加与被识别的感兴趣区域910相关联的聚焦像素的密度，并且可以确定降低与第一饱和区920相关联的聚焦像素的密度。例如，饱和处置组件630可以确定将与被识别的感兴趣区域910相关联并且在第一饱和区之外的聚焦像素的密度水平设置为大于背景密度水平的第一密度。饱和处置组件630还可以确定将与第一饱和区920相关联的聚焦像素的密度水平设置为小于第一密度的第二密度。在一些示例中，第二密度可以对应于零聚焦像素，使得与第一饱和区920相关联的可配置像素被配置为作为成像像素进行操作。在一些示例中，第二密度可以对应于大于零聚焦像素并且小于背景密度水平的密度水平。
应当明白，通过降低与饱和区相关联的聚焦像素的密度水平，饱和处置组件630促进减少对于PDAF目的可能不是有用的聚焦数据量。此外，通过将与饱和区相关联的可配置像素设置为作为成像像素进行操作，饱和处置组件630还可以促进提高图像的质量。
在图6所示的示例中，图像处理器600可以被配置为包括边缘处置组件640，以促进实现边缘检测技术。在一些示例中，场景可以对应于低光环境。例如，由图像传感器254生成的数字值可以小于低光环境门限。例如，对于10比特数字值(范围在0与1023之间)，低光环境可以由小于100的数字值来表示。然而，应当明白，额外或替代示例可以使用其它门限值。
在低光环境中，由图像传感器254生成的数字值可以具有低信噪比(SNR)和/或高噪声。为了提高图像的质量，图像处理器600可以执行去噪技术，诸如对具有相同聚焦朝向的多个附近聚焦像素(被统称为“装仓像素”)的值(或数据)进行装仓(或平均)。
图10示出了图像传感器1000的包括像素1004的阵列1002的一部分。在所示的示例中，图像传感器1000的该部分对应于作为第一帧的与感兴趣区域相关联的成像像素或聚焦像素进行操作的可配置像素。在所示的示例中，阵列1002包括多个左聚焦像素1010和多个右聚焦像素1020。在执行装仓时，图像处理器600可以对具有相同聚焦朝向的聚焦像素的数字值进行平均。例如，在图10所示的示例中，图像处理器600可以对第一左聚焦像素1010a、第二左聚焦像素1010b、第三左聚焦像素1010c和第四左聚焦像素1010d的数字值进行平均，以确定第二左聚焦像素1010b的值。类似地，用于确定第二右聚焦像素1020b的值的装仓像素可以包括第一右聚焦像素1020a、第二右聚焦像素1020b、第三右聚焦像素1020c和第四右聚焦像素1020d。
在一些示例中，感兴趣区域可以包括边缘。边缘可以是通过亮度变化或色彩变化来确定的。例如，边缘处置组件640可以被配置为在亮度变化和/或色彩变化大于门限百分比时检测到边缘。在一些示例中，边缘可以对应于不同对象之间的边界。例如，参考图7的示例图像700，边缘处置组件640可以检测第二被识别区域722内的在帽子720与人710的面部的前额之间的边缘。在一些示例中，边缘处置组件640可以检测对象的不同区域之间的边缘。例如，边缘处置组件640可以检测监视器的屏幕与监视器的底座之间的边缘。
在图10所示的示例中，在第一图像内检测到与像素1004的第一子集1002a与像素1004的第二子集1002b之间的像素相关联的边缘。因此，第一子集1002a内的像素1004可以与第一相似亮度或第一相似色彩相关联，而第二子集1002b内的像素1004可以与第二相似亮度或第二相似色彩相联系。
然而，应当明白，在进行装仓时，通过对跨边缘的聚焦像素的数字值进行平均来确定聚焦像素的值可能使针对聚焦像素的平均值偏斜，这可能导致伪影。例如，确定第二左聚焦像素1010b的值包括对第一左聚焦像素1010a和第二左聚焦像素1010b以及第三左聚焦像素1010c和第四左聚焦像素1010d的数字值进行平均，第一左聚焦像素1010a和第二左聚焦像素1010b位于像素1004的第一子集1002a内并且与第一相似亮度或第一相似色彩相关联，第三左聚焦像素1010c和第四左聚焦像素1010d位于像素1004的第二子集1002b内并且与第二相似亮度或第二相似色彩相关联。
为了改善在低光环境中对装仓的执行，边缘处置组件640被配置为检测感兴趣区域内的一个或多个边缘。如果边缘处置组件640检测到感兴趣区域内的边缘，则边缘处置组件64被配置为增加与感兴趣区域的相应子区域相关联的聚焦像素的密度。例如，参考图10的示例，边缘处置组件640可以被配置为增加图像传感器1000的像素1004的第一子集1002a内的左聚焦像素1010和右聚焦像素1020的密度。边缘处置组件640可以另外或替代地被配置为增加图像传感器1000的像素1004的第二子集1002b内的左聚焦像素1010和右聚焦像素1020的密度。
应当明白，通过增加与感兴趣区域的相应子区域相关联的聚焦像素的密度，边缘处置组件640可以通过降低对跨边缘延伸的像素进行装仓的可能性来促进提高装仓的质量。应当明白，可以对场景的后续帧执行装仓。
在所示的示例中，在对象处置组件610之后，朝向处置组件620、饱和处置组件630和/或边缘处置组件640执行其相应的场景分析技术，并且确定要对图像传感器254的可配置像素进行的改变(如果有的话)，图像处理器600针对后续帧应用相应的像素配置。例如，像素配置的改变可以包括将可配置像素从作为成像像素进行操作改变为作为聚焦像素进行操作(例如，以增加与被识别区域相关联的聚焦像素的密度)，将可配置像素从作为聚焦像素进行操作改变为作为成像像素进行操作(例如，以降低与被识别区域相关联的聚焦像素的密度)，和/或将聚焦像素的聚焦朝向从第一聚焦朝向改变为第二聚焦朝向(例如，以增加从由与包括纹理的区域相关联的聚焦像素生成的聚焦数据接收用于PDAF目的的有用信息的可能性)。
图11至15示出了根据本文公开的一种或多种技术的示例方法的示例流程图。这些方法可以由装置(诸如图2的示例设备204)和/或该装置的组件(诸如图2的示例处理单元220和/或图6的图像处理器600)来执行。根据各个方面，可以省略、调换和/或同时执行方法的所示的操作中的一个或多个操作。可选方面是用虚线来表示的。在图11至15所示的示例中，该装置被配置为包括具有多个像素的图像传感器(诸如图2的示例图像传感器254)，多个像素包括可被配置为作为成像像素或聚焦像素进行操作的像素集合。
图11是根据本文公开的一种或多种技术的采用PDAF光学系统的方法的流程图1100。在1102处，该装置接收场景的第一帧的第一图像数据，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为从图像传感器254接收第一图像数据。可以明白，图像传感器254的可配置像素可以被配置为利用默认配置进行操作(例如，作为成像像素或作为具有第一聚焦朝向的聚焦像素)，或者可以被配置为利用先前像素配置进行操作(例如，第一可配置像素子集被配置为作为成像像素进行操作，第二可配置像素子集被配置为作为具有第一聚焦朝向的聚焦像素进行操作，第三可配置像素子集被配置为作为具有第二聚焦朝向的聚焦像素进行操作，等等)。
在1104处，该装置确定第一帧的至少一个感兴趣区域或非感兴趣区域，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为确定第一帧的至少一个感兴趣区域或非感兴趣区域。在一些示例中，该装置可以通过应用对象检测和/或辨识技术来确定被识别区域。在一些示例中，该装置可以接收指示至少一个感兴趣区域或非感兴趣区域的用户输入，并且然后可以基于所接收的用户输入来确定感兴趣区域或者非感兴趣区域。可以明白，在一些示例中，感兴趣区域或非感兴趣区域可以包括整个帧。
在1106处，该装置可以对至少一个感兴趣区域或非感兴趣区域应用一种或多种场景分析技术，以确定用于可配置像素的像素配置，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为对至少一个感兴趣区域或非感兴趣区域应用一种或多种场景分析技术以确定像素配置。在一些示例中，该装置可以应用以下各项中的一项或多项：对象检测和/或辨识技术、聚焦数据朝向检测技术、饱和检测技术和边缘检测技术。下面结合图12的流程图1200来描述对象检测和/或辨识技术的各方面。下面结合图13的流程图1300来描述聚焦数据方向检测技术的各个部分。下面结合图14的流程图1400来描述饱和检测技术的各方面。下面结合图15的流程图1500来描述边缘检测技术的各方面。
在一些示例中，该装置可以确定应用四种示例场景分析技术中的每一种。在一些示例中，该装置可以确定应用示例场景分析技术的子集。在一些示例中，该装置可以针对场景的每个帧应用示例场景分析技术中的一种或多种技术。在一些示例中，该装置可以通过跳过应用了示例场景分析技术中的一种或多种技术的一个或多个帧来节省该装置的功率和/或计算资源。在一些示例中，该装置可以执行初始场景分析(例如，基于机器学习和/或人工智能)，以确定场景的各方面是否在帧之间改变。在一些这样的示例中，当场景的各方面在帧之间改变时，该装置可以通过应用一种或多种场景分析技术来节省该装置的功率和/或计算资源。
在1108处，该装置选择图像传感器的可配置像素集合的要作为聚焦像素的子集，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为选择可配置像素集合的要作为聚焦像素的子集。在一些示例中，该装置可以使用通过应用一种或多种场景分析技术确定的像素配置(在1106处)来确定可配置像素集合的要作为聚焦像素的子集。在一些示例中，像素配置还可以提供用于可配置像素的被配置为作为聚焦像素进行操作的子集的聚焦朝向。
在1110处，该装置使得可配置像素的所选择的子集作为聚焦像素进行操作，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为使得电荷组件256对图像传感器254的可配置像素的子集的不透明转换材料部分350施加电荷(或电流或电压)，以使得相应的可配置像素作为聚焦像素进行操作。在一些示例中，该装置可以另外或替代地改变用于一个或多个聚焦像素的聚焦朝向。在一些示例中，该装置可以另外或替代地使得可配置像素中的一者或多者作为成像像素进行操作。
在1112处，该装置可以将镜头组装件移位以调整在图像传感器上接收的光的聚焦，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为将镜头组装件252移位以调整在图像传感器254上接收的光的聚焦。
在1114处，该装置可以接收场景的后续帧的第二图像数据，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以从图像传感器254接收第二图像数据。在一些示例中，第二图像数据可以包括来自可配置像素集合的所选择的子集的聚焦数据以及来自图像传感器的多个像素中的剩余像素的成像数据。
图12是根据本文公开的一种或多种技术的实现对象检测和/或识别技术的方法的流程图1200。在1202处，该装置可以应用对象检测和/或辨识技术，如结合图2至10中的示例所描述的。例如，对象处置组件610可以被配置为应用对象检测和/或辨识技术。在一些示例中，对象检测和/或辨识技术可以被配置为检测和/或者辨识不同类别的对象。例如，对象检测和/或辨识技术可以被配置为检测和/或者辨识感兴趣对象(例如，目标项目)和/或非感兴趣对象。在一些示例中，对象检测和/或辨识技术可以被配置为对检测到的和/或辨识出的对象进行细分类。例如，对象检测和/或辨识技术可以被配置为检测和/或辨识高感兴趣对象(例如，目标项目，诸如面部)，和/或可以被配置为探测和/或辨识低感兴趣对象(例如，麦克风)。
在1204处，该装置可以基于检测到的和/或辨识出的对象来确定被识别区域是感兴趣区域还是非感兴趣区域，如结合图2至10中的示例所描述的。例如，对象处置组件610可以被配置为基于在被识别区域内检测到和/或辨识出的对象来确定被识别区域是感兴趣区域还是非感兴趣区域。在一些示例中，基于在被识别区域内检测到和/或辨识出的对象的对应类别(或子类别)，被识别区域可以与不同的兴趣水平或非兴趣水平相关联。
如果在1204处，该装置确定被识别区域是非感兴趣区域(例如，在被识别区域内检测到和/或辨识出的对象是非感兴趣的)，那么在1206处，该装置可以确定降低与被识别区域相关联的聚焦像素的密度，如结合图2至10中的示例所描述的。例如，对象处置组件610可以被配置为通过改变一个或多个可配置像素作为成像像素进行操作的配置，来确定降低图像传感器254内的与被识别区域相关联的聚焦像素的密度。然后，控制进行到1210，以确定是否存在另一被识别区域和检测到和/或辨识出的对象要处理。
如果在1204处，该装置确定被识别区域是感兴趣区域(例如，被识别区域内的检测到和/或辨识出的对象是感兴趣的)，那么在1208处，该装置可以确定增加与被识别区域相关联的聚焦像素的密度，如结合图2至10中的示例所描述的。例如，对象处置组件610可以被配置为确定增加图像传感器254内的与被识别区域相关联的聚焦像素的密度。在一些示例中，该装置可以基于例如对检测到和/或辨识出的对象的细分类，来确定对不同的感兴趣区域应用聚焦像素的不同密度水平。例如，该装置可以设置与包括高感兴趣对象(例如，面部)的感兴趣区域相关联的聚焦像素的第一密度水平，并且可以设置与包括低感兴趣对象(例如，麦克风)的感兴趣区域相关联的聚焦像素的第二密度水平。在一些这样的示例中，与具有第二密度水平的感兴趣区域相比，具有第一密度水平的感兴趣区域可以是相对更加密集的聚焦像素。
在1210处，该装置可以基于检测到和/或辨识出的对象来确定是否存在另一被识别区域要处理，如结合图2至10中的示例所描述的。例如，对象处置组件610可以被配置为确定是否存在另一被识别区域要处理。如果在1210处，该装置确定存在另一被识别区域要处理，则控制返回到1204，以基于在被识别区域内检测到和/或辨识出的对象来确定被识别区域是感兴趣区域还是非感兴趣区域。
如果在1210处，该装置确定不存在另一被识别区域要处理，那么在1212处，该装置可以应用像素配置，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为对图像传感器的可配置像素应用像素配置，以增加或降低与被识别区域相关联的聚焦像素的密度。
图13是根据本文公开的一种或多种技术的实现聚焦数据朝向检测技术的方法的流程图1300。在1302处，该装置可以对帧的聚焦数据执行PD分析，如结合图2至10中的示例所描述的。例如，朝向处置组件620可以被配置为对帧的聚焦数据执行PD分析。在一些示例中，该装置可以输出针对帧的相应感兴趣区域的置信度水平。
在1304处，该装置可以确定针对感兴趣区域的输出的置信度水平是否满足置信度门限，如结合图2至10中的示例所描述的。例如，朝向处置组件620可以被配置为确定针对感兴趣区域的输出的置信度水平是否大于或等于置信度门限。
如果在1304处，该装置确定针对感兴趣区域的输出的置信度水平不满足置信度门限(例如，小于置信度门限)，那么在1306处，该装置可以确定改变用于与感兴趣区域相关联的聚焦像素的聚焦朝向。例如，朝向处置组件620可以被配置为将用于与感兴趣区域相关联的聚焦像素的聚焦朝向从第一聚焦朝向改变为第二聚焦朝向。可以明白，在一些示例中，朝向处置组件620可以被配置为确定改变用于与感兴趣区域相关联的聚焦像素的子集的聚焦朝向。然后，控制进行到1310，以确定是否存在另一置信度水平和感兴趣区域要处理。
如果在1304处，该装置确定针对感兴趣区域的输出的置信度水平满足置信度门限(例如，大于或等于置信度门限)，那么在1308处，该装置可以确定保持用于与感兴趣区域相关联的聚焦像素的聚焦朝向。例如，朝向处置组件620可以被配置为保持用于与感兴趣区域相关联的聚焦像素的当前聚焦朝向。
在1310处，该装置可以确定是否存在另一置信度水平和感兴趣区域要处理，如结合图2至10中的示例所描述的。例如，朝向处置组件620可以被配置为确定是否存在另一置信度水平和感兴趣区域要处理。如果在1310处，该装置确定存在另一置信度水平和感兴趣区域要处理，则控制返回到1304，以确定置信度水平是否满足置信度门限。
如果在1310处，该装置确定不存在另一置信度水平和感兴趣区域要处理，那么在1312处，该装置可以应用像素配置，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为对图像传感器的可配置像素应用像素配置，以改变聚焦像素中的一个或多个聚焦像素的聚焦朝向。
图14是根据本文公开的一种或多种技术的实现饱和检测技术的方法的流程图1400。在1402处，该装置可以应用饱和区检测技术来检测帧中的一个或多个饱和区域，如结合图2至10中的示例所描述的。例如，饱和处置组件630可以被配置为应用饱和区检测技术来检测帧中的一个或多个饱和区域。
在1404处，该装置可以确定检测到的饱和区是否与感兴趣区域重叠，如结合图2至10中的示例所描述的。例如，饱和处置组件630可以被配置为确定检测到的饱和区是否与感兴趣区域重叠。如果在1404处，该装置确定检测到的饱和区不与感兴趣区域重叠，则控制进行到1408，以确定是否存在另一饱和区和感兴趣区域要处理。
如果在1404处，该装置确定检测到的饱和区域确实与感兴趣区域重叠，那么在1406处，该装置可以确定降低与饱和区相关联的聚焦像素的密度，如结合图2至10中的示例所描述的。例如，饱和处置组件630可以被配置为确定降低与饱和区相关联的聚焦像素的密度。在一些示例中，该装置可以设置与感兴趣区域中的饱和区相关联的聚焦像素的第一密度水平，并且可以设置用于感兴趣区域中的非饱和区设置聚焦像素的第二密度水平。在一些示例中，第二密度水平大于第一密度水平。在一些示例中，第一密度水平可以为零，使得与饱和区相关联的可配置像素可以被配置为作为成像像素进行操作。然后，控制进行到1408，以确定是否存在另一检测到的饱和区要处理。
在1408处，该装置可以确定是否存在另一检测到的饱和区要处理，如结合图2至10中的示例所描述的。例如，饱和处置组件630可以被配置为确定是否存在另一检测到的饱和区要处理。如果在1408处，该装置确定存在另一检测到的饱和边缘要处理，则控制返回到1404，以确定检测到的饱和区是否与感兴趣区域重叠。
如果在1408处，该装置确定不存在另一检测到的饱和区要处理，那么在1410处，该装置可以应用像素配置，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为对图像传感器的可配置像素应用于像素配置。
图15是根据本文公开的一种或多种技术的实现边缘检测技术的方法的流程图1500。在所示的示例中，当场景对应于低光环境时，该装置可以应用边缘检测技术，并且其中，应用装仓技术可以促进提高图像的质量。
在1502处，该装置可以应用边缘检测技术来检测帧中的一个或多个边缘，如结合图2至10中的示例所描述的。例如，边缘处置组件640可以被配置为应用边缘检测技术。如上所述，边缘检测技术可以被配置为检测接近像素之间的亮度变化或色彩变化。在一些示例中，该装置可以应用亮度或色彩的门限变化来确定是否发生亮度变化或色彩变化。在一些示例中，边缘可以表示两个或更多个对象(例如，桌子与墙)之间的边界、或者对象的不同区(例如，显示监视器的屏幕与显示监视器的底座)之间的边界。
在1504处，该装置可以确定检测到的边缘是否与感兴趣区域重叠，如结合图2至10中的示例所描述的。例如，边缘处置组件640可以被配置为确定检测到的边缘是否与感兴趣区域重叠。如果在1504处，该装置确定检测到的边缘不与感兴趣区域重叠，则控制进行到1510，以确定是否存在另一边缘和感兴趣区域要处理。
如果在1504处，该装置确定检测到的边缘确实与感兴趣区域重叠，那么在1506处，该装置可以基于边缘来确定增加与第一感兴趣子区域相关联的聚焦像素的数量，如结合图2至10中的示例所描述的。例如，边缘处置组件640可以被配置为确定增加与第一感兴趣子区域相关联的聚焦像素的数量。在一些示例中，与第一感兴趣子区域相关联的第一聚焦像素可以对应于相同的对象(例如，显示监视器的屏幕)和/或具有相似的亮度或色彩。
在1508处，该装置可以基于边缘来确定增加与第二感兴趣子区域相关联的聚焦像素的数量，如结合图2至10中的示例所描述的。例如，边缘处置组件640可以被配置为确定增加与第二感兴趣子区域相关联的聚焦像素的数量。在一些示例中，与第二感兴趣子区域相关联的第二聚焦像素可以对应于相同的对象(例如，显示监视器的底座)和/或具有相似的亮度或色彩。
在1510处，该装置可以确定是否存在另一检测到的边缘和感兴趣区域要处理，如结合图2至10中的示例所描述的。例如，边缘处置组件640可以被配置为确定是否存在另一检测到的边缘和感兴趣区域要处理。如果在1510处，该装置确定存在另一检测到的边缘和感兴趣区域要处理，则控制返回到1504，以确定检测到的边缘是否与感兴趣区域重叠。
如果在1510处，该装置确定不存在另一检测到的边缘和感兴趣区域要处理，那么在1512处，该装置可以应用像素配置，如结合图2至10中的示例所描述的。例如，处理单元220和/或图像处理器600可以被配置为对图像传感器的可配置像素应用像素配置。
本文描述的主题可以被实现以实现一个或多个益处或优点。例如，应用处理器(例如，ISP、CPU、GPU、显示处理器、DPU、视频处理器或可以执行图像处理的某种其它处理器)可以使用所描述的图像处理技术来实现对包括可以被配置为作为聚焦像素或成像像素进行操作的像素的PDAF光学系统的采用，以改进PDAF处理，降低发送对于PDAF目的不太有益的信息的可能性，减少处理单元(例如，被配置为执行本文公开的一种或多种技术的任何处理单元，诸如图像处理器)的负载，和/或降低处理单元的功耗。
根据本公开内容，在上下文没有另外规定的情况下，术语“或”可以被解释为“和/或”。另外，虽然诸如“一个或多个”或“至少一个”等的短语可能已经用于本文所公开的一些特征，而没有用于其它特征，但是没有用于这样的语言的特征可以被解释为在上下文没有另外规定的情况下暗示了这样的含义。
在一个或多个示例中，本文描述的功能可以用硬件、软件、固件或其任何组合来实现。例如，尽管已经遍及本公开内容使用了术语“处理单元”，但是这样的处理单元可以用硬件、软件、固件或其任何组合来实现。如果任何功能、处理单元、本文描述的技术或其它模块是用软件实现的，则任何功能、处理单元、本文描述的技术或其它模块可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行发送。计算机可读介质可以包括计算机数据存储介质或通信介质，所述通信介质包括促进将计算机程序从一个地方传送到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于：(1)非暂时性的有形计算机可读存储介质、或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器访问以取得用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用的介质。通过举例而非限制性的方式，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上述各项的组合还应当被包括在计算机可读介质的范围之内。计算机程序产品可以包括计算机可读介质。
代码可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、算术逻辑单元(ALU)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或分立逻辑电路。相应地，如本文所使用的术语“处理器”可以指代前述结构中的任何一者或者适合于实现本文描述的技术的任何其它结构。此外，所述技术可以在一个或多个电路或逻辑元件中充分地实现。
本公开内容的技术可以在各种各样的设备或装置中实现，包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。在本公开内容中描述了各个组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。而是，如上所述，各个单元可以被组合在任何硬件单元中，或者由可互操作的硬件单元的集合(包括如上所述的一个或多个处理器)结合合适的软件和/或固件来提供。
以下示例仅是说明性的，并且可以与本文描述的其它实施例或教导的方面结合，而不进行限制。
示例1是一种装置，包括：包括多个像素的图像传感器，所述多个像素包括可被配置为成像像素或聚焦像素的像素集合，所述图像传感器被配置为基于在所述多个像素处的接收到的光来生成场景的图像数据；以及处理器，其耦合到所述图像传感器并且被配置为：接收所述场景的第一帧的第一图像数据；确定所述第一帧的至少一个感兴趣区域或非感兴趣区域；基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择所述像素集合的要作为聚焦像素的子集；以及使得所述像素集合的所选择的子集作为聚焦像素进行操作。
在示例2中，根据示例1所述的装置还包括：所述处理器还被配置为：从所述图像传感器接收第二帧的第二图像数据，所述第二图像数据包括来自所述像素集合的所选择的子集的聚焦数据以及来自所述多个像素中的剩余像素的成像数据。
在示例3中，根据示例1或示例2中任一项所述的装置还包括：镜头组装件，其被配置为将所述接收到的光聚焦在所述图像传感器上，其中，所述处理器被配置为基于所述第二图像数据来将所述镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦。
在示例4中，根据示例1至3中任一项所述的装置还包括：所述处理器被配置为通过以下操作，基于确定的感兴趣区域来选择所述像素集合的要作为聚焦像素的所述子集：将与所述确定的感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时与所述确定的感兴趣区域相关联的聚焦像素的第一密度增加到聚焦像素的第二密度。
在示例5中，根据示例1至4中任一项所述的装置还包括：所述处理器被配置为：基于在所述确定的感兴趣区域中识别的目标项目来确定与所述确定的感兴趣区域相关联的聚焦像素的密度。
在示例6中，根据示例1至5中任一项所述的装置还包括：所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，并且其中，所述处理器被配置为选择与所述第一感兴趣区域相关联的聚焦像素的第一密度，并且选择与所述第二感兴趣区域相关联的聚焦像素的第二密度，所述第二密度不同于所述第一密度。
在示例7中，根据示例1至6中任一项所述的装置还包括：所述处理器被配置为通过以下操作，基于确定的非感兴趣区域来选择所述像素集合的要作为聚焦像素的所述子集：将与所述确定的非感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时与所述确定的非感兴趣区域的聚焦像素的第一密度降低到聚焦像素的第二密度。
在示例8中，根据示例1至7中任一项所述的装置还包括：所述处理器被配置为：使得所述像素集合中的与所述确定的非感兴趣区域相关联的像素作为成像像素进行操作。
在示例9中，根据示例1至8中任一项所述的装置还包括：所述处理器被配置为通过以下操作，使得所述像素集合的所选择的子集作为聚焦像素进行操作：基于在所述第一帧内检测到的至少一个纹理或边缘，来设置用于所述像素集合的所选择的子集中的像素中的每个像素的第一聚焦朝向。
在示例10中，根据示例1至9中任一项所述的装置还包括：所述处理器还被配置为：确定针对第二帧的从所述图像传感器接收的第二图像数据的聚焦置信度水平是否满足置信度门限；以及当所述聚焦置信度水平不满足所述置信度门限时，针对所述像素集合的所选择的子集的像素中的每个像素设置第二聚焦朝向，所述第二聚焦朝向不同于所述第一聚焦朝向。
在示例11中，根据示例1至10中任一项所述的装置还包括：所述第一聚焦朝向是上下朝向、左右朝向或对角朝向中的一项。
在示例12中，根据示例1至11中任一项所述的装置还包括：所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区和所述第二兴趣区域是基于与每个相应的感兴趣区域相关联的光水平来确定的，并且其中，相对于所述第二感兴趣区域，所述第一感兴趣区域与相对较低的光水平相关联，并且其中，所述处理器还被配置为：接收所述场景的第二帧的第二图像数据，所述第二图像数据包括与所述第一帧相同的第一感兴趣区域和相同的第二感兴趣区域；对与所述第一感兴趣区域相关联的第一聚焦像素子集的数据进行平均；对与所述第二感兴趣区域相关联的第二聚焦像素子集的数据进行平均；以及基于所述第一聚焦像素子集的数据的平均和所述第二聚焦像素子集的数据的平均来将镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦。
在示例13中，根据示例1至12中任一项所述的装置还包括：所述处理器还被配置为：基于与所述确定的感兴趣区域或非感兴趣区域相关联的边缘检测来确定所述第一感兴趣区域和所述第二感兴趣区域。
在示例14中，根据示例1至13中任一项所述的装置还包括：所述处理器还被配置为：增加与所述第一感兴趣区域相关联的聚焦像素的密度；以及增加与所述第二感兴趣区域相关联的聚焦像素的密度。
在示例15中，根据示例1至14中任一项所述的装置还包括：所述处理器还被配置为：接收指示所述第一帧的所述至少一个感兴趣区域或非感兴趣区域的信息，并且其中，所述处理器被配置为基于所接收的信息来确定所述至少一个感兴趣区域或非感兴趣区域。
在示例16中，根据示例1至15中任一项所述的装置还包括：所述像素集合中的每个像素包括：光电二极管；以及位于所述光电二极管上方的不透明转换材料，所述不透明转换材料包括被布置在所述光电二极管的第一区段上方的第一不透明转换材料部分以及被布置在所述光电二极管的第二区段上方的第二不透明转换材料部分，所述第一不透明转换材料部分和所述第二不透明转换材料部分可被独立地配置为不透明或透明。
在示例17中，根据示例1至16中任一项所述的装置还包括：当所述第一不透明转换材料部分或所述第二不透明转换材料部分中的一者是不透明的并且所述第一不透明转换材料部分或所述第二不透明转换材料部分中的另一者是透明的时，所述像素集合中的每个像素被配置为作为聚焦像素进行操作，并且当所述第一不透明转换材料部分和所述第二不透明转换材料部分两者都是透明的时，所述像素被配置为作为成像像素进行操作。
在示例18中，根据示例1至17中任一项所述的装置还包括：所述不透明转换材料还包括被布置在所述光电二极管的第三区段上方的第三不透明转换材料部分以及被布置在所述光电二极管的第四区段上方的第四不透明转换材料部分，所述第一不透明转换材料部分、所述第二不透明转换材料部分、所述第三不透明转换材料部分和所述第四不透明转换材料部分可被独立地配置为不透明或透明。
在示例19中，根据示例1至18中任一项所述的装置还包括：所述处理器还被配置为通过以下操作来设置用于所述聚焦像素中的每个聚焦像素的聚焦朝向：将所述第一不透明转换材料部分、所述第二不透明转换材料部分、所述第三不透明转换材料部分和所述第四不透明转换材料部分中的每一项独立地配置为不透明或透明。
在示例20中，根据示例1至19中任一项所述的装置还包括：所述聚焦朝向是六个不同的聚焦朝向中的一项，并且其中，所述六个不同的聚焦朝向中的每个聚焦朝向包括将所述不透明转换材料部分中的两者设置为不透明，并且将剩余的两个不透明转换材料部分设置为透明。
示例21是一种设备，包括：一个或多个处理器；以及与所述一个或多个处理器进行电子通信的一个或多个存储器，其存储可由所述一个或多个处理器执行以使得系统或装置实现如在示例1至20中的任一项中的方法的指令。
示例22是一种系统或装置，包括：用于实现如在示例1至20中的任一项中的方法或实现装置的单元。
示例23是一种非暂时性计算机可读介质，其存储可由一个或多个处理器执行以使得所述一个或多个处理器实现如在示例1至20中的任一项中的方法的指令。
已经描述了各个示例。这些和其它示例在跟随的权利要求的范围内。

Claims (49)

1.一种装置，包括：
包括多个像素的图像传感器，所述多个像素包括可被配置为成像像素或聚焦像素的像素集合，所述图像传感器被配置为基于在所述多个像素处的接收到的光来生成场景的图像数据；以及
处理器，其耦合到所述图像传感器并且被配置为：
接收所述场景的第一帧的第一图像数据；
确定所述第一帧的至少一个感兴趣区域或非感兴趣区域；
基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择所述像素集合的要作为聚焦像素的子集；以及
使得所述像素集合的所选择的子集作为聚焦像素进行操作。
2.根据权利要求1所述的装置，其中，所述处理器还被配置为：
从所述图像传感器接收第二帧的第二图像数据，所述第二图像数据包括来自所述像素集合的所选择的子集的聚焦数据以及来自所述多个像素中的剩余像素的成像数据。
3.根据权利要求2所述的装置，还包括：
镜头组装件，其被配置为将所述接收到的光聚焦在所述图像传感器上，
其中，所述处理器被配置为基于所述第二图像数据来将所述镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦。
4.根据权利要求1所述的装置，其中，所述处理器被配置为通过以下操作，基于确定的感兴趣区域来选择所述像素集合的要作为聚焦像素的所述子集：
将与所述确定的感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时与所述确定的感兴趣区域相关联的聚焦像素的第一密度增加到聚焦像素的第二密度。
5.根据权利要求4所述的装置，其中，所述处理器被配置为：基于在所述确定的感兴趣区域中识别的目标项目来确定与所述确定的感兴趣区域相关联的聚焦像素的密度。
6.根据权利要求1所述的装置，其中，所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，并且
其中，所述处理器被配置为选择与所述第一感兴趣区域相关联的聚焦像素的第一密度，并且选择与所述第二感兴趣区域相关联的聚焦像素的第二密度，所述第二密度不同于所述第一密度。
7.根据权利要求1所述的装置，其中，所述处理器被配置为通过以下操作，基于确定的非感兴趣区域来选择所述像素集合的要作为聚焦像素的所述子集：
将与所述确定的非感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时与所述确定的非感兴趣区域的聚焦像素的第一密度降低到聚焦像素的第二密度。
8.根据权利要求7所述的装置，其中，所述处理器被配置为：使得所述像素集合中的与所述确定的非感兴趣区域相关联的像素作为成像像素进行操作。
9.根据权利要求1所述的装置，其中，所述处理器被配置为通过以下操作，使得所述像素集合的所选择的子集作为聚焦像素进行操作：
基于在所述第一帧内检测到的至少一个纹理或边缘，来设置用于所述像素集合的所选择的子集中的像素中的每个像素的第一聚焦朝向。
10.根据权利要求9所述的装置，其中，所述处理器还被配置为：
确定针对第二帧的从所述图像传感器接收的第二图像数据的聚焦置信度水平是否满足置信度门限；以及
当所述聚焦置信度水平不满足所述置信度门限时，针对所述像素集合的所选择的子集的像素中的每个像素设置第二聚焦朝向，所述第二聚焦朝向不同于所述第一聚焦朝向。
11.根据权利要求9所述的装置，其中，所述第一聚焦朝向是上下朝向、左右朝向或对角朝向中的一项。
12.根据权利要求1所述的装置，其中，所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区和所述第二兴趣区域是基于与每个相应的感兴趣区域相关联的光水平来确定的，并且其中，相对于所述第二感兴趣区域，所述第一感兴趣区域与相对较低的光水平相关联，并且其中，所述处理器还被配置为：
接收所述场景的第二帧的第二图像数据，所述第二图像数据包括与所述第一帧相同的第一感兴趣区域和相同的第二感兴趣区域；
对与所述第一感兴趣区域相关联的第一聚焦像素子集的数据进行平均；
对与所述第二感兴趣区域相关联的第二聚焦像素子集的数据进行平均；以及
基于所述第一聚焦像素子集的数据的平均和所述第二聚焦像素子集的数据的平均来将镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦。
13.根据权利要求12所述的装置，其中，所述处理器还被配置为：基于与所述确定的感兴趣区域或非感兴趣区域相关联的边缘检测来确定所述第一感兴趣区域和所述第二感兴趣区域。
14.根据权利要求12所述的装置，其中，所述处理器还被配置为：
增加与所述第一感兴趣区域相关联的聚焦像素的密度；以及
增加与所述第二感兴趣区域相关联的聚焦像素的密度。
15.根据权利要求1所述的装置，其中，所述处理器还被配置为：
接收指示所述第一帧的所述至少一个感兴趣区域或非感兴趣区域的信息，并且
其中，所述处理器被配置为基于所接收的信息来确定所述至少一个感兴趣区域或非感兴趣区域。
16.根据权利要求1所述的装置，其中，所述像素集合中的每个像素包括：
光电二极管；以及
位于所述光电二极管上方的不透明转换材料，所述不透明转换材料包括被布置在所述光电二极管的第一区段上方的第一不透明转换材料部分以及被布置在所述光电二极管的第二区段上方的第二不透明转换材料部分，所述第一不透明转换材料部分和所述第二不透明转换材料部分可被独立地配置为不透明或透明。
17.根据权利要求16所述的装置，其中，当所述第一不透明转换材料部分或所述第二不透明转换材料部分中的一者是不透明的并且所述第一不透明转换材料部分或所述第二不透明转换材料部分中的另一者是透明的时，所述像素集合中的每个像素被配置为作为聚焦像素进行操作，并且当所述第一不透明转换材料部分和所述第二不透明转换材料部分两者都是透明的时，所述像素被配置为作为成像像素进行操作。
18.根据权利要求16所述的装置，其中，所述不透明转换材料还包括被布置在所述光电二极管的第三区段上方的第三不透明转换材料部分以及被布置在所述光电二极管的第四区段上方的第四不透明转换材料部分，所述第一不透明转换材料部分、所述第二不透明转换材料部分、所述第三不透明转换材料部分和所述第四不透明转换材料部分可被独立地配置为不透明或透明。
19.根据权利要求18所述的装置，其中，所述处理器还被配置为通过以下操作来设置用于所述聚焦像素中的每个聚焦像素的聚焦朝向：将所述第一不透明转换材料部分、所述第二不透明转换材料部分、所述第三不透明转换材料部分和所述第四不透明转换材料部分中的每一项独立地配置为不透明或透明。
20.根据权利要求19所述的装置，其中，所述聚焦朝向是六个不同的聚焦朝向中的一项，并且其中，所述六个不同的聚焦朝向中的每个聚焦朝向包括将所述不透明转换材料部分中的两者设置为不透明，并且将剩余的两个不透明转换材料部分设置为透明。
21.一种用于自动聚焦的操作的方法，包括：
从图像传感器接收场景的第一帧的第一图像数据，所述图像传感器包括多个像素，所述多个像素包括可被配置为成像像素或聚焦像素的像素集合，所述图像传感器被配置为基于在所述多个像素处的接收到的光来生成所述场景的图像数据；
确定所述第一帧的至少一个感兴趣区域或非感兴趣区域；
基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择所述像素集合的要作为聚焦像素的子集；以及
使得所述像素集合的所选择的子集作为聚焦像素进行操作。
22.根据权利要求21所述的方法，还包括：
从所述图像传感器接收第二帧的第二图像数据，所述第二图像数据包括来自所述像素集合的所选择的子集的聚焦数据以及来自所述多个像素中的剩余像素的成像数据。
23.根据权利要求22所述的方法，还包括：
基于所述第二图像数据来将镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦，所述镜头组装件被配置为将所述接收到的光聚焦在所述图像传感器上。
24.根据权利要求21所述的方法，其中，所述像素集合的所述子集是通过以下操作，基于确定的感兴趣区域而被选择为聚焦像素的：
将与所述确定的感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时与所述确定的感兴趣区域相关联的聚焦像素的第一密度增加到聚焦像素的第二密度。
25.根据权利要求24所述的方法，还包括：基于在所述确定的感兴趣区域中识别的目标项目来确定与所述确定的感兴趣区域相关联的聚焦像素的密度。
26.根据权利要求21所述的方法，其中，所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，并且所述方法还包括：
选择与所述第一感兴趣区域相关联的聚焦像素的第一密度；以及
选择与所述第二感兴趣区域相关联的聚焦像素的第二密度，所述第二密度不同于所述第一密度。
27.根据权利要求21所述的方法，其中，所述像素集合的所述子集是通过以下操作，基于确定的非感兴趣区域而被选择为聚焦像素的：
将与所述确定的非感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时与所述确定的非感兴趣区域的聚焦像素的第一密度降低到聚焦像素的第二密度。
28.根据权利要求27所述的方法，还包括：使得所述像素集合中的与所述确定的非感兴趣区域相关联的像素作为成像像素进行操作。
29.根据权利要求21所述的方法，其中，使得所述像素集合的所选择的子集作为聚焦像素进行操作包括：
基于在所述第一帧内检测到的至少一个纹理或边缘，来设置用于所述像素集合的所选择的子集中的像素中的每个像素的第一聚焦朝向。
30.根据权利要求29所述的方法，还包括：
确定针对第二帧的从所述图像传感器接收的第二图像数据的置信度水平是否满足置信度门限；以及
当所述置信度水平不满足所述置信度门限时，针对所述像素集合的所选择的子集的像素中的每个像素设置第二聚焦朝向，所述第二聚焦朝向不同于所述第一聚焦朝向。
31.根据权利要求29所述的方法，其中，所述第一聚焦朝向是上下朝向、左右朝向或对角朝向中的一项。
32.根据权利要求21所述的方法，其中，所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区和所述第二兴趣区域是基于与每个相应的感兴趣区域相关联的光水平来确定的，并且其中，相对于所述第二感兴趣区域，所述第一感兴趣区域与相对较低的光水平相关联，所述方法还包括：
接收所述场景的第二帧的第二图像数据，所述第二图像数据包括与所述第一帧相同的第一感兴趣区域和相同的第二感兴趣区域；
对与所述第一感兴趣区域相关联的第一聚焦像素子集的数据进行平均；
对与所述第二感兴趣区域相关联的第二聚焦像素子集的数据进行平均；以及
基于所述第一聚焦像素子集的数据的平均和所述第二聚焦像素子集的数据的平均来将镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦。
33.根据权利要求32所述的方法，还包括：基于与所述确定的感兴趣区域或非感兴趣区域相关联的边缘检测来确定所述第一感兴趣区域和所述第二感兴趣区域。
34.根据权利要求32所述的方法，还包括：
增加与所述第一感兴趣区域相关联的聚焦像素的密度；以及
增加与所述第二感兴趣区域相关联的聚焦像素的密度。
35.根据权利要求21所述的方法，还包括：
接收指示所述第一帧的所述至少一个感兴趣区域或非感兴趣区域的信息；以及
基于所接收的信息来确定所述至少一个感兴趣区域或非感兴趣区域。
36.一种用于执行自动聚焦的装置，包括：
用于从图像传感器接收场景的第一帧的第一图像数据的单元，所述图像传感器包括多个像素，所述多个像素包括可被配置为成像像素或聚焦像素的像素集合，所述图像传感器被配置为基于在所述多个像素处的接收到的光来生成所述场景的图像数据；
用于确定所述第一帧的至少一个感兴趣区域或非感兴趣区域的单元；
用于基于所确定的至少一个感兴趣区域或非感兴趣区域，来选择所述像素集合的要作为聚焦像素的子集的单元；以及
用于使得所述像素集合的所选择的子集作为聚焦像素进行操作的单元。
37.根据权利要求36所述的装置，还包括：
用于从所述图像传感器接收第二帧的第二图像数据，所述第二图像数据包括来自所述像素集合的所选择的子集的聚焦数据以及来自所述多个像素中的剩余像素的成像数据的单元。
38.根据权利要求37所述的装置，还包括：
用于基于所述第二图像数据来将镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦的单元，所述镜头组装件被配置为将所述接收到的光聚焦在所述图像传感器上。
39.根据权利要求36所述的装置，其中，所述用于选择的单元包括用于通过以下操作，基于确定的感兴趣区域来选择所述像素集合的要作为聚焦像素的所述子集的单元：将与所述确定的感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时所述确定的感兴趣区域中的聚焦像素的密度增加。
40.根据权利要求39所述的装置，还包括：用于基于在所述确定的感兴趣区域中识别的目标项目来确定与所述确定的感兴趣区域相关联的聚焦像素的密度的单元。
41.根据权利要求36所述的装置，其中，所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，并且所述装置还包括：
用于选择与所述第一感兴趣区域相关联的聚焦像素的第一密度的单元；以及
用于选择与所述第二感兴趣区域相关联的聚焦像素的第二密度的单元，所述第二密度不同于所述第一密度。
42.根据权利要求36所述的装置，其中，所述用于选择的单元包括用于通过以下操作，基于确定的非感兴趣区域来选择所述像素集合的要作为聚焦像素的所述子集的单元：将与所述确定的非感兴趣区域相关联的聚焦像素的密度从当所述第一图像数据被接收时所述确定的非感兴趣区域中的聚焦像素的密度降低。
43.根据权利要求42所述的装置，还包括：用于针对所述确定的非感兴趣区域不选择聚焦像素的单元。
44.根据权利要求36所述的装置，其中，所述用于使得所述像素集合的所选择的子集作为聚焦像素进行操作的单元包括：
用于基于在所述第一帧内检测到的至少一个纹理或边缘，来设置用于所述像素集合的所选择的子集中的像素中的每个像素的第一聚焦朝向的单元。
45.根据权利要求44所述的装置，还包括：
用于确定针对第二帧的从所述图像传感器接收的第二图像数据的置信度水平是否满足置信度门限的单元；以及
用于当所述置信度水平不满足所述置信度门限时，针对所述像素集合的所选择的子集的像素中的每个像素设置第二聚焦朝向的单元，所述第二聚焦朝向不同于所述第一聚焦朝向。
46.根据权利要求36所述的装置，其中，所述确定的感兴趣区域或非感兴趣区域包括第一感兴趣区域和第二感兴趣区域，其中，所述第一感兴趣区和所述第二兴趣区域是基于与每个相应的感兴趣区域相关联的光水平来确定的，并且其中，相对于所述第二感兴趣区域，所述第一感兴趣区域与相对较低的光水平相关联，所述装置还包括：
用于接收所述场景的第二帧的第二图像数据的单元，所述第二图像数据包括与所述第一帧相同的第一感兴趣区域和相同的第二感兴趣区域；
用于对与所述第一感兴趣区域相关联的第一聚焦像素子集的数据进行平均的单元；
用于对与所述第二感兴趣区域相关联的第二聚焦像素子集的数据进行平均的单元；以及
用于基于所述第一聚焦像素子集的数据的平均和所述第二聚焦像素子集的数据的平均来将镜头组装件移位以调整所述图像传感器上的所述接收到的光的聚焦的单元。
47.根据权利要求46所述的装置，还包括：用于基于与所述确定的感兴趣区域或非感兴趣区域相关联的边缘检测来确定所述第一感兴趣区域和所述第二感兴趣区域的单元。
48.根据权利要求46所述的装置，还包括：
用于增加与所述第一感兴趣区域相关联的聚焦像素的密度的单元；以及
用于增加与所述第二感兴趣区域相关联的聚焦像素的密度的单元。
49.根据权利要求36所述的装置，还包括：
用于接收指示所述第一帧的所述至少一个感兴趣区域或非感兴趣区域的信息的单元；以及
用于基于所接收的信息来确定所述至少一个感兴趣区域或非感兴趣区域的单元。
CN202180028726.4A 2020-04-27 2021-03-23 采用相位检测自动聚焦(pdaf)光学系统的方法和装置 Pending CN115428433A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/859,821 US11516378B2 (en) 2020-04-27 2020-04-27 Methods and apparatus employing a phase detection autofocus (PDAF) optical system
US16/859,821 2020-04-27
PCT/US2021/023743 WO2021221830A1 (en) 2020-04-27 2021-03-23 Methods and apparatus employing a phase detection autofocus (pdaf) optical system

Publications (1)

Publication Number Publication Date
CN115428433A true CN115428433A (zh) 2022-12-02

Family

ID=75498068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180028726.4A Pending CN115428433A (zh) 2020-04-27 2021-03-23 采用相位检测自动聚焦(pdaf)光学系统的方法和装置

Country Status (6)

Country Link
US (2) US11516378B2 (zh)
EP (1) EP4144077A1 (zh)
KR (1) KR20230004438A (zh)
CN (1) CN115428433A (zh)
TW (1) TW202143112A (zh)
WO (1) WO2021221830A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11516378B2 (en) * 2020-04-27 2022-11-29 Qualcomm Incorporated Methods and apparatus employing a phase detection autofocus (PDAF) optical system
EP4320854A1 (en) * 2021-08-23 2024-02-14 Samsung Electronics Co., Ltd. Method and electronic device for auto focus of scene
US11653092B2 (en) * 2021-09-27 2023-05-16 Advanced Micro Devices, Inc. Compensation-free phase detection for phase detection autofocus devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150373250A1 (en) * 2014-06-20 2015-12-24 Samsung Electronics Co., Ltd Circuit and method providing wide dynamic-range operation of auto-focus(af) focus state sensor elements, digital imaging device, and computer system including same
US20160182806A1 (en) * 2014-12-23 2016-06-23 Hsin-I Cindy Liu Automatic focus with a controllable phase detection mask
CN106101522A (zh) * 2015-04-30 2016-11-09 汤姆逊许可公司 使用非光场成像设备获得光场数据的方法和设备
US20190068869A1 (en) * 2017-08-31 2019-02-28 Qualcomm Incorporated Dual phase detection auto focus camera sensor data processing

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155257A (ja) 1998-11-19 2000-06-06 Fuji Photo Film Co Ltd 自動焦点調節装置および方法
JP4154400B2 (ja) 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
EP1624672A1 (en) 2004-08-07 2006-02-08 STMicroelectronics Limited A method of determining a measure of edge strength and focus
JP4725802B2 (ja) * 2006-12-27 2011-07-13 富士フイルム株式会社 撮影装置、合焦方法および合焦プログラム
JP5012236B2 (ja) * 2007-06-12 2012-08-29 株式会社ニコン デジタルカメラ
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP2014102478A (ja) 2012-11-22 2014-06-05 Canon Inc オートフォーカス装置及び撮像装置
JP6017322B2 (ja) 2013-01-11 2016-10-26 富士フイルム株式会社 固体撮像装置
JP2014183206A (ja) 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
KR102010628B1 (ko) * 2013-04-05 2019-08-13 레드.컴, 엘엘씨 카메라용 광학 필터링
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
GB2516486A (en) 2013-07-24 2015-01-28 Nokia Corp Auto focus determination apparatus
KR102121531B1 (ko) * 2013-12-10 2020-06-10 삼성전자주식회사 초점검출 가능한 이미지 센서 제어장치 및 방법.
US9787889B2 (en) 2015-02-12 2017-10-10 Semiconductor Components Industries, Llc Dynamic auto focus zones for auto focus pixel systems
US20170302844A1 (en) * 2016-04-13 2017-10-19 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and storage medium
JP2018097176A (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 焦点調節装置および焦点調節方法
JP2018125730A (ja) 2017-02-01 2018-08-09 キヤノン株式会社 撮像装置およびその制御方法
JP7195120B2 (ja) * 2018-11-16 2022-12-23 キヤノン株式会社 撮像装置およびその制御方法
US11199735B2 (en) * 2019-03-28 2021-12-14 Lumcolor Smart optical filter for pixel-selectively adjusting light intensity
JP7277284B2 (ja) * 2019-06-26 2023-05-18 オリンパス株式会社 焦点調節装置および焦点調節方法
US11314150B2 (en) * 2020-01-08 2022-04-26 Qualcomm Incorporated Phase detection autofocus (PDAF) optical system
US20210211580A1 (en) * 2020-01-08 2021-07-08 Qualcomm Incorporated Phase detection autofocus (pdaf) optical system
JP2021131441A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
US11516378B2 (en) * 2020-04-27 2022-11-29 Qualcomm Incorporated Methods and apparatus employing a phase detection autofocus (PDAF) optical system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150373250A1 (en) * 2014-06-20 2015-12-24 Samsung Electronics Co., Ltd Circuit and method providing wide dynamic-range operation of auto-focus(af) focus state sensor elements, digital imaging device, and computer system including same
US20160182806A1 (en) * 2014-12-23 2016-06-23 Hsin-I Cindy Liu Automatic focus with a controllable phase detection mask
CN106101522A (zh) * 2015-04-30 2016-11-09 汤姆逊许可公司 使用非光场成像设备获得光场数据的方法和设备
US20190068869A1 (en) * 2017-08-31 2019-02-28 Qualcomm Incorporated Dual phase detection auto focus camera sensor data processing

Also Published As

Publication number Publication date
US11516378B2 (en) 2022-11-29
EP4144077A1 (en) 2023-03-08
US20210337128A1 (en) 2021-10-28
US11843860B2 (en) 2023-12-12
KR20230004438A (ko) 2023-01-06
WO2021221830A1 (en) 2021-11-04
TW202143112A (zh) 2021-11-16
US20230141949A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US11843860B2 (en) Methods and apparatus employing a phase detection autofocus (PDAF) optical system
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
US10264174B2 (en) Photographing apparatus and focus detection method using the same
US10298863B2 (en) Automatic compensation of lens flare
US9449374B2 (en) System and method for multi-frame temporal de-noising using image alignment
US9774880B2 (en) Depth-based video compression
KR102266649B1 (ko) 이미지 처리 방법 및 장치
US9824417B2 (en) Image signal processor for generating depth map from phase detection pixels and device having the same
US20210390747A1 (en) Image fusion for image capture and processing systems
WO2019109805A1 (zh) 图像处理方法和装置
US10395348B2 (en) Image pickup apparatus, image processing apparatus, and control method of image pickup apparatus
US11394902B2 (en) Sparse infrared pixel design for image sensors
US11282176B2 (en) Image refocusing
KR20170067634A (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
US9860456B1 (en) Bayer-clear image fusion for dual camera
WO2023279289A1 (en) Processing image data using multi-point depth sensing system information
JP2010219683A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017220880A (ja) 投影装置及び投影方法
US11688046B2 (en) Selective image signal processing
US11871133B2 (en) Gaze-based non-regular subsampling of sensor pixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination