CN116547985A - 用于图像处理的镜头失真校正 - Google Patents

用于图像处理的镜头失真校正 Download PDF

Info

Publication number
CN116547985A
CN116547985A CN202080106471.4A CN202080106471A CN116547985A CN 116547985 A CN116547985 A CN 116547985A CN 202080106471 A CN202080106471 A CN 202080106471A CN 116547985 A CN116547985 A CN 116547985A
Authority
CN
China
Prior art keywords
image
lens distortion
configuration
configuration settings
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080106471.4A
Other languages
English (en)
Inventor
秦莹莹
M·高
X·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116547985A publication Critical patent/CN116547985A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

一种处理器可以被配置为：从相机模块接收具有镜头失真的图像并且可以基于所述镜头失真根据所述图像确定一个或多个配置设置。在一些示例中，所述处理器可以在确定所述一个或多个配置设置之前对所述图像执行镜头失真校正。在其他示例中，所述处理器可以基于具有镜头失真的所述图像的失真网格单元格来确定配置设置，其中，所述失真网格单元格由所述镜头失真限定。在其他示例中，所述处理器可以根据具有所述镜头失真的所述图像确定初始配置统计值，并且然后基于所述镜头失真来调整所述初始配置统计值。

Description

用于图像处理的镜头失真校正
技术领域
本公开内容涉及图像捕获和处理。
背景技术
各种各样的设备中都纳入了图像捕获设备。在本公开内容中，图像捕获设备是指可以捕获一个或多个数字图像的任何设备，包括可以捕获静止图像的设备和可以捕获图像序列以记录视频的设备。举例来说，图像捕获设备可以包括独立的数码相机或数字视频摄像机、配备有相机的无线通信设备手持机，例如具有一个或多个相机的移动电话、蜂窝或卫星无线电电话、配备有相机的个人数字助理(PDA)、面板或平板电脑、游戏设备、包括相机的计算机设备，例如所谓的“网络摄像头”，或任何具有数字成像或视频功能的设备。
图像捕获设备能够在各种照明条件(例如，光源)下产生图像。例如，图像捕获设备可以在包括大量反射光或饱和光的环境中以及包括高对比度的环境中操作。除了其他模块(例如，色调调整模块)之外，一些示例图像捕获设备还包括用于曝光控制、白平衡和聚焦的调整模块，以调整由图像信号处理器(ISP)硬件执行的处理。
图像捕获设备可以允许用户手动选择图像传感器和图像处理配置参数，包括曝光控制、白平衡以及聚焦和聚焦设置。通过手动选择配置参数，用户可以选择适合当前环境条件的设置以更好地捕获该环境中的图像。替代地或附加地，图像捕获设备可以包括用于自动确定这样的配置设置的处理技术。自动曝光控制、自动白平衡和自动对焦技术有时被统称为3A设置。
发明内容
概括地说，本公开内容描述了用于图像处理的技术。具体而言，本公开内容描述了用于以考虑获取的图像中的镜头失真的方式来确定相机的一个或多个配置设置(例如，自动曝光控制、自动对焦和/或自动白平衡设置)的技术。对于某些相机模块，尤其是那些具有广角镜头的相机模块，由此类相机模块获取的图像可能会出现镜头失真。在一些示例中，镜头失真可能导致某些区域(例如，图像的角落区域)中的图像特征在获取的图像中占据比能够被人眼看到的尺寸相比更小的尺寸。此外，镜头失真可能会导致某些区域(例如，角落区域)中的图像特征占据与不同区域(例如，中心区域)中的特征所占据的尺寸不同的尺寸。这种现象可以被称为不同占用尺寸问题。
图像处理设备可以对获取的图像执行镜头失真校正过程以去除失真影响。然而，通常对具有镜头失真的图像执行用于确定配置设置的处理技术(例如，统计处理技术)。确定对具有镜头失真的图像的配置设置可能导致这样的配置设置与最佳的配置设置相比更不准确。在根据图像的失真区域中的图像统计信息来确定配置设置的情况下，这种精度损失可能特别明显。
在一些示例中，用户可以指示获取的图像中的特定感兴趣区域(ROI)，在该特定感兴趣区域上确定一个或多个配置设置。例如，用户可以指示用于确定焦点的ROI，包括触摸显示在图像处理设备的触摸屏上的预览图像上的期望区域。图像处理设备通常在显示预览图像之前执行镜头失真校正。因此，用户触摸预览图像指示的ROI可能与获取图像中的对其执行统计处理的区域不是相同的区域，因为对其执行统计处理的图像可能在指示的ROI中表现出镜头失真。因此，根据指示的ROI确定的任何配置设置可能与用户期望不匹配，并且因此可能导致配置设置不准确。
根据本公开内容的技术，一种处理器可以被配置为：从图像传感器接收具有镜头失真的图像并且可以基于所述镜头失真根据所述图像确定一个或多个配置设置。在一些示例中，所述处理器可以在确定所述一个或多个配置设置之前对所述图像执行镜头失真校正。在其他示例中，所述处理器可以基于具有镜头失真的所述图像的失真网格单元格来确定配置设置，其中，所述失真网格单元格由所述镜头失真限定。在其他示例中，所述处理器可以根据具有所述镜头失真的所述图像确定初始配置统计值，并且然后基于所述镜头失真来调整所述初始配置统计值。所述处理器然后可以根据所述经调整的配置统计值确定所述配置设置。
在一个示例中，本公开内容描述了一种被配置用于相机处理的装置，所述装置包括：存储器，其被配置为存储一个或多个图像；以及一个或多个处理器，其与所述存储器通信，所述一个或多个处理器被配置为：经由图像传感器接收具有镜头失真的图像；基于所述镜头失真根据所述图像确定一个或多个配置设置；以及使用所述一个或多个配置设置来获取后续图像。
在另一示例中，本公开内容描述了一种相机处理的方法，所述方法包括：经由图像传感器接收具有镜头失真的图像；基于所述镜头失真根据所述图像确定一个或多个配置设置；以及使用所述一个或多个配置设置来获取后续图像。
在另一示例中，本公开内容描述了一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时，使用于相机处理的设备的一个或多个处理器用于：经由图像传感器接收具有镜头失真的图像；基于所述镜头失真根据所述图像确定一个或多个配置设置；以及使用所述一个或多个配置设置来获取后续图像。
在另一示例中，本公开内容描述了一种被配置用于相机处理的装置，所述装置包括：用于经由图像传感器接收具有镜头失真的图像的单元；用于基于所述镜头失真根据所述图像确定一个或多个配置设置的单元；以及用于使用所述一个或多个配置设置来获取后续图像的单元。
在附图和下面的描述中阐述了一个或多个示例的细节。其他特征、目标和优点从说明书、附图以及权利要求书将是显而易见的。
附图说明
图1是被配置为执行本公开内容中描述的示例技术中的一种或多种技术的设备的框图。
图2是示出具有镜头失真的图像和经校正的图像的示例的概念图。
图3是示出由于镜头失真而具有不同占用尺寸的图像区域的示例的概念图。
图4是示出由于镜头失真而具有不同占用尺寸的示例感兴趣区域的概念图。
图5是示出根据本公开内容的技术的基于镜头失真的统计处理的示例的框图。
图6是示出模拟镜头失真的网格的概念图。
图7是示出用于执行镜头失真校正的逆网格的概念图。
图8是示出根据本公开内容的技术的、基于镜头失真的统计处理的另一示例的框图。
图9是示出根据本公开内容的一个示例的、用于统计处理的失真网格的示例的概念图。
图10是示出根据本公开内容的技术的、基于镜头失真的统计处理的另一示例的框图。
图11是示出基于镜头失真的感兴趣区域选择的示例的概念图。
图12是示出基于镜头失真的感兴趣区域选择的另一示例的概念图。
图13是示出本公开内容的示例方法的流程图。
图14是示出本公开内容的另一示例方法的流程图。
图15是示出本公开内容的另一示例方法的流程图。
图16是示出本公开内容的另一示例方法的流程图。
具体实施方式
对于某些相机模块，特别是那些使用广角镜头的相机模块，获取的图像可能会表现出镜头失真。通常，镜头失真是与预期的直线投影的任何偏差。即，镜头失真可能导致场景中预期的直线不直。镜头失真的数量和类型通常取决于用于获取图像的镜头的形状和类型。镜头失真的常见示例包括桶形失真、枕形失真和胡须失真。
对于表现出桶形失真的图像，图像区域的放大倍数随着距中心的距离而减小。例如，图像中心的区域相对于图像角落中的区域会显得更大。广角镜头(包括鱼眼镜头)可能会导致桶形失真。对于表现出枕形失真的图像，图像区域的放大倍数随着距中心的距离增加而增加。例如，图像中心的区域相对于图像角落的区域会显得更小。具有远距离变焦功能的镜头可能会出现枕形失真。胡须失真(也被称为复杂失真)包括桶形失真和枕形失真二者的特征。胡须失真最常发生在具有光学变焦功能的镜头的变焦范围的广角端。
一些图像信号处理器(ISP)使用镜头失真校正技术来校正所获取图像中存在的镜头失真。在ISP执行镜头失真校正之后，经校正的图像没有失真，而经校正的图像的视场(FOV)不同于有镜头失真的原始RAW图像。除了对获取的图像执行镜头失真校正之外，ISP还可以确定配置设置。在本公开内容中，配置设置可以包括以下各项中的一项或多项：自动聚焦(“自动聚焦”)设置、自动曝光控制设置和/或自动白平衡设置。本公开内容的技术可以适用于与相机处理相关的其他配置设置，包括与对象和/或面部检测相关的配置设置和/或处理技术。ISP可以确定配置设置，包括对获取图像的特征执行统计处理。然后可以使用确定的配置设置来获取后续图像。
虽然ISP可以对初始原始图像执行镜头失真校正以用于预览显示和/或存储，但ISP确定对具有镜头失真的初始原始图像的配置设置。因此，在一些示例中，确定的配置设置可能缺乏精确性。这种精确性的缺乏在所谓的触摸感兴趣区域(ROI)用例中可能尤其明显。在触摸ROI用例中，用户指示要在其上确定一个或多个配置设置的图像的一部分(例如，指示用于自动对焦的区域和/或用于优化和/或优先曝光的区域)。在一些示例中，用户可以指示ROI，包括触摸示出预览图像的显示的一部分。如上所述，ISP可能在预览显示之前已经对获取的图像执行了镜头失真校正。因此，由用户指示的经校正的图像的ROI可能不会直接映射到初始原始图像中具有镜头失真的区域，ISP根据该区域确定配置设置。
本公开内容的技术可以与用于确定相机的配置设置的其他基于ROI的技术一起应用。也就是说，ROI不一定是通过用户触摸预览图像的一部分来手动输入的。在一个示例中，可以自动确定ROI。例如，ROI可以基于面部检测、对象检测或确定配置设置的其他模式，这些模式使用为整个图像子集的图像的一个或多个ROI(例如，点测光自动曝光控制技术)。此外，可以根据不同于触摸的用户输入来确定ROI，该用户输入例如手势、眼睛注视跟踪、语音命令或其他输入。
鉴于这些缺点，本公开内容描述了用于基于可能存在于获取的图像中的镜头失真来确定配置设置的设备和技术。在一个示例中，ISP可以在确定配置设置之前对获取的图像执行镜头失真校正。也就是说，ISP可以确定对镜头失真已经被校正的图像的配置设置。在另一示例中，ISP可以使用基于镜头失真的失真网格来确定配置设置。通过这种方式，在确定配置设置时会考虑镜头失真。在另一示例中，ISP可以首先确定对具有镜头失真的原始图像的初始配置统计值，并且然后基于镜头失真对初始配置统计值执行后处理技术。本公开内容的技术可以提升根据具有镜头失真的获取图像确定的配置设置的准确度，包括根据图像的ROI(例如，触摸由用户指示的ROI)确定的配置设置。
图1是被配置为执行本公开内容中描述的示例技术中的一种或多种技术以基于镜头失真来确定配置设置的计算设备10的框图。计算设备10的示例包括计算机(例如，个人计算机、桌面式计算机或膝上型计算机)、移动设备(例如平板计算机)、无线通信设备(例如，移动电话、蜂窝电话、卫星电话和/或移动电话手台)、互联网电话、数码相机、数字视频录像机、手持设备(例如便携式视频游戏设备或个人数字助理(PDA))、无人机设备，或者可以包括一个或多个相机的任何设备。在一些示例中，计算设备10可以包括一个或多个相机处理器14、中央处理单元(CPU)16、视频编码器/解码器17、图形处理单元(GPU)18、GPU 18的本地存储器20、用户接口22、提供对系统存储器30的访问的存储器控制器24，以及输出使图像和/或图形数据显示在显示器28上的信号的显示接口26。
如图1的示例所示，计算设备10包括一个或多个图像传感器12A-N。图像传感器12A-N在本文的某些实例中可以被简称为“传感器12”，而在其他实例中可以适当地被称为多个“传感器12”。传感器12可以是任何类型的图像传感器，包括包含拜耳滤波器的传感器，或者高动态范围(HDR)交织传感器，例如四拜耳传感器。
计算设备10还包括一个或多个镜头13A-N。类似地，镜头13A-N在本文的某些实例中可以被简称为“镜头13”，而在其他实例中可以适当地被称为多个“镜头13”。在一些示例中，传感器12表示一个或多个图像传感器12，每个图像传感器12可以包括处理电路、用于捕获光的表示的像素传感器阵列(例如，像素)、存储器，例如缓冲存储器或片上传感器存储器等。在一些示例中，每个图像传感器12可以与不同类型的镜头13耦合，每个镜头和图像传感器的组合具有不同的孔径和/或视场。示例镜头可以包括长焦镜头、广角镜头、超广角镜头或其他镜头类型。
如图1所示，计算设备10包括多个相机模块15。如本文所使用的，术语“相机模块”是指计算设备10的特定图像传感器12，或者计算设备10的多个图像传感器12，其中图像传感器12与计算设备10的一个或多个镜头13组合布置。也就是说，计算设备10的第一相机模块15是指包括一个或多个图像传感器12和一个或多个镜头13的第一集体设备，以及与第一相机模块15分离的第二相机模块是指第二集体设备，其包括一个或多个图像传感器12和一个或多个镜头13。此外，图像数据可以由相机处理器14或CPU 16从特定相机模块15的图像传感器12接收。也就是说，在一些示例中，相机处理器14或CPU 16可以从第一相机模块15的第一图像传感器12接收第一组图像数据帧，并从第二相机模块15的第二图像传感器12接收第二组图像数据帧。
在示例中，本文使用的术语“相机模块”是指耦合在一起的组合图像传感器12和镜头13，其被配置为捕获至少一帧图像数据并传输该至少一帧图像数据到相机处理器14和/或CPU 16。在说明性示例中，第一相机模块15被配置为将第一帧图像数据传输到相机处理器14，而第二相机模块15被配置为将第二帧图像数据传输到相机处理器14，其中，这两个帧是由不同的相机模块捕获的，这可以通过例如第一帧和第二帧的FOV和/或变焦水平的差异来证明。FOV和/或变焦水平的差异可以对应于第一相机模块15和第二相机模块15之间的焦距差异。
计算设备10可以包括双镜头设备、三镜头设备、360度相机镜头设备等。因此，每个镜头13和图像传感器12组合可以提供各种变焦水平、视角(AOV)、焦距、视场(FOV)等。在一些示例中，可以为每个镜头13分配特定的图像传感器12，反之亦然。例如，多个图像传感器12可以被各自分配给不同的镜头类型(例如，广角镜头、超广角镜头、长焦镜头和/或潜望镜镜头等)。
相机处理器14可以被配置为：控制相机模块15的操作并对从相机模块15接收的图像执行处理。在一些示例中，相机处理器14可以包括图像信号处理器(ISP)23。例如，相机处理器14可以包括用于处理图像数据的电路。相机处理器14(包括ISP 23)可以被配置为对图像传感器12获取的图像数据执行各种操作，包括镜头失真校正、白平衡调整、颜色校正或其他后处理操作。图1示出了被配置为对相机模块15的输出进行操作的单个ISP 23。在其他示例中，相机处理器14可以包括用于相机模块15中的每一个的ISP 23，以便增加处理速度和/或改进从相机模块15的多个相机模块同时捕获图像的同步。
在一些示例中，相机处理器14被配置为从图像传感器12接收图像帧(例如，像素数据)，并处理图像帧以生成图像和/或视频内容。例如，图像传感器12可以被配置为：捕获单独的帧、帧突发、用于生成视频内容的帧序列、在录制视频时捕获的照片静止图像、预览帧，或者来自捕获静止照片之前和/或之后的运动照片。CPU 16、GPU 18、相机处理器14或一些其他电路可以被配置为：将由传感器12捕获的图像和/或视频内容处理成图像或视频以在显示器28上显示。图像帧通常可以指静止图像的数据帧或者视频数据的帧或者它们的组合，例如运动照片的情况。相机处理器14可以从传感器12接收任何格式的图像帧的像素数据。例如，像素数据可以包括不同的颜色格式，例如RGB、YCbCr、YUV等。在任何情况下，相机处理器14可以从图像传感器12接收多帧图像数据。
在包括多个相机处理器14的示例中，相机处理器14可以共享传感器12，其中每个相机处理器14可以与每个传感器12接合。在任何情况下，相机处理器14都可以使用传感器12的多个像素传感器启动对场景的视频或图像的捕获。在一些示例中，视频可以包括一系列单独的帧。因此，相机处理器14使传感器12使用多个像素传感器捕获图像。传感器12然后可以将像素信息输出到相机处理器14(例如，像素值、亮度值、颜色值、电荷值、模数单元(ADU)值等)，像素信息，其表示捕获的图像或捕获图像的序列。在一些示例中，相机处理器14可以处理单色和/或彩色图像以获得场景的增强彩色图像。在一些示例中，相机处理器14可以为不同类型的像素混合确定通用混合权重系数，或者可以确定不同的混合权重系数用于混合构成像素帧的不同类型的像素(例如，第一混合权重系数，用于混合经由第一相机模块15的单色传感器获得的像素以及经由第二相机模块15的单色传感器获得的像素；第二混合权重系数，用于混合经由第一相机模块15的拜耳传感器获得的像素以及经由第二相机模块15的拜耳传感器获得的像素，等等)。
相机处理器14的ISP 23也可以被配置为确定配置设置(也被称为“3A”设置)。配置设置可以包括用于自动对焦(AF)、自动曝光控制(AEC)和自动白平衡(AWB)的设置。本公开内容的技术可以适用于与相机处理相关的其他配置设置，包括与对象检测和/或面部检测相关的配置设置和/或处理技术。一般而言，本公开内容的技术可以结合可基于具有镜头失真的图像的任何相机配置确定和/或处理来使用。在一些示例中，ISP 23可以确定配置设置，包括对获取的图像的像素数据执行统计(“stats”)处理。通常，当执行统计处理时，ISP23可以将获取的图像划分为尺寸为MxN的单元格，其中M和N表示像素的数量。ISP 23可以针对适用于确定配置设置的某些图像特性来累积每个单元格的统计数据。
作为一个示例，ISP 23可以确定用于相机模块15的自动对焦设置。自动对焦设置可以包括对镜头位置的指示。ISP 23可以根据从相机模块15获取的一个或多个图像来确定产生最佳聚焦的镜头位置，并且然后将对该镜头位置的指示发送到相机模块15。相机模块15然后可以基于指示的镜头位置来设置镜头13的位置并获取后续图像。ISP 23可以使用确定镜头位置的任何技术，包括对比度检测自动对焦、相位检测自动对焦、飞行时间(ToF)自动对焦、激光自动对焦或者自动对焦技术的任意组合(例如，混合自动对焦技术)。
在一些示例中，ISP 23可以根据整个图像的像素数据来确定自动对焦设置。在其他示例中，ISP 23可以根据图像的中心区域中的像素数据来确定自动对焦设置。在其他示例中，ISP 23可以根据图像的特定ROI确定自动对焦设置。在一些示例中，ROI可以由相机处理器14自动确定(例如，使用对象跟踪或其他技术)。在其他示例中，ROI可以由用户指示。例如，用户指示可以包括触摸预览图像的区域。对于对比度自动聚焦，ISP 23可以对一个或多个获取的图像执行统计处理，该统计处理包括对图像的某些区域的基于对比度的聚焦值进行分析。基于对比度的聚焦值可以包括水平聚焦值和垂直聚焦值二者，它们指示图像传感器12中相邻像素之间的强度差异。通常，相邻像素之间的强度差异随着最佳图像聚焦而增加。换言之说，图像的更多模糊区域往往在相邻像素中具有更相似的强度值。
对于相位检测自动对焦，ISP可以对一个或多个获取的图像执行统计处理，该统计处理包括对图像的某些区域的基于相位的对焦值进行分析。在一些示例中，图像传感器12可以包括双光电二极管，其中入射光击中单个像素传感器的两个部分。ISP 23可以被配置为测量单个双光电二极管传感器的两侧之间的相位差。
作为另一示例，ISP 23可以确定用于相机模块15的自动曝光控制设置。自动曝光控制设置可以包括快门速度和/或光圈大小。在一些示例中，ISP 23可以基于图像的统计数据来确定快门速度和光圈大小。在其他示例中，用户可以设置快门速度并且ISP 23可以根据预定的快门速度和图像的统计数据来确定光圈大小(例如，在快门优先自动曝光中)。在其他示例中，用户可以设置光圈大小并且ISP 23可以根据预定的光圈大小和图像的统计数据来确定快门速度(例如，在光圈优先自动曝光中)。ISP 23然后可以将自动曝光控制设置发送到相机模块15，并且相机模块15可以使用自动曝光控制设置来获取后续图像。
通常，当确定自动曝光控制设置时，ISP 23可以被配置为累积和分析图像数据的亮度值。ISP 23可以确定快门速度和/或光圈大小，使得图像中存在的亮度水平以能够检测到的总亮度水平的中间水平为中心。也就是说，ISP 23通常确定自动曝光控制设置以限制图像中过度曝光和曝光不足区域的数量。当分析图像以进行自动曝光控制时，ISP 23可以在多种测光模式中的一种模式下操作，包括点测光模式、中心加权平均测光模式、平均测光模式、部分测光模式、多区域测光模式，或者突出加权测光模式。然而，本公开内容的技术适用于与用于确定自动曝光控制设置的任何类型的测光模式一起使用。
在一些测光模式下，例如平均测光，ISP 23将分析整个图像的亮度统计以确定自动曝光控制设置。在其他测光模式下，例如多区域测光，ISP 23将分析跨图像中多个区域的亮度统计数据。在中心加权平均测光中，ISP 23对图像中心的亮度统计数据进行将更强地加权以确定自动曝光控制设置。
在点测光模式中，ISP 23将分析图像的特定ROI中的亮度统计数据。同样，与自动对焦一样，用于确定自动曝光控制设置的ROI可以自动确定或者可以由用户指示。例如，在一些数码相机中，用户可以触摸预览图像的区域来改变自动曝光控制设置。通常，ISP 23将针对用户指示的ROI中存在的亮度水平来优化自动曝光控制设置。这样，如果用户触摸正在显示的预览图像的相对暗的区域，则ISP 23将确定使随后获取的图像相对于预览图像变亮的自动曝光控制设置。如果用户触摸正在显示的预览图像的相对明亮的区域，ISP 23将确定使随后获取的图像相对于预览图像变暗的自动曝光控制设置。
作为另一示例，ISP 23可以为从相机模块15获取的图像确定自动白平衡设置(例如，自动白平衡增益)。白平衡(有时称被为色彩平衡、灰平衡或中性平衡)是指调整图像或显示器中原色(例如，红色、绿色和蓝色)的相对量以便正确地再现中性色。白平衡可能会改变图像中颜色的整体混合。没有白平衡，捕获的图像的显示可能包含不希望的色调。通常，当执行自动白平衡技术时，ISP 23可以确定捕获图像所处的光源的色温，包括分析所获取图像中存在的颜色和灰色调。ISP 23然后可以输出可以应用于随后获取的图像的自动白平衡增益(例如，自动白平衡设置)。在一些示例中，ISP 23可以将确定的自动白平衡增益应用到获取的图像作为后处理技术。在其他示例中，ISP 23可以将白平衡增益发送到相机模块15并且图像传感器12可以应用白平衡增益。以上对配置设置的描述只是示例。本公开内容的技术可适用于与用于确定配置设置的任何技术一起使用。
如上所述，一些相机处理系统使用镜头失真校正技术来校正所获取图像中存在的任何镜头失真。虽然此类相机处理系统可以对初始原始图像执行镜头失真校正以用于预览显示和/或存储，但相机处理系统可以确定对具有镜头失真的初始原始图像的配置设置。因此，在一些示例中，确定的配置设置可能缺乏精确性。在根据图像更失真区域中的ROI确定的配置设置中，这种精度的缺乏可能特别明显。在触摸ROI用例中，用户指示要在其上确定一个或多个配置设置的图像的一部分(例如，指示用于自动对焦的区域和/或用于优化曝光的区域)。在一些示例中，用户可以指示ROI，包括触摸示出预览图像的显示的一部分。如上所述，相机处理系统可能在预览显示之前已经对获取的图像执行了镜头失真校正。因此，由用户指示的经校正的图像的ROI可能不会直接映射到初始原始图像中具有镜头失真的区域，相机处理系统根据该具有镜头失真的区域确定配置设置。
鉴于这些缺点，本公开内容描述了用于基于可能存在于获取的图像中的镜头失真来确定配置设置的设备和技术。在一个示例中，ISP 23可以包括使用镜头失真校正配置单元25。通常，使用镜头失真校正配置单元25以考虑被分析的图像中存在的任何镜头失真的方式来确定配置设置。在一个示例中，使用镜头失真校正配置单元25可以在确定配置设置之前对获取的图像执行镜头失真校正。也就是说，使用镜头失真校正配置单元25可以确定对镜头失真已经被校正的图像的配置设置。在另一示例中，使用镜头失真校正配置单元25可以使用基于镜头失真的失真网格来确定配置设置。通过这种方式，在确定配置设置时会考虑镜头失真。在另一示例中，使用镜头失真校正配置单元25可以首先确定对具有镜头失真的原始图像的初始配置统计值，并且然后基于镜头失真对初始配置统计值执行后处理技术。本公开内容的技术可以提升根据具有镜头失真的获取图像确定的配置设置的准确度，包括根据图像的ROI(例如，由用户指示的ROI和/或自动确定的ROI)确定的配置设置。
因此，在本公开内容的一个示例中，ISP 23可以被配置为：经由相机模块15接收具有镜头失真的图像。ISP 23可以基于镜头失真根据图像确定一个或多个配置设置，其中，一个或多个配置设置包括自动对焦设置、自动曝光控制设置或自动白平衡设置。ISP 23然后可以使相机模块15使用一个或多个配置设置来获取后续图像。
尽管计算设备10的各种结构在图1中被示为单独的，但本公开内容的技术不限于此，并且在一些示例中，结构可以被组合以形成片上系统(SoC)。例如，相机处理器14、CPU16、GPU 18和显示接口26可以形成在公共集成电路(IC)芯片上。在一些示例中，相机处理器14、CPU 16、GPU 18和显示接口26中的一个或多个可以形成在单独的IC芯片上。各种其他排列和组合是可能的，并且本公开内容的技术不应被认为限于图1所示的示例。在示例中，CPU16可以包括相机处理器14，使得一个或多个相机处理器14是CPU 16的一部分。在这样的示例中，CPU 16可以被配置为执行本文以其他方式归于相机处理器14的各种技术中的一种或多种。为了本公开内容的目的，相机处理器14在本文中将被描述为与CPU 16分离且不同，尽管情况可能并非总是如此。
图1中所示的各种结构可以被配置为使用总线32相互通信。总线32可以是多种总线结构中的任何一种，例如第三代总线(例如，HyperTransport总线或InfiniBand总线)、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)高速总线或高级可扩展接口(AXI)总线)或者其他类型的总线或设备互连。需要说明的是，图1所示的不同结构之间的总线和通信接口的具体配置仅为示例性的，并且可以使用具有相同或不同结构的计算设备和/或其他图像处理系统的其他配置来实现本公开内容的技术。
此外，图1中所示的各种组件(无论是形成在一个设备上还是不同的设备上)，包括传感器12和相机处理器14，可以形成为固定功能或可编程电路中的至少一个，或二者的组合，例如在一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他等效的集成或分立逻辑电路中。此外，本地存储器20的示例包括一个或多个易失性或非易失性存储器或存储设备，例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、闪存、磁性数据介质或光存储介质。
在一些示例中，存储器控制器24可以促进进出系统存储器30的数据传输。例如，存储器控制器24可以接收存储器读命令以及存储器写命令，并且针对存储器30服务于这些命令以便为计算设备10的各种组件提供存储器服务。在这样的示例中，存储器控制器24可以通信地耦合到系统存储器30。尽管存储器控制器24在图1的计算设备10的示例中被示为与CPU 16和系统存储器30二者分离的处理电路，但在一些示例中，存储器控制器24的一些或全部功能可以在CPU 16、系统存储器30、相机处理器14、视频编码器/解码器17和/或GPU 18中的一个或多个上实现。
系统存储器30可以存储可由相机处理器14、CPU 16和/或GPU 18访问的程序模块和/或指令和/或数据。例如，系统存储器30可以存储用户应用(例如，用于相机应用的指令)、来自相机处理器14的结果图像等。系统存储器30还可以存储供计算设备10的其他组件使用和/或由其生成的信息。例如，系统存储器30可以充当相机处理器14的设备存储器。系统存储器30可以包括一个或多个易失性或非易失性存储器或存储设备，例如RAM、SRAM、DRAM、ROM、EPROM、EEPROM、闪存、磁数据介质或光存储介质。此外，系统存储器30可以存储图像数据(例如，视频数据帧、编码的视频数据、传感器模式设置、变焦设置、配置参数、配置设置等)。在一些示例中，系统存储器30或本地存储器20可以将图像数据存储到片上存储器，例如在系统存储器30或本地存储器20的存储器缓冲器中。在另一示例中，系统存储器30或本地存储器20可以输出图像数据以便将其存储到芯片或缓冲器的存储器外部，例如相机设备的安全数字(SDTM)卡或在某些实例中，存储到相机设备的另一内部存储。在示例性示例中，系统存储器30或本地存储器20可以体现为相机处理器14芯片、GPU 18芯片或这二者上的缓冲存储器，其中单个芯片包括两个处理电路。
在一些示例中，系统存储器30可以包括使相机处理器14、CPU 16、GPU 18和/或显示接口26执行本公开内容中归属于这些组件的功能的指令。因此，系统存储器30可以是其上存储有指令的计算机可读存储介质，这些指令在执行时使一个或多个处理器(例如，相机处理器14、CPU 16、GPU18和显示接口26)执行本公开内容的各种技术。
在一些示例中，系统存储器30是非暂时性存储介质。术语“非暂时性”指示存储介质不体现在载波或传播的信号中。然而，术语“非暂时性”不应被解释为意味着系统存储器30是不可移动的或其内容是静态的。作为一个示例，系统存储器30可以被从计算设备10移除并且移动到另一设备。作为另一个示例，可以将与系统存储器30基本相似的存储器插入到计算设备10中。在某些示例中，非暂时性存储介质可以存储随时间变化的数据(例如，在RAM中)。
此外，相机处理器14、CPU 16和GPU 18可以将图像数据、用户界面数据等存储在系统存储器30内分配的相应缓冲器中。显示接口26可以从系统存储器30取回数据并配置显示器28以显示由图像数据表示的图像，例如经由用户接口22屏幕。在一些示例中，显示接口26可以包括数模转换器(DAC)，该数模转换器被配置为：将从系统存储器30取得的数字值转换为显示器28可使用的模拟信号。在其他示例中，显示接口26可以将数字值直接传递到显示器28以进行处理。
计算设备10可以包括视频编码器和/或视频解码器17，其中任一个都可以集成为组合视频编码器/解码器(CODEC)(例如，视频译码器)的一部分。视频编码器/解码器17可包括对由一个或多个相机模块15捕获的视频进行编码的视频编码器或者可以对压缩或编码的视频数据进行解码的解码器。在一些实例中，CPU 16和/或相机处理器14可以被配置为对视频数据进行编码和/或解码，在这种情况下，CPU 16和/或相机处理器14可以包括视频编码器/解码器17。
CPU 16可以包括控制计算设备10操作的通用或专用处理器。用户可以向计算设备10提供输入以使CPU 16执行一个或多个软件应用。在CPU 16上执行的软件应用可以包括例如相机应用、图形编辑应用、媒体播放器应用、视频游戏应用、图形用户界面应用或其他程序。例如，相机应用可以允许用户控制相机模块15的各种设置。用户可以通过一个或多个输入设备(未示出)向计算设备10提供输入，所述输入设备例如键盘、鼠标、麦克风、触摸板或者经由用户接口22耦合至计算设备10的另一输入设备。
一个示例软件应用是相机应用。CPU 16执行相机应用，并且作为响应，相机应用使CPU 16生成显示器28输出的内容。例如，显示器28可以输出诸如光强度、是否启用闪光灯的信息以及其他此类信息。相机应用还可以使CPU 16指示相机处理器14以用户限定的方式来处理传感器12输出的图像。计算设备10的用户可以与显示器28接合(例如，经由用户界面22)以配置生成图像的方式(例如，应用的变焦设置、使用或不使用闪光灯、焦点设置、曝光设置、视频或静止图像，以及其他参数)。
显示器28可以包括监视器、电视、投影设备、HDR显示器、液晶显示器(LCD)、等离子显示面板、发光二极管(LED)阵列、有机LED(OLED)、电子纸、表面传导电子发射显示器(SED)、激光电视显示器、纳米晶体显示器或其他类型的显示单元。在一些示例中，显示器28可以是触摸屏。显示器28可以集成在计算设备10中。例如，显示器28可以是移动电话手台、平板计算机或膝上型计算机的屏幕。或者，显示器28可以是经由有线或无线通信链路耦合至计算设备10的独立设备。例如，显示器28可以是经由电缆或无线链路连接到个人计算机的计算机监视器或平板显示器。显示器28可以提供预览帧，用户可以查看这些预览帧以了解正在存储什么，或者如果相机模块15实际拍摄图像或开始录制视频，图像可能看起来像什么。根据上述示例，用户可以触摸显示在显示器28上的预览图像的一个或多个ROI，并且ISP 23可以使用所指示的ROI中的图像数据来确定一个或多个配置设置。
本公开内容的技术可以与用于确定相机的配置设置的其他基于ROI的技术一起应用。也就是说，ROI不一定是通过用户触摸预览图像的一部分来手动输入的。在一个示例中，可以自动确定ROI。例如，ROI可以基于面部检测、对象检测或确定配置设置的其他模式，这些模式使用为整个图像子集的图像的一个或多个ROI(例如，用于自动曝光的点测光模式)。此外，可以根据不同于触摸的用户输入来确定ROI，该用户输入例如手势、眼睛注视跟踪、语音命令或其他输入。
在一个示例中，相机处理器14可以被配置为对图像执行ROI检测过程。ROI检测可以是面部检测过程、对象检测过程、对象跟踪过程或用于确定针对其优先或优化相机配置设置的图像的ROI的任何其他过程。在一个示例中，相机处理器14可以被配置为接收指示来自面部检测过程的图像的ROI的输入，并且使用所指示的ROI来确定用于相机模块的配置设置。
在一些示例中，相机处理器14可以将帧流输出到存储器控制器24以便将输出帧存储为视频文件。在一些示例中，存储器控制器24可以以任何合适的视频文件格式生成和/或存储输出帧。在一些示例中，视频编码器/解码器17可以在CPU 16、视频编码器/解码器17和/或相机处理器14之前对输出帧进行编码，使得输出帧被存储为编码视频。编码器/解码器17可以使用各种编码技术对图像数据的帧进行编码，包括在MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)、ITU-T H.265/高效视频译码(HEVC)、通用视频译码(VCC)等及其扩展定义的标准中描述的技术。在非限制性示例中，CPU16、视频编码器/解码器17和/或相机处理器14可以使用运动图像专家组(MPEG)视频文件格式存储输出帧。
图2是示出具有镜头失真的图像和经校正的图像的示例的概念图。如图2所示，图像100是由相机模块15获取的具有镜头失真的原始图像。图像100示出了桶形失真的示例，它可以出现在镜头13是广角镜头的示例中。图像102是ISP 23对图像100应用镜头失真校正而得到的经校正的图像。
图3是示出由于镜头失真而具有不同占用尺寸的图像区域的示例的概念图。如图3中可见，具有桶形镜头失真的图像100导致图像100的角区域112中的特征相对于图像100的中心区域114中的相同特征具有更小的尺寸(例如，使用更少的像素)。在图3中，相同的特征是黑色和白色方块的图案。在没有镜头失真的图像中，这些方块中的每个方块都将具有相同的尺寸。这可以在经校正的图像102中看到。在ISP 23对图像100应用镜头失真校正之后，经校正的图像102的所有区域中的相同特征具有相同尺寸或大致相同尺寸。因为图像100的不同区域中的相同特征占据图像的不同尺寸，因此图像中像素数据的统计数据随位置而变化，特别是在图像的更失真区域中。因此，根据此类图像确定配置设置可能导致此类确定的配置设置的准确性降低。
当根据图像的失真区域中的ROI确定配置设置时，确定的配置设置中准确性的缺乏可能会特别明显。图4是示出由于镜头失真而具有不同占用尺寸的示例ROI的概念图。在一个示例中，用户可以指示在其上确定一个或多个配置设置的期望的ROI。例如，用户可以指示要在其上确定自动聚焦设置和/或自动曝光控制设置的预览图像的区域。如上所述，用户可以指示ROI，例如，包括触摸由显示器28显示的图像上的区域(例如，触摸触摸屏上的区域)。在其他示例中，ROI的用户输入可以基于手势、眼睛注视跟踪、语音命令或其他输入方法。此外，在一些示例中，相机处理器14可以自动确定ROI，例如，使用面部检测、对象检测或其他技术来确定在其上优先和/或优化配置设置的ROI。
图4示出了用户在经校正的图像102中指示的示例预期ROI 120，因为计算设备10可以在ISP 23执行镜头失真校正之后显示预览图像。然而，预期ROI 120映射到具有镜头失真的原始图像100中的失真的ROI 122。也就是说，失真的ROI 122在具有镜头失真的图像100的区域中。因此，失真的ROI 122中的特征和像素数据与由用户指示的预期ROI 120中的特征和像素数据不匹配。因此，根据失真的ROI 122中的数据确定的任何配置设置可能导致不太准确和/或不期望的配置设置。
图5是示出根据本公开内容的技术的基于镜头失真的配置统计处理的示例的框图。在图5的示例中，ISP 23接收由相机模块15获取的原始图像61。原始图像61可能表现出基于相机模块15用来获取原始图像61的镜头13的镜头失真。镜头失真的类型和量可能特定于可用于计算设备10的相机模块15的每个镜头13。此外，镜头失真的类型和量可能特定于用于捕获原始图像61的特定镜头13的光学变焦设置。在一些示例中，计算设备10可以包括镜头失真数据60，其指示对于相机模块15的一个或多个镜头和/或光学变焦设置将存在的镜头失真的类型和量。
镜头失真的类型(例如，桶形失真、枕形失真、胡须失真等)和失真量取决于相机模块15的特定特性，例如镜头13的FOV。这意味着图像处理单元50可以执行特定于相机模块15的镜头失真校正。可以在离线过程中校准镜头失真数据60，并且计算设备10可以将镜头失真数据60存储在ISP 23可访问的存储器中。在一些示例中，镜头失真数据60可以是失真网格的形式。失真网格可以包括多个顶点，其中每个顶点表示失真图像中的位置(例如，由于镜头失真)相对于未失真图像中的相同位置的位置。
ISP 23包括图像处理单元50和使用镜头失真校正配置单元25。如上文图1中所描述的，ISP 23的图像处理单元50可以对原始图像61执行任何数量的图像处理技术，包括镜头失真校正、白平衡调整、颜色校正或其他后处理操作。在一些示例中，图像处理单元50可以访问镜头失真数据60以确定原始图像61中存在的镜头失真的量和类型，以便将适当的镜头失真校正技术应用于原始图像61。通常，图像处理单元50可以根据逆失真网格来执行镜头失真校正，其中逆失真网格是由相机模块15产生的镜头失真的逆。作为更具体的示例，图像处理单元50可以执行最近邻插值、双线性插值、双三次插值、Lanczos插值、边缘保留插值或任何其他技术组合中的一种或多种。图像处理单元50然后可以输出图像63，其可以作为预览图像显示在显示器28上和/或存储在计算设备10的存储器中。
根据本公开内容的技术，不是根据包括镜头失真的原始图像61确定配置设置，作为配置设置确定过程的一部分，使用镜头失真校正配置单元25可以校正原始图像61中的任何镜头失真。例如，使用镜头失真校正配置单元25可以包括镜头失真校正单元52和配置单元54。镜头失真校正单元52可以使用与图像处理单元50相同的技术对原始图像61执行镜头失真校正。配置单元54然后可以根据经校正的图像确定配置设置(例如，AF、AE和/或AWB)。配置单元54可以使用上文参考图1描述的任何技术。配置单元54可以将AF和AE设置发送到相机模块15。相机模块15可以使用AF和AE设置来获取后续图像。配置单元54还可以将AWB设置(例如，AWB增益)发送到图像处理单元50。图像处理单元50可以使用AWB设置来将AWB增益应用到随后获取的图像。
因此，在本公开内容的一个示例中，为了确定一个或多个配置设置，ISP 23被配置为：对具有所述镜头失真的图像执行镜头失真校正以创建经校正的图像；以及根据经校正的图像确定一个或多个配置设置。在一个示例中，为了执行镜头失真校正，ISP 23被配置为：确定与相机模块15相关的失真网格，其中，该失真网格限定由相机模块15的镜头13产生的镜头失真；确定与失真网格相关的逆网格；以及根据逆网格对图像执行镜头失真校正。
图6是示出对镜头失真进行建模的网格的概念图。具体而言，图6示出了对桶形失真的一个示例进行建模的失真网格140。失真网格140的顶点将具有直线投影(例如，无失真)的图像的像素位置映射到当使用特定镜头和变焦设置捕获时这些像素将具有的位置。图7是示出用于执行镜头失真校正的逆网格的概念图。逆失真网格142是图6的失真网格140的逆。逆失真网格142的顶点可以将失真图像中的像素位置移动到此类像素将采用以形成具有直线投影的图像(例如，无失真)的位置。例如，如果将逆失真网格142应用于具有由失真网格140限定的镜头失真的图像，则所得图像将几乎没有失真或者没有失真。此类镜头失真校正技术可以被称为基于网格的失真校正。
在基于网格的失真校正中，ISP 23将从镜头失真数据60(参见图5)获得逆失真网格142，其是失真网格140的逆。ISP 23然后将使用逆网格的函数对失真图像执行镜头失真校正。即Image_undistorted(x,y)＝Image_distorted(fx(x,y),fy(xy))，其中Image_distorted(x,y)为镜头失真校正后像素在经校正的图像中的位置，Image_distorted(x,y)是原始图像61中像素的位置，而fx(x,y)、fy(xy)是基于逆失真网格142中网格顶点的位置的映射函数。
图8是示出根据本公开内容的技术的基于镜头失真的配置统计处理的另一示例的框图。在图8的示例中，ISP 23同样接收由相机模块15获取的原始图像61。原始图像61可能表现出基于相机模块15用来获取原始图像61的镜头13的镜头失真。与图5的示例类似，镜头失真的类型和量可能特定于可用于计算设备10的相机模块15的每个镜头13。此外，镜头失真的类型和量可能特定于用于捕获原始图像61的特定镜头13的光学变焦设置。计算设备10可以包括镜头失真数据60，其指示对于相机模块15的一个或多个镜头和/或光学变焦设置将存在的镜头失真的类型和量。
ISP 23包括图像处理单元50和使用镜头失真校正配置单元25。如上文图1中所描述的，ISP 23的图像处理单元50可以对原始图像61执行任何数量的图像处理技术，包括镜头失真校正、白平衡调整、颜色校正或其他后处理操作。在一些示例中，图像处理单元50可以访问镜头失真数据60以确定原始图像61中存在的镜头失真的量和类型，以便将适当的镜头失真校正技术应用于原始图像61。通常，图像处理单元50可以根据逆失真网格来执行镜头失真校正，其中逆失真网格是由相机模块15产生的镜头失真的逆。
根据本公开内容的技术，不是根据包括镜头失真的原始图像61确定配置设置，作为配置设置确定过程的一部分，使用镜头失真校正配置单元25可以校正原始图像61中的任何镜头失真。例如，使用镜头失真校正配置单元25可以包括配置单元56，其被配置为根据失真网格分类来执行配置统计处理。
在一些示例配置统计处理技术中，图像被划分为尺寸为MxN的单元格，其中M和N是像素数。M和N可以是不同的值(例如，矩形单元格)，也可以是相同的值(例如，方形单元格)。在一些示例中，ISP 23可以被配置为累积MxN单元格中的一个或多个的特定像素数据的统计数据(例如，总和、平均值、标准偏差、最小值、最大值、模式等)。如上所述，可以针对自动聚焦来分析对比度或相位差信息。可以分析亮度信息以进行自动曝光控制。可以分析灰色调和颜色值以实现自动白平衡。无论分析的是什么数据，配置统计处理都可以对图像的每个单元格被执行，或者针对图像的一个或多个特定ROI执行。如上所述，如果对具有镜头失真的图像执行配置统计处理，则任何确定的配置设置的准确性可能达不到最佳。具体而言，如果对具有更多失真的图像的特定ROI执行配置统计处理(例如，在触摸ROI示例中)，则确定的配置设置可能不准确和/或不符合用户期望。
因此，在图8的示例中，配置单元56可以使用镜头失真数据60来对失真网格执行配置统计处理。基于原始图像61中存在的失真的类型和量(例如，基于所使用的镜头和/或变焦设置)，配置单元56可以确定对图像中的镜头失真建模的失真网格(例如，根据镜头失真数据60)。配置单元56可首先将原始图像划分为MxN个单元格，并且然后可基于镜头失真数据60将MxN个单元格中的每个像素分类为失真网格单元格。
图9是示出根据本公开内容的一个示例的、用于配置统计处理的失真网格的示例的概念图。图9示出了原始图像61的区域160。如图9中可见，区域160被划分为多个MxN单元格，包括单元格170。覆盖在区域160上的是来自镜头失真数据60的失真网格的顶点(例如，图6的失真网格140的一部分)。配置单元56可以将单元格170中的每个像素分类到特定的失真网格单元格中。如图9所示，单元格170的像素可被分类为失真网格单元格172、174、176或178。一旦被分类，配置单元56然后可以对失真网格单元格中的图像数据执行统计处理并且可以根据该处理确定配置设置。配置单元56可以使用上文参考图1描述的任何技术。配置单元56可以将AF和AE设置发送到相机模块15。相机模块15可以使用AF和AE设置来获取后续图像。配置单元56还可以将AWB设置(例如，AWB增益)发送到图像处理单元50。图像处理单元50可以使用AWB设置来将AWB增益应用到随后获取的图像。
因此，在本公开内容的一个示例中，为了确定一个或多个配置设置，ISP 23将具有镜头失真的原始图像6划分为单元格；基于镜头失真将单元格中的每个单元格中的像素分类为失真网格单元格；以及对失真网格单元格中的像素执行统计处理以确定一个或多个配置设置。
图10是示出根据本公开内容的技术的基于镜头失真的配置统计处理的另一示例的框图。在图10的示例中，ISP 23同样接收由相机模块15获取的原始图像61。原始图像61可能表现出基于相机模块15用来获取原始图像61的镜头13的镜头失真。与图5和图8的示例类似，镜头失真的类型和量可能特定于可用于计算设备10的相机模块15的每个镜头13。此外，镜头失真的类型和量可能特定于用于捕获原始图像61的特定镜头13的光学变焦设置。计算设备10可以包括镜头失真数据60，其指示对于相机模块15的一个或多个镜头和/或光学变焦设置将存在的镜头失真的类型和量。
ISP 23包括图像处理单元50和使用镜头失真校正配置单元25。如上文图1中所描述的，ISP23的图像处理单元50可以对原始图像61执行任何数量的图像处理技术，包括镜头失真校正、白平衡调整、颜色校正或其他后处理操作。在一些示例中，图像处理单元50可以访问镜头失真数据60以确定原始图像61中存在的镜头失真的量和类型，以便将适当的镜头失真校正技术应用于原始图像61。通常，图像处理单元50可以根据逆失真网格执行镜头失真校正，其中逆失真网格是由相机模块15产生的镜头失真的逆。
根据本公开内容的技术，不是根据包括镜头失真的原始图像61确定配置设置，作为配置设置确定过程的一部分，使用镜头失真校正配置单元25可以校正原始图像61中的任何镜头失真。例如，使用镜头失真校正配置单元25可以包括配置单元55和配置后处理单元58。配置后处理单元58可以被配置为：基于镜头失真数据60调整由配置单元55确定的配置统计。
配置单元55可以被配置为：根据具有镜头失真的原始图像61确定初始配置统计值。例如，配置单元55可以将原始图像61划分成尺寸为MxN的单元格，其中M和N是像素的数量。M和N可以是不同的值(例如，矩形单元格)，也可以是相同的值(例如，方形单元格)。在一些示例中，配置单元55可以被配置为累积MxN单元格中的一个或多个的特定像素数据的统计数据(例如，总和、平均值、标准偏差、最小值、最大值、模式等)。如上所述，可以针对自动聚焦来分析对比度或相位差信息。可以分析亮度信息以进行自动曝光控制。可以分析灰色调和颜色值以实现自动白平衡。无论分析的是什么数据，配置单元55都可以被配置为累积图像的每个单元格上或针对图像的一个或多个特定ROI的配置统计数据。如上所述，如果对具有镜头失真的图像执行配置统计处理，则任何确定的配置设置的准确性可能达不到最佳。具体而言，如果对具有更多失真的图像的特定ROI执行配置统计处理(例如，在触摸ROI示例中)，则确定的配置设置可能不准确和/或不符合用户期望。
因此，在图10的示例中，配置后处理单元58可以使用镜头失真数据60来执行后处理功能以调整由配置单元55产生的配置统计值。配置后处理单元58然后可以根据经调整的配置统计数据来确定配置设置。在一个示例中，配置后处理单元58可以基于原始图像61中存在的失真的类型和量来确定镜头失真权重表。在一个示例中，配置后处理单元58可以基于可以用于执行镜头失真校正的逆失真网格(例如，用于桶形失真的图7的逆失真网格142)来确定镜头失真权重表的权重。
例如，对于由配置单元55产生的初始配置统计值的每个单元格中的初始统计值，配置后处理单元58可以乘以来自镜头失真权重表的相对应权重以产生经调整的配置统计值。即，镜头失真权重表包括由配置统计处理单元35产生的统计值的每个单元格的一个值。即configuration stats post[M][N]＝configuration stats[M][N]*lensDistortionWeightTable[M][N]，其中configuration stats post是应用权重后的配置统计值，configuration stats是初始配置统计值，而lensDistortionWeightTable[M][N]是用于每个MxN单元格的权重。
在一些示例中，镜头失真权重表可以存储在镜头失真数据60中。在其他示例中，配置后处理单元58可以确定镜头失真权重表。每个MxN单元格(例如，图像被划分成的矩形单元格)对应于镜头失真权重表中的特定权重。每个MxN单元格也对应于逆失真网格中的特定失真单元格(例如，用于桶形失真的图7的逆失真网格142)。每个逆失真网格单元格的面积是镜头失真权重表中该条目的权重。
在要针对特定ROI确定配置设置的其他示例中，配置后处理单元58可以使用映射函数来确定在确定配置设置时要使用哪些初始配置统计值。图11和图12是示出基于镜头失真的ROI选择的示例的概念图。在图11中，将根据ROI 180确定配置统计信息。例如，用户可能触摸了预览显示图像的一部分以指示ROI 180。然而，由于用户触摸了镜头失真已被校正的预览图像，因此ROI 180实际上对应于原始图像61中失真的ROI 182。失真ROI 182基于存储在镜头失真数据60中的失真网格。
图11示出了ROI 180中的单元格1-16。配置后处理单元58可以确定ROI 182的哪些单元格与配置单元55使用的MxN单元格基本上重叠。例如，配置后处理单元58可以相对于某个预定阈值确定MxN个单元格1-16中的哪些在ROI 182之内。例如，单元格的一些预定数量的像素必须在失真网格单元格之内，以便配置后处理单元58在确定配置设置时使用相对应的初始配置统计值。
在图11的示例中，单元格2-4、5-7、9-11和13-15基本上在ROI 182之内。但是，单元格1、8、12和16不是。因此，配置后处理单元58可以仅使用来自单元格2-4、5-7、9-11和13-15的统计值来确定配置设置。此外，在一些示例中，配置后处理单元58还可以使用来自ROI180之外的单元格的初始统计值。例如，在图11中，配置后处理单元58可还可以使用来自单元格A和B的统计值。在图12的示例中，配置后处理单元58可以使用单元格5-8的统计值来确定包括来自单元格1-4的初始统计值的感兴趣区域190的配置设置。这是因为ROI 192是与从未失真图像指示的ROI 190相对应的失真ROI。
相应地，在本公开内容的一个示例中，为了确定一个或多个配置设置，ISP 23可以根据具有镜头失真的图像确定初始配置统计值，并且可以基于镜头失真来调整初始配置统计值以确定经调整的配置统计值。ISP 23然后可以根据经调整的配置统计值确定一个或多个配置设置。在一个示例中，为了基于镜头失真来调整初始配置统计值，ISP 23还被配置为：将权重表应用于初始配置统计值，其中，权重表基于镜头失真。
在其他示例中，ISP 23可以对图像应用镜头失真校正以形成经校正的图像；以及使经校正的图像被显示。ISP 23还可以接收指示经校正的图像的ROI的输入；以及基于镜头失真根据图像的相对应的ROI确定一个或多个配置设置。例如，ISP 23可以将具有镜头失真的图像划分为单元格；基于镜头失真确定与经校正的图像的ROI相对应的一个或多个单元格，根据确定的一个或多个单元格确定配置统计值，以及根据确定的配置统计确定一个或多个配置设置。
图13是示出本公开内容的示例方法的流程图。图13的技术可以由图1的计算设备10的一个或多个结构组件执行，包括相机处理器14的ISP 23。
在本公开内容的一个示例中，相机处理器14可以被配置为：经由图像传感器接收具有镜头失真的图像(500)。图像中镜头失真的量和类型可由至少部分取决于与图像传感器一起使用的镜头。在一些示例中，相机处理器14可以包括用于计算设备10的相机模块15中的每一个的镜头失真数据(例如，镜头失真网格)。相机处理器14可以被配置为：基于镜头失真根据图像确定一个或多个配置设置，其中，一个或多个配置设置包括自动对焦设置、自动曝光控制设置或自动白平衡设置(540)。图14-图16更详细地描述了用于确定配置设置的不同技术。
相机处理器14还可以被配置为：使用一个或多个配置设置来获取后续图像(580)。例如，相机处理器可以被配置为：将确定的自动对焦设置和/或自动曝光控制设置发送到相机模块15。相机模块15然后可以被配置为：使用所确定的自动聚焦设置和/或自动曝光控制设置来获取后续图像。在其他示例中，相机处理器14可以被配置为：确定自动白平衡设置并且然后将自动白平衡设置应用于从相机模块15获取的图像，例如，作为由图像处理单元50应用的后处理应用。
在一些示例中，相机处理器14还可以被配置为：基本上与确定配置统计并行地对图像应用镜头失真校正以形成经校正的图像。相机处理器14还可以被配置为：使经校正的图像被显示，例如作为预览图像显示在计算设备10的显示器28上(参见图1)。在一些示例中，相机处理器14还可以被配置为：接收指示经校正的图像的感兴趣区域(ROI)的输入；以及基于镜头失真根据图像的相对应的ROI确定一个或多个配置设置。在一些示例中，用户可以指示ROI，例如，包括触摸正在被显示的图像的区域。相机处理器14还可以被配置为：基于镜头失真根据图像的相对应的ROI中的图像统计来确定配置设置。
图14是示出本公开内容的另一示例方法的流程图。在图14的示例中，相机处理器14还可以被配置为：确定一个或多个配置设置(540)，包括在执行配置统计处理之前对获取的图像执行镜头失真校正。与图13类似，相机处理器14可以被配置为：经由相机模块的图像传感器接收具有镜头失真的图像(500)。相机处理器14可以对具有镜头失真的图像执行镜头失真校正以创建经校正的图像(542)，以及根据经校正的图像确定一个或多个配置设置(544)。在一个示例中，为了执行镜头失真校正(542)，相机处理器14还可以被配置为：确定与相机模块相关的失真网格，其中，该失真网格限定由相机模块的镜头产生的镜头失真，确定与失真网格相关的逆网格；以及根据逆网格对图像执行镜头失真校正。
相机处理器14还可以被配置为：使用一个或多个配置设置来获取后续图像(580)。例如，相机处理器可以被配置为：将确定的自动对焦设置和/或自动曝光控制设置发送到相机模块15。相机模块15然后可以被配置为：使用所确定的自动聚焦设置和/或自动曝光控制设置来获取后续图像。在其他示例中，相机处理器14可以被配置为：确定自动白平衡设置并且然后将自动白平衡设置应用于从相机模块15获取的图像，例如，作为由图像处理单元50应用的后处理应用。
图15是示出本公开内容的另一示例方法的流程图。在图15的示例中，相机处理器14还可以被配置为：确定一个或多个配置设置(540)，包括在配置统计处理期间考虑所获取图像中存在的任何镜头失真。与图13类似，相机处理器14可以被配置为：经由图像传感器接收具有镜头失真的图像(500)。为了确定一个或多个配置设置(540)，相机处理器14还可以被配置为：将具有镜头失真的图像划分为单元格(552)，以及基于镜头失真将这些单元格中的每个单元格中的像素分类为失真网格单元格(554)。相机处理器14然后可以对失真网格单元格中的像素执行统计处理以确定一个或多个配置设置(556)。
相机处理器14还可以被配置为：使用一个或多个配置设置来获取后续图像(580)。例如，相机处理器可以被配置为：将确定的自动对焦设置和/或自动曝光控制设置发送到相机模块15。相机模块15然后可以被配置为：使用所确定的自动聚焦设置和/或自动曝光控制设置来获取后续图像。在其他示例中，相机处理器14可以被配置为：确定自动白平衡设置并且然后将自动白平衡设置应用于从相机模块15获取的图像，例如，作为由图像处理单元50应用的后处理应用。
图16是示出本公开内容的另一示例方法的流程图。在图16的示例中，相机处理器14还可以被配置为：确定一个或多个配置设置(540)，包括考虑所获取图像中存在的任何镜头失真。例如，相机处理器14可以被配置为：在对具有镜头失真的图像执行初始配置统计处理之后执行后处理操作。与图13类似，相机处理器14可以被配置为：经由图像传感器接收具有镜头失真的图像(500)。为了确定一个或多个配置设置(540)，相机处理器14还可以被配置为：根据具有镜头失真的图像确定初始配置统计值(562)，以及基于镜头失真来调整初始配置统计值以确定经调整的配置统计值(564)。在一个示例中，为了基于镜头失真来调整初始配置统计值，相机处理器14可以被配置为：将权重表应用于初始配置统计值，其中，权重表基于镜头失真。相机处理器然后可以根据经调整的配置统计值确定一个或多个配置设置(566)。
相机处理器14还可以被配置为：使用一个或多个配置设置来获取后续图像(580)。例如，相机处理器可以被配置为：将确定的自动对焦设置和/或自动曝光控制设置发送到相机模块15。相机模块15然后可以被配置为：使用所确定的自动聚焦设置和/或自动曝光控制设置来获取后续图像。在其他示例中，相机处理器14可以被配置为：确定自动白平衡设置并且然后将自动白平衡设置应用于从相机模块15获取的图像，例如，作为由图像处理单元50应用的后处理应用。
下面列出了本公开内容的其他说明性示例。
方面1-一种用于相机处理的装置，所述装置包括：用于经由图像传感器接收具有镜头失真的图像的单元；用于基于所述镜头失真根据所述图像确定一个或多个配置设置的单元；以及用于使用所述一个或多个配置设置来获取后续图像的单元。在一个示例中，所述一个或多个配置设置包括自动对焦设置、自动曝光控制设置或自动白平衡设置。
方面2-根据方面1所述的装置，其中，所述用于确定所述一个或多个配置设置的单元包括：用于对具有所述镜头失真的图像执行镜头失真校正以创建经校正的图像的单元；以及用于根据所述经校正的图像确定所述一个或多个配置设置的单元。
方面3-根据方面2所述的装置，其中，所述用于执行镜头失真校正的单元包括：用于确定与包括所述图像传感器的相机模块相关的失真网格的单元，其中，所述失真网格限定由相机模块的镜头产生的所述镜头失真；用于确定与所述失真网格相关的逆网格的单元；以及用于根据所述逆网格对所述图像执行镜头失真校正的单元。
方面4-根据方面1所述的装置，其中，所述用于确定所述一个或多个配置设置的单元包括：用于将具有所述镜头失真的所述图像划分为单元格的单元；用于基于所述镜头失真将所述单元格中的每个单元格中的像素分类为失真网格单元格的单元；以及用于对所述失真网格单元格中的所述像素执行统计处理以确定所述一个或多个配置设置的单元。
方面5-根据方面1所述的装置，其中，所述用于确定所述一个或多个配置设置的单元包括：用于根据具有所述镜头失真的所述图像确定初始配置统计值的单元；用于基于所述镜头失真来调整所述初始配置统计值以确定经调整的配置统计值的单元；以及用于根据所述经调整的配置统计值确定所述一个或多个配置设置的单元。
方面6-根据方面5所述的装置，其中，所述用于基于所述镜头失真来调整所述初始配置统计值的单元包括：用于将权重表应用于所述初始配置统计值的单元，其中，所述权重表基于所述镜头失真。
方面7-根据方面1所述的装置，还包括：用于对所述图像用于镜头失真校正以形成经校正的图像的单元；以及用于显示所述经校正的图像的单元。
方面8-根据方面7所述的装置，还包括：用于接收指示所述经校正的图像的感兴趣区域(ROI)的输入的单元；以及用于基于所述镜头失真根据所述图像的相对应的ROI确定所述一个或多个配置设置的单元。
方面9-根据方面8所述的装置，其中，所述用于基于所述镜头失真根据所述图像的相对应的ROI确定所述一个或多个配置设置的单元包括：用于将具有所述镜头失真的所述图像划分为单元格的单元；用于基于所述镜头失真确定与所述经校正的图像的所述ROI相对应的一个或多个单元格的单元；用于根据所确定的一个或多个单元格确定配置统计值的单元；以及用于根据确定的配置统计确定所述一个或多个配置设置的单元。
在一个或多个示例中，可以用硬件、软件、固件、或它们的任意组合来实现所描述的功能。如果用软件来实现，则这些功能可以作为一条或多条指令或代码存储在计算机可读介质上、或者通过计算机可读介质发送、以及由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于例如数据存储介质的有形介质。以这种方式，计算机可读介质通常可以对应于非暂时性的有形计算机可读存储介质。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以便取回用于本公开内容中描述的技术的实现的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
通过举例而非限制的方式，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪存器、高速缓存存储器或者可以用于存储具有指令或数据结构形式的所期望的程序代码并可以由计算机访问的任何其他介质。应该理解的是：计算机可读存储介质和数据存储介质不包括载波、信号或其他暂时性介质，而是针对非临时性、有形的存储介质。如本文中所使用的，磁盘(disk)和光碟(disc)包括压缩光碟(CD)、激光光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中磁盘通常磁性地复制数据，而光碟则用激光来光学地复制数据。上述各项的组合也应该包括在计算机可读介质的范围之内。
指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路的一个或多个处理器。因此，如本文中所使用的，术语“处理器”可以指代前述结构或适于本文中所描述的技术的实现的任何其他结构中的任何一个。此外，这些技术可以在一个或多个电路或逻辑单元中完全实现。
本公开内容的技术可以在多种设备或装置中实现，这些设备或装置包括无线手持设备、集成电路(IC)或一组IC(例如，芯片组)。本公开内容中描述了各种组件、模块或单元以强调被配置为执行所公开技术的设备的功能方面，但不一定要求由不同的硬件单元来实现。
已经描述了各个示例。这些示例和其他示例在下面权利要求的范围之内。

Claims (30)

1.一种被配置用于相机处理的装置，所述装置包括：
存储器，其被配置为存储一个或多个图像；以及
一个或多个处理器，其与所述存储器通信，所述一个或多个处理器被配置为：
经由图像传感器接收具有镜头失真的图像；
基于所述镜头失真根据所述图像确定一个或多个配置设置；以及
使用所述一个或多个配置设置来获取后续图像。
2.根据权利要求1所述的装置，其中，所述一个或多个配置设置包括自动对焦设置、自动曝光控制设置或自动白平衡设置。
3.根据权利要求1所述的装置，其中，为了确定所述一个或多个配置设置，所述一个或多个处理器还被配置为：
对具有所述镜头失真的所述图像执行镜头失真校正以创建经校正的图像；以及
根据所述经校正的图像确定所述一个或多个配置设置。
4.根据权利要求3所述的装置，其中，为了执行镜头失真校正，所述一个或多个处理器还被配置为：
确定与包括所述图像传感器的相机模块相关的失真网格，其中，所述失真网格限定由所述相机模块的镜头产生的镜头失真；
确定与所述失真网格相关的逆网格；以及
根据所述逆网格对所述图像执行镜头失真校正。
5.根据权利要求1所述的装置，其中，为了确定所述一个或多个配置设置，所述一个或多个处理器还被配置为：
将具有所述镜头失真的所述图像划分为单元格；
基于所述镜头失真将所述单元格中的每个单元格中的像素分类为失真网格单元格；以及
对所述失真网格单元格中的像素执行统计处理以确定所述一个或多个配置设置。
6.根据权利要求1所述的装置，其中，为了确定所述一个或多个配置设置，所述一个或多个处理器还被配置为：
根据具有所述镜头失真的所述图像确定初始配置统计值；
基于所述镜头失真来调整所述初始配置统计值以确定经调整的配置统计值；以及
根据所述经调整的配置统计值确定所述一个或多个配置设置。
7.根据权利要求6所述的装置，其中，为了基于所述镜头失真来调整所述初始配置统计值，所述一个或多个处理器还被配置为：
将权重表应用于所述初始配置统计值，其中，所述权重表基于所述镜头失真。
8.根据权利要求1所述的装置，其中，所述一个或多个处理器还被配置为：
对所述图像应用镜头失真校正以形成经校正的图像；以及
使得所述经校正的图像被显示。
9.根据权利要求8所述的装置，其中，所述一个或多个处理器还被配置为：
接收指示所述经校正的图像的感兴趣区域(ROI)的输入；以及
基于所述镜头失真根据所述图像的相对应的ROI确定所述一个或多个配置设置。
10.根据权利要求9所述的装置，其中，所述一个或多个处理器还被配置为：
对所述经校正的图像执行ROI检测过程；以及
基于所述ROI检测过程接收指示所述经校正的图像的所述ROI的所述输入。
11.根据权利要求10所述的装置，其中，所述ROI检测过程是面部检测过程。
12.根据权利要求9所述的装置，还包括：
相机模块；以及
显示器，其被配置为显示所述经校正的图像。
13.根据权利要求12所述的装置，其中，所述一个或多个处理器还被配置为：
从用户接收所述经校正的图像的所述ROI的所述输入。
14.根据权利要求12所述的装置，其中，所述显示器包括触摸屏，并且其中，所述一个或多个处理器还被配置为：
根据所述触摸屏上的用户选择接收所述经校正的图像的所述ROI的所述输入。
15.一种相机处理方法，所述方法包括：
经由图像传感器接收具有镜头失真的图像；
基于所述镜头失真根据所述图像确定一个或多个配置设置；以及
使用所述一个或多个配置设置来获取后续图像。
16.根据权利要求15所述的方法，其中，所述一个或多个配置设置包括自动对焦设置、自动曝光控制设置或自动白平衡设置。
17.根据权利要求15所述的方法，其中，确定所述一个或多个配置设置包括：
对具有所述镜头失真的所述图像执行镜头失真校正以创建经校正的图像；以及
根据所述经校正的图像确定所述一个或多个配置设置。
18.根据权利要求17所述的方法，其中，执行镜头失真校正包括：
确定与包括所述图像传感器的相机模块相关的失真网格，其中，所述失真网格限定由所述相机模块的镜头产生的镜头失真；
确定与所述失真网格相关的逆网格；以及
根据所述逆网格对所述图像执行镜头失真校正。
19.根据权利要求15所述的方法，其中，确定所述一个或多个配置设置包括：
将具有所述镜头失真的所述图像划分为单元格；
基于所述镜头失真将所述单元格中的每个单元格中的像素分类为失真网格单元格；以及
对所述失真网格单元格中的像素执行统计处理以确定所述一个或多个配置设置。
20.根据权利要求15所述的方法，其中，确定所述一个或多个配置设置包括：
根据具有所述镜头失真的所述图像确定初始配置统计值；
基于所述镜头失真来调整所述初始配置统计值以确定经调整的配置统计值；以及
根据所述经调整的配置统计值确定所述一个或多个配置设置。
21.根据权利要求20所述的方法，其中，基于所述镜头失真来调整所述初始配置统计值包括：
将权重表应用于所述初始配置统计值，其中，所述权重表基于所述镜头失真。
22.根据权利要求15所述的方法，还包括：
对所述图像应用镜头失真校正以形成经校正的图像；以及
显示所述经校正的图像。
23.根据权利要求22所述的方法，还包括：
接收指示所述经校正的图像的感兴趣区域(ROI)的输入；以及
基于所述镜头失真根据所述图像的相对应的ROI确定一个或多个配置设置。
24.根据权利要求23所述的方法，还包括：
对所述经校正的图像执行ROI检测过程；以及
基于所述ROI检测过程接收指示所述经校正的图像的所述ROI的所述输入。
25.根据权利要求24所述的方法，其中，所述ROI检测过程是面部检测过程。
26.一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时，使得用于相机处理的设备的一个或多个处理器用于：
经由图像传感器接收具有镜头失真的图像；
基于所述镜头失真根据所述图像确定一个或多个配置设置；以及
使用所述一个或多个配置设置来获取后续图像。
27.根据权利要求26所述的非暂时性计算机可读存储介质，其中，所述一个或多个配置设置包括自动对焦设置、自动曝光控制设置或自动白平衡设置。
28.根据权利要求26所述的非暂时性计算机可读存储介质，其中，为了确定所述一个或多个配置设置，所述指令还使得所述一个或多个处理器用于：
对具有所述镜头失真的图像执行镜头失真校正以创建经校正的图像；以及
根据所述经校正的图像确定所述一个或多个配置设置。
29.根据权利要求26所述的非暂时性计算机可读存储介质，其中，为了确定所述一个或多个配置设置，所述指令还使得所述一个或多个处理器用于：
将具有所述镜头失真的所述图像划分为单元格；
基于所述镜头失真将所述单元格中的每个单元格中的像素分类为失真网格单元格；以及
对所述失真网格单元格中的像素执行统计处理以确定所述一个或多个配置设置。
30.根据权利要求26所述的非暂时性计算机可读存储介质，其中，为了确定所述一个或多个配置设置，所述指令还使得所述一个或多个处理器用于：
根据具有所述镜头失真的所述图像确定初始配置统计值；
基于所述镜头失真来调整所述初始配置统计值以确定经调整的配置统计值；以及
根据所述经调整的配置统计值确定所述一个或多个配置设置。
CN202080106471.4A 2020-10-27 2020-10-27 用于图像处理的镜头失真校正 Pending CN116547985A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/123866 WO2022087809A1 (en) 2020-10-27 2020-10-27 Lens distortion correction for image processing

Publications (1)

Publication Number Publication Date
CN116547985A true CN116547985A (zh) 2023-08-04

Family

ID=81381622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080106471.4A Pending CN116547985A (zh) 2020-10-27 2020-10-27 用于图像处理的镜头失真校正

Country Status (4)

Country Link
US (1) US20230292020A1 (zh)
EP (1) EP4238304A1 (zh)
CN (1) CN116547985A (zh)
WO (1) WO2022087809A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5409278B2 (ja) * 2009-11-06 2014-02-05 オリンパスイメージング株式会社 画像撮像装置及び画像撮像方法
FR3041134B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale dont les parametres de controle, notamment l'autoexposition, sont rendus independant de l'attitude.
FR3041135B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale avec segmentation de l'image du ciel pour le controle de l'autoexposition
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
CN109035170B (zh) * 2018-07-26 2022-07-01 电子科技大学 基于单网格图分段映射的自适应广角图像校正方法及装置

Also Published As

Publication number Publication date
WO2022087809A1 (en) 2022-05-05
EP4238304A1 (en) 2023-09-06
US20230292020A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
AU2011312756B2 (en) System and method for processing image data using an image signal processor having back-end processing logic
WO2019148978A1 (zh) 图像处理方法、装置、存储介质及电子设备
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
EP2622839B1 (en) Flash synchronization using image sensor interface timing signal
US8508621B2 (en) Image sensor data formats and memory addressing techniques for image signal processing
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
US8306360B2 (en) Device and method for obtaining clear image
US11184553B1 (en) Image signal processing in multi-camera system
US11671715B2 (en) High dynamic range technique selection for image processing
CN110365894B (zh) 摄像机装置中图像融合的方法及相关装置
WO2012044432A1 (en) Image signal processor line buffer configuration for processing raw image data
WO2012044434A1 (en) Overflow control techniques for image signal processing
WO2012047426A1 (en) Techniques for synchronizing audio and video data in an image signal processing system
EP2599318A1 (en) Automatic white balance processing with flexible color space selection
AU2011296296A1 (en) Auto-focus control using image statistics data with coarse and fine auto-focus scores
CN107613216A (zh) 对焦方法、装置、计算机可读存储介质和电子设备
WO2021120498A1 (en) Image fusion
US20230292020A1 (en) Lens distortion correction for image processing
CN116547987A (zh) 具有高动态范围的固态成像设备
US20240121511A1 (en) Lens positioning for secondary camera in multi-camera system
CN114666558B (zh) 投影画面清晰度的检测方法、装置、存储介质及投影设备
CN109151299B (zh) 一种用于对焦的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination