CN116648717A - 多传感器设备中的相机传感器改变 - Google Patents

多传感器设备中的相机传感器改变 Download PDF

Info

Publication number
CN116648717A
CN116648717A CN202180085117.2A CN202180085117A CN116648717A CN 116648717 A CN116648717 A CN 116648717A CN 202180085117 A CN202180085117 A CN 202180085117A CN 116648717 A CN116648717 A CN 116648717A
Authority
CN
China
Prior art keywords
sensor
image
zoom level
change
defined range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180085117.2A
Other languages
English (en)
Inventor
刘石忠
任剑锋
刘伟亮
N·于希
J·黄
S·M·帕尼拉杰文卡泰什
K·科拉塔皮利
W·邹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116648717A publication Critical patent/CN116648717A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

通过根据预定义的图像传感器配置对图像传感器切换的受控定时，可以减少或消除由于从设备的一个图像传感器到另一个图像传感器的切换而导致的从图像捕获设备输出的图像帧的连续性中断。根据预定义的图像传感器配置的多传感器图像设备的操作可以包括：在变焦级别转换期间适当地选择图像调整的源。预定义的图像传感器配置可以为图像捕获设备的特定变焦范围定义转换参数。

Description

多传感器设备中的相机传感器改变
相关申请的交叉引用
本申请要求享有于2020年12月23日提交的题为“CAMERA SENSOR CHANGES INMULTI-SENSOR DEVICE”的美国专利申请No.17/133,221的权益，其全部内容通过引用的方式明确地并入本文。
技术领域
本公开内容的各方面总体上涉及图像处理。本公开内容的一些特征可以实现并提供图像信号处理器对来自多传感器图像捕获设备的输出的处理的改进。
背景技术
图像捕获设备，即能够捕获一个或多个数字图像(无论是静止图像照片还是视频的图像序列)的设备，可以并入多种设备中。举例来说，图像捕获设备可以包括独立的数码相机或数码摄像机、配备相机的无线通信设备手机，例如移动电话、蜂窝电话或卫星无线电电话、个人数字助理(PDA)、面板或平板电脑、游戏设备、计算机设备(如网络摄像头、视频监控摄像头)或其他具有数字成像或视频功能的设备。
一些图像捕获设备包括通过一个或多个镜头捕获图像数据的多个图像传感器，其可以被称为多传感器图像捕获设备。多个图像传感器可以配置有不同的镜头以提供场景的多个视场和/或场景的不同变焦级别。示例镜头类型包括广角镜头、超广角镜头、长焦镜头、望远镜镜头、潜望式变焦镜头、鱼眼镜头、微距镜头、定焦镜头或其各种组合。在一个示例中，双相机配置可以包括广角镜头和长焦镜头。
然而，多个图像传感器的使用增加了设备中图像处理的复杂性，因为用户通常对场景的多个图像不感兴趣，而是对捕获和显示单个图像感兴趣。因此可以处理从多个图像传感器捕获的多个帧来为用户生成单个图像。此外，由于图像传感器之间不同的物理特性，从每个图像传感器获得的帧可能会以如下方式流在一起：即从一个图像传感器到另一个图像传感器的转换对于人眼来说是可感知的，例如在结果视频或预览显示中出现的场景偏移。例如，设备上的放大或缩小可能涉及从一个图像传感器切换到另一个图像传感器，这会导致在传感器切换时的视场发生显著变化，对于观察显示器上的预览图像的用户或观看放大或缩小过程中录制的视频的用户而言，可察觉到这种变化。多传感器图像捕获设备的输出中的这种伪影是不期望的。
此处提到的缺点仅是代表性的并且被包括以突出发明人已经针对现有设备确定的并试图改进的问题。下面描述的设备的各个方面可以解决所述缺点中的一些或所有缺点以及本领域已知的其他缺点。下面描述的改进设备的各个方面可以呈现出除上述那些优点之外的其他优点，并且可以用于除上述那些应用之外的其他应用。
发明内容
通过根据预定义的图像传感器配置对图像传感器切换的受控定时，通过根据预定义的图像传感器配置适当地选择针对图像调整的源和/或其组合，可以减少或消除由于从设备的一个图像传感器切换到另一个图像传感器而导致的从图像捕获设备输出的图像帧的连续性中断。所述预定义的图像传感器配置可以为图像捕获设备的特定变焦范围定义转换参数。例如，所述预定义的图像传感器配置可以为图像捕获设备定义第一变焦范围和第二变焦范围。第一变焦范围可以指定如下变焦范围：在所述变焦范围中，通过使源传感器变形以将图像与目标传感器对准，来进行到目标传感器的图像传感器切换。然后，当目标传感器能够更好地匹配源传感器的视场时，传感器切换在一段持续时间之后以随后的变焦级别发生，以减少多传感器图像设备的输出中的明显偏移。第二变焦范围可以指定如下变焦范围：在所述变焦范围中，图像传感器在期望范围之外，其中，图像捕获设备从源传感器立即切换到目标传感器。在立即切换之后，将目标传感器的输出调整为与来自先前帧的源传感器的输出对准，以减少多传感器图像设备的输出中的明显偏移。在这两个示例经定义范围中，图像信号处理器确定是调整来自源传感器的输出以匹配目标传感器还是调整来自目标传感器的输出以匹配源传感器。此外，对预定义的图像传感器配置的使用可以允许多传感器图像设备通过提供用于在图像传感器之间转换的信息来响应针对改变镜头的明确请求。
下面总结了本公开内容的一些方面以提供对所讨论技术的基本理解。该概述不是对本公开内容的所有预期特征的广泛综述，并且既不旨在标识本公开内容的所有方面的重要或关键要素，也不旨在描绘本公开内容的任何或所有方面的范围。其唯一目的是以概要形式呈现本公开内容的一个或多个方面的一些概念，作为稍后呈现的更详细描述的前序。
总体而言，本公开内容描述了涉及具有图像传感器和图像信号处理器(ISP)的数码相机的图像处理技术。为了实现各种变焦级别，在一些情况下，图像信号处理器可以基于变焦级别命令启动一个图像传感器到另一个图像传感器之间的转换。该转换可以基于图像信号处理器中的预定标准(例如，在预定义的图像传感器配置中的经定义范围)来执行。可替换地，所述转换可以基于来自设备中另一组件的请求来执行，诸如由CPU响应于在CPU上执行的图像处理功能来执行。不同的图像传感器可以具有耦接到不同图像传感器的不同镜头并且被封装为单独的相机，诸如具有耦接到第一图像传感器的广角镜头的第一相机和具有耦接到第二图像传感器的长焦镜头的第二相机。
图像信号处理器可以被配置为：控制对来自一个或多个图像传感器的图像帧的捕获，并且处理来自一个或多个图像传感器的图像帧以在输出帧中生成场景的视图。用于控制捕获的配置可以包括用于如下操作的指令：处理图像传感器改变请求，并且在一些示例中，在变焦级别的转换期间处理图像传感器改变请求。响应于图像传感器改变请求，图像信号处理器可以基于预定义的图像传感器配置来确定执行图像传感器改变的适当时间。当在变焦转换期间接收到图像传感器改变请求时，图像信号处理器可以使用关于图像传感器的信息来确定何时能够在减少输出帧流中的视觉影响或在输出帧流中没有视觉影响的情况下在一时间执行图像信号改变。在一些实施例中，图像信号处理器可以访问预定义的图像传感器配置，预定义的图像传感器配置描述图像传感器的变焦级别中的经定义范围。变焦级别中的经定义范围可以指定何时能够通过图像调整来匹配两个或更多个图像传感器之间的视场以减少输出帧中图像传感器改变的出现。在一些实施例中，所述范围定义了要在各种变焦级别执行的图像调整的特性。例如，配置信息可以描述当从第一传感器切换到第二传感器时是调整第一传感器的输出还是调整第二传感器的输出以获得输出帧。在一些实施例中，对来自图像传感器的输出图像的调整可以包括混合和/或几何变形。下面提供了有关使用混合或几何变形的图像传感器改变控制和图像调整的其他详细信息。
在示例中，图像信号处理器可以接收指令以响应于在CPU上执行的软件确定检测到输出图像帧中的某些特征而从第一图像传感器改变为第二图像传感器。示例标准包括检测到特定亮度或对比度级别和/或检测到场景中的运动。当实施所指示的相机转换时(诸如在变焦操作期间)，图像信号处理器可以有效地在传感器改变之前从第一传感器获得第一组输入帧，以及在传感器改变之后从第二传感器获得第二组输入帧。图像信号处理器可以被配置为基于来自图像传感器的相应输出图像来产生单个输出帧流。所述单个输出帧流可以包括包含来自图像传感器的图像数据的图像帧，这些图像数据已经被调整，诸如通过混合或几何变形，以将图像帧与输出流中的其他图像帧(例如，由不同图像传感器先前捕获的帧)匹配。在传感器转换之前和/或之后，输出流中的帧是基于传感器改变的源图像传感器还是目标图像传感器可以由预定义的图像传感器配置来确定。在一些实施例中，对由图像传感器捕获的图像帧的几何变形或混合的量可以由预定义的图像传感器配置来确定。
在图像信号处理器生成代表场景的输出帧后，场景的视图可以显示在设备显示器上，作为图片或作为视频的图片序列保存到存储设备，通过网络传送，和/或打印到输出介质。例如，图像信号处理器可以被配置为：从不同的图像传感器获得图像数据的输入帧(例如，像素值)，并且进而产生图像数据的相应输出帧(例如，预览显示帧、静止图像捕获、视频帧等)。在其他示例中，图像信号处理器可以将图像数据的帧输出到各种输出设备和/或相机模块以进行进一步处理，例如用于3A参数同步、通过输出帧产生视频文件、配置用于显示的帧、配置用于存储的帧等。即，图像信号处理器可以获得来自一个或多个图像传感器的输入帧，每个图像传感器耦接到一个或多个相机镜头，并且继而可以产生输出帧流并将输出帧流输出到各种输出目的地。在这样的示例中，图像信号处理器可以被配置为：产生可动态地表示变化的变焦级别(例如，增加或减小变焦级别)的输出帧流。在示例中，图像信号处理器可以基于对包括图像传感器的设备或耦接到包括图像传感器的设备的用户设备的捏合缩放操作、手势检测或其他用户输入，来接收用于改变变焦级别的输入。
在一些示例中，图像信号处理器可以在预期图像传感器改变时，对从第一图像传感器获得的最后帧进行几何变形。即，图像信号处理器可以在图像传感器改变之前对从第一图像传感器获得的帧进行变形，由此将经变形的帧的像素与传感器改变之后从第二图像传感器获得的第一预期输入帧的像素坐标对准。在将从第一(或“源”)图像传感器获得的最后帧(例如，经几何变形的帧)与从第二(或“目的地”)图像传感器获得的后续帧混合时，图像信号处理器可以将所述最后帧的像素与传感器改变后获得的后续帧的像素混合。通过响应于图像传感器改变来启动混合过程，图像信号处理器可以有利地使在执行转换混合过程中使用的存储器量减到最小，同时提供由图像传感器转换之后的像素混合产生的各种质量上的改进。
在本公开内容的一方面，一种方法包括：接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别；确定当前变焦级别是否在第一经定义范围内；和/或基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从多传感器捕获设备的输出帧。所述方法可以根据预定义的控制标准或在用户的请求下执行。例如，在对从第一传感器改变到第二传感器的请求对应于在从第一变焦级别到第二变焦级别的转换期间接收到或预定发生的改变请求时，可以执行所述方法。所述方法还包括：当变焦级别被确定为在第一经定义范围内时，调整来自第一传感器的图像，例如通过对从第一传感器输出的第一图像进行几何变形以与第二传感器的视场对准，其中，所述调整可以是混合权重参数，在混合权重参数达到阈值后改变到第二传感器；在转换穿过第一经定义范围之后，通过调整来自第二传感器的图像来生成输出帧；当变焦级别被确定为在第二经定义范围内时，调整来自第二传感器的图像；和/或通过确定第一传感器上的边距是否高于阈值量，来确定当前变焦级别是否在第一经定义范围内。
当接收到对从第二传感器改变到第三传感器的请求时，可以执行类似或相同的用于处理改变请求的方法。在一些实施例中，单个消息可以包括对在变焦转换期间的不同时间从第一传感器改变到第二传感器以及从第二传感器改变到第三传感器的指令。所述单个消息可以请求多个改变，所述多个改变被解释为对改变传感器的不同请求。这样的方法可以包括：接收对在从多传感器捕获设备进行图像捕获期间从第二传感器改变到第三传感器的请求；确定与接收到的对从第二传感器改变到第三传感器的请求相对应的第二当前变焦级别；确定第二当前变焦级别是否在第二经定义范围内；和/或基于第二当前变焦级别是否被确定为在第二经定义范围内，通过调整来自第二传感器或第三传感器中的一个传感器的图像来生成从多传感器捕获设备的输出帧。
例如，当接收到的对从第一传感器改变到第二传感器的请求是基于图像捕获期间的照明条件时，当接收到的对从第一传感器改变到第二传感器的请求是基于在图像捕获期间检测到的移动时，和/或当接收到的对从第一传感器改变到第二传感器的请求基于在图像捕获期间针对跟踪对象的用户输入时，可以执行所述方法。接收到的请求可以由成像设备生成，例如在成像设备的一个或多个处理器上生成，和/或可以由外部设备生成并且例如通过无线连接传送到执行根据本文描述的实施例的图像捕获方法的成像设备。
在本公开内容的另一方面，公开了一种装置，其包括至少一个处理器和耦接到所述至少一个处理器的存储器。所述至少一个处理器被配置为执行本文描述的任何方法或技术。例如，所述至少一个处理器可以被配置为执行如下包括如下的步骤：接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别；确定当前变焦级别是否在第一经定义范围内；和/或基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。所述至少一个处理器可以包括：图像信号处理器，或包含用于相机控制和/或处理的特定功能的处理器。所述至少一个处理器还可以或替代地包括应用处理器。本文描述的方法和技术可以完全由图像信号处理器或应用处理器执行，或者可以在图像信号处理器和应用处理器之间以及在一些实施例中的附加处理器之间划分各种操作。
所述装置可以包括至少两个图像传感器，包括第一图像传感器和第二图像传感器，其中，第一图像传感器具有比第二图像传感器更大的视场(FOV)。在一个示例中，第一图像传感器可以是广角图像传感器，而第二图像传感器可以是长焦图像传感器。在另一示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且第二传感器被配置为通过具有不同于第一光轴的第二光轴的第二镜头获得图像。另外或可替换地，第一镜头可以具有第一放大率，并且第二镜头可以具有不同于第一放大率的第二放大率。这种配置可以利用移动设备上的镜头群实现，例如在多个图像传感器和相关联的镜头位于移动设备的正面或背面的偏移位置的情况下。可以包括具有更大、更小或相同视场的附加图像传感器。所述设备可以切换到基于其他图像传感器的输出来输出帧，和/或使用来自多个图像传感器的图像帧来生成输出帧，所述输出帧可以基于本文描述的方法和技术进行调整。
在本公开内容的另一方面，公开了一种被配置用于图像捕获的设备。所述装置包括：用于接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求的单元；用于确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别的单元；用于确定当前变焦级别是否在第一经定义范围内的单元；和/或用于基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧的单元。所述装置还包括用于捕获代表场景的数据的一个或多个单元，例如图像传感器(包括电荷耦合器件(CCD)、拜耳滤波器传感器、红外(IR)检测器、紫外(UV)检测器、互补金属-氧化物半导体(CMOS)传感器)、飞行时间检测器。所述装置还可包括用于将光线累积和/或聚焦到一个或多个图像传感器(包括简单镜头、复合镜头、球面镜头和非球面镜头)中的一个或多个单元。
在本公开内容的另一方面，一种非暂时性计算机可读介质存储指令，当由处理器执行时，所述指令使所述处理器执行包括在本文描述的方法和技术中描述的那些操作的操作。例如，所述操作可以包括：接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别；确定当前变焦级别是否在第一经定义范围内；和/或基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。
在结合附图阅读特定示例性方面的以下描述之后，其他方面、特征和实施方式对于本领域的普通技术人员来说将变得显而易见。虽然可以结合下面的某些方面和图来讨论特征，但是各个方面可以包括本文讨论的有利特征中的一个或多个特征。即，虽然一个或多个方面可以被讨论为具有某些有利特征，但是也可以根据各个方面使用这样的特征中的一个或多个特征。以类似的方式，虽然示例性方面可以在下面被讨论为设备、系统或方法方面，但是示例性方面可以在各种设备、系统和方法中实现。
所述方法可以作为计算机程序代码嵌入在计算机可读介质中，所述计算机程序代码包括使处理器执行所述方法的步骤的指令。在一些实施例中，处理器可以是信息处理系统的一部分，所述信息处理系统包括被配置为通过多个网络连接中的第一网络连接发送数据的第一网络适配器；以及耦接到第一网络适配器的处理器，以及存储器。在一些实施例中，网络连接可以将信息处理系统耦接到外部组件，例如有线或无线对接站。
前面已经相当宽泛地概述了本发明的实施例的某些特征和技术优点，以便可以更好地理解下面的具体实施方式。下文将描述形成本发明权利要求的主题的附加特征和优点。本领域普通技术人员应当理解，所公开的概念和具体实施例可以容易地用作修改或设计用于实现相同或相似目的的其他结构的基础。本领域的普通技术人员还应该认识到，这样的等效构造不脱离所附权利要求中阐述的本发明的精神和范围。当结合附图考虑时，根据以下描述将更好地理解附加特征。然而，应当清楚地理解，提供每幅图仅用于说明和描述的目的，并不旨在限制本发明。
附图说明
可以通过参考以下附图实现对本公开内容的本质和优点的进一步理解。在附图中，相似的组件或特征可以具有相同的附图标记。此外，可以通过在附图标记后面加上破折号和用于区分相似组件的第二标号来区分相同类型的各种组件。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的任何一个相似组件，而与第二附图标记无关。
图1是被配置为执行本公开内容中描述的示例技术中的一个或多个示例技术的计算设备的框图。
图2是本公开内容中描述的示例技术中的多个图像传感器的操作的示意图。
图3是本公开内容中描述的示例技术中的针对灵活变焦转换的经定义的变焦级别范围的示意图。
图4是示出本公开内容中描述的示例技术中响应于传感器改变请求的多个图像传感器的操作的流程图。
图5是示出本公开内容中描述的示例技术中具有传感器改变请求的多个图像传感器的操作的调用流程图。
图6是示出本公开内容中描述的示例技术中利用几何变形调整图像的框图。
各个附图中相同的附图标记和名称表示相同的元件。
具体实施方式
下面结合附图阐述的具体实施方式旨在作为各种配置的描述，并且不旨在限制本公开内容的范围。相反，具体实施方式包括用于提供对本发明主题的透彻理解的特定细节。对本领域技术人员来说显而易见的是，并非在每种情况下都需要这些具体细节，并且在某些情况下，为了清楚地呈现，以方框图形式示出了公知的结构和组件。
本公开内容提供支持多传感器图像捕获设备中的灵活变焦转换的系统、装置、方法和计算机可读介质。所述灵活变焦转换允许在来自用户或在计算设备上执行的应用程序的请求时改变图像传感器。可以实施本公开内容中描述的主题的特定实施方式以实现潜在优势或益处，例如通过针对当前场景条件和/或所应用的图像捕获设置而改变到具有更好图像质量的图像传感器来改进图像质量，和/或通过减少在改变图像传感器时显示中的明显偏移来改善用户体验。
本公开内容的各个方面可用于使用图像捕获设备的多个图像传感器来捕获图像帧。所述多个图像传感器可以包括超广角(高视场(FOV))、广角、长焦和超长焦(低FOV)传感器的组合。即，可以通过硬件配置和/或软件设置来配置每个图像传感器以获得不同但重叠的视场。在一种配置中，所述图像传感器配置有具有不同放大率的不同镜头，从而产生不同的视场。所述传感器可以被配置为使得UW传感器具有比W传感器更大的FOV，W传感器具有比T传感器更大的FOV，T传感器具有比UT传感器更大的FOV。例如，被配置用于广角FOV的传感器可以捕获64-84度范围内的视场，被配置用于超广角FOV的传感器可以捕获100-140度范围内的视场，被配置用于长焦FOV的传感器可以捕获10-30度范围内的视场，被配置用于超长焦FOV的传感器可以捕获1-8度范围内的视场。本公开内容的一些方面包括：处理所捕获的图像帧，例如通过在设备从使用所述多个图像传感器中的第一图像传感器捕获场景的图像转换为使用所述多个图像传感器中的第二图像传感器捕获场景的图像时调整所捕获的图像帧中的一个或多个图像帧的空间对准。可以至少部分地基于预定义的图像传感器配置和变焦级别转换中的当前变焦级别，对从所述多个图像传感器中的一个图像传感器选择的图像帧执行所述调整。
用于使用多个图像传感器捕获图像帧的示例设备，例如智能手机，可以包括在设备的背面(例如，与用户显示器相对的一侧)或正面(例如，与用户显示器相同的一侧)上的两个、三个、四个或更多个相机的配置。具有多个图像传感器的设备包括一个或多个图像信号处理器、计算机视觉处理器(CVP)或用于处理由图像传感器捕获的图像的其他合适的电路。所述一个或多个图像信号处理器可以将处理后的图像帧提供给存储器和/或处理器(例如应用处理器、图像前端(IFE)、图像处理引擎(IPE)或其他合适的处理电路)用于进一步处理，例如编码或其他操作。
如本文所使用的，图像传感器可以指图像传感器本身和耦接到图像传感器的任何其他合适的组件。例如，图像传感器还可以指相机的其他组件，包括快门、缓冲器或其他读出电路。图像传感器还可以指模拟前端或用于将模拟信号转换为帧的数字表示的其他电路。因此，本文中的术语“图像传感器”可以指用于捕获图像帧并将其读出到图像信号处理器的任何合适的组件。
当设备的当前变焦比是第一值时，示例多传感器设备可以使用广角传感器来捕获场景的“广角”图像，并且当当前变焦比是更高的第二值时，设备可以改变为使用长焦传感器来捕获场景的“长焦”图像。当当前变焦比在经定义的值范围(本文可以将其称为“重叠区”)内时，设备可以同时或近似同时使用两个传感器捕获场景的图像。设备可以使用来自一个或多个传感器的图像数据来生成例如场景的预览图像以显示给设备的用户。然而，每个图像传感器除了可能由于放大率而具有不同的FOV之外，还由于位于设备上的不同位置而具有不同的FOV。即，每个图像传感器在与设备平面相对应的x-y平面中相对于其他图像传感器移位，这导致从每个图像传感器捕获的图像帧被偏移。此外，由于制造缺陷，多个传感器和/或所捕获的图像可能在空间上错位，当设备的当前变焦比时，这可能导致与生成的图像相关的错位误差。从一个图像传感器到其他图像传感器的光轴偏移和/或所述错位误差可能会导致相应的预览图像或捕获的视频中出现视觉缺陷。本公开内容的各个方面提供了一种多传感器设备，所述设备可以通过按照预定义的图像传感器配置中的指定调整来自第一或第二传感器的所捕获图像，来从使用所述传感器中的第一传感器捕获场景图像变为使用所述传感器中的第二传感器捕获场景图像。
在以下描述中，阐述了许多特定细节，例如特定组件、电路和过程的示例，以提供对本公开内容的透彻理解。如本文所用，术语“耦接”表示直接连接到或通过一个或多个居间组件或电路连接。此外，在以下描述中并出于解释的目的，阐述了特定命名以提供对本公开内容的透彻理解。然而，对于本领域技术人员来说显而易见的是，这些具体细节可能不是实践本文公开的教导所必需的。在其他情况下，以框图形式示出众所周知的电路和设备以避免使本公开内容的教导难以理解。以下详细描述的某些部分是根据过程、逻辑块、处理和其他针对对计算机存储器内的数据比特的操作的符号表示来呈现的。在本公开内容中，过程、逻辑块、处理等被认为是导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量进行物理操纵的步骤。通常(尽管不是必需的)，这些量采用能够在计算机系统中存储、传输、组合、比较和以其他方式操纵的电或磁信号的形式。
然而，应当记住，所有这些术语和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便的标签。除非从以下讨论中清楚地另有所指，否则应理解，贯穿本申请，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“推导”、“稳定”、“生成”等术语的讨论指的是计算机系统或类似电子计算设备的操作和过程，其将在计算机系统的寄存器和存储器中被表示为物理(电子)量的数据操纵和转换为在计算机系统的寄存器、存储器或其他此类信息存储、传输或显示设备中被类似地表示为物理量的其他数据。
在附图中，单个框可以被描述为执行一个或多个功能；然而，在实际实践中，由该框执行的一个或多个功能可以在单个组件中或跨多个组件执行，和/或可以使用硬件、软件或硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性，在下面根据其功能对各种说明性的组件、框、模块、电路和步骤进行了一般性描述。将这种功能实现为硬件还是软件，取决于特定的应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能，但是这样的实现决策不应被解释为导致脱离本公开内容的范围。此外，示例设备可以包括不同于所示组件的组件，包括众所周知的组件，例如处理器、存储器等。
本公开内容的各个方面适用于包括或耦接到能够捕获图像帧(或“帧”)的两个或更多个图像传感器的任何合适的电子设备。此外，本公开内容的各个方面可以在具有或耦接到具有相同或不同能力和特性(例如分辨率、快门速度、传感器类型等)的图像传感器的设备中实现。
术语“设备”和“装置”不限于一个或特定数量的物理对象(例如一个智能手机、一个相机控制器、一个处理系统等)。如本文所使用的，设备可以是具有可以实现本公开内容的至少一些部分的一个或多个部分的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开内容的各个方面，但术语“设备”不限于对象的特定配置、类型或数量。如本文所使用的，装置可以包括用于执行所描述的操作的设备或设备的一部分。
图1示出了用于从多个图像传感器执行图像捕获的示例设备100的框图。设备100可以包括或以其他方式耦接到图像信号处理器112，用于处理来自多个图像传感器(例如第一图像传感器101和第二图像传感器102)的图像帧。在一些实施方式中，设备100还包括或耦接到处理器104和存储指令108的存储器106。设备100还可以包括或耦接到显示器114和多个输入/输出(I/O)组件116。设备100还可以包括或耦接到设备100的电源118，例如电池或用于将设备100耦接到能量源的组件。设备100还可以包括或耦接到未示出的附加特征或组件。在一个示例中，可以包括无线接口以用于无线通信设备，无线接口可以包括多个收发机和基带处理器。在另一示例中，一个或多个其他传感器(例如陀螺仪或全球定位系统(GPS)接收机)可以包括在设备中或耦接到设备。在进一步的示例中，用于将模拟图像帧数据转换为数字图像帧数据的模拟前端可以耦接在图像传感器101和102与图像信号处理器112之间。
图像信号处理器112可以从到图像传感器的本地总线连接接收图像数据，或通过其他连接(例如到外部图像传感器的有线接口或到远程图像传感器的无线接口)接收图像数据。在一些实施例中，设备100可以包括第一相机和第二相机，第一相机包括第一图像传感器101和对应的第一镜头131，第二相机包括第二图像传感器102和对应的第二镜头132。在一些实施例中，设备100可以包括用于从位于设备100之外的图像传感器101和102接收图像数据的接口。设备100可以对来自位于设备100内或与设备100分开的图像传感器的组合的图像数据执行图像处理。
第一图像传感器101和第二图像传感器102被配置为捕获一个或多个图像帧。例如，第一图像传感器101和第二图像传感器102可以被包括在一个多相机配置中或者被包括在分离的多个单相机或者分离的多相机配置中(例如双相机配置、三相机配置等，其用于智能手机或其他合适的设备)。图像传感器101和102还可以包括或耦接到一个或多个用于对光进行聚焦的镜头、一个或多个用于接收光的孔径、一个或多个用于阻挡在曝光窗口外的光的快门、一个或多个用于过滤特定频率范围之外的光的滤光器阵列(CFA)，一个或多个用于将模拟测量值转换为数字信息的模拟前端，或用于成像的其他合适组件。例如，第一图像传感器101可以耦接到第一镜头131并且第二图像传感器102可以耦接到第二镜头132。第一镜头131和第二镜头132可以具有不同的视场，例如当第一镜头131是超广角(UW)镜头，第二镜头132是广角(W)镜头时。设备100还可以包括或耦接到闪光灯、深度传感器、GPS或用于成像的其他合适的组件。
图像信号处理器112处理由图像传感器101和102捕获的图像帧。虽然图1将设备100图示为包括耦接到图像信号处理器112的两个图像传感器101和102，但是任何数量的图像传感器可以耦接到图像信号处理器112。此外，设备100可以存在任何数量的附加图像传感器或图像信号处理器。在一些实施例中，图像信号处理器112可以执行来自存储器的指令，例如来自存储器106的指令108、存储在耦接到或被包括在图像信号处理器112中的单独存储器中的指令、或由处理器104提供的指令。另外或可替换地，图像信号处理器112可以执行软件和/或可以包括特定硬件(例如一个或多个集成电路(IC))来执行本公开内容中描述的一个或多个操作。
在一些实施方式中，存储器106可以包括存储计算机可执行指令108的非瞬态或非暂时性计算机可读介质，所述计算机可执行指令108用于执行本公开内容中描述的一个或多个操作的全部或一部分。在一些实施方式中，指令108包括要由设备100执行以生成图像或视频的相机应用(或其他合适的应用)。指令108还可以包括由设备100执行的其他应用或程序，例如操作系统和除用于图像或视频生成之外的其他特定应用程序。例如由处理器104对相机应用的执行可以使设备100使用图像传感器101和102以及图像信号处理器112来生成图像。存储器106还可以由图像信号处理器112访问以存储经处理的帧，或者可以由处理器104访问以获得经处理的帧。在一些实施例中，设备100不包括存储器106。例如，设备100可以是包括图像信号处理器112的电路，并且存储器可以在设备100的外部。设备100可以耦接到存储器并被配置为访问存储器以写入输出帧以供显示或长期存储。
在一些实施例中，处理器104可以包括一个或多个通用处理器，其能够执行一个或多个软件程序的脚本或指令，例如存储在存储器106内的指令108。例如，处理器104可以包括一个或多个被配置为执行存储在存储器106中的相机应用(或用于生成图像或视频的其他合适的应用)的应用处理器。在执行相机应用时，处理器104可以被配置为指示图像信号处理器112针对图像传感器101或102执行一个或多个操作。例如，在处理器104上执行的相机应用可以从用户接收变焦级别改变请求，并指示图像信号处理器112转换到新的变焦级别。在到新的变焦级别的转换期间，处理器104可以在变焦级别改变期间检测场景中的满足用于改变图像传感器的特定标准的改变，并且处理器104可以向图像信号处理器112发出传感器改变请求。处理器104对相机应用之外的指令108的执行也可以使设备100执行任何数量的功能或操作。在一些实施例中，处理器104除了执行软件的能力之外还可以包括IC或其他硬件，以使设备100执行多个功能或操作(例如本文描述的操作)。在一些其他实施例中，设备100不包括处理器104，例如当所有描述的功能都被配置在图像信号处理器112中时。
在一些实施例中，图像信号处理器112或处理器104中的至少一个可以执行指令以执行本文描述的各种操作。例如，指令的执行可以指示图像信号处理器112从捕获使用第一图像传感器101以第一变焦比捕获的场景的第一图像改变为使用第二图像传感器102以第二变焦比捕获的场景的第二图像。在一些实施例中，由于第一图像传感器101具有与第二图像传感器102不同的FOV或者第一镜头131具有与第二镜头132不同的FOV，所以第一图像可以具有与第二图像不同的FOV。
在一些实施例中，显示器114可以包括允许用户交互和/或向用户呈现项目(例如由图像传感器101和102捕获的图像帧的预览)的一个或多个合适的显示器或屏幕。在一些实施例中，显示器114是触敏显示器。I/O组件116可以是或包括任何合适的机制、接口或设备以从用户接收输入(例如命令)并向用户提供输出。例如，I/O组件116可以包括(但不限于)图形用户界面(GUI)、键盘、鼠标、麦克风、扬声器、可挤压的边框、一个或多个按钮(例如电源按钮)、滑块、开关等。
虽然示出为经由处理器104彼此耦接，但是处理器104、存储器106、图像信号处理器112、显示器114和I/O组件116可以以其他各种布置彼此耦接，例如通过一条或多条本地总线，为简单起见未示出。虽然图像信号处理器112被示为与处理器104分离，但是图像信号处理器112可以是作为应用处理器单元(APU)的处理器104的核心，被包括在片上系统(SoC)中，或以其他方式被包括在处理器104中。虽然在本文的示例中为了执行本公开内容的各个方面而提及设备100，但是一些设备组件可能未在图1中示出以防止使本公开内容的各个方面不清楚。此外，其他组件、多个组件或组件的组合可以包括在用于执行本公开内容的各个方面的合适设备中。因此，本公开内容不限于特定设备或组件的配置，包括设备100。
如上所述，不同的第一镜头131和第二镜头132可能导致从第一图像传感器101和第二图像传感器102捕获的图像帧具有不同的特性，例如不同的视场，但是图像传感器也可能在重叠区中产生相似图像帧。图2示出了随着设备的当前变焦比增加而跨越在设备的第一变焦比和第二变焦比之间的示例重叠区200。该设备可以是图1中所示的设备100的示例实施例。虽然参照上图中所示的设备、组件和操作描述了重叠区200，但任何合适的设备或设备组件都可以执行针对图2所描述的操作。在一些实施例中，第一传感器是图1的第一图像传感器101的示例实施例并且可以是广角图像传感器(或“广角传感器”)，并且第二图像传感器是图1的第二传感器102的示例实施例并且可以是长焦图像传感器(或“长焦传感器”)。
当设备200的当前变焦比在第一传感器区202内时，设备100可以仅使用广角传感器来捕获广角图像。在一些实施例中，第一传感器区202可以在图2的最左侧(例如，1.0X的变焦比)开始并以“第一变焦比”(例如，2.7X的变焦比)结束。相反，当设备100的当前变焦比在第二传感器区204内时，设备100可以仅使用长焦传感器来捕获长焦图像。在一些实施方式中，第二传感器区204可以以第二变焦比(例如，3.0X的变焦比)开始并且在图2的最右侧(例如，10.0X的变焦比)结束。
在重叠区中，可以从广角图像或长焦图像捕获一定范围的变焦级别。当设备100的当前变焦比在重叠区内(例如，在2.7X-3.0X之间的变焦比)时，设备100可以在使用长焦传感器捕获长焦图像的同时使用广角传感器捕获广角图像。通过调整广角图像或长焦图像以与广角图像或长焦图像中的另一个对准，来自处理广角图像和长焦图像的图像信号处理器的输出帧可以基于广角图像或长焦图像。相对于在没有调整的情况下的改变，这种调整可以允许从广角传感器到长焦传感器的平滑改变，例如，当发生从第一传感器区域202内的变焦级别到第二传感器区204内的变焦级别的变焦级别改变时。如果没有这样的调整，用户可能会注意到从广角传感器到长焦传感器的光轴偏移，从而产生明显的不连续性，表现为输出帧中对象从第一位置跳跃到第二位置。图像信号处理器可以基于预定义的图像传感器配置来确定要调整广角图像或长焦图像中的哪一个图像，该配置可以包括多个经定义变焦范围。图3显示了示例预定义图像传感器配置。
图3是示出根据本公开内容的一些实施例的定义图像传感器之间的可能重叠的若干范围的预定义图像传感器配置的图。第一图302展示了可用于与该实施例中的超广角(UW)图像传感器相对应的第一图像传感器的变焦级别。第二图304展示了可用于与在该实施例中的广角(W)图像传感器相对应的第二图像传感器的变焦级别。第三图306展示了可用于与在该实施例中的长焦(T)图像传感器相对应的第三图像传感器的变焦级别。所示的每个UW、W和T图像传感器的比例被缩放，使得每个图像传感器的变焦级别对于轴上的相应点处的其他图像传感器具有相同的视场。在本实施例中，图302、304和306上每个传感器的从大约1.0X到1.2X的起始变焦范围被加上阴影，以表明在这些镜头的这些变焦级别处，相应图像帧的边缘处几乎没有用于裁剪的边距。在这些初始变焦范围内，可以捕获图像帧，但是图像帧中用于执行图像帧的缩放(例如以便匹配期望视场)的数据是有限的。
可以组合多个单独相机的所识别变焦范围中的每个所识别变焦范围，以形成定义多传感器图像设备的期望变焦范围的第四图308。第四图308示出了可用于使用由图302、304和306表示的可用UW、W和T图像传感器捕获图像的逻辑变焦内的若干经定义范围。图308的逻辑变焦可以对应于在相机应用的操作期间呈现给用户的变焦级别。当用户在相机应用中指定变焦级别时，可以识别用于以该特定逻辑变焦级别捕获图像的图像传感器，并且控制该图像传感器以调整其实际变焦级别以达到期望的逻辑变焦级别。例如，当用户请求5.0X的逻辑变焦时，图像信号处理器可以控制长焦图像传感器以1.3X变焦获得图像帧或控制广角图像传感器以5.0X变焦获得图像帧。
图308示出了具有经定义范围312、314、316、318、320和322的预定义图像传感器配置。这些经定义范围可以用于确定调整哪个图像传感器输出以生成输出帧和/或何时从UW、W和T图像传感器中的一个图像传感器改变为UW、W和T图像传感器中的另一个图像传感器。这些经定义范围可以包括第一组经定义范围312、314和320，其可以被称为“绿色区”并且由交叉影线指示。第一组经定义范围中的范围指定变焦级别，对于这些变焦级别，来自第二传感器的图像具有与第一传感器重叠的视场，但第二传感器中的边距不足以进行处理以匹配第一传感器。对是否存在足够的边距的判断可以涉及将图像传感器可用的边距与阈值进行比较。所述阈值可以基于，等于，传感器由于视场小于帧尺寸而可以提供的边距。例如，可以通过将特定变焦级别处的图像传感器的视场与预定义偏移值进行比较，来做出该判断，所述预定义偏移值指示用于将图像传感器输出对准另一图像传感器的偏移量。如果图像传感器的视场比特定变焦级别处的期望帧尺寸大至少所述偏移值，则所述判断可以是有足够的边距来将图像传感器输出匹配到另一个图像传感器。
当请求设备的变焦级别改变时，设备在图308上从第一变焦级别调整到第二变焦级别。可以在从第一变焦级别向第二变焦级别进行转换的同时接收图像传感器改变请求。图像传感器改变请求可以指示源图像传感器和目标图像传感器。当逻辑变焦级别的转换穿过第一组经定义范围314或320中的一个经定义范围并且接收到图像传感器改变请求时，可以调整源图像传感器的输出以与目标图像传感器的输出对准以产生输出帧。将源图像传感器作为输出帧的基础的使用可以继续直到当前变焦级别达到第一组经定义范围314或320中的一个经定义范围的末端。
在一些实施例中，图像传感器改变可在达到经定义范围314或320中的一个经定义范围的末端之前发生，例如当参数达到或超过阈值时。例如，当在调整图像传感器的输出时使用的α参数达到或超过阈值时，可能发生图像信号改变，该情况可能在达到经定义范围314的末端之前发生。在一些实施例中，所述调整可以是对来自所确定的源或目标传感器的输出图像与先前帧的混合。例如，图像信号处理器可以通过应用如下用于确定像素贡献水平的混合函数，将从源传感器输出的先前帧的一个或多个像素与来自所确定的源或目标传感器的输出图像的一个或多个像素进行混合：
Y′1＝∝(XM)+(1-∝)Y1,其中：
Y′1表示由混合权重∝调整后的输出帧，
XM表示先前帧，
Y1表示所确定的源或目标传感器的输出，并且
∝表示如下的混合权重：0≤∝≤1。
在不同的实施例中，图像信号处理器可以自动地或基于手动输入或这两者，来确定分配给混合权重的值(例如，在0和1之间、0和100％之间等)。不管用于确定混合权重参数的方式如何，都可以设置阈值以完成所请求的传感器改变，例如当α达到0.8或80％时。在一些实施例中，变焦转换可以比参数达到阈值更快地发生，第二组经定义范围中的一个经定义范围首先出现，在这种情况下，无论参数是否未达到阈值，图像传感器都会改变。
在一些实施例中，图像信号处理器可以在第一经定义范围312、314或320中的一个经定义范围内时在改变传感器之前对从第一传感器捕获的先前帧(XM)进行几何变形。在一些实施例中，可以对先前帧(XM)进行几何变形，例如通过下面参考图6描述的变形。在一些实施例中，图像信号处理器可以放弃对先前帧的一个或多个像素(例如，一个或多个边缘像素(例如，角像素))的混合，而将先前帧的一个或多个其他像素与所确定的源或目标图像传感器的输出图像的一个或多个对应像素进行混合。在这样的实施例中，基于在传感器改变过程期间的混合权重或针对对在帧的特定区域中的像素进行前述混合的另一种等效方法，经由先前帧的像素和输出图像的像素生成的混合帧可以包括来自先前帧的贡献和来自输出图像的相对于输出帧的减少部分的互补贡献。
在涉及经定义范围314的一个示例中，请求从0.8X到1.4X的变焦级别改变，并且当变焦级别为1.1X时接收到对从UW到W的图像传感器改变请求。图像信号处理器可以确定图像传感器改变请求是在经定义范围314内接收到的，经定义范围314是第一组经定义范围中的一个经定义范围。基于经定义范围314，图像信号处理器可以确定调整UW图像传感器的输出以与W图像传感器对准，同时变焦级别转换继续通过1.2X，这是经定义范围314的末端。在变焦级别1.2X处，图像信号处理器可以改变为W图像传感器，并通过借助控制W图像传感器的参数转换到所请求的1.4X变焦级别，来完成该变焦级别改变。将图像传感器从UW图像传感器改变为W图像传感器的延迟允许变焦级别达到一个级别，在该级别处，W图像传感器中有足够的边距来匹配UW图像传感器输出并减少在从0.8X到1.4X变焦级别的转换期间获得的帧序列中的伪影。
所述经定义范围可以包括第二组经定义范围316、318和322，其可以被称为“红色区”并且由阴影指示。在这些变焦级别范围内，如果接收到传感器改变请求，则立即或尽快执行传感器改变，并且调整目标图像传感器的输出图像以匹配源图像传感器的先前输出帧。在改变为目标图像传感器后所述调整继续进行以达到所需的变焦级别。图像传感器改变可以在经定义范围316、318和322内的任何变焦级别处执行，因为目标图像传感器上可以有足够的边距来执行调整以将目标图像传感器的输出图像与源图像传感器的输出图像对准。
在涉及经定义范围316的一个示例中，请求从0.8X到1.4X的变焦级别改变并且当变焦级别为1.3X时接收到从UW到W的图像传感器改变请求。图像信号处理器可以确定图像传感器改变请求是在经定义范围316内接收到的，经定义范围316是第二组经定义范围中的一个经定义范围。基于经定义范围316，图像信号处理器可以确定调整W图像传感器的输出以与UW图像传感器对准并且立即将输出帧改变为来自W图像传感器的调整后的输出图像。图像信号处理器可以通过借助控制W图像传感器的参数转换到所请求的1.4X变焦级别，来完成变焦级别改变。
诸如图3所示的预定义图像传感器配置可用于定义变焦级别范围和用于处理变焦级别范围内的图像传感器改变的行为。在一些实施例中，所述经定义范围可以对应于图像传感器的物理特性，例如图像传感器尺寸和/或相关镜头的变焦范围。所述配置可以存储在配置文件中或存储在耦接到图像信号处理器的其他存储器中，并且被访问以基于变焦级别来确定图像传感器改变行为。例如，预定义图像传感器配置可用于确定是调整第一传感器的输出图像还是调整第二传感器的输出图像以在变焦级别转换期间生成输出帧，如图4的示例方法中所述的。
图4是示出根据本公开内容的一些实施例的用于控制图像捕获设备的示例方法的流程图。方法400开始于框402，在框402，执行来自多传感器捕获设备的第一传感器的图像捕获。框402可以涉及执行相机应用以生成用于获得图片的预览图像和/或生成用于视频文件的帧序列。在其他示例中，框402的图像捕获可以涉及视频会议应用、聊天应用、混合现实应用、增强现实应用或涉及图像处理的另一应用的执行。应用可以在应用处理器上执行，应用处理器直接耦接到多传感器捕获设备，或通过图像信号处理器间接耦接到多传感器捕获设备。
在框404处，可以接收对改变变焦级别的请求。变焦级别改变可以由在应用处理器上执行的应用的用户进行请求。变焦级别改变可以替代地由在应用处理器上执行的应用自动生成，例如当涉及场景中对象的跟踪时。在另一示例中，变焦级别改变可以由图像信号处理器响应于场景中的变化的状况而自动生成。在一些实施例中，变焦级别改变请求可以指定多传感器捕获设备的目标变焦级别。在其他实施例中，变焦级别改变请求可以指定与目标变焦级别相对应的其他参数，例如通过指定多传感器捕获设备被控制来捕获的场景的经定义的图像大小或区域。
在框406处，多传感器捕获设备在从多传感器捕获设备的第一传感器进行捕获的同时开始从第一变焦级别到第二变焦级别的转换。第一变焦级别可以对应于在接收到框404的请求时的当前变焦级别。第二变焦级别可以是所请求的变焦级别，例如当用户通过相机应用请求放大或缩小操作时生成的变焦级别。例如，第二变焦级别可以是表示由触摸屏上的捏合缩放操作指定的场景区域的变焦级别。框406的转换可以包括：例如，操作耦接到第一传感器的镜头的位置，和/或调整被应用于从第一传感器捕获的图像帧的裁剪和/或缩放操作。
在框408处，在框406处开始的向第二变焦级别的转换期间，接收到对从第一传感器改变到第二传感器的请求。该请求可以由相机应用或其他应用代码(例如在相机框架中的应用代码，在计算设备的应用处理器上执行的应用代码)生成。传感器切换请求可以是基于一个或多个标准生成的。在一个示例中，场景、对象或面部的亮度可以被确定为匹配或超过用以触发传感器改变请求的阈值水平。例如，目标传感器可以具有拥有比源传感器的镜头更大孔径的镜头，使得从源传感器改变到目标传感器将有利于提高图像质量。在另一个示例中，可以确定场景中的对象或人的运动匹配或超过用以触发传感器改变请求的阈值水平。
在框410处，响应于框408的传感器改变请求，计算设备可以确定当前变焦级别是否在第二传感器的第一经定义范围内。例如，参考图3的示例配置，可以将接收到传感器改变请求时的当前变焦级别与范围312、314和320进行比较。还参考图3，可以将接收到传感器改变请求时的当前变焦级别与范围316、318和322进行比较。对当前变焦级别是否在范围312、314、316、318、320或322中的一个范围内的判断，可以用于确定何时响应传感器改变请求来执行传感器改变。
在框412处，通过调整来自第一传感器和/或第二传感器的图像输出来生成输出帧，其中至少部分地基于在框410中执行的对经定义范围的识别，来确定第一和/或第二传感器。例如，在当前变焦级别在第一经定义范围内时，则可以通过对来自第一传感器的图像进行调整直到稍后传感器改变发生的时刻，来生成输出图像。在接收到关于来自第二传感器的边距足够用以被调整为与第一传感器对准的传感器改变请求之后，传感器改变可以尽快发生。在另一个示例中，在当前变焦级别在第二经定义范围内时，可以通过立即改变为第二传感器并对来自第二传感器的输出进行调整以与作为紧接在前的输出帧的基础的第一传感器的输出对准，来生成输出图像。对来自第一传感器或第二传感器的输出图像的调整可以使具有不同视场的两个传感器之间的视场对准，以减少从第一传感器改变到第二传感器时的波动。在当前变焦级别在未定义的范围内时，传感器改变可以立即发生。可以不对第二传感器的输出执行调整，因为在经定义范围之外可能无法调整图像以匹配视场。
可以重复框410和412在确定当前变焦级别和基于当前变焦级别生成调整后的图像中的操作，直到完成变焦级别转换。例如，随着当前变焦级别在从第一变焦级别到第二变焦级别的转换的进行，可以在框412确定当前变焦级别是否在第一经定义范围内。在当前变焦级别达到针对第一经定义范围所定义的标准时，可以采取行动来改变用以生成经调整图像的方式，例如通过从基于第一图像传感器或第二图像传感器调整图像的情况进行改变，如在下面的示例中所述的。
图5中示出了使用预定义图像传感器配置在计算设备内操作多传感器图像设备的示例操作。图5是示出根据本公开内容的一些实施例的图像捕获设备中的图像捕获的调用图。第一传感器502和第二传感器504可以耦接到图像信号处理器(ISP)506，例如分别通过相机串行接口总线或通过共享总线。ISP 506可以耦接到应用处理器(AP)508，例如通过外围部件接口总线。AP 508可以执行软件以提供用户界面510作为相机应用的一部分，例如用于从用户接收命令(例如变焦级别改变)和/或向用户显示输出帧或帧序列，例如为相机应用生成预览图像。
在调用512处可以进行图像捕获，例如用于在用户界面510处生成预览图像。在调用512处，第一传感器502向ISP 506提供捕获的图像。ISP 506处理图像并且在调用514处将图像提供给AP 508。在相机应用的操作期间，AP 508可以在调用516处接收变焦级别改变请求。调用516处的请求可以是响应于来自用户在用户界面510处的捏合缩放手势的，或可以是自动生成的。AP 508可以在调用520处向ISP 506发送变焦级别改变请求。ISP 506可以响应于接收到调用520，开始从当前变焦级别到所请求的变焦级别的转换。在该转换期间，ISP506可以例如在调用522处继续捕获图像，并例如在调用524处将图像提供给AP 508。图像的继续捕获可以允许在变焦改变期间，例如通过相机应用向用户呈现预览图像，或由相机应用继续录制视频。
在到调用520所请求的变焦级别的转换期间，AP 508可以在调用526处向ISP 506发送传感器改变请求。响应于调用526，ISP 506可以确定用于在到调用520所请求的变焦级别的转换期间改变镜头的方法。例如，ISP 506可以确定在接收到调用526时的当前变焦级别是否在预定义范围内，并且基于当前变焦级别是否在预定义范围内来执行操作，例如在图4的框408、410和412中描述的。在调用528处，ISP 506从第一传感器502和/或第二传感器504接收输出图像。ISP 506可以处理来自第一传感器502和第二传感器504的输出图像之一或两者，以生成要在调用530处提供给AP 508的输出帧。在一些实施例中，基于当前变焦级别是否与经定义范围匹配，来确定对捕获和调整传感器502和504中的哪一个以形成到AP的输出帧508的判断。随着变焦级别响应于调用520而继续改变，ISP 506可以继续处理来自传感器502和504之一或两者的图像，直到实现所请求的变焦级别并且调用526所请求的传感器改变完成。
在完成响应于调用526的传感器改变之后，ISP 506可以在调用532处从第二传感器504捕获图像。在调用534处，ISP 506将那些图像或那些图像的经处理版本提供给AP508。如果传感器改变之后的当前变焦级别不是所请求的变焦级别，则调用520的变焦级别改变可以在调用532处改变传感器之后完成。
对传感器改变请求的处理，例如由ISP响应来自AP的请求进行的该处理，允许在任何变焦级别处而不是在预定义的固定点处进行在镜头之间的灵活的变焦转换。在变焦级别转换期间，所产生的输出帧在多传感器捕获设备的输出帧之间具有减少的伪影(包括减少的波动或减少的中断)。可以基于预定义图像传感器配置和/或多捕获设备中的传感器的特性，来执行该灵活的变焦转换。在一些实施例中，该灵活的变焦转换可以提供空间对准通用框架，以允许在具有不同视场的两个、三个、或四个或更多个图像传感器之间进行改变。这种多传感器捕获设备的一个实施例包括相机模块，该相机模块具有：与第一镜头耦接以提供超广角视图的第一图像传感器、与第二镜头耦接以提供广角视图的第二图像传感器以及与第三镜头耦接以提供长焦视图的第三图像传感器。附加镜头(例如，红外图像传感器)可以是多传感器捕获设备的一部分，并且用于捕获与场景对应的深度信息。
尽管有多个图像传感器，但为用户提供单一观看体验改善了使用多传感器捕获设备的用户体验。通过减少向用户显示从多个传感器输出的单独图像，用户可以获得基于具有不同好处的多个传感器输出的改进的捕获体验的好处，而不会增加用户复杂性。此外，通过允许使用更好的镜头来基于场景状况从多传感器捕获设备捕获图像，用于处理传感器改变请求的框架可以导致改进的图像质量。在变焦镜头转换期间改变为更好的镜头可以响应于场景状况的变化为用户提供更好的图像，而不是等待在固定的变焦级别处改变图像传感器。
对图像传感器的输出进行调整(例如上文和图4的框412中描述的)以将一个图像传感器的视场对准另一图像传感器的输出，可以通过几何变形操作来执行。参考图6描述一个图像到另一图像的几何变形的一个示例。图6示出了用于执行一个或多个图像帧的空间对准变换的设备的示例数据流600。该设备可以是图1中所示的设备100的示例实施方式。虽然参考前面图中所示的设备、组件和操作来描述数据流600，但任何合适的设备或设备组件都可以执行针对数据流600描述的操作。
第一图像602和第二图像612分别由设备100的第一和第二图像传感器捕获，为了简单起见未示出。在一些实施例中，第一和第二图像传感器可以分别是图1的第一图像传感器101和第二图像传感器102的示例实施方式。作为非限制性示例，第一图像602可以是以第一变焦比(例如，4.9X)捕获的广角图像，并且第二图像612可以是以第二变焦比(例如，5.0X)捕获的长焦图像。在一些实施方式中，可以以高于图像的最终输出分辨率(例如，1920×1440)的初始分辨率(例如，2304×1728)捕获第一图像602和第二图像612。如图6所示，设备100可以将图像裁剪到较小的分辨率(例如，480×360)以供在图像信号处理器112处进一步处理。
在一些实施例中，图像信号处理器112缩放第一图像602以匹配第二图像612的视场(FOV)，并且识别经缩放的第一图像602与第二图像612之间的一个或多个空间错位。如图6所示，图像信号处理器112基于一个或多个空间错位来确定转换矩阵，确定与转换矩阵相关联的置信度，将置信度与置信度阈值进行比较，响应于置信度大于置信度阈值来确定加权因子，并将加权因子应用于转换矩阵。响应于置信度大于置信度阈值，图像信号处理器112可以基于第一变焦比、第二变焦比和设备100的当前变焦比来确定加权因子。在一些实施例中，在当前变焦级别等于与在接收到传感器改变请求时的当前变焦级别相对应的第一变焦比时，加权因子可以是0％，并且在当前变焦比等于来自变焦级别改变请求的所请求的变焦级别或与经定义范围的末端相对应的变焦级别时，加权因子可以是100％。在一些实施例中，当置信度大于置信度阈值时，图像信号处理器112可以避免确定附加的转换矩阵。在其他一些实施例中，当置信度不大于置信度阈值时，加权因子可以是单位矩阵。此后，图像信号处理器112可以在过程624中将经加权的转换矩阵发送到处理器104。
处理器104可以在过程626处以初始分辨率接收第一图像并且使用来自图像信号处理器112的经加权的转换矩阵将第一图像变形为第二图像。在一些实施例中，经变形的第一图像的最终输出分辨率(例如，1920x 1440)可以小于第一图像602的初始分辨率(例如，2304x 1728)。以这种方式，第一图像602可以具有介于最终输出分辨率和初始分辨率的像素边距。因此，当处理器104将第一图像602变形(例如，移位和/或旋转)到第二图像时，只有像素边距内的像素可以被移出或旋转出帧外，因此处理器104可以在过程630向设备100的显示器输出经变形的图像而没有任何FOV或质量损失，因为只有像素边距内的像素可能被移出或旋转出帧外。在一些实施例中，设备100然后可以基于经变形的第一图像和第二图像612来生成预览图像。在一些实施例中，ISP 112可以执行第一图像到第二图像的变形并且将由变形产生的输出帧发送到处理器104，以便在过程630中输出到显示器。
数据流600的几何变形可以基于经定义的变焦级别范围来调整，如图3所示。例如，在图3的第一组经定义范围中，基于确定当前变焦级别在第一经定义范围内，第一图像602可以对应于源图像传感器输出，使得从源传感器获得被调整的图像。如数据流600中所示，在该示例中与源图像传感器的输出相对应的第一图像602，通过过程626被提供给处理器104，以将第一图像602变形为第二图像612。作为另一示例，在图3的第二组经定义范围中，基于确定当前变焦级别在第二经定义范围内，第一图像602可以对应于目标图像传感器输出，使得从目标传感器获得被调整的图像。如数据流600中所示，在该示例中与目标图像传感器的输出相对应的第一图像602，通过过程626被提供给处理器104，以将第一图像602变形为第二图像612。
本领域技术人员将理解，可以使用多种不同的技术和方法的任意一种来表示信息和信号。例如，在以上全部说明中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或者其任何组合来表示。
本文针对图1描述的组件、功能块和模块包括处理器、电子设备、硬件设备、电子组件、逻辑电路、存储器、软件代码、固件代码以及其他示例，或其任何组合。此外，本文讨论的特征可以通过专用处理器电路、通过可执行指令或其组合来实现。
本领域技术人员将进一步了解，结合本文的公开内容所描述的各种说明性逻辑框、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面对各种说明性的组件、框、模块、电路和步骤进行了一般性描述。将此功能性实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。本领域技术人员可以针对每个特定应用以不同方式实现所描述的功能，但是这种实现决策不应被解释为导致脱离本公开内容的范围。本领域技术人员还将容易地认识到，本文描述的组件、方法或交互的顺序或组合仅仅是示例，并且本公开内容的各个方面的组件、方法或交互可以以除了本文所示和所述的那些之外的方式进行组合或执行。
结合本文公开的实施方式描述的各种说明性逻辑、逻辑框、模块、电路和算法过程可以实施为电子硬件、计算机软件或两者的组合。已经在功能方面对硬件和软件的可互换性进行了一般性描述，并在上述各种说明性组件、框、模块、电路和过程中进行了说明。这种功能是以硬件还是软件实现的，取决于特定的应用和施加于整个系统的设计约束。
用于实现结合本文公开的各个方面描述的各种说明性逻辑、逻辑框、模块和电路的硬件和数据处理装置可以用通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或被设计为执行本文所述功能的其任何组合来实施或执行。通用处理器可以是微处理器，或者任何常规的处理器、控制器、微控制器或状态机。在一些实施方式中，处理器可以实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP内核或任何其他这样的配置。在一些实施方式中，特定过程和方法可以由专用于给定功能的电路来执行。
在一个或多个方面，所描述的功能可以以硬件、数字电子电路、计算机软件、固件实现，包括在本说明书中公开的结构及其结构等同方案，或其任何组合。本说明书中描述的主题的实施方式也可以实施为一个或多个计算机程序，即一个或多个计算机程序指令模块，编码在计算机存储介质上以供数据处理装置执行或用以控制数据处理装置的操作。
如果以软件实施，则所述功能可以作为计算机可读介质上的一个或多个指令或代码来存储或发送。本文公开的方法或算法的过程可以在处理器可执行软件模块中实现，处理器可执行软件模块可以驻留在计算机可读介质上。计算机可读介质包括计算机储存介质和通信介质，包括有助于将计算机程序从一个地方传送到另一个地方的任何介质。储存介质可以是可由计算机访问的任何可用介质。示例性而非限制性地，这种计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其他光盘储存、磁盘储存或其他磁储存设备或能够用于以指令或数据结构的形式存储所需程序代码模块并且能够被计算机访问的任何其他介质。此外，任何连接被适当地称为计算机可读介质。如本文所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字通用光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地再现数据，而光盘用激光光学地再现数据。上述的组合也包括在计算机可读介质的范围内。此外，方法或算法的操作可以作为代码和指令中的一个或任何组合或集合驻留在机器可读介质和计算机可读介质上，机器可读介质和计算机可读介质可以被并入到计算机程序产品中。
对本公开内容中描述的实施方式的各种修改对于本领域技术人员来说是显而易见的，并且在不脱离本公开内容的精神或范围的情况下，本文定义的一般原理可以应用于一些其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开内容、本文公开的原理和新颖特征一致的最宽范围。
此外，本领域技术人员将容易理解，术语“上”和“下”有时用于易于描述附图，并且指示与在适当定向的页面上的图取向相对应的相对位置，并且不反映所实施的任何设备的正确取向。
在本说明书中在单独实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实施。相反，在单个实施方式的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施方式中实施。此外，尽管上述特征可能被描述为以某些组合起作用，甚至最初如此要求保护，但在某些情况下，要求保护的组合中的一个或多个特征可以从该组合中删除，并且要求保护的组合可能涉及子组合或子组合的变体。
类似地，虽然在附图中以特定顺序示出了操作，但这不应被理解为要求以所示出的特定顺序或顺序次序执行此类操作，或者执行所有示出的操作，以实现期望的结果。此外，附图可以以流程图的形式示意性地示出一个或多个示例过程。然而，未示出的其他操作可并入示意性示出的示例过程中。例如，一个或多个附加操作可以在任何所示操作之前、之后、同时地或之间执行。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中各个系统组件的分离不应理解为在所有实施方式中都需要这种分离，应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或打包成多个软件产品。此外，一些其他实施方式在以下权利要求的范围内。在某些情况下，权利要求中记载的操作可能以不同的顺序执行，但仍能达到理想的结果。
如本文所用，包括在权利要求中，术语“或”在用于两个或多个项目的列表中时，意味着可以单独使用所列出的项目中的任何一个，或者可以使用所列出的项目中的两个或更多个项目的任何组合。例如，如果将组合物说明为含有组件A、B或C，则组合物可以包含单独的A；单独的B；单独的C；A和B的组合；A和C的组合；B和C的组合；或A、B和C的组合。此外，如本文所使用的，包括在权利要求中，在由“至少一个”开头的项目列表中使用的“或”指示分离的列表，使得例如，“A、B或C中的至少一个”的列表表示A或B或C或AB或AC或BC或ABC(即，A和B和C)或其任何组合中的任何一种。如本领域技术人员所理解的，术语“基本上”被定义为在很大程度上但不一定完全是所指定的(并且包括所指定的；例如，基本上90度包括90度并且基本上平行包括平行).在任何公开的实施方式中，术语“基本上”可以替换为“在所指定的事务的[某个百分比]内”，其中该百分比包括0.1％、1％、5％或10％。
提供本公开内容的在前说明以使本领域技术人员能够实行或使用本公开内容。对本公开内容的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开内容的精神或范围的情况下，本文定义的一般原理可以应用于其他变型。因此，本公开内容不旨在限于本文所说明的示例和设计，而是应被赋予与本文公开的原理和新颖特征一致的最宽范围。

Claims (43)

1.一种方法，包括：
接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；
确定与接收到的对从所述第一传感器改变到所述第二传感器的请求相对应的当前变焦级别；
确定所述当前变焦级别是否在第一经定义范围内；以及
基于所述当前变焦级别是否被确定为在所述第一经定义范围内，通过调整来自所述第一传感器或所述第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。
2.根据权利要求1所述的方法，其中，所述调整包括：当所述变焦级别被确定为在所述第一经定义范围内时，调整来自所述第一传感器的图像。
3.根据权利要求2所述的方法，其中，所述调整所述图像包括：对从所述第一传感器输出的第一图像进行几何变形以与所述第二传感器的视场对准。
4.根据权利要求2所述的方法，还包括：在转换穿过所述第一经定义范围之后，通过调整来自所述第二传感器的图像来生成输出帧。
5.根据权利要求2所述的方法，其中，所述调整是基于混合权重参数的，并且其中，所述方法还包括：在所述混合权重参数达到阈值之后改变到所述第二传感器。
6.根据权利要求1所述的方法，其中，所述调整包括：当所述变焦级别被确定为在第二经定义范围内时，调整来自所述第二传感器的图像。
7.根据权利要求1所述的方法，其中，确定所述当前变焦级别是否在第一经定义范围内包括：确定所述第一传感器上的边距是否高于阈值量。
8.根据权利要求1所述的方法，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于所述图像捕获期间的照明条件的。
9.根据权利要求1所述的方法，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于在所述图像捕获期间检测到的移动的。
10.根据权利要求1所述的方法，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于在所述图像捕获期间用于跟踪对象的用户输入的。
11.根据权利要求1所述的方法，其中，所述方法还包括：
接收对在从所述多传感器捕获设备进行所述图像捕获期间从第二传感器改变到第三传感器的请求；
确定与接收到的对从所述第二传感器改变到所述第三传感器的请求相对应的第二当前变焦级别；
确定所述第二当前变焦级别是否在第二经定义范围内；以及
基于所述第二当前变焦级别是否被确定为在所述第二经定义范围内，通过调整来自所述第二传感器或所述第三传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。
12.根据权利要求1所述的方法，其中，所述第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且其中，所述第二传感器被配置为通过具有不同于所述第一光轴的第二光轴的第二镜头获得图像。
13.根据权利要求12所述的方法，其中，所述第一镜头具有第一放大率，并且其中，所述第二镜头具有不同于所述第一放大率的第二放大率。
14.根据权利要求1所述的方法，其中，对从第一传感器改变到第二传感器的所述请求对应于从第一变焦级别到第二变焦级别的转换期间的改变。
15.一种设备，包括：
处理器；以及
存储器，耦接到所述处理器并存储指令，当由所述处理器执行时，所述指令使所述设备执行包括以下操作的操作：
接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；
确定与接收到的对从所述第一传感器改变到所述第二传感器的请求相对应的当前变焦级别；
确定所述当前变焦级别是否在第一经定义范围内；以及
基于所述当前变焦级别是否被确定为在所述第一经定义范围内，通过调整来自所述第一传感器或所述第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。
16.根据权利要求15所述的设备，其中，所述调整包括：当所述变焦级别被确定为在所述第一经定义范围内时，调整来自所述第一传感器的图像。
17.根据权利要求16所述的设备，其中，所述调整所述图像包括：对从所述第一传感器输出的第一图像进行几何变形以与所述第二传感器的视场对准。
18.根据权利要求16所述的设备，其中，所述指令的执行使所述设备执行还包括以下操作的操作：
在转换穿过所述第一经定义范围之后，通过调整来自所述第二传感器的图像来生成输出帧。
19.根据权利要求16所述的设备，其中，所述调整是基于混合权重参数的，并且其中，所述指令的执行使所述设备执行还包括以下操作的操作：在所述混合权重参数达到阈值之后改变到所述第二传感器。
20.根据权利要求15所述的设备，其中，所述调整包括：当所述变焦级别被确定为在第二经定义范围内时，调整来自所述第二传感器的图像。
21.根据权利要求15所述的设备，其中，确定所述当前变焦级别是否在第一经定义范围内包括：确定所述第一传感器上的边距是否高于阈值量。
22.根据权利要求15所述的设备，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于所述图像捕获期间的照明条件的。
23.根据权利要求15所述的设备，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于在所述图像捕获期间检测到的移动的。
24.根据权利要求15所述的设备，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于在所述图像捕获期间用于跟踪对象的用户输入的。
25.根据权利要求15所述的设备，其中，所述指令的执行使所述设备执行还包括以下操作的操作：
接收对在从所述多传感器捕获设备进行所述图像捕获期间从第二传感器改变到第三传感器的请求；
确定与接收到的对从第二传感器改变到第三传感器的请求相对应的第二当前变焦级别；
确定所述第二当前变焦级别是否在第二经定义范围内；以及
基于所述第二当前变焦级别是否被确定为在所述第二经定义范围内，通过调整来自所述第二传感器或所述第三传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。
26.根据权利要求15所述的设备，其中，所述第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且其中，所述第二传感器被配置为通过具有不同于所述第一光轴的第二光轴的第二镜头获得图像。
27.根据权利要求26所述的设备，其中，所述第一镜头具有第一放大率，并且其中，所述第二镜头具有不同于所述第一放大率的第二放大率。
28.根据权利要求15所述的设备，还包括：
第一图像传感器；以及
第二图像传感器，
其中，所述第一图像传感器具有比所述第二图像传感器更大的视场(FOV)。
29.根据权利要求15所述的设备，其中，所述第一图像传感器包括广角图像传感器，并且所述第二图像传感器包括长焦图像传感器。
30.根据权利要求15所述的设备，其中，对从第一传感器改变到第二传感器的请求对应于从第一变焦级别到第二变焦级别的转换期间的改变。
31.一种存储指令的非暂时性计算机可读介质，当由设备的处理器执行时，所述指令使所述设备执行包括以下操作的操作：
接收对在从所述多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；
确定与接收到的对从所述第一传感器改变到所述第二传感器的请求相对应的当前变焦级别；
确定所述当前变焦级别是否在第一经定义范围内；以及
基于所述当前变焦级别是否被确定为在所述第一经定义范围内，通过调整来自所述第一传感器或所述第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。
32.根据权利要求31所述的非暂时性计算机可读介质，其中，所述调整包括：当所述变焦级别被确定为在所述第一经定义范围内时，调整来自所述第一传感器的图像。
33.根据权利要求32所述的非暂时性计算机可读介质，其中，所述调整图像包括：对从所述第一传感器输出的第一图像进行几何变形以与所述第二传感器的视场对准。
34.根据权利要求32所述的非暂时性计算机可读介质，其中，所述指令的执行使所述设备执行还包括以下操作的操作：
在转换穿过所述第一经定义范围之后，通过调整来自所述第二传感器的图像来生成输出帧。
35.根据权利要求32所述的非暂时性计算机可读介质，其中，所述调整是基于混合权重参数的，并且其中，所述方法还包括：在所述混合权重参数达到阈值之后改变到所述第二传感器。
36.根据权利要求31所述的非暂时性计算机可读介质，其中，所述调整包括：当所述变焦级别被确定为在第二经定义范围内时，调整来自所述第二传感器的图像。
37.根据权利要求31所述的非暂时性计算机可读介质，其中，确定所述当前变焦级别是否在第一经定义范围内包括：确定所述第一传感器上的边距是否高于阈值量。
38.根据权利要求31所述的非暂时性计算机可读介质，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于所述图像捕获期间的照明条件的。
39.根据权利要求31所述的非暂时性计算机可读介质，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于在所述图像捕获期间检测到的移动的。
40.根据权利要求31所述的非暂时性计算机可读介质，其中，接收到的对从所述第一传感器改变到所述第二传感器的请求是基于在所述图像捕获期间用于跟踪对象的用户输入的。
41.根据权利要求31所述的非暂时性计算机可读介质，其中，所述指令的执行使所述设备执行还包括以下操作的操作：
接收对在从所述多传感器捕获设备进行所述图像捕获期间从第二传感器改变到第三传感器的请求；
确定与接收到的对从所述第二传感器改变到所述第三传感器的请求相对应的第二当前变焦级别；
确定所述第二当前变焦级别是否在第二经定义范围内；以及
基于所述第二当前变焦级别是否被确定为在所述第二经定义范围内，通过调整来自所述第二传感器或所述第三传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。
42.根据权利要求31所述的非暂时性计算机可读介质，其中，所述第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且其中，所述第二传感器被配置为通过具有不同于所述第一光轴的第二光轴的第二镜头获得图像。
43.根据权利要求42所述的非暂时性计算机可读介质，其中，所述第一镜头具有第一放大率，并且其中，所述第二镜头具有不同于所述第一放大率的第二放大率。
CN202180085117.2A 2020-12-23 2021-11-22 多传感器设备中的相机传感器改变 Pending CN116648717A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/133,221 US20220201208A1 (en) 2020-12-23 2020-12-23 Camera sensor changes in multi-sensor device
US17/133,221 2020-12-23
PCT/US2021/072555 WO2022140723A1 (en) 2020-12-23 2021-11-22 Camera sensor changes in multi-sensor device

Publications (1)

Publication Number Publication Date
CN116648717A true CN116648717A (zh) 2023-08-25

Family

ID=79259296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180085117.2A Pending CN116648717A (zh) 2020-12-23 2021-11-22 多传感器设备中的相机传感器改变

Country Status (5)

Country Link
US (1) US20220201208A1 (zh)
EP (1) EP4268442A1 (zh)
CN (1) CN116648717A (zh)
TW (1) TW202232932A (zh)
WO (1) WO2022140723A1 (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2404297B (en) * 2003-07-24 2007-12-05 Hewlett Packard Development Co Editing multiple camera outputs
US7612804B1 (en) * 2005-02-15 2009-11-03 Apple Inc. Methods and apparatuses for image processing
US7206136B2 (en) * 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US9900526B2 (en) * 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9849384B1 (en) * 2014-12-16 2017-12-26 Amazon Technologies, Inc. Viewport selection system
KR102143309B1 (ko) * 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US10706518B2 (en) * 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
CN107277355A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 摄像头切换方法、装置及终端
CN111510618B (zh) * 2019-01-30 2022-04-05 虹软科技股份有限公司 变焦方法及应用其的电子设备
US11706521B2 (en) * 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN111641775B (zh) * 2020-04-14 2021-10-01 北京迈格威科技有限公司 多摄变焦控制方法、装置及电子系统
US11509837B2 (en) * 2020-05-12 2022-11-22 Qualcomm Incorporated Camera transition blending

Also Published As

Publication number Publication date
TW202232932A (zh) 2022-08-16
EP4268442A1 (en) 2023-11-01
WO2022140723A1 (en) 2022-06-30
US20220201208A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US11277553B2 (en) Switchover control techniques for dual-sensor camera system
CN111614898B (zh) 图像处理系统
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
JP2009193421A (ja) 画像処理装置、カメラ装置、画像処理方法、およびプログラム
TWI549500B (zh) 影像擷取方法及使用此方法之影像擷取裝置
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
CN110691192B (zh) 图像处理方法、装置、存储介质及电子设备
CN116980750A (zh) 图像捕获模式自适应
EP4169240A1 (en) Multiple camera system for wide angle imaging
JP2024504270A (ja) 複数の深度のオブジェクトがあるシーンの画像融合
TW202305739A (zh) 用於改良的場景完整性的時間濾波重新啟動
EP3857864A1 (en) Zoomed in region of interest
CN108810326B (zh) 一种拍照方法、装置及移动终端
US20220201208A1 (en) Camera sensor changes in multi-sensor device
TW202002606A (zh) 影像擷取裝置與其操作方法
TW202307791A (zh) 選擇性地增加具有多個感興趣區域的場景中的景深
EP4245027A1 (en) Spatial alignment transform without fov loss
US11206344B2 (en) Image pickup apparatus and storage medium
US11843858B1 (en) Machine learning for phase detection autofocus
US20240179425A1 (en) Image sensor with multiple image readout
JP2011070123A (ja) 魚眼カメラ、画像処理システム、画像処理方法及び画像処理プログラム
TW202402037A (zh) 用於具有可變光圈能力的圖像擷取設備的相機轉換
US20230419459A1 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium background
JP2017175304A (ja) 撮像装置
EP4378168A1 (en) Multiple camera system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination