CN116368814A - 无fov损失的空间对准变换 - Google Patents

无fov损失的空间对准变换 Download PDF

Info

Publication number
CN116368814A
CN116368814A CN202180074272.4A CN202180074272A CN116368814A CN 116368814 A CN116368814 A CN 116368814A CN 202180074272 A CN202180074272 A CN 202180074272A CN 116368814 A CN116368814 A CN 116368814A
Authority
CN
China
Prior art keywords
image
zoom ratio
sensor
weighting factor
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180074272.4A
Other languages
English (en)
Inventor
任剑锋
刘石忠
刘伟亮
K-C·潘
N·于希
W·左
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116368814A publication Critical patent/CN116368814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了用于空间对准变换的设备、方法、计算机可读介质和单元。在一些方面，一种设备可以执行包括以下各项的操作：使用第一传感器以第一变焦比捕获场景的第一图像；使用第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。

Description

无FOV损失的空间对准变换
相关申请的交叉引用
本专利申请要求享有于2020年11月10日提交的题为“SPATIAL ALIGNMENTTRANSFORM WITHOUT FOV LOSS”的美国专利申请第17/094,052号的优先权，该专利申请被转让给本申请的受让人。所有在先申请的公开内容都被认为是本专利申请的一部分，并通过引用并入本专利申请中。
技术领域
本公开总体上涉及图像或视频捕获设备，包括由图像信号处理器处理来自多个图像传感器的图像帧，例如用于图像帧的空间对准变换。
背景技术
许多设备包括可以用于捕获一个或多个图像帧的多个图像传感器。例如，智能电话或平板计算机包括用于为不同成像应用生成图像或视频的多个图像传感器。一个或多个图像信号处理器可以处理来自多个图像传感器的图像帧。处理后的图像帧可以由成像应用使用，例如用于生成预览图像、用户照片、记录视频、执行增强现实操作等。
发明内容
本公开的系统、方法和设备各自具有若干创新方面，其中没有单个方面单独负责本文公开的期望属性。
本公开中描述的主题的一个创新方面可以在设备中实现。所述设备可以包括处理器和耦合到该处理器并存储指令的存储器，所述指令在由处理器执行时使所述设备执行操作。所述操作可以包括：使用第一传感器以第一变焦比捕获场景的第一图像；使用第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。
在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些实例中，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在一些其他实例中，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些实例中，第一传感器是广角图像传感器，并且第二传感器是远程图像传感器。
在一些实现方式中，所述指令的执行使设备执行还包括以下的操作：随着当前变焦比从第一变焦比增加到第二变焦比，逐渐增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小时，逐渐地减小加权因子。在一些其他实现方式中，所述指令的执行使设备执行还包括以下的操作：基于扭曲的第一图像和第二图像来生成预览图像；以及向设备的用户显示预览图像。
在一些实现方式中，所述指令的执行使设备执行还包括以下的操作：缩放第一图像以匹配第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。在一些其他实现方式中，所述指令的执行使设备执行还包括以下的操作：当置信度大于置信度阈值时，避免确定附加的转换矩阵。
本公开中描述的主题的另一创新方面可以实现为用于空间对准变换的方法。该方法可以由设备执行，并且可以包括：使用设备的第一传感器以第一变焦比捕获场景的第一图像；使用设备的第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。
在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些实例中，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在一些其他实例中，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些实例中，第一传感器是广角图像传感器，并且第二传感器是远程图像传感器。
在一些实现方式中，所述方法还包括：随着当前变焦比从第一变焦比增加到第二变焦比，逐渐增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小时，逐渐地减小加权因子。在一些其他实现方式中，所述方法还包括：基于扭曲的第一图像和第二图像来生成预览图像；以及向设备的用户显示预览图像。
在一些实现方式中，所述方法还包括：缩放第一图像以匹配第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。在一些其他实现方式中，所述方法还包括：当置信度大于置信度阈值时，避免确定附加的转换矩阵。
本公开中描述的主题的另一创新方面可以在非暂时性计算机可读介质中实现。该非暂时性计算机可读介质可以存储指令，所述指令在由设备的处理器执行时，使设备执行操作。在一些实现方式中，所述操作包括：使用第一传感器以第一变焦比捕获场景的第一图像；使用第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。
在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些实例中，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在一些其他实例中，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些实例中，第一传感器是广角图像传感器，并且第二传感器是远程图像传感器。
在一些实现方式中，所述操作还包括：随着当前变焦比从第一变焦比增加到第二变焦比，逐渐增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小时，逐渐地减小加权因子。在一些其他实现方式中，所述操作还包括：基于扭曲的第一图像和第二图像来生成预览图像；以及向设备的用户显示预览图像。
在一些实现方式中，所述操作还包括：缩放第一图像以匹配第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。在一些其他实现方式中，所述操作还包括：当置信度大于置信度阈值时，避免确定附加的转换矩阵。
本公开中描述的主题的另一创新方面可以实现在设备中。该设备可以包括：用于使用第一传感器以第一变焦比捕获场景的第一图像的单元；用于使用第二传感器以第二变焦比捕获场景的第二图像的单元，第一图像具有与第二图像不同的视场(FOV)；用于基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵的单元；用于确定与转换矩阵相关联的置信度的单元；用于响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子的单元；用于将加权因子应用于转换矩阵的单元；以及用于使用加权的转换矩阵将第一图像扭曲到第二图像的单元。
在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些实例中，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在一些其他实例中，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些实例中，第一传感器和第二传感器分别是广角图像传感器和远程图像传感器。
在一些实现方式中，所述设备还包括用于以下的单元：随着当前变焦比从第一变焦比增加到第二变焦比，逐渐增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小时，逐渐地减小加权因子。在一些其他实现方式中，所述设备还包括用于以下的单元：基于扭曲的第一图像和第二图像来生成预览图像；以及向设备的用户显示预览图像。
在一些实现方式中，所述设备还包括用于以下的单元：缩放第一图像以匹配第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。在一些其他实现方式中，所述操作还包括：当置信度大于置信度阈值时，避免确定附加的转换矩阵。
在附图和下面的描述中阐述了在本公开中描述的主题的一个或多个实现方式的细节。其他特征、方面和优点将从说明书、附图和权利要求中变得明显。注意，以下附图的相对尺寸可能不是按比例绘制的。
附图说明
图1示出了用于执行图像帧的空间对准变换的示例设备的框图。
图2示出了示例设备执行图像帧的空间对准变换的时序图。
图3示出了设备执行一个或多个图像帧的空间对准变换的示例数据流。
图4A示出了随着设备的当前变焦比增加跨越在设备的第一变焦比和第二变焦比之间的示例重叠区域。
图4B示出了描绘随着设备的当前变焦比增加设备生成转换矩阵的示例操作的框图。
图5A示出了随着设备的当前变焦比减小跨越在设备的第一变焦比和第二变焦比之间的示例重叠区域。
图5B示出了描绘随着设备的当前变焦比减小设备生成转换矩阵的示例操作的框图。
图6示出了描绘空间对准变换的示例操作的流程图。
图7示出了描绘空间对准变换的另一示例操作的流程图。
图8示出了描绘空间对准变换的另一示例操作的流程图。
图9示出了描绘空间对准变换的另一示例操作的流程图。
图10示出了描绘空间对准变换的另一示例操作的流程图。
在不同的附图中类似的附图标记和名称表示类似的元件。
具体实施方式
本公开的各方面可以用于使用设备的多个图像传感器捕获图像帧，例如超宽(高视场(FOV)、宽、远程和超远程(低FOV)传感器的组合。一些方面包括处理所捕获的图像帧，例如通过在设备从使用多个图像传感器中的第一图像传感器捕获场景的图像转换到使用多个图像传感器中的第二图像传感器捕获场景的图像时执行对所捕获的一个或多个图像帧的空间对准变换。
示例设备(例如，智能电话)可以包括在设备背面上的两个、三个、四个或更多个相机的配置。具有多个图像传感器的设备包括一个或多个图像信号处理器、计算机视觉处理器(CVP)或用于处理由图像传感器捕获的图像的其他合适电路。一个或多个图像信号处理器可以将处理后的图像帧提供给存储器和/或处理器(例如，应用处理器、图像前端(IFE)、图像处理引擎(IPE)或其他合适的处理电路)以用于进一步处理，例如，用于编码或其他操纵。
如本文所使用的，图像传感器可以指图像传感器本身和耦合到图像传感器的任何其他合适组件。例如，图像传感器还可以指相机的其他组件，包括快门、缓冲器或其他读出电路。图像传感器还可以指模拟前端或用于将模拟信号转换为帧的数字表示的其他电路。因此，本文的术语“图像传感器”可以指用于捕获图像帧并将其读出到图像信号处理器的任何合适的组件。
示例多传感器设备可以在设备的当前变焦比为第一值时使用宽传感器捕获场景的“宽”图像，并且在当前变焦比为更高的第二值时，设备可以切换到使用远程传感器捕获场景的“远程”图像。在当前变焦比在定义的值范围内时，设备可以同时或近似同时地使用两个传感器捕获场景的图像，该值范围在本文可以称为“重叠区域”。设备可以使用来自一个或多个传感器的图像数据来生成例如用于显示给设备用户的场景的预览图像。
然而，由于制造缺陷，多个传感器和/或捕获的图像可能在空间上未对准，这可能导致当设备的当前变焦比在重叠区域内时与生成的图像相关的未对准误差。未对准误差可能导致对应预览图像中的视觉缺陷。一些设备可以使用转换矩阵将图像扭曲(例如，移位和/或旋转)到空间对准中，这可以解决一些未对准误差。不幸的是，在这样做时，传统设备裁剪掉较高FOV图像的部分，并生成具有降低的FOV和质量(即，更少的像素)的对应图像。
本公开的各方面提供了一种多传感器设备，其可以通过扭曲一个或多个所捕获的图像，从使用传感器中的第一传感器捕获场景的图像平滑转换到使用传感器中的第二传感器捕获场景的图像，而在生成对应图像时不降低FOV或质量。
在下面的描述中，阐述了许多特定细节，例如特定组件、电路和过程的示例，以提供对本公开的透彻理解。本文使用的术语“耦合”表示直接连接或者通过一个或多个中间组件或电路连接。此外，在以下描述中并出于解释的目的，阐述了特定术语以提供对本公开的透彻理解。然而，对本领域技术人员来说，显而易见的是，可能不需要这些特定细节来实践本文公开的教导。在其他实例中，以框图形式示出了公知的电路和设备，以避免模糊本公开的教导。以下详细描述的一些部分以过程、逻辑块、处理和对计算机存储器中的数据位的操作的其他符号表示的形式提出。在本公开中，过程、逻辑块、进程等被认为是导致期望结果的步骤或指令的自洽序列。这些步骤是那些需要对物理量进行物理操纵的步骤。通常，虽然不是必须地，这些量采取电或磁信号的形式，能够被存储、传输、组合、比较，并以其他方式在计算机系统中操纵。
然而，应该记住，所有这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非从以下讨论中清楚地另有说明，否则应理解，在整个本申请中，讨论使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“规格化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“推导”、“解决”、“生成”等，指的是计算机系统或类似电子计算设备的操作和过程，其操纵在计算机系统的寄存器和存储器中表示为物理(电子)量的数据并将其变换为类似地表示为计算机系统的寄存器、存储器或其他这种信息存储、传输或显示设备中的物理量的其他数据。
在图中，单个框可以被描述为执行一个或多个功能。然而，在实际实践中，由该框执行的一个或多个功能可以在单个组件中或跨多个组件执行，和/或可以使用硬件、软件或硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性，各种说明性组件、块、模块、电路和步骤在下面一般地根据它们的功能进行描述。这种功能是实现为硬件还是软件取决于特定的应用和强加给整个系统的设计约束。技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这样的实现决策不应被解释为导致偏离本公开的范围。此外，示例设备可以包括除所示组件之外的组件，包括诸如处理器、存储器等的公知组件。
本公开的各方面适用于包括或耦合到能够捕获图像帧(或“帧”)的两个或更多个图像传感器的任何合适的电子设备。此外，本公开的各方面可以在具有相同或不同能力和特性(例如分辨率、快门速度、传感器类型等)的图像传感器或耦合到图像传感器的设备中实现。
术语“设备”和“装置”不限于一个或特定数量的物理对象(例如一个智能电话、一个相机控制器、一个处理系统，等等)。如本文所使用的，设备可以是具有一个或多个部件的任何电子设备，所述部件可以实现本公开的至少一些部分。虽然下面的描述和示例使用术语“设备”来描述本公开的各个方面，但术语“设备”不限于对象的特定配置、类型或数量。如本文所使用的，一种装置可以包括用于执行所述操作的设备或设备的一部分。
图1示出了用于执行图像帧的空间对准变换的示例设备100的框图。设备100可以包括或以其他方式耦合到用于处理来自多个图像传感器(例如，第一图像传感器101和第二图像传感器102)的图像帧的图像信号处理器112。在一些实现方式中，设备100还包括或耦合到处理器104和存储指令108的存储器106。设备100还可以包括或耦合到显示器114和多个输入/输出(I/O)组件116。设备100还可以包括或耦合到用于设备100的电源118，例如电池或将设备100耦合到能量源的组件。设备100还可以包括或耦合到未示出的附加特征或组件。在一个示例中，可以包括用于无线通信设备的无线接口，该无线接口可以包括多个收发机和基带处理器。在另一示例中，一个或多个其他传感器(例如，陀螺仪或全球定位系统(GPS)接收机)可以包含于设备中或耦合到设备。在另一示例中，用于将模拟图像帧数据转换为数字图像帧数据的模拟前端可以耦合在图像传感器101和102与图像信号处理器112之间。
第一图像传感器101和第二图像传感器102被配置为捕获一个或多个图像帧。例如，第一图像传感器101和第二图像传感器102可以包含于一个多相机配置中，或者包含于单独的单相机或单独的多相机配置中(例如，对于智能电话或其他合适的设备，双相机配置、三相机配置等)。图像传感器101和102还可以包括或耦合到用于聚焦光的一个或多个透镜、用于接收光的一个或多个孔径、用于在曝光窗口外阻挡光的一个或多个快门、用于过滤特定频率范围之外的光的一个或多个滤色器阵列(CFA)、用于将模拟测量值转换为数字信息的一个或多个模拟前端、或用于成像的其他合适组件。设备100还可以包括闪光灯、深度传感器、GPS或用于成像的其他合适组件。
图像信号处理器112处理由图像传感器101和102捕获的图像帧。虽然图1示出了设备100包括耦合到图像信号处理器112的两个图像传感器101和102，但任何数量的图像传感器可以耦合到图像信号处理器112。此外，对于设备100可以存在任何数量的附加图像传感器或图像信号处理器。
在一些方面，图像信号处理器112可以执行来自存储器的指令，例如来自存储器106的指令108、存储在耦合到或包含于图像信号处理器112中的单独存储器中的指令、或由处理器104提供的指令。另外或替代地，图像信号处理器112可以执行软件和/或可以包括特定硬件(例如，一个或多个集成电路(IC))来执行本公开中描述的一个或多个操作。
在一些实现方式中，存储器106可以包括存储计算机可执行指令108的非瞬态或非暂时性计算机可读介质，以执行本公开中描述的一个或多个操作的全部或部分。在一些实现方式中，指令108包括要由设备100执行的用于生成图像或视频的相机应用(或其他合适的应用)。指令108还可以包括由设备100执行的其他应用或程序，例如操作系统和除用于图像或视频生成之外的特定应用。相机应用的执行(例如，由处理器104执行)可以导致设备100使用图像传感器和图像信号处理器112生成图像。存储器106还可以由图像信号处理器112访问以存储处理后的帧，或者可以由处理器104访问以获得处理后的帧。在一些其他实现方式中，设备100不包括存储器106。例如，设备100可以是包括图像信号处理器112的电路，并且存储器可以在设备100的外部。设备100可以耦合到存储器并被配置为访问存储器以写入处理后的帧。
在一些实现方式中，处理器104可以包括能够执行一个或多个软件程序的脚本或指令(例如，存储在存储器106中的指令108)的一个或多个通用处理器。例如，处理器104可以包括被配置为执行存储在存储器106中的相机应用(或用于生成图像或视频的其他合适应用)的一个或多个应用处理器。在执行相机应用时，处理器104可以被配置为指示图像信号处理器112参考图像传感器101或102执行一个或多个操作。由处理器104在相机应用外部执行指令108也可以导致设备100执行任何数量的功能或操作。在一些实现方式中，除了执行软件以使设备100执行多个功能或操作(例如，本文描述的操作)的能力之外，处理器104还可以包括ICS或其他硬件。在一些其他实现方式中，设备100不包括处理器104。
在一些实现方式中，图像信号处理器112或处理器104中的至少一个可以执行指令以执行本文描述的各种操作。例如，指令的执行可以基于在使用第一图像传感器101以第一变焦比捕获的场景的第一图像和使用第二图像传感器102以第二变焦比捕获的场景的第二图像之间的一个或多个空间未对准来确定转换矩阵。在一些方面，第一图像可以具有与第二图像不同的FOV。指令的执行还可以确定与转换矩阵相关联的置信度。指令的执行还可以基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子。此后，指令的执行可以将加权因子应用于转换矩阵，并使用加权的转换矩阵将第一图像扭曲到第二图像。
在一些实现方式中，显示器114可以包括允许用户交互和/或向用户呈现项目(例如，由图像传感器101和102捕获的图像帧的预览)的一个或多个合适的显示器或屏幕。在一些方面，显示器114是触敏显示器。I/O组件116可以是或包括任何合适的机构、接口或设备，以从用户接收输入(例如命令)并向用户提供输出。例如，I/O组件116可以包括(但不限于)图形用户界面(GUI)、键盘、鼠标、麦克风、扬声器、可挤压边框、一个或多个按钮(例如，电源按钮)、滑动块、开关等。
虽然示出了经由处理器104彼此耦合，但处理器104、存储器106、图像信号处理器112、显示器114和I/O组件116可以其他各种布置方式彼此耦合，例如经由一个或多个本地总线，为简单起见未示出。虽然图像信号处理器112被示为与处理器104分离，但图像信号处理器112可以是处理器104的核心，该处理器104是应用处理器单元(APU)，包含于片上系统(SoC)中，或者以其他方式包含于处理器104中。虽然在本文的示例中参考设备100以执行本公开的各方面，但是一些设备组件可以不在图1中示出，以防止模糊本公开的各方面。另外，其他组件、组件数量或组件组合可以包含于用于执行本公开的各方面的合适设备中。因此，本公开不限于特定设备或组件的配置，包括设备100。
图2示出了示例设备执行图像帧的空间对准变换的时序图200。示例设备可以是图1所示的设备100的示例实现方式。虽然参考图1所示的设备和组件描述时序图200，但是任何合适的设备或设备组件可以执行时序图200所描述的操作。当设备100的当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，可以执行时序图200中所示的操作，如下文更详细描述的。在一些实现方式中，第一图像传感器101是广角图像传感器，并且第二图像传感器102是远程图像传感器。
图像信号处理器112触发第一图像传感器101和第二图像传感器102以分别捕获第一图像和第二图像(202)。在一些实现方式中，第一图像可以具有比第二图像宽的FOV。虽然时序图200示出了同时向图像传感器101和102提供触发，但触发可以在不同的时间或在任何合适的一个或多个时间提供。在接收到触发时，第一图像传感器101可以以第一变焦比捕获第一图像(204)，并且第二图像传感器102可以以第二变焦比捕获第二图像(206)。在一些实现方式中，图像传感器可以同时或近似同时地捕获图像。
第二图像传感器102可以将第二图像发送到图像信号处理器112(208)，并且第一图像传感器101可以将第一图像发送到图像信号处理器112(210)。在一些情况下，图像传感器可以同时或近似同时地将捕获的图像发送到处理器。图像信号处理器112分别从第一图像传感器101和第二图像传感器102接收第一图像和第二图像(212)。在一些情况下，图像信号处理器112可以同时或近似同时地接收图像。
图像信号处理器112可以基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵(214)。在时序图200中未示出的一些实现方式中，图像信号处理器112缩放第一图像以匹配第二图像的FOV，并识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。图像信号处理器112可以确定与转换矩阵相关联的置信度(216)，并将置信度与置信度阈值进行比较(218)。在一些实现方式中，置信度阈值可以是预定值和/或可调值。
响应于置信度大于置信度阈值，图像信号处理器112可以基于设备100的第一变焦比、第二变焦比和当前变焦比来确定加权因子(220)。在一些实现方式中，在当前变焦比等于第一变焦比时，加权因子可以是0％，并且在当前变焦比等于第二变焦比时，加权因子可以是100％。在一些情况下，当置信度大于置信度阈值时，图像信号处理器112可以避免确定附加的转换矩阵。在一些其他实现方式中，当置信度不大于置信度阈值时，加权因子可以是单位矩阵。
图像信号处理器112然后可以将加权因子应用于转换矩阵(222)。在一些实现方式中，图像信号处理器112可以随着当前变焦比在重叠区域内朝着第二变焦比增加，而增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小，而减小加权因子。图像信号处理器112可以将加权的转换矩阵发送到处理器104(224)，然后处理器104可以接收加权的转换矩阵(226)。处理器104然后可以使用加权的转换矩阵将第一图像扭曲到第二图像(228)。在一些情况下，设备100可以基于扭曲的第一图像和第二图像生成预览图像，并将预览图像显示给设备100的用户。
参考时序图200描述的操作可以扩展到耦合到图像信号处理器的任意数量的图像传感器和将提供给图像信号处理器的任意数量的帧。因此，时序图200为了清楚地解释本公开的各方面而仅示出了两个图像传感器，即，本公开不限于特定数量的图像传感器。例如，在一些实现方式中，设备100可以具有超宽传感器、宽传感器、远程传感器、超远程传感器和任何其他合适类型的传感器的某种组合。
图3示出了设备执行一个或多个图像帧的空间对准变换的示例数据流300。设备可以是图1所示的设备100的示例实现方式。虽然参考在前面的图中示出的设备、组件和操作来描述数据流300，但是任何合适的设备或设备组件可以执行关于数据流300描述的操作。在一些实现方式中，当设备100的当前变焦比在重叠区域内时，可以执行数据流300中所示的操作。
第一图像302和第二图像312分别由设备100的第一图像传感器和第二图像传感器捕获，为简单起见未示出。在一些实现方式中，第一图像传感器和第二图像传感器可以分别是图1的第一图像传感器101和第二图像传感器102的示例实现方式。作为非限制性示例，第一图像302可以是以第一变焦比(例如，4.9X)捕获的广角图像，并且第二图像312可以是以第二变焦比(例如，5.0X)捕获的远程图像。在一些实现方式中，第一图像302和第二图像312可以以比图像的最终输出分辨率(例如，1920×1440)更高的初始分辨率(例如，2304×1728)来捕获。如图3所示，设备100可以将图像裁剪成更小的分辨率(例如，480×360)，以便在图像信号处理器112处进一步处理。
在一些实现方式中，图像信号处理器112缩放第一图像以匹配第二图像的FOV，并识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。如图3所示，图像信号处理器112基于一个或多个空间未对准来确定转换矩阵，确定与转换矩阵相关联的置信度，将置信度与置信度阈值进行比较，响应于置信度大于置信度阈值而确定加权因子，并将加权因子应用于转换矩阵，如关于图2所述。此后，图像信号处理器112可以将加权的转换矩阵发送到处理器104(324)。
处理器104可以以初始分辨率接收第一图像(326)，并使用来自图像信号处理器112的加权的转换矩阵将第一图像扭曲到第二图像。在一些方面，扭曲的第一图像的最终输出分辨率(例如，1920×1440)可以小于第一图像302的初始分辨率(例如，2304×1728)。以这种方式，第一图像302可以具有在最终输出分辨率和初始分辨率之间的像素余量。因此，当处理器104将第一图像302扭曲(例如，移位和/或旋转)到第二图像时，仅像素余量内的像素可以移位或旋转到帧外，因此处理器104可以例如将扭曲的图像输出(330)到设备100的显示器，而没有任何FOV或质量损失，因为仅像素余量内的像素可以移位或旋转到帧外。在一些实现方式中，设备100然后可以基于扭曲的第一图像和第二图像312生成预览图像。
图4A示出了随着设备的当前变焦比增加的跨越在设备的第一变焦比和第二变焦比之间的示例重叠区域400。设备可以是图1所示的设备100的示例实现方式。虽然参考在前面的图中所示的设备、组件和操作来描述重叠区域400，但是任何合适的设备或设备组件可以执行关于图4A所描述的操作。在一些实现方式中，第一传感器是图1的第一图像传感器101的示例实现方式，并且可以是广角图像传感器(或“宽传感器”)，并且第二图像传感器是图1的第二传感器102的示例实现方式，并且可以是远程图像传感器(或“远程传感器”)。
当设备100的当前变焦比在第一传感器区域402内时，设备100可以仅使用宽传感器仅捕获宽图像。在一些实现方式中，第一传感器区域402可以从图4A的最左侧开始(例如，1.0X的变焦比)并在“第一变焦比”(例如，2.7X的变焦比)结束。相反，当设备100的当前变焦比在第二传感器区域404内时，设备100可以仅使用远程传感器仅捕获远程图像。在一些实现方式中，第二传感器区域404可以在第二变焦比(例如，变焦比3.0X)处开始，并在图4A的最右侧(例如，变焦比10.0X)处结束。
当设备100的当前变焦比在重叠区域内(例如，在2.7X-3.0X之间的变焦比)时，设备100可以使用宽传感器捕获宽图像，同时使用远程传感器捕获远程图像，如关于图2所述。设备100可以确定所捕获的宽图像中的至少一个与所捕获的远程图像中的至少一个在空间上未对准，例如，如果宽传感器和远程传感器在空间上未对准。因此，如上所述，设备100可以基于宽图像与远程图像之间的空间未对准来确定转换矩阵M，用于将宽图像扭曲到与远程图像的空间对准，确定与M相关联的置信度，并将置信度与置信度阈值进行比较，以确定M是否可以用于以高于某值的精度水平对准宽图像和远程图像。
在一些实现方式中，当置信度不大于置信度阈值时，用于应用于M的加权因子r可以是单位矩阵。在这样的实现方式中，例如，在当前变焦比改变时，设备100可以基于识别在附加宽图像和远程图像之间的空间未对准来生成附加的转换矩阵。在一些实现方式中，当置信度大于置信度阈值时，设备100可以避免确定附加的转换矩阵。
响应于置信度大于置信度阈值，设备100可以基于第一变焦比、第二变焦比和当前变焦比来确定r。然后，设备100可以将r应用于M，以生成加权的转换矩阵M′，并使用M′将宽图像扭曲到远程图像。在一些实现方式中，设备100可以随着当前变焦比在重叠区域400内增加而增加r。例如，在当前变焦比等于第一变焦比时，r可以是0％，并且在当前变焦比等于第二变焦比时，r可以是100％。以这种方式，设备100可以使用相同的(加权的)转换矩阵M在整个重叠区域400中扭曲宽图像。
在一些实现方式中，设备100可以与重叠区域400内的当前变焦比的增加成比例地增加r。为了说明，图4A的示例包括在第一变焦比和第二变焦比之间的两条垂直线，以示出重叠区域400内的三个相等的部分。作为非限制性示例，第一变焦比可以是2.7X，左垂直线可以表示2.8X的变焦比，右垂直线可以表示2.9X的变焦比，而第二变焦比可以是3.0X。因此，在当前变焦比为2.7X时，设备100可以将r计算为0％；在当前变焦比为2.8X时为33％；在当前变焦比为2.9X时为66％；以及当当前变焦比为3.0X时为100％。更具体地，设备100可以将r计算为：
Figure BDA0004206306220000081
在一些实现方式中，FirstZoomRatio可以表示设备100开始从使用第一传感器捕获场景的图像转换到使用较小的第二FOV传感器捕获场景的图像的变焦比。在这样的实现方式中，第一变焦比可以被认为是转换区域的开始。在该示例中，SecondZoomRatio可以表示设备100完成从使用第一传感器捕获场景的图像转换到使用较小的第二FOV传感器捕获场景的图像的变焦比，并且可以被认为是转换区域的结束(或“光学变焦比”)。
在图4A的示例中，FirstZoomRatio可以是2.7X，并且SecondZoomRatio可以是3.0X，其可以表示从较小的FOV(例如，远程)传感器的角度来看的1.0X的变焦比。因此，如果CurrentZoomRatio是2.8X，则设备100可以如下计算r：
Figure BDA0004206306220000082
在一些实现方式中，设备100然后可以根据以下公式对M加权，其中I是单位矩阵
Figure BDA0004206306220000083
并且其中M′n表示在重叠区域内对应的第n个位置处的加权的转换矩阵M':
M′n＝|r*Mn+(1-r)*I|
对于该示例，其中r＝33％，设备100可以将M′n计算为：
Figure BDA0004206306220000091
然后，设备100可以使用M′n将宽图像扭曲到远程图像。通过随着当前变焦比的增加而动态增加r，设备100可以使用相同的(动态加权的)转换矩阵将宽图像扭曲到远程图像，而不会在整个重叠区域400中减小其FOV(例如，2.7X)。以这种方式，设备100可以从使用宽传感器捕获场景的图像向使用远程传感器捕获场景的图像转换，而不降低例如基于远程图像和扭曲的宽图像生成的预览图像的FOV或质量。
作为图4A的另一说明性示例，如果currentZoomRatio是2.7X，则设备100可以如下计算r和M′n：
Figure BDA0004206306220000092
M′n＝|0％*Mn+(100％-0％)*I|＝I
作为图4A的另一说明性示例，如果currentZoomRatio是3.0X，则设备100可以如下计算r和M′n：
Figure BDA0004206306220000093
M′n＝|100％*Mn+(100％-100％)*I|＝Mn
在一些未示出的实现方式中，设备可以具有两个以上的传感器，例如超宽传感器、宽传感器、远程传感器和超远程传感器。在这样的实现方式中，在当前变焦比通过从超宽传感器变焦范围内的特定变焦比跨越到宽传感器变焦范围内的特定变焦比的“第一重叠区域”增加时，设备可以利用上述过程在传感器之间进行平滑转换。类似地，在当前变焦比通过从宽传感器变焦范围内的特定较高变焦比跨越到远程传感器变焦范围内的特定变焦比的“第二重叠区域”增加时，设备可以利用上述过程在传感器之间进行平滑转换。类似地，在当前变焦比通过从远程传感器变焦范围内的特定较高变焦比跨越到超远程传感器变焦范围内的特定变焦比的“第三重叠区域”增加时，设备可以利用上述过程在传感器之间进行平滑转换。
图4B示出了描绘当设备的当前变焦比增加时设备生成转换矩阵的示例操作的框图450。设备可以是图1所示的设备100的示例实现方式。虽然参考在前面的图中示出的设备、组件和操作来描述框图450，但是任何合适的设备或设备组件可以执行关于框图450描述的操作。
如图4B所示，图像信号处理器112可以接收以第一变焦比(例如，2.7X)捕获的第一图像和以第二变焦比(例如，3.0X)捕获的第二图像。在一些实现方式中，第一图像可以是使用宽传感器捕获的宽图像，并且第二图像可以是使用远程传感器捕获的远程图像。在一些实现方式中，设备100可以调整(例如，裁剪和/或缩放)宽图像以匹配远程图像的FOV，并基于调整后的宽图像(例如，在3.0X FOV处)和远程图像来生成转换矩阵M。在一些情况下，设备100还可以将远程图像调整(例如，裁剪和/或缩放)到第二变焦比(例如，在本示例中为3.0X)。
图5A示出了随着设备的当前变焦比减小的跨越在设备的第一变焦比和第二变焦比之间的示例重叠区域500。设备可以是图1所示的设备100的示例实现方式。虽然参考在前面的图中所示的设备、组件和操作来描述重叠区域500，但是任何合适的设备或设备组件可以执行关于图5A所描述的操作。在一些实现方式中，第一传感器是图1的第一图像传感器101的示例实现方式，并且可以是广角图像传感器(或“宽传感器”)，第二图像传感器是图1的第二传感器102的示例实现方式，并且可以是远程图像传感器(或“远程传感器”)。
类似于图4A，当设备100的当前变焦比在第一传感器区域502内时，设备100可以仅使用宽传感器仅捕获宽图像；当设备100的当前变焦比在第二传感器区域504内时，设备100可以仅使用远程传感器仅捕获远程图像；并且当设备100的当前变焦比在重叠区域500内(该示例中为2.7X-3.0X)时，设备100可以使用宽传感器捕获宽图像，同时使用远程传感器捕获远程图像。如关于图4A所述，设备100可以确定转换矩阵M，用于将宽图像扭曲到与远程图像的空间对准，并且可以确定加权因子r，用于将M加权以生成加权的转换矩阵M′。
与图4A相反，在一些实现方式中，设备100可以随着当前变焦比在重叠区域500内减小而减小r。作为非限制性示例，第一变焦比可以是2.7X，左垂直线可以表示2.8X的变焦比，右垂直线可以表示2.9X的变焦比，并且第二变焦比可以是3.0X。因此，以与参考图4A所描述的相反的方式，设备100可以在当前变焦比为3.0X时将r计算为0％，在当前变焦比为2.9X时计算为33％，在当前变焦比为66％时为2.8X，在当前变焦比为2.7X时为100％，相应生成M′n，然后使用M′n将宽图像扭曲到远程图像。
设备100然后可以使用M′n将宽图像扭曲到远程图像。通过随着当前变焦比的增加而动态地减小r，设备100可以使用相同的(动态加权的)转换矩阵将宽图像扭曲到远程图像，而不在整个重叠区域500中减小其FOV(例如，2.7X)。以这种方式，设备100可以从使用宽传感器捕获场景的图像向使用远程传感器捕获场景的图像平滑转换，而不降低例如基于远程图像和扭曲的宽图像生成的预览图像的FOV或质量。
图5B示出了描绘当设备的当前变焦比减小时设备生成转换矩阵的示例操作的框图550。设备可以是图1所示的设备100的示例实现方式。虽然参考前面的图中所示的设备、组件和操作来描述框图550，但是任何合适的设备或设备组件可以执行关于框图550描述的操作。
如图5B所示，图像信号处理器112可以接收以第一变焦比(例如，2.7X)捕获的第一图像和以第二变焦比(例如，3.0X)捕获的第二图像。在一些实现方式中，第一图像可以是使用宽传感器捕获的宽图像，并且第二图像可以是使用远程传感器捕获的远程图像。在一些实现方式中，设备100可以调整(例如，裁剪和/或缩放)宽图像以匹配远程图像的FOV，并基于调整后的宽图像(例如，在3.0X FOV处)和远程图像来生成转换矩阵M。
图6示出了描绘用于空间对准变换的示例操作600的流程图。操作600可以由诸如图1所示的设备100的设备执行。在框602处，设备使用第一传感器以第一变焦比捕获场景的第一图像。在框604处，设备使用第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)。在框606处，设备基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵。在框608处，设备确定与转换矩阵相关联的置信度。在框610处，响应于置信度大于置信度阈值，设备基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子。在框612处，设备将加权因子应用于转换矩阵。在框614处，设备使用加权的转换矩阵将第一图像扭曲到第二图像。
在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些情况下，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在其他一些情况下，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些情况下，第一传感器是广角图像传感器，并且第二传感器是远程图像传感器。
图7示出描绘用于空间对准变换的另一示例操作700的流程图。操作700可以由诸如图1所示的设备100的设备执行。在各个方面中，操作700可以是用于确定图6的操作600的框610中的加权因子的一种实现方式。在其他各个方面中，操作700可以在图6的操作600之后开始。例如，在操作600的框614中将第一图像扭曲到第二图像之后，可以在框702中开始操作700。在框702处，随着当前变焦比从第一变焦比增加到第二变焦比，设备逐渐增加加权因子。在框704处，随着当前变焦比在跨越在第一变焦比和第二变焦比之间的重叠区域内朝着第一变焦比减小，设备逐渐减小加权因子。
图8示出了描绘用于空间对准变换的另一示例操作800的流程图。操作800可以由诸如图1所示的设备100的设备执行。在各个方面中，操作800可以在图6的操作600之后开始。例如，在操作600的框614中将第一图像扭曲到第二图像之后，可以在框802中开始操作800。在框802处，设备基于扭曲的第一图像和第二图像生成预览图像。在框804处，设备向设备的用户显示预览图像。
图9示出了描绘用于空间对准变换的另一示例操作900的流程图。操作900可以由诸如图1所示的设备100的设备执行。在各个方面中，在图6的操作600的框604中捕获场景的第二图像之后，可以在框902中开始操作900。在框902处，设备缩放第一图像以匹配第二图像的FOV。在框904处，设备识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。
图10示出了描绘用于空间对准变换的另一示例操作1000的流程图。操作1000可以由诸如图1所示的设备100的设备执行。在各个方面中，在图6的操作600的框608中确定与转换矩阵相关联的置信度之后，可以在框1002中开始操作1000。在框1002处，当置信度大于置信度阈值时，设备避免确定附加的转换矩阵。
如本文所用，指项目列表中“至少一个”的短语指的是这些项目的任何组合，包括单个成员。例如，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。
结合本文公开的实现方式描述的各种说明性逻辑、逻辑块、模块、电路和算法过程可以实现为电子硬件、计算机软件或两者的组合。硬件和软件的互换性已经在功能方面进行了总体描述，并在上述各种说明性组件、块、模块、电路和过程中进行了说明。这种功能是在硬件中还是软件中实现取决于特定的应用和对整个系统施加的设计约束。
用于实现结合本文公开的各方面所描述的各种说明性的逻辑、逻辑块、模块和电路的硬件和数据处理装置可以用如下各项来实现或执行：通用的单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或用于执行本文所述功能的它们的任何组合。通用处理器可以是微处理器，或者是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合(例如，DSP和微处理器的组合)、多个微处理器、一个或多个微处理器与DSP核心的结合，或者任何其他这种配置。在一些实现方式中，特定的过程和方法可以由特定于给定功能的电路来执行。
在一个或多个方面中，所描述的功能可以硬件、数字电子电路、计算机软件、固件(包括本说明书中公开的结构及其等效结构)或其任何组合来实现。本说明书中描述的主题的实现方式也可以实现为一个或多个计算机程序，即，编码在计算机存储介质上以由数据处理装置执行或控制其操作的一个或多个计算机程序指令模块。
如果在软件中实现，这些功能可以存储在计算机可读介质上，或者作为一个或多个指令或代码在计算机可读介质上传输。本文公开的方法或算法的过程可以在驻留在计算机可读介质上的处理器可执行软件模块中实现。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括支持从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是由计算机存取的任何可用介质。通过示例而非限制的方式，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外，任何连接可以适当地称为计算机可读介质。如本文所使用的，磁盘(disk)和光盘(disc)包括压缩光盘(CD)、激光光盘、光盘、数字通用光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。另外，方法或算法的操作可以驻留为机器可读介质和计算机可读介质上的代码和指令的一个或任何组合或集合，这些代码和指令可以并入计算机程序产品中
对本公开描述的实现方式的各种修改对于本领域技术人员将是显而易见的，并且在不背离本公开的精神和范围的情况下，本文中定义的一般原理可以应用于其他实现方式。因此，权利要求书并不旨在限于本文所示的实现方式，而是要符合与本公开以及本文所公开的原理和新颖特征一致的最广泛的范围。

Claims (30)

1.一种设备，包括：
处理器；以及
存储器，其耦合到所述处理器并存储指令，所述指令在由所述处理器执行时使所述设备执行包括以下各项的操作：
使用第一传感器以第一变焦比捕获场景的第一图像；
使用第二传感器以第二变焦比捕获所述场景的第二图像，所述第一图像具有与所述第二图像不同的视场(FOV)；
基于所述第一图像和所述第二图像之间的一个或多个空间未对准来确定转换矩阵；
确定与所述转换矩阵相关联的置信度；
响应于所述置信度大于置信度阈值，基于所述设备的所述第一变焦比、所述第二变焦比和当前变焦比来确定加权因子；
将所述加权因子应用于所述转换矩阵；以及
使用加权的转换矩阵将所述第一图像扭曲到所述第二图像。
2.根据权利要求1所述的设备，其中，当所述置信度不大于所述置信度阈值时，所述加权因子包括单位矩阵。
3.根据权利要求1所述的设备，其中，在所述当前变焦比处于跨越在所述第一变焦比和所述第二变焦比之间的重叠区域内时，所述第一图像与所述第二图像被同时捕获。
4.根据权利要求3所述的设备，其中，在所述当前变焦比等于所述第一变焦比时，所述加权因子为0％，并且在所述当前变焦比等于所述第二变焦比时，所述加权因子为100％。
5.根据权利要求3所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：
随着所述当前变焦比从所述第一变焦比增加到所述第二变焦比，逐渐增加所述加权因子；以及
随着所述当前变焦比在所述重叠区域内朝着所述第一变焦比减小，逐渐地减小所述加权因子。
6.根据权利要求1所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：
基于扭曲的第一图像和第二图像来生成预览图像；以及
向所述设备的用户显示所述预览图像。
7.根据权利要求1所述的设备，其中，所述第一图像具有比所述第二图像宽的FOV。
8.根据权利要求1所述的设备，其中，所述第一传感器包括广角图像传感器，并且所述第二传感器包括远程图像传感器。
9.根据权利要求1所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：
缩放所述第一图像以匹配所述第二图像的FOV；以及
识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。
10.根据权利要求1所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：
当所述置信度大于所述置信度阈值时，避免确定附加的转换矩阵。
11.一种方法，包括：
使用设备的第一传感器以第一变焦比捕获场景的第一图像；
使用所述设备的第二传感器以第二变焦比捕获所述场景的第二图像，所述第一图像具有与所述第二图像不同的视场(FOV)；
基于所述第一图像和所述第二图像之间的一个或多个空间未对准来确定转换矩阵；
确定与所述转换矩阵相关联的置信度；
响应于所述置信度大于置信度阈值，基于所述设备的所述第一变焦比、所述第二变焦比和当前变焦比来确定加权因子；
将所述加权因子应用于所述转换矩阵；以及
使用加权的转换矩阵将所述第一图像扭曲到所述第二图像。
12.根据权利要求11所述的方法，其中，当所述置信度不大于所述置信度阈值时，所述加权因子包括单位矩阵。
13.根据权利要求11所述的方法，其中，在所述当前变焦比处于跨越在所述第一变焦比和所述第二变焦比之间的重叠区域内时，所述第一图像与所述第二图像被同时捕获。
14.根据权利要求13所述的方法，其中，在所述当前变焦比等于所述第一变焦比时，所述加权因子为0％，并且在所述当前变焦比等于所述第二变焦比时，所述加权因子为100％。
15.根据权利要求13所述的方法，还包括：
随着所述当前变焦比从所述第一变焦比增加到所述第二变焦比，逐渐增加所述加权因子；以及
随着所述当前变焦比在所述重叠区域内朝着所述第一变焦比减小，逐渐地减小所述加权因子。
16.根据权利要求11所述的方法，还包括：
基于扭曲的第一图像和第二图像来生成预览图像；以及
向所述设备的用户显示所述预览图像。
17.根据权利要求11所述的方法，其中，所述第一图像具有比所述第二图像宽的FOV。
18.根据权利要求11所述的方法，其中，所述第一传感器包括广角图像传感器，并且所述第二传感器包括远程图像传感器。
19.根据权利要求11所述的方法，还包括：
缩放所述第一图像以匹配所述第二图像的FOV；以及
识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。
20.根据权利要求11所述的方法，还包括：
当所述置信度大于所述置信度阈值时，避免确定附加的转换矩阵。
21.一种存储指令的非暂时性计算机可读介质，所述指令在由设备的处理器执行时，使所述设备执行包括以下各项的操作：
使用第一传感器以第一变焦比捕获场景的第一图像；
使用第二传感器以第二变焦比捕获所述场景的第二图像，所述第一图像具有与所述第二图像不同的视场(FOV)；
基于所述第一图像和所述第二图像之间的一个或多个空间未对准来确定转换矩阵；
确定与所述转换矩阵相关联的置信度；
响应于所述置信度大于置信度阈值，基于所述设备的所述第一变焦比、所述第二变焦比和当前变焦比来确定加权因子；
将所述加权因子应用于所述转换矩阵；以及
使用加权的转换矩阵将所述第一图像扭曲到所述第二图像。
22.根据权利要求21所述的计算机可读介质，其中，当所述置信度不大于所述置信度阈值时，所述加权因子包括单位矩阵。
23.根据权利要求21所述的计算机可读介质，其中，在所述当前变焦比处于跨越在所述第一变焦比和所述第二变焦比之间的重叠区域内时，所述第一图像与所述第二图像被同时捕获。
24.根据权利要求23所述的计算机可读介质，其中，在所述当前变焦比等于所述第一变焦比时，所述加权因子为0％，并且在所述当前变焦比等于所述第二变焦比时，所述加权因子为100％。
25.根据权利要求23所述的计算机可读介质，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：
随着所述当前变焦比从所述第一变焦比增加到所述第二变焦比，逐渐增加所述加权因子；以及
随着所述当前变焦比在所述重叠区域内朝着所述第一变焦比减小，逐渐地减小所述加权因子。
26.根据权利要求21所述的计算机可读介质，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：
基于扭曲的第一图像和第二图像来生成预览图像；以及
向所述设备的用户显示所述预览图像。
27.根据权利要求21所述的计算机可读介质，其中，所述第一图像具有比所述第二图像宽的FOV。
28.根据权利要求21所述的计算机可读介质，其中，所述第一传感器包括广角图像传感器，并且所述第二传感器包括远程图像传感器。
29.根据权利要求21所述的计算机可读介质，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：
缩放所述第一图像以匹配所述第二图像的FOV；以及
识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。
30.一种设备，包括：
用于使用第一传感器以第一变焦比捕获场景的第一图像的单元；
用于使用第二传感器以第二变焦比捕获所述场景的第二图像的单元，所述第一图像具有与所述第二图像不同的视场(FOV)；
用于基于所述第一图像和所述第二图像之间的一个或多个空间未对准来确定转换矩阵的单元；
用于确定与所述转换矩阵相关联的置信度的单元；
用于响应于所述置信度大于置信度阈值，基于所述设备的所述第一变焦比、所述第二变焦比和当前变焦比来确定加权因子的单元；
用于将所述加权因子应用于所述转换矩阵的单元；以及
用于使用加权的转换矩阵将所述第一图像扭曲到所述第二图像的单元。
CN202180074272.4A 2020-11-10 2021-10-08 无fov损失的空间对准变换 Pending CN116368814A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/094,052 US11405563B2 (en) 2020-11-10 2020-11-10 Spatial alignment transform without FOV loss
US17/094,052 2020-11-10
PCT/US2021/054274 WO2022103535A1 (en) 2020-11-10 2021-10-08 Spatial alignment transform without fov loss

Publications (1)

Publication Number Publication Date
CN116368814A true CN116368814A (zh) 2023-06-30

Family

ID=78695794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180074272.4A Pending CN116368814A (zh) 2020-11-10 2021-10-08 无fov损失的空间对准变换

Country Status (4)

Country Link
US (1) US11405563B2 (zh)
EP (1) EP4245027A1 (zh)
CN (1) CN116368814A (zh)
WO (1) WO2022103535A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359950A (zh) * 2020-03-06 2021-09-07 苹果公司 用于手持式电子设备的外壳结构
US12088748B2 (en) 2021-03-02 2024-09-10 Apple Inc. Handheld electronic device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206136B2 (en) * 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP2012521673A (ja) * 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
US8553106B2 (en) * 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
TWI539226B (zh) 2014-10-09 2016-06-21 聚晶半導體股份有限公司 物件追蹤影像處理方法及其系統
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
US9485432B1 (en) * 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US10194089B2 (en) 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
US10290111B2 (en) * 2016-07-26 2019-05-14 Qualcomm Incorporated Systems and methods for compositing images
CN107770433B (zh) * 2016-08-15 2020-08-04 广州立景创新科技有限公司 影像获取装置及其影像平顺缩放方法
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
KR102560780B1 (ko) * 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
US10389948B2 (en) 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
US10356300B2 (en) * 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
US10764512B2 (en) 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
CN111754624A (zh) 2019-03-29 2020-10-09 株式会社理光 变换矩阵确定方法、设备和可记录介质

Also Published As

Publication number Publication date
EP4245027A1 (en) 2023-09-20
WO2022103535A1 (en) 2022-05-19
US11405563B2 (en) 2022-08-02
US20220150420A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US10297034B2 (en) Systems and methods for fusing images
US9591237B2 (en) Automated generation of panning shots
US10805508B2 (en) Image processing method, and device
US20190043178A1 (en) Low-light imaging using trained convolutional neural networks
US10306210B2 (en) Image processing apparatus and image capturing apparatus
US10359498B2 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
JP5536010B2 (ja) 電子カメラ、撮像制御プログラム及び撮像制御方法
JP4806476B2 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
US20220222830A1 (en) Subject detecting method and device, electronic device, and non-transitory computer-readable storage medium
CN116368814A (zh) 无fov损失的空间对准变换
WO2021043061A1 (zh) 图像处理方法、装置、存储介质及电子设备
JP2011049733A (ja) カメラキャリブレーション装置および映像歪み補正装置
US8699750B2 (en) Image processing apparatus
CN112771843A (zh) 信息处理方法、装置和成像系统
US20180270448A1 (en) Image processing system
US20230033956A1 (en) Estimating depth based on iris size
US9866809B2 (en) Image processing system with aliasing detection mechanism and method of operation thereof
US10205870B2 (en) Image capturing apparatus and control method thereof
JP7548294B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN116648717A (zh) 多传感器设备中的相机传感器改变
CN112995514B (zh) 一种工业相机的拍照物距的获取方法及设备
KR101989868B1 (ko) 전자 장치 및 제어 방법
JP2013211930A (ja) 電子カメラ、撮像制御プログラム及び撮像制御方法
JP6066942B2 (ja) 画像処理装置
CN117356102A (zh) 多相机系统中辅助相机的镜头定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination