CN117769840A - 多相机系统 - Google Patents

多相机系统 Download PDF

Info

Publication number
CN117769840A
CN117769840A CN202280051228.6A CN202280051228A CN117769840A CN 117769840 A CN117769840 A CN 117769840A CN 202280051228 A CN202280051228 A CN 202280051228A CN 117769840 A CN117769840 A CN 117769840A
Authority
CN
China
Prior art keywords
image
scene
depiction
light
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280051228.6A
Other languages
English (en)
Inventor
S-G·王
J·马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN117769840A publication Critical patent/CN117769840A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

描述了用于大视野成像的系统和技术。设备的第一图像传感器基于由光重定向元件(例如,第一棱镜和/或第一反射表面)重定向的来自场景的第一光来捕获第一图像,并且该设备的第二图像传感器基于由光重定向元件(例如,第二棱镜和/或第二反射表面)重定向的来自该场景的第二光来捕获第二图像。该设备可以使用视角畸变校正来修改该第一图像和/或第二图像,并且/或者将场景在这两个图像中的共享部分的两个相应描绘的一个或多个属性对齐。所述一个或多个属性可以包括亮度、对比度、定位、锐度、着色、色调和/或饱和度。该设备可以通过组合该第一图像和该第二图像,来生成具有大视野和平滑过渡的组合图像。

Description

多相机系统
技术领域
本公开整体涉及图像或视频捕获设备。例如,本公开的方面涉及用于生成图像的多相机系统。
背景技术
许多设备包括一个或多个相机。例如,智能电话或平板电脑包括可以用于捕获自拍图像的前置相机和可以用于捕获场景(诸如风景或设备用户感兴趣的其他场景)图像的后置相机。用户可能希望捕获不适合相机视野的场景的图像。一些设备包括基于将光引导至图像传感器的相机镜头的曲率而具有不同视野的多个相机。因此,用户可以使用具有基于相机镜头曲率的期望的场景视野的相机来捕获图像。
发明内容
描述了用于数字成像以生成具有大视野的图像的系统和技术。例如,成像设备可以包括具有第一图像传感器的第一相机,该第一图像传感器基于由一个或多个光重定向元件重定向的第一光来捕获第一图像。该一个或多个光重定向元件可以将该第一光从第一路径重定向到朝向该第一相机的经重定向的第一路径,例如,使用该一个或多个光重定向元件的第一棱镜和/或第一反射表面。该成像设备可以包括具有第二图像传感器的第二相机,该第二图像传感器基于由该一个或多个光重定向元件重定向的第二光来捕获第二图像。该一个或多个光重定向元件可以将该第二光从第二路径重定向到朝向该第二相机的经重定向的第二路径,例如,使用该一个或多个光重定向元件的第二棱镜和/或第二反射表面。该第一图像传感器可以基于接收到该第一光来捕获第一图像。该第二图像传感器可以基于该第二光来捕获第二图像。该第一图像可以包括场景的一部分的第一描绘。该第二图像可以包括该场景的该一部分的第二描绘。该成像设备可以至少部分地通过组合该第一图像和该第二图像来生成组合图像。该组合图像可以具有比该第一图像的第一视野或该第二图像的第二视野中的至少一者更大的视野。
在组合该第一图像和该第二图像以形成该组合图像之前,该成像设备可以使用视角畸变校正来修改该第一图像和/或该第二图像。在组合该第一图像和该第二图像以形成该组合图像之前,该成像设备可以修改该第一图像和/或该第二图像以将该场景的该一部分的该第一描绘的一个或多个属性与该场景的该一部分的该第二描绘对齐。该一个或多个属性可以包括亮度、对比度、定位、着色、色调、饱和度、锐度、本文讨论的其他图像属性或它们的组合。在一个例示性示例中,该成像设备可以调整包括该场景的该一部分的该第一描绘的该第一图像的至少一部分的属性(例如,亮度)以与包括该场景的该一部分的该第二描绘的该第二图像的至少一部分的对应属性(例如,亮度)对齐。这可以减少或避免视觉伪影,诸如由组合图像分别对应于第一图像和第二图像的两个部分之间的突然属性变化引起的组合图像中的可见“接缝”,而不是提供具有组合图像的这两个部分之间的平滑属性过渡的组合图像。
在一个示例中,提供了一种用于成像的装置。该装置包括存储器以及耦合至该存储器的一个或多个处理器,该一个或多个处理器(例如,在电路中实现)耦合至该存储器。该一个或多个处理器被配置为并且可以:接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向该第一图像传感器的经重定向的第一路径,并且其中该第一图像传感器被配置为基于在该第一图像传感器处接收到该第一光来捕获该第一图像,该第一图像包括该场景的一部分的第一描绘;接收由第二图像传感器捕获的该场景的第二图像,其中该一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向该第二图像传感器的经重定向的第二路径,并且其中该第二图像传感器被配置为基于在该第二图像传感器处接收到该第二光来捕获该第二图像,该第二图像包括该场景的该一部分的第二描绘;至少部分地修改该第一图像或该第二图像中的至少一者以将该场景的该一部分的该第一描绘的第一属性与该场景的该一部分的该第二描绘的第二属性对齐;以及从该第一图像和该第二图像生成组合图像,其中该组合图像包括比该第一图像的第一视野或该第二图像的第二视野中的至少一者更大的组合图像视野。
在另一示例中,提供了一种数字成像方法。该方法包括接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向该第一图像传感器的经重定向的第一路径,并且其中该第一图像传感器被配置为基于在该第一图像传感器处接收到该第一光来捕获该第一图像,其中第一图像包括该场景的一部分的第一描绘;接收由第二图像传感器捕获的该场景的第二图像,其中该一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向该第二图像传感器的经重定向的第二路径,并且其中该第二图像传感器被配置为基于在该第二图像传感器处接收到该第二光来捕获该第二图像,该第二图像包括该场景的该一部分的第二描绘;至少部分地修改该第一图像或该第二图像中的至少一者以将该场景的该一部分的该第一描绘的第一属性与该场景的该一部分的该第二描绘的第二属性对齐;以及从该第一图像和该第二图像生成组合图像,其中该组合图像包括比该第一图像的第一视野或该第二图像的第二视野中的至少一者更大的组合图像视野。
在另一示例中,提供了一种其上存储有指令的非暂态计算机可读存储介质,该指令在由一个或多个处理器执行时使该一个或多个处理器:接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向该第一图像传感器的经重定向的第一路径,并且其中该第一图像传感器被配置为基于在该第一图像传感器处接收到该第一光来捕获该第一图像,该第一图像包括该场景的一部分的第一描绘;接收由第二图像传感器捕获的该场景的第二图像,其中该一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向该第二图像传感器的经重定向的第二路径,并且其中该第二图像传感器被配置为基于在该第二图像传感器处接收到该第二光来捕获该第二图像,该第二图像包括该场景的该一部分的第二描绘;至少部分地修改该第一图像或该第二图像中的至少一者以将该场景的该一部分的该第一描绘的第一属性与该场景的该一部分的该第二描绘的第二属性对齐;以及从该第一图像和该第二图像生成组合图像,其中该组合图像包括比该第一图像的第一视野或该第二图像的第二视野中的至少一者更大的组合图像视野。
在另一示例中,提供了一种用于数字成像的装置。该装置包括用于接收由第一图像传感器捕获的场景的第一图像的装置,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向该第一图像传感器的经重定向的第一路径,并且其中该第一图像传感器被配置为基于在该第一图像传感器处接收到该第一光来捕获该第一图像,该第一图像包括该场景的一部分的第一描绘;用于接收由第二图像传感器捕获的该场景的第二图像的装置,其中该一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向该第二图像传感器的经重定向的第二路径,并且其中该第二图像传感器被配置为基于在该第二图像传感器处接收到该第二光来捕获该第二图像,该第二图像包括该场景的该一部分的第二描绘;用于至少部分地修改该第一图像或该第二图像中的至少一者以将该场景的该一部分的该第一描绘的第一属性与该场景的该一部分的该第二描绘的第二属性对齐的装置;和用于从该第一图像和该第二图像生成组合图像的装置,其中该组合图像包括比该第一图像的第一视野或该第二图像的第二视野中的至少一者更大的组合图像视野。
在一些方面中,该装置可以是以下项、可以包括以下项或可以是以下项的一部分:相机、移动设备(例如,移动手持机、智能电话、移动电话、便携式游戏设备或另一移动设备)、无线通信设备、智能手表、可穿戴设备、头戴式显示器(HMD)、扩展现实设备(例如,虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、车辆或者车辆的部件或系统、个人计算机、膝上型计算机、服务器计算机或其任何组合、和/或另一设备。在一些方面,该一个或多个处理器包括图像信号处理器(ISP)。在一些方面中,该装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面,该装置包括捕获该图像数据的图像传感器。在一些方面,该装置还包括用于显示该图像、与该图像的处理相关联的一个或多个通知和/或其他可显示数据的显示器。
该发明内容不旨在标识所要求保护的主题的关键或必要特征,其也不旨在孤立地用于确定所要求保护的主题的范围。本主题内容应当参考本专利的整个说明书的合适部分、任何或所有附图、以及每项权利要求来理解。
前述内容以及其他特征和方面将在参考以下说明书、权利要求书和所附附图时变得更明显。
附图说明
本公开的方面通过示例的方式而非限制的方式在附图中示出,并且在附图中相似的附图标记指代类似的元件。本申请的例示方面在下文参照以下附图进行了详细的描述:
图1是根据一些示例的示出使用具有带镜头曲率的镜头的相机捕获的图像中的畸变的示例的概念图;
图2是根据一些示例的示出基于相机的一系列捕获的示例性广角图像捕获的概念图;
图3是根据一些示例的示出使用全景拼接生成的广角图像中的示例性重影畸变的概念图;
图4是根据一些示例的示出使用全景拼接生成的广角图像中的示例性拼接畸变的概念图;
图5是根据一些示例的示出被配置为生成一个或多个广角图像的示例性设备的框图;
图6是根据一些示例的示出用于捕获图像帧的两个相机的两个图像传感器及其相关联镜头的概念图;
图7是根据一些示例的示出将光重定向到相机镜头的示例性重定向元件以及基于重定向元件的相机镜头和相关联图像传感器的位置变化的概念图;
图8是根据一些示例的示出使用包括反射镜的重定向元件生成广角图像的两个相机的示例性配置的概念图;
图9是根据一些示例的示出使用包括棱镜的重定向元件生成广角图像的两个相机的示例性配置的概念图;
图10A是根据一些示例的示出由一个或多个相机捕获的图像帧中的示例性视角畸变的概念图;
图10B是根据一些示例的示出将两个图像帧到公共视角的示例性视角畸变校正的概念图;
图10C是根据一些示例的示出对由两个相机捕获的两个图像帧的示例性数字对齐和拼接以用于生成广角图像的概念图;
图10D是根据一些示例的示出从由两个相机捕获的两个图像帧生成的广角图像的示例性亮度均匀性校正的概念图;
图11是根据一些示例的示出可能在图像帧的一部分中引起散射噪声的来自相机镜头的示例性光反射的概念图;
图12A是根据一些示例的示出将光重定向到第一相机和将光重定向到第二相机的示例性重定向元件的概念图;
图12B是根据一些示例的示出图12A中的重定向元件的概念图,其示出了消除来自棱镜边缘的光散射;
图12C是根据一些示例的示出从视角角度看图12A中的重定向元件的概念图;
图13A是根据一些示例的示出用于从多个图像帧生成组合图像的示例性过程的流程图;
图13B是根据一些示例的示出数字成像的示例性方法的流程图;
图14是根据一些示例的示出用于捕获要被组合以生成组合图像帧的多个图像帧的示例性过程的流程图;
图15是根据一些示例的示出平坦视角畸变校正和弯曲视角畸变校正的示例的概念图;
图16是根据一些示例的示出在平坦视角畸变校正和弯曲视角畸变校正中从图像传感器图像平面到经视角校正的图像平面的像素映射的概念图;
图17是根据一些示例的示出场景的三个示例性组合图像的概念图,每个组合图像被应用了不同曲率度数的弯曲视角畸变校正;
图18是根据一些示例的示出对弯曲视角畸变校正相对于平坦视角畸变的不同曲率度数进行比较的图的概念图;
图19是根据一些示例的示出用于执行弯曲视角畸变校正的示例性过程的流程图;
图20是根据一些示例的示出图像捕获和处理设备的架构的示例的框图;
图21A是根据一些示例的示出基于来自第一图像的第一视角平面和来自第二图像的第二视角平面生成组合图像的概念图,第一视角平面和第二视角平面各自扭曲为矩形形状;
图21B是根据一些示例的示出包括场景的共享部分的第一描绘的第一图像的经修改变体以及包括场景的共享部分的第二描绘的第二图像的经修改变体的概念图;
图22A是根据一些示例的示出第一图像的第一视角平面和第二图像的第二视角平面的示例的概念图,第一图像和第二图像两者描绘具有棋盘的场景;
图22B是根据一些示例的示出使用第一图像的第一视角平面和第二图像的第二视角平面生成的组合图像的示例的概念图,第一视角平面和第二视角平面各自扭曲为矩形形状;
图23A是根据一些示例的示出第一图像的第一视角平面和第二图像的第二视角平面的示例的概念图,第一图像和第二图像两者描绘具有其上打印有文本的海报的场景;
图23B是根据一些示例的示出使用第一图像的第一视角平面和第二图像的第二视角平面生成的组合图像的示例的概念图,第一视角平面和第二视角平面各自扭曲为矩形形状;
图24A是根据一些示例的示出图23A至图23B的场景的共享部分的第一描绘的概念图;
图24B是根据一些示例的示出图23A至图23B的场景的共享部分的第二描绘的概念图;
图25A是根据一些示例的示出描绘郊区邻里场景的组合图像的示例的概念图,该组合图像通过将第一图像和第二图像拼接在一起而生成并且包括视觉伪影;
图25B是根据一些示例的示出描绘图25A的郊区邻里场景的经校正的组合图像的示例的概念图,该经校正的组合图像通过将第一图像和第二图像带校正地拼接在一起而生成并且包括平滑过渡而没有视觉伪影;
图26A是根据一些示例的示出描绘起居室场景的组合图像的示例的概念图,该组合图像通过将第一图像和第二图像拼接在一起而生成并且包括视觉伪影;
图26B是根据一些示例的示出描绘图26A的起居室场景的经校正的组合图像的示例的概念图,该经校正的组合图像通过将第一图像和第二图像带校正地拼接在一起而生成并且包括平滑过渡而没有视觉伪影;
图27A是根据一些示例的示出将校正的应用映射到第一图像的第一映射和将校正的应用映射到第二图像的第二映射的概念图;
图27B是根据一些示例的示出将校正的应用映射到第一图像的第一映射和将校正的应用映射到第二图像的第二映射的概念图;
图28是示出用于从多个图像帧生成组合图像的示例性过程的流程图;并且
图29是示出用于实现本技术的某些方面的系统的示例的框图。
具体实施方式
下文提供了本公开的某些方面。这些方面中的一些可以独立地应用,并且它们中的一些可以组合应用,这对于本领域技术人员来说是显而易见的。在以下描述中,出于解释目的阐述了具体细节以提供对本申请的各方面的透彻理解。然而,显然的是,可以在没有这些具体细节的情况下实施各方面。各附图和描述不旨在是限制性的。
下文提供了本公开的某些方面。这些方面中的一些可以独立地应用,并且它们中的一些可以组合应用,这对于本领域技术人员来说是显而易见的。在以下描述中,出于解释目的阐述了具体细节以提供对本申请的各方面的透彻理解。然而,显然的是,可以在没有这些具体细节的情况下实施各方面。各附图和描述不旨在是限制性的。
本公开的方面可以用于图像或视频捕获设备,诸如相机。相机是使用图像传感器接收光并且捕获图像帧(诸如静态图像或视频帧)的设备。术语“图像”、“图像帧”和“帧”在本文中可互换使用。相机可以被配置有各种图像捕获和图像处理设置。不同的设置产生具有不同外观的图像。在捕获一个或多个图像帧之前或期间确定并应用一些相机设置,诸如ISO、曝光时间、光圈大小、f/stop(光圈级数)、快门速度、聚焦和增益。例如,可以将设置或参数应用于用来捕获一个或多个图像帧的图像传感器。其他相机设置可以配置一个或多个图像帧的后处理,诸如对比度、亮度、饱和度、锐度、级别、曲线或颜色的改变。例如,可以将设置或参数应用于用来处理由图像传感器捕获的一个或多个图像帧的处理器(例如,图像信号处理器或ISP)。
智能手机、平板电脑、数字相机或其他设备包括用于捕获场景的图像或视频的相机。该相机具有基于图像传感器和一个或多个相机镜头的最大视野。例如,相机镜头中具有较大曲率的单镜头或多镜头系统可以使图像传感器能够捕获场景的更大视野。一些设备包括具有基于聚焦镜头的曲率的不同视野的多个相机。例如,设备可以包括具有拥有正常视野的普通镜头的相机,以及具有拥有更宽视野的广角镜头的不同相机。相机的用户或在相机的处理器上运行的软件应用可以基于视野在不同的相机之间进行选择,以选择具有最适合捕获图像或视频的特定集合的视野的相机。例如,一些智能手机包括具有不同视野的长焦相机、广角相机和超广角相机。在捕获之前,用户或软件应用可以基于每个相机的视野来选择要使用哪个相机。由于依赖于近似值,因此对这种畸变的补偿可能计算成本高昂且不准确。应用畸变补偿可能保留一些原始畸变,可能过度补偿,和/或可能引入其他图像伪影。
然而,超广角相机具有的视野可能小于要捕获的场景的期望视野。例如,许多用户希望捕获场景视野大于相机视野的图像或视频。设备制造商可以增加相机镜头的曲率以增加相机的视野。然而,设备制造商可能还需要增加图像传感器的尺寸和复杂性以适应更大的视野。
此外,镜头曲率会在从相机捕获的图像帧中引入畸变。例如,镜头曲率会引入径向畸变,例如桶形畸变、枕形畸变或胡须畸变。在某些情况下,数字图像处理可用于通过使用逆畸变来扭曲畸变图像来对径向畸变执行基于软件的补偿。然而,针对径向畸变的基于软件的补偿执行起来可能很困难且计算量大。此外,基于软件的补偿通常依赖于可能不适用于所有情况的近似值和模型,并且最终可能导致图像不准确或不完整地扭曲。应用了补偿所得到的图像可能仍保留一些径向畸变,可能最终由于过度补偿而以与原始图像相反的方式畸变,或者可以包括其他视觉伪影。
描述了用于成像以生成具有大视野的图像的系统和技术。例如,成像设备可以包括具有第一图像传感器的第一相机,该第一图像传感器基于由一个或多个光重定向元件重定向的第一光来捕获第一图像。该一个或多个光重定向元件可以将该第一光从第一路径重定向到朝向该第一相机的经重定向的第一路径,例如,使用该一个或多个光重定向元件的第一棱镜和/或第一反射表面。该成像设备可以包括具有第二图像传感器的第二相机,该第二图像传感器基于由该一个或多个光重定向元件重定向的第二光来捕获第二图像。该一个或多个光重定向元件可以将该第二光从第二路径重定向到朝向该第二相机的经重定向的第二路径,例如,使用该一个或多个光重定向元件的第二棱镜和/或第二反射表面。该第一图像传感器可以基于接收到该第一光来捕获第一图像。该第二图像传感器可以基于该第二光来捕获第二图像。该第一图像可以包括场景的共享部分的第一描绘。该第二图像可以包括该场景的该共享部分的第二描绘。该成像设备可以至少部分地通过组合该第一图像和该第二图像来生成组合图像。在一些示例中,该成像设备可以至少部分地通过将该第一图像和该第二图像对齐并拼接在一起来组合该第一图像和该第二图像。该组合图像可以具有比该第一图像的第一视野或该第二图像的第二视野中的至少一者更大的视野。
在组合该第一图像和该第二图像以形成该组合图像之前,该成像设备可以使用视角畸变校正来修改该第一图像和/或该第二图像,例如,以使该第一图像和该第二图像看起来是从相同的角度观看所拍摄的场景。在组合该第一图像和该第二图像以形成该组合图像之前,该成像设备可以修改该第一图像和/或该第二图像以将该场景的该共享部分的该第一描绘的一个或多个属性与该场景的该共享部分的该第二描绘对齐。该一个或多个属性可以包括亮度、对比度、定位、着色、色调、饱和度、锐度、本文讨论的其他图像属性或它们的组合。在一个例示性示例中,该成像设备可以调整包括该场景的该共享部分的该第一描绘的该第一图像的至少一部分的属性(例如,亮度)以与包括该场景的该共享部分的该第二描绘的该第二图像的至少一部分的对应属性(例如,亮度)对齐。这可以减少或避免视觉伪影,诸如由组合图像分别对应于第一图像和第二图像的两个部分之间的突然属性变化引起的组合图像中的可见“接缝”,而不是提供具有组合图像的这两个部分之间的平滑属性过渡的组合图像。在另一例示性示例中,该成像设备可以扭曲包括该场景的该共享部分的该第一描绘的该第一图像的至少一部分以将该第一图像的属性(例如,定位)与包括该场景的该共享部分的该第二描绘的该第二图像的至少一部分的对应属性(例如,定位)对齐。这可以减少或避免视觉伪影,诸如由组合图像分别对应于第一图像和第二图像的两个部分之间的某些对象和/或视觉特征的定位错位引起的组合图像中的可见“接缝”,而不是提供具有组合图像的这两个部分之间的平滑属性过渡的组合图像。在一些方面中,该成像设备可以修改该第一图像和该第二图像两者以对齐属性,例如,以折中值对齐该第一图像的该属性和该第二图像的该属性,该折中值在该属性的对应于该第一图像和该第二图像的起始值之间。
该第一相机、该第二相机和该一个或多个光重定向元件可以布置成使得超过该一个或多个光重定向元件的该第一路径的虚拟延伸与超过该一个或多个光重定向元件的该第二路径相交的虚拟延伸相交。该第一相机、该第二相机和该一个或多个光重定向元件可以布置成使得该第一相机的第一镜头和该第二相机的第二镜头基于该光重定向虚拟重叠而在不物理重叠。
该光重定向元件可以包括沿着耦合界面耦合到第二棱镜的第一棱镜。该耦合界面可以包括从该第一棱镜和该第二棱镜的角切割和抛光的边缘。该第一棱镜与该第二棱镜之间的该耦合界面可以包括一个或多个涂层。该一个或多个涂层可以包括环氧树脂、胶、水泥、粘液、糊剂和/或另一粘合剂。该一个或多个涂层可以包括着色剂,诸如油漆和/或染料。该着色剂可以是不反射光的和/或吸收光的。
在一些示例中,该设备可以使用非广角镜头而非依赖于增加镜头曲率的广角镜头来生成具有该大视野的该组合图像。因此,设备中的相机可以使用不会引入广角镜头和超广角镜头引入的径向畸变的镜头,在这种情况下,很少或不需要应用径向畸变补偿。因此,与使用具有引入径向畸变的曲面镜头和随后补偿该径向畸变的处理器的相机来生成可比图像相比,使用该设备来生成具有大视野的组合图像的计算成本更低且更准确。与具有引入径向畸变的曲面镜头的相机中的图像传感器相比,该设备中的各个相机还可以分别具有更小并且更简单的图像传感器。因此,与具有引入径向畸变的曲面镜头的相机相比,设备中的单个相机可以消耗更少的功率,并且需要更少的电力来进行处理。
图1是示出使用具有拥有镜头曲率的镜头104的相机112捕获的图像的畸变的示例的概念图100。畸变基于镜头104的曲率。相机112至少包括镜头104和图像传感器106。镜头104将来自场景102的光引导至图像传感器106。图像传感器106捕获一个或多个图像帧。捕获的图像帧108是描绘场景102并且由相机112的图像传感器106捕获的示例图像帧。捕获的图像帧108包括桶形畸变,这是一种径向畸变。捕获的图像帧108中的桶形畸变导致场景102的中心在捕获的图像帧108中相对于场景的边缘看起来被拉伸,而场景102的角看起来被朝向捕获的图像帧108的中心挤压。
设备(诸如相机112或另一图像处理设备)可以使用畸变补偿来处理捕获的图像帧108以减少桶形畸变。然而,该处理可能会在捕获的图像帧108上产生其自身的畸变效果。例如,捕获的帧108中的场景102的中心可以参考捕获的图像帧108中的场景的边缘被归一化或以其他方式调整。调整中心可以包括:拉伸捕获的图像帧108中的场景的角以更接近地类似于矩形(或者图像传感器的形状,如果不同于矩形的话)。在图1中示出了通过使用畸变补偿来处理捕获的图像帧108而生成的示例经处理图像帧110。示例经处理图像帧110示出了其中畸变补偿过度补偿了桶形畸变并引入枕形畸变的示例,枕形畸变是另一种类型的径向畸变。在处理捕获到的图像帧108时过多地拉伸角可能会引入例如枕形畸变。使用畸变补偿来处理图像还会引入其他图像伪影。
可以增加镜头104的镜头曲率以增加图像传感器106捕获的图像帧的视野。例如,广角镜头、超广角镜头和鱼眼镜头全部通常都表现出高水平的镜头曲率,这通常会导致桶形畸变、其他类型的径向畸变或其他类型的畸变。结果,使用这种镜头捕获的每个捕获图像帧108中的畸变增加,如图1所示的桶形畸变。畸变补偿将畸变或其他图像伪影(例如图1所示的枕形畸变)引入经处理图像帧110的可能性也随着镜头104中的曲率的增加而增加。因此,使用具有增加的镜头曲率的镜头104捕获和/或生成的图像,该图像包括具有比期望的更小视野的图像(例如,经裁剪图像),通常是畸变的或包括伪影。
一些设备还包括软件功能,用于基于相机的运动使用单个相机生成具有更宽视野的图像。例如,一些相机应用包括相机移动全景拼接模式,用于生成具有比相机更宽视野的图像。对于相机移动全景拼接模式,用户移动相机,同时相机捕获一系列图像帧,直到所有场景都包括在这些图像帧中的至少一个图像帧中。然后将图像帧拼接在一起以生成广角图像。
图2是示出基于相机206的一系列捕获的场景202的示例广角图像捕获的概念图200。用户204希望捕获场景202的图像,但是描绘整个场景202所需的视野大于相机206的视野。因此,用户204将相机206置于相机移动全景拼接模式。用户204将相机206放置在由相机206的第一图示使用虚线指示的第一位置,使得相机的视野指向第一场景部分210。用户204指示相机206开始图像帧捕获(诸如通过按下快门按钮),并且相机206捕获具有第一场景部分210的第一图像帧。用户204移动相机206(例如沿着相机移动弧线208)以沿着方向216移动场景102的相机视野。在捕获第一图像帧之后,相机206捕获第二场景部分212的第二图像帧,同时相机206处于由相机206的第二图示使用虚线指示的第二位置。相机206的第二位置比相机206的第一位置位于沿方向216更远处。相机206的第二位置比相机206的第一位置位于沿相机移动弧线208更远处。用户继续移动相机206,并且相机206捕获第三场景部分214的第三图像帧,同时相机206处于由相机206的图示使用实线指示的第三位置。相机206的第三位置比相机206的第二位置位于沿方向216更远处。相机206的第三位置比相机206的第二位置位于沿相机移动弧线208更远处。在图像帧捕获期间在沿相机移动弧线208平移相机206以捕获跨越场景202的图像帧之后,用户204可以停止图像帧捕获(例如通过再次按下快门按钮或通过松开在图像帧捕获期间被持续保持的快门按钮)。在捕获一系列图像帧之后,相机206或另一设备可以将一系列图像帧拼接在一起以生成具有比第一图像帧、第二图像帧和第三图像帧中的每个图像帧更宽的视野的场景102的组合图像。例如,第一场景部分210的第一图像帧、第二场景部分212的第二图像帧和第三场景部分214的第三图像帧(在不同时间捕获)被拼接在一起以生成描绘整个场景202的组合图像,其可以被称为整个场景202的广角图像。虽然示出了三个图像帧,但可以使用相机移动全景拼接模式,基于组合图像的期望视野来捕获和组合两个或更多个图像帧。
例如,相机206或另一设备可以识别出第一图像帧的第一部分和第二图像帧的第二部分二者都描绘了场景202的共享部分。场景202的共享部分在落在第一场景部分210和第二场景部分212二者内的两条垂直虚线之间示出。相机206或其他设备可以通过检测第一图像和第二图像内的场景202的共享部分的特征来识别第一图像和第二图像内的场景202的共享部分。相机206或其他设备可以将第一图像的第一部分与第二图像的第二部分对齐。相机206或其他设备可以通过将第一图像的第一部分和第二图像的第二部分拼接在一起来从第一图像和第二图像生成组合图像。相机206可以类似地将第二图像帧和第三图像帧拼接在一起。例如,相机206或其他设备可以识别在第三图像帧的第三部分和第二图像帧的第四部分中描绘的场景202的第二共享部分。相机206或其他设备可以将第三图像帧的第三部分和第二图像帧的第四部分拼接在一起。由于在相机206沿相机移动弧线208移动时在一段时间内捕获了一系列图像帧,因此图2中所示的相机移动全景拼接模式可能限于生成静止图像而不是视频,因为不能足够快地生成连续的全景拼接组合图像来描绘流畅的运动。另外,移动的相机206和捕获一系列图像帧的时间流逝可以将一种或多种畸变或伪影引入生成的图像中。示例畸变包括重影畸变和拼接畸变。重影畸变是这样一种效果:其中最终图像中可能出现单个对象的多个实例。重影畸变可能是该系列图像帧捕获期间场景202中的局部运动的结果。图3示出了重影畸变的示例。拼接畸变是这样一种效果:其中边缘可能会断裂,或者对象可能会分裂、扭曲、重叠等,其中两个图像帧被拼接在一起。图4示出了拼接畸变的示例。
畸变也会通过当移动相机时相机的入射光瞳改变场景的深度而引入。换句话说,移动相机会改变相机入射光瞳相对于场景的位置。与图像传感器相关联的入射光瞳是来自相机前方的光圈的图像(例如通过一个或多个位于光圈之前或位于光圈处的镜头将光聚焦到图像传感器)。
为了使场景中对象的深度不参考图像捕获之间的移动相机而改变,相机需要在以相机的入射光瞳为中心的轴上旋转。然而,当人移动相机时,人不会在以入射光瞳为中心的轴上旋转相机。例如,相机可以围绕移动相机的人的躯干处的轴移动(或者旋转也包括平移运动)。由于相机旋转不在入射光瞳处的轴上,因此入射光瞳的位置在图像帧捕获之间发生变化,并且图像帧是在不同深度处捕获的。拼接畸变可能是由于将在不同深度捕获的图像帧拼接在一起而导致的视差伪影的结果。拼接畸变也可能是全局运动的结果(其中还包括捕获一系列图像帧时相机视角的变化)。
基于相机206的用户沿相机移动弧线208的移动速度的变化,也可能将畸变和伪影引入组合图像中。例如,如果相机206的运动很快,则某些图像帧可能包括某些帧中的运动模糊。同样,如果相机206的运动很快,则两个连续图像帧中描绘的场景的共享部分可能非常小,可能会由于拼接不良而引入畸变。如果相机206的某些相机设置(例如聚焦或增益)在相机移动弧线208期间的图像帧捕获之间改变,则也可以将畸变和伪影引入组合图像中。相机设置中的此类改变会在得到的组合图像中的图像之间产生可见的接缝。
本文所示的图描绘了每个相机的每个镜头在相机的入射光瞳的位置处。例如,图6-图9、图11和图12A-图12C就是这种情况。虽然相机镜头在图中被示为单个相机镜头以防止混淆本公开内容的方面,但相机镜头可以表示相机的单元件镜头或多元件镜头系统。此外,相机可以具有固定焦点,或者相机可以被配置为自动对焦(为此一个或多个相机镜头可以参考图像传感器移动)。本公开内容不限于图中描绘的入射光瞳或其位置的具体示例,或者相机镜头或其位置的具体示例。
图3是示出使用全景拼接生成的广角图像中的示例重影畸变310的概念图300。全景拼接可以指图2中的相机运动全景拼接操作模式。处于相机运动全景拼接模式的设备生成场景302的图像308。用户对设备进行定位使得设备的相机在第一时间捕获包括第一场景部分304的第一图像帧。用户移动设备使得设备的相机在第二时间捕获包括第二场景部分306的第二图像帧。场景302包括在场景302中从左向右移动的汽车。作为汽车在场景302中移动的结果,第一图像帧包括也包括在第二图像帧中的汽车的大部分。当两个图像帧拼接在一起时,汽车可能在结果图像308中表现为多辆汽车或汽车的多个部分(示为重影畸变310)。
另一方面,如果场景302中的汽车从右向左移动而不是从左向右移动,则尽管在第一图像帧的捕获期间和/或在第二图像帧的捕获期间该汽车存在于场景302中,但该汽车可至少部分地被从图像308中省略。例如,如果在第一图像帧的捕获期间汽车在第一时间至少部分地在第二场景部分306中,则汽车可以至少部分地被从第一图像帧中省略。如果在第二图像帧的捕获期间汽车在第二时间至少部分地在第一场景部分304中,则汽车可以至少部分地被从第二图像帧中省略。组合图像308因此可以至少部分地省略汽车,并且在一些情况下可以包括被部分省略的汽车的多于一个副本。这种类型的省略代表另一种类型的畸变或图像伪影,其可以由如图2所示的通过相机206的运动进行的相机运动全景拼接引起。
图4是示出使用全景拼接生成的广角图像中的示例拼接畸变410的概念图400。全景拼接可以指图2中的相机运动全景拼接操作模式。图4还描绘了视差伪影引起的拼接畸变。处于相机运动全景拼接模式的设备可以生成场景402的组合图像408。用户定位设备使得设备的相机206在第一时间捕获包括第一场景部分404的第一图像帧。用户移动设备使得设备的相机206在第二时间捕获包括第二场景部分406的第二图像帧。由于相机206在图像帧捕获之间移动(入射光瞳的位置发生变化)和/或场景402的第一图像帧和第二图像帧的视角变化,当两个图像帧拼接在一起时,可能存在基于视差和基于相机移动的伪影或畸变。例如,组合图像408是通过将第一图像帧和第二图像帧拼接在一起而生成的。如图所示,在树的左侧部分与树的右侧部分不对齐以及地面的左侧部分与地面的右侧部分不对齐的地方存在拼接畸变410。虽然示例拼接畸变410被示为在两个图像帧中捕获的场景的部分之间的横向位移,但是拼接畸变410还可以包括由试图在拼接期间对齐图像帧而导致的旋转位移或扭曲。以这种方式,场景中本应笔直且不间断的线条在最终图像中可能会以某个角度断开,本应笔直的线条在拼接附近可能会看起来弯曲,本应笔直的线条在拼接附近可能会突然改变方向,或者由于旋转,与另一侧相比,对象可能会在拼接的一侧看起来扭曲或畸变。来自拼接的畸变通过单个相机随着时间推移而移动来捕获图像帧而被增强。例如,在某些情况下,拼接畸变可能会导致场景中的对象在组合图像408中看起来被拉伸、挤压、倾斜、歪斜、扭曲、畸变或其他方式的不准确。
另一个示例畸变是视角畸变。回到图2时,相机206的视角来自场景部分210的右侧,而相机206的视角来自场景部分214的左侧。因此,水平边缘(例如地平线)可能在第一图像帧中看起来在一个方向上是倾斜的,并且相同的水平边缘(例如地平线)可能在第三图像帧中看起来在相反的方向上是倾斜的。从图像帧拼接在一起的最终图像可以经由弧线连接相对的倾斜边缘。例如,使用相机运动全景拼接模式生成的组合图像中的地平线可以看起来是弯曲的而不是平坦。这种曲率是视角畸变的示例。为了加剧视角畸变,视角会基于相机移动而变化,这在通过相机移动全景拼接生成广角图像的不同实例之间可能不一致。结果,在捕获一系列图像帧期间的相机视角可以不同于在其他系列的捕获的图像帧期间的相机视角图。
如上所述,通过增加镜头曲率以增加视野而引起的畸变降低了所得图像的质量,这对用户体验产生负面影响。此外,由随着时间的推移(在相机移动全景拼接模式下)捕获一系列图像帧以生成广角图像而导致的畸变会降低所得图像的质量,这对用户体验产生负面影响。此外,需要在用户手动移动相机的同时捕获一系列图像帧的相机移动全景拼接模式可能会阻止相机执行视频捕获,或者可能会导致由于相机移动而造成的难以去除的视差伪影。因此,需要一种用于生成防止或减少上述畸变的具有大视野的广角图像(包括针对视频具有大视野的一系列广角图像)的单元。
在一些全景拼接的示例中,多个相机被用来捕获图像帧,这可以允许在没有相机移动的情况下执行全景拼接。可以将由不同相机捕获的图像帧拼接在一起以生成具有比多个相机中的任何一个相机的视野更大的视野的组合图像。如下文所使用的,这样的组合图像(具有大于多个相机中的任何一个相机的视野的视野)被称为广角图像。多个相机可以被放置为使得它们的入射光瞳的中心重叠(例如虚拟重叠)。以这种方式,不需要移动多个相机或包括多个相机的设备(这可能导致一个或多个入射光瞳的位置发生变化)。因此,不会将由设备移动引起的畸变引入生成的广角图像中。在一些具体实施中,多个相机被配置为并发地和/或同时地捕获图像帧。如本文所使用的,图像帧的并发捕获可以指代图像帧的同时捕获。如本文所使用的,图像帧的并发和/或同时捕获可以指的是曝光窗口的至少一部分与由多个相机捕获的相对应图像帧重叠。如本文所使用的,图像帧的并发和/或同时捕获可以指的是相对应图像帧的曝光窗口的至少一部分落在共享时间窗口之内。共享时间窗口可以例如具有一个或多个皮秒、一个或多个纳秒、一个或多个毫秒、一个或多个厘秒、一个或多个分秒、一个或多个秒或者它们的组合的持续时间。以这种方式,在生成的广角图像中没有或有更少的由捕获一系列图像帧的时间流逝引起的畸变。
除了与入射光瞳的中心重叠之外,相机可以相对于彼此放置以捕获场景的期望视野。由于相机相对于彼此的位置是已知的,因此设备可以被配置为基于已知定位来减少或去除视角畸变。此外,由于由多个相机捕获并发和/或同时捕获的图像不需要每个相机都像图2的相机移动全景拼接模式那样捕获一系列图像帧,因此具有多个相机的设备可以被配置为生成包括一系列广角视频帧的广角视频。每个视频帧可以是通过将来自两个或更多个相机的两个或更多个图像拼接在一起而生成的组合图像。
在下面的描述中,阐述了大量具体的细节(例如具体组件、电路和过程的示例)以便提供对本公开内容的透彻理解。如本文中所使用的,术语“耦合”意指直接连接或者通过一个或多个中间组件或电路连接。另外,在下面的描述中以及出于解释的目的,阐述了特定的术语以便提供对本公开内容的透彻理解。然而,本领域的技术人员将明白的是:实施本文中公开的教导可以不需要这些具体的细节。在其他实例中,为了避免模糊本公开内容的教导,以框图形式示出了公知的电路和设备。按照程序、逻辑块、处理和计算机存储器中对数据比特操作的其他符号表示呈现了以下具体实施例的一些部分。在本公开内容中,程序、逻辑块、过程等被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量的物理操作的步骤。尽管不是必须的,但通常,这些量采取能够被存储、传输、组合、比较以及在计算机系统中以其他方式操作的电信号或磁信号的形式。
然而,应该牢记的是:所有这些和类似的术语将与适当的物理量相关联,并且仅仅是应用于这些量的方便的标识。除非特别声明,否则从以下讨论中可以明显看出,可以明白的是:贯穿本申请,使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”,“相乘”,“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“设置”,“生成”等等术语的讨论是指计算机系统或类似电子计算设备的动作和处理,其操纵并将计算机系统的寄存器和存储器内表示为物理(电子)量的数据转换成类似地表示成计算机系统的存储器或寄存器或其他这种信息存储、传输或显示设备内的物理量的其他数据。
在附图中,单个框可以被描述为执行一个或多个功能;然而,在实际实践中,由该框执行的该一个或多个功能可以在单个部件中执行或跨多个部件执行,和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地表示硬件和软件之间的该可交换性,下文对各个说明性的组件、框、模块、电路和步骤均围绕其功能进行了总体描述。这种功能性被实施为硬件还是软件取决于特定的应用和加诸于整个系统的设计约束。技术人员可以针对每个特定应用以不同的方式实施所描述的功能,但是这样的具体实施决定不应被解释为导致背离本公开的范围。而且,示例设备可以包括所示的那些组件之外的组件,包括诸如处理器、存储器等的公知组件。
本公开的方面适用于任何合适的电子设备,包括或耦合至能够捕获图像或视频的多个图像传感器(诸如安全系统、智能电话、平板电脑、膝上型计算机、数字视频和/或静态相机、图像捕获设备2005A、图像处理设备2005B、图像捕获和处理系统2000、计算系统2900,等等)。术语“设备”和“装置”不限于一个或特定数量的物理对象(例如一部智能手机、一个相机控制器、一个处理系统等)。如本文所使用的,设备可以是具有可可以实现本公开内容的至少一些部分的一个或多个部分的任何电子设备。虽然下文的描述和示例使用术语“设备”来描述本公开内容的各个方面,但是术语“设备”不限于特定配置、类型或数量的对象。如本文所使用的,装置可以包括用于执行所描述的操作的设备或设备的一部分。
图中的描绘可能未按尺度或比例绘制,并且具体实施可能在大小或维度上与图中描绘的不同。一些图描绘了指示相机的入射光瞳的相机镜头。然而,相机和入射光瞳可以相对于彼此(和图像传感器)处于任何合适的定位以执行本公开内容的方面。图中描绘的镜头可指示单元件镜头或多元件镜头(即使镜头在图中可能看起来被描绘为单元件镜头)。因此,本公开内容不限于图中明确描绘的示例。
图5是示出被配置为生成一个或多个广角图像的示例设备500的框图。示例设备500包括(或耦合至)相机501和相机502。虽然描绘了两个相机,但设备500可以包括任何数量的相机(例如3个相机、4个相机,等等)。第一相机501和第二相机502可以包括在单个相机模块中或者可以是设备500的单独相机模块的一部分。在智能手机或平板电脑的示例中,第一相机501和第二相机502可以与设备同一侧上的一个或多个光圈相关联以接收用于捕获场景的图像帧的光。第一相机501和第二相机502可以相对于彼此放置以允许通过将来自相机501和相机502的图像进行组合来产生比第一相机501和/或第二相机502的视野更大的视野来捕获场景。在一些具体实施中,设备500包括(或耦合至)一个或多个光重定向元件503。一个或多个光重定向元件503的至少第一子集可以将光朝向第一相机501重定向。一个或多个光重定向元件503的至少第二子集可以将光朝向第二相机502重定向。第一相机501可以基于由一个或多个光重定向元件503重定向的入射光来捕获第一图像。第二相机502可以基于由一个或多个光重定向元件503重定向的入射光来捕获第二图像。设备500可以对第一图像和第二图像进行组合以生成具有比第一图像的第一视野、第二图像的第二视野或这二者更宽和/或更大的组合图像视野的组合图像。组合图像可以被称为广角图像。组合图像视野可以被称为大视野、宽视野,或者它们的组合。
设备500可以通过对第一图像和第二图像进行组合(例如,通过将第一图像和第二图像拼接在一起而不需要移动第一相机501和/或第二相机502)来生成组合图像。例如,设备或另一设备可以识别由第一相机501捕获的第一图像的第一部分以及由第二相机502捕获的第二图像的第二部分二者都描绘了所拍摄场景的共享部分。设备500可以通过检测第一图像和第二图像二者内的场景的共享部分的特征来识别第一图像和第二图像内的场景的共享部分。设备500可以将第一图像的第一部分与第二图像的第二部分对齐。设备500可以通过将第一图像的第一部分和第二图像的第二部分拼接在一起来从第一图像和第二图像生成组合图像。
第一相机501和第二相机502可以是专有相机、专用相机或者任何类型的相机。在一些方面,第一相机501和第二相机502可以是彼此相同类型的相机。例如,第一相机501和第二相机502可以是相同的品牌和型号。在一些方面,第一相机501和第二相机502可以是不同类型、品牌和/或型号的相机。虽然下文的示例描绘了两个相似的相机501和502,但任何合适数量、类型或配置的相机都可以用于执行本公开内容的方面。第一相机501和第二相机502可以分别用于接收和捕获至少一种光谱,例如可见光光谱、红外光光谱、紫外光光谱、微波光谱、无线电波光谱、X射线谱、伽马射线谱、电磁谱的另一子集,或者它们的组合。
第一相机501、第二相机502和一个或多个重定向元件503可以被布置为使得与第一相机501和第二相机502相关联的入射光瞳的中心虚拟重叠。例如,每个相机都包括耦合至一个或多个镜头的图像传感器,用于将光聚焦到相对应的图像传感器上,并且镜头和入射光瞳位于相机的同一位置。在使用一个或多个重定向元件503时,可以安排第一相机501和第二相机502使得它们的镜头虚拟重叠(例如,他们各自的入射光瞳的中心虚拟重叠),而它们的镜头不会在物理上重叠或以其他方式占据相同的空间。例如,第一相机501和第二相机502捕获的光可以由一个或多个重定向元件503重定向(例如,反射和/或折射),使得第一相机501和第二相机502的镜头可以在物理上分离,同时保持镜头的虚拟重叠(例如,入射光瞳的中心的虚拟重叠)。由于相机的相关联的入射光瞳的中心虚拟重叠,因此由不同相机501和502捕获的图像帧之间的视差效果被减少(或消除)。
如本文所使用的,虚拟重叠可以是指如果光未被重定向(例如,参考图7所述)将包括多个对象(例如相机镜头)的位置。例如,虚拟重叠的第一相机501的第一镜头和第二相机502的第二镜头可以包括与第二镜头的第二虚拟位置重叠的第一镜头的第一虚拟位置。在光重定向元件503的第一光重定向元件将第一光线重定向远离第一路径并朝向第一相机501之前,第一光线沿第一路径行进。在光重定向元件503的第二光重定向元件将第二光线重定向远离第二路径并朝向第二相机502之前第二光线沿第二路径行进。超出了第一光重定向元件的第一路径的虚拟延伸与第一镜头的第一虚拟位置相交。超出了第二光重定向元件的第二路径的虚拟延伸与第一镜头的第二虚拟位置相交。
设备500还可以包括一个或多个附加镜头、一个或多个光圈、一个或多个快门或与第一相机501和第二相机502相关联的其他合适组件。设备500还可以包括闪光灯、深度传感器或任何其他合适的成像组件。尽管两个相机作为设备500的一部分被示出,但设备500可以包括或耦合至未示出的附加图像传感器。以这种方式,广角成像可能包括使用多于两个的相机(例如三个或更多个相机)。在下文的示例中说明了这两个相机以清楚解释所公开的各个方面,但本公开内容不仅限于使用两个相机的具体示例。
示例设备500还包括处理器504、存储指令508的存储器506以及相机控制器510。在一些具体实施中,设备500可以包括显示器514、多个输入/输出(I/O)组件516以及电源518。设备500还可以包括未示出的附加特征或组件。在一个示例中,可以包括许多收发机和基带处理器的无线接口可以被包括用于无线通信设备。在另一示例中,一个或多个运动传感器(例如陀螺仪)、位置传感器(例如全局定位系统传感器(GPS))和传感器控制器可以包括在设备中。
存储器506可以是存储有用于执行本公开内容中描述的一个或多个操作的所有或部分的计算机可执行指令508的非瞬态或非暂时性计算机可读介质。在一些具体实施中,指令508包括用于使用第一相机501和第二相机502以广角捕获模式操作设备500的指令。指令508还可以包括由设备500执行的其他应用或程序,例如操作系统,相机应用或由设备500执行的其他应用或操作。在一些示例中,存储器506存储了第一相机501和/或第二相机502的图像帧(作为帧缓冲器)。
在一些示例中,存储器506存储相机亮度统一校准数据。使用相机亮度统一校准数据,设备500(例如,相机控制器510,ISP 512和/或处理器504)可以调整来自第一相机501的第一图像中的亮度水平和/或来自第二相机502的第二图像中的亮度水平。例如,设备500可以从第一图像、第二图像或这二者去除渐晕或其他亮度不均匀。设备500还可以增加或减少第一图像、第二图像或这二者的整体亮度,使得整体亮度在第一图像和第二图像之间相匹配。这样的亮度调整可以确保组合图像中没有可见的接缝(例如,在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。在一些示例中,存储器506存储视角畸变校正数据。视角畸变校正数据可以包括诸如角度、距离、方向、幅度、畸变校正向量、曲率或者它们的组合的数据。使用视角畸变校正数据,设备500(例如,相机控制器510、ISP512和/或处理器504)可以执行视角畸变校正(例如,视角畸变校正1022、平坦视角畸变校正1515、弯曲视角畸变校正1525)。
处理器504可以是能够执行存储在存储器506内的一个或多个软件程序(例如指令508)的脚本或指令的一个或多个合适的处理器。在一些方面,处理器504可以是执行指令508的一个或多个通用处理器。例如,处理器504可以是应用处理器,并且可以执行相机应用。在一些具体实施中,处理器504被配置为指示相机控制器510参考第一相机501和第二相机502来执行一个或多个操作。在附加或替代方面,处理器504可以包括用于在不使用软件的情况下执行功能或操作的集成电路或其他硬件。
虽然在图5的示例中示出经由处理器504彼此耦合,但处理器504、存储器506、相机控制器510、可选显示器514以及可选I/O组件516可以以各种布置彼此耦合。例如,处理器504、存储器506、相机控制器510、可选显示器514,和/或可选I/O组件516可以经由一个或多个本地总线(为简单起见未示出)彼此耦合。
如果设备500包括显示器514,则显示器514可以是允许用户交互和/或呈现项目以供用户查看的任何合适的显示器或屏幕(例如从第一相机501和第二相机502中的一个或多个捕获的图像、视频或预览图像)。在一些方面中,显示器514是触敏显示器。可选I/O组件516可以包括任何合适的机制、接口或设备,以便从用户接收输入(例如命令)并向用户提供输出。例如,I/O组件516可以包括图形用户界面(GUI)、键盘、鼠标、麦克风和扬声器、可挤压边框、一个或多个按钮(例如电源按钮)、滑块或开关。
相机控制器510可以包括图像信号处理器(ISP)512,其可以是用于处理由所述一个或多个相机501和502提供的捕获的图像帧的一个或多个图像信号处理器。在一些示例具体实施中,相机控制器510(例如图像信号处理器512)还可以控制第一相机501和第二相机502的操作。例如,相机控制器510(例如图像信号处理器512)可以从处理器504接收指令以执行广角成像,并且相机控制器510可以对第一相机501和第二相机502进行初始化并指示第一相机501和第二相机502捕获一个或多个图像帧,相机控制器510和/或处理器504使用全景拼接将这些图像帧组合成组合图像以用于广角成像。相机控制器510可以控制第一相机501和第二相机502的其他方面,例如用于执行自动白平衡、自动对焦或自动曝光操作中的一项或多项的操作。
在一些方面,图像信号处理器512包括一个或多个处理器,处理器被配置为执行来自存储器的指令(例如来自存储器506的指令508、存储在耦合至图像信号处理器512的单独存储器中的指令,或者由处理器504提供的指令)。例如,图像信号处理器512可以执行指令来处理来自第一相机501和第二相机502的图像帧以生成广角图像。除了包括被配置为执行软件的一个或多个处理器的图像信号处理器512之外或者作为其替代,图像信号处理器512可以包括用于执行本公开内容中描述的一个或多个操作的特定硬件。图像信号处理器512可以另选地或附加地可以包括特定硬件和执行软件指令的能力的组合。
虽然图像信号处理器512被描述为相机控制器510的一部分,但图像信号处理器512可以与相机控制器510分开。例如,控制第一相机501和第二相机502的相机控制器510可以包括在处理器504中(例如体现在由处理器504执行的指令508中或者体现在处理器504的一个或多个集成电路中)。图像信号处理器512可以是从图像传感器(用于捕获图像帧)到存储器(用于存储图像帧)的图像处理流水线的一部分并且与处理器504分开。
虽然参考图5中的示例设备500描述了用于执行广角成像或图像捕获的以下示例,但可以使用任何合适的设备或装置。例如,执行广角成像的设备可以是设备500的一部分(例如片上系统或成像处理流水线的组件)。在另一示例中,设备500可以包括与所描绘的组件或附加组件的不同配置。
设备500被配置为使用第一相机501和第二相机502来生成一个或多个广角图像。例如,第一相机501和第二相机502被配置为捕获图像帧,并且设备500(例如图像信号处理器512)被配置为处理图像帧以生成广角图像。如本文中所使用的,广角图像是指具有比第一相机501或第二相机502更宽的视野的图像。在处理图像帧时,设备500对图像帧进行以组合生成广角图像(其也可以被称为组合图像)。第一相机501和第二相机502可以被放置为使得相关联的入射光瞳的中心虚拟重叠。以这种方式,可以减少或消除视差效应。处理还可以包括减少组合图像的图像帧中的畸变(例如减少基于第一相机501和第二相机502之间的位置差异的视角畸变,以及由将光聚焦到相机501或502的图像传感器上的一个或多个相机镜头的配置造成的不均匀亮度畸变)。在一些具体实施中,第一相机501和第二相机502可以被配置为并发地和/或同时地捕获图像帧。以这种方式,可以减少或消除由全局运动或局部运动引起的畸变。如上所述,并发和/或同时捕获的图像帧可以指图像帧的曝光窗口的至少一部分重叠。曝光窗口可以任何合适的方式重叠。例如,可以协调图像帧的帧开始(SOF),可以协调图像帧的帧结束(EOF),或者存在所有图像帧都在其曝光窗口中的时间范围。如本文所使用的,图像帧的并发和/或同时捕获可以指的是相对应图像帧的曝光窗口的至少一部分落在共享时间窗口之内。共享时间窗口可以例如具有一个或多个皮秒、一个或多个纳秒、一个或多个毫秒、一个或多个厘秒、一个或多个分秒、一个或多个秒或者它们的组合的持续时间。
在一些具体实施中,第一相机501和第二相机502被配置为:捕获图像帧以看起来好像第一相机501和第二相机502的图像传感器彼此邻接。在一些具体实施中,第一相机501和第二相机502可以彼此成一定角度以捕获场景的不同部分。例如,如果智能手机处于风景模式,则第一相机501和第二相机502可以水平相邻并且彼此偏移一定角度。第一相机501可捕获场景的右侧部分,而第二相机502可捕获场景的左侧部分。
在一些示例中,第一相机501、第二相机502或这二者是静止的。在一些示例中,第一相机501的镜头、第二相机502的镜头或这二者是静止的。在一些示例中,第一相机501的图像传感器、第二相机502的图像传感器或这二者是静止的。在一些示例中,一个或多个光重定向元件503中的每一个是静止的。
图6是示出第一相机和第二相机的概念图600。第一相机包括第一图像传感器602和相关联的第一相机镜头606,它们在图6中使用虚线示出。第一相机镜头606位于第一相机的入射光瞳处。第二相机包括第二图像传感器604和相关联的第二相机镜头608,它们在图6中使用实线示出。第二相机镜头608位于第二相机的入射光瞳处。如上所述,虽然相机镜头可以被描述为单个镜头,但相机镜头可以是单元件镜头或多元件镜头系统。
概念图600可以是设备500的第一相机501和第二相机502的概念配置的示例。重叠镜头606和608的概念性描述示出了第一相机的入射光瞳与第二相机的入射光瞳虚拟重叠。重叠的入射光瞳中心减少或消除由不同图像传感器602和604捕获的图像帧的视差。来自图像传感器602和604的相对应图像帧可以被组合以生成具有比单个图像帧更大视野的图像。例如,图像可以拼接在一起。如上所述,减少或去除视差减少了组合图像中可能存在的伪影或畸变的数量和效应。
在一些具体实施中,第一图像传感器602的视野与第二图像传感器604的视野重叠。例如,第一图像传感器的视野的右边缘可以与第二图像传感器的视野的左边缘重叠。
由于第一图像传感器602可以捕获广角图像中场景的右侧部分并且第二图像传感器604可以捕获广角图像中场景的左侧部分,因此可以生成广角图像的视角以在第一图像传感器602的视角和第二图像传感器604的视角之间。图像传感器602和604彼此不平行,并且图像传感器602和604捕获的图像帧包括相对于彼此的视角畸变。为了生成具有两个视角之间的视角的广角图像,设备500可以对来自图像传感器602和604二者的图像帧执行视角畸变校正以生成具有期望视角的图像帧。在一些其他具体实施中,设备500可以对来自一个图像传感器的图像帧执行视角畸变校正以生成具有与另一图像传感器相似的视角的图像帧。以这种方式,广角图像可以具有图像传感器之一的视角。
除了减少或去除视差伪影之外,设备500可以使用概念图600中所示的配置比在相机移动全景拼接模式下使用单个相机更成功地减少视角畸变,相机移动全景拼接模式依赖于物理移动的单个相机(如图2所示)或具有更大曲率的相机镜头以增加视野。由于相机相对于彼此具有固定位置,因此图像传感器602和604之间的角度是静态的。使用图6所示的配置,设备500可以处理捕获的图像帧以减少基于角度的视角畸变。由于角度是静态的,因此可以以数字方式校正视角畸变(例如在捕获的图像帧的处理期间)。例如,设备500可以执行视角畸变校正作为基于图像传感器602和604之间的角度而配置的预定义滤波器(例如在图像信号处理器512中)。相比之下,当在图像帧捕获之间移动时,图像传感器实例之间的角度(对于依赖于图2中物理上移动的单个相机的相机移动全景拼接模式)可以取决于设备移动而变化。因此,使用依赖于物理上移动的单个相机的相机移动全景拼接模式的设备(如图2中)不能使用基于静态角度的预定义滤波器来消除视角畸变,因为静态角度不存在。这使得在使用依赖于图2中物理上移动的单个相机的相机移动全景拼接生成的组合图像中补偿视角畸变非常困难且计算量大。具有用于第一相机501、第二相机502和/或一个或多个光重定向元件503的固定位置的设备500因此可以更快速、可靠地并且以减少的计算开销执行视角畸变校正。
返回参考图6,第一相机和第二相机可以具有相同的焦距。以这种方式,聚焦场景的深度范围对于图像传感器602和604是相同的。然而,镜头606和608在物理上可以不占据相同的空间。在一些具体实施中,棱镜和/或反射表面可以被配置为执行空间重叠的两个镜头的功能(在分开的镜头之间没有物理接触)。例如,棱镜和/或反射表面可以被成形为将光从第一方向引导到第一相机镜头606并且将光从第二方向引导到第二相机镜头608,使得与相机镜头606和608相关联的入射光瞳的虚拟图像在它们的中心重叠。
在一些其他具体实施中,相机可以被配置为使得入射光瞳的中心虚拟重叠,而相机的相机镜头在空间上彼此分离。例如,一个或多个光重定向元件可用于将光重定向至相机镜头606和608。基于光重定向元件的特性和位置,第一相机镜头606可以与第二相机镜头608在空间上分离,同时入射光瞳的中心虚拟重叠。以这种方式,图像传感器仍然可以被配置为捕获符合图6中具有重叠相机镜头606和608的概念图600的图像帧。在一些具体实施中,第一图像传感器602可以与第一重定向元件相关联,并且第二图像传感器604可以与第二重定向元件相关联。在一些实现方式中,第一重定向元件和第二重定向元件可以是相同的重定向元件(例如,如图12A至图12C的重定向元件1210)。
如本文所使用的,重定向元件可以是被配置为将沿第一路径行进的光重定向到第二路径的任何合适的元件。重定向元件可以反射或折射光。在一些具体实施中,重定向元件可以包括用于反射光的反射镜。如本文所使用的,反射镜可以指代任何合适的反射表面(例如反射涂层、镜面玻璃等)。
图7是示出将光重定向到图像传感器702的重定向元件706和基于重定向元件706的图像传感器702的位置变化的概念图700。如所描绘的,重定向元件706可以包括用于将接收到的光朝向镜头704(和图像传感器702)的反射镜反射。光的路径用实线表示,其中箭头指示符指示光的方向。如果重定向元件706被去除、省略或以其他方式不存在,则光将改为在光被光重定向元件706重定向之前,沿着光的原始路径的延伸(使用虚线示出)行进到虚拟图像传感器708的位置(经由虚拟相机镜头710的虚拟入射光瞳)。例如,返回参考图6,被引导至第二图像传感器604的光接近相机镜头608的位置。参照图7,如果使用光重定向元件706将光通过相机镜头704引导至图像传感器702,则图像传感器702如图7所示放置,而不是在虚拟图像传感器708的位置处,以供图像传感器702捕获相同的图像帧。以这种方式,相机镜头704的位置如图7所示,而不是在虚拟相机镜头710的位置。以这种方式,用于多个图像传感器的镜头可以在空间上分离,而镜头和/或入射光瞳仍然虚拟重叠。
例如,第一光线在到达光重定向元件706之前遵循初始路径720并且被重定向到指向相机镜头704和图像传感器702的重定向路径722上。第一光线沿重定向路径722到达相机镜头704和图像传感器702。初始路径720超出光重定向元件706的虚拟延伸724以虚线示出,并且改为指向并到达虚拟相机镜头710和虚拟图像传感器708。第二光线和第三光线也在图7中示出。光重定向元件706将第二光线和第三光线从它们的初始路径重定向朝向相机镜头704和图像传感器702。第二光线和第三光线因此到达相机镜头704和图像传感器702。第二光线和第三光线的初始路径超出光重定向元件706的虚拟延伸使用虚线示出,并且改为指向并到达虚拟相机镜头710和虚拟图像传感器708。
重定向元件706的反射表面(例如,反射镜)可以形成位于重定向元件706的反射表面(例如,反射镜)后方的虚拟图像(在重定向元件706的右侧,如图7所示)。虚拟相机镜头710可以是从图7中描绘的初始路径720的方向通过重定向元件706的反射表面(例如,反射镜)观察到的相机镜头704的虚拟图像。虚拟图像传感器708可以是从图7中描绘的初始路径720的方向通过重定向元件706的反射表面(例如,反射镜)观察到的图像传感器702的虚拟图像。
图8是示出使用重定向元件810和812生成广角图像的两个相机的示例配置的概念图800。第一相机包括第一相机镜头806(其可以是一个或多个相机镜头)和第一图像传感器802。第二相机包括第二相机镜头808(其可以是一个或多个相机镜头)和第二图像传感器804。
图8中的概念图800可以实现与图6中的概念图600相同的功能,其中第一镜头806和第二镜头808虚拟重叠(例如,相机镜头806和808的入射光瞳的中心虚拟重叠),同时在空间上被物理分离,以从图像传感器802和804捕获的图像帧中去除或减少组合图像中的视差伪影。在将概念图800与图6中的概念图600进行比较时,第一图像传感器802(与第一重定向元件810相关联)被配置为捕获场景的一部分,类似于第一图像传感器602。第二图像传感器804(与第二重定向元件812相关联)被配置为捕获场景的其他部分,类似于第二图像传感器604。基于使用第一重定向元件810和第二重定向元件812,第一相机镜头806与第二相机镜头808在空间上分离,并且第一图像传感器802与第二图像传感器804在空间上分离。
在一些具体实施中,重定向元件810和812可以位于设备的外部。例如,包括重定向元件的组件可以耦合至设备500以通过设备500中的一个或多个开口将光导向第一相机501和第二相机502的图像传感器。在一些示例中,设备500可以包括设置在设备500的外表面上的重定向元件。在一些示例中,重定向元件可以设置在设备内部。例如,该设备可以包括一个或多个开口和/或光圈以允许光进入该设备(例如来自场景的光被捕获用于生成广角图像)。开口/光圈可以包括玻璃或另一种透明材料以允许光通过,其可成形为一个或多个镜头。开口可以包括也可以不包括用于调整光进入设备的方向的一个或多个镜头或其他组件。重定向元件810和812可以沿设备开口和相关联的图像传感器802或804之间的光学路径定位。
虽然重定向元件810和812被示为两个单独的反射镜,但是重定向元件810和812可以是一个重定向元件。例如,重定向元件810和812可以在一侧物理连接成为一个重定向元件。另外,图像传感器802和804的布置被示为朝向彼此取向。例如,图像传感器802和804的光轴可以对齐和/或可以彼此平行。然而,图像传感器和镜头可以以任何合适的方式布置以接收来自场景的期望视野的光。例如,图像传感器802和804的光轴可能未对齐和/或可能彼此不平行和/或可能彼此成某一角度。本公开不限于图8所示的组件布置。
在一些具体实施中,图像传感器802和804被配置为并发地和/或同时地捕获图像帧(例如针对图像帧,曝光窗口的至少一部分重叠)。以这种方式,减少了局部运动和全局运动(从而减少了生成的广角图像中的畸变)。在一些具体实施中,图像传感器802和804被配置为并发地、同时地和/或在共享时间窗口内捕获图像帧。共享时间窗口可以例如具有一个或多个皮秒、一个或多个纳秒、一个或多个毫秒、一个或多个厘秒、一个或多个分秒、一个或多个秒或者它们的组合的持续时间。另外,由于图像传感器802和804之间的角度是静态的,因此设备可以被配置为基于已知角度减少视角畸变。
在一些具体实施中,到第一图像传感器802的光和到第二图像传感器804的光可以被折射(例如,通过高折射率介质)以减少相机光圈处的视角畸变和/或光渐晕。在高折射率材料中传播的光在离开介质之前具有较小的发散角,从而减少位于高折射率介质的退出表面附近的镜头光圈处的渐晕。折射可以替代地或附加地用于调整图像传感器802和804的视野。例如,可以加宽视野以加宽广角图像的视野。在另一示例中,可以移动视野以允许图像传感器802和804之间的不同间距。折射可用于允许相机镜头806和808之间的进一步物理分离,同时仍然允许入射光瞳的中心虚拟重叠。例如,棱镜可以对预期用于相应图像传感器的光进行折射,并且棱镜可以影响与图像传感器相关联的入射光瞳的位置。基于折射,可以允许相机镜头之间的额外物理间距,同时仍然允许入射光瞳中心的虚拟重叠。在一些具体实施中,重定向元件可以包括棱镜。棱镜上的至少一个表面可以包括反射表面,例如反射镜。以这种方式,包括棱镜的一个或多个重定向元件可以被配置为折射和/或反射指向第一图像传感器802或第二图像传感器804的光。
图9是示出两个相机和两个重定向元件910和912的示例配置的概念图900。这两个相机用于生成广角图像。第一相机包括第一图像传感器902和第一相机镜头906。第二相机包括第二图像传感器904和第二相机镜头908。
重定向元件910和912可以包括一个或多个棱镜。每个棱镜可以包括高折射率介质(例如,具有高于阈值的折射率)。如所描绘的,第一重定向元件910将第一光(例如,包括一条或多条光线)从接近第一重定向元件910的第一路径重定向到朝向第一图像传感器902的经重定向的第一路径。第一路径可以被称为初始第一路径。第二重定向元件912将第二光(例如,包括一条或多条光线)从接近第二重定向元件912的第二路径重定向到朝向第二图像传感器904的经重定向的第二路径。第二路径可以被称为初始第二路径。重定向元件910和912的位置可以如参考图8所描述的那样。例如,重定向元件910和912可以在设备外部,或者重定向元件910和912可以在设备内部并且被配置为接收穿过设备中的开口的光。
在图9中,第一镜头906还可以表示第一相机的光圈和/或入射光瞳的位置。第二镜头908还可以表示第二相机的光圈和/或入射光瞳的位置。在概念图900中,第一重定向元件910包括第一棱镜,并且第二重定向元件912包括第二棱镜。第一棱镜被配置为:折射去往第一图像传感器902的第一光以将第一光从接近棱镜的第一路径重定向到折射的第一路径。第二棱镜被配置为:折射去往第二图像传感器904的第二光以将第二光从接近棱镜的第二路径重定向到折射的第二路径。在一些具体实施中,第一重定向元件910还包括在第一棱镜的侧面918上的第一反射镜。第一反射镜被配置为:通过将第一光从折射的第一路径重定向到反射的第一路径来将第一光朝向第一图像传感器902反射。第二重定向元件912还包括在第二棱镜的侧面920上的第二反射镜。第二反射镜被配置为:通过将第二光从折射的第二路径重定向到反射的第二路径来将第二光朝向第二图像传感器904反射。在被侧面918上的第一反射镜反射之后,第一光离开第一重定向元件910的第一棱镜。
由于第一棱镜的折射,第一光可以在离开第一棱镜时从反射的第一路径被重定向到棱镜后第一路径。类似地,在被侧面920上的第二反射镜反射之后,第二光离开第二重定向元件912的第二棱镜。由于第二重定向元件912的第二棱镜的折射,第二光可以在离开第二棱镜时从反射的第二路径被重定向到棱镜后第二路径。
在一些示例中,第一光还可以被第一镜头906从棱镜后第一路径重定向(例如,经由折射)到镜头后第一路径。在一些示例中,第二光还可以被第二镜头908从棱镜后第二路径重定向(例如,经由折射)到镜头后第二路径。以这种方式,每个重定向元件910和912可以包括棱镜,其中,棱镜的一侧包括反射涂层。穿过棱镜并到达反射涂层的光被反射或折回到相应的图像传感器。在一些其他具体实施中,重定向元件可以包括单独的反射组件和折射组件。例如,第一反射镜或第二反射镜可以分别是与第一棱镜和第二棱镜分离的单独组件。
如本文所使用的,棱镜可以指代任何合适的光折射对象,例如合适形状的玻璃或塑料棱镜。合适的形状可以包括三角棱镜、六角棱镜等,其表面角度被配置为根据需要对来自场景的光进行折射。在一些具体实施中,重定向元件包括等边三角棱镜(或用于对光进行折射的其他合适的有边三角棱镜)。在概念图900中,第一重定向元件910的侧面922与第二重定向元件的侧面924在同一平面上大致对齐。棱镜可以被配置为使得每个相机包括大约70度的视角(具有大约70度的角度的视野)。在一些实现方式中,侧面922和/或侧面924涂有抗反射涂层以防止反射光被图像传感器902和904捕获。在一些具体实施中,面向相机镜头的棱镜表面也涂有抗反射涂层以防止光从这些表面反射。
在一些示例中,镜头后第一路径可以被称为经重定向的第一路径。在一些示例中,棱镜后第一路径可以被称为经重定向的第一路径。在一些示例中,反射的第一路径可以被称为经重定向的第一路径。在一些示例中,折射的第一路径可以被称为经重定向的第一路径。在一些示例中,镜头后第二路径可以被称为经重定向的第二路径。在一些示例中,棱镜后第二路径可以被称为经重定向的第二路径。在一些示例中,反射的第二路径可以被称为经重定向的第二路径。在一些示例中,折射的第二路径可以被称为经重定向的第二路径。在一些示例中,接近棱镜的第一路径可以被称为第一路径或初始第一路径。在一些示例中,折射的第一路径可以被称为第一路径或初始第一路径。在一些示例中,接近棱镜的第二路径可以被称为第二路径或初始第二路径。在一些示例中,折射的第二路径可以被称为第二路径或初始第二路径。
第一棱镜或第二棱镜可以被配置为:对来自场景的一部分的光进行折射以便调整焦距。例如,第一棱镜和第二棱镜可以被成形为使得棱镜的光的入射角和出射角允许相关联的相机镜头906和908处于不同的位置,同时仍然具有与图6中的概念图600相同的效果。以这种方式,镜头可以在空间上分离,而入射光瞳的中心仍然虚拟重叠(如图6所示)。第一镜头906和第二镜头908的入射光瞳的中心虚拟重叠(被示为第一虚拟镜头926和第二虚拟镜头928的入射光瞳的实际重叠)可以提供以下技术益处:在入射光瞳没有像图9中那样虚拟重叠的情况下,减少或去除组合图像中否则可能存在(并且存在技术问题)的视差伪影。例如,作为重定向元件910和912的结果,如果第一重定向元件910不存在,则第一图像传感器902可以被概念化为第一虚拟图像传感器914,并且如果第二重定向元件912不存在,则第二图像传感器904可以被概念化为第二虚拟图像传感器914。类似地,如果重定向元件910和912不存在,则镜头906和908可以被概念化为虚拟镜头926和928。重叠的虚拟镜头926和928指示重叠的入射光瞳,如图6所示。
第一虚拟镜头926可以被概念化为如果第一光继续沿其第一路径的虚拟延伸(延伸超出第一重定向元件910)而不是被第一重定向元件910的至少一部分重定向朝向第一镜头906和第一图像传感器902,第一镜头906为了接收第一镜头906实际接收的该第一光而将具有的虚拟位置、取向和/或姿态。第二虚拟镜头928可以被概念化为如果第二光继续沿其第二路径的虚拟延伸(延伸超出第二重定向元件912)而不是被第二重定向元件912的至少一部分重定向朝向第二镜头908和第二图像传感器904,第二镜头908为了接收第二镜头908实际接收的该第二光而将具有的虚拟位置、取向和/或姿态。
类似地,第一虚拟图像传感器914可以被概念化为如果第一光继续沿其第一路径的虚拟延伸而不是被第一重定向元件910的至少一部分重定向朝向第一镜头906和第一图像传感器902,第一图像传感器902为了接收第一图像传感器902实际接收的第一光而将具有的虚拟位置、取向和/或姿态。第二虚拟图像传感器916可以被概念化为如果第二光继续沿其初始第二路径的虚拟延伸而不是被第二重定向元件912的至少一部分重定向朝向第二镜头908和第二图像传感器904,第二图像传感器904为了接收第二图像传感器904实际接收的该第二光而将具有的虚拟位置、取向和/或姿态。
在一些示例中,第一重定向元件910和第一镜头906之间的距离等于第一重定向元件910和第一虚拟镜头926之间的距离。在一些示例中,第一重定向元件910和第一图像传感器902之间的距离等于第一重定向元件910和第一虚拟图像传感器914之间的距离。在一些示例中,第二重定向元件912和第二镜头908之间的距离等于第二重定向元件912和第二虚拟镜头928之间的距离。在一些示例中,第二重定向元件912和第二图像传感器904之间的距离等于第二重定向元件912和第二虚拟图像传感器916之间的距离。
在一些示例中,第一重定向元件910的侧面918(具有反射表面)与第一镜头906之间的光学距离大约等于第一重定向元件910的反射表面与第一虚拟镜头926之间的光学距离。在一些示例中,第一重定向元件910的反射表面与第一图像传感器902之间的光学距离大约等于第一重定向元件910的反射表面与第一虚拟图像传感器914之间的光学距离。在一些示例中,第二重定向元件912的反射表面与第二镜头908之间的光学距离大约等于第二重定向元件912的反射表面与第二虚拟镜头928之间的光学距离。在一些示例中,第二重定向元件912的反射表面与第二图像传感器904之间的光学距离大约等于重定向元件912的第二反射表面与第二虚拟图像传感器916之间的光学距离。
识别与第一虚拟镜头926、第二虚拟镜头928、第一虚拟图像传感器914和第二虚拟图像传感器916相对应的虚拟位置、取向和/或姿态可以包括:概念性地去除或省略第一重定向元件910的至少一部分和第二重定向元件912的至少一部分,例如概念性地去除至少第一棱镜的侧面918上的反射表面(例如,反射镜)、第二棱镜的侧面920上的反射表面(例如,反射镜)、第一棱镜本身、第二棱镜本身,或者它们的组合。第一光的先行路径可以包括进入第一棱镜之前的第一光的路径或者第一光进入第一棱镜之后但第一光被第一棱镜的侧面918上的反射表面(例如,反射镜)重定向之前的第一光的路径。第二光的先行路径可以包括在进入第二棱镜之前的第二光的路径或者第二光进入第二棱镜之后但第二光被第二棱镜的侧面920上的反射表面(例如,反射镜)重定向之前的第二光的路径。
第一虚拟镜头926可以被称为第一镜头906的虚拟镜头、第一镜头906的虚拟位置、第一镜头906的虚拟取向、第一镜头906的虚拟姿态,或者它们的组合。第二虚拟镜头928可以被称为第二镜头908的虚拟镜头、第二镜头908的虚拟位置、第二镜头908的虚拟取向、第二镜头908的虚拟姿态,或者它们的组合。第一虚拟图像传感器914可以被称为第一图像传感器902的虚拟图像传感器、第一图像传感器902的虚拟位置、第一图像传感器902的虚拟取向、第一图像传感器的虚拟姿态902,或者它们的组合。第二虚拟图像传感器916可以被称为第二图像传感器904的虚拟图像传感器、第二图像传感器904的虚拟位置、第二图像传感器904的虚拟取向、第二图像传感器的虚拟姿态904,或者它们的组合。基于折射,第一相机镜头906和第二相机镜头908之间的间距可以小于图8中第一相机镜头806和第二相机镜头808之间的间距(其中光重定向元件可以不折射光)。类似地,第一图像传感器902和第二图像传感器904之间的间距可以小于图8中第一图像传感器802和第二图像传感器804之间的间距。
第一重定向元件910的侧面918上的反射表面(例如,反射镜)可以形成位于第一重定向元件910的侧面918上的反射表面(例如,反射镜)后面的虚拟图像(如图9所示在第一重定向元件910的下方和右侧)。第二重定向元件912的侧面920上的反射表面(例如,反射镜)可以形成位于第二重定向元件912的侧面920上的反射表面(例如,反射镜)后面的虚拟图像(如图9所示在第二重定向元件912的下方和左侧)。图9中描绘了第一虚拟镜头926可以是第一镜头906的虚拟图像,如通过第一重定向元件910的侧面918上的反射表面(例如,反射镜)从光接近第一重定向元件910的方向所观察到的。图9中描绘了第一虚拟图像传感器914可以是第一图像传感器902的虚拟图像,如通过第一重定向元件910的侧面918上的反射表面(例如,反射镜)从光接近第一重定向元件910的方向所观察到的。图9中描绘了第二虚拟镜头928可以是第二镜头908的虚拟图像,如通过第二重定向元件912的侧面920上的反射表面(例如,反射镜)从光接近第二重定向元件912的方向所观察到的。图9中描绘了第二虚拟图像传感器916可以是第二图像传感器904的虚拟图像,如通过第二重定向元件912的侧面920上的反射表面(例如,反射镜)从光接近第二重定向元件912的方向所观察到的。
在一些具体实施中,第一棱镜和第二棱镜彼此物理分离(例如距离1/2毫米(mm))。间距可以是为了防止棱镜相互碰撞而对棱镜造成损坏。在一些其他具体实施中,第一棱镜和第二棱镜可以物理连接。例如,第一棱镜和第二棱镜可以在其中一个角处连接,使得第一重定向元件910和第二重定向元件912是具有用于折射和反射针对第一图像传感器902和第二图像传感器904的光的多个棱镜和反射镜的同一个重定向元件。
类似于上文参考图8所描述的,可以通过对捕获后的图像帧数字地执行视角畸变校正来减少视角畸变。可以通过设备来对图像帧(具有经校正的畸变)进行组合(例如,数字地)以生成广角图像(其也可以被称为组合图像)。类似于图8,图像传感器902和904可以被配置为并发和/或同时捕获图像帧,和/或捕获共享时间窗口内的图像帧,以减少来自运动的畸变或组合图像中的其他畸变。
如上所述,由图像传感器802、804、902或904捕获的图像帧可以包括视角畸变。然而,因为由图像传感器802、804、902和904捕获的视角是已知的并且是静态的,因此视角畸变补偿技术在一些情况下可以一致地应用于由图像传感器802、804、902和904中的每个图像传感器捕获的每个图像。
图10A是示出由图像传感器1004捕获的图像帧1006中的示例视角畸变的概念图1000。图像传感器1004可以是图8或图9中的任何图像传感器的实现。如图所示,图像传感器1004参考垂直于场景1002的角度捕获场景1002。镜头(未示出)可以位于场景1002和图像传感器1004之间。镜头可以是任何镜头,例如第一相机镜头606、第二相机镜头608、相机镜头704、第一相机镜头806、第二相机镜头808、第一镜头906、第二镜头908、第一镜头1106、第二镜头1108、第一镜头1206、第二镜头1208、镜头1660、镜头2015或另一镜头。由于场景1002的右侧部分比场景1002的左侧部分更靠近图像传感器1004,因此捕获的图像帧1006包括视角畸变。视角畸变被示为图像帧1006中场景1002的右侧部分看起来比图像帧1006中场景1002的左侧部分更大。由于图像传感器1004相对于另一图像传感器的角度是已知的(例如在图6的概念性图示中的图像传感器602和604之间),设备500(例如图像信号处理器512)可以执行视角畸变校正1022以生成经处理图像1008。设备500可以使用视角畸变校正1022来修改捕获到的图像帧1006以生成经处理图像1008。例如,在视角畸变校正1022期间,设备500可以将捕获的图像帧1006的梯形区域映射到矩形区域上(或反之亦然),这可以被称为梯形视角畸变校正、梯形投影变换或者梯形畸变。在一些情况下,视角畸变校正1022可被称为视角畸变、视角变换、投影畸变、投影变换、变换、扭曲,或者它们的某种组合。
在捕获场景1002时,图像传感器1004还可以捕获场景1002之外的区域(例如来自传感器的图像帧1006中的白色三角形所示)。在视角畸变校正1022的一些具体实施中,设备500对捕获的图像帧1006进行处理,使得所得到的经处理图像1008仅包括场景1002的图示部分,而捕获的图像帧1006中没有额外的捕获场景信息。设备500取得捕获的图像帧1006的左侧部分,其包括场景1002的图示部分(排除了在白色三角形所示的场景1002上方和下方的捕获场景的额外部分),并且将捕获的图像帧1006的剩余部分调整到捕获的图像帧1006中场景1002的左侧部分以生成图像1008。从捕获的图像帧1006的左侧取得的部分(对应于场景1002的图示部分)可以基于图像传感器的视野,捕获的图像帧1006要被调整到的公共视角,并且捕获场景的不同部分的另一图像传感器的视角未示出。例如,基于相机的两个视角、公共视角和视野,设备500可以使用捕获的图像帧1006的图像像素的左列中的图像像素范围以用于经处理图像1008。
类似地,从图像帧1006的右侧取得的部分(对应于场景1002的图示部分)可以基于图像传感器的视野,图像帧1006要被调整到的公共视角,并且捕获场景的不同部分的另一图像传感器的视角未示出。例如,基于相机的两个视角、公共视角和视野,设备500可以使用捕获的图像帧1006的图像像素的右列中的图像像素范围以用于经处理图像1008。在示例捕获的图像帧1006中,捕获的图像帧1006的最右列中的所有像素包括来自场景1002的图示部分的信息(表示捕获的图像帧1006中捕获的捕获场景的额外部分的白色三角形结束于图像帧1006中图像像素的右列)。
如图所示,场景1002的图示部分在图像帧1006中从图像帧1006的左列图像像素中的较小范围的图像像素向图像帧1006的右列图像像素中的较大范围的图像像素歪斜。当从左向右移动通过图像像素的列时,该范围内的像素数量增加的速率可以是线性的(设备500可以基于像素范围的线性回归来确定该增加的速率,该像素范围的线性回归基于列或每列的像素范围的定义映射)。以这种方式,将被用于经处理图像1008的图像帧1006的图像像素的列中的图像像素可以是基于像素列与左列和与右列的距离的映射。例如,如果图像帧1006包括将用于图像1008的100列100个像素的场景信息并且左列包括将用于图像1008的50个像素的场景信息,则第50列可以包括将用于图像1008(0.5*50+0.5*100)的大约75个像素的场景信息。此外,要用于经处理图像1008的场景信息的像素可以以图像帧1006的列的中心为中心。继续前面的示例,第50列可以包括列底部的将不被使用的12或13个像素并且可以包括列顶部的将不被使用的13或12个像素。
基于组合图像的期望公共视角,设备可以使用场景信息的所选择的像素来调整捕获的图像帧(例如图像帧1006)的像素值以生成经处理图像1008。设备500可以响应于对捕获的图像帧1006的修改来生成组合图像以生成经处理图像1008。调整像素值会造成场景1002中平行的水平线(由于视角畸变,它们在图像帧1006中被示为彼此倾斜)在图像1008中再次平行。为了调整图像1008的像素值(使得在示例中,水平线在图像1008中是平行的),设备500可以“拉伸”图像帧1006中的像素值以覆盖多个像素。例如,拉伸图像帧1006中的像素值以覆盖经处理图像1008中的多个像素值可以包括:使用图像1008中的多个像素位置处的像素值。相反,设备500可以对图像帧1006中的多个像素值进行组合以用于图像1008中的较少像素值(例如通过取平均或其他组合手段)。基于合并或过滤(例如取平均、中值过滤等)的视角畸变校正1022过程可以应用于像素值来调整图像帧1006中的场景1002的捕获图像以生成经处理图像1008。在示例中,该过程被示为在垂直方向上执行。然而,也可以在水平方向上应用该过程以防止场景1002在经处理图像1008中看起来被拉伸。尽管描述了用于视角畸变校正1022的一些示例滤波器,但在视角畸变的校正中,任何合适的滤波器都可用于对像素值进行组合以生成经处理图像1008。作为视角畸变校正的结果,经处理图像1008可以在水平和/或垂直方向上小于或大于图像帧1006(以像素数量计)。
虽然上述具体实施描述了确定在校正视角畸变中要被调整的图像帧的一部分,但在一些具体实施中,一个或多个图像传感器可以被配置为基于视角畸变校正来调整针对图像帧的读数。例如,图像传感器1004可以被配置为:从特定图像传感器像素读出(例如排除了捕获图像帧1006的白色三角形中的场景信息的图像传感器像素)。在一些具体实施中,设备可被配置为:基于要包括在经处理图像1008中的场景1002的部分来调整图像传感器的像素的哪些行(或者行的部分)要被读出。随后可以对图像帧(其仅包括来自图像传感器1004的像素数据的子集)执行视角畸变。视角畸变功能可以基于从图像传感器读出的像素的数量。由于来自这两个相机的图像帧包括参考组合图像的预期视角的视角畸变,因此设备500可以对来自这两个相机的图像帧执行视角畸变校正。
图10B是示出将两个图像帧1024到组合图像1026的公共视角的示例视角畸变校正1022的概念图1020。如两个图像帧1024所示,第一图像和第二图像具有彼此相反的视角畸变。设备500用于将第一图像和第二图像中的每一个的视角畸变(例如上面描述的)校正(使用视角畸变校正1022)到公共视角(例如组合图像1026中所示)。在校正了视角畸变之后,设备500可以对经校正的图像1和经校正的图像2进行拼接以生成组合(广角)图像。
拼接可以是用于生成组合图像的任何合适的拼接过程。在一些具体实施中,第一相机501的视野与第二相机502的视野重叠。例如,第一相机501、第二相机502和一个或多个重定向元件503被布置为使得视野重叠1/2度至5度。在校正视角畸变之后,设备500使用来自两个相机501和502的捕获帧中的重叠部分来对齐和组合两个图像帧以生成组合图像。由于存在重叠,设备500可以基于对齐捕获的图像帧来减少拼接错误。在一些具体实施中,设备500可以补偿随时间重叠的变化(例如如果设备500发生跌落或碰撞,重复的温度变化导致一个或多个组件的移位,等等)。例如,在设备生产时,重叠可能从5度开始,但随着时间的推移,重叠可能会增加到7度。设备500可以使用在两个图像帧的重叠场景部分中的对象检测和匹配来对齐图像帧并生成组合图像(而不是使用基于固定重叠和排列布置的静态合并滤波器)。通过在两个图像帧的重叠场景部分中对齐和匹配对象,设备500可以使用任何重叠(只要具有足够的大小,例如1/2度)将图像帧拼接在一起以生成组合图像。
图10C是示出由两个相机捕获的两个图像帧的用于生成广角图像的示例数字对齐和拼接1042的概念图1040。为了说明数字对齐和拼接的操作,该场景被描述为英文字母的两个实例(从A-Z两次)。场景中字母表的正确实例用其每个字母都带圆圈来示出。场景中字母表的左侧实例,其字母周围都没有圆圈。相机1(例如第一相机501)捕获场景中字母表的左侧实例。相机2(例如第二相机502)捕获场景中字母表的右侧实例。两个相机的重叠视野可能会导致这两个相机在场景中间捕获“”(带圆圈的字母“A”)。重叠是基于两个相机之间的角度(例如由用于图9中的一个相机的镜头906和传感器902以及另一个相机的镜头908和传感器904的虚拟镜头和图像传感器所示)。设备500通过使用对象或场景识别以及朝向相机1的图像帧的右边缘的匹配和朝向相机2的图像帧的左边缘的匹配来执行数字对齐和拼接1042,以对齐匹配的对象/场景。对齐可以包括参考另一图像帧以移位和/或旋转一个或两个图像帧,以重叠图像帧之间的像素,直到场景的匹配对象或部分重叠。在图像帧基于匹配对象/场景对齐的情况下,将两个图像帧拼接在一起以生成数字对齐和拼接的图像(其可以包括将经移位和/或旋转的图像帧一起保存为组合图像)。拼接可以包括对重叠的图像像素值进行平均,选择其中一个图像像素值作为组合图像像素值,或以其他方式来混合图像像素值。
除了减少拼接畸变和减少视角畸变之外,设备500可以减少组合图像中的非均匀亮度畸变。可以将一个或多个相机镜头配置为将场景成像到图像传感器上。由镜头形成的图像的相对光照度可以遵循I(θ)=Io×cos4θ的低或最小值,其中θ是入射光线与镜头法线之间的角度,Io是常数,并且I(θ)是入射光以角度θ照射的图像像素的光照度。垂直于镜头(θ=0)的光将被聚焦到传感器的中心,并且最大角度(例如θ=30°)的光将被聚焦到传感器的边缘。因此,边缘处的图像亮度为中心亮度的cos4(30°)=0.56。另外,光重定向部件(诸如图8中的反射镜和图9中的棱镜)可能会引入渐晕,渐晕可能进一步降低边缘附近图像像素的亮度。因此,到达图像传感器中心的光线可能比到达图像传感器边缘的光线更多。到达图像传感器边缘(并且尤其是角落像素)的光线可能不如到达图像传感器中心的光线多。因此,从第一相机501和第二相机502捕获的图像帧可以在整个图像像素上具有非均匀亮度。来自第一相机501的第一图像帧和/或来自第二相机502的第二图像帧中的渐晕或其他亮度不均匀性可以导致在通过对第一图像和第二图像进行组合生成的组合图像中出现可见的接缝。捕获后(诸如在校正视角畸变之前或之后和/或在将图像帧拼接在一起之前或之后),设备500可以校正组合图像的图像帧的亮度不均匀性。例如,设备500可以调整来自第一相机501的第一图像帧中的亮度以消除来自第一图像的渐晕,并且可以调整来自第二相机502的第二图像帧中的亮度以消除来自第二图像的渐晕,或二者兼而有之。设备500可以在设备500对第一图像和第二图像进行组合之前进行这些亮度调整以生成组合图像。通过这样的亮度调整来去除渐晕可以确保组合图像中没有可见的接缝(例如,在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。
此外,在一些情况下,第一相机501和第二相机502可以接收到不等量的光,可以以不同的方式处理光和/或图像数据(例如,由于相机硬件和/或软件的差异),和/或可能被错误校准。来自第一相机501的第一图像帧和来自第二相机502的第二图像帧之间的亮度水平或另一图像属性不相等可以导致在通过对第一图像与第二图像进行组合而生成的组合图像中出现可见的接缝。在一些示例中,设备500可以增加或减少来自第一相机501的第一图像帧中的亮度,可以增加或减少来自第二相机502的第二图像帧中的亮度,或二者兼而有之。设备500可以在设备500对第一图像和第二图像进行组合之前进行这些亮度调整以生成组合图像。这样的亮度调整可以确保组合图像中没有可见接缝(例如,在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。图10D是示出从由两个相机捕获的两个图像帧生成的广角图像的示例性亮度均匀性校正1062的概念图1060。亮度均匀性校正1062可以校正上文针对图10C讨论的渐晕或其他亮度不均匀性。图1064示出了基于第一相机501和第二相机502的图像传感器的中心处的光照度的图像传感器的相对光照度。每个图像传感器的中心被照亮最多(由图像传感器中心与组合图像的中心成30度角定位表示)。可以测量入射光与本文讨论的棱镜顶面(例如,图9中的侧面922和侧面924,图12A-图12C中的侧面1220)的法线之间的角度。在一些示例中,镜头可以相对于棱镜的顶面法线倾斜30度,例如图9中由第一虚拟镜头926和第二虚拟镜头928的角度所指示的。30度的入射光可以垂直于镜头,并且因此可以被聚焦在传感器的中心,并在所得到的图像中具有最大的光照度/亮度。如果每个图像传感器包括70度视角,则两个图像传感器的视野可能会重叠10度。当从图像传感器的中心(例如,在图1064中分别与-30度和30度相对应的中心)向图像传感器的边缘(例如,在图1064的中间用0表示的边缘以及图1064的两端)移动时,图像传感器的光照度降低。虽然图1064沿图像传感器的一个轴示出用于说明目的,但图1064可以包括附加维度或者可以以其他方式绘制以指示基于二维图像传感器的光照度变化。
在一些实现中,可以确定基于图像传感器中心的光照度(例如指示每个部分的差异的分数、小数或比率)的对图像传感器不同部分的光照度的指示。例如,图1064可以基于相机的类型已知或在相机的校准期间被确定(图1064被体现为覆盖图像传感器的二维区域)。在一些具体实施中,可以在校准期间通过使用均匀光照度来捕获测试场景(例如具有均匀背景的场景)的图像帧来获得图1064。经处理图像的像素值(无均匀性校正)因此可以指示相对于图像中某个位置的光照度变化。在这种指示或图1064对于第一相机501和第二相机502是已知的情况下,设备执行亮度均匀性校正1062以生成具有均匀校正的图像(如图1066所示)。
在一些实现中,设备500增加图像帧中图像像素的亮度(例如增加YUV色彩空间中的亮度值或类似地增加RGB色彩空间中的RGB值)。图像像素的亮度增加的量可以是将当前亮度值除以相关联图像传感器像素和图像传感器中心之间的光照度的分数(例如基于图1064)。以这种方式,每个图像像素的亮度可以增加到与图像传感器中心的图像像素的亮度(如图1066所示)类似。
设备500因此可以使用一个或多个重定向元件503将光引导到第一相机501和第二相机502以进行图像帧捕获来生成包括经校正的视角畸变、减少的拼接伪影和降低的亮度畸变(非均匀亮度)的组合图像。
一个或多个重定向元件和相机的一些具体实施可能导致组合图像中的散射噪声。
图11是示出可能在图像帧的一部分中引起散射噪声的来自第一相机镜头1106的示例光反射的概念图1100。第一相机包括第一图像传感器1102和第一相机镜头1106。第一相机可以是图9中第一相机的方面(包括第一图像传感器902和第一相机镜头906)。第一重定向元件1110位于第一相机的外部以将光引导朝向第一图像传感器1102。如图所示,在第一重定向元件1110的一侧接收到的光被第一重定向元件1110的第一棱镜折射,被第一棱镜的侧面1112上的第一反射镜反射,并且被引导朝向相机镜头1106。第一相机镜头1106可以通过Fresnel反射将光的一小部分反射回朝向第一棱镜。接收到的朝向图像传感器1102的顶端的光表示被允许通过镜头1106的光的其余部分。由第一相机镜头1106反射的光通过第一棱镜朝棱镜的右上边缘传回。第一棱镜的右上边缘可以被称为最靠近第二重定向元件1120的第二棱镜的第一棱镜的边缘。第一棱镜和/或第二棱镜可以包括高折射率介质(例如,具有高于阈值的折射率)。虽然未示出,但重定向元件的棱镜的一个或多个边缘可以是斜切的(以减轻破裂)。棱镜的右上边缘(可以是斜切的)可以将来自相机镜头1106的光反射并散射回朝向相机镜头1106,并且相机镜头1106可以将光引导朝向图像传感器1102的底端。以此方式,旨在针对图像传感器1102的一部分的光可能被图像传感器1102的不同部分错误地接收。在图像传感器1102的非预期位置中接收到的光可能导致第一相机捕获具有散射噪声和相关图像伪影形式的畸变亮度的图像帧。虽然仅针对第一相机(具有第一镜头1106和第一图像传感器1102)和第一重定向元件1110示出了散射噪声,但是散射噪声可以针对第二相机(具有第二镜头1108和第二图像传感器1104)和第二重定向元件1120发生。此外,散射噪声可能出现在图像传感器的与相机的重叠视野相对应的部分中。因此,组合图像可能包括组合图像的拼接线或一侧的位置附近的散射噪声。这可能导致组合图像中出现可见的拼接线,这是不希望的,因为它破坏了组合图像中图像数据的连续性。
一个或多个重定向元件503被配置为防止将光从相机镜头重定向回朝向相机镜头。例如,重定向元件1110可以被配置为防止将光从相机镜头1106反射回朝向相机镜头1106(并且对于其他重定向元件也是类似的)。在一些具体实施中,防止棱镜的一个或多个边缘的一部分对光进行散射。在防止这些部分对光进行散射的过程中,防止了棱镜的一个或多个斜切边缘对光进行散射。例如,在图11的示例中,光吸收涂层可以被施加到棱镜的右上斜切边缘。在一些具体实施中,棱镜的另外两个角边缘中的一个或这二者(它们不在图11中所示的光路中并且可以斜切也可以不斜切)也可以涂有光吸收涂层以防止光从这些位置处的表面的散射。以这种方式,在图11中左棱镜的右上边缘处接收到的光被吸收并且不会向相机镜头1106和传感器1102散射。在一些示例中,光吸收涂层可以是不透明的。在一些示例中,光吸收涂层可以是黑色、深灰色或暗色的。
在一些其他具体实施中,为了减少由来自相机镜头的反射引起并随后被棱镜边缘散射的散射噪声,可以将第一重定向元件和第二重定向元件组合成单个重定向元件,使得左棱镜的右上角和右棱镜的左上角被有效消除(物理上不存在)。
图12A是示出将光重定向到第一相机和将光重定向到第二相机的示例重定向元件1210的概念图1200。第一相机包括第一图像传感器1202和第一相机镜头1206,并且第一相机可以是图9中的第一相机的示例实现。第二相机包括第二图像传感器1204和第二相机镜头1208,并且第二相机可以是图9中的第二相机的示例实现。例如,这两个相机的视角Theta可以都是70度。
重定向元件1210包括用于折射预期针对第一图像传感器1202的光的第一棱镜1212,以及用于折射预期针对第二图像传感器1204的光的第二棱镜1214。第一反射镜可以在第一棱镜1212的侧面1216上,并且第二反射镜可以在第二棱镜1214的侧面1218上(类似于图9中的重定向元件910和912)。第一棱镜1212和/或第二棱镜1214可以包括高折射率介质(例如,具有高于阈值的折射率)。第一棱镜1212和第二棱镜1214是邻接的。第一棱镜1212和第二棱镜1214在侧面1216和1218的顶部物理连接和/或接合和/或桥接。例如,第一棱镜1212和第二棱镜1214连接成在这两个棱镜的顶部边缘重叠。例如,第一棱镜1212的最靠近第二棱镜1214的边缘与第二棱镜1214的最靠近第一棱镜1212的边缘重叠并接合在一起。在一些实现方式中,第一棱镜1212和第二棱镜1214的重叠部分可以具有重定向元件1210的1/2mm至1mm的高度。第一棱镜1212和第二棱镜1214的重叠部分可以被称为连接第一棱镜1212和第二棱镜1214的桥。
以这种方式,在重定向元件的侧面1220的中心附近接收的光可以基于侧面1216或1218中的哪一个接收到光而被朝向第一图像传感器1202或第二图像传感器1204反射。由相机镜头1206和相机镜头1208反射回来的朝向重定向元件1210的光不击中棱镜角边缘(如图11所示),因为重定向元件1210中不存在棱镜角边缘。
在制造重定向元件1210的一些具体实施中,期望形状的注射成型(例如包括两个邻接/重叠的三角形或等边三角形棱柱)填充有具有期望折射率的塑料。在创建所需形状的塑料元件之后,塑料元件的两个表面(例如侧面1216和1218)施加有反射涂层。在一些具体实施中,抗反射涂层被施加到顶侧以接收来自场景(例如侧面1220)的光。抗反射涂层也可以施加到棱镜的朝向相机镜头1206和1208的侧面。在一些具体实施中,重定向元件1210的近侧面和远侧面还包括非反射和/或光吸收涂层。在一些示例中,涂层可以是不透明的。在一些示例中,涂层可以是黑色、深灰色或暗色的。随着第一棱镜1212和第二棱镜1214的顶角彼此最接近重叠,相机可以被定位成确保第一镜头1206和第二镜头1208的虚拟中心虚拟重叠,同时保持物理上分离,如图9所示(例如,如图9所示,第一镜头1206的第一入射光瞳的中心和第二镜头1208的第二入射光瞳的中心重叠)。在一些实现方式中,相机的取向与图9中相同或相似,以确保由图像传感器1202和图像传感器1204捕获的两个图像的组合图像的中心拼接区域的场景重叠0.5度至5度。虽然在图12A(或重定向元件的棱镜的其他具体实施)中未示出,但是一个或多个角边缘可以被斜切以防止破裂。
虽然在图12A中没有示出与第一镜头1206和第二镜头1208相对应的虚拟镜头,但应当理解,这种虚拟镜头的位置将类似于图9的第一虚拟镜头926和第二虚拟镜头928的位置。虽然在图12A中没有示出与第一图像传感器1202和第二图像传感器1204相对应的虚拟图像传感器,但应当理解,这种虚拟图像传感器的位置将类似于图9的第一虚拟图像传感器914和第二虚拟图像传感器916的位置。虽然在图12A中未示出第一光和第二光的先前路径朝向虚拟镜头和虚拟图像传感器的、超出第一棱镜1212和第二棱镜1214的虚拟延伸,但应当理解,图12A中第一光和第二光的先前路径的虚拟延伸将看起来类似于图9中第一光和第二光的先前路径的虚拟延伸。
图12B是示出图12A中的重定向元件的概念图1240,其示出了消除来自棱镜边缘的光散射(例如图11所示的)。进入第一棱镜1212的强侧面光照度被侧面1216上的反射表面折射和反射。反射光以折射角离开重定向元件1210并继续向镜头1206传播。通过Fresnel反射从镜头表面反射的光的部分重新进入第一棱镜1212并向顶部中心(第一棱镜1212和第二棱镜1214重叠的位置)传播。由于第一棱镜1212(和第二棱镜1214)不包括在重定向元件1210的顶部中心处的角边缘,因此没有光散射回镜头1206。例如,从镜头1206反射的光可以继续传播并在侧面1220上退出重定向元件1220。相机可以参考重定向元件1210进行定向,以确保来自其他棱镜表面(例如来自侧面1220)的后续镜面反射不会被其图像传感器接收。虽然参考图12B中的第一棱镜1212示出了光散射的减少,但关于由与第二图像传感器1204相关联的第二相机镜头1208反射的光,对于第二棱镜1214,可以发生相同的光散射减少。由于反射光在侧面1220上离开重定向元件1210,因此使用图12A至图12C所示的重定向元件1210和重叠接合的棱镜(第一棱镜1212和第二棱镜1214)减少或消除了针对图11讨论的散射噪声和可见接缝。因此,使用重定向元件1210和重叠接合的棱镜(第一棱镜1212和第二棱镜1214)提高了使用图像传感器1202和1204单独捕获的图像以及通过将图像传感器1202和1204捕获的图像拼接在一起而生成的组合图像两者的图像质量。另外,第一棱镜1212和第二棱镜1214在重定向元件1210中重叠并接合,重定向元件1210具有附加的益处,即确保第一棱镜1212和第二棱镜1214可以相对于彼此精确定位,并且在不需要附加的硬件来控制第一棱镜1212和第二棱镜1214彼此的相对位置的情况下,不会相对于彼此错位。
图12C是示出从视角角度看图12A中的重定向元件的概念图1260。光重定向元件1210被示为在第一相机和第二相机之间。第一相机包括第一镜头1206,其基于概念图1260中的视角被隐藏不可见,但仍使用虚线示出。第二相机包括第二镜头1208,其基于概念图1260中的视角被隐藏不可见。光重定向元件1210包括第一棱镜1212和第二棱镜1214。第一棱镜1212和第二棱镜1214是邻接的。第一棱镜1212的最靠近第二棱镜1214的边缘与第二棱镜1214的最靠近第一棱镜1212的边缘接合。第一棱镜1212的侧面1216包括反射涂层。第二棱镜1214的侧面1218包括反射涂层。光重定向元件1210包括基于概念图1260中的视角被隐藏不可见但仍然使用虚线指向的侧面1220。
在一些情况下,第一棱镜1212可以被称为第一光重定向元件,并且第二棱镜1214可以被称为第二光重定向元件。在一些情况下,第一光重定向元件的边缘与第二光重定向元件的边缘物理重叠并接合在一起。在一些情况下,第一棱镜的边缘在物理上与第二棱镜的边缘重叠并接合在一起。在一些情况下,第一棱镜1212的第一侧面1216(具有反射表面)可以被称为第一光重定向元件,而第二棱镜1214的第一侧面1218(具有反射表面)可以被称为第二光重定向元件。光重定向元件1210可以被称为单个光重定向元件,其中第一光重定向元件和第二光重定向元件是单个光重定向元件的两个不同部分。
如上所示,可以使用一个或多个重定向元件将光从场景引导朝向多个相机。多个相机捕获要被组合的图像帧以生成广角图像。例如广角图像包括较少的由镜头曲率引起的畸变,并且可以具有比其他单个相机更宽的视角用于广角成像。
在组合第一图像帧和第二图像帧以生成组合图像之前、并发地、同时和/或之后,设备500可以对组合图像或捕获的图像帧执行其他处理滤波器。例如,图像帧可以具有不同的色温或光强度。其他示例处理可以包括在图像处理流水线期间执行的成像处理滤波器,例如去噪、边缘增强等。在处理图像之后,设备500可以存储图像、将图像输出到另一设备、将图像输出到显示器514,等等。在一些具体实施中,在创建广角视频时可以生成一系列广角图像。例如,图像传感器并发和/或同时捕获一系列图像帧,并且设备500对相关联的图像帧(如针对一系列图像帧中的每个图像帧描述的)进行处理,以生成用于视频的组合图像序列。下面参考图13A、图13B和图14描述了用于生成组合图像的示例方法。虽然这些方法被描述为由设备500和/或由成像系统执行,但是任何合适的设备都可以用于执行示例中的操作。
图13A是示出用于从多个图像帧生成组合图像的示例过程的流程图1300。在一些示例中,过程1300中的操作可以由成像系统执行。在一些示例中,成像系统是设备500。在一些示例中,成像系统包括以下项中的至少一项:相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、以下项的至少一项:图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2900、执行过程1350的成像系统、执行过程1400的成像系统、执行过程1900的成像系统、执行过程2800的成像系统、云服务的一个或多个网络服务器或它们的组合。
在操作1302处,成像系统可以接收由第一相机501捕获的场景的第一图像帧。例如,在第一相机501捕获第一图像帧(包括场景的第一部分)之后,图像信号处理器512可以接收第一图像帧。场景的第一部分可以是场景的一侧。在1304处,设备500还可以接收由第二相机502捕获的场景的第二图像帧。例如,在第二相机502捕获第二图像帧(包括场景的第二部分)之后,图像信号处理器512可以接收第二图像帧。场景的第二部分可以是场景的另一侧。
在操作1306处,成像系统可以从第一图像帧和第二图像帧生成组合图像。组合图像包括比第一图像帧的视野或第二图像帧的视野更宽的视野。例如,可以将第一图像帧和第二图像帧拼接在一起(如上所述)。在一些具体实施中,在图像帧中捕获的场景的边中的重叠用于拼接第一图像帧和第二图像帧。
基于虚拟地重叠基于一个或多个重定向元件503(例如图8、图9或图12A-图12C中的重定向元件)捕获第一图像帧和第二图像帧的第一相机501和第二相机502的入射光瞳的中心,组合图像可以具有减少或去除的视差效果。以这种方式,镜头或其他组件不会物理重叠,而入射光瞳的中心虚拟重叠。在一些具体实施中,图像帧由相机501和502并发和/或同时捕获以减少由局部运动或全局运动引起的畸变。
尽管图13A中未示出,但成像系统可以继续处理组合图像,包括在图像处理流水线中执行去噪、边缘增强或任何其他合适的图像处理滤波器。得到的组合图像可以存储在存储器506或另一合适的存储器中,可以提供给另一设备,可以显示在显示器514上,或者可以以其他任何合适的方式使用。
图13B是示出数字成像的示例性过程1350的流程图。在一些示例中,过程1300中的操作可以由成像系统执行。在一些示例中,成像系统是设备500。在一些示例中,成像系统包括以下项中的至少一项:相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、以下项的至少一项:图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2900、执行过程1300的成像系统、执行过程1400的成像系统、执行过程1900的成像系统、执行过程2800的成像系统、云服务的一个或多个网络服务器或它们的组合。
在操作1355处,成像系统接收由第一图像传感器捕获的场景的第一图像。第一光重定向元件将第一光从第一路径重定向到朝向第一图像传感器的重定向的第一路径。第一图像传感器基于在第一图像传感器处接收到第一光来捕获第一图像。在一些示例中,成像系统包括第一图像传感器和/或第一光重定向元件。在一些示例中,第一图像传感器是第一相机的一部分。第一相机还可以包括第一镜头。在一些示例中,成像系统包括第一镜头和/或第一相机。
操作1355的第一图像传感器的示例包括图像传感器106、相机的图像传感器206、第一相机的图像传感器501、第二相机的图像传感器502、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、本文描述的另一图像传感器,或者它们的组合。操作1355的第一镜头的示例包括镜头104、相机的镜头206、第一相机的镜头501、第二相机的镜头502、第一相机镜头606、第二相机镜头608、相机镜头704、第一相机镜头806、第二相机镜头808、第一镜头906、第二镜头908、第一镜头1106、第二镜头1108、第一镜头1206、第二镜头1208、镜头1660、镜头2015、本文描述的另一镜头,或者它们的组合。操作1355的第一光重定向元件的示例包括光重定向元件706、第一光重定向元件810、第二光重定向元件812、第一光重定向元件910、第二光重定向元件912、第一光重定向元件910的第一棱镜、第二光重定向元件912的第二棱镜、光重定向元件910的侧面918上的第一反射表面、第二光重定向元件912的侧面920上的第二反射表面、第一光重定向元件1110、第二光重定向元件1120、第一光重定向元件1110的第一棱镜、第二光重定向元件1120的第二棱镜、第一光重定向元件1110的侧面1112上的第一反射表面、第二光重定向元件1120的第二反射表面、光重定向元件1210、光重定向元件1210的第一棱镜1212、光重定向元件1210的第二棱镜1214、光重定向元件1210的第一棱镜1212的侧面1216上的第一反射表面、光重定向元件1210的第二棱镜1214的侧面1218上的第二反射表面、本文描述的另一棱镜、本文描述的另一反射表面、本文描述的另一光重定向元件或它们的组合。
在操作1360处,成像系统接收由第二图像传感器捕获的场景的第二图像。第二光重定向元件将第二光从第二路径重定向到朝向第二图像传感器的重定向的第二路径。第二图像传感器基于在第二图像传感器处接收到第二光来捕获第二图像。超过第一光重定向元件的第一路径的虚拟延伸与超过第二光重定向元件的第二路径相交的虚拟延伸相交。在一些示例中,成像系统包括第二图像传感器和/或第二光重定向元件。在一些示例中,第二图像传感器是第二相机的一部分。第二相机还可以包括第二镜头。在一些示例中,成像系统包括第二镜头和/或第二相机。
操作1360的第二图像传感器的示例包括图像传感器106、相机的图像传感器206、第一相机的图像传感器501、第二相机的图像传感器502、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、本文描述的另一图像传感器,或者它们的组合。操作1360的第二镜头的示例包括镜头104、相机的镜头206、第一相机的镜头501、第二相机的镜头502、第一相机镜头606、第二相机镜头608、相机镜头704、第一相机镜头806、第二相机镜头808、第一镜头906、第二镜头908、第一镜头1106、第二镜头1108、第一镜头1206、第二镜头1208、镜头1660、镜头2015、本文描述的另一镜头,或者它们的组合。操作1360的第二光重定向元件的示例包括光重定向元件706、第一光重定向元件810、第二光重定向元件812、第一光重定向元件910、第二光重定向元件912、第一光重定向元件910的第一棱镜、第二光重定向元件912的第二棱镜、光重定向元件910的侧面918上的第一反射表面、第二光重定向元件912的侧面920上的第二反射表面、第一光重定向元件1110、第二光重定向元件1120、第一光重定向元件1110的第一棱镜、第二光重定向元件1120的第二棱镜、第一光重定向元件1110的侧面1112上的第一反射表面、第二光重定向元件1120的第二反射表面、光重定向元件1210、光重定向元件1210的第一棱镜1212、光重定向元件1210的第二棱镜1214、光重定向元件1210的第一棱镜1212的侧面1216上的第一反射表面、光重定向元件1210的第二棱镜1214的侧面1218上的第二反射表面、本文描述的另一棱镜、本文描述的另一反射表面、本文描述的另一光重定向元件或它们的组合。
在一些示例中,第一镜头和第二镜头虚拟重叠。在一些示例中,虽然第一镜头和第二镜头虚拟重叠,但第一镜头和第二镜头在物理上不重叠、在空间上不重叠、在物理上分离和/或在空间上分离。例如,图9的第一镜头906和第二镜头908在物理上不重叠、在空间上不重叠、在物理上分离并且在空间上分离。尽管如此,第一镜头906和第二镜头908虚拟重叠,因为第一虚拟镜头926(第一镜头906的虚拟位置)与第二虚拟镜头928(第二镜头908的虚拟位置)重叠。虽然第一镜头1106和第二镜头1108的虚拟镜头位置未在图11中示出,但第一镜头1106和第二镜头1108也可以虚拟重叠(例如,第一镜头1106的虚拟镜头位置可以与第二镜头的虚拟镜头位置1108重叠)。第一镜头1106和第二镜头1108在物理上不重叠、在空间上不重叠、在物理上分离并且在空间上分离。虽然第一镜头1206和第二镜头1208的虚拟镜头位置未在图12A-图12C中示出,但第一镜头1206和第二镜头1208也可以虚拟重叠(例如,第一镜头1206的虚拟镜头位置可以与第二镜头1208的虚拟镜头位置重叠)。第一镜头1206和第二镜头1208在物理上不重叠、在空间上不重叠、在物理上分离并且在空间上分离。
第一光重定向元件可以包括第一反射表面。第一反射表面的示例可以包括重定向元件706的反射表面、第一光重定向元件的反射表面810、第一光重定向元件910的侧面918上的反射表面、第一光重定向元件1110的侧面1112上的反射表面、光重定向元件1210的侧面1216上的反射表面、本文描述的另一反射表面,或者它们的组合。为了将第一光重定向为朝向第一图像传感器,第一光重定向元件使用第一反射表面将第一光朝向第一图像传感器反射。类似地,第二光重定向元件可以包括第二反射表面。第二反射表面的示例可以包括重定向元件706的反射表面、第二光重定向元件812的反射表面、第二光重定向元件912的侧面920上的反射表面、最靠近第一光重定向元件1110的侧面1112的第二光重定向元件1120的侧面上的反射表面、光重定向元件1210的侧面1218上的反射表面、本文描述的另一反射表面或它们的组合。为了将第二光重定向为朝向第二图像传感器(例如,第二图像传感器904/1204),第二光重定向元件使用第二反射表面将第二光朝向第二图像传感器反射。第一反射表面可以是或者可以包括反射镜。第二反射表面可以是或者可以包括反射镜。
第一光重定向元件可包括被配置为折射第一光的第一棱镜。第二光重定向元件可以包括被配置为折射第二光的第二棱镜。在一些示例中,第一棱镜和第二棱镜是邻接的(例如,如图12A-图12C所示)。例如,第一棱镜和第二棱镜可以由单件塑料、玻璃、水晶或其他材料制成。桥可以连接第一棱镜的第一边缘和第二棱镜的第二边缘。例如,在图12A-图12C中,第一棱镜的在侧面1220和侧面1216之间的边缘通过桥连接到第二棱镜的在侧面1220和侧面1218之间的边缘。该桥可以被配置为防止光从第一棱镜的第一边缘和/或第二棱镜的第二边缘反射。例如,如图12A-图12C所示,连接两个棱镜的桥可以防止从图11中所示和标记的棱镜角散射。
第一棱镜可包括至少一个斜切的边缘。例如,在图9的第一重定向元件910中,侧面922和侧面918之间的边缘可以是斜切的。图11的第一重定向元件1110中的第一棱镜的相对应边缘可以是斜切的。第二棱镜可以包括至少一个斜切的边缘。例如,在图9的第二重定向元件912中,侧面924和侧面920之间的边缘可以是斜切的。图11的第二重定向元件1120中的第二棱镜的相对应边缘可以是斜切的。第一棱镜可包括具有光吸收涂层的至少一个边缘。例如,在图9的第一重定向元件910中,侧面922和侧面918之间的边缘可以具有光吸收涂层。图11的第一重定向元件1110中的第一棱镜的相对应的边缘可以具有光吸收涂层。图12A-图12C的重定向元件1210中的第一棱镜1212的相对应的边缘(例如,在连接第一棱镜1212与第二棱镜1214的桥处和/或在桥附近)可以具有光吸收涂层。第二棱镜可包括具有光吸收涂层的至少一个边缘。例如,在图9的第二重定向元件912中,侧面924和侧面920之间的边缘可以具有光吸收涂层。图11的第二重定向元件1120中的第二棱镜的相对应的边缘可以具有光吸收涂层。图12A-图12C的重定向元件1210中的第二棱镜1214的相对应的边缘(例如,在连接第一棱镜1212与第二棱镜1214的桥处和/或在桥附近)可以具有光吸收涂层。光吸收涂层可以是油漆、漆、材料或另一类型的涂层。光吸收涂层可以是不透明的。光吸收涂层可以是反射性的或非反射性的。光吸收涂层可以是黑色、深灰色、深色、深色渐变、深色图案或者它们的组合。
在一些示例中,在操作1355和1360中引用的第一路径是指在第一光进入第一棱镜之前的第一光的路径。因此,第一路径可以是尚未被第一棱镜折射的路径。例如,在图9的上下文中,第一路径可以指在z到达第一重定向元件910的顶侧922之前的第一光的路径。在图11的上下文中,第一路径可以指在到达第一重定向元件1110的相对应顶侧(未标示)之前的第一光的路径。在图12A-图12C的上下文中,第一路径可以指在到达重定向元件1210的第一棱镜1212的相对应的顶侧1220之前的第一光的路径。在一些示例中,在操作1355和1360中引用的第二路径是指在第二光进入第二棱镜之前的第二光的路径。因此,第二路径可以是尚未被第二棱镜折射的路径。例如,在图9的上下文中,第二路径可以指在到达第二重定向元件912的顶侧924之前的第二光的路径。在图11的上下文中,第二路径可以指在到达第二重定向元件1120的相对应顶侧(未标示)之前的第二光的路径。在图12A-图12C的上下文中,第二路径可以指在到达重定向元件1210的第二棱镜1214的相对应的顶侧1220之前的第二光的路径。
在一些示例中,第一棱镜包括被配置为反射第一光的第一反射表面。在一些示例中,第二棱镜包括被配置为反射第二光的第二反射表面。第一反射表面可以是或者可以包括反射镜。第二反射表面可以是或者可以包括反射镜。在一些示例中,在操作1355和1360中引用的第一路径是指在第一光进入第一棱镜之后但在第一反射表面反射第一光之前的第一光的路径。因此,第一路径可以已经被第一棱镜折射,但还没有被第一反射表面反射。例如,在图9的上下文中,第一路径可以指穿过第一重定向元件910的顶侧922并进入第一重定向元件910之后但在到达第一重定向元件910的侧面918上的反射表面之前的第一光的路径。在图11的上下文中,第一路径可以指进入第一重定向元件1110之后但在到达第一重定向元件1110的侧面1112上的反射表面之前的第一光的路径。在图12A-图12C的上下文中,第一路径可以指穿过重定向元件1210的第一棱镜1212的顶侧1220并且进入重定向元件1210的第一棱镜1212之后但在到达重定向元件1210的第一棱镜1212的侧面1216上的反射表面之前的第一光的路径。在一些示例中,在操作1355和1360中引用的第二路径是指在第二光进入第二棱镜之后但在第二反射表面反射第二光之前的第二光的路径。因此,第二路径可以已经被第二棱镜折射,但还没有被第二反射表面反射。例如,在图9的上下文中,第二路径可以指在穿过第二重定向元件912的顶侧924并进入第二重定向元件912之后但在到达第二重定向元件912的侧面920上的反射表面之前的第二光的路径。在图11的上下文中,第二路径可以是指在进入第二重定向元件1120之后但在到达最靠近第一重定向元件1110的侧面1112的第二重定向元件1120的侧面上的反射表面之前的第二光的路径。在图12A-图12C的上下文中,第二路径可以指在穿过重定向元件1210的第二棱镜1214的顶侧1220并且进入重定向元件1210的第二棱镜1214之后但在到达重定向元件1210的第二棱镜1214的侧面1218上的反射表面之前的第二光的路径。
在一些示例中,第一图像和第二图像是同时地、并发地、同时进行地、在共享时间窗内、在彼此的阈值持续时间内或以它们的组合捕获的。第一光重定向元件可以相对于第一图像传感器固定和/或静止。第二光重定向元件可以相对于第二图像传感器固定和/或静止。第一光重定向元件可以相对于第二光重定向元件固定和/或静止。第一光重定向元件可以相对于成像系统的壳体固定和/或静止。第二光重定向元件可以相对于成像系统的壳体固定和/或静止。例如,第一图像传感器、第一光重定向元件、第二图像传感器和第二光重定向元件在图8、图9、图11、图12A-图12C所示的各种图像传感器和光重定向元件、本文所述的这些的变体或者它们的组合中可以以固定和/或静止布置方式布置。第一光重定向元件在一些情况下可以相对于第一图像传感器和/或第二光重定向元件和/或成像系统的壳体可移动,例如使用电机和/或致动器。第二光重定向元件在一些情况下可以相对于第二图像传感器和/或第一光重定向元件和/或成像系统的壳体可移动,例如使用电机和/或致动器。
第一图像传感器的第一平坦表面可以面向第一方向,而第二图像传感器的第二平坦表面可以面向第二方向。第一方向可以是第一图像传感器的光轴和/或与第一图像传感器相关联的镜头的光轴和/或与第一图像传感器相关联的相机的光轴。第二方向可以是第二图像传感器的光轴和/或与第二图像传感器相关联的镜头的光轴和/或与第二图像传感器相关联的相机的光轴。第一方向和第二方向可以相互平行。第一相机也可以面向第一方向。第二相机也可以面向第二方向。第一方向和第二方向可以直接指向彼此。在一些示例中,第一图像传感器的第一平坦表面可以面向第二图像传感器的第二平坦表面。在一些示例中,第一相机可以面向第二相机。例如,图8的第一图像传感器802和第二图像传感器804彼此面对,并且朝向与彼此各自的方向平行的方向。图9的第一图像传感器902和第二图像传感器904面向彼此,并且朝向与彼此各自的方向平行的方向。图11的第一图像传感器1102和第二图像传感器1104彼此面对,并且朝向与彼此各自的方向平行的方向。图12A-图12C的第一图像传感器1202和第二图像传感器1204彼此面对,并且朝向与彼此各自的方向平行的方向。
在操作1365处,成像系统使用视角畸变校正来修改第一图像、第二图像或第一和第二图像两者。操作1365的视角畸变校正可以被称为视角畸变。操作1365的视角畸变校正的示例包括图10A的视角畸变校正1022、图10B的视角畸变校正1022、图15的平坦视角畸变校正1515、图15的弯曲视角畸变校正1525、图16的平坦投影变换像素映射1620、图16的平坦视角畸变校正、图21A中所示的视角畸变校正2152、图21B中所示的视角畸变校正2177、本文描述的另一种类型的视角畸变校正、本文描述的另一种类型的视角畸变或它们的组合。
在一些示例中,为了对第一图像和/或第二图像执行操作1365的修改,成像系统使用视角畸变校正将第一图像从描绘第一视角修改为描绘公共视角。成像系统使用视角畸变校正将第二图像从描绘第二视角修改为描绘公共视角。公共视角可以在第一视角和第二视角之间。例如,在图10B中,两个图像帧1024中的第一图像具有其向右倾斜的视角,而两个图像帧1024中的第二图像具有其向左倾斜的视角。如在组合图像1026的第一图像部分和组合图像1026的第二图像部分中可见的,公共视角是正前方,在两个图像帧1024的左右视角之间。在图16中,第一原始图像平面1614的视角略微逆时针倾斜,而第二原始图像平面1616的视角略微顺时针倾斜。在平坦视角校正图像平面1625中可见的公共视角(如使用平坦投影变换像素映射1620映射的)是完全水平的,在第一原始图像平面1614和第二原始图像平面1616的略微逆时针和略微顺时针倾斜的视角之间。
在一些示例中,为了对第一图像和/或第二图像执行操作1365的修改,成像系统识别(第一图像和/或第二图像的)图像数据中的一个或多个对象的描绘。成像系统通过基于一个或多个对象的描绘而投影图像数据来修改图像数据。在一些示例中,成像系统可以将图像数据投影到经平坦视角校正的图像平面上(例如,作为如图10A至图10B、图15和图16中的视角畸变校正1022、平坦视角畸变校正1515和/或平坦投影变换像素映射1620的一部分)。在一些示例中,成像系统可以将图像数据投影到经弯曲视角校正的图像平面上(例如,作为如图15、图16、图17、图18和图19中的弯曲视角畸变校正1525的一部分)。例如,参考图15,成像系统(例如,双相机设备1505)识别第一图像和第二图像中的汽水罐的描绘。在弯曲视角畸变校正1525中,成像系统(例如,双相机设备1505)基于汽水罐的描绘通过对图像数据进行投影来修改图像数据。参考图16,成像系统(例如,包括镜头1660)识别在第一图像和第二图像中的场景1655中沿着曲线的对一个或多个对象的描绘。在图16的弯曲视角畸变校正中,成像系统(例如,包括镜头1660)通过基于沿着场景1655中的曲线的对一个或多个对象的描绘而投影图像数据来修改图像数据。参考图17,成像系统(未示出)识别第一图像和第二图像中的场景1655中的一个或多个对象(例如,电视机1740、沙发1750)的描绘。在三个组合图像1710-1730的不同视角畸变校正中,成像系统可以通过基于一个或多个对象(例如,电视机1740、沙发1750)的描绘而投影图像数据来修改图像数据。
在一些示例中,成像系统使用亮度均匀性校正来修改第一图像和/或第二图像。例如,成像系统可以从第一图像、第二图像或这二者去除渐晕和/或其他亮度不均匀性。图10D的亮度均匀性校正1062是成像系统可以用来修改第一图像和/或第二图像的亮度均匀性校正的示例。成像系统还可以增加或减少第一图像、第二图像或这二者的整体亮度,使得整体亮度在第一图像和第二图像之间相匹配。成像系统还可以增加或减少第一图像、第二图像或这二者中的其他图像特性(例如,对比度、色彩饱和度、白平衡、黑平衡、色彩水平、直方图等),使得这些图像属性在第一图像和第二图像之间相匹配。亮度和/或其他图像属性的此类调整可以确保组合图像中没有可见的接缝(例如,在组合图像中的来自第一图像的部分和组合图像中的来自第二图像的部分之间)。在一些示例中,成像系统可以在操作1365的与视角畸变校正相关的修改之后执行与亮度均匀性校正相关的修改。在一些示例中,成像系统可以在操作1365的与视角畸变校正相关的修改之前执行与亮度均匀性校正相关的修改。在一些示例中,成像系统可以与操作1365的与视角畸变校正相关的修改同时执行与亮度均匀性校正相关的修改。
在操作1370处,成像系统从第一图像和第二图像生成组合图像。成像系统可以响应于使用视角畸变校正对第一图像和/或第二图像的修改而从第一图像和第二图像生成组合图像。成像系统可以响应于使用亮度均匀性校正对第一图像和/或第二图像的修改而从第一图像和第二图像生成组合图像。组合图像包括比第一图像的第一视野和/或第二图像的第二视野更大的组合图像视野。例如,图10B的组合图像1026具有比两个图像帧1024中的第一图像和第二图像的第一视野和第二视野更大和/或更宽的视野。类似地,图10C的组合图像具有比由第一相机捕获的第一图像的第一视野和由第二相机捕获的第二图像的第二视野更大和/或更宽的视野。
从第一图像和第二图像生成组合图像可以包括:将第一图像的第一部分与第二图像的第二部分对齐。从第一图像和第二图像生成组合图像可以包括:基于第一图像的第一部分和第二图像的第二部分被对齐来将第一图像和第二图像拼接在一起。图10C的数字对齐和拼接1042是这种对齐和拼接的示例。第一图像的第一部分和第二图像的第二部分可以至少部分地匹配。例如,参考图10C,第一图像的第一部分可以是由第一相机捕获的第一图像的一部分,其包括图10C场景中间的“”(带圆圈的字母“A”),并且第二图像的第二部分可以是由第二相机捕获的第二图像的一部分,其包括图10C场景中间的“/>”(带圆圈的字母“A”)。第一图像的第一部分和第二图像的第二部分可以匹配可以重叠以进行拼接。组合图像可包括第一图像的第一部分、第二图像的第二部分,或者将来自第一图像的第一部分的图像数据与来自第二图像的第二部分的图像数据进行合并或组合的合并图像部分。
如上所述,成像系统可以是设备500。设备500可以至少包括被配置为捕获图像帧以生成组合图像的第一相机501和第二相机502。设备500还可以包括一个或多个重定向元件503。
图14是示出用于捕获要被组合以生成组合图像帧的多个图像帧的示例过程1400的流程图。在一些示例中,过程1400中的操作可以由成像系统执行。在一些示例中,成像系统是设备500。在一些示例中,成像系统包括以下项:相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、以下项的至少一项:图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2900、执行过程1300的成像系统、执行过程1350的成像系统、执行过程1900的成像系统、执行过程2800的成像系统、云服务的一个或多个网络服务器或其任何组合。
图14中的操作可以是由设备500执行的图13A和/或图13B中的操作的示例实现。例如,设备500可以使用图8、图9或图12A-图12C中描绘的相机和重定向元件(或其他合适的重定向元件)的配置来虚拟地重叠第一相机501和第二相机502的入射光瞳中心(如图6中描绘的)。虚线框示出可以执行的可选步骤。
在操作1402处,第一光重定向元件将第一光重定向朝向第一相机501。例如,第一光重定向元件可以重定向从设备中的开口接收到的光的一部分。在一些具体实施中,第一光重定向元件的第一反射镜将第一光朝向第一相机501反射(操作1404)。在图8的示例中,第一光重定向元件810的反射镜可以将来自场景的第一部分的光反射到第一相机镜头806。在图9的示例中,第一棱镜918的侧面918上的反射镜可以将来自场景的第一部分的光反射到第一相机镜头906。在图12A的示例中,重定向元件1210的第一棱镜1212的侧面1216上的反射镜可以将来自场景的第一部分的光反射到第一相机镜头1206。
在一些具体实施中,第一光重定向元件的第一棱镜也可以折射第一光(操作1406)。回到图9的示例,重定向元件可以包括反射镜和棱镜二者。例如,三角棱镜的一侧可以包括反射涂层,其用于反射通过棱镜的光。参考回图12A的示例,重定向元件可以包括多个棱镜,其中,一个棱镜用于折射针对第一相机501的第一光。
在一些具体实施中,第一镜头将第一光从第一光重定向元件引导朝向第一相机501(操作1408)。在操作1410处,第一相机501基于第一光来捕获第一图像帧。在操作1412处,第二光重定向元件将第二光重定向朝向第二相机502。例如,第二光重定向元件可以重定向从设备中的开口接收到的光的一部分。在一些具体实施中,第二光重定向元件的第二反射镜将第二光朝向第二相机502反射(操作1414)。在图8的示例中,第二重定向元件812的反射镜可以将来自场景的第二部分的光朝向第二相机镜头808反射。在图9的示例中,第二重定向元件912的第二棱镜的侧面920上的第二反射镜可以将来自场景的第二部分的光反射到第二相机镜头908。在图12A的示例中,重定向元件1210的第二棱镜的侧面1218上的第二反射镜可以将光从场景的第二部分反射到第二镜头1208。在一些具体实施中,第二光重定向元件的第二棱镜也可以折射第二光(操作1416)。回到图9的示例,第二重定向元件912可以包括反射镜和棱镜二者。例如,三角棱镜的一侧可以包括反射涂层,其用于反射通过棱镜的光。回到图12A的示例,重定向元件1210可以包括第二棱镜和第二反射镜,用于将光反射和折射朝向第二相机镜头1208。参考回图14,在一些具体实施中,第一重定向元件和第二重定向元件是相同的重定向元件。在某些实现中,重定向元件包括多个棱镜和反射镜,用于重定向第一光和重定向第二光。例如,图12A中的重定向元件1210包括两个三角棱镜(第一棱镜1212和第二棱镜1214)(诸如等边三角棱镜),其侧面1216和1218上有反射镜。
在一些具体实施中,第二镜头可以将第二光从第二光重定向元件引导朝向第二相机502的图像传感器(操作1418)。在操作1420处,第二相机502基于第二光来捕获第二图像帧。如上所述,第一光重定向元件和第二光重定向元件(可以是单独的或单个重定向元件)可以被放置为允许第一相机501和第二相机502的入射光瞳的中心虚拟重叠。以这种方式,可以减少或消除组合图像中的视差效应。在一些具体实施中,第二图像帧与第一图像帧并发地和/或同时捕获。以这种方式,多个图像帧可以并发地和/或同时由设备500的第一相机501和第二相机502捕获,以减少由全局运动或局部运动引起的组合图像中的畸变。捕获的图像帧可以被提供给设备500的其他部件(诸如图像信号处理器512)以处理图像帧,包括在操作1422中对图像帧进行组合以生成组合(广角)图像,如上所述。
本文讨论的图像帧可以被称为图像、图像帧、视频帧或帧。本文讨论的图像可以被称为图像、图像帧、视频帧或帧。本文讨论的视频帧可以被称为图像、图像帧、视频帧或帧。本文讨论的帧可以被称为图像、图像帧、视频帧或帧。
除非具体描述为以特定方式实现,否则本文中描述的技术可以用硬件、软件、固件或它们的任意组合来实现。描述为模块或组件的任何特征也可以一起实现在集成逻辑器件中,或者单独实现为分立但可互操作的逻辑器件。如果在软件中实现,这些技术可以至少部分地通过非暂时性处理器可读存储介质(例如图5的示例设备500中的存储器506)实现,所述非暂时性处理器可读存储介质包括指令508,所述指令在由处理器504(或相机控制器510或图像信号处理器512或其他合适的组件)执行时,使设备500执行上述一种或多种方法。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分,计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器(RAM)(如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、其他已知存储介质等。附加地或替代地,这些技术可以至少部分地由处理器可读通信介质实现,所述处理器可读通信介质承载或传送指令或数据结构形式的代码并且可以由计算机或其他处理器访问、读取和/或执行。
结合本文公开的方面描述的各种例示性逻辑块、模块、电路和指令可以由一个或多个处理器执行,诸如图5的示例性设备500中的处理器504或图像信号处理器512。此类处理器可以包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其他等效集成或离散逻辑电路。如本文中所使用的,术语“处理器”可以指代前述结构或适于本文中所描述的技术的实现的任何其他结构中的任何一个。另外,在一些方面中,本文中描述的功能可以在如本文所述配置的专用软件模块或硬件模块内提供。同样,这些技术可以在一个或多个电路或逻辑元件中被完全实现。通用处理器可以是微处理器,但是以替换的方式,处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器还可被实施为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器,或任何其他这样配置。
图15是示出平坦视角畸变校正1515和曲面视角畸变校正1525的示例的概念图1500。如前所述,视角畸变校正可用于看起来改变拍摄场景的视角或观看角度。在图10B的视角畸变校正1022的情况下,使用视角畸变校正1022,使得第一图像和第二图像看起来共享所拍摄场景的公共视角或共同观看角度。
图10B的概念图1020中示出的视角畸变校正1022是梯形视角畸变校正的示例,其是平坦视角畸变校正1515的示例。梯形视角畸变校正将梯形区域映射到矩形区域,反之亦然。平坦视角畸变校正将第一平坦(例如,非弯曲)二维区域映射到第二平坦(例如,非弯曲)二维区域。第一平坦(例如,非弯曲)二维区域和第二平坦(例如,非弯曲)二维区域可以相对于彼此具有不同的旋转取向(例如,俯仰、偏航和/或滚动)。在一些示例中,可以使用矩阵乘法来执行平坦视角畸变校正。
具有本文讨论的双相机架构之一的设备500(例如,如图900、1100、1200、1240和/或1260所示)可以使用平坦视角畸变校正1515产生许多类型场景的高质量组合图像。然而,设备500可以在使用平坦视角畸变校正1515时产生某些类型的场景的组合图像,这些组合图像在视觉上出现扭曲和/或视觉畸变。对于这类场景,与使用平坦视角畸变校正1515相比,使用弯曲视角畸变校正1525可以产生具有减少或消除了视觉扭曲的组合图像。
例如,概念图1500示出了场景1510,其中五个汽水罐以部分围绕双相机设备1505的弧线排列,其中,五个汽水罐中的每个汽水罐与双相机设备1505的距离大致相等。双相机设备1505是具有本文讨论的双相机架构之一的设备500(例如,如图900、图1100、图1200、图1240和/或图1260所示),其从分别由双相机设备1505的两个相机捕获的场景1510的两个图像生成场景1510的组合图像,如本文所述(例如,如过程1300、1350、1400、1900和/或2800所示)。
双相机设备1505使用平坦视角畸变校正1515来执行视角校正,同时生成第一组合图像1520。第一组合图像1520在视觉上出现扭曲。例如,尽管场景1510中的五个汽水罐与双相机设备1505的距离大致相等,但第一组合图像1520中最左边的汽水罐和最右边的汽水罐看起来比第一组合图像1520中的中央的三个汽水罐更大。第一张组合图像1520中最左边的汽水罐和最右边的汽水罐本身也显得扭曲,其中,最左边的汽水罐和最右边的看起来有不同的高度。第一组合图像1520中最左边的汽水罐和最右边的汽水罐似乎与第一组合图像1520中的中央的三个汽水罐的距离也比第一组合图像1520中的中央的三个汽水罐彼此相距更远。
双相机设备1505使用弯曲变换视角畸变校正1525来执行视角校正,同时生成第二组合图像1530。第二组合图像1530减少或去除了第一组合图像1520中全部或大部分明显的视觉扭曲。例如,场景1510中的五个汽水罐在第二组合图像1530中看起来彼此的大小比在第一组合图像1520中更相似。最左边的汽水罐和最右边的汽水罐在第二组合图像1530中看起来也比在第一组合图像1520中扭曲的更少。场景1510中所有五个汽水罐之间的间距在第二组合图像1530中看起来比在第一组合图像1520中更一致。
在各种类型的场景中,弯曲视角畸变校正1525可以比平坦视角畸变校正1515更优化地使用。例如,在从高空(例如,高楼或山脉)捕获的远处地平线的全景场景中,使用弯曲视角畸变校正1525可以比平坦视角畸变校正1515更优。
图16是示出在平坦视角畸变校正1515和弯曲视角畸变校正1525中从图像传感器图像平面到视角校正图像平面的像素映射的概念图。具体而言,图16包括基于例如概念图900、1100、1200、1240和/或1260中所示的双相机架构的第一图1600。第一图1600示出了通过第一虚拟镜头926并到达第一虚拟图像传感器914的虚拟光束。第一虚拟图像传感器914也被标记为第一原始图像平面1614,因为第一原始图像平面1614表示由第一图像传感器902/1102/1202捕获的第一图像(未示出)。第一图1600还示出了通过第二虚拟镜头928并到达第二虚拟图像传感器916的虚拟光束。第二虚拟图像传感器916也被标记为第二原始图像平面1616,因为第二原始图像平面1616表示由第二图像传感器904/1104/1204捕获的第二图像(未示出)。
第一图1600示出了平坦投影变换像素映射1620虚线箭头,其执行平坦视角畸变校正1515。平坦投影变换像素映射1620可以被称为平坦变换像素映射和/或投影变换像素映射。平坦投影变换像素映射1620虚线箭头通过第一原始图像平面1614的各个像素投影到经视角校正的图像平面1625的对应像素上,并通过第二原始图像平面1616的各个像素投影到经视角校正的图像平面1625的对应像素上。经视角校正的图像平面1625表示在执行平坦视角畸变校正1515之后,通过将第一图像与第二图像合并而生成的组合图像。
图16中的第二图1650示出了弯曲视角畸变校正1525的示例。场景1655,其可以包括平坦部分和弯曲部分,是使用带有镜头1660的相机拍摄的。镜头1660可以是物理镜头(例如镜头704、806、808、906、908、1106、1108、1206和/或1208),或者也可以是虚拟镜头(例如,虚拟镜头710、926和/或928)。相机捕获场景1655的图像,该图像在平坦图像平面1665上被捕获。在一些示例中,平坦图像平面1665是原始图像平面(例如,如在第一原始图像平面1614和/或第二原始图像平面1616中),其表示在物理图像传感器(例如图像传感器702、802、804、902、904、1004、1102、1104、1202和/或1204)和/或虚拟图像传感器(例如,虚拟图像传感器708、914和/或916)处的图像捕获。在一些示例中,平坦图像平面1665是经平坦视角校正的图像平面1625,如第一图1600所示。沿平坦图像平面1665的点由平坦x轴表示。对于给定角度α,沿平坦x轴的点可以使用公式x=f·tan(α)找到。在第二图1650中,f是相机的焦距。在第二图1650中,α是相机的视角,或者相机视角内的角度。例如,相机的视角可以是60度。为了执行弯曲视角畸变校正1525,像素从平坦图像平面1665被投影到经弯曲视角校正的图像平面1630上。沿经弯曲视角校正的图像平面1630的点由弯曲x'轴表示。沿弯曲x'轴的点可以使用公式x′=f·α找到。因此,无论角度α如何,沿弯曲x'轴的任何点距离镜头1660的距离f都相同。
在对某些图像执行视角校正时,对经弯曲视角校正的图像平面1630的曲率进行更细微的控制可能是有用的。可以使用公式来执行更细微的弯曲视角畸变校正1525。在此,x″表示取决于变量P的经可变曲率视角校正的图像平面。在该公式中,P是可以被调整以调整经可变曲率视角校正的图像平面的曲率强度的变量。例如,当P=1时,则x″=f·tan(α),使经弯曲视角校正的图像平面1630平坦并等效于平坦图像平面1665(并且等效于平坦x轴)。当P=0时,则x″未定义,但当P接近0时,x″的极限为f·α。因此,出于弯曲视角畸变校正1525的目的,当P=0时,x″=f·α,使经可变曲率视角校正的图像平面强弯曲并等效于经弯曲视角校正的图像平面1630(并且等效于弯曲的x'轴)。如果P在0和1之间,则经可变曲率视角校正的图像平面的弯曲小于经弯曲视角校正的图像平面1630,但比平坦图像平面1665更弯曲。图17提供了使用弯曲视角畸变校正1525以及经可变曲率视角校正的图像平面和被设置为不同值的P生成的组合图像的示例。
图17是示出场景的三个示例组合图像(1710、1720和1730)的概念图1700,每个组合图像被应用了不同曲率度数的弯曲视角畸变校正1525。通过使用上述公式映射到经可变曲率视角校正的图像平面来应用弯曲视角畸变校正1525的不同曲率度数。
具体地,第一组合图像1710是通过应用弯曲视角畸变校正1525来将图像像素映射到经强弯曲视角校正的图像平面上而生成的,因为P=0。第二组合图像1720是通过应用弯曲视角畸变校正1525来将图像像素映射到经中等弯曲视角校正的图像平面上而生成的,因为P=0.8。第三组合图像1730是通过应用视角畸变校正1515来将图像像素映射到经平坦视角校正的图像平面上而生成的,因为P=1。
所有三幅组合图像(1710、1720和1730)都描绘了相同的场景,该场景描绘了一个人坐在椅子上面对电视机1740,椅子与沙发相邻1750,以及其他事务。坐在椅子上的人靠近拍摄场景的中心,而电视机1740在拍摄场景的左侧,而沙发1750在拍摄场景的右侧。在第一组合图像1710(其中P=0)中,电视机1740和沙发1750看起来在水平方向上挤压在一起、弯曲和/或朝向相机倾斜得太厉害,并且因此显得不自然。在第三组合图像1730(其中P=1)中,电视机1740和沙发1750看起来远离坐着的人向两侧拉伸,并且相对于场景中的其他对象显得不自然的长并且在水平方向上被拉伸。在第二组合图像1720(其中P=0.8)中,电视机1740和沙发1750看起来自然地反映了所拍摄的场景。
图18是示出关于平坦视角畸变的弯曲视角畸变校正的不同曲率度数进行比较的图1800的概念图。通过使用上述公式映射到经可变曲率视角校正的图像平面来应用弯曲视角畸变校正1525的不同曲率度数。图1800是基于公式/>图1800的水平轴表示归一化的x(其中P=1),或者具有角度范围0<=α<=65度的平坦视角校正的映射输出,垂直轴表示x",或者与水平轴相同比例的具有不同曲率度数的可变曲率视角校正的映射输出。
图1800示出了五条线1805、1810、1815、1820和1825。第一条线1805对应于P=0。第二条线1810对应于P=0.4。第三条线1815对应于P=0.6。第四条线1820对应于P=0.8。第五条线1825对应于P=1.0。
图19是示出用于执行弯曲视角畸变校正的示例性过程1900的流程图。在一些示例中,过程1900中的操作可以由成像系统执行。在一些示例中,成像系统是设备500。在一些示例中,成像系统包括以下项:相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、以下项的至少一项:图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2900、执行过程1300的成像系统、执行过程1350的成像系统、执行过程1400的成像系统、执行过程2800的成像系统、云服务的一个或多个网络服务器或其任何组合。
在操作1905处,成像系统接收由第一相机的第一图像传感器捕获的场景的第一图像。第一图像对应于平坦平面图像平面。在一些示例中,第一图像对应于平坦平面图像平面,因为第一图像传感器在形状和/或相对尺寸上对应于平坦平面图像平面。在一些示例中,第一图像对应于平坦平面图像平面,因为第一图像是使用平坦视角畸变校正1515投影到平坦平面图像平面上的。
在操作1910处,成像系统识别经弯曲视角校正的图像平面。在一些示例中,成像系统使用公式x′=f·α将经弯曲视角校正的图像平面识别为图1650的经弯曲视角校正的图像平面1630。在一些示例中,成像系统使用公式将经弯曲视角校正的图像平面识别为经可变曲率视角校正的图像平面。
在操作1915处,成像系统至少通过将第一图像的图像数据从与第一图像传感器相对应的平坦平面图像平面投影到经弯曲视角校正的图像平面上来生成经视角校正的第一图像。
过程1900可以是使用操作1365的视角畸变修改第一图像和/或第二图像的示例。在一些示例中,在操作1905中接收的第一图像可以是在操作1355中接收的第一图像的示例,并且操作1915的经视角校正的第一图像可以是使用操作1365的视角畸变的修改后的第一图像的示例。在一些示例中,在操作1905中接收的第一图像可以是在操作1360中接收的第二图像的示例,并且操作1915的经视角校正的第一图像可以是使用操作1365的视角畸变的修改后的第二图像的示例。
在一些示例中,P可以是预先确定的。在成像系统中,可以通过成像系统的用户接口从用户接收用户输入,并且成像系统可以基于用户输入来确定P。在一些示例中,成像系统可以通过检测到场景在第一图像中出现扭曲或者如果将平坦视角畸变校正1515单独应用于第一图像则可能出现扭曲来自动确定P。在一些示例中,当成像系统确定场景在第一图像中出现扭曲或者如果将平坦视角畸变校正1515单独应用于第一图像则可能出现扭曲时,成像系统可以自动确定P以修复或优化第一图像中场景的外观。在一些示例中,成像系统可以基于在第一图像中所拍摄的场景中的对象距离、分布以及对象和/或表面的表面取向来自动确定P。成像系统可以使用由成像系统的一个或多个相机捕获的第一图像和/或一个或多个其他图像,基于对象检测和/或识别来确定场景中的对象距离、分布和/或对象和/或表面的表面取向。例如,成像系统可以使用面部检测和/或面部识别来识别场景中的人,这些人与相机的靠近程度(例如,基于经由眼睛间距离或面部特征之间的其他测量结果确定的面部大小),人正面向的方向,等等。成像系统可以基于使用成像系统的一个或多个距离传感器生成的场景的一个或多个点云来确定场景中的对象距离、分布和/或对象和/或表面的表面取向,距离传感器例如一个或多个光检测和测距(LIDAR)传感器、一个或多个无线电检测和测距(RADAR)传感器、一个或多个声音导航和测距(SONAR)传感器、一个或多个声音检测和测距(SODAR)传感器、一个或多个飞行时间(TOF)传感器、一个或多个结构光(SL)传感器,或者它们的组合。
在一些示例中,成像系统可以使用对象检测、对象识别、面部检测或面部识别来自动确定P以修复或优化在第一图像中检测到的人的外观、面部或另一特定类型的对象。例如,成像系统可以确定第一图像包括对办公楼的描绘。成像系统可能期望办公楼具有矩形棱镜形状(例如,盒子)。成像系统可以自动确定P以使办公楼在经视角校正的第一图像中尽可能接近矩形棱镜形状,并且例如使得经视角校正的第一图像去除或减少出现在第一图像中的办公楼边缘的任何弯曲。成像系统可以确定第一图像包括对人的面部的描绘。成像系统可以基于与该人的面部的其他预存储图像的比较来识别该人的面部,并且可以自动确定P以使经视角校正的第一图像中描绘的人的面部看起来尽可能接近该人的面部的预存储图像。
在一些示例中,弯曲视角畸变校正只能应用于第一图像的一部分,而不是整个第一图像。例如,在描绘五个汽水罐的组合图像1520中,组合图像1520中最左边的汽水罐和最右边的汽水罐显得最扭曲。在某些示例中,弯曲视角畸变校正可以仅应用于组合图像1520的区域,该区域包括最左边的汽水罐和最右边汽水罐的描绘。
在一些示例中,可以应用弯曲视角畸变校正来减少各种类型的畸变,包括广角镜头和/或鱼眼镜头带来的畸变。
图20是示出图像捕获和处理系统2000的架构的框图。针对先前附图所讨论的相机、镜头和/或图像传感器中的每一个都可以包括在图像捕获和处理系统2000中。例如,图1的镜头104和图像传感器106可以包括在图像捕获和处理系统2000中。图2的相机206可以是图像捕获和处理系统2000的示例。图5的第一相机501和第二相机502可以各自是图像捕获和处理系统2000的示例。图6的第一相机镜头606和第一图像传感器602可以包括在一个图像捕获和处理系统2000中,而图6的第二相机镜头608和第二图像传感器604可以包括在另一图像捕获和处理系统2000中。图7的相机镜头704和图像传感器702可以包括在图像捕获和处理系统2000中。图8的第一相机镜头806和第一图像传感器802可以包括在一个图像捕获和处理系统2000中,而图8的第二相机镜头808和第二图像传感器804可以包括在另一图像捕获和处理系统2000中。图9的第一相机镜头906和第一图像传感器902可以包括在一个图像捕获和处理系统2000中,而图9的第二相机镜头908和第二图像传感器904可以包括在另一图像捕获和处理系统2000中。图10A的图像传感器1004可以包括在图像捕获和处理系统2000中。图10C的第一相机和第二相机可以各自是图像捕获和处理系统2000的示例。图11的第一相机镜头1106和第一图像传感器1102可以包括在一个图像捕获和处理系统2000中,而图11的第二相机镜头1108和第二图像传感器1104可以包括在另一图像捕获和处理系统2000中。图12A-图12C的第一相机镜头1206和第一图像传感器1202可以包括在一个图像捕获和处理系统2000中,而图12A-图12B的第二相机镜头1208和第二图像传感器1204可以包括在另一图像捕获和处理系统2000中。在图13A的示例性过程1300的流程图中提到的第一镜头和第一图像传感器可以包括在一个图像捕获和处理系统2000中,而在图13A的示例性过程1300的流程图中提到的第二镜头和第二图像传感器可以包括在另一图像捕获和处理系统2000中。在图13B的示例性过程1300的流程图中提到的第一镜头和第一图像传感器可以包括在一个图像捕获和处理系统2000中,而在图13B的示例性过程1300的流程图中提到的第二镜头和第二图像传感器可以包括在另一图像捕获和处理系统2000中。在图14的示例性过程1400的流程图中提到的第一相机可以包括在一个图像捕获和处理系统2000中,而在图14的示例性过程1400的流程图中提到的第二相机可以包括在另一图像捕获和处理系统2000中。
图像捕获和处理系统2000包括被用于捕获和处理场景的图像(例如,场景2010的图像)的各种部件。图像捕获和处理系统2000可以捕获独立的图像(或照片)和/或可以捕获包括特定序列中的多个图像(或视频帧)的视频。系统2000的镜头2015面向场景2010并接收来自场景2010的光。镜头2015使光朝向图像传感器2030弯曲。被镜头2015接收的光穿过由一个或多个控制机制2020控制的孔径,并被图像传感器2030接收。
所述一个或多个控制机制2020可以基于来自图像传感器2030的信息和/或基于来自图像处理器2050的信息来控制曝光、聚焦和/或变焦。所述一个或多个控制机制2020可以包括多个机制和部件;例如,控制机制2020可以包括一个或多个曝光控制机制2025A、一个或多个聚焦控制机制2025B和/或一个或多个变焦控制机制2025C。所述一个或多个控制机制2020还可以包括除所示出的那些控制机制之外的附加控制机制,诸如控制模拟增益、闪光、HDR、景深和/或其他图像捕获属性的控制机制。
控制机制2020的聚焦控制机制2025B可以获得聚焦设置。在一些示例中,聚焦控制机制2025B将聚焦设置存储在存储器寄存器中。基于聚焦设置,聚焦控制机制2025B可以相对于图像传感器2030的位置来调整镜头2015的位置。例如,基于聚焦设置,聚焦控制机制2025B可以通过致动电机或伺服机制(或其他镜头机制)而将镜头2015移动成更靠近图像传感器2030或更远离图像传感器2030,从而调整聚焦。在一些情况下,可以在系统2000中包括附加镜头,诸如图像传感器2030的每个光电二极管上方的一个或多个微镜头,所述一个或多个微镜头各自在从镜头2015接收的光到达光电二极管之前使所述光朝向对应光电二极管弯曲。可经由对比度检测自动聚焦(CDAF)、相位检测自动聚焦(PDAF)、混合自动聚焦(HAF)或其某个组合来确定聚焦设置。可以使用控制机制2020、图像传感器2030和/或图像处理器2050来确定聚焦设置。聚焦设置可以被称为图像捕获设置和/或图像处理设置。
控制机制2020的曝光控制机制2025A可以获得曝光设置。在一些情况下,曝光控制机制2025A将曝光设置存储在存储器寄存器中。基于该曝光设置,曝光控制机制2025A可以控制光圈的大小(例如,光圈大小或f/stop)、光圈打开的历时时间(例如,曝光时间或快门速度)、图像传感器2030的灵敏度(例如,ISO速度或胶片速度)、由图像传感器2030施加的模拟增益或其任何组合。曝光设置可以被称为图像捕获设置和/或图像处理设置。
控制机制2020的变焦控制机制2025C可以获得变焦设置。在一些示例中,变焦控制机制2025C将变焦设置存储在存储器寄存器中。基于变焦设置,变焦控制机制2025C可以控制包括镜头2015和一个或多个附加镜头的镜头元件组件(镜头组件)的焦距。例如,变焦控制机制2025C可以通过使一个或多个电机或伺服系统(或其他镜头机制)致动以相对于彼此移动一个或多个镜头来控制镜头组件的焦距。变焦设置可以被称为图像捕获设置和/或图像处理设置。在一些示例中,镜头组件可以包括齐焦变焦镜头或可变焦距变焦镜头。在一些示例中,镜头部件可以包括聚焦镜头(在一些情况下,其可以是镜头2015),该聚焦镜头首先接收来自场景2010的光,其中该光随后在该光到达图像传感器2030之前穿过聚焦镜头(例如,镜头2015)与图像传感器2030之间的无焦变焦系统。在一些情况下,无焦变焦系统可以包括具有相等或相似焦距(例如,在彼此的阈值差内)的两个正(例如,会聚、凸)镜头,在它们之间具有负(例如,发散、凹)镜头。在一些情况下,变焦控制机制2025C移动无焦变焦系统中的一个或多个镜头,例如负镜头和正镜头中的一个或两个。
图像传感器2030包括光电二极管或其他光敏元件的一个或多个阵列。每个光电二极管对最终与由图像传感器2030产生的图像中的特定像素相对应的光量进行测量。在一些情形中,不同的光电二极管可以被不同的滤色器覆盖,并且因此可以测量与覆盖该光电二极管的滤色器的颜色相匹配的光。例如,拜耳滤色器包括红色滤色器、蓝色滤色器和绿色滤色器,其中图像的每个像素基于来自覆盖在红色滤色器中的至少一个光电二极管的红光数据、来自覆盖在蓝色滤色器中的至少一个光电二极管的蓝光数据以及来自覆盖在绿色滤色器中的至少一个光电二极管的绿光数据而生成。其他类型的滤色器可以使用黄色、品红色和/或青色(也称为“祖母绿”)滤色器来代替或补充红色、蓝色和/或绿色滤色器。一些图像传感器(例如,图像传感器2030)可能完全没有滤色器,并且可以替代地在整个像素阵列中使用不同的光电二极管(在一些情况下垂直堆叠)。整个像素阵列中的不同光电二极管可以具有不同的光谱灵敏度曲线,由此对不同波长的光进行响应。单色图像传感器也可能缺乏滤色器,并且因此缺乏色彩深度。
在一些情况下,图像传感器2030可以替代地或附加地包括不透明和/或反射掩模,其阻挡光在某些时间和/或从某些角度到达某些光电二极管或某些光电二极管的部分,这可以用于相位检测自动聚焦(PDAF)。图像传感器2030还可以包括用于放大由光电二极管输出的模拟信号的模拟增益放大器和/或用于将由光电二极管输出(和/或由模拟增益放大器放大)的模拟信号转换成数字信号的模数转换器(ADC)。在一些情况下,关于一个或多个控制机制2020所讨论的某些部件或功能可以替代地或附加地包括在图像传感器2030中。图像传感器2030可以是电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)、混合CCD/CMOS传感器(例如,sCMOS)或其某种其他组合。
图像处理器2050可以包括一个或多个处理器,诸如一个或多个图像信号处理器(ISP)(包括ISP 2054)、一个或多个主机处理器(包括主机处理器2052)和/或一个或多个关于处理系统2900讨论的任何其他类型的处理器2910。主机处理器2052可以是数字信号处理器(DSP)和/或其他类型的处理器。在一些实现方式中,图像处理器2050是包括主机处理器2052和ISP 2054的单个集成电路或芯片(例如,称为片上系统或SoC)。在一些情况下,芯片还可以包括一个或多个输入/输出端口(例如,输入/输出(I/O)端口2056)、中央处理单元(CPU)、图形处理单元(GPU)、宽带调制解调器(例如,3G、4G或LTE、5G等)、存储器、连通性部件(例如,蓝牙TM、全球定位系统(GPS)等)、其任何组合和/或其他部件。I/O端口2056可以包括根据一个或多个协议或规范的任何合适的输入/输出端口或接口,诸如集成电路间2(I2C)接口、集成电路间3(I3C)接口、串行外围设备接口(SPI)接口、串行通用输入/输出(GPIO)接口、移动工业处理器接口(MIPI)(诸如MIPI CSI-2物理(PHY)层端口或接口、高级高性能总线(AHB)总线、其任何组合和/或其他输入/输出端口。在一个例示性示例中,主机处理器2052可以使用I2C端口与图像传感器2030通信,并且ISP 2054可以使用MIPI端口与图像传感器2030通信。
图像处理器2050可以执行多个任务,诸如去马赛克、色彩空间转换、图像帧下采样、像素内插、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、自动白平衡、合并图像帧以形成HDR图像、图像识别、对象识别、特征识别、接收输入、管理输出、管理存储器或其某种组合。图像处理器2050可以将图像帧和/或经处理的图像存储在随机存取存储器(RAM)2040/2020、只读存储器(ROM)2045/2025、高速缓存、存储器单元、另一存储设备或其某种组合中。
各种输入/输出(I/O)设备2060可以连接到图像处理器2050。I/O设备2060可以包括显示屏、键盘、按键板、触摸屏、触控板、触敏表面、打印机、任何其他输出设备2935、任何其他输入设备2945或其某种组合。在一些情况下,字幕可以通过I/O设备2060的物理键盘或按键板,或者通过I/O设备2060的触摸屏的虚拟键盘或按键板输入到图像处理设备2005B中。I/O 2060可以包括实现系统2000与一个或多个外围设备之间的有线连接的一个或多个端口、插孔或其他连接器,系统2000可以通过所述有线连接从所述一个或多个外围设备接收数据并且/或者将数据传输到所述一个或多个外围设备。I/O 2060可以包括一个或多个无线收发机,其实现系统2000与一个或多个外围设备之间的无线连接,系统2000可以通过所述无线连接从所述一个或多个外围设备接收数据并且/或者将数据传输到所述一个或多个外围设备。外围设备可以包括先前讨论的任何类型的I/O设备2060,并且一旦它们被耦合到端口、插孔、无线收发机或其他有线和/或无线连接器,它们本身就可以被认为是I/O设备2060。
在一些情况下,图像捕获和处理系统2000可以是单个设备。在一些情况下,图像捕获和处理系统2000可以是两个或更多个独立的设备,包括图像捕获设备2005A(例如,相机)和图像处理设备2005B(例如,耦合到相机的计算设备)。在一些实现方式中,图像捕获设备2005A和图像处理设备2005B可以例如经由一个或多个电线、电缆或其他电连接器耦合在一起,和/或经由一个或多个无线收发机无线地耦合在一起。在一些实现方式中,图像捕获设备2005A和图像处理设备2005B可以彼此断开连接。
如图20所示,垂直虚线将图20的图像捕获和处理系统2000分成两部分,分别表示图像捕获设备2005A和图像处理设备2005B。图像捕获设备2005A包括镜头2015、控制机制2020和图像传感器2030。图像处理设备2005B包括图像处理器2050(包括ISP 2054和主机处理器2052)、RAM 2040、ROM 2045和I/O 2060。在一些情况下,图像捕获设备2005A中所示出的某些部件(诸如ISP 2054和/或主机处理器2052)可以包括在图像捕获设备2005A中。
图像捕获和处理系统2000可以包括电子设备,诸如移动或固定电话手持机(例如,智能电话、蜂窝电话等)、台式计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视机、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流送设备、互联网协议(IP)相机或任何其他合适的电子设备。在一些示例中,图像捕获和处理系统2000可以包括用于无线通信的一个或多个无线收发机,诸如蜂窝网络通信、802.11wi-fi通信、无线局域网(WLAN)通信或其某种组合。在一些实现方式中,图像捕获设备2005A和图像处理设备2005B可以是不同的设备。例如,图像捕获设备2005A可以包括相机设备,并且图像处理设备2005B可以包括计算设备,诸如移动手持机、台式计算机或其他计算设备。
虽然图像捕获和处理系统2000被示出为包括某些部件,但是普通技术人员应当理解,图像捕获和处理系统2000可以包括比图20中所示的那些部件更多或更少的部件。图像捕获和处理系统2000的部件可以包括软件、硬件、或软件和硬件的一个或多个组合。例如,在一些实现方式中,图像捕获和处理系统2000的部件可以包括电子电路或其他电子硬件,和/或可以使用电子电路或其他电子硬件来实现,所述电子电路和其他电子硬件可以包括一个或多个可编程电子电路(例如,微处理器、GPU、DSP、CPU、和/或其他合适的电子电路),和/或可以包括计算机软件、固件或其任何组合,和/或可以使用计算机软件、固件或其任何组合来实现,以执行本文描述的各种操作。软件和/或固件可以包括存储在计算机可读存储介质上并且可由实现图像捕获和处理系统2000的电子设备的一个或多个处理器执行的一个或多个指令。
图21A是示出基于来自第一图像2110的第一视角平面2115和来自第二图像2120的第二视角平面2125生成组合图像2130的概念图2100,第一视角平面和第二视角平面各自扭曲为矩形形状2135。第一图像2110可以是矩形的。第二图像2120可以是矩形的。图例2102以水平轴U和垂直轴V示出。
第一图像2110可以由第一图像传感器捕获。第二图像2120可以由第二图像传感器捕获。第一图像传感器和第二图像传感器可以是不同的图像传感器。包括第一图像传感器和第二图像传感器的成像系统可以被配置为使得来自场景的光由成像系统的一个或多个光重定向元件重定向到第一图像传感器和/或第二图像传感器中。第一图像传感器和/或第二图像传感器的示例包括图像传感器106、相机206的图像传感器、第一相机501的图像传感器、第二相机502的图像传感器、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、图像传感器2202、图像传感器2204、本文描述的另一图像传感器或它们的组合。操作2810的第二图像传感器的示例可以包括图像传感器106、相机206的图像传感器、第一相机501的图像传感器、第二相机502的图像传感器、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、本文描述的另一图像传感器或它们的组合。
成像设备可以对第一图像2110执行视角畸变校正2152以生成组合图像2130的第一部分2140。成像设备可以对第二图像2120执行视角畸变校正2152以生成组合图像2130的第二部分2145。视角畸变校正2152的示例可以包括视角畸变校正1022、操作1365的视角畸变校正、平坦视角畸变校正1515、弯曲视角畸变校正1525、平坦投影变换像素映射1620、视角畸变校正2177、图22A至图22B的视角畸变校正、图23A至图23B的视角畸变校正、本文描述的另一类型的视角畸变校正或它们的组合。第一部分2140可以被称为左部分。第一图像2110可以被称为左图像。第二部分2145可以被称为右部分。第二图像2120可以被称为右图像。
作为对第一图像2110执行视角畸变校正2152的一部分,成像设备可以识别第一图像2110内的第一视角平面2115。第一视角平面2115可以是四边形。第一视角平面2115可以是梯形(例如,形状可以是梯形)。第一视角平面2115可以具有一个或多个平坦侧面。第一视角平面2115可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。第一视角平面2115的四个角的坐标(例如,以像素或距离单位表示)被示出为(UL1,VL1)、(UL2,VL2)、(UL3,VL3)和(UL4,VL4)。第一视角平面2115可以从第一图像2110“切割”或复制。作为视角畸变校正2152的一部分,成像设备可以将第一视角平面2115扭曲为矩形形状2135以形成组合图像2130的第一部分2140。该扭曲为矩形形状2135由虚线箭头指示。
作为对第二图像2120执行视角畸变校正2152的一部分,成像设备可以识别第二图像2120内的第二视角平面2125。第二视角平面2125可以是四边形。第二视角平面2125可以是梯形(例如,形状可以是梯形)。第二视角平面2125可以具有一个或多个平坦侧面。第二视角平面2125可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。第二视角平面2125的四个角的坐标(例如,以像素或距离单位表示)被示出为(UR1,VR1)、(UR2,VR2)、(UR3,VR3)和(UR4,VR4)。第二视角平面2125可以从第二图像2120“切割”或复制。作为视角畸变校正2152的一部分,成像设备可以将第二视角平面2125扭曲为矩形形状2135以形成组合图像2130的第二部分2145。该扭曲为矩形形状2135由虚线箭头指示。
第一图像2110和第二图像2210两者都可以是场景2105的图像。在一些示例中,第一图像2110和第二图像2210可以包括场景2105的不同部分的描绘。例如,第一图像2110可以包括场景2105的在场景2105的由第二图像2120包括其描绘的某些部分的左侧的部分的描绘。第二图像2120可以包括场景2105的在场景2105的由第一图像2110包括其描绘的某些部分的右侧的部分的描绘。在一些示例中,第一图像2110和第二图像2210两者都可以包括场景2105的共享部分2107的描绘。例如,第一图像2110可以包括场景2105的共享部分2107的第一描绘2150。第二图像2120可以包括场景2105的共享部分2107的第二描绘2155。场景2105的共享部分2107的第一描绘2150被示出为沿着第一图像2110的右侧边缘的阴影四边形(例如,梯形)。场景2105的共享部分2107的第一描绘2150可以包括落入第一视角平面2115内的区域,如图21A所示。在一些示例中,场景2105的共享部分2107的第一描绘2150也可以包括第一图像2110的落在第一视角平面2115外的一个或多个区域,类似于图22A的场景2245的共享部分2240的第一描绘2230或图23A的场景2345的共享部分2340的第一描绘2330。场景2105的共享部分2107的第二描绘2155被示出为沿着第二图像2120的左侧边缘的阴影四边形(例如,梯形)。场景2105的共享部分2107的第二描绘2155可以包括落入第二视角平面2125内的区域,如图21A所示。在一些示例中,场景2105的共享部分2107的第二描绘2155也可以包括第二图像2120的落在第二视角平面2125外的一个或多个区域,类似于图22A的场景2245的共享部分2240的第二描绘2235或图23A的场景2345的共享部分2340的第二描绘2335。在一些示例中,第一描绘2150和第一描绘2155可以是从不同视角和/或角度对场景2105的共享部分2107的描绘。可以使用视角畸变校正2152来减少或校正视角和/或角度的这种差异。在一些示例中,场景2105的共享部分2107的第一描绘2150可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第二描绘2155中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第二描绘2155可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2150中的一个或多个部分的描绘。在图2的上下文中,场景2105的共享部分2107的第一描绘2150的例示性示例是在图2的第一图像帧中对图2的第一场景部分210的一部分的描绘,所述一部分也是图2的第二场景部分212的一部分。在图2的上下文中,场景2105的共享部分2107的对应第二描绘2155可以是图2的第二图像帧中对图2的第二场景部分212的一部分的描绘,所述一部分也是图2的第一场景部分210的一部分。
在图2的上下文中,场景2105的共享部分2107的第一描绘2150的另一例示性示例是图2的第二图像帧中对图2的第二场景部分212的一部分的描绘,所述一部分也是图2的第三场景部分214的一部分。在图2的上下文中,场景2105的共享部分2107的对应第二描绘2155可以是图3的第三图像帧中对图2的第三场景部分214的一部分的描绘,所述一部分也是图2的第二场景部分212的一部分。
组合图像2130可以是矩形的。组合图像2130的第一部分2140可以是矩形的。组合图像2130的第二部分2145可以是矩形的。图例2132被示出为具有水平轴X和垂直轴Y。组合图像2130的第一部分2140的四个角的坐标(例如,以像素或距离单位表示)被示出为(0,0)、(0,Yd-1)、(Xd-1,0)和(Xd-1,Yd-1)。组合图像2130的第二部分2145的四个角的坐标(例如,以像素或距离单位表示)被示出为(Xd,0)、(Xd,Yd-1)、(2*Xd-1,0)和(2*Xd-1,Yd-1)。视角畸变校正2152可以包括将第一视角平面2115的四个角的坐标映射到第一部分2140的四个角的坐标。例如,视角畸变校正2152可以包括将第一视角平面2115的坐标(UL1,VL1)映射到第一部分2140的坐标(Xd-1,0),将第一视角平面2115的坐标(UL2,VL2)映射到第一部分2140的坐标(Xd-1,Yd-1),将第一视角平面2115的坐标(UL3,VL3)映射到第一部分2140的坐标(0,Yd-1),并且/或者将第一视角平面2115的坐标(UL4,VL4)映射到第一部分2140的坐标(0,0)。视角畸变校正2152可以包括将第二视角平面2125的四个角的坐标映射到第二部分2145的四个角的坐标。例如,视角畸变校正2152可以包括将第二视角平面2125的坐标(UR1,VR1)映射到第二部分2145的坐标(Xd,0),将第二视角平面2125的坐标(UR2,VR2)映射到第二部分2145的坐标(Xd,Yd-1),将第二视角平面2125的坐标(UR3,VR3)映射到第二部分2145的坐标(2*Xd-1,Yd-1),并且/或者将第二视角平面2125的坐标(UR4,VR4)映射到第二部分2145的坐标(2*Xd-1,0)。
成像设备可以基于第一部分2140和第二部分2145来生成组合图像2130。为了生成组合图像2130,成像设备可以将场景2105的共享部分2107的第一描绘2150中的特征与场景2105的共享部分2107的第二描绘2155中的特征对齐。组合图像2130可以包括场景2105的共享部分2107的第三描绘2158,其在图21A中被示出为以虚线为边界的阴影区域。场景2105的共享部分2107的第三描绘2158可以基于场景2105的共享部分2107的第一描绘2150、场景2105的共享部分2107的第二描绘2155和/或它们的组合(例如,第一描绘2150与第二描绘2155合并)。在一些示例中,场景2105的共享部分2107的第三描绘2158可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2150中和/或场景2105的共享部分2107的第二描绘2155中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第一描绘2150和/或场景2105的共享部分2107的第二描绘2155可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第三描绘2158中的一个或多个部分的描绘。
在一些示例中,视角畸变校正2152可以包括将图像数据从沿着由图例2102的U轴和V轴定义的U-V空间绘制的第一视角平面2115和第二视角平面2125映射或变换到沿着由图例2132的X轴和Y轴定义的X-Y空间绘制的第一部分2140和第二部分2145。视角畸变校正2152的从U-V空间到X-Y空间的这种映射可以由函数Fx和函数Fy控制。函数Fx和Fy可以被称为正变换函数或正映射函数。在一些示例中,x=Fx(u,v),其中x是沿着X轴的值,u是沿着U轴的值,并且v是沿着V轴的值。在一些示例中,y=Fy(u,v),其中y是沿着Y轴的值,u是沿着U轴的值,并且v是沿着V轴的值。在一些示例中,视角畸变校正2152还可以包括从X-Y空间到U-V空间的映射或变换。视角畸变校正2152的从X-Y空间到U-V空间的这种映射可以由函数Ru和函数Rv控制。函数Ru和Rv可以被称为逆变换函数或逆映射函数。在一些示例中,u=Ru(x,y),其中u是沿着U轴的值,x是沿着X轴的值,并且y是沿着Y轴的值。在一些示例中,v=Rv(x,y),其中v是沿着V轴的值,x是沿着X轴的值,并且y是沿着Y轴的值。
虽然图例2102定义了具有单个U轴和单个V轴的单个U-V空间,但是在一些示例中,可以存在两个U-V空间。例如,第一图像2110和第一视角平面2115可以沿着由水平UL轴和垂直VL轴定义的UL-VL平面绘制。类似地,第二图像2120和第二视角平面2125可以沿着由水平UR轴和垂直VR轴定义的UR-VR平面绘制。在这种示例中,可以使用相同的函数Fx、Fy、Ru和Rv,其中映射在UL-VL平面与X-Y平面之间,或者在UR-VR平面与X-Y平面之间。在这些示例和函数Fx、Fy、Ru和Rv的上下文中,值u可以表示沿着UL轴的值或沿着UR轴的值,并且值v可以表示沿着VL轴的值或沿着VR轴的值。视角畸变校正2152可以包括使用正映射函数Fx(uL,vL)和Fy(uL,vL)将图像数据从UL-VL平面上的第一视角平面2115映射或变换到X-Y平面上的第一部分2140,其中uL是沿着UL轴的值,并且vL是沿着VL轴的值。视角畸变校正2152可以包括使用正映射函数Fx(uR,vR)和Fy(uR,vR)将图像数据从UR-VR平面上的第二视角平面2125映射或变换到X-Y平面上的第二部分2145,其中uR是沿着UR轴的值,并且vR是沿着VR轴的值。
图21B是示出包括场景2105的共享部分2107的第一描绘2190的第一图像2110的经修改变体(2170,2180)以及包括场景2105的共享部分2107的第二描绘2195的第二图像2120的经修改变体(2175,2185)的概念图2160。第一图像2110和第二图像2120在图21B中示出。第一图像2110包括场景2105的共享部分2107的第一描绘2151。场景2105的共享部分2107的第一描绘2151被示出为沿着第一图像2110的右侧边缘的阴影矩形。第二图像2120包括场景2105的共享部分2107的第二描绘2156。场景2105的共享部分2107的第二描绘2156被示出为沿着第二图像2120的左侧边缘的阴影矩形。场景2105的共享部分2107的第一描绘2151可以包括场景2105的共享部分2107的第一描绘2150。场景2105的共享部分2107的第二描绘2156可以包括场景2105的共享部分2107的第二描绘2155。
成像设备可以对第一图像2110执行视角畸变校正2177以生成经修改的第一图像2170。例如,成像设备可以通过扭曲第一图像2110以扩展第一图像2110的左侧侧面来执行视角畸变校正2177以生成经修改的第一图像2170。成像设备可以对第二图像2120执行视角畸变校正2177以生成经修改的第二图像2175。例如,成像设备可以通过扭曲第二图像2120以扩展第二图像2120的右侧侧面来执行视角畸变校正2177以生成经修改的第二图像2175。视角畸变校正2177的示例可以包括视角畸变校正1022、操作1365的视角畸变校正、平坦视角畸变校正1515、弯曲视角畸变校正1525、平坦投影变换像素映射1620、视角畸变校正2152、图22A至图22B的视角畸变校正、图23A至图23B的视角畸变校正、本文描述的另一类型的视角畸变校正或它们的组合。经修改的第一图像2170可以是四边形。经修改的第一图像2170可以是梯形(例如,形状可以是梯形)。经修改的第一图像2170可以具有或多个平坦侧面。经修改的第一图像2170可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。经修改的第二图像2175可以是四边形。经修改的第二图像2175可以是梯形(例如,形状可以是梯形)。经修改的第二图像2175可以具有/>或多个平坦侧面。经修改的第二图像2175可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。
成像设备可以执行裁剪2187以裁剪经修改的第一图像2170以生成经修改的第一图像2180。成像设备可以执行裁剪2187以裁剪经修改的第二图像2175以生成经修改的第二图像2185。在一些示例中,裁剪2187可以被认为是视角畸变校正2177的一部分。
经修改的第一图像2180包括场景2105的共享部分2107的第一描绘2190。场景2105的共享部分2107的第一描绘2190被示出为沿着经修改的第一图像2180的右侧边缘的阴影矩形。经修改的第二图像2185包括场景2105的共享部分2107的第二描绘2195。场景2105的共享部分2107的第二描绘2195被示出为沿着经修改的第二图像2185的左侧边缘的阴影矩形。场景2105的共享部分2107的第一描绘2151可以包括场景2105的共享部分2107的第一描绘2190,或其在视角畸变校正2177之前的变体。场景2105的共享部分2107的第二描绘2156可以包括场景2105的共享部分2107的第二描绘2195,或其在视角畸变校正2177之前的变体。
经修改的第一图像2180可以用作组合图像的第一部分,类似于图21A的组合图像2130的第一部分2140。经修改的第二图像2185可以用作组合图像的第二部分,类似于图21A的组合图像2130的第二部分2145。
在一些示例中,图21B的视角畸变校正2177包括图21A的视角畸变校正2152。例如,视角畸变校正2177可以包括使用正映射函数Fx(u,v)和Fy(u,v)将图像数据从U-V平面上的第一图像2110映射或变换到X-Y平面上的经修改的第一图像2170,其中u是沿着U轴的值,并且v是沿着V轴的值。视角畸变校正2177可以包括使用正映射函数Fx(u,v)和Fy(u,v)将图像数据从U-V平面上的第二图像2120映射或变换到X-Y平面上的经修改的第二图像2175,其中u是沿着U轴的值,并且v是沿着VR轴的值。视角畸变校正2177可以包括使用正映射函数Fx(uL,vL)和Fy(uL,vL)将图像数据从UL-VL平面上的第一图像2110映射或变换到X-Y平面上的经修改的第一图像2170,其中uL是沿着UL轴的值,并且vL是沿着VL轴的值。视角畸变校正2177可以包括使用正映射函数Fx(uR,vR)和Fy(uR,vR)将图像数据从UR-VR平面上的第二图像2120映射或变换到X-Y平面上的经修改的第二图像2175,其中uR是沿着UR轴的值,并且vR是沿着VR轴的值。
在一些示例中,场景2105的共享部分2107的第一描绘2151可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2150中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第一描绘2150可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2151中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第一描绘2151可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2190中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第一描绘2190可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2151中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第一描绘2190可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2150中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第一描绘2150可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第一描绘2190中的一个或多个部分的描绘。
在一些示例中,场景2105的共享部分2107的第二描绘2156可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第二描绘2155中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第二描绘2155可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第二描绘2156中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第二描绘2156可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第二描绘2195中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第二描绘2195可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第二描绘2156中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第二描绘2195可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第二描绘2155中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107的第二描绘2155可以包括场景2105的共享部分2107的未被包括在场景2105的共享部分2107的第二描绘2195中的一个或多个部分的描绘。在一些示例中,场景2105的共享部分2107可以被称为重叠区域。在一些示例中,第一描绘2150、第一描绘2151、第一描绘2190、第二描绘2155、第二描绘2156和/或第二描绘2195可以被称为重叠区域。
图22A是示出第一图像2210的第一视角平面2215和第二图像2220的第二视角平面2225的示例的概念图2200,第一图像和第二图像两者描绘具有棋盘的场景2245。第一图像2210示出具有棋盘的场景2245的左侧部分。第二图像2220示出具有棋盘的场景2245的右侧部分。第一图像2210和第二图像2220两者都包括具有棋盘的场景2245的共享部分2240的描绘。
成像设备可以对第一图像2210执行视角畸变校正以生成图22B的组合图像2130的第一部分2260。成像设备可以对第一图像2110执行视角畸变校正2152以生成图22B的组合图像2130的第二部分2145。视角畸变校正2152的示例可以包括视角畸变校正1022、操作1365的视角畸变校正、平坦视角畸变校正1515、弯曲视角畸变校正1525、平坦投影变换像素映射1620、视角畸变校正2177、图23A至图23B的视角畸变校正、本文描述的另一类型的视角畸变校正或它们的组合。
作为对第一图像2210执行视角畸变校正的一部分,成像设备识别第一图像2210内的第一视角平面2215。第一图像2210的第一视角平面2215的边缘的示例在图22A中用线条画出轮廓。第一视角平面2215可以是图21A的第一视角平面2115的示例。第一视角平面2215可以是四边形。第一视角平面2215可以是梯形(例如,形状可以是梯形)。第一视角平面2215可以具有一个或多个平坦侧面。第一视角平面2215可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。
作为对第二图像2220执行视角畸变校正的一部分,成像设备识别第二图像2220内的第二视角平面2225。第二图像2220的第二视角平面2225的边缘的示例在图22A中用线条画出轮廓。第二视角平面2225可以是图21A的第二视角平面2125的示例。第二视角平面2225可以是四边形。第二视角平面2225可以是梯形(例如,形状可以是梯形)。第二视角平面2225可以具有一个或多个平坦侧面。第二视角平面2225可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。
第一图像2210包括场景2245的共享部分2240的第一描绘2230。第二图像2220包括场景2245的共享部分2240的第二描绘2235。场景2245的共享部分2240的第一描绘2230被示出为沿着第一图像2210的右侧边缘用虚线画出轮廓的矩形。在一些示例中,场景2245的共享部分2240的第一描绘2230可以指代用虚线画出轮廓的矩形的落入第一视角平面2215内的部分。场景2245的共享部分2240的第二描绘2235被示出为沿着第二图像2220的左侧边缘用虚线画出轮廓的矩形。在一些示例中,场景2245的共享部分2240的第二描绘2235可以指代用虚线画出轮廓的矩形的落入第二视角平面2225内的部分。
图22B是示出使用第一图像2210的第一视角平面2215和第二图像2220的第二视角平面2225生成的组合图像2255的示例的概念图2250,第一视角平面和第二视角平面各自扭曲为矩形形状2135。作为视角畸变校正的一部分,成像设备可以将第一视角平面2215扭曲为矩形形状2135以形成组合图像2130的第一部分2260。作为视角畸变校正的一部分,成像设备可以将第二视角平面2225扭曲为矩形形状2135以形成组合图像2130的第二部分2265。组合图像2130的第一部分2260的边缘在图22B中用线条2131画出轮廓。组合图像2130的第二部分2265的边缘在图22B中用线条2133画出轮廓。
组合图像2255是图21A的组合图像2130的示例。组合图像2255的第一部分2260是图21A的组合图像2130的第一部分2140的示例。组合图像2255的第二部分2265是图21A的组合图像2130的第二部分2145的示例。组合图像2255包括第一图像2210的大部分和第二图像2220的大部分。组合图像2255包括具有棋盘的场景2245的左侧部分的大部分和具有棋盘的场景2245的右侧部分的大部分。
组合图像2255包括场景2245的共享部分2240的第三描绘2270,其在图22B中被示出为用虚线画出轮廓的矩形。场景2245的共享部分2240的第三描绘2270可以基于场景2245的共享部分2240的第一描绘2230、场景2245的共享部分2240的第二描绘2235和/或它们的组合(例如,第一描绘2230与第二描绘2235合并)。
在一些示例中,场景2245的共享部分2240的第一描绘2230可以包括场景2245的共享部分2240的未被包括在场景2245的共享部分2240的第二描绘2235中的一个或多个部分的描绘。在一些示例中,场景2245的共享部分2240的第二描绘2235可以包括场景2245的共享部分2240的未被包括在场景2245的共享部分2240的第一描绘2230中的一个或多个部分的描绘。在一些示例中,场景2245的共享部分2240的第一描绘2230和/或场景2245的共享部分2240的第二描绘2235可以包括场景2245的共享部分2240的未被包括在场景2245的共享部分2240的第三描绘2270中的一个或多个部分的描绘。在一些示例中,场景2245的共享部分2240的第三描绘2270可以包括场景2245的共享部分2240的未被包括在场景2245的共享部分2240的第一描绘2230和/或场景2245的共享部分2240的第二描绘2235中的一个或多个部分的描绘。
在一些示例中,场景2245的共享部分2240可以被称为重叠区域。在一些示例中,第一描绘2230、第二描绘2235和/或第三描绘2270可以被称为重叠区域。
图23A是示出第一图像2310的视角平面2315和第二图像2320的视角平面2325的示例的概念图2300,第一图像和第二图像两者描绘具有其上打印有文本的海报的场景2345。第一图像2310示出具有其上打印有文本的海报的场景2345的左侧部分。第二图像2320示出具有其上打印有文本的海报的场景2345的右侧部分。第一图像2310和第二图像2320两者都包括具有其上打印有文本的海报的场景2345的共享部分2340的描绘。
成像设备可以对第一图像2310执行视角畸变校正以生成图23B的组合图像2130的第一部分2360。成像设备可以对第一图像2110执行视角畸变校正2152以生成图23B的组合图像2130的第二部分2145。视角畸变校正2152的示例可以包括视角畸变校正1022、操作1365的视角畸变校正、平坦视角畸变校正1515、弯曲视角畸变校正1525、平坦投影变换像素映射1620、视角畸变校正2177、图23A至图23B的视角畸变校正、本文描述的另一类型的视角畸变校正或它们的组合。
作为对第一图像2310执行视角畸变校正的一部分,成像设备识别第一图像2310内的第一视角平面2315。第一图像2310的第一视角平面2315的边缘的示例在图23A中用黑色细虚线画出轮廓。第一视角平面2315可以是图21A的第一视角平面2115的示例。第一视角平面2315可以是四边形。第一视角平面2315可以是梯形(例如,形状可以是梯形)。第一视角平面2315可以具有一个或多个平坦侧面。第一视角平面2315可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。
作为对第二图像2320执行视角畸变校正的一部分,成像设备识别第二图像2320内的第二视角平面2325。第二图像2320的第二视角平面2325的边缘的示例在图23A中用黑色细虚线画出轮廓。第二视角平面2325可以是图21A的第二视角平面2125的示例。第二视角平面2325可以是四边形。第二视角平面2325可以是梯形(例如,形状可以是梯形)。第二视角平面2325可以具有一个或多个平坦侧面。第二视角平面2325可以具有一个或多个弯曲侧面(例如,参见弯曲视角畸变校正1525)。
第一图像2310包括场景2345的共享部分2340的第一描绘2330。第二图像2320包括场景2345的共享部分2340的第二描绘2335。场景2345的共享部分2340的第一描绘2330被示出为沿着第一图像2310的右侧边缘用黑色粗虚线画出轮廓的矩形。在一些示例中,场景2345的共享部分2340的第一描绘2330可以指代用黑色粗虚线画出轮廓的矩形的落入第一视角平面2315内的部分。场景2345的共享部分2340的第二描绘2335被示出为沿着第二图像2320的左侧边缘用黑色粗虚线画出轮廓的矩形。在一些示例中,场景2345的共享部分2340的第二描绘2335可以指代用黑色粗虚线画出轮廓的矩形的落入第二视角平面2325内的部分。
图23B是示出使用第一图像2310的视角平面2315和第二图像2320的视角平面2325生成的组合图像2355的示例的概念图2350,这两个视角平面各自扭曲为矩形形状2135。作为视角畸变校正的一部分,成像设备可以将第一视角平面2315扭曲为矩形形状2135以形成组合图像2130的第一部分2360。作为视角畸变校正的一部分,成像设备可以将第二视角平面2325扭曲为矩形形状2135以形成组合图像2130的第二部分2365。
组合图像2355是图21A的组合图像2130的示例。组合图像2355的第一部分2360是图21A的组合图像2130的第一部分2140的示例。组合图像2355的第二部分2365是图21A的组合图像2130的第二部分2145的示例。组合图像2355包括第一图像2310的大部分和第二图像2320的大部分。组合图像2355包括具有上打印有文本的海报的场景2345的左侧部分的大部分和具有其上打印有文本的海报的场景2345的右侧部分的大部分。
组合图像2355包括场景2345的共享部分2340的第三描绘2370,其在图23B中被示出为用黑色细虚线画出轮廓的矩形。场景2345的共享部分2340的第三描绘2370可以基于场景2345的共享部分2340的第一描绘2330、场景2345的共享部分2340的第二描绘2335和/或它们的组合(例如,第一描绘2330与第二描绘2335合并)。
在一些示例中,场景2345的共享部分2340的第一描绘2330可以包括场景2345的共享部分2340的未被包括在场景2345的共享部分2340的第二描绘2335中的一个或多个部分的描绘。在一些示例中,场景2345的共享部分2340的第二描绘2335可以包括场景2345的共享部分2340的未被包括在场景2345的共享部分2340的第一描绘2330中的一个或多个部分的描绘。在一些示例中,场景2345的共享部分2340的第一描绘2330和/或场景2345的共享部分2340的第二描绘2335可以包括场景2345的共享部分2340的未被包括在场景2345的共享部分2340的第三描绘2370中的一个或多个部分的描绘。在一些示例中,场景2345的共享部分2340的第三描绘2370可以包括场景2345的共享部分2340的未被包括在场景2345的共享部分2340的第一描绘2330和/或场景2345的共享部分2340的第二描绘2335中的一个或多个部分的描绘。
图24A是示出图23A至图23B的场景2345的共享部分2340的第一描绘2405的概念图2400。场景2345的共享部分2340的第一描绘2405是图23B的场景2345的共享部分2340的第一描绘2330的放大副本,其中沿水平中心向下添加垂直线以示出海报的文本中的某些字符如何在场景2345的共享部分2340的第一描绘2330内并因此在场景2345的共享部分2340的第一描绘2405内对齐。垂直线可以是拼接线,其可以是组合图像2355的第一部分2360将被拼接到组合图像2355的第二部分2365的地方。场景2345的共享部分2340的第一描绘2405的放大视图2415提供场景2345的共享部分2340的第一描绘2405的甚至更放大的视图,其聚焦在场景2345的共享部分2340的第一描绘2405的由将放大视图2415连接到场景2345的共享部分2340的第一描绘2405的虚线指示的小部分上。场景2345的共享部分2340的第一描绘2405的中心中的垂直线在放大视图2415中也是可见的。还向放大视图2415添加了红色框。红色框包括在放大视图2415中小写字母“g”的描绘高于小写字母“h”的描绘。
图24B是示出图23A至图23B的场景2345的共享部分2340的第二描绘2455的概念图2450。场景2345的共享部分2340的第二描绘2455是图23B的场景2345的共享部分2340的第二描绘2335的放大副本,其中沿水平中心向下添加垂直线以示出海报的文本中的某些字符如何在场景2345的共享部分2340的第二描绘2335内并因此在场景2345的共享部分2340的第二描绘2455内对齐。垂直线可以是拼接线,其可以是组合图像2355的第一部分2360将被拼接到组合图像2355的第二部分2365的地方。场景2345的共享部分2340的第二描绘2455的放大视图2465提供场景2345的共享部分2340的第二描绘2455的甚至更放大的视图,其聚焦在场景2345的共享部分2340的第二描绘2455的由将放大视图2465连接到场景2345的共享部分2340的第二描绘2455的虚线指示的小部分上。场景2345的共享部分2340的第二描绘2455的中心中的垂直线在放大视图2465中也是可见的。还向放大视图2465添加了红色框。色框包括在放大视图2465中小写字母“g”的描绘高于小写字母“h”的描绘。
场景2345的共享部分2340的第一描绘2405与第二描绘2455之间的比较示出场景2345的共享部分2340的第一描绘2405和第二描绘2455彼此不相同并且包括差异。放大视图2415与放大视图2465之间的比较甚至更清晰地示出场景2345的共享部分2340的第一描绘2405和第二描绘2455彼此不相同并且包括差异。例如,在图24A的放大视图2415中,文本的字符比在图24B的放大视图2465中更暗且更清晰。在图24B的放大视图2465中,文本的字符比在图24A的放大视图2415中更亮且更模糊。在图24A的放大视图2415中,红色框中的小写字母“g”和小写字母“h”大致以表示放大视图2415中的第一描绘2405的水平中心的垂直线为中心。另一方面,在图24B的放大视图2465中,红色框中的小写字母“g”和小写字母“h”大致在表示描绘2455的水平中心的垂直线的左侧。
场景2345的共享部分2340的第一描绘2405与第二描绘2455之间的差异在未被校正的情况下可以导致组合图像2355中的视觉伪影。例如,组合图像2355可以在组合图像2355的第一部分2360与组合图像2355的第二部分2365之间包括文本字符的亮度/暗度和/或模糊度/清晰度之间的可见接缝。接缝可以在场景2345的共享部分2340的第三描绘2370处可见。在一些示例中,组合图像2355可以缺失海报上的文本的某些字符的某些部分,可以包括海报上的文本的某些字符的某些部分的重复,可以包括重影畸变(例如,如图3的重影畸变310所示),可以包括拼接畸变(例如,如图4的拼接畸变410所示),可以包括海报上的文本的某些字符的扭曲副本或它们的组合。此类视觉伪影可以在场景2345的共享部分2340的第三描绘2370处可见。
在一些示例中,成像设备可以修改组合图像2355的第一部分2360和/或修改组合图像2355的第二部分2365以抵消场景2345的共享部分2340的第一描绘2330与第二描绘2335之间的亮度差异。在一些示例中,成像设备可以修改组合图像2355的第一部分2360和/或修改组合图像2355的第二部分2365以抵消场景2345的共享部分2340的第一描绘2330与第二描绘23365之间的图案(文本字符)的定位差异。成像设备可以通过修改第一图像2310和/或第一视角平面2315和/或第一部分2360来修改组合图像2355的第一部分2360。成像设备可以通过修改第二图像2320和/或第二视角平面2325和/或第二部分2365来修改组合图像2355的第二部分2365。
在一些示例中,成像设备可以扭曲第一图像2310的至少一部分以将场景2345的共享部分2340的第一描绘2330中的图案(例如,字符)的定位与第二图像2320的场景2345的共享部分2340的第二描绘2335中的图案(例如,字符)的定位对齐。在一些示例中,成像设备可以扭曲第二图像2320的至少一部分以将场景2345的共享部分2340的第二描绘2335中的图案(例如,字符)的定位与第一图像2310的场景2345的共享部分2340的第一描绘2330中的图案(例如,字符)的定位对齐。在一些示例中,成像设备可以扭曲第一图像2310的至少一部分和第二图像2320的至少一部分以将场景2345的共享部分2340的第一描绘2330和第二描绘2335中的图案(例如,字符)的定位与图案(例如,字符)的“折中”定位对齐。图案的折中定位可以在图案在场景2345的共享部分2340的第一描绘2330中的定位与图案在场景2345的共享部分2340的第二描绘2335中的定位之间(例如,中间)。基于位置的修改的其他示例在图25A至图25B中示出。
在一些示例中,成像设备可以修改第一图像2310的至少一部分以将场景2345的共享部分2340的第一描绘2330中的文本字符的亮度和/或清晰度与第二图像2320的场景2345的共享部分2340的第二描绘2335中的文本字符的亮度和/或清晰度对齐。在一些示例中,成像设备可以修改第二图像2320的至少一部分以将场景2345的共享部分2340的第二描绘2335中的文本字符的亮度和/或清晰度与第一图像2310的场景2345的共享部分2340的第一描绘2330中的文本字符的亮度和/或清晰度对齐。在一些示例中,成像设备可以修改第一图像2310的至少一部分和第二图像2320的至少一部分以将场景2345的共享部分2340的第一描绘2330和第二描绘2335中的文本字符的亮度和/或清晰度与文本字符的“折中”亮度和/或清晰度对齐。文本字符的折中亮度和/或清晰度可以在场景2345的共享部分2340的第一描绘2330中的文本字符的亮度和/或清晰度与场景2345的共享部分2340的第二描绘2335中的文本字符的亮度和/或清晰度之间(例如,中间)。基于亮度的修改的其他示例在图26A至图26B中示出。
可以通过改变曝光设置、增益设置、曝光补偿设置、闪光设置或它们的组合来修改亮度。曝光设置的改变可以包括例如光圈的大小(例如,光圈大小或f/stop)的改变、光圈打开的历时时间(例如,曝光时间或快门速度)的改变、图像传感器的灵敏度(例如,ISO速度或胶片速度)的改变、所施加的模拟增益的改变或其任何组合。
在一些示例中,场景2345的共享部分2340可以被称为重叠区域。在一些示例中,第一描绘2330、第二描绘2335、第一描绘2405、第二描绘2455和/或第三描绘2370可以被称为重叠区域。
在图21A的上下文中,在一些示例中,成像设备可以修改第一图像2110的至少一部分以将场景2105的共享部分2107的至少第一描绘2150的属性与第二图像2120的场景2105的共享部分2107的至少第二描绘2155的对应属性对齐。在一些示例中,成像设备可以修改第二图像2120的至少一部分以将场景2105的共享部分2107的第二描绘2155中的属性与第一图像2110的场景2105的共享部分2107的第一描绘2150中的对应属性对齐。在一些示例中,成像设备可以修改第一图像2110的至少一部分和第二图像2120的至少一部分以将场景2105的共享部分2107的第一描绘2150和第二描绘2155中的属性与属性的“折中”值对齐。属性的折中值可以在场景2105的共享部分2107的第一描绘2150中的属性的第一值与场景2105的共享部分2107的第二描绘2155中的属性的第二值之间(例如,中间)。
在一些示例中,对第一图像2110和/或第二图像2120的修改可以在某些其他修改之后执行,诸如在视角畸变校正2152之后。例如,对第一图像2110和/或第二图像2120的修改可以在成像系统将第一视角平面2115和/或第二视角平面2125扭曲为矩形形状2135(例如,分别扭曲为第一部分2140和第二部分2145)之前或之后对第一视角平面2115和/或第二视角平面2125执行。
在一些示例中,无论对亮度设置的修改如何,成像系统可以将相同白平衡设置应用于捕获第一图像2110以及捕获第二图像2120,以便避免由第一图像2110与第二图像2120之间的色温和/或白色阴影的差异导致的组合图像2130中的可见拼接线视觉伪影。在一些示例中,无论对亮度设置的修改如何,成像系统可以将相同黑平衡设置应用于捕获第一图像2110以及捕获第二图像2120,以便避免由第一图像2110与第二图像2120之间的色温和/或黑色阴影的差异导致的组合图像2130中的可见拼接线视觉伪影。
在一些示例中,成像系统可以使用自动聚焦来将捕获第一图像2110的第一图像传感器聚焦于场景中处于场景2105的共享部分2107中或在场景2105的共享部分2107的阈值距离内(例如,在第一图像2110内和/或在场景2105自身内)的区域或点上。在一些示例中,成像系统可以使用自动聚焦来将捕获第二图像2120的第二图像传感器聚焦于场景中处于场景2105的共享部分2107中或在场景2105的共享部分2107的阈值距离内(例如,在第二图像2120内和/或在场景2105自身内)的区域或点上。例如,在图23A至图23B和图24A至图24B的上下文中,成像系统可以使用自动聚焦来将第一图像传感器和第二图像传感器聚焦在场景的描绘其上打印有文本的海报的区域上。因此,成像系统可以使用自动聚焦来将第一图像传感器和第二图像传感器聚焦成靠近组合图像2130的中心而非靠近第一图像2110和第二图像2120的相应中心。
图25A是示出描绘郊区邻里场景的组合图像2505的示例的概念图2500,该组合图像通过将第一图像2510和第二图像2520拼接在一起而生成并且包括视觉伪影2530。组合图像2505包括基于第一图像2510的第一部分2515。第一部分2515和第一图像2510可以分别被称为左部分和左图像。组合图像2505包括基于第二图像2520的第二部分2525。第二部分2525和第二图像2520可以分别被称为右部分和右图像。第一图像2510以及因此左部分2515示出具有郊区邻里的场景2545的左侧部分。第二图像2520以及因此第二部分2525示出具有郊区邻里的场景2545的右侧部分。
第一图像2510和第二图像2520两者都包括具有郊区邻里的场景2545的共享部分2540的描绘(未图示)。组合图像2505包括具有郊区邻里的场景2545的共享部分2540的描绘2535。场景2545的共享部分2540的描绘2535包括视觉伪影2530,如在组合图像2505的放大视图2532中可见的。例如,组合图像2505的放大视图2532突出显示组合图像2505中的房子中的一栋房子的倾斜屋顶不遵循直线,而替代地是锯齿状的,并且看起来具有中断部分。组合图像2505的放大视图2532突出显示垃圾桶的部分是重复的,看起来类似于图3的重影畸变310和/或图4的拼接畸变410。出于说明的目的,放大视图2532中的一些包括改变诸如增加亮度或对比度以使视觉伪影2530更清晰可见。
图25B是示出描绘图25A的郊区邻里场景的经校正的组合图像2555的示例的概念图2550,该经校正的组合图像通过将第一图像2510和第二图像2520带校正地拼接在一起而生成并且包括平滑过渡2570而没有视觉伪影2530。经校正的组合图像2555包括基于第一图像2510的第一部分2560。第一部分2560可以被称为左部分。第一部分2560类似于第一部分2515,但是可以包括校正以校正视觉伪影2530。组合图像2505包括基于第二图像2520的第二部分2565。第二部分2565可以被称为右部分。第二部分2565类似于第二部分2525,但是可以包括校正以校正视觉伪影2530。
经校正的组合图像2555包括具有郊区邻里的场景2545的共享部分2540的描绘2575。场景2545的共享部分2540的描绘2575类似于场景2545的共享部分2540的描绘2535。经校正的组合图像2555包括第一部分2560与第二部分2565之间的平滑过渡2570,包括在场景2545的共享部分2540的描绘2575中。经校正的组合图像2555减少或消除存在于组合图像2505中(包括在场景2545的共享部分2540的描绘2575中)的视觉伪影2530。经校正的组合图像2555的放大视图2572突出显示第一部分2560与第二部分2565之间的这些平滑过渡2570,以及在场景2545的共享部分2540的描绘2575中并除此之外在经校正的组合图像2555中没有视觉伪影2530。例如,经校正的组合图像2555的放大视图2532突出显示经校正的组合图像2555中的房子中的一栋房子的倾斜屋顶遵循直线,没有明显的锯齿或中断部分。经校正的组合图像2555的放大视图2572突出显示垃圾桶不再包括任何重复部分、如图3中的重影畸变310和/或图4的拼接畸变410。出于说明的目的,放大视图2572中的一些包括改变诸如增加亮度或对比度以使平滑过渡2570(以及组合图像2505中没有视觉伪影2530)更清晰可见。
在一些示例中,场景2545的共享部分2540可以被称为重叠区域。在一些示例中,描绘2535和/或描绘2575可以被称为重叠区域。
相对于图21A,成像设备可以检测场景2105的共享部分2107的第一描绘2150与场景2105的共享部分2107的第二描绘2155之间的某些图案的位置之间的差异或偏移。成像设备可以检测沿着或靠近拼接线(例如,在其阈值距离内)的偏移,组合图像2130的第一部分2140沿着该拼接线拼接到组合图像2130的第二部分2145。在一些示例中,成像设备可以使用一个或多个模式匹配算法(诸如归一化互相关(NCC))来检测偏移。在一些示例中,模式匹配算法可以使用一个或多个经训练的机器学习(ML)系统来执行模式匹配。例如,一个或多个经训练的机器学习(ML)系统可以包括一个或多个经训练的神经网络(NN)、一个或多个经训练的卷积神经网络(CNN)、一个或多个经训练的支持向量机(SVM)、一个或多个经训练的随机森林(RF)或它们的组合。
例如,在图24A至图24B的上下文中,成像系统可以使用一个或多个模式匹配算法来检测在图24A的放大视图2415中和在图24B的放大视图2465中的红色轮廓框中小写字母“g”高于小写字母“h”的图案。成像系统可以基于该图案在场景2345的共享部分2340的第一描绘2405中的位置相对于该图案在场景2345的共享部分2340的第二描绘2455中的位置来确定该图案在第一描绘2405中的位置与该图案在第二描绘2455中的位置之间的偏移。偏移可以包括小的垂直偏移(位置偏移)和小的水平偏移(位置偏移)。在图24A至图24B的放大视图2415和2465中,水平偏移(位置偏移)相对于垂直拼接线是清晰可见的。
参考相对于图21A的图例2102和图例2132定义的坐标系,并且假设场景2105的共享部分2107的第一描绘2150中的图案的中心在拼接线上处于垂直位置Y处,则垂直位置Y处的水平偏移dX和垂直偏移dY可以由场景2105的共享部分2107的第二描绘2155中的匹配图案的中心位置定义。成像系统可以确定沿着拼接线的所有Y位置的所有偏移,并且可以使用视角畸变校正Ru和Rv来应用这些偏移。例如,场景2105的共享部分2107的第一描绘2150和/或第二描绘2155的校正可由以下公式表示:U=Ru(X+dX,Y+dY)和V=Ru(X+dX,Y+dY)。然后,这实现了平滑过渡,诸如平滑过渡2570,而没有接缝、重影畸变310、拼接畸变410或其他视觉伪影(例如,视觉伪影2530)。
在一些情况下,成像系统可以针对沿着拼接线的有限数量的垂直Y位置执行模式匹配,并且可以基于针对沿着拼接线的有限数量的垂直Y位置确定的偏移(dX和dY)通过内插来确定剩余位置的偏移(dX和dY)。
在一些示例中,成像系统可能无法使用所述一个或多个模式匹配算法来识别匹配模式。例如,如果场景2105的共享部分2107的描绘2150和/或2155相对平坦和/或有噪声,则所述一个或多个模式匹配算法可能无法找到模式匹配(例如,NCC检测可以在没有找到相关峰的情况下结束)。在一些示例中,成像系统可以使用所述一个或多个模式匹配算法成功地识别多于一个匹配模式,例如,在场景2105的共享部分2107的描绘2150和/或2155中描绘了平铺的或重复的纹理或其他图案的情况下。在这两种情况下,成像系统可以依赖于内插。如果所述一个或多个模式匹配算法由于平坦和/或有噪声的图像区域而无法找到模式匹配,则可能由内插产生的任何视觉伪影可能比在其他区域中更不引人注意。
成像系统不需要将动态偏移校正(例如,偏移扭曲)应用于整个图像(例如,第一图像2110或第二图像2120)。在一些示例中,成像系统将校正应用于由(Xd,Xd+W)定义的校正区域,其中Xd是拼接线在显示器中的水平位置,并且W是校正区域的宽度。当水平位置X移动远离拼接线时,校正(例如,动态偏移校正)可以逐渐地渐变或减小至零,如梯度中一样。在这种情况下,可以使用以下公式来表示校正:U=Ru(X+dX',Y+dY')和V=Rv(X+dX',Y+dY'),其中dX'=dX*(1.0 |X Xd|/W)并且dY'=dY*(1.0 |X Xd|/W)。
根据校正区域W来应用动态偏移校正的示例在图27A至图27B中示出。例如,图27A示出了分别将校正2705的应用映射到第一图像2710和第二图像2720的第一映射2715和第二映射2725的示例。在第一映射2715和第二映射2725中,校正区域W2730的宽度的值分别与第一图像2710和第二图像2720的宽度匹配。图27B示出了分别将校正2705的应用映射到第一图像2710和第二图像2720的第一映射2765和第二映射2775的示例。在第一映射2765和第二映射2775中,校正区域W2780的宽度的值分别是第一图像2710的宽度的大约一半和第二图像2720的宽度的大约一半。校正2705可以包括上述的动态偏移校正。
成像系统可以将可以应用的校正应用于第一图像2110和第二图像2120两者。一旦确定了偏移dX和dY,就可以将偏移dX/2和dY/2应用于第二图像2120并且将-dX/2和-dY/2应用于第一图像2110,反之亦然。偏移校正可以被称为动态拼接。
动态偏移校正被应用于图25B的组合图像2555中,但不被应用于图25A的组合图像2505中。
图26A是示出描绘起居室场景的组合图像2605的示例的概念图2600,该组合图像通过将第一图像2610和第二图像2620拼接在一起而生成并且包括视觉伪影2630。组合图像2605包括基于第一图像2610的第一部分2615。第一部分2615和第一图像2610可以分别被称为左部分和左图像。组合图像2605包括基于第二图像2620的第二部分2625。第二部分2625和第二图像2620可以分别被称为右部分和右图像。第一图像2610以及因此左部分2615示出具有起居室的场景2645的左侧部分。第二图像2620以及因此第二部分2625示出具有起居室的场景2645的右侧部分。
第一图像2610和第二图像2620两者都包括具有起居室的场景2645的共享部分2640的描绘(未图示)。组合图像2605包括具有起居室的场景2645的共享部分2640的描绘2635。场景2645的共享部分2640的描绘2635包括视觉伪影2630,如在组合图像2605的放大视图2632中可见的。放大视图2632是在组合图像2605中描绘的橱柜的放大部分。组合图像2605的放大视图2632突出显示组合图像2605的第一部分2615与组合图像2605的第二部分2625之间存在亮度差异,从而导致视觉伪影2630。视觉伪影包括第一部分2615与第二部分2625之间在场景2645的共享部分2640的描绘2635内的垂直视觉接缝。具体地,组合图像2605的放大视图2632突出显示组合图像2605的第一部分2615比组合图像2605的第二部分2625更暗,并且组合图像2605的第二部分2625因此比组合图像2605的第一部分2615更亮。出于说明的目的,放大视图2632包括改变诸如增加亮度或对比度以使视觉伪影2630更清晰可见。
图26B是示出描绘图26A的起居室场景的经校正的组合图像2655的示例的概念图2650,该经校正的组合图像通过将第一图像2610和第二图像2620带校正地拼接在一起而生成并且包括平滑过渡2670而没有视觉伪影2630。经校正的组合图像2655包括基于第一图像2610的第一部分2660。第一部分2660可以被称为左部分。第一部分2660类似于第一部分2615,但是可以包括校正以校正视觉伪影2630。组合图像2605包括基于第二图像2620的第二部分2665。第二部分2665可以被称为右部分。第二部分2665类似于第二部分2625,但是可以包括校正以校正视觉伪影2630。
经校正的组合图像2655包括具有起居室的场景2645的共享部分2640的描绘2675。场景2645的共享部分2640的描绘2675类似于场景2645的共享部分2640的描绘2635。经校正的组合图像2655包括第一部分2660与第二部分2665之间的平滑过渡2670,包括在场景2645的共享部分2640的描绘2675中。经校正的组合图像2655减少或消除存在于组合图像2605中(包括在场景2645的共享部分2640的描绘2675中)的视觉伪影2630。经校正的组合图像2655的放大视图2672突出显示第一部分2660与第二部分2665之间的这些平滑过渡2670,以及在场景2645的共享部分2640的描绘2675中并除此之外在经校正的组合图像2655中没有视觉伪影2630。例如,经校正的组合图像2655的放大视图2632突出显示经校正的组合图像2655的第一部分2615的亮度与经校正的组合图像2655的第二部分2625的亮度匹配和/或对齐。因此,在经校正的组合图像2655的场景2645的共享部分2640的描绘2675内或除此之外在经校正的组合图像2655中,在第一部分2615与第二部分2625之间看不见垂直视觉接缝。出于说明的目的,放大视图2672包括改变诸如增加亮度或对比度以使平滑过渡2670(以及组合图像2605中没有视觉伪影2630)更清晰可见。
在一些示例中,场景2645的共享部分2640可以被称为重叠区域。在一些示例中,描绘2635和/或描绘2675可以被称为重叠区域。
拼接接缝可能由于亮度和/或色彩差异而在视觉上引人注意,如组合图像2605中的视觉伪影2630所示。如先前所讨论的,成像设备可以修改第一图像2110的至少一部分以将场景2105的共享部分2107的第一描绘2150中的属性诸如亮度和/或清晰度和/或色彩与第二图像2120的场景2105的共享部分2107的第二描绘2155中的对应属性(例如,亮度和/或清晰度和/或色彩)对齐,反之亦然。可以通过改变曝光设置、增益设置、曝光补偿设置、闪光设置、色彩饱和度设置、着色设置、色调设置、对比度设置、锐度设置或它们的组合来修改属性诸如亮度、清晰度、色彩等。
例如,成像系统可以检测通过将场景2105的共享部分2107的第一描绘2150的平均亮度与场景2105的共享部分2107的第二描绘2155进行比较而检测到的整体亮度差异。成像系统可以调整第一图像传感器和/或第二图像传感器的相机曝光以校正此类整体亮度差异。然而,在一些情况下,亮度差异可能在沿着拼接线的不同垂直位置处变化。例如,如果强点光源位于相机的左侧或右侧,则可以在沿着和/或靠近拼接线的不同垂直位置处观察到不均匀的亮度差异。成像系统可以至少部分地通过为场景2105的共享部分2107的第一描绘2150和场景2105的共享部分2107的第二描绘2155两者计算拼接线上的每个垂直Y位置的平均亮度来确定亮度差异。假设对于第一描绘2150来说垂直位置Y处的平均亮度是BL(Y),并且对于第二描绘2155来说垂直位置Y处的平均量度是BR(Y),我们可以使用以下公式来定义增益校正函数C(Y):C(Y)=sqrt(BR(Y)/BL(Y))。成像系统可以使用公式R'G'B'(X,Y)=R'G'B'(X,Y)*C(Y)将动态增益校正应用于第一图像2110。成像系统可以使用公式R'G'B'(X,Y)=R'G'B'(X,Y)/C(Y)将动态增益校正应用于第二图像2120。成像系统可以一起应用动态增益校正以及先前描述的动态偏移校正(动态拼接)以校正亮度和定位两者。
以上提供的动态增益校正公式应用于线性色彩空间中。如果第一图像2110和/或第二图像2120在非线性色彩空间中,诸如在伽马校正之后的色彩空间中,则成像系统可以在应用动态增益校正之前应用去伽马处理。
类似于动态偏移校正,成像系统不需要将动态增益校正应用于整个图像(例如,第一图像2110或第二图像2120)。在一些示例中,成像系统将动态增益校正应用于由(Xd,Xd+W)定义的校正区域,其中Xd是拼接线在显示器中的水平位置,并且W是校正区域的宽度。当水平位置X移动远离拼接线时,校正(例如,动态偏移校正)可以逐渐地渐变或减小至零,如梯度中一样。在这种情况下,可以使用以下公式来表示校正:
C'(X,Y)=1.0+(C(Y) 1.0)*(1.0 |X Xd|/W)。成像系统可以根据公式R'G'B'(X,Y)=R'G'B'(X,Y)*C'(X,Y)将校正应用于第一图像2110。成像系统可以根据公式R'G'B'(X,Y)=R'G'B'(X,Y)/C'(X,Y)将动态增益校正应用于第二图像2120。
根据校正区域W来应用动态增益校正的示例在图27A至图27B中示出。例如,图27A示出了分别将校正2705的应用映射到第一图像2710和第二图像2720的第一映射2715和第二映射2725的示例。在第一映射2715和第二映射2725中,校正区域W2730的宽度的值分别与第一图像2710和第二图像2720的宽度匹配。图27B示出了分别将校正2705的应用映射到第一图像2710和第二图像2720的第一映射2765和第二映射2775的示例。在第一映射2765和第二映射2775中,校正区域W2780的宽度的值分别是第一图像2710的宽度的大约一半和第二图像2720的宽度的大约一半。校正2705可以包括上述的动态增益校正。
在一些示例中,成像系统可能具有对两个重叠区域的亮度差异的错误检测。例如,当具有高对比度垂直线的真实对象与中间的拼接线一致地对齐并且左右图像的捕获不同步时,可能出现错误的亮度差异并且导致错误的校正伪影。错误校正的可能来源包括非同步捕获、拼接错位、计算中亮度的非线性等。由于不均匀光照度导致的图像拼接线处的亮度差异通常非常小,例如,即使在一侧上具有非常强的光照度的情况下也<10%,因此实现具有阈值的动态增益校正可以高效地避免或减少错误的校正伪影。在一些示例中,可以使用最大校正阈值(例如,C(Y)<2.0)。
在一些示例中,校正函数C(Y)是平滑函数。在一些示例中,在计算所有C(Y)校正值之后,成像系统向结果应用空间低通滤波器。
动态增益校正被应用于图26B的组合图像2655中,但不被应用于图26A的组合图像2605中。
类似于以上针对动态增益校正所列举的那些公式的公式可以用于对齐第一图像2110与第二图像2120之间的其他属性的校正。这些属性包括例如亮度、对比度、着色、色调、饱和度、本文讨论的其他图像属性或它们的组合。例如,成像系统可以执行动态偏移校正、动态增益校正、动态亮度校正、动态对比度校正、动态着色校正、动态色调校正、动态饱和度校正或它们的组合。
图27A是示出将校正2705的应用映射到第一图像2710的第一映射2715和将校正2705的应用映射到第二图像2720的第二映射2725的概念图。在第一映射2715和第二映射2725中,校正区域W2730的宽度的值分别与第一图像2710和第二图像2720的宽度匹配。校正2705可以包括例如动态偏移校正、动态增益校正、动态亮度校正、动态对比度校正、动态着色校正、动态色调校正、动态饱和度校正或它们的组合。第一映射2715包括从第一图像2710右侧(在拼接线处或附近)的黑色到第一图像2710左侧(离拼接线最远)的白色的梯度。第二映射2725包括从第二图像2720左侧(在拼接线处或附近)的黑色到第二图像2720右侧(离拼接线最远)的白色的梯度。黑色表示最大校正量。白色表示没有校正。较深的灰色部分表示比较浅的灰色阴影更大的校正量。乘法器M可以控制校正的应用强度,其中M的值从1(最大校正量)变化到零(没有校正)。因为校正区域W 2730的宽度匹配第一图像2710和第二图像2720的宽度,所以第一映射2715和第二映射2725仅在第一图像2710的左侧(离拼接线最远)处和第二图像2720的右侧(离拼接线最远)处达到白色(没有校正)。
图27B是示出将校正2705的应用映射到第一图像2710的第一映射2765和将校正2705的应用映射到第二图像2720的第二映射2775的概念图。在第一映射2765和第二映射2775中,校正区域W2780的宽度的值分别是第一图像2710的宽度的大约一半和第二图像2720的宽度的大约一半。校正2705可以包括例如动态偏移校正、动态增益校正、动态亮度校正、动态对比度校正、动态着色校正、动态色调校正、动态饱和度校正或它们的组合。第一映射2765包括从第一图像2710右侧(在拼接线处或附近)的黑色到第一图像2710左侧(离拼接线最远)的白色的梯度。第二映射2775包括从第二图像2720左侧(在拼接线处或附近)的黑色到第二图像2720右侧(离拼接线最远)的白色的梯度。黑色表示最大校正量。白色表示没有校正。较深的灰色部分表示比较浅的灰色阴影更大的校正量。乘法器M可以控制校正的应用强度,其中M的值从1(最大校正量)变化到零(没有校正)。因为校正区域W 2780的宽度是第一图像2710和第二图像2720的宽度的一半,所以第一映射2715和第二映射2725在第一图像2710的大约一半(水平中心)处和在第二图像2720的大约一半(水平中心)处达到白色(没有校正)。
图28是示出用于从多个图像帧生成组合图像的示例性过程2800的流程图。在一些示例中,过程2800中的操作可以由成像系统执行。在一些示例中,成像系统是设备500。在一些示例中,成像系统包括以下项:相机112、相机206、设备500、概念图600中所示的成像架构、概念图700中所示的成像架构、概念图800中所示的成像架构、概念图900中所示的成像架构、概念图1100中所示的成像架构、概念图1200中所示的成像架构、概念图1240中所示的成像架构、概念图1260中所示的成像架构、概念图1600中所示的成像架构、以下项的至少一项:图像捕获和处理系统2000、图像捕获设备2005A、图像处理设备2005B、图像处理器2050、主机处理器2052、ISP 2054、计算系统2900、执行过程1300的成像系统、执行过程1350的成像系统、执行过程1400的成像系统、执行过程1900的成像系统、云服务的一个或多个网络服务器或其任何组合。
在操作2805处,成像系统被配置为并且可以接收由第一图像传感器捕获的场景的第一图像。一个或多个光重定向元件被配置为并且可以将第一光从第一路径重定向到朝向第一图像传感器的经重定向的第一路径。第一图像传感器被配置为并且可以基于在第一图像传感器处接收到第一光来捕获第一图像。第一图像包括场景的一部分的第一描绘。
在操作2810处,成像系统被配置为并且可以接收由第二图像传感器捕获的场景的第二图像。所述一个或多个光重定向元件被配置为并且可以将第二光从第二路径重定向到朝向第二图像传感器的经重定向的第二路径。第二图像传感器被配置为并且可以基于在第二图像传感器处接收到第二光来捕获第二图像。第二图像包括场景的所述一部分的第二描绘。在第一描绘和第二描绘中表示的场景的所述一部分可以被称为场景的共享部分。在一些示例中,场景的所述一部分可以是场景的整体。在一些示例中,场景的所述一部分可以是场景的子集。
在一些方面中,成像系统可以包括第一图像传感器、第二图像传感器、所述一个或多个光重定向元件或它们的组合。操作2805的第一图像传感器的示例可以包括图像传感器106、相机206的图像传感器、第一相机501的图像传感器、第二相机502的图像传感器、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、本文描述的另一图像传感器或它们的组合。操作2810的第二图像传感器的示例可以包括图像传感器106、相机206的图像传感器、第一相机501的图像传感器、第二相机502的图像传感器、第一图像传感器602、第二图像传感器604、图像传感器702、第一图像传感器802、第二图像传感器804、第一图像传感器902、第二图像传感器904、图像传感器1004、第一图像传感器1102、第二图像传感器1104、第一图像传感器1202、第二图像传感器1204、图像传感器2030、本文描述的另一图像传感器或它们的组合。
操作2805和操作2810的所述一个或多个光重定向元件的示例可以包括光重定向元件706、第一光重定向元件810、第二光重定向元件812、第一光重定向元件910、第二光重定向元件912、第一光重定向元件910的第一棱镜、第二光重定向元件912的第二棱镜、光重定向元件910的侧面918上的第一反射表面、第二光重定向元件912的侧面920上的第二反射表面、第一光重定向元件1110、第二光重定向元件1120、第一光重定向元件1110的第一棱镜、第二光重定向元件1120的第二棱镜、第一光重定向元件1110的侧面1112上的第一反射表面、第二光重定向元件1120的第二反射表面、光重定向元件1210、光重定向元件1210的第一棱镜1212、光重定向元件1210的第二棱镜1214、光重定向元件1210的第一棱镜1212的侧面1216上的第一反射表面、光重定向元件1210的第二棱镜1214的侧面1218上的第二反射表面、本文描述的另一棱镜、本文描述的另一反射表面、本文描述的另一光重定向元件或它们的组合。
在一些方面中,所述一个或多个光重定向元件包括第一反射表面。为了将第一光重定向为朝向第一图像传感器,所述一个或多个光重定向元件使用第一反射表面将第一光朝向第一图像传感器反射。在一些方面中,所述一个或多个光重定向元件包括第二反射表面。为了将第二光重定向为朝向第二图像传感器,所述一个或多个光重定向元件使用第二反射表面将第二光朝向第二图像传感器反射。在一些方面中,第一反射表面和第二反射表面相对于彼此固定。第一反射表面和第二反射表面中的每个反射表面的示例可以包括重定向元件706的反射表面、第一光重定向元件810的反射表面、第一光重定向元件910的侧面918上的反射表面、第一光重定向元件1110的侧面1112上的反射表面、光重定向元件1210的侧面1216上的反射表面、本文描述的另一反射表面或它们的组合。
在一些示例中,所述一个或多个光重定向元件可以包括第一棱镜和/或第二棱镜。为了将第一光从第一路径重定向到朝向第一图像传感器的经重定向的第一路径,所述一个或多个光重定向元件可以使用第一棱镜来折射第一光。第一棱镜可以在第一棱镜的表面和/或侧面(例如,侧面918、侧面920、侧面1112、侧面1216、侧面1218)中的至少一者上包括第一反射表面。为了将第二光从第二路径重定向到朝向第二图像传感器的经重定向的第二路径,所述一个或多个光重定向元件可以使用第二棱镜来折射第二光。第二棱镜可以在第二棱镜的表面和/或侧面(例如,侧面918、侧面920、侧面1112、侧面1216、侧面1218)中的至少一者上包括第二反射表面。第一棱镜和第二棱镜中的每个棱镜的示例可以包括第一光重定向元件910、第二光重定向元件912、第一光重定向元件910的第一棱镜、第二光重定向元件912的第二棱镜、第一光重定向元件1110、第二光重定向元件1120、第一光重定向元件1110的第一棱镜、第二光重定向元件1120的第二棱镜、光重定向元件1210的第一棱镜1212、光重定向元件1210的第二棱镜1214、本文描述的另一棱镜或它们的组合。
在一些方面中,第一路径包括在第一光进入第一棱镜并且第一棱镜折射第一光之前的第一光的路径。在一些方面中,第二路径包括在第二光进入第二棱镜并且第二棱镜折射第二光之前的第二光的路径。在图9的上下文中,第一光的第一路径可以是第一光在进入第一光重定向元件910的侧面922之前的路径。在图9的上下文中,第二光的第二路径可以是第二光在进入第二光重定向元件912的侧面924之前的路径。在图12A至图12C的上下文中,第一光的第一路径可以是第一光在进入光重定向元件1210的侧面1220之前的路径。在图12A至图12C的上下文中,第二光的第二路径可以是第二光在进入光重定向元件1210的侧面1220之前的路径。
在一些方面中,第一路径包括在第一光进入第一棱镜并且第一棱镜折射第一光之后和/或在所述一个或多个光重定向元件的第一反射表面反射第一光之前的第一光的路径。在一些方面中,第二路径包括在第二光进入第二棱镜并且第二棱镜折射第二光之后和/或在所述一个或多个光重定向元件的第二反射表面反射第二光之前的第二光的路径。在图9的上下文中,第一光的第一路径可以是第一光在进入第一光重定向元件910的侧面922之后和/或在反射离开第一光重定向元件910的侧面918处的反射表面之前的路径。在图9的上下文中,第二光的第二路径可以是第二光在进入第二光重定向元件912的侧面924之后和/或在反射离开第二光重定向元件912的侧面920处的反射表面之前的路径。在图12A至图12C的上下文中,第一光的第一路径可以是第一光在进入光重定向元件1210的侧面1220之后和/或在反射离开光重定向元件1210的侧面1216处的反射表面之前的路径。在图12A至图12C的上下文中,第二光的第二路径可以是第二光在进入光重定向元件1210的侧面1220之后和/或在反射离开光重定向元件1210的侧面1218处的反射表面之前的路径。
第一棱镜和第二棱镜可以相对于彼此固定。第一棱镜和/或第二棱镜可以相对于第一图像传感器和/或第二图像传感器固定。第一图像传感器和/或第二图像传感器可以相对于第一棱镜和/或第二棱镜固定。第一反射表面和第二反射表面可以相对于彼此固定。第一反射表面和/或第二反射表面可以相对于第一图像传感器和/或第二图像传感器固定。第一图像传感器和/或第二图像传感器可以相对于第一反射表面和/或第二反射表面固定。第一反射表面和/或第二反射表面可以相对于第一棱镜和/或第二棱镜固定。第一棱镜和/或第二棱镜可以相对于第一反射表面和/或第二反射表面固定。
在一些示例中,第一光可以在到达第一图像传感器之前穿过第一镜头。在一些示例中,第二光可以在到达第二图像传感器之前穿过第二镜头。第一镜头和/或第二镜头中的每个镜头的示例可以包括镜头104、相机206的镜头、第一相机501的镜头、第二相机502的镜头、第一相机镜头606、第二相机镜头608、相机镜头704、第一相机镜头806、第二相机镜头808、第一镜头906、第二镜头908、第一镜头1106、第二镜头1108、第一镜头1206、第二镜头1208、镜头1660、本文描述的另一镜头或它们的组合。
第一图像传感器可以被配置为并且可以基于在第一图像传感器处接收到第一光来捕获场景的第一图像。第二图像传感器可以被配置为并且可以基于在第二图像传感器处接收到第二光来捕获场景的第二图像。第一图像和/或第二图像中的每个图像的示例包括至少以下项:图3的第一图像帧、图3的第二图像帧、图4的第一图像帧、图4的第二图像帧、第一相机501捕获的图像、第二相机502捕获的图像、第一图像传感器602捕获的图像、第二图像传感器604捕获的图像、图像传感器702捕获的图像、第一图像传感器802捕获的图像、第二图像传感器804捕获的图像、第一图像传感器902捕获的图像、第二图像传感器904捕获的图像、图10B的第一图像、图10B的第二图像、图10C的第一图像、图10C的第二图像、第一图像传感器1102捕获的图像、第二图像传感器1104捕获的图像、第一图像传感器1202捕获的图像、第二图像传感器1204捕获的图像、操作1302的第一图像帧、操作1304的第二图像帧、操作1355的第一图像、操作1360的第二图像、操作1410的第一图像帧、操作1420的第二图像帧、操作1905的第一图像、操作1915的经视角校正的第一图像、图像捕获和处理系统2000捕获的图像、第一图像2110、第二图像2120、第一视角平面2115、第二视角平面2125、第一部分2140、第二部分2145、经修改的第一图像2170、经修改的第二图像2175、经修改的第一图像2180、经修改的第二图像2185、第一图像2210、第二图像2220、第一视角平面2215、第二视角平面2225、第一部分2260、第二部分2265、第一图像2310、第二图像2320、第一视角平面2315、第二视角平面2325、第一部分2360、第二部分2365、第一图像2510、第二图像2520、第一部分2515、第二部分2525、第一图像2610、第二图像2620、第一部分2615、第二部分2625、第一图像2710、第二图像2720、本文讨论的另一图像或它们的组合。
在一些方面,所述第一图像和所述第二图像是被同时捕获的。在一些方面中,第一光到达第一图像传感器并且第二光同时到达第二图像传感器。在一些方面中,第一光到达对应于第一图像传感器的第一镜头并且第二光同时到达对应于第二图像传感器的第二镜头。在一些方面中,使用所述一个或多个光重定向元件中的至少一个光重定向元件(例如,第一棱镜1212)来重定向(例如,折射、反射和/或以其他方式重定向)第一光,并且同时使用所述一个或多个光重定向元件中的至少一个光重定向元件(例如,第二棱镜1214)来重定向(例如,折射、反射和/或以其他方式重定向)第二光。
在一些方面中,所述一个或多个光重定向元件相对于第一图像传感器和第二图像传感器固定。在一些方面中,第一图像传感器的第一平坦表面面向第一方向,并且第二图像传感器的第二平坦表面面向平行于第一方向的第二方向。例如,在图8中,第一图像传感器802所面向的第一方向平行于并面向第二图像传感器804所面向的第二方向。在图9中,第一图像传感器902所面向的第一方向平行于并面向第二图像传感器904所面向的第二方向。在图11中,第一图像传感器1102所面向的第一方向平行于并面向第二图像传感器1104所面向的第二方向。在图12A至图12C中,第一图像传感器1202所面向的第一方向平行于并面向第二图像传感器1204所面向的第二方向。在一些方面中,成像系统可以使用亮度均匀性校正来修改第一图像和/或第二图像,例如,如图10D所示。
场景的部分的示例包括第一场景部分210与第二场景部分212之间的重叠、第二场景部分212与第三场景部分214之间的重叠、场景2105的部分2107、场景2245的部分2240、场景2345的部分2340、场景2545的部分2540、场景2645的部分2640、本文讨论的场景的另一部分或它们的组合。场景的部分的第一描绘和场景的部分的第二描绘中的每个描绘的示例可以包括场景2105的部分2107的第一描绘2150、场景2105的部分2107的第二描绘2155、场景2105的部分2107的第一描绘2151、场景2105的部分2107的第二描绘2156、场景2105的部分2107的第一描绘2190、场景2105的部分2107的第二描绘2195、场景2245的部分2240的第一描绘2230、场景2245的部分2240的第二描绘2235、场景2245的部分2240的第三描绘2270、场景2345的部分2340的第一描绘2330、场景2345的部分2340的第二描绘2335、场景2345的部分2340的第三描绘2370、场景2345的部分2340的第一描绘2405、放大视图2415、场景2345的部分2340的第二描绘2455、放大视图2465、场景2545的部分2540的描绘2535、场景2545的部分2540的描绘2575、场景2645的部分2640的描绘2635、场景2645的部分2640的描绘2675、本文讨论的场景的一部分的另一描绘或它们的组合。
在一些方面中,超过光重定向元件的第一路径的虚拟延伸与超过光重定向元件的第二路径的虚拟延伸相交。在图9中,在第一虚拟镜头926和第二虚拟镜头928的相交处示出了此类相交的示例。
在操作2815处,成像系统被配置为并且可以至少部分地修改第一图像和/或第二图像以将场景的所述一部分的第一描绘的第一属性与场景的所述一部分的第二描绘的第二属性对齐。
场景的所述一部分的第一描绘的第一属性是场景的所述一部分的第一描绘的亮度。在一些方面中,场景的所述一部分的第二描绘的第二属性是场景的所述一部分的第二描绘的亮度。为了将第一属性与第二属性对齐,成像系统可以将场景的所述一部分的第一描绘的亮度与场景的所述一部分的第二描绘的亮度对齐。在图26B中示出了成像系统将场景的所述一部分的第一描绘的亮度与场景的所述一部分的第二描绘的亮度对齐的示例。相比之下,在图26A中,场景的所述一部分的第一描绘的亮度与场景的所述一部分的第二描绘的亮度未对齐,如放大视图2632中突出显示的。
在一些方面中,场景的所述一部分的第一描绘的第一属性是场景的所述一部分的第一描绘的对比度。在一些方面中,场景的所述一部分的第二描绘的第二属性是场景的所述一部分的第二描绘的对比度。为了将第一属性与第二属性对齐,成像系统可以将场景的所述一部分的第一描绘的对比度与场景的所述一部分的第二描绘的对比度对齐。
在一些方面中,场景的所述一部分的第一描绘的第一属性是场景的所述一部分的第一描绘的色调。在一些方面中,场景的所述一部分的第二描绘的第二属性是场景的所述一部分的第二描绘的色调。为了将第一属性与第二属性对齐,成像系统可以将场景的所述一部分的第一描绘的色调与场景的所述一部分的第二描绘的色调对齐。
在一些方面中,场景的所述一部分的第一描绘的第一属性是场景的所述一部分的第一描绘的着色。在一些方面中,场景的所述一部分的第二描绘的第二属性是场景的所述一部分的第二描绘的着色。为了将第一属性与第二属性对齐,成像系统可以将场景的所述一部分的第一描绘的着色与场景的所述一部分的第二描绘的着色对齐。在图26B中示出了成像系统将场景的所述一部分的第一描绘的着色与场景的所述一部分的第二描绘的着色对齐的示例。相比之下,在图26A中,场景的所述一部分的第一描绘的着色与场景的所述一部分的第二描绘的着色未对齐,如放大视图2632中突出显示的。
在一些方面中,场景的所述一部分的第一描绘的第一属性是场景的所述一部分的第一描绘的饱和度。在一些方面中,场景的所述一部分的第二描绘的第二属性是场景的所述一部分的第二描绘的饱和度。为了将第一属性与第二属性对齐,成像系统可以将场景的所述一部分的第一描绘的饱和度与场景的所述一部分的第二描绘的饱和度对齐。
在一些方面中,场景的所述一部分的第一描绘的第一属性是场景的所述一部分的第一描绘的锐度。在一些方面中,场景的所述一部分的第二描绘的第二属性是场景的所述一部分的第二描绘的锐度。为了将第一属性与第二属性对齐,成像系统可以将场景的所述一部分的第一描绘的锐度与场景的所述一部分的第二描绘的锐度对齐。通过在场景的所述一部分中比较和使用与第一图像传感器相关联的对比度和与第二图像传感器相关联的对比度(例如,并且基于此调整自动聚焦),成像系统可以对齐锐度。
在一些方面中,场景的所述一部分的第一描绘的第一属性是场景的一或多个特征在场景的所述一部分的第一描绘中的定位。在一些方面中,场景的所述一部分的第二描绘的第二属性是场景的所述一或多个特征在场景的所述一部分的第二描绘中的定位。为了将第一属性与第二属性对齐,成像系统可以将所述一个或多个特征在场景的所述一部分的第一描绘中的定位与所述一个或多个特征在场景的所述一部分的第二描绘中的定位对齐。
所述一个或多个特征可以包括一个或多个图案。为了将场景的所述一部分的第一描绘的定位与场景的所述一部分的第二描绘的定位对齐,成像系统可以将图案的第一描绘在场景的所述一部分的第一描绘中的位置与图案的第二描绘在场景的所述一部分的第二描绘中的位置对齐。成像系统可以使用特征检测和/或特征提取和/或特征识别来检测场景的所述一部分的第一描绘中和/或场景的所述一部分的第二描绘中的所述一个或多个特征。成像系统可以使用图案检测和/或图案提取和/或图案识别来检测场景的所述一部分的第一描绘中和/或场景的所述一部分的第二描绘中的所述一个或多个图案。所述一个或多个特征和/或所述一个或多个图案的示例包括第一图像2310和第二图像2320中描绘的海报上的文本中的特征和/或图案、放大视图2415和放大视图2465中的红色框中的“g”和“h”字符、放大视图2532中突出显示的房子屋顶、放大视图2572中突出显示的房子屋顶、放大视图2532中突出显示的垃圾桶、放大视图2572中突出显示的垃圾桶、本文讨论的其他特征或图案或它们的组合。
成像系统可以在场景的所述一部分的第一描绘中识别图案的第一描绘。成像系统可以在场景的所述一部分的第二描绘中识别图案的第二描绘。成像系统可以使用归一化互相关(NCC)在场景的所述一部分的第一描绘中识别图案的第一描绘。成像系统可以使用归一化互相关(NCC)在场景的所述一部分的第二描绘中识别图案的第二描绘。成像系统可以使用内插将所述一个或多个特征在场景的所述一部分的第一描绘中的定位与所述一个或多个特征在场景的所述一部分的第二描绘中的定位对齐。例如,成像系统可以对所识别图案之间的区域使用内插。成像系统可以在场景的所述一部分的第一描绘中的图案匹配场景的所述一部分的第二描绘中的多个图案的情况下使用内插,反之亦然。成像系统可以在场景的所述一部分的第一描绘中的图案在充足置信度下(例如,在小于最小置信度阈值的置信度下)不匹配场景的所述一部分的第二描绘中的任何图案的情况下使用内插。成像系统可以在场景的所述一部分的第二描绘中的图案在充足置信度下(例如,在小于最小置信度阈值的置信度下)不匹配场景的所述一部分的第一描绘中的任何图案的情况下使用内插。
在一些方面中,场景的所述一部分的第一描绘的第一属性是与第一图像传感器相关联的用于捕获第一图像的聚焦设置。在一些方面中,场景的所述一部分的第二描绘的第二属性是与第二图像传感器相关联的用于捕获第二图像的聚焦设置。在一些方面中,成像系统可以将与第一图像传感器相关联的用于使用自动聚焦来捕获第一图像的聚焦设置设置为聚焦于场景的所述一部分上或场景中在场景的所述一部分的阈值距离内的点上。在一些方面中,成像系统可以将与第二图像传感器相关联的用于使用自动聚焦来捕获第二图像的聚焦设置设置为聚焦于场景的所述一部分上或场景中在场景的所述一部分的阈值距离内的点上。
在一些方面中,场景的所述一部分的第一描绘的第一属性是与第一图像传感器相关联的用于捕获第一图像的曝光设置。在一些方面中,场景的所述一部分的第二描绘的第二属性是与第二图像传感器相关联的用于捕获第二图像的曝光设置。在一些方面中,成像系统可以基于场景的所述一部分或场景中在场景的所述一部分的阈值距离内的点来设置与第一图像传感器相关联的用于使用自动曝光来捕获第一图像的曝光设置。在一些方面中,成像系统可以基于场景的所述一部分或场景中在场景的所述一部分的阈值距离内的点来设置与第二图像传感器相关联的用于使用自动曝光来捕获第二图像的曝光设置。例如,成像系统可以通过调整与第一图像传感器相关联的曝光设置和/或通过调整与第二图像传感器相关联的曝光设置而将场景的所述一部分的第一描绘的亮度和/或着色与场景的所述一部分的第二描绘的亮度和/或着色对齐,如图26B所示(与图26A相比)。
在一些方面中,场景的所述一部分的第一描绘的第一属性是与第一图像传感器相关联的用于捕获第一图像的白平衡设置。在一些方面中,场景的所述一部分的第二描绘的第二属性是与第二图像传感器相关联的用于捕获第二图像的白平衡设置。在一些方面中,成像系统可以基于场景的所述一部分或场景中在场景的所述一部分的阈值距离内的点来设置与第一图像传感器相关联的用于使用自动白平衡来捕获第一图像的白平衡设置。在一些方面中,成像系统可以基于场景的所述一部分或场景中在场景的所述一部分的阈值距离内的点来设置与第二图像传感器相关联的用于使用自动白平衡来捕获第二图像的白平衡设置。例如,成像系统可以通过调整与第一图像传感器相关联的白平衡设置和/或通过调整与第二图像传感器相关联的白平衡设置而将场景的所述一部分的第一描绘的亮度和/或着色与场景的所述一部分的第二描绘的亮度和/或着色对齐,如图26B所示(与图26A相比)。
为了修改第一图像,成像系统可以以基于距拼接线的距离而逐渐减小的梯度强度对第一图像的至少一部分应用校正。为了修改第二图像,成像系统可以以基于距拼接线的距离而逐渐减小的梯度强度对第二图像的至少一部分应用校正。在第一映射2715、第二映射2725、第一映射2765和/或第二映射2775中示出了基于距拼接线的距离而逐渐减小的梯度强度的示例。
在操作2820处,成像系统被配置为并且可以从第一图像和第二图像生成组合图像,其中组合图像包括比第一图像的第一视野和/或第二图像的第二视野更大的组合图像视野。
在一些方面中,成像系统可以使用视角畸变校正来修改第一图像和/或第二图像。成像系统可以被配置为响应于使用视角畸变校正来修改第一图像和第二图像中的至少一者而从第一图像和第二图像生成组合图像。视角畸变校正的示例可以包括视角畸变校正1022、操作1365的视角畸变校正、平坦视角畸变校正1515、弯曲视角畸变校正1525、平坦投影变换像素映射1620、视角畸变校正2177、图22A至图22B的视角畸变校正、图23A至图23B的视角畸变校正、本文描述的另一类型的视角畸变校正或它们的组合。在一些方面中,为了使用视角畸变校正来修改第一图像和/或第二图像,成像系统可以使用视角畸变校正将第一图像从描绘第一视角修改为描绘公共视角,并且可以使用视角畸变校正将第二图像从描绘第二视角修改为描绘公共视角。公共视角可以在第一视角和第二视角之间。第一视角和第二视角中的每个视角的示例可以包括与第一原始图像平面1614、第二原始图像平面1616、平坦图像平面1665、本文讨论的另一视角平面或图像平面或它们的组合中的每一者相对应的视角。公共视角可以例如与经平坦视角校正的图像平面1625、经弯曲视角校正的图像平面1630或它们的组合相对应。
为了使用视角畸变校正来修改第一图像和/或第二图像,成像系统可以识别第一图像和/或第二图像的图像数据中对一个或多个对象的描绘,并且可以至少部分地通过基于对所述一个或多个对象的描绘而投影图像数据来修改图像数据。
在一些方面中,成像系统可以至少部分地通过以下操作从第一图像和第二图像生成组合图像:将第一图像的第一部分与第二图像的第二部分对齐,以及基于第一图像的第一部分与第二图像的第二部分对齐,将第一图像和第二图像拼接在一起。
在一些方面中,为了从第一图像和第二图像生成组合图像,成像系统可以将第一图像的第一部分与第二图像的第二部分对齐,并且基于第一图像的第一部分与第二图像的第二部分对齐,将第一图像和第二图像拼接在一起。第一图像的第一部分可以包括场景的所述一部分的第一描绘。第二图像的第二部分可以包括场景的所述一部分的第二描绘。
在一些方面中,成像系统可以包括:用于接收由第一图像传感器捕获的场景的第一图像的装置,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向第一图像传感器的经重定向的第一路径,并且其中第一图像传感器被配置为基于在第一图像传感器处接收到第一光来捕获第一包括,第一图像包括场景的一部分的第一描绘;用于接收由第二图像传感器捕获的场景的第二图像的装置,其中所述一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向第二图像传感器的经重定向的第二路径,并且其中第二图像传感器被配置为基于在第二图像传感器处接收到第二光来捕获第二图像,第二图像包括场景的所述一部分的第二描绘;用于至少部分地修改第一图像或第二图像中的至少一者以将场景的所述一部分的第一描绘的第一属性与场景的所述一部分的第二描绘的第二属性对齐的装置;和用于从第一图像和第二图像生成组合图像的装置,其中组合图像包括比第一图像的第一视野或第二图像的第二视野中的至少一者更大的组合图像视野。
在一些示例中,用于接收第一图像的装置可以包括第一图像传感器1202、第二图像传感器1204、图像传感器2202、图像传感器2204、本文描述的另一图像传感器或它们的组合。在一些示例中,用于接收第二图像的装置可以包括第一图像传感器1202、第二图像传感器1204、图像传感器2202、图像传感器2204、本文描述的另一图像传感器或它们的组合。在一些示例中,用于修改第一图像或第二图像中的至少一者的装置可以包括ISP 512、处理器504、计算系统2900、处理器2910、本文讨论的另一处理器或它们的组合。在一些示例中,用于生成组合图像的装置可以包括ISP 512、处理器504、计算系统2900、处理器2910、本文讨论的另一处理器或它们的组合。
图29是示出用于实现本技术的某些方面的系统的示例的示图。具体地,图29示出了计算系统2900的示例,其可以是例如构成内部计算系统、远程计算系统、相机或其任何部件的任何计算设备,其中系统的部件使用连接2905彼此通信。连接2905可以是使用总线的物理连接,或者是到处理器2910中的直接连接,诸如在芯片组架构中。连接2905还可以是虚拟连接、联网连接或逻辑连接。
在一些方面中,计算系统2900是分布式系统,其中本公开中描述的功能可以分布在一个数据中心、多个数据中心、对等网络等内。在一些方面中,所描述的系统部件中的一者或多者表示各自执行部件被描述用于的一些或全部功能的许多此类部件。在一些方面,各组件可以是物理或虚拟设备。
示例性系统2900包括至少一个处理单元(CPU或处理器)2910和连接2905,该连接将包括系统存储器2915(诸如只读存储器(ROM)2920和随机存取存储器(RAM)2925)的各种系统部件耦合到处理器2910。计算系统2900可以包括与处理器2910直接连接、紧邻该处理器或集成为该处理器的一部分的高速存储器的高速缓存2912。
处理器2910可以包括任何通用处理器和硬件服务或软件服务,诸如存储在存储设备2930中的服务2932、2934和2936,其被配置为控制处理器2910以及专用处理器,在专用处理器中,软件指令被并入到实际的处理器设计中。处理器2910可以基本上是完全独立的计算系统,包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称或非对称的。
为了实现用户交互,计算系统2900包括可以表示任何数量的输入机制的输入设备2945,诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等。计算系统2900还可以包括输出设备2935,其可以是许多输出机制中的一种或多种。在一些情况下,多模式系统可以使用户能够提供多种类型的输入/输出以与计算系统2900通信。计算系统2900可以包括通信接口2940,其通常可以支配和管理用户输入和系统输出。通信接口可执行或促成使用有线和/或无线收发机接收和/或传输有线或无线通信,包括利用音频插孔/插头、话筒插孔/插头、通用串行总线(USB)端口/插头、端口/插头、以太网端口/插头、光纤端口/插头、专用有线端口/插头、/>无线信号传输、低能量(BLE)无线信号传输、/>无线信号传输、射频标识(RFID)无线信号传输、近场通信(NFC)无线信号传输、专用短程通信(DSRC)无线信号传输、802.11Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、微波接入全球互通(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网(PSTN)信号传输、综合服务数字网(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网络无线信号传输、自组织网络信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外光信号传输、沿电磁频谱的无线信号传输、或其某种组合的那些通信。通信接口2940还可以包括一个或多个全球导航卫星系统(GNSS)接收机或收发机,其用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收到一个或多个信号而确定计算系统2900的位置。GNSS系统包括但不限于美国的全球定位系统(GPS)、俄罗斯的全球导航卫星系统(GLONASS)、中国的北斗导航卫星系统(BDS)以及欧洲的伽利略(Galileo)GNSS。对在任何特定硬件布置上进行操作不存在任何限制,并且因此可以容易地替换此处的基础特征以随着它们被开发而获得改进的硬件或固件布置。
存储设备2930可以是非易失性和/或非暂态和/或计算机可读存储器设备,并且可以是硬盘或可以存储能够由计算机访问的数据的其他类型的计算机可读介质,诸如磁带盒、闪存卡、固态存储器设备、数字通用光盘、盒式磁带、软盘、柔性盘、硬盘、磁带、磁条/条带、任何其他磁存储介质、闪存、忆阻器存储器、任何其他固态存储器、压缩光盘只读存储器(CD-ROM)光盘、可重写压缩光盘(CD)光盘、数字视频光盘(DVD)光盘、蓝光光盘(BDD)光盘、全息光盘、另一光学介质、安全数字(SD)卡、微安全数字(microSD)卡、卡、智能卡芯片、EMV芯片、订户身份模块(SIM)卡、迷你/微/纳米/微微SIM卡、另一集成电路(IC)芯片/卡、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存EPROM(FLASHEPROM)、高速缓存存储器(L1/L2/L3/L4/L5/L#)、电阻随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移矩RAM(STT-RAM)、另一存储器芯片或盒和/或它们的组合。
存储设备2930可以包括软件服务、服务器、服务等,当定义这种软件的代码由处理器2910执行时,其使系统执行功能。在一些方面中,执行特定功能的硬件服务可以包括存储在与必要的硬件部件(诸如处理器2910、连接2905、输出设备2935等)连接的计算机可读介质中的软件部件以执行功能。
如本文中所使用,术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、含有或携载指令和/或数据的各种其他介质。计算机可读介质可以包括非暂态介质,该非暂态介质中可以存储数据并且不包括无线地或在有线连接上传播的载波和/或暂态电子信号。非暂态介质的示例可以包括但不限于磁盘或磁带、诸如压缩盘(CD)或数字多功能盘(DVD)的光学存储介质、闪存、存储器或存储器设备。计算机可读介质可以在其上存储有代码和/或机器可执行指令,其可以表示过程、函数、子程序、例程、子例程、模块、软件包、类,或者指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容,代码段可以耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以使用任何合适的手段来传递、转发或传送,这些手段包括存储器共享、消息传递、令牌传递、网络传输等。
在一些方面,计算机可读存储设备、介质和存储器可包括包含比特流等的线缆或无线信号。然而,在被提及时,非瞬态计算机可读存储介质明确排除诸如能量、载波信号、电磁波以及信号本身等介质。
在以上描述中提供了具体细节以提供对本文提供的方面和示例的详尽理解。然而,本领域普通技术人员将理解,没有这些具体细节也可以实践这些方面。为了清楚说明,在一些情况下,本技术可以被呈现为包括单独的功能块,包括包含设备、设备部件、以软件或硬件和软件的组合体现的方法中的步骤或例程的功能块。可以使用除了附图中所示和/或本文中所描述的那些之外的额外部件。例如,电路、系统、网络、过程和其他组件可以用框图形式示为组件以避免使这些方面湮没在不必要的细节中。在其他实例中,可以在没有必要的细节的情况下示出公知的电路、过程、算法、结构和技术以避免混淆各方面。
个体方面在上文可被描述为过程或方法,该过程或方法被描绘为流程图、流程图示、数据流图、结构图或框图。虽然流程图可以将操作描述为顺序过程,但操作中的许多操作可以并发、并发地或同时地执行。另外,可以重新排列操作的次序。当过程的操作完成时过程被终结,但是过程可具有附图中未包括的附加步骤。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时,它的终止可以对应于该函数返回调用方函数或主函数。
根据上述示例的过程和方法可使用被存储的计算机可执行指令或以其他方式从计算机可读介质可用的计算机可执行指令来实施。此类指令可包括例如致使或以其他方式将通用计算机、专用计算机或处理设备配置为执行某一功能或功能群组的指令和数据。所使用的计算机资源的部分可通过网络访问。计算机可执行指令可以是例如二元、中间格式指令,诸如汇编语言、固件、源代码等。可以用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、具有非易失性存储器的USB设备、联网存储设备等。
实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合,并且可以采取多种形状因子中的任何形状因子。当以软件、固件、中间件或微代码实施时,用于执行必要任务的程序代码或代码段(例如,计算机程序产品)可被存储在计算机可读或机器可读介质中。处理器可执行必要任务。形状因子的典型示例包括膝上型电脑、智能电话、移动电话、平板设备或其他小形状因子个人计算机、个人数字助理、机架安装设备、独立设备等。本文中描述的功能也可以被体现在在外围设备或内插式卡中。借由进一步的示例,此类功能性还可被实施在单个设备上执行的不同芯片或不同过程当中的电路板上。
指令、用于传达这种指令的介质、用于执行它们的计算资源以及用于支持这种计算资源的其他结构是用于提供本公开中描述的功能的示例手段。
在上述描述中,本申请的各方面参考其特定方面来描述,但是本领域技术人员将认识到本申请不限于此。因而,尽管本申请的解说性方面已经在本文中详细描述,但是要理解,各个发明概念可以以其他各种方式被实施和采用,并且所附权利要求书不旨在被解释为包括这些变型,除非受到现有技术的限制。上述应用的各种特征和方面可以单独地或联合地使用。此外,各方面可以在超出本文所描述的那些环境和应用的任何数目的环境和应用中来利用而不背离本说明书的更宽泛的精神和范围。因此,说明书和附图应当被认为是说明性的而非限制性的。出于说明的目的,按照特定顺序来描述各方法。应当领会,在替换方面中,各方法可以按与所描述的不同顺序来执行。
普通技术人员将理解,本文中使用的小于(“<”)和大于(“>”)符号或术语可以在不脱离本说明书的范围的情况下替换为小于或等于(“≤”)和大于或等于(“≥”)符号。
在部件被描述为“被配置为”执行某些操作的情况下,这样的配置可以例如通过设计电子电路或其他硬件以执行操作、通过编程可编程电子电路(例如,微处理器或其他合适的电子电路)以执行操作、或其任何组合来实现。
短语“耦合到”是指任何部件直接或间接物理连接到另一部件,和/或任何部件直接或间接与另一部件进行通信(例如,通过有线或无线连接和/或其他合适的通信接口连接到另一部件)。
记载集合“中的至少一个”和/或集合中的“一个或多个”的权利要求语言或其他语言指示集合中的一个成员或集合中的多个成员(以任何组合)满足权利要求。例如,记载“A和B中的至少一个”或者“A或B中的至少一个”的权利要求语言意指A、B或A和B。在另一示例中,记载“A、B和C中的至少一个”或者“A、B或C中的至少一个”的权利要求语言意指A、B、C、或A和B、或A和C、或B和C、A和B和C。语言集合“中的至少一个”和/或集合中的“一个或多个”不将集合限制为集合中所列的项目。例如,记载“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言可以意指A、B、或A和B,并且可以另外包括在A和B的集合中未列出的项目。
结合本文公开的方面所描述的各种解说性逻辑框、模块、电路、和算法步骤可被实现为电子硬件、计算机软件、固件、或其组合。为了清楚地例示硬件和软件的这种可互换性,上面已经在其功能性方面大致描述了各种说明性组件、框、模块、电路和步骤。这种功能性被实施为硬件还是软件取决于特定的应用和加诸于整个系统的设计约束。技术人员可针对每种特定应用以不同方式来实现所描述的功能性,但此类实现决策不应被解读为致使脱离本申请的范围。
本文中描述的技术还可以被实施在电子硬件、计算机软件、固件或其任何组合中。此类技术可以被实施在多种设备中的任何设备中,多种设备诸如通用计算机、无线通信设备手持机、或具有多种用途的集成电路设备,多种用途包括在无线通信设备手持机和其他设备中的应用。被描述为模块或部件的任何特征可以一起被实施在集成逻辑设备中或分开地实施为分立但可互操作的逻辑设备。如果以软件来实现,则这些技术可以至少部分地由包括程序代码的计算机可读数据存储介质来实现,这些程序代码包括指令,这些指令在被执行时执行上述方法中的一者或多者。计算机可读数据存储介质可形成计算机程序产品的一部分,其可包括封装材料。计算机可读介质可以包括存储器或数据存储介质,诸如随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、磁性或光学数据存储介质和诸如此类。另外地或可替代地,技术可以至少部分地由计算机可读通信介质来实现,该计算机可读通信介质承载或传送以指令或数据结构形式的且可由计算机存取、读取和/或执行的程序代码,诸如传播的信号或波。
程序代码可以由处理器执行,所述处理器可以包括含一个或多个处理器,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或分立逻辑电路。这样的处理器可被配置为执行本公开中所描述的技术中的任何技术。通用处理器可以是微处理器;但在替换方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可被实施为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器,或任何其他这样配置。因此,如本文中所使用的术语“处理器”可以指前述结构中的任何结构、前述结构的任何组合或适合于实施本文中所描述的技术的任何其他结构或装置。另外,在一些方面,本文中所描述的功能性可提供在被配置为用于编码和解码的专用软件模块或硬件模块内,或并入组合的视频编码器-解码器(编解码器)中。
如上所述,尽管公开内容示出了说明性方面,但应当指出的是,在不脱离所附权利要求书的范围的情况下,在本文中可以进行各种变化和修改。此外,除非另有明确说明,否则根据本文中描述的方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序执行。此外,虽然可以用单数形式来描述或主张元素,但除非明确声明限于单数形式,否则复数也是预期的。因此,本公开内容不限于图示示例,并且用于执行本文中描述的功能的任何单元包括在本公开内容的方面中。
本公开的说明性方面包括:
方面1.一种用于成像的装置,所述装置包括:存储器;和一个或多个处理器,所述一个或多个处理器被配置为:接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向所述第一图像传感器的经重定向的第一路径,并且其中所述第一图像传感器被配置为基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像,所述第一图像包括所述场景的一部分的第一描绘;接收由第二图像传感器捕获的所述场景的第二图像,其中所述一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向所述第二图像传感器的经重定向的第二路径,并且其中所述第二图像传感器被配置为基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像,所述第二图像包括所述场景的所述一部分的第二描绘;至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的第一属性与所述场景的所述一部分的所述第二描绘的第二属性对齐;以及从所述第一图像和所述第二图像生成组合图像,其中所述组合图像包括比所述第一图像的第一视野或所述第二图像的第二视野中的至少一者更大的组合图像视野。
方面2.根据方面1所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的亮度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的亮度。
方面3.根据方面1至2中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的对比度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的对比度。
方面4.根据方面1至3中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的色调,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的色调。
方面5.根据方面1至4中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的着色,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的着色。
方面6.根据方面1至5中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的饱和度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的饱和度。
方面7.根据方面1至6中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的锐度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的锐度。
方面8.根据方面1至7中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的一个或多个特征在所述第一图像中的所述场景的所述一部分的所述第一描绘中的定位,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一个或多个特征在所述第二图像中的所述场景的所述一部分的所述第二描绘中的定位。
方面9.根据方面1至8中任一项所述的装置,其中所述一个或多个处理器被配置为将图案的第一描绘在所述场景的所述一部分的所述第一描绘中的位置与所述图案的第二描绘在所述场景的所述一部分的所述第二描绘中的位置对齐。
方面10.根据方面9所述的装置,其中所述一个或多个处理器被配置为:在所述场景的所述一部分的所述第一描绘中识别所述图案的所述第一描绘;以及在所述场景的所述一部分的所述第二描绘中识别所述图案的所述第二描绘。
方面11.根据方面10所述的装置,其中,为了在所述场景的所述一部分的所述第一描绘中识别所述图案的所述第一描绘以及为了在所述场景的所述一部分的所述第二描绘中识别所述图案的所述第二描绘,所述一个或多个处理器被配置为使用归一化互相关(NCC)。
方面12.根据方面8至11中任一项所述的装置,其中所述一个或多个处理器被配置为使用内插将所述一个或多个特征在所述场景的所述一部分的所述第一描绘中的所述定位与所述一个或多个特征在所述场景的所述一部分的所述第二描绘中的所述定位对齐。
方面13.根据方面1至12中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的聚焦设置,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的聚焦设置。
方面14.根据方面1至13中任一项所述的装置,其中所述一个或多个处理器被配置为:将与所述第一图像传感器相关联的用于使用自动聚焦来捕获所述第一图像的聚焦设置设置为聚焦于所述场景的所述一部分上;以及将与所述第二图像传感器相关联的用于使用自动聚焦来捕获所述第二图像的聚焦设置设置为聚焦于所述场景的所述一部分上。
方面15.根据方面1至14中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的曝光设置,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的曝光设置。
方面16.根据方面1至15中任一项所述的装置,其中所述一个或多个处理器被配置为:基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动曝光来捕获所述第一图像的曝光设置;以及基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动曝光来捕获所述第二图像的曝光设置。
方面17.根据方面1至16中任一项所述的装置,其中所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的白平衡设置,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的白平衡设置。
方面18.根据方面1至17中任一项所述的装置,其中所述一个或多个处理器被配置为:基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动白平衡来捕获所述第一图像的白平衡设置;以及基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动白平衡来捕获所述第二图像的白平衡设置。
方面19.根据方面1至18中任一项所述的装置,其中:为了修改所述第一图像,所述一个或多个处理器被配置为以基于距拼接线的距离而逐渐减小的梯度强度对所述第一图像的至少一部分应用校正;并且为了修改所述第二图像,所述一个或多个处理器被配置为以基于距拼接线的距离而逐渐减小的梯度强度对所述第二图像的至少一部分应用所述校正。
方面20.根据方面1至19中任一项所述的装置,其中所述一个或多个处理器被配置为:使用视角畸变校正来修改所述第一图像或所述第二图像中的至少一者;以及响应于使用所述视角畸变校正来修改所述第一图像和所述第二图像中的所述至少一者而从所述第一图像和所述第二图像生成所述组合图像。
方面21.根据方面20所述的装置,其中所述一个或多个处理器被配置为:在使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者之后,至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的所述第一属性与所述场景的所述一部分的所述第二描绘的所述第二属性对齐。
方面22.根据方面20至21中任一项所述的装置,其中,为了使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者,所述一个或多个处理器被配置为:使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角;以及使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角,其中所述公共视角在所述第一视角与所述第二视角之间。
方面23.根据方面20至22中任一项所述的装置,其中,为了使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者,所述一个或多个处理器被配置为:识别所述第一图像或所述第二图像中的至少一者的图像数据中对一个或多个对象的描绘;以及至少部分地通过基于对所述一个或多个对象的所述描绘而投影所述图像数据来修改所述图像数据。
方面24.根据方面1至23中任一项所述的装置,其中,为了从所述第一图像和所述第二图像生成所述组合图像,所述一个或多个处理器被配置为:将所述第一图像的第一部分与所述第二图像的第二部分对齐;以及基于所述第一图像的所述第一部分和所述第二图像的所述第二部分对齐,将所述第一图像和所述第二图像拼接在一起。
方面25.根据方面24所述的装置,其中所述第一图像的所述第一部分包括所述场景的所述一部分的所述第一描绘,其中所述第二图像的所述第二部分包括所述场景的所述一部分的所述第二描绘。
方面26.根据方面1至25中任一项所述的装置,其中超过所述一个或多个光重定向元件的所述第一路径的虚拟延伸与超过所述一个或多个光重定向元件的所述第二路径的虚拟延伸相交。
方面27.根据方面1至26中任一项所述的装置,还包括:所述第一图像传感器;所述第二图像传感器;和所述一个或多个光重定向元件。
方面28.根据方面1至27中任一项所述的装置,其中:所述一个或多个光重定向元件包括第一反射表面,其中,为了将所述第一光重定向为朝向所述第一图像传感器,所述一个或多个光重定向元件使用所述第一反射表面将所述第一光朝向所述第一图像传感器反射;并且所述一个或多个光重定向元件包括第二反射表面,其中,为了将所述第二光重定向为朝向所述第二图像传感器,所述一个或多个光重定向元件使用所述第二反射表面将所述第二光朝向所述第二图像传感器反射。
方面29.根据方面28所述的装置,其中所述第一反射表面和所述第二反射表面相对于彼此固定。
方面30.根据方面1至29中任一项所述的装置,其中:所述一个或多个光重定向元件包括第一棱镜,其中,为了将所述第一光重定向为朝向所述第一图像传感器,所述一个或多个光重定向元件使用所述第一棱镜来折射所述第一光;并且所述一个或多个光重定向元件包括第二棱镜,其中,为了将所述第二光重定向为朝向所述第二图像传感器,所述一个或多个光重定向元件使用所述第二棱镜来折射所述第二光。
方面31.根据方面30所述的装置,其中所述第一路径包括在所述第一光进入所述第一棱镜并且所述第一棱镜折射所述第一光之前的所述第一光的路径,其中所述第二路径包括在所述第二光进入所述第二棱镜并且所述第二棱镜折射所述第二光之前的所述第二光的路径。
方面32.根据方面31所述的装置,其中所述第一路径包括在所述第一光进入所述第一棱镜并且所述第一棱镜折射所述第一光之后但是在所述一个或多个光重定向元件的第一反射表面反射所述第一光之前的所述第一光的路径,其中所述第二路径包括在所述第二光进入所述第二棱镜并且所述第二棱镜折射所述第二光之后但是在所述一个或多个光重定向元件的第二反射表面反射所述第二光之前的所述第二光的路径。
方面33.根据方面30至32中任一项所述的装置,其中所述第一棱镜和所述第二棱镜相对于彼此固定。
方面34.根据方面1至33中任一项所述的装置,其中所述一个或多个光重定向元件相对于所述第一图像传感器和所述第二图像传感器固定。
方面35.根据方面1至34中任一项所述的装置,其中所述第一图像和所述第二图像是被同时捕获的,并且其中所述第一光到达所述第一图像传感器并且所述第二光同时到达所述第二图像传感器。
方面36.根据方面1至35中任一项所述的装置,其中所述第一图像传感器的第一平坦表面面向第一方向,其中所述第二图像传感器的第二平坦表面面向平行于所述第一方向的第二方向。
方面37.根据方面1至36中任一项所述的装置,其中所述一个或多个处理器被配置为:使用亮度均匀性校正来修改所述第一图像或所述第二图像中的至少一者。
方面38.根据方面1至37中任一项所述的装置,还包括:捕获所述第一图像的所述第一图像传感器。
方面39.根据方面1至38中任一项所述的装置,还包括:捕获所述第二图像的所述第二图像传感器。
方面40.根据方面1至39中任一项所述的装置,还包括:所述一个或多个光重定向元件。
方面41.一种用于成像的方法,所述方法包括:接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向所述第一图像传感器的经重定向的第一路径,并且其中所述第一图像传感器被配置为基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像,所述第一图像包括所述场景的一部分的第一描绘;接收由第二图像传感器捕获的所述场景的第二图像,其中所述一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向所述第二图像传感器的经重定向的第二路径,并且其中所述第二图像传感器被配置为基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像,所述第二图像包括所述场景的所述一部分的第二描绘;至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的第一属性与所述场景的所述一部分的所述第二描绘的第二属性对齐;以及从所述第一图像和所述第二图像生成组合图像,其中所述组合图像包括比所述第一图像的第一视野或所述第二图像的第二视野中的至少一者更大的组合图像视野。
方面42.根据方面41所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的亮度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的亮度。
方面43.根据方面41至42中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的对比度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的对比度。
方面44.根据方面41至43中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的色调,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的色调。
方面45.根据方面41至44中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的着色,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的着色。
方面46.根据方面41至45中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的饱和度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的饱和度。
方面47.根据方面41至46中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的锐度,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的锐度。
方面48.根据方面41至47中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的一个或多个特征在所述第一图像中的所述场景的所述一部分的所述第一描绘中的定位,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一个或多个特征在所述第二图像中的所述场景的所述一部分的所述第二描绘中的定位。
方面49.根据方面41至48中任一项所述的方法,还包括:将图案的第一描绘在所述场景的所述一部分的所述第一描绘中的位置与所述图案的第二描绘在所述场景的所述一部分的所述第二描绘中的位置对齐。
方面50.根据方面49所述的装置,还包括:在所述场景的所述一部分的所述第一描绘中识别所述图案的所述第一描绘;以及在所述场景的所述一部分的所述第二描绘中识别所述图案的所述第二描绘。
方面51.根据方面50所述的装置,其中在所述场景的所述一部分的所述第一描绘中识别所述图案的所述第一描绘以及在所述场景的所述一部分的所述第二描绘中识别所述图案的所述第二描绘包括使用归一化互相关(NCC)。
方面52.根据方面48至51中任一项所述的方法,还包括:使用内插将所述一个或多个特征在所述场景的所述一部分的所述第一描绘中的所述定位与所述一个或多个特征在所述场景的所述一部分的所述第二描绘中的所述定位对齐。
方面53.根据方面41至52中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的聚焦设置,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的聚焦设置。
方面54.根据方面41至53中任一项所述的装置,还包括:将与所述第一图像传感器相关联的用于使用自动聚焦来捕获所述第一图像的聚焦设置设置为聚焦于所述场景的所述一部分上;以及将与所述第二图像传感器相关联的用于使用自动聚焦来捕获所述第二图像的聚焦设置设置为聚焦于所述场景的所述一部分上。
方面55.根据方面41至54中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的曝光设置,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的曝光设置。
方面56.根据方面41至55中任一项所述的方法,还包括:基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动曝光来捕获所述第一图像的曝光设置;以及基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动曝光来捕获所述第二图像的曝光设置。
方面57.根据方面41至56中任一项所述的方法,其中所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的白平衡设置,并且其中所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的白平衡设置。
方面58.根据方面41至57中任一项所述的方法,还包括:基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动白平衡来捕获所述第一图像的白平衡设置;以及基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动白平衡来捕获所述第二图像的白平衡设置。
方面59.根据方面41至58中任一项所述的方法,其中修改所述第一图像包括以基于距拼接线的距离而逐渐减小的梯度强度对所述第一图像的至少一部分应用校正;并且修改所述第二图像包括以基于距拼接线的距离而逐渐减小的梯度强度对所述第二图像的至少一部分应用所述校正。
方面60.根据方面41至59中任一项所述的方法,还包括:使用视角畸变校正来修改所述第一图像或所述第二图像中的至少一者;以及响应于使用所述视角畸变校正来修改所述第一图像和所述第二图像中的所述至少一者而从所述第一图像和所述第二图像生成所述组合图像。
方面61.根据方面60所述的方法,还包括:在使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者之后,至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的所述第一属性与所述场景的所述一部分的所述第二描绘的所述第二属性对齐。
方面62.根据方面60至61中任一项所述的方法,其中使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者包括使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角;以及使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角,其中所述公共视角在所述第一视角与所述第二视角之间。
方面63.根据方面60至62中任一项所述的方法,其中使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者包括识别所述第一图像或所述第二图像中的至少一者的图像数据中对一个或多个对象的描绘;以及至少部分地通过基于对所述一个或多个对象的所述描绘而投影所述图像数据来修改所述图像数据。
方面64.根据方面41至63中任一项所述的方法,其中从所述第一图像和所述第二图像生成所述组合图像包括将所述第一图像的第一部分与所述第二图像的第二部分对齐;以及基于所述第一图像的所述第一部分和所述第二图像的所述第二部分对齐,将所述第一图像和所述第二图像拼接在一起。
方面65.根据方面64所述的方法,其中所述第一图像的所述第一部分包括所述场景的所述一部分的所述第一描绘,其中所述第二图像的所述第二部分包括所述场景的所述一部分的所述第二描绘。
方面66.根据方面41至65中任一项所述的方法,其中超过所述一个或多个光重定向元件的所述第一路径的虚拟延伸与超过所述一个或多个光重定向元件的所述第二路径的虚拟延伸相交。
方面67.根据方面41至66中任一项所述的方法,还包括:所述第一图像传感器;所述第二图像传感器;和所述一个或多个光重定向元件。
方面68.根据方面41至67中任一项所述的方法,其中:所述一个或多个光重定向元件包括第一反射表面,其中,为了将所述第一光重定向为朝向所述第一图像传感器,所述一个或多个光重定向元件使用所述第一反射表面将所述第一光朝向所述第一图像传感器反射;并且所述一个或多个光重定向元件包括第二反射表面,其中,为了将所述第二光重定向为朝向所述第二图像传感器,所述一个或多个光重定向元件使用所述第二反射表面将所述第二光朝向所述第二图像传感器反射。
方面69.根据方面68所述的方法,其中所述第一反射表面和所述第二反射表面相对于彼此固定。
方面70.根据方面41至69中任一项所述的方法,其中:所述一个或多个光重定向元件包括第一棱镜,其中,为了将所述第一光重定向为朝向所述第一图像传感器,所述一个或多个光重定向元件使用所述第一棱镜来折射所述第一光;并且所述一个或多个光重定向元件包括第二棱镜,其中,为了将所述第二光重定向为朝向所述第二图像传感器,所述一个或多个光重定向元件使用所述第二棱镜来折射所述第二光。
方面71.根据方面70所述的方法,其中所述第一路径包括在所述第一光进入所述第一棱镜并且所述第一棱镜折射所述第一光之前的所述第一光的路径,其中所述第二路径包括在所述第二光进入所述第二棱镜并且所述第二棱镜折射所述第二光之前的所述第二光的路径。
方面72.根据方面71所述的方法,其中所述第一路径包括在所述第一光进入所述第一棱镜并且所述第一棱镜折射所述第一光之后但是在所述一个或多个光重定向元件的第一反射表面反射所述第一光之前的所述第一光的路径,其中所述第二路径包括在所述第二光进入所述第二棱镜并且所述第二棱镜折射所述第二光之后但是在所述一个或多个光重定向元件的第二反射表面反射所述第二光之前的所述第二光的路径。
方面73.根据方面70至72中任一项所述的方法,其中所述第一棱镜和所述第二棱镜相对于彼此固定。
方面74.根据方面41至73中任一项所述的方法,其中所述一个或多个光重定向元件相对于所述第一图像传感器和所述第二图像传感器固定。
方面75.根据方面41至74中任一项所述的方法,其中所述第一图像和所述第二图像是被同时捕获的,并且其中所述第一光到达所述第一图像传感器并且所述第二光同时到达所述第二图像传感器。
方面76.根据方面41至75中任一项所述的方法,其中所述第一图像传感器的第一平坦表面面向第一方向,其中所述第二图像传感器的第二平坦表面面向平行于所述第一方向的第二方向。
方面77.根据方面41至76中任一项所述的方法,还包括:使用亮度均匀性校正来修改所述第一图像或所述第二图像中的至少一者。
方面78.根据方面41至77中任一项所述的方法,还包括:捕获所述第一图像的所述第一图像传感器。
方面79.根据方面41至78中任一项所述的方法,还包括:捕获所述第二图像的所述第二图像传感器。
方面80.根据方面41至79中任一项所述的方法,还包括:所述一个或多个光重定向元件。
方面81.一种用于成像的装置,所述装置包括:用于接收由第一图像传感器捕获的场景的第一图像的装置,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向所述第一图像传感器的经重定向的第一路径,并且其中所述第一图像传感器被配置为基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像,所述第一图像包括所述场景的一部分的第一描绘;用于接收由第二图像传感器捕获的所述场景的第二图像的装置,其中所述一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向所述第二图像传感器的经重定向的第二路径,并且其中所述第二图像传感器被配置为基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像,所述第二图像包括所述场景的所述一部分的第二描绘;用于至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的第一属性与所述场景的所述一部分的所述第二描绘的第二属性对齐的装置;和用于从所述第一图像和所述第二图像生成组合图像的装置,其中所述组合图像包括比所述第一图像的第一视野或所述第二图像的第二视野中的至少一者更大的组合图像视野。
方面82.根据方面81所述的装置,还包括:用于执行根据方面2至40中任一项和/或方面42至80中任一项所述的操作的装置。
方面83:一种其上存储有指令的非暂态计算机可读介质,所述指令在由一个或多个处理器执行时使所述一个或多个处理器:接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向所述第一图像传感器的经重定向的第一路径,并且其中所述第一图像传感器被配置为基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像,所述第一图像包括所述场景的一部分的第一描绘;接收由第二图像传感器捕获的所述场景的第二图像,其中所述一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向所述第二图像传感器的经重定向的第二路径,并且其中所述第二图像传感器被配置为基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像,所述第二图像包括所述场景的所述一部分的第二描绘;至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的第一属性与所述场景的所述一部分的所述第二描绘的第二属性对齐;以及从所述第一图像和所述第二图像生成组合图像,其中所述组合图像包括比所述第一图像的第一视野或所述第二图像的第二视野中的至少一者更大的组合图像视野。
方面84:根据方面83所述的非暂态计算机可读介质,还包括根据方面2至40中任一项和/或方面42至80中任一项所述的操作。

Claims (30)

1.一种用于成像的装置,所述装置包括:
存储器;和
一个或多个处理器,所述一个或多个处理器被配置为:
接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向所述第一图像传感器的经重定向的第一路径,并且其中所述第一图像传感器被配置为基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像,所述第一图像包括所述场景的一部分的第一描绘;
接收由第二图像传感器捕获的所述场景的第二图像,其中所述一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向所述第二图像传感器的经重定向的第二路径,并且其中所述第二图像传感器被配置为基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像,所述第二图像包括所述场景的所述一部分的第二描绘;
至少部分地修改所述第一图像或所述第二图像中的至少一者,以将所述场景的所述一部分的所述第一描绘的第一属性与所述场景的所述一部分的所述第二描绘的第二属性对齐;以及
从所述第一图像和所述第二图像生成组合图像,其中所述组合图像包括比所述第一图像的第一视野或所述第二图像的第二视野中的至少一者更大的组合图像视野。
2.根据权利要求1所述的装置,其中:
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的亮度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的亮度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的对比度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的对比度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的色调,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的色调;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的着色,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的着色;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的饱和度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的饱和度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的锐度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的锐度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的一个或多个特征在所述第一图像中的所述场景的所述一部分的所述第一描绘中的定位,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一个或多个特征在所述第二图像中的所述场景的所述一部分的所述第二描绘中的定位;
所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的聚焦设置,并且所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的聚焦设置;
所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的曝光设置,并且所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的曝光设置;或者
所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的白平衡设置,并且所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的白平衡设置。
3.根据权利要求2所述的装置,其中所述一个或多个处理器被配置为使用内插将所述一个或多个特征在所述场景的所述一部分的所述第一描绘中的所述定位与所述一个或多个特征在所述场景的所述一部分的所述第二描绘中的所述定位对齐。
4.根据权利要求1所述的装置,其中所述一个或多个处理器被配置为将图案的第一描绘在所述场景的所述一部分的所述第一描绘中的位置与所述图案的第二描绘在所述场景的所述一部分的所述第二描绘中的位置对齐。
5.根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:
将与所述第一图像传感器相关联的用于使用自动聚焦来捕获所述第一图像的聚焦设置设置为聚焦于所述场景的所述一部分上;以及
将与所述第二图像传感器相关联的用于使用自动聚焦来捕获所述第二图像的聚焦设置设置为聚焦于所述场景的所述一部分上。
6.根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:
基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动曝光来捕获所述第一图像的曝光设置;以及
基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动曝光来捕获所述第二图像的曝光设置。
7.根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:
基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动白平衡来捕获所述第一图像的白平衡设置;以及
基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动白平衡来捕获所述第二图像的白平衡设置。
8.根据权利要求1所述的装置,其中,为了修改所述第一图像或所述第二图像中的至少一者,所述一个或多个处理器被配置为:
以基于距拼接线的距离而逐渐减小的梯度强度对所述第一图像的至少一部分应用校正;以及
以基于距拼接线的距离而逐渐减小的梯度强度对所述第二图像的至少一部分应用所述校正。
9.根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:
使用视角畸变校正来修改所述第一图像或所述第二图像中的至少一者;以及
响应于使用所述视角畸变校正来修改所述第一图像和所述第二图像中的所述至少一者,而从所述第一图像和所述第二图像生成所述组合图像。
10.根据权利要求9所述的装置,其中所述一个或多个处理器被配置为:在使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者之后,至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的所述第一属性与所述场景的所述一部分的所述第二描绘的所述第二属性对齐。
11.根据权利要求9所述的装置,其中,为了使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者,所述一个或多个处理器被配置为:
使用所述视角畸变校正将所述第一图像从描绘第一视角修改为描绘公共视角;以及
使用所述视角畸变校正将所述第二图像从描绘第二视角修改为描绘所述公共视角,其中所述公共视角在所述第一视角与所述第二视角之间。
12.根据权利要求9所述的装置,其中,为了使用所述视角畸变校正来修改所述第一图像或所述第二图像中的至少一者,所述一个或多个处理器被配置为:
识别所述第一图像或所述第二图像中的至少一者的图像数据中对一个或多个对象的描绘;以及
至少部分地通过基于对所述一个或多个对象的所述描绘而投影所述图像数据,来修改所述图像数据。
13.根据权利要求1所述的装置,其中,为了从所述第一图像和所述第二图像生成所述组合图像,所述一个或多个处理器被配置为:
将所述第一图像的第一部分与所述第二图像的第二部分对齐;以及
基于所述第一图像的所述第一部分和所述第二图像的所述第二部分对齐,将所述第一图像和所述第二图像拼接在一起。
14.根据权利要求13所述的装置,其中所述第一图像的所述第一部分包括所述场景的所述一部分的所述第一描绘,其中所述第二图像的所述第二部分包括所述场景的所述一部分的所述第二描绘。
15.根据权利要求1所述的装置,其中超过所述一个或多个光重定向元件的所述第一路径的虚拟延伸与超过所述一个或多个光重定向元件的所述第二路径的虚拟延伸相交。
16.根据权利要求1所述的装置,还包括:
所述第一图像传感器;
所述第二图像传感器;和
所述一个或多个光重定向元件。
17.根据权利要求1所述的装置,其中:
所述一个或多个光重定向元件包括第一反射表面,其中,为了将所述第一光重定向为朝向所述第一图像传感器,所述一个或多个光重定向元件使用所述第一反射表面将所述第一光朝向所述第一图像传感器反射;并且
所述一个或多个光重定向元件包括第二反射表面,其中,为了将所述第二光重定向为朝向所述第二图像传感器,所述一个或多个光重定向元件使用所述第二反射表面将所述第二光朝向所述第二图像传感器反射。
18.根据权利要求1所述的装置,其中:
所述一个或多个光重定向元件包括第一棱镜,其中,为了将所述第一光重定向为朝向所述第一图像传感器,所述一个或多个光重定向元件使用所述第一棱镜来折射所述第一光;并且
所述一个或多个光重定向元件包括第二棱镜,其中,为了将所述第二光重定向为朝向所述第二图像传感器,所述一个或多个光重定向元件使用所述第二棱镜来折射所述第二光。
19.根据权利要求18所述的装置,其中所述第一路径包括在所述第一光进入所述第一棱镜并且所述第一棱镜折射所述第一光之前的所述第一光的路径,其中所述第二路径包括在所述第二光进入所述第二棱镜并且所述第二棱镜折射所述第二光之前的所述第二光的路径。
20.根据权利要求18所述的装置,其中所述第一路径包括在所述第一光进入所述第一棱镜并且所述第一棱镜折射所述第一光之后、但是在所述一个或多个光重定向元件的第一反射表面反射所述第一光之前的所述第一光的路径,其中所述第二路径包括在所述第二光进入所述第二棱镜并且所述第二棱镜折射所述第二光之后、但是在所述一个或多个光重定向元件的第二反射表面反射所述第二光之前的所述第二光的路径。
21.根据权利要求1所述的装置,其中所述第一图像和所述第二图像是被同时捕获的,并且其中所述第一光到达所述第一图像传感器并且所述第二光同时到达所述第二图像传感器。
22.根据权利要求1所述的装置,其中所述第一图像传感器的第一平坦表面面向第一方向,并且其中所述第二图像传感器的第二平坦表面面向平行于所述第一方向的第二方向。
23.根据权利要求1所述的装置,其中所述一个或多个处理器被配置为:
使用亮度均匀性校正来修改所述第一图像或所述第二图像中的至少一者。
24.一种用于成像的方法,所述方法包括:
接收由第一图像传感器捕获的场景的第一图像,其中一个或多个光重定向元件被配置为将第一光从第一路径重定向到朝向所述第一图像传感器的经重定向的第一路径,并且其中所述第一图像传感器被配置为基于在所述第一图像传感器处接收到所述第一光来捕获所述第一图像,所述第一图像包括所述场景的一部分的第一描绘;
接收由第二图像传感器捕获的所述场景的第二图像,其中所述一个或多个光重定向元件被配置为将第二光从第二路径重定向到朝向所述第二图像传感器的经重定向的第二路径,并且其中所述第二图像传感器被配置为基于在所述第二图像传感器处接收到所述第二光来捕获所述第二图像,所述第二图像包括所述场景的所述一部分的第二描绘;
至少部分地修改所述第一图像或所述第二图像中的至少一者以将所述场景的所述一部分的所述第一描绘的第一属性与所述场景的所述一部分的所述第二描绘的第二属性对齐;以及
从所述第一图像和所述第二图像生成组合图像,其中所述组合图像包括比所述第一图像的第一视野或所述第二图像的第二视野中的至少一者更大的组合图像视野。
25.根据权利要求24所述的方法,其中:
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的亮度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的亮度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘的对比度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘的对比度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的色调,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的色调;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的着色,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的着色;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的饱和度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的饱和度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的所述一部分的所述第一描绘在所述第一图像中的锐度,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一部分的所述第二描绘在所述第二图像中的锐度;
所述场景的所述一部分的所述第一描绘的所述第一属性是所述场景的一个或多个特征在所述第一图像中的所述场景的所述一部分的所述第一描绘中的定位,并且所述场景的所述一部分的所述第二描绘的所述第二属性是所述场景的所述一个或多个特征在所述第二图像中的所述场景的所述一部分的所述第二描绘中的定位;
所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的聚焦设置,并且所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的聚焦设置;
所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的曝光设置,并且所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的曝光设置;或者
所述场景的所述一部分的所述第一描绘的所述第一属性是与所述第一图像传感器相关联的用于捕获所述第一图像的白平衡设置,并且所述场景的所述一部分的所述第二描绘的所述第二属性是与所述第二图像传感器相关联的用于捕获所述第二图像的白平衡设置。
26.根据权利要求25所述的方法,还包括使用内插将所述一个或多个特征在所述场景的所述一部分的所述第一描绘中的所述定位与所述一个或多个特征在所述场景的所述一部分的所述第二描绘中的所述定位对齐。
27.根据权利要求24所述的方法,还包括将图案的第一描绘在所述场景的所述一部分的所述第一描绘中的位置与所述图案的第二描绘在所述场景的所述一部分的所述第二描绘中的位置对齐。
28.根据权利要求24所述的方法,还包括:
将与所述第一图像传感器相关联的用于使用自动聚焦来捕获所述第一图像的聚焦设置设置为聚焦于所述场景的所述一部分上;以及
将与所述第二图像传感器相关联的用于使用自动聚焦来捕获所述第二图像的聚焦设置设置为聚焦于所述场景的所述一部分上。
29.根据权利要求24所述的方法,还包括:
基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动曝光来捕获所述第一图像的曝光设置;以及
基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动曝光来捕获所述第二图像的曝光设置。
30.根据权利要求24所述的方法,还包括:
基于所述场景的所述一部分来设置与所述第一图像传感器相关联的用于使用自动白平衡来捕获所述第一图像的白平衡设置;以及
基于所述场景的所述一部分来设置与所述第二图像传感器相关联的用于使用自动白平衡来捕获所述第二图像的白平衡设置。
CN202280051228.6A 2021-07-29 2022-06-21 多相机系统 Pending CN117769840A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163227277P 2021-07-29 2021-07-29
US63/227,277 2021-07-29
US17/844,600 2022-06-20
US17/844,600 US12250465B2 (en) 2021-07-29 2022-06-20 Systems, methods, and devices for processing image data from multiple image sensors
PCT/US2022/034395 WO2023009246A1 (en) 2021-07-29 2022-06-21 Multiple camera system

Publications (1)

Publication Number Publication Date
CN117769840A true CN117769840A (zh) 2024-03-26

Family

ID=82611236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280051228.6A Pending CN117769840A (zh) 2021-07-29 2022-06-21 多相机系统

Country Status (5)

Country Link
US (1) US12250465B2 (zh)
EP (1) EP4378168A1 (zh)
KR (1) KR20240038963A (zh)
CN (1) CN117769840A (zh)
WO (1) WO2023009246A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115706870B (zh) * 2021-08-12 2023-12-26 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质
US20240144496A1 (en) * 2022-11-01 2024-05-02 Microsoft Technology Licensing, Llc Image alignment using staggered feature extraction
US20250104190A1 (en) * 2023-09-22 2025-03-27 The Boeing Company Inspection system and method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI434121B (zh) * 2011-05-13 2014-04-11 Quanta Comp Inc 雙向攝影裝置及可攜式電子裝置
US9007428B2 (en) * 2011-06-01 2015-04-14 Apple Inc. Motion-based image stitching
EP2860957B1 (en) * 2012-06-11 2020-11-18 Sony Interactive Entertainment Inc. Image capturing device, image capturing method and computer-readable recording medium
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9386222B2 (en) * 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) * 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US10084959B1 (en) 2015-06-25 2018-09-25 Amazon Technologies, Inc. Color adjustment of stitched panoramic video
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
KR20180039529A (ko) 2016-10-10 2018-04-18 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10110814B1 (en) * 2016-10-27 2018-10-23 Ambarella, Inc. Reducing bandwidth for video streaming using de-warping and video analytics
KR102145896B1 (ko) * 2017-12-14 2020-08-19 엘지전자 주식회사 듀얼 프리즘 장치, 이를 구비하는 카메라
US10878536B1 (en) * 2017-12-29 2020-12-29 Gopro, Inc. Apparatus and methods for non-uniform downsampling of captured panoramic images
TWI725836B (zh) * 2019-05-13 2021-04-21 香港商立景創新有限公司 影像擷取組件以及可攜式電子裝置
US10861127B1 (en) * 2019-09-17 2020-12-08 Gopro, Inc. Image and video processing using multiple pipelines
US11006041B1 (en) * 2020-05-07 2021-05-11 Qualcomm Incorporated Multiple camera system for wide angle imaging
US11516391B2 (en) * 2020-06-18 2022-11-29 Qualcomm Incorporated Multiple camera system for wide angle imaging
US20230025380A1 (en) * 2021-07-16 2023-01-26 Qualcomm Incorporated Multiple camera system

Also Published As

Publication number Publication date
EP4378168A1 (en) 2024-06-05
US12250465B2 (en) 2025-03-11
US20230031023A1 (en) 2023-02-02
WO2023009246A1 (en) 2023-02-02
KR20240038963A (ko) 2024-03-26

Similar Documents

Publication Publication Date Title
CN115989678B (zh) 用于广角成像的多相机系统
US12184965B2 (en) Under-display camera and sensor control
JP7685676B2 (ja) 画像修正技法
US12250465B2 (en) Systems, methods, and devices for processing image data from multiple image sensors
US11863729B2 (en) Systems and methods for generating synthetic depth of field effects
US20230319401A1 (en) Image capture using dynamic lens positions
US20240144717A1 (en) Image enhancement for image regions of interest
US20230021016A1 (en) Hybrid object detector and tracker
US20240249423A1 (en) Processing image data using multi-point depth sensing system information
US20220414847A1 (en) High dynamic range image processing
US20230025380A1 (en) Multiple camera system
US11792505B2 (en) Enhanced object detection
WO2023282963A1 (en) Enhanced object detection
US20240209843A1 (en) Scalable voxel block selection
US20240386659A1 (en) Color metadata buffer for three-dimensional (3d) reconstruction
US20250086889A1 (en) Multi-frame three-dimensional (3d) reconstruction
WO2024030691A1 (en) High dynamic range (hdr) image generation with multi-domain motion correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination