CN110268698B - 包括具有放大率梯度的镜头的相机系统 - Google Patents

包括具有放大率梯度的镜头的相机系统 Download PDF

Info

Publication number
CN110268698B
CN110268698B CN201780085710.0A CN201780085710A CN110268698B CN 110268698 B CN110268698 B CN 110268698B CN 201780085710 A CN201780085710 A CN 201780085710A CN 110268698 B CN110268698 B CN 110268698B
Authority
CN
China
Prior art keywords
lens
magnification
digital image
edge
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780085710.0A
Other languages
English (en)
Other versions
CN110268698A (zh
Inventor
王理平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110268698A publication Critical patent/CN110268698A/zh
Application granted granted Critical
Publication of CN110268698B publication Critical patent/CN110268698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

一种装置，包括，具有光学地耦合到第一镜头的图像传感器的第一数字相机和包括光学地耦合到第二镜头的图像传感器的第二数字相机，第一镜头具有第一放大率。第二镜头具有比第一镜头的放大率更大的放大率，并且第二镜头是具有其中放大率在第二镜头的中心处最高并且在边缘处最低的放大率梯度的非直线性镜头。

Description

包括具有放大率梯度的镜头的相机系统
技术领域
所公开的实施例总体上涉及相机，并且尤其但非排他性地涉及包括具有放大率梯度的镜头的多相机系统。
背景技术
在最新的智能手机中找到的那种双相机系统具有朝向相同方向的一对数字相机。每个相机均具有不同的镜头：一个相机具有短焦距的镜头，另一个相机具有长焦距的镜头。例如，在一些双相机布置中，短焦距镜头可以是普通镜头或广角镜头，并且长焦距镜头可以是与广角镜头相比具有3X放大率的远摄镜头(即，如果我们将普通或广角镜头的放大率指定为1X，则远摄镜头具有3倍的总放大率，即3X)。
这些双相机布置本身允许用户仅捕获广角(1X)图像或远摄(3X)图像，并且没有两者中间的其他放大率的图像。但是，如果用户想要捕获落入两个镜头放大率之间的中间放大率的图像，比如在具有1X和3X镜头的系统中的2X图像，将会怎样？两个镜头的焦距是固定的并且不能被改变，因此无法实现真正的光学变焦以创建2X图像。尽管如此，为了模拟光学变焦，可以使用1X和3X镜头捕获图像并且捕获到的数字图像可以通过已知的软件方法融合以创建大致上如果实际上能够将镜头中的一个镜头的放大率调整至2X将产生的图像。
如果短焦距镜头和长焦距镜头之间的焦距差变得过大，则该模拟光学变焦会出现问题。在这些情况下，融合具有不同放大率的图像以形成具有期望的中间放大率的图像的算法难以创建中间放大率的良好图像。
发明内容
根据第一方面，在该第一方面中提供了一种装置，包括：第一数字相机，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，第一镜头具有第一放大率；第二数字相机，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，其中第二镜头是具有其中放大率在第二镜头的中心处最高并且在第二镜头的边缘处最低的放大率梯度的非直线性镜头，并且其中第二镜头具有比第一镜头的放大率更大的放大率。因此，可以提供尤其以中间放大率或者焦距(在两个或更多个透镜之间)的改善的图像。
可选地，第二镜头的放大率梯度是线性的。
可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。
可选地，第二镜头的放大率梯度是非线性的。
可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。
可选地，第一镜头是直线性镜头。
可选地，第一镜头是非直线性镜头。
可选地，第一镜头具有放大率梯度。
可选地，第二镜头的边缘处的放大率等于或小于第一镜头的边缘处的放大率。
根据第二方面，在该第二方面中提供了一种过程，包括以下步骤：使用包括光学地耦合到第一镜头的图像传感器的第一数字相机捕获第一数字图像，第一镜头具有第一放大率；使用包括光学地耦合到第二镜头的图像传感器的第二数字相机捕获第二数字图像，所述第二镜头具有比第一放大率更大的第二放大率，其中第二镜头是具有其中放大率在第二镜头的中心处最高并且在第二镜头的边缘处最低的放大率梯度的非直线性镜头；将第一数字图像与第二数字图像融合以创建具有第一放大率和第二放大率之间的放大率的第三数字图像。
可选地，第二镜头的放大率梯度是线性的。
可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。
可选地，第二镜头的放大率梯度是非线性的。
可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。
可选地，其中第一镜头是直线性镜头。
可选地，第一镜头是非直线性镜头。
可选地，第一镜头具有放大率梯度。
可选地，第二镜头的边缘处的放大率等于或小于第一镜头的边缘处的放大率。
可选地，过程还可以包括在第二数字图像与第一数字图像融合以形成第三数字图像之前将失真补偿应用于第二数字图像。
根据另一方面，在该另一方面中提供了一种装置，所述装置还包括适于执行所述过程的步骤的组件。
根据另一方面，在该另一方面中提供了一种计算机程序，所述计算机程序包括使装置执行过程的步骤的指令。例如，装置可以是移动设备(例如智能手机)。
应注意的是，上述任何特征可与本发明的任何特定方面或实施例一起使用。
附图说明
参考以下附图描述本发明的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在全部各个视图中指代相同的部件。
图1A是包括双相机系统的智能手机的实施例的背面的平面图。
图1B是可以与如图1A所示的智能电话一起使用的双相机系统的实施例的框图。
图2A是示出了镜头的视场及镜头对场景的捕获的双相机系统的实施例的顶视图。
图2B-图2C是多相机系统中的两个镜头的放大率的图像捕获和中间放大率的图像的视图。
图3A是示出双相机系统中的放大率分布的实施例的曲线图，在所述双相机系统中，两个镜头中的一个是直线性的而另一个镜头是非直线性的。
图3B是示出了具有如图3A所示的放大率分布的实施例的非直线镜头的放大率轮廓的图像的视图。
图3C-图3D是示出双相机系统中的放大率分布的其他实施例的曲线图，在所述双相机系统中，两个镜头中的一个是直线性的而另一个镜头是非直线性的。
图4是示出双相机系统中的放大率分布的其他实施例的曲线图，在所述双相机系统中，两个镜头中的一个是直线性的而另一个镜头是非直线性的。
图5是示出双相机系统中的放大率分布的其他实施例的曲线图，在所述双相机系统中，两个镜头是非直线性的。
图6是用于在第一镜头的放大率与第二镜头的放大率之间的中间放大率下用双相机系统产生融合图像的过程的实施例的流程图。
具体实施方式
描述了用于包括具有放大率梯度的镜头的多相机系统的装置、系统和方法的实施例。描述特定细节以提供对实施例的理解，但是相关领域的技术人员将认识到的是，在某些情况下，可以在没有所描述的细节中的一个或多个的情况下实践本发明，并且在其他情况下，可以用其他方法、部件、材料等实践本发明。在某些情况下，公知的结构、材料或操作未被详细示出或描述，但是仍然在本发明的范围内。
在整个说明书中对“一个实施例”或“实施例”的引用意指可以包括在至少一个所描述的实施例中的所描述的特征、结构或特性，使得“在一个实施例中”或“在实施例中”的出现不一定全部都指代相同的实施例。此外，特定的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
图1A示出了智能手机100中的多相机系统的实施例。智能手机100包括两个数字相机，这两个数字相机面向相同方向使得它们均可以同时捕获相同场景的图像。所图示的实施例包括两个相机——第一相机A和第二相机B——但是其他实施例，它可以包括多于两个相机。相机A和相机B被并排定位在智能电话100中，但是在其他实施例中可以被不同地定位。此外，在其他实施例中，多个相机可以被包括在不是智能电话的例如是专用数字相机的设备中并且可以包括多于两个相机。
图1B以框图形式示出了可以在多相机系统中使用的双相机系统150(诸如智能电话100)的实施例。相机A包括第一镜头152和第一图像传感器156，而相机B包括第二镜头154和第二图像传感器158。镜头152在下文中有时也被称为镜头A，因为它对应于相机A，并且镜头154类似地有时也被称为镜头B，因为它对应于相机B。镜头152和镜头154具有不同的焦距，这意味着它们具有不同的放大率，因为放大率与焦距相关，对于单个镜头如下所示：
Figure BDA0002156768680000061
其中M是放大率，f是焦距，do是物距。在一个实施例中，镜头152可以是普通镜头或广角镜头并且镜头154可以是远摄镜头。通常，第一镜头152的放大率小于第二镜头154的放大率，或者换句话说，镜头152的焦距比第二镜头154的焦距短。例如，在一个特定实施例中，镜头152可以是1X镜头并且镜头154可以是3X镜头。但是在其他实施例中，镜头152可以具有1X和5X之间的放大率并且镜头154可以具有2X和10X或更大的放大率。
双相机系统150还包括处理器160和存储器162。在所示实施例中，相机A和相机B共享单个处理器和存储器。在其他实施例中，相机A和B可以具有共享存储器的单独处理器或具有单独存储器的单独处理器，尽管在这样的实施例中，处理器、存储器或两者可以彼此通信地链接以允许一个或两个处理器利用已知图像融合方法(例如，高通滤波技术；基于IHS变换的图像融合；基于PCA的图像融合；小波变换图像融合以及成对空间频率匹配)融合由相机捕获到的图像。
图2A示出了使用第一相机A和第二相机B来捕获场景190的图像。相机A，其镜头具有较低的放大率并因此具有较宽的视场(在一个实施例中约为90°)，捕获场景190的全部。相机B，其镜头154具有较高的放大率并因此具有较窄的视场(对于3X实施例约为30°；对于10X实施例约为9°等)，但是以比相机A更高的放大率仅捕获场景106的一部分。由两个相机产生的数字图像与通过图像尺寸和像素计数测量的尺寸大致上相同，但是因为相机B捕获场景的较小部分，所以它将具有较大的空间分辨率。
图2B至图2C示出了由相机150捕获的图像。更具体地，它们示出了相机A和相机B的场景覆盖区域。图2B示出了利用相机A和相机B的一个放大率集合(例如，相机A的1X和相机B的3X)的场景覆盖。第一相机A以1X放大率捕获整个场景，但因为第二相机B具有较高的放大率，所以第二相机B捕获场景的较小部分。
图2C示出了与图2B相比，如果镜头B的放大率增加，相机A和相机B的场景覆盖。如果图2B示出具有3X镜头的相机B，则图2C可以示出具有5X或10X镜头的相机B。最终结果是相机B的场景覆盖明显更小。场景覆盖中的这种间隙或增量——以及引申开来，图像分辨率——使创建具有中间放大率的图像C更加困难并且场景覆盖中的增量越大创建具有中间放大率的图像C越困难。在图2B和图2C两者中，数字图像A和B可以使用已知技术进行融合以创建以在A与B之间的中间放大率看见的数字图像C。但是如果镜头A与镜头B之间的放大率的差变得更大，则两个图像的空间分辨率的差对应地变得更大。因此，融合两个图像以形成中间放大率的图像C变得更困难。相机A与相机B之间的ΔM越高越高，处于中间地图放大率C的图像将越不令人满意。
图3A示出了多相机系统的实施例中的放大率分布。曲线图针对沿水平轴的归一化半径(r/R)绘制沿垂直轴的放大率M。在所示实施例中，相机A具有直线性镜头并且相机B具有非直线性镜头。直线性镜头是在镜头的整个区域上放大相同量的镜头并且因此不会产生径向失真。在所示出的实施例中，镜头A是直线性的，因此其放大率不随半径变化。但是镜头B是非直线性的，这意味着它的放大率随半径变化，或换句话说，镜头B在其中心与边缘之间具有放大率梯度。因为镜头B的放大率梯度将创建光学失真，所以描述此放大率的另一种方式是说镜头B具有预失真。
在所示实施例中，镜头B在它的中心处具有它的峰值放大率并且该放大率从镜头的中心向边缘非线性地并且单调地减小，但是在其他实施例中，放大率梯度不需要是非线性的或单调的。为了比较，该曲线图还示出了镜头B的直线性版本的放大率，所述直线性版本的放大率等于非直线性版本的峰值放大率。通常，镜头A的放大率小于镜头B的平均放大率，或者换句话说，镜头A的焦距比镜头B的平均焦距短。如该曲线图所示，如果镜头B具有放大率梯度，即使在中心处具有高峰值放大率，镜头A与镜头B之间的平均ΔM也低于如果两个镜头均是直线性的并且镜头B处于峰值的情况下的ΔM。镜头边缘处的ΔM——以及因此，产生的图像的边缘——也明显更低。这两种特性均使得使用已知的图像融合技术获得令人满意的中间放大率的图像变得更容易。镜头B的精确放大率分布可以用实验方式或用数字方式确定，并且可以被选择以优化已知图像融合方法的性能。
图3B示出了镜头B的图像捕获区域上的放大率轮廓的实施例。在所示实施例中，图像捕获区域的放大率轮廓可以对应于图3A中所示的放大率分布。放大率梯度将导致一些图像失真，因为镜头是非直线性的，但是可以使用软件技术从产生的图像中除去失真。
图3C至图3D示出了放大率分布的其他可能组合。如图3A中所示，两个曲线图针对沿水平轴的标准化半径(r/R)绘制了沿垂直轴的放大率M，并且也如图3A中所示，镜头A是直线性的并且镜头B是非直线的。图3C至图3D和图3A的主要区别是镜头B的放大率分布向下移动以与在边缘处或附近的镜头A的放大率匹配或重叠。图3C示出了放大率在边缘处匹配的情况——即，在镜头边缘处ΔM＝0。图3D示出了放大率在边缘处重叠的情况——即，在镜头边缘处ΔM<0。
图4示出了镜头B的放大率分布的其他实施例。放大率分布B1包括在围绕镜头中间的区域中的恒定放大率的中间部分(即，以镜头的光轴为中心)，在镜头的恒定放大率中间部分与边缘之间具有线性的和单调的放大率的下降。放大率分布B2在镜头的中心处具有最大放大率；该放大率然后向镜头的边缘线性地和单调地下降。
图5示出了双相机系统中的放大率分布的又一个实施例。在先前讨论的双相机系统中，镜头中的一个是直线性的而另一个镜头不是——即，一个具有恒定放大率而另一个具有放大率梯度。但这不必需是每个实施例中的安排。例如，图5示出了双相机系统中的镜头的放大率分布，其中两个镜头均是非直线性的。在所示实施例中，镜头A和镜头B均具有类似形状的放大率分布，但这不必是在每个实施例中的情况。在另一个实施例中，例如，镜头B可以具有所示的放大率分布，而镜头A可以具有诸如图4中所示的分布B1或分布B2的线性放大率分布。可以选择它们相应的放大率梯度以允许图像被成功融合以模拟中间放大率。
图6示出了用于捕获和融合由双相机系统捕获的一对图像的过程的实施例，所述双相机系统包括具有直线性镜头A的相机A和包括具有在相机B的中心和相机B的边缘之间的放大率梯度的非直线性镜头的相机B。
过程在框602处开始。在框604处，输入预期的放大率。例如，如果双相机系统中的镜头中的一个镜头是1X镜头而另一个是10X镜头，但是用户需要或预期5X图像，则用户在框604处指定5X。在框606处，图像A由相机A捕获，并且在框608处，图像B由相机B捕获。
在如框610的虚线轮廓所示的可选的框610处，可以对图像B进行一些失真补偿以解决由放大率梯度产生的图像失真。在框612处，使用已知的图像融合方法以期望的输入放大率对图像B(如果在框610处被应用则图像B具有失真补偿，如果未在框610处应用则图像B不具有失真补偿)与图像A进行融合。在框614处，输出融合图像，并且在框616处，过程停止。
以上对实施例的描述，包括摘要中所描述的内容，并非旨在穷举或将本发明限制于所描述的形式。出于说明性目的，本文描述了本发明的特定实施例和示例，但是如相关领域的技术人员将认识到的，根据以上的详细描述，在本发明的范围内可以进行各种等同修改。
以下权利要求中使用的术语不应被解释为将本发明限制于说明书和权利要求中所公开的特定实施例。相反，本发明的范围完全由以下权利要求确定，所述权利要求使用既定的权利要求解释原则来解释。

Claims (27)

1.一种用于多相机系统的装置，所述装置包括：
第一数字相机，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，所述第一镜头是直线性镜头并且具有第一放大率；
第二数字相机，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，
其中所述第二镜头是具有放大率梯度的非直线性镜头，在所述放大率梯度中，放大率在所述第二镜头的中心处最高并且在所述第二镜头的边缘处最低，并且其中所述第二镜头具有比所述第一镜头的放大率更大的平均放大率；以及
处理器，所述处理器被配置来将所述第一数字相机捕获的第一数字图像与所述第二数字相机捕获的第二数字图像融合以创建第三数字图像，所述第三数字图像具有处于所述第一放大率与所述第二镜头的平均放大率之间的放大率。
2.根据权利要求1所述的装置，其中所述第二镜头的所述放大率梯度是线性的。
3.根据权利要求2所述的装置，其中所述第二镜头的放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
4.根据权利要求1所述的装置，其中所述第二镜头的所述放大率梯度是非线性的。
5.根据权利要求4所述的装置，其中所述第二镜头的放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
6.根据权利要求1所述的装置，其中所述第二镜头的边缘处的放大率等于或小于所述第一镜头的边缘处的放大率。
7.一种用于多相机系统的方法，所述方法包括：
使用第一数字相机捕获第一数字图像，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，所述第一镜头是直线性镜头并且具有第一放大率；
使用第二数字相机捕获第二数字图像，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，所述第二镜头具有比所述第一放大率更大的第二放大率，其中所述第二镜头是具有放大率梯度的非直线性镜头，在所述放大率梯度中，放大率在所述第二镜头的中心处最高并且在所述第二镜头的边缘处最低；以及
将所述第一数字图像与所述第二数字图像融合以创建第三数字图像，所述第三数字图像具有处于所述第一放大率与所述第二放大率之间的放大率。
8.根据权利要求7所述的方法，其中所述第二镜头的所述放大率梯度是线性的。
9.根据权利要求8所述的方法，其中所述第二镜头的放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
10.根据权利要求7所述的方法，其中所述第二镜头的所述放大率梯度是非线性的。
11.根据权利要求10所述的方法，其中所述第二镜头的放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
12.根据权利要求7所述的方法，其中所述第二镜头的边缘处的放大率等于或小于所述第一镜头的边缘处的放大率。
13.根据权利要求7所述的方法，进一步包括：在所述第二数字图像与所述第一数字图像融合以创建所述第三数字图像之前，将失真补偿应用于所述第二数字图像。
14.一种用于多相机系统的方法，所述方法包括：
使用第一数字相机捕获第一数字图像，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，所述第一镜头(i)是非直线性镜头，并且(ii)具有第一放大率梯度，所述第一放大率梯度在所述第一镜头的中心处表现出峰值放大率并且在所述第一镜头的边缘处表现出最低放大率；
使用第二数字相机捕获第二数字图像，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，所述第二镜头(i)是非直线性镜头，并且(ii)具有第二放大率梯度，所述第二放大率梯度在所述第二镜头的中心处表现出峰值放大率并且在所述第二镜头的边缘处表现出最低放大率，其中所述第二镜头的所述第二放大率梯度大于所述第一镜头的所述第一放大率梯度；以及
将所述第一数字图像与所述第二数字图像融合以创建第三数字图像。
15.根据权利要求14所述的方法，其中所述第二镜头的所述第二放大率梯度是线性的。
16.根据权利要求15所述的方法，其中所述第二放大率梯度从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
17.根据权利要求14所述的方法，其中所述第二镜头的所述第二放大率梯度是非线性的。
18.根据权利要求17所述的方法，其中所述第二放大率梯度从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
19.根据权利要求17所述的方法，其中所述第二镜头的边缘处的放大率等于或小于所述第一镜头的边缘处的放大率。
20.根据权利要求14所述的方法，进一步包括：在所述第二数字图像与所述第一数字图像融合以创建所述第三数字图像之前，将失真补偿应用于所述第二数字图像。
21.一种多相机系统，包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在被所述一个或多个计算机执行时能够操作来使得所述一个或多个计算机执行操作，所述操作包括：
使用第一数字相机捕获第一数字图像，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，所述第一镜头(i)是非直线性镜头，并且(ii)具有第一放大率梯度，所述第一放大率梯度在所述第一镜头的中心处表现出峰值放大率并且在所述第一镜头的边缘处表现出最低放大率；
使用第二数字相机捕获第二数字图像，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，所述第二镜头(i)是非直线性镜头，并且(ii)具有第二放大率梯度，所述第二放大率梯度在所述第二镜头的中心处表现出峰值放大率并且在所述第二镜头的边缘处表现出最低放大率，其中所述第二镜头的所述第二放大率梯度大于所述第一镜头的所述第一放大率梯度；以及
将所述第一数字图像与所述第二数字图像融合以创建第三数字图像。
22.根据权利要求21所述的多相机系统，其中所述第二镜头的所述第二放大率梯度是线性的。
23.根据权利要求22所述的多相机系统，其中所述第二放大率梯度从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
24.根据权利要求21所述的多相机系统，其中所述第二镜头的所述第二放大率梯度是非线性的。
25.根据权利要求24所述的多相机系统，其中所述第二放大率梯度从所述第二镜头的中心向所述第二镜头的边缘单调地递减。
26.根据权利要求24所述的多相机系统，其中所述第二镜头的边缘处的放大率等于或小于所述第一镜头的边缘处的放大率。
27.根据权利要求21所述的多相机系统，其中所述操作包括：在所述第二数字图像与所述第一数字图像融合以创建所述第三数字图像之前，将失真补偿应用于所述第二数字图像。
CN201780085710.0A 2017-03-20 2017-10-20 包括具有放大率梯度的镜头的相机系统 Active CN110268698B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/464,099 US10051201B1 (en) 2017-03-20 2017-03-20 Camera system including lens with magnification gradient
US15/464,099 2017-03-20
PCT/US2017/057500 WO2018174947A1 (en) 2017-03-20 2017-10-20 Camera system including lens with magnification gradient

Publications (2)

Publication Number Publication Date
CN110268698A CN110268698A (zh) 2019-09-20
CN110268698B true CN110268698B (zh) 2020-09-25

Family

ID=60202478

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780085710.0A Active CN110268698B (zh) 2017-03-20 2017-10-20 包括具有放大率梯度的镜头的相机系统
CN201721430730.0U Active CN208806870U (zh) 2017-03-20 2017-10-31 包括具有放大率梯度的透镜的相机系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201721430730.0U Active CN208806870U (zh) 2017-03-20 2017-10-31 包括具有放大率梯度的透镜的相机系统

Country Status (6)

Country Link
US (2) US10051201B1 (zh)
EP (2) EP3580917B1 (zh)
CN (2) CN110268698B (zh)
DE (2) DE112017006779T5 (zh)
GB (1) GB2572920B (zh)
WO (1) WO2018174947A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10218830B1 (en) * 2017-08-28 2019-02-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Decoration component, housing component and mobile terminal having same
US11206321B2 (en) * 2019-02-19 2021-12-21 Lg Electronics Inc. Mobile terminal and electronic device including same
CN114128250B (zh) * 2019-07-09 2024-06-07 伊美景象公司 设计具有有意畸变的小型透镜的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009151903A2 (en) * 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
CN104755986A (zh) * 2012-10-30 2015-07-01 株式会社尼康 可变放大率光学系统、光学装置,和用于可变放大率光学系统的生产方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202888B2 (en) * 2002-11-19 2007-04-10 Hewlett-Packard Development Company, L.P. Electronic imaging device resolution enhancement
FI117843B (fi) * 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
WO2007120370A1 (en) 2006-04-10 2007-10-25 Alex Ning Ultra-wide angle objective lens
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP5202630B2 (ja) 2008-06-10 2013-06-05 Ｊｘ日鉱日石金属株式会社 スパッタリング用酸化物焼結体ターゲット及びその製造方法
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
US8547423B2 (en) 2009-09-24 2013-10-01 Alex Ning Imaging system and device
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US20140071329A1 (en) 2012-09-07 2014-03-13 Rambus Inc. Reconfigurable optical device using a total internal reflection (tir) optical switch
US9086558B2 (en) * 2013-03-05 2015-07-21 Apple Inc. Small form factor high-resolution camera
GB2512621A (en) 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
JP6455474B2 (ja) * 2016-03-25 2019-01-23 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10362231B2 (en) * 2016-07-01 2019-07-23 Intel Corporation Head down warning system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009151903A2 (en) * 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
CN104755986A (zh) * 2012-10-30 2015-07-01 株式会社尼康 可变放大率光学系统、光学装置,和用于可变放大率光学系统的生产方法

Also Published As

Publication number Publication date
WO2018174947A1 (en) 2018-09-27
US10051201B1 (en) 2018-08-14
GB2572920A (en) 2019-10-16
DE112017006779T5 (de) 2019-11-21
US20180367743A1 (en) 2018-12-20
EP3580917B1 (en) 2021-03-03
CN208806870U (zh) 2019-04-30
CN110268698A (zh) 2019-09-20
GB201910560D0 (en) 2019-09-04
GB2572920B (en) 2020-02-26
US10341579B2 (en) 2019-07-02
EP3580917A1 (en) 2019-12-18
DE202017106567U1 (de) 2018-06-26
EP3832994A1 (en) 2021-06-09

Similar Documents

Publication Publication Date Title
CN110268698B (zh) 包括具有放大率梯度的镜头的相机系统
KR102143309B1 (ko) 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
CN106255913B (zh) 包括具有不同直径的透镜元件的图像拾取设备
US9749614B2 (en) Image capturing system obtaining scene depth information and focusing method thereof
CN108989649B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US10341594B2 (en) Light field capture control methods and apparatuses, light field capture devices
US9703175B2 (en) Systems and methods for autofocus trigger
US20140340543A1 (en) Image-processing apparatus and image-processing method
CN103986867A (zh) 一种图像拍摄终端和图像拍摄方法
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
US10148870B2 (en) Image capturing apparatus
JP6544978B2 (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
CN112585518A (zh) 对焦点的确定方法、装置、镜头、成像装置和可移动平台
KR101889886B1 (ko) 심도 정보 생성 방법 및 장치
EP4191332B1 (en) Systems and methods for obtaining a super macro image
Oberdörster et al. Digital focusing and refocusing with thin multi-aperture cameras
JP2011150635A (ja) 画像復元方法および装置
Sahin et al. Light L16 computational camera
Song et al. Region adaptive correction method for radial distortion of fish-eye image
CN107613166A (zh) 光场相机及其安装参数确定方法、装置、存储介质
KR101756274B1 (ko) 감시용 카메라 및 감시용 카메라의 동작 방법
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
CN112866543B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
KR102107126B1 (ko) 카메라 초점조절방법 및 초점조절시스템
JP2015233258A (ja) 画像撮影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant