CN110268698A - 包括具有放大率梯度的镜头的相机系统 - Google Patents

Abstract

一种装置，包括，具有光学地耦合到第一镜头的图像传感器的第一数字相机和包括光学地耦合到第二镜头的图像传感器的第二数字相机，第一镜头具有第一放大率。第二镜头具有比第一镜头的放大率更大的放大率，并且第二镜头是具有其中放大率在第二镜头的中心处最高并且在边缘处最低的放大率梯度的非直线性镜头。

Description

包括具有放大率梯度的镜头的相机系统

技术领域

所公开的实施例总体上涉及相机，并且尤其但非排他性地涉及包括具有放大率梯度的镜头的多相机系统。

背景技术

在最新的智能手机中找到的那种双相机系统具有朝向相同方向的一对数字相机。每个相机均具有不同的镜头：一个相机具有短焦距的镜头，另一个相机具有长焦距的镜头。例如，在一些双相机布置中，短焦距镜头可以是普通镜头或广角镜头，并且长焦距镜头可以是与广角镜头相比具有3X放大率的远摄镜头(即，如果我们将普通或广角镜头的放大率指定为1X，则远摄镜头具有3倍的总放大率，即3X)。

这些双相机布置本身允许用户仅捕获广角(1X)图像或远摄(3X)图像，并且没有两者中间的其他放大率的图像。但是，如果用户想要捕获落入两个镜头放大率之间的中间放大率的图像，比如在具有1X和3X镜头的系统中的2X图像，将会怎样？两个镜头的焦距是固定的并且不能被改变，因此无法实现真正的光学变焦以创建2X图像。尽管如此，为了模拟光学变焦，可以使用1X和3X镜头捕获图像并且捕获到的数字图像可以通过已知的软件方法融合以创建大致上如果实际上能够将镜头中的一个镜头的放大率调整至2X将产生的图像。

如果短焦距镜头和长焦距镜头之间的焦距差变得过大，则该模拟光学变焦会出现问题。在这些情况下，融合具有不同放大率的图像以形成具有期望的中间放大率的图像的算法难以创建中间放大率的良好图像。

发明内容

根据第一方面，在该第一方面中提供了一种装置，包括：第一数字相机，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，第一镜头具有第一放大率；第二数字相机，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，其中第二镜头是具有其中放大率在第二镜头的中心处最高并且在第二镜头的边缘处最低的放大率梯度的非直线性镜头，并且其中第二镜头具有比第一镜头的放大率更大的放大率。因此，可以提供尤其以中间放大率或者焦距(在两个或更多个透镜之间)的改善的图像。

可选地，第二镜头的放大率梯度是线性的。

可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。

可选地，第二镜头的放大率梯度是非线性的。

可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。

可选地，第一镜头是直线性镜头。

可选地，第一镜头是非直线性镜头。

可选地，第一镜头具有放大率梯度。

可选地，第二镜头的边缘处的放大率等于或小于第一镜头的边缘处的放大率。

根据第二方面，在该第二方面中提供了一种过程，包括以下步骤：使用包括光学地耦合到第一镜头的图像传感器的第一数字相机捕获第一数字图像，第一镜头具有第一放大率；使用包括光学地耦合到第二镜头的图像传感器的第二数字相机捕获第二数字图像，所述第二镜头具有比第一放大率更大的第二放大率，其中第二镜头是具有其中放大率在第二镜头的中心处最高并且在第二镜头的边缘处最低的放大率梯度的非直线性镜头；将第一数字图像与第二数字图像融合以创建具有第一放大率和第二放大率之间的放大率的第三数字图像。

可选地，第二镜头的放大率梯度是线性的。

可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。

可选地，第二镜头的放大率梯度是非线性的。

可选地，放大率从第二镜头的中心向第二镜头的边缘单调地递减。

可选地，其中第一镜头是直线性镜头。

可选地，第一镜头是非直线性镜头。

可选地，第一镜头具有放大率梯度。

可选地，第二镜头的边缘处的放大率等于或小于第一镜头的边缘处的放大率。

可选地，过程还可以包括在第二数字图像与第一数字图像融合以形成第三数字图像之前将失真补偿应用于第二数字图像。

根据另一方面，在该另一方面中提供了一种装置，所述装置还包括适于执行所述过程的步骤的组件。

根据另一方面，在该另一方面中提供了一种计算机程序，所述计算机程序包括使装置执行过程的步骤的指令。例如，装置可以是移动设备(例如智能手机)。

应注意的是，上述任何特征可与本发明的任何特定方面或实施例一起使用。

附图说明

参考以下附图描述本发明的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在全部各个视图中指代相同的部件。

图1A是包括双相机系统的智能手机的实施例的背面的平面图。

图1B是可以与如图1A所示的智能电话一起使用的双相机系统的实施例的框图。

图2A是示出了镜头的视场及镜头对场景的捕获的双相机系统的实施例的顶视图。

图2B-图2C是多相机系统中的两个镜头的放大率的图像捕获和中间放大率的图像的视图。

图3A是示出双相机系统中的放大率分布的实施例的曲线图，在所述双相机系统中，两个镜头中的一个是直线性的而另一个镜头是非直线性的。

图3B是示出了具有如图3A所示的放大率分布的实施例的非直线镜头的放大率轮廓的图像的视图。

图3C-图3D是示出双相机系统中的放大率分布的其他实施例的曲线图，在所述双相机系统中，两个镜头中的一个是直线性的而另一个镜头是非直线性的。

图4是示出双相机系统中的放大率分布的其他实施例的曲线图，在所述双相机系统中，两个镜头中的一个是直线性的而另一个镜头是非直线性的。

图5是示出双相机系统中的放大率分布的其他实施例的曲线图，在所述双相机系统中，两个镜头是非直线性的。

图6是用于在第一镜头的放大率与第二镜头的放大率之间的中间放大率下用双相机系统产生融合图像的过程的实施例的流程图。

具体实施方式

描述了用于包括具有放大率梯度的镜头的多相机系统的装置、系统和方法的实施例。描述特定细节以提供对实施例的理解，但是相关领域的技术人员将认识到的是，在某些情况下，可以在没有所描述的细节中的一个或多个的情况下实践本发明，并且在其他情况下，可以用其他方法、部件、材料等实践本发明。在某些情况下，公知的结构、材料或操作未被详细示出或描述，但是仍然在本发明的范围内。

在整个说明书中对“一个实施例”或“实施例”的引用意指可以包括在至少一个所描述的实施例中的所描述的特征、结构或特性，使得“在一个实施例中”或“在实施例中”的出现不一定全部都指代相同的实施例。此外，特定的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。

图1A示出了智能手机100中的多相机系统的实施例。智能手机100包括两个数字相机，这两个数字相机面向相同方向使得它们均可以同时捕获相同场景的图像。所图示的实施例包括两个相机——第一相机A和第二相机B——但是其他实施例，它可以包括多于两个相机。相机A和相机B被并排定位在智能电话100中，但是在其他实施例中可以被不同地定位。此外，在其他实施例中，多个相机可以被包括在不是智能电话的例如是专用数字相机的设备中并且可以包括多于两个相机。

图1B以框图形式示出了可以在多相机系统中使用的双相机系统150(诸如智能电话100)的实施例。相机A包括第一镜头152和第一图像传感器156，而相机B包括第二镜头154和第二图像传感器158。镜头152在下文中有时也被称为镜头A，因为它对应于相机A，并且镜头154类似地有时也被称为镜头B，因为它对应于相机B。镜头152和镜头154具有不同的焦距，这意味着它们具有不同的放大率，因为放大率与焦距相关，对于单个镜头如下所示：

其中M是放大率，f是焦距，d_o是物距。在一个实施例中，镜头152可以是普通镜头或广角镜头并且镜头154可以是远摄镜头。通常，第一镜头152的放大率小于第二镜头154的放大率，或者换句话说，镜头152的焦距比第二镜头154的焦距短。例如，在一个特定实施例中，镜头152可以是1X镜头并且镜头154可以是3X镜头。但是在其他实施例中，镜头152可以具有1X和5X之间的放大率并且镜头154可以具有2X和10X或更大的放大率。

双相机系统150还包括处理器160和存储器162。在所示实施例中，相机A和相机B共享单个处理器和存储器。在其他实施例中，相机A和B可以具有共享存储器的单独处理器或具有单独存储器的单独处理器，尽管在这样的实施例中，处理器、存储器或两者可以彼此通信地链接以允许一个或两个处理器利用已知图像融合方法(例如，高通滤波技术；基于IHS变换的图像融合；基于PCA的图像融合；小波变换图像融合以及成对空间频率匹配)融合由相机捕获到的图像。

图2A示出了使用第一相机A和第二相机B来捕获场景190的图像。相机A，其镜头具有较低的放大率并因此具有较宽的视场(在一个实施例中约为90°)，捕获场景190的全部。相机B，其镜头154具有较高的放大率并因此具有较窄的视场(对于3X实施例约为30°；对于10X实施例约为9°等)，但是以比相机A更高的放大率仅捕获场景106的一部分。由两个相机产生的数字图像与通过图像尺寸和像素计数测量的尺寸大致上相同，但是因为相机B捕获场景的较小部分，所以它将具有较大的空间分辨率。

图2B至图2C示出了由相机150捕获的图像。更具体地，它们示出了相机A和相机B的场景覆盖区域。图2B示出了利用相机A和相机B的一个放大率集合(例如，相机A的1X和相机B的3X)的场景覆盖。第一相机A以1X放大率捕获整个场景，但因为第二相机B具有较高的放大率，所以第二相机B捕获场景的较小部分。

图2C示出了与图2B相比，如果镜头B的放大率增加，相机A和相机B的场景覆盖。如果图2B示出具有3X镜头的相机B，则图2C可以示出具有5X或10X镜头的相机B。最终结果是相机B的场景覆盖明显更小。场景覆盖中的这种间隙或增量——以及引申开来，图像分辨率——使创建具有中间放大率的图像C更加困难并且场景覆盖中的增量越大创建具有中间放大率的图像C越困难。在图2B和图2C两者中，数字图像A和B可以使用已知技术进行融合以创建以在A与B之间的中间放大率看见的数字图像C。但是如果镜头A与镜头B之间的放大率的差变得更大，则两个图像的空间分辨率的差对应地变得更大。因此，融合两个图像以形成中间放大率的图像C变得更困难。相机A与相机B之间的ΔM越高越高，处于中间地图放大率C的图像将越不令人满意。

图3A示出了多相机系统的实施例中的放大率分布。曲线图针对沿水平轴的归一化半径(r/R)绘制沿垂直轴的放大率M。在所示实施例中，相机A具有直线性镜头并且相机B具有非直线性镜头。直线性镜头是在镜头的整个区域上放大相同量的镜头并且因此不会产生径向失真。在所示出的实施例中，镜头A是直线性的，因此其放大率不随半径变化。但是镜头B是非直线性的，这意味着它的放大率随半径变化，或换句话说，镜头B在其中心与边缘之间具有放大率梯度。因为镜头B的放大率梯度将创建光学失真，所以描述此放大率的另一种方式是说镜头B具有预失真。

在所示实施例中，镜头B在它的中心处具有它的峰值放大率并且该放大率从镜头的中心向边缘非线性地并且单调地减小，但是在其他实施例中，放大率梯度不需要是非线性的或单调的。为了比较，该曲线图还示出了镜头B的直线性版本的放大率，所述直线性版本的放大率等于非直线性版本的峰值放大率。通常，镜头A的放大率小于镜头B的平均放大率，或者换句话说，镜头A的焦距比镜头B的平均焦距短。如该曲线图所示，如果镜头B具有放大率梯度，即使在中心处具有高峰值放大率，镜头A与镜头B之间的平均ΔM也低于如果两个镜头均是直线性的并且镜头B处于峰值的情况下的ΔM。镜头边缘处的ΔM——以及因此，产生的图像的边缘——也明显更低。这两种特性均使得使用已知的图像融合技术获得令人满意的中间放大率的图像变得更容易。镜头B的精确放大率分布可以用实验方式或用数字方式确定，并且可以被选择以优化已知图像融合方法的性能。

图3B示出了镜头B的图像捕获区域上的放大率轮廓的实施例。在所示实施例中，图像捕获区域的放大率轮廓可以对应于图3A中所示的放大率分布。放大率梯度将导致一些图像失真，因为镜头是非直线性的，但是可以使用软件技术从产生的图像中除去失真。

图3C至图3D示出了放大率分布的其他可能组合。如图3A中所示，两个曲线图针对沿水平轴的标准化半径(r/R)绘制了沿垂直轴的放大率M，并且也如图3A中所示，镜头A是直线性的并且镜头B是非直线的。图3C至图3D和图3A的主要区别是镜头B的放大率分布向下移动以与在边缘处或附近的镜头A的放大率匹配或重叠。图3C示出了放大率在边缘处匹配的情况——即，在镜头边缘处ΔM＝0。图3D示出了放大率在边缘处重叠的情况——即，在镜头边缘处ΔM<0。

图4示出了镜头B的放大率分布的其他实施例。放大率分布B1包括在围绕镜头中间的区域中的恒定放大率的中间部分(即，以镜头的光轴为中心)，在镜头的恒定放大率中间部分与边缘之间具有线性的和单调的放大率的下降。放大率分布B2在镜头的中心处具有最大放大率；该放大率然后向镜头的边缘线性地和单调地下降。

图5示出了双相机系统中的放大率分布的又一个实施例。在先前讨论的双相机系统中，镜头中的一个是直线性的而另一个镜头不是——即，一个具有恒定放大率而另一个具有放大率梯度。但这不必需是每个实施例中的安排。例如，图5示出了双相机系统中的镜头的放大率分布，其中两个镜头均是非直线性的。在所示实施例中，镜头A和镜头B均具有类似形状的放大率分布，但这不必是在每个实施例中的情况。在另一个实施例中，例如，镜头B可以具有所示的放大率分布，而镜头A可以具有诸如图4中所示的分布B1或分布B2的线性放大率分布。可以选择它们相应的放大率梯度以允许图像被成功融合以模拟中间放大率。

图6示出了用于捕获和融合由双相机系统捕获的一对图像的过程的实施例，所述双相机系统包括具有直线性镜头A的相机A和包括具有在相机B的中心和相机B的边缘之间的放大率梯度的非直线性镜头的相机B。

过程在框602处开始。在框604处，输入预期的放大率。例如，如果双相机系统中的镜头中的一个镜头是1X镜头而另一个是10X镜头，但是用户需要或预期5X图像，则用户在框604处指定5X。在框606处，图像A由相机A捕获，并且在框608处，图像B由相机B捕获。

在如框610的虚线轮廓所示的可选的框610处，可以对图像B进行一些失真补偿以解决由放大率梯度产生的图像失真。在框612处，使用已知的图像融合方法以期望的输入放大率对图像B(如果在框610处被应用则图像B具有失真补偿，如果未在框610处应用则图像B不具有失真补偿)与图像A进行融合。在框614处，输出融合图像，并且在框616处，过程停止。

以上对实施例的描述，包括摘要中所描述的内容，并非旨在穷举或将本发明限制于所描述的形式。出于说明性目的，本文描述了本发明的特定实施例和示例，但是如相关领域的技术人员将认识到的，根据以上的详细描述，在本发明的范围内可以进行各种等同修改。

以下权利要求中使用的术语不应被解释为将本发明限制于说明书和权利要求中所公开的特定实施例。相反，本发明的范围完全由以下权利要求确定，所述权利要求使用既定的权利要求解释原则来解释。

Claims (21)

1.一种装置，包括：

第一数字相机，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，所述第一镜头具有第一放大率；

第二数字相机，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，其中所述第二镜头是具有放大率梯度的非直线性镜头，在所述放大率梯度中，放大率在所述第二镜头的中心处最高并且在所述第二镜头的边缘处最低，并且其中所述第二镜头具有比所述第一镜头的所述放大率更大的放大率。

2.根据权利要求1所述的装置，其中所述第二镜头的所述放大率梯度是线性的。

3.根据权利要求2所述的装置，其中所述放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。

4.根据权利要求1所述的装置，其中所述第二镜头的所述放大率梯度是非线性的。

5.根据权利要求4所述的装置，其中所述放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。

6.根据任一项前述权利要求所述的装置，其中所述第一镜头是直线性镜头。

7.根据权利要求1至5中任一项所述的装置，其中所述第一镜头是非直线性镜头。

8.根据权利要求7所述的装置，其中所述第一镜头具有放大率梯度。

9.根据任一项前述权利要求所述的装置，其中所述第二镜头的边缘处的放大率等于或小于所述第一镜头的边缘处的放大率。

10.一种过程，包括：

使用第一数字相机捕获第一数字图像，所述第一数字相机包括光学地耦合到第一镜头的图像传感器，所述第一镜头具有第一放大率；

使用第二数字相机捕获第二数字图像，所述第二数字相机包括光学地耦合到第二镜头的图像传感器，所述第二镜头具有比所述第一放大率更大的第二放大率，其中所述第二镜头是具有放大率梯度的非直线性镜头，在所述放大率梯度中，放大率在所述第二镜头的中心处最高并且在所述第二镜头的边缘处最低；

将所述第一数字图像与所述第二数字图像融合以创建第三数字图像，所述第三数字图像具有处于所述第一放大率与所述第二放大率之间的放大率。

11.根据权利要求10所述的过程，其中所述第二镜头的所述放大率梯度是线性的。

12.根据权利要求11所述的过程，其中所述放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。

13.根据权利要求10所述的过程，其中所述第二镜头的所述放大率梯度是非线性的。

14.根据权利要求13所述的过程，其中所述放大率从所述第二镜头的中心向所述第二镜头的边缘单调地递减。

15.根据权利要求10至14中任一项所述的过程，其中所述第一镜头是直线性镜头。

16.根据权利要求10至14中任一项所述的过程，其中所述第一镜头是非直线性镜头。

17.根据权利要求16所述的过程，其中所述第一镜头具有放大率梯度。

18.根据权利要求10至17中任一项所述的过程，其中所述第二镜头的边缘处的放大率等于或小于所述第一镜头的边缘处的放大率。

19.根据权利要求10至18中任一项所述的过程，进一步包括：在所述第二数字图像与所述第一数字图像融合以形成所述第三数字图像之前，将失真补偿应用于所述第二数字图像。

20.根据权利要求1至9中任一项所述的装置，进一步包括适于执行根据权利要求10至19中任一项所述的过程的步骤的组件。

21.一种计算机程序，所述计算机程序包括用于使权利要求20所述的装置执行根据权利要求10至19中任一项所述的过程的步骤的指令。