CN107924104A - 深度感测自动聚焦多相机系统 - Google Patents

Abstract

描述了一种使用深度感测相机的深度感测多相机系统。在一个示例中，相机系统包括：主自动聚焦相机，用以在第一聚焦距离处捕获场景的图像，该主相机具有穿过不同聚焦距离的固定视场；辅自动聚焦相机，用以在第二聚焦距离处捕获同一场景的图像，该辅相机具有穿过不同聚焦距离的固定视场；以及具有第一端口和第二端口的处理器，该第一端口被耦合到主相机来接收来自主相机的图像，该第二端口用以接收来自辅相机的图像并且使用所捕获的辅相机图像确定针对所捕获的主相机图像的深度图。

Description

深度感测自动聚焦多相机系统

技术领域

本说明书涉及使用便携式设备中的相机进行深度感测的领域，以及特别地涉及利用自动聚焦相机进行深度感测。

背景技术

诸如计算机、平板设备和蜂窝电话之类的便携式设备通常被配备有在前面朝用户指向的相机和在背面背离用户指向的相机。前相机通常被用于视频会议和自拍，而后相机通常被用于视频和静止摄影术。

小的数字相机模块在便携式电话、通信设备、娱乐设备和媒体设备上已经变得常见。针对安全、导航、安保和其他用途中存在相机使用上的对应增加。从不同位置指向同一场景的两个相机提供了允许深度感知的立体视觉。安装到单个设备上的相机或图像传感器的阵列还可以使得能够实现许多其他引人注目的3D用户体验，包括时间分辨率和增加的动态范围。各种不同的便携式摄影设备、计算设备和媒体播放器设备可以被适配成将相机阵列技术集成在它们的平台上。

一些设备在背面提供两个或更多个相机来允许拍摄和记录立体或三维的图像或视频。具有用于深度感知的两个或更多个相机的设备允许各种不同的附加功能。作为示例，深度图可以被叠覆在静止图像上作为用于增强图像的工具。深度图可以被用于运动效果（视差视图）、用于深度测量以及用于应用基于深度（诸如重新焦距、分层滤波器和视图合成，除了别的以外）进行选择的数字滤波器。此外，也可以使得能够实现各种其他类型的计算摄影术。

附图说明

在附图中的各图中作为示例而并非作为限制来说明实施例，其中相同的附图标记指代类似的元件。

图1是由使用长聚焦距离（focus distance）和具有聚焦呼吸（focus breathing）的透镜的相机传感器所捕获的场景的附图。

图2是由使用短聚焦距离的相机传感器所捕获的同一场景的附图。

图3是具有立体视觉的相机设备的背表面的平面图示图。

图4是具有参考相机和两个深度相机的相机设备的背表面的平面图示图。

图5是使用可变形薄膜作为光学元件的相机模块的轴测图。

图6是用于使用两个相机进行图像处理和深度处理的软件栈的混合硬件和软件示图。

图7是用于使用两个相机进行深度处理的操作和硬件的混合系统和方法示图。

图8是根据实施例的结合了具有多个相机的图像处理系统的计算和相机设备的框图。

具体实施方式

多图像传感器设备提供了使用使得能够实现深度摄影术的软件和硬件特征的二维和三维操作。多个图像传感器被安装在设备的同一侧上，以分别具有同一场景的不同视图。图像被合成和跟踪。便携式成像系统快速地改变模式，并且在一些实施例中提供新的深度捕获工作流。这可以包括通过确定图像差异信息来生成深度图，以及校准和校正所捕获的帧。

差异计算典型地依赖于对从两个相机查看的单个场景的图像进行比较。如果存在多于两个相机，则指定主相机。将来自每个其他相机的视图与主相机逐对地进行比较。来自不同相机的图像中的区别或差异可以被用来确定从相机到场景中的对象的距离。这种确定依赖于相机之间的距离、相机的焦距（focal length）和传感器的尺寸。用在智能电话中的相机典型地是具有自动聚焦光学系统的非常小的固定焦距相机，以允许针对非常近的对象以及远距离对象的图像捕获。

在包括被用于紧凑型相机模块和大部分静止相机的那些系统在内的许多透镜系统中，焦距随着聚焦距离变化。焦距确定相机的视场或缩放量。换言之，当聚焦在场景中的远距离对象上时，与当相机在同一位置中被聚焦在完全相同的场景中的近距离对象上时相比，图像传感器将看到场景的更多部分。尽管光学系统可以被设计成在不同聚焦距离下维持恒定的焦距。这极大地增加了光学系统的成本。

图1示出了采用棋盘形式的场景。相机被聚焦在例如超过50 cm的距离处的棋盘上。在图2中，在同一位置中的同一相机指向同一棋盘，然而，在该情况下，相机被聚焦在例如小于大约10 cm的距离处。结果，超过50 cm以外的棋盘的视图是模糊不清的。

比较图1和图2，在图2中，视场由分格线108指示。该视场叠覆到图1的图像上。如示出的，在更长的聚焦距离处，视场增加大约8%。与图2视图相比，存在图像的附加高度110和宽度112。伴随聚焦距离在视场上的这种差异有时被称为聚焦呼吸。同时，改变聚焦距离还可能使其他失真和畸变发生改变。对图像的所有这些改变必须被补偿，以便根据两个图像获得可靠的深度图，以及即使那样精确度将被降低。

在小型便携设备中，相机是非常小的。这允许用于设备中的其他部件的更多空间，并且提供轻量且薄的形状因子。小相机使用小图像传感器，该小图像传感器使用小像素。小像素仅捕获少量可用光以使得相机的透镜系统使用大光圈来允许更多光传到图像传感器。同时，相机是非常薄的，以允许用于设备的薄的总体形状因子。所得到的非常短的、大光圈透镜系统具有窄景深。该窄景深要求透镜被聚焦以便能够捕获远处的山和朋友人像两者的聚焦图像。需要甚至更大的聚焦范围来捕获硬币、邮票或OR（快速响应）码的聚焦图像。

这些非常短的大光圈透镜系统对每个光学元件的精确尺寸和位置上的小改变都非常敏感。温度变化可能改变聚焦距离、视场和光圈大小。湿度和高度变化可以影响机构的操作。通过振动对透镜系统的移动，或者甚至是在重力方向上的改变，可能改变光学元件的相对位置，其然后改变聚焦距离、视场和光圈大小。透镜系统受这些以及其他外部因素的影响，并且还可能在不同批次中的制造中以及在单个制造批次中的不同物项之间具有变化。

为了克服在便携式设备相机产生的结果中的许多变化，相机被配备具有自动聚焦和自动曝光，该自动聚焦用以调整聚焦距离而不管透镜系统的状况如何，该自动曝光用以调整曝光时间而不管光圈的大小如何。尽管这样的相机产生一贯高质量的结果，但图像不一定从一个图像到下一个都是一致的。

在做出差异确定时，将来自两个或更多个相机的场景图像进行比较。典型地，相机是相同的，并且将每个相机的每个像素与其他相机的每个像素进行比较。当在两个场景之间对象被移位出几个像素时，该像素移位被用来确定深度。图3中示出了这样的配置：设备上两个相机的示图。在该情况下，参考相机Cr和深度相机C1都被附接到设备103的同一表面。针对场景中的任一个对象的来自两个相机的图像之间的区别被用来确定从相机到场景的距离。在该情况下，两个相机被安装在同一表面上并且被竖直对齐，以使得用于深度确定的相关尺寸仅是两个相机之间的水平距离bx。

虽然不一定使用相同的相机，但是有必要知道由两个相机产生的图像之间的区别。该图像必须在大约相同的时间被捕获以避免由场景中对象的移动或相机移动所引起的误差。任何未知的区别将引起距离确定上的误差。如果相机的视场如上文所讨论的未知达8%倍，则可能难以做出有用的深度确定。因而，固定焦距相机被用于图3系统。

当前使用两种类型的系统来做出深度确定。在双光圈系统中，使用了具有单个透镜系统的单个相机，该单个透镜系统具有两个光圈。将场景在同一传感器上成像两次，每个光圈各一次。双光圈系统确保场景的两个图像都是通过同一透镜系统捕获的。然而，这两个场景非常接近在一起，以使得精确度被降低。在另一类型的系统中，使用了两个固定焦距透镜。固定焦距透镜具有单个焦距、单个聚焦距离和单个光圈。因此，不存在移动的光学元件，并且视场本质上是固定的。其仅随着正常的热膨胀和压缩而发生很少变化（如果有的话）。

深度确定依赖于识别场景中的对象，并且然后比较该对象在来自两个相机的两个图像上的位置。所识别的对象必须被聚焦得足够好，以能够清晰地识别边缘和纹理。利用固定焦距相机，可以通过使用更小的图像传感器或者通过减小光圈的大小来增加聚焦距离的范围。更小的图像传感器降低了图像的质量，并且这两种措施都降低相机在弱光中捕获细节的能力。这可能使两个相机系统对于许多摄影用途和视频用途而言是不可接受的。

为了克服固定焦距透镜相机的限制，在另一个变化方式中，两个或更多个低分辨率和小固定焦距透镜与更高分辨率自动聚焦相机一起使用。自动聚焦相机提供丰富的颜色和细节，同时固定焦距相机确定深度图来应用到自动聚焦相机图像。这样的系统当前可以从英特尔公司作为英特尔®RealSense^TM快照深度相机来得到。这在图4的示图中示出。

在便携式设备104的表面上以三角形配置使用三个相机Cr、C0、C1。参考相机Cr是更高像素计数自动聚焦相机，并且被用作针对其他两个相机C0、C1的位置的参考点。第二相机C0距参考相机Cr为特定距离b0。该距离具有竖直分量by和水平分量bx。类似地，第三相机C1距参考相机Cr为距离b1，并且具有相反方向上的相同水平分量bx，以及竖直分量by。虽然图像结果比图3实现方式中好得多，但是利用这样的三相机系统的深度确定是更复杂的。还存在将所确定的深度与参考相机相关的附加操作。

用以克服固定焦距和自动聚焦相机模块的限制的另一个方式是将不同透镜系统用于相机模块。不同的透镜系统可以被设计成将聚焦呼吸最小化，并且还将可以影响深度测量的失真和畸变最小化。存在包括针对视频优化的透镜系统和针对机器视觉优化的远心透镜的各种这样的透镜设计。另一这样的透镜系统设计使用可变形光学元件来在不移动任何光学元件的情况下改变聚焦距离。移动部分的缺失允许透镜系统以更低成本获得更高精确度。

在可变形光学元件的一个示例中，MEM（微-电-机）系统向粘性元件施加电场来改变元件的形状，并且由此改变元件的光焦度（optical power）。元件典型地是被放置在对着传感器的透镜系统的末端处的物镜。然而，可变形元件可以被放置在另一位置中。这样的设备可以被设计或控制为以比刚性透镜系统更低的成本在聚焦距离发生改变时维持恒定的或固定的视场。

图5示出了MEMS AF结构。裸管芯502具有致力于电连接管芯的2个接合焊盘。光学薄膜504被释放到光学油填充的腔体上。MEM致动器506被嵌入光学薄膜外周处的管芯中。当给MEM致动器供电时，光学油流过薄膜，并且取决于所供应的电力而被分布得离薄膜的中心更近或者更远。当朝向中心或远离中心对油进行驱动时，柔性薄膜改变形状。与边缘相比，形状在中间变得更厚或更薄，这改变了光学薄膜的光焦度。光焦度中的改变可以被用来将薄膜或多元件系统聚焦于不同的聚焦距离处。

MEMS结构还可以包括透明基板来承载薄膜、油和致动器508。这都被定位在诸如CMOS（互补金属氧化物半导体）光电二极管阵列之类的图像传感器510之上。在MEMS结构上方或下方还可能存在附加的光学元件（未示出）。在该系统中，代替驱动音圈电机来物理地移动元件，使用电压来移动薄膜中的油。移动光学油可以比操作音圈需要更少的功率。

图6是用于诸如图4的双相机系统的示例软件栈的示图。软件栈被构建在硬件层基础602上。内核层604被构建在硬件层上，以及用户空间606被构建在内核层上。硬件层包括主相机610，其被耦合到通往图像信号处理器（ISP）或中央处理单元（CPU）626的接口622。CPU操作用于ISP的图形驱动器644。辅相机616也被耦合到通往主图像信号处理器626的接口622。主ISP通过不同的端口耦合到同一ISP图形驱动器。前相机（未示出）还可以被耦合到CPU 626以允许系统从前相机切换到后相机。

主相机610包括由致动器611控制的自动聚焦透镜系统612。在内核级通过通往ISP的接口来耦合致动器。类似地，第二相机616具有由致动器613控制的透镜系统614，该致动器613由通过通往ISP的接口来耦合。在一些实现方式中，处理器被耦合到主自动聚焦相机和辅自动聚焦相机的致动器来控制施加到每个相机的腔体的电压。该电压然后控制可变形光学元件的形状。在其他实施例中，致动器被耦合到具有很小聚焦呼吸或没有聚焦呼吸的远心透镜或其他透镜的音圈电机。

图6的硬件配置也反映在这一软件栈表示中。可以做出进一步的变化和修改来适应不同的实现方式。在内核级，CPU 626通过图形驱动器644接收来自相机的图像传感器数据，并且将其发送到用户空间。在用户空间或应用层中，分别存在第一相机系统650和第二相机系统652。主相机系统支持编码和预览特征。预览特征被供应给显示器646。编码被发送到硬件层处的硬件编码器640。

辅相机系统支持文件存储以供图像处理使用来开发深度数据以及支持其他应用。最后，针对显示器的支持被示为包括硬件级图形处理器642和内核级图形驱动器644来提供用于显示的图形。还可以存在用户输入系统，诸如，按钮、按键、显示器646中的触摸屏接口或将命令从用户空间提供给内核层的各种其他输入系统中的任意。

帧同步可以被用在相机之间来提供更好的深度信息。可以基于帧计数器来对帧进行同步。硬件连接可以被用来提供帧同步能力，其将针对在主相机驱动辅相机的情况下的每个相机发起帧起始。

图7是如在图3中示出的用于使用两个固定焦距相机来确定深度的系统和方法的示图。该方法可以在不考虑参考相机的情况下被用于图4的两个深度相机C0、C1。使用具有非常低聚焦呼吸或无聚焦呼吸的相机，该方法可以被应用于高精确度相机。该方法不适应随着聚焦距离在焦距上的改变，并且因此对于远心透镜系统或具有可变形元件的透镜系统是特别有用的。

该系统具有左相机702和右相机704。虽然相机将被称为左和右，但是它们可以是上和下或者在任何其他方向上分离。虽然仅讨论一对相机，但是可以存在附加的相机。一个相机可以是主要的，以使得其他相机中的每个与主相机进行比较以用于深度确定，或者可以采用任何其他期望的方式来比较来自相机的结果。

左相机和右相机分别产生左图像408和右图像410。这些图像被缓冲以用于进一步处理。图像然后均被应用到矫正模块417。然后对相应的经矫正的左图像416和右图像418进行缓冲。该矫正基于校准来对图像进行校正。校准模块412被耦合到两个相机，并且对当前聚焦距离处的视场进行比较。基于该比较，针对一个或两个相机来开发校准参数。由矫正模块来应用这些参数。校准模块确定图像中的任何失真或畸变，并且该矫正模块对一个或两个图像进行扩缩，以使得视场匹配。图像然后被合并到同一平面以产生经矫正的图像。

在图像被矫正之后，取决于使用模型或所意图的用户体验可以应用多个不同过程中的任意。在该示例中，产生了深度图，但是可以附加或代替地应用任何其他过程。左相机被选作主相机。然而，可以选择任一相机。将经矫正的左图像从缓冲器提供给对象识别模块。该模块使用任何期望的方法来识别对象。这可以通过使用边缘检测、形心检测、或任何其他期望的对象识别技术来完成。

在该示例中，对象识别420识别对象，并且然后左形心模块430针对所识别的对象确定形心。所确定的形心然后被应用到对应性模块422中的经矫正的右图像418。使右图像中的对应对象与左图像中的那些对象相匹配。随着这些对象在右图像中被识别出，然后在右形心模块427中的右图像中找到针对这些对象的右图像中的形心。

随着针对两个图像确立所识别对象的形心，可以在三角模块中应用三角测量来确定距对象的距离。该距离在深度模块428中被全部编译，以生成深度图。该深度图可以被应用到其他过程来确定其他距离和尺寸、应用效果、利用左图像或右图像或两个图像来将对象或图像进行组合、或者实行任何其他期望的附加操作。

可以以各种不同方式中的任意来实行三角测量。在一些实施例中，绝对差的和被用来识别对象以用于基于差异的深度估计。对于场景中所识别的对象，其图像在左传感器和右传感器上被标识。使用这两个图像来比较可能像素和周围像素的强度，以便找到在两个所捕获的图像上的对象的边缘或形心。使用在两个图像之间该对象位置上的差异，可以确定相机位置和透镜系统的几何结构、从传感器的图像平面到所识别对象的位置的距离。

图8图示了根据一个实现方式的计算设备100。该计算设备100容纳系统板2。该板2可以包括多个部件，包括但不限于处理器4和至少一个通信程序包6。通信程序包被耦合到一个或多个天线16。处理器4被物理地和电子地耦合到板2。

取决于其应用，计算设备100可以包括可以被物理和电子地耦合到或者可以不被物理和电子地耦合到板2的其他部件。这些其他部件包括但不限于：易失性存储器（例如，DRAM）8、非易失性存储器（例如，ROM）9、闪速存储器（未示出）、图形处理器12、数字信号处理器（未示出）、密码处理器（未示出）、芯片集14、天线16、诸如触摸屏显示器之类的显示器18、触摸屏控制器20、电池22、音频编解码器（未示出）、视频编解码器（未示出）、功率放大器24、全球定位系统（GPS）设备26、罗盘28、加速度计（未示出）、陀螺仪（未示出）、扬声器30、相机32、传声器阵列34以及大容量存储设备（诸如硬盘驱动器）10、紧凑盘（CD）（未示出）、数字通用光盘（DVD）（未示出）等等。这些部件可以被连接到系统板2、安装到系统板或与其他部件中的任意进行组合。

通信程序包6使得能够实现用于向和从计算设备100传输数据的无线和/或有线通信。术语“无线的”以及其衍生词可以被用来描述电路、设备、系统、方法、技术、通信信道等，其可以通过使用穿过非固体介质的经调制的电磁辐射来传送数据。该术语并不暗示相关联的设备不包含任何线路，虽然在一些实施例中它们可能不包括。通信程序包6可以实现多个无线或有线标准或协议中的任意，该标准或协议包括但不限于Wi-Fi（IEEE 802.11家族）、WiMAX（IEEE 802.16家族）、IEEE 802.20、长程演进（LTE）、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、其以太网衍生形式、以及被指定为3G、4G、5G及以后的任何其他无线和有线协议。计算设备100可以包括多个通信程序包6。例如，第一通信程序包6可以专用于诸如Wi-Fi和蓝牙之类的较短程无线通信，以及第二通信程序包6可以专用于诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO及其他的较长程无线通信。

相机32包含具有如本文中所描述的自动聚焦透镜系统的图像传感器。该图像传感器可以使用图像处理芯片36的资源来读取值并且还实行格式转换、编码和解码、降噪以及3D映射等。处理器4被耦合到图像处理芯片36来驱动过程、设置参数等。

在各种实现方式中，计算设备100可以是膝上型计算机、上网本计算机、笔记本计算机、超极本计算机、智能电话、可穿戴设备、平板设备、个人数字助理（PDA）、超移动PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元、数字相机、便携式音乐播放器或数字视频录像机。计算设备可以是固定的、便携式的或可穿戴的。在另外的实现方式中，计算设备100可以是处理数据的任何其他电子设备。

可以使用相机32与处理器4、36以及任何其他期望部件一起来实现实施例，该期望部件可以被示出或可以未被示出，包括一个或多个存储器芯片、控制器、CPU（中央处理单元）、使用母版互联的集成电路或微芯片、专用集成电路（ASIC）和/或现场可编程门阵列（FPGA）。

对“一个实施例”、“实施例”、“示例实施例”“各种实施例”等的引用指示如此描述的（一个或多个）实施例可以包括特定的特征、结构或特性，但是不是每个实施例都一定包括该特定特征、结构或特性。此外，一些实施例可以具有针对其他实施例所描述的特征中的一些、所有或一个也没有。

在以下的描述和权利要求中，可以使用术语“耦合”以及其衍生词。“耦合”被用来指示两个或更多元件彼此协同操作或交互，但是它们可以具有或可以不具有介于中间的物理或电子部件。

如在权利要求中所使用的，除非另行指定，否则使用序数形容词“第一”、“第二”、“第三”等来描述普通元件仅指示指代相同元件的不同实例，并且不意图暗示如此描述的元件必须是处于时间上的、空间上的、按照排序的或以任何其他方式的给定顺序。

附图和前述描述给出了实施例的示例。本领域技术人员将理解的是，所描述的元件中的一个或多个可以被很好地组合成单个功能元件。替换地，某些元件可以被拆分成多个功能元件。来自一个实施例的元件可以被添加到另一个实施例。例如，本文中所描述的过程的顺序可以被改变，并且不限于本文中所描述的方式。此外，任何流程图中的动作不需要以所示出的顺序来实现；也并不一定需要实行所有的动作。而且，并不取决于其他动作的那些动作可以与其他动作并行实行。实施例的范围决不被这些特定示例所限制。无论是否在说明书中明确给出，诸如在结构、尺寸以及材料用途上的差异之类的许多变化都是可能的。实施例的范围至少如由所附权利要求所给出的那样宽泛。

以下示例涉及另外的实施例。不同实施例的各种特征可以在多方面与所包括的一些特征和所排除的其他特征进行组合来适应各种不同应用。一些实施例涉及成像设备，其包括：主自动聚焦相机，用以在第一聚焦距离处捕获场景的图像，该主相机具有穿过不同聚焦距离的固定视场；辅自动聚焦相机，用以在第二聚焦距离处捕获同一场景的图像，该辅相机具有穿过不同聚焦距离的固定视场；以及处理器，具有第一端口和第二端口，该第一端口被耦合到主相机以接收来自主相机的图像，该第二端口用以接收来自辅相机的图像并且使用所捕获的辅相机图像来确定针对所捕获的主相机图像的深度图。

在另外的实施例中，主自动聚焦相机和辅自动聚焦相机均包括具有可变形光学元件的透镜系统。

在另外的实施例中，主自动聚焦透镜系统和辅自动聚焦透镜系统不具有移动的部分。

在另外的实施例中，可变形元件包括在充满油的腔体中的光学薄膜，并且其中该薄膜随着由施加到腔体的电压所引发的光学油的移动而改变形状。

在另外的实施例中，处理器被耦合到主自动聚焦相机和辅自动聚焦相机来控制施加到每个相机的腔体的电压。

在另外的实施例中，主自动聚焦相机和辅自动聚焦相机均包括远心透镜系统。

在另外的实施例中，主相机具有第一视场，以及辅相机具有第二视场，并且该第一视场和第二视场是相同的。

在另外的实施例中，第一聚焦距离和第二聚焦距离是相同的。

在另外的实施例中，处理器要通过以下操作来确定深度图：识别主相机图像中的对象，在对应的辅相机图像中找到对应的对象，确定所找到的对象在相应图像中的位置以及使用所确定的位置来实行三角测量以确定距每个对象的距离。

另外的实施例包括具有更高分辨率的第三自动聚焦相机，其用以捕获同一场景的图像并且确定深度图包括使深度图与第三相机的图像相关。

一些实施例涉及一种装置，其包括用于在第一聚焦距离处捕获场景的图像的第一装置，该第一图像捕获装置具有穿过不同聚焦距离的固定视场；用于在第二聚焦距离处捕获同一场景的图像的第二装置，该第二图像捕获装置具有穿过不同聚焦距离的固定视场；以及具有第一端口和第二端口的用于处理的装置，该第一端口被耦合到主相机来接收来自第一图像捕获装置的图像，该第二端口用以接收来自第二图像捕获装置的图像以使用来自第二图像捕获装置的图像确定针对来自第一图像捕获装置的图像的深度图。

在另外的实施例中，第一图像捕获装置和第二图像捕获装置均具有自动聚焦透镜系统，该自动聚焦透镜系统具有可变形光学元件。

在另外的实施例中，自动聚焦透镜系统不具有移动的部分。

在另外的实施例中，可变形元件包括在充满油的腔体中的光学薄膜，并且该薄膜随着由施加到腔体的电压所引发的光学油的移动而改变形状。

在另外的实施例中，主自动聚焦相机和辅自动聚焦相机均包括远心透镜系统。

在另外的实施例中，主相机具有第一视场，以及辅相机具有第二视场，并且其中第一视场和第二视场是相同的。

一些实施例涉及便携式设备，其包括：在设备的第一表面上的显示器；用户接口；在设备的与第一表面相反的第二表面上的主自动聚焦相机，用以在第一聚焦距离处捕获场景的图像，该主相机具有穿过不同聚焦距离的固定视场；在设备的第二表面上的辅自动聚焦相机，用以在第二聚焦距离处捕获同一场景的图像，该辅相机具有穿过不同聚焦距离的固定视场；以及处理器，其具有第一端口和第二端口，该第一端口被耦合到主相机来接收来自主相机的图像，该第二端口用以接收来自辅相机的图像并且使用所捕获的辅相机图像确定针对所捕获的主相机图像的深度图。

在另外的实施例中，主自动聚焦相机和辅自动聚焦相机均包括具有可变形光学元件的透镜系统。

在另外的实施例中，主相机具有第一视场，以及辅相机具有第二视场，并且其中该第一视场和第二视场是相同的。

另外的实施例包括在第二表面上的具有更高分辨率的第三自动聚焦相机，其用以捕获同一场景的图像，以及确定深度图包括使深度图与第三相机的图像相关。

Claims (20)

1.一种成像设备，包括：

主自动聚焦相机，用以在第一聚焦距离处捕获场景的图像，主相机具有穿过不同聚焦距离的固定视场；

辅自动聚焦相机，用以在第二聚焦距离处捕获同一场景的图像，所述辅相机具有穿过不同聚焦距离的固定视场；以及

处理器，其具有第一端口和第二端口，所述第一端口被耦合到所述主相机来接收来自所述主相机的图像，所述第二端口用以接收来自所述辅相机的图像并且使用所捕获的辅相机图像确定针对所捕获的主相机图像的深度图。

2.根据权利要求1所述的成像设备，其中所述主自动聚焦相机和辅自动聚焦相机均包括具有可变形光学元件的透镜系统。

3.根据权利要求2所述的成像设备，其中所述主自动聚焦透镜系统和辅自动聚焦透镜系统不具有移动的部分。

4.根据权利要求3所述的成像设备，其中所述可变形元件包括在充满油的腔体中的光学薄膜，并且其中所述薄膜随着由施加到所述腔体的电压所引发的油的移动而改变形状。

5.根据权利要求3或4所述的成像设备，其中所述处理器被耦合到所述主自动聚焦相机和辅自动聚焦相机来控制施加到每个相机的所述腔体的电压。

6.根据上述权利要求中的任一项或多项所述的成像设备，其中所述主自动聚焦相机和辅自动聚焦相机均包括远心透镜系统。

7.根据上述权利要求中的任一项或多项所述的成像设备，其中所述主相机具有第一视场，以及所述辅相机具有第二视场，并且其中所述第一视场和所述第二视场是相同的。

8.根据上述权利要求中的任一项或多项所述的成像设备，其中所述第一聚焦距离和所述第二聚焦距离是相同的。

9.根据上述权利要求中的任一项或多项所述的成像设备，其中所述处理器要通过以下操作来确定深度图：识别主相机图像中的对象，在对应的辅相机图像中找到对应的对象，确定所找到的对象在相应图像中的位置以及使用所确定的位置实行三角测量以确定距每个对象的距离。

10.根据上述权利要求中的任一项或多项所述的成像设备，进一步包括具有更高分辨率的第三自动聚焦相机，其用以捕获所述同一场景的图像，以及确定深度图包括使所述深度图与所述第三相机的图像相关。

11.一种装置，包括：

用于在第一聚焦距离处捕获场景的图像的第一装置，第一图像捕获装置具有穿过不同聚焦距离的固定视场；

用于在第二聚焦距离处捕获同一场景的图像的第二装置，第二图像捕获装置具有穿过不同聚焦距离的固定视场；以及

具有第一端口和第二端口的用于处理的装置，所述第一端口被耦合到所述主相机来接收来自所述第一图像捕获装置的图像，所述第二端口用以接收来自所述第二图像捕获装置的图像以使用来自所述第二捕获装置的图像来确定针对来自所述第一图像捕获装置的图像的深度图。

12.根据权利要求11所述的装置，其中所述第一图像捕获装置和第二图像捕获装置均具有自动聚焦透镜系统，所述自动聚焦透镜系统具有可变形光学元件。

13.根据权利要求12所述的装置，其中所述自动聚焦透镜系统不具有移动的部分。

14.根据权利要求13所述的装置，其中所述可变形元件包括在充满油的腔体中的光学薄膜，并且其中所述薄膜随着由施加到所述腔体的电压所引发的油的移动而改变形状。

15.根据权利要求11-14中的任一项或多项所述的装置，其中所述主自动聚焦相机和辅自动聚焦相机均包括远心透镜系统。

16.根据权利要求11-15中的任一项或多项所述的装置，其中所述主相机具有第一视场，以及所述辅相机具有第二视场，并且其中所述第一视场和所述第二视场是相同的。

17.一种便携式设备，包括：

在设备的第一表面上的显示器；

用户接口；

在所述设备的与第一表面相反的第二表面上的主自动聚焦相机，用以在第一聚焦距离处捕获场景的图像，所述主相机具有穿过不同聚焦距离的固定视场；

在所述设备的第二表面上的辅自动聚焦相机，用以在第二聚焦距离处捕获同一场景的图像，所述辅相机具有穿过不同聚焦距离的固定视场；以及

具有第一端口和第二端口的处理器，所述第一端口被耦合到所述主相机来接收来自所述主相机的图像，所述第二端口用以接收来自所述辅相机的图像并且使用所捕获的辅相机图像确定针对所捕获的主相机图像的深度图。

18.根据权利要求17所述的便携式设备，其中所述主自动聚焦相机和辅自动聚焦相机均包括具有可变形光学元件的透镜系统。

19.根据权利要求17或18所述的便携式设备，其中所述主相机具有第一视场，以及所述辅相机具有第二视场，并且其中所述第一视场和所述第二视场是相同的。

20.根据权利要求17、18或19所述的便携式设备，进一步包括所述第二表面上的具有更高分辨率的第三自动聚焦相机，其用以捕获所述同一场景的图像，以及确定深度图包括使所述深度图与所述第三相机的图像相关。