CN103139470A

CN103139470A - 数字成像系统

Info

Publication number: CN103139470A
Application number: CN2012104843267A
Authority: CN
Inventors: 穆罕默德·阿波尔法德尔; 佐尔塔·法克休斯
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-11-30
Filing date: 2012-11-23
Publication date: 2013-06-05
Also published as: US20130135515A1

Abstract

提供了一种数字成像系统，用于对物体成像。该数字成像系统包括设置在图像平面内的光传感器阵列和设置为将来自物体的光引导至光传感器阵列的多个微透镜。多个微透镜具有不同的焦距和不同的视场。

Description

数字成像系统

技术领域

本发明的实施例涉及数字成像系统。

背景技术

光场相机是使用微透镜阵列来捕捉通过光学系统的光线的4D信息的相机(辐射率为位置和方向的函数)。目前已知两种光场相机设计，这两种设计在光传感器前面均使用了主透镜和透镜阵列(或针孔栅格)。这两种设计之间的主要不同在于，微透镜阵列与主透镜的图像平面的相对位置、以及微透镜的焦平面(focal plane)与光传感器的相对位置。

在第一种方法中(该方法被称为“全光(Plenoptic)1.0”或来自李普曼(Lippmann)的集成成像，并且在WO 2007/092581A2中也有描述)，微透镜阵列被放置于主透镜的图像平面处并且直接位于光传感器的前面，从而使得模糊像点(image spot)被投射到光传感器上。这种光场相机的有效分辨率与透镜阵列的微透镜的数目相同。

在第二种方法中，透镜阵列被设置为使得由主透镜生成的物体的“虚像(virtual image)”的多个低分辨率的微图像被投射到光传感器上。微透镜阵列和光传感器所处的图像平面之间的距离不等于微透镜的焦距。第二种方法被称为“全光(Plenoptic)2.0”，该方法能获得比“Plenopticl.0”更高的有效分辨率。在US 2009/0041448 A1中对该第二种方法进行了描述。

在“Plenoptic2.0”的进一步发展(“Plenoptic2.0改进版”)中，使用了具有多个焦距不同的微透镜的微透镜阵列。具有特定焦距的每一组微透镜将“虚”像空间的不同的深度范围聚焦到光传感器上。利用这种方法，由于距微透镜阵列不同距离处的虚像能够被同时聚焦到光传感器平面上，所以整个成像系统的景深被延伸，并且针对位于成像系统附近(即，靠近微透镜阵列和光传感器)的“虚”物体可获得相对较高的有效分辨率。

所有已知系统的共同点在于，成像系统的有效分辨率在深度范围上迅速降低。

发明内容

因此，需要一种在大深度范围内有效分辨率高的数字成像系统。

这一目的可通过包括权利要求1的特征的数字成像系统实现。

优选实施例的数字成像系统包括：设置在图像平面内的光传感器阵列、和设置为将来自物体的光引导至光传感器阵列的多个微透镜，其中，该多个微透镜具有不同的焦距和不同的视场。

进行了找出有效分辨率在深度范围上迅速降低的原因的调查。发现迅速降低的原因在于，由邻近的微透镜生成的微图像所包含的信息大部分相同，并且只有一小部分由邻近的微透镜生成的信息彼此不同。也就是说，每个微图像是其邻近图像的只偏移了很少的量的偏移版本。因此，由于保存了很多冗余信息，所以光传感器空间(photosensor space)没有被以最佳方式利用。据发现，由邻近的微透镜生成的微图像之间的较少冗余信息会使每一个在图像平面处生成的微图像具有更独特的分辨率。还发现，通过多个具有不同焦距和不同视场的微透镜可使邻近的微图像之间的冗余信息更少。利用这种发置，微透镜聚焦在具有不同视场的不同“虚”像平面处，从而使得深度范围被划分成若干子范围。例如，当使用具有四个不同视场的微透镜时，可将深度范围划分成四个子范围。优选地，视场最大的微透镜聚焦在近距物体上，视场最窄的微透镜聚焦在捕捉场景中的远距物体上。利用这种设置，可使相邻微透镜之间的重叠降至最低，从而可以在大深度范围内获得高有效分辨率。

本发明的其它特征和优点可结合附图从以下对根据本发明的实施例的描述中读到。

附图说明

包括在本说明书中并且构成本说明书的一部分的附图提供了对实施例的进一步的理解。附图示出了实施例，并且与说明书一起用来说明实施例的原理。由于参考以下描述会更好理解，因此可很容易地理解其它实施例和实施例的很多预期优点。附图中的元件不一定要互相成比例。相同的参考标号指示相应的类似部件。

图1示意性地示出了根据本发明实施例的成像系统的光学几何结构；

图2示意性地示出了作为距现有技术中已知的光场相机中的相机的物距的函数的原始输出分辨率、以及作为物体距相机的距离的函数的根据本发明的数字成像系统的期望原始输出分辨率；

图3示意性地示出了焦距和视场均不同的两种微透镜的操作；

图4示意性地示出了视角为θ_fov的微透镜的几何依存关系；

图5示意性地示出了本发明的优选布置，其中在该优选布置中具有不同焦距和不同视场的两组微透镜被设置在公共平面中；

图6a和6b示意性地示出了在包括焦距和视场均不同的微透镜的根据本发明的成像系统的深度范围内的原始输出分辨率；

图7示意性地示出了在包括焦距和视场均不同的微透镜的根据本发明的成像系统的深度范围内的公共像素的数目；

图8示意性地示出了根据本发明的数字成像系统的微透镜的优选配置；

图9a示出了三种微透镜在六边形栅格中的优选分布，图9b示出了设置在矩形阵列中的包括焦距和视场均不同的四种微透镜在内的微透镜的进一步的优选分布；和

图10a示意性地示出了由微透镜阵列生成的微图像，其中该微透镜阵列包括根据本发明的成像系统的光传感器阵列上的具有不同焦距和不同视场的四个不同的微透镜组；

图10b示意性地以彩色示出了图10a中的微图像，其中可看出微图像代表部分场景。

具体实施方式

下文中，将描述本发明的实施例。需要注意的是，可以任何方式合并下文中描述的所有实施例，即并未限制某些所描述的实施例不可与其它实施例合并。另外，应注意的是，图中的相同参考标号表示相同或相似的元件。

应理解，可利用其它实施例，且可在不脱离本发明的范围的情况下进行结构或逻辑方面的改变。因此，不应以限制意义理解以下的详细描述，并且本发明的范围由所附权利要求限定。

应理解，除非具体说明，否则此处描述的各种实施例的特征可相互合并。

图1示意性地示出了光场相机的成像系统100的光学几何结构。成像系统100具有设置在微透镜阵列中的多个微透镜102和包括多个光传感器的光传感器阵列106。具有光轴109的主透镜108将从位于主透镜108右侧的物体(未示出)发出或反射的光聚焦到其左侧的表面110上，从而形成“虚”像112。主透镜108优选为传统的摄影机镜头。图像112在以下意义上是“虚”像：该图像没有被形成在设置光传感器阵列106的平面上。微透镜阵列104被放置在光传感器阵列106的平面的前面。光传感器阵列106被设置在图像平面114内。每一个微透镜102的直径可以被选择为大于单个光传感器的直径，这样每一个微透镜102都可在光传感器阵列106的多个光传感器上生成图像。例如，光传感器阵列106为CCD矩阵或线阵列。微透镜阵列104被设置为其可将“虚像”的多个图像投射到光传感器阵列106上。由微透镜102在光传感器阵列106上生成的图像被称作微图像。微图像可由多个光传感器器组成。微透镜阵列可以是啁啾型(chirped type)透镜阵列。

微透镜阵列104中的微透镜102充当记录“虚”像的不同视图的小相机。各种微图像可用于在计算上模拟虚像平面，从而使得合成图像聚焦于“虚”像的与虚像平面交叉的部分。为了聚焦物体的不同部位，虚像平面必须沿着光轴109移动。该移动是根据计算进行的，从而使得在原始图像已被记录后可再次聚焦图像。对虚像平面的形式没有限制，因此除虚像平面外，还可模拟另一种任意形状的虚像表面。

当根据微透镜的焦距使用微透镜阵列104中的不同焦距的微透镜102时，微透镜102可将“虚”像空间的特定深度范围聚焦到光传感器阵列106所位于的图像平面114上，从而使得“虚”像112的不同深度范围被聚焦在光传感器阵列106上。因此，与包括唯一焦距的微透镜102的微透镜阵列104的成像系统100相比，整个成像系统100的景深被扩展。

图1示出了距图像平面114的距离为D的“虚”像112。“虚”像112距图像平面114越近，即距离D较小，物体距相机越远，且可看见相同点的微透镜102越少。反过来，物体距相机越近，“虚”像112距图像平面114越远，且可看见相同点的微透镜102越多。有效分辨率是微透镜102(一个点投射至其上)的数目和微透镜102的景深的结合。因此，对于距相机较远的物体而言，有效分辨率降低。

图2示出了作为距现有技术中已知的光场相机(使用不同焦距的微透镜的“Plenopticl.0”型、“Plenoptic2.0”型和“Plenoptic2.0改进版”型的光场相机)中的相机的物距的函数的“原始输出分辨率”。“原始输出分辨率”是从由光场相机生成的未进行任何进一步数字处理(插值，超分辨率等)的原始图像数据计算生成的最大分辨率。其取决于虚像至微透镜平面的距离D、微透镜的景深、和光传感器平面的分辨率。从附图中可看出，与利用“Plenoptic1.0”型光场相机进行成像相比，利用“Plenoptic2.0”型光场相机可获得更高的原始输出分辨率。还可进一步看出，对距相机较远的物体而言，即当“虚”像112距成像系统100的光传感器阵列106更近时，分辨率以指数方式递减。如从附图的图2中看到的那样，对于使用焦距不同的微透镜102的“Plenoptic2.0改进版”型光场相机而言，可减少距相机更远的物体的分辨率的缺失。进一步地，图2还示出了作为物体距相机的距离的函数的、根据本发明的数字成像系统的期望原始输出分辨率。可看出，与现有技术中已知的数字成像系统的分辨率相比，利用根据本发明的包括具有不同焦距和不同视场的微透镜的成像系统，可在较大深度范围内提高分辨率。因此，与“Plenoptic2.0”型光场相机相比，可期待分辨率平均提高22％，且与“Plenoptic2.0改进版”型光场相机相比，可预期分辨率平均提高12％。

从上面的解释可清楚地知道，所有已知的有效分辨率增强的成像系统的缺陷在于，这种成像系统的有效分辨率在深度范围内以指数方式递减。具体地，在“Plenoptic2.0”的情况下，对于距相机较远的物体而言，分辨率迅速降低，且在“Plenoptic2.0改进版”的情况下，对于距相机较近的物体而言，分辨率迅速降低。

根据本申请的数字成像系统的发明者发现，有效分辨率在深度范围内迅速降低的原因是，由相邻微透镜生成的微图像包含的信息大部分相同，且由相邻微透镜生成的信息中只有一小部分彼此不同。由相邻微透镜生成的微图像彼此间发生少量偏移，从而包括大部分都相同的信息。这是由以下事实造成的，即由邻近的微透镜看到的、被投射到光传感器阵列上的“虚”像在很大程度上重叠。因此，由于保存了很多冗余信息，所以光传感器空间没有被以最佳方式利用。

因此，发明者进一步地进行调查，以找出如何避免相邻微透镜的这种重叠以在较大深度范围内的每一个深度获得最佳分辨率的途径。

图3示意性地示出了焦距和视场(FOV)均不同的两种微透镜502和504的操作。在图3的左侧示出了具有相对较窄视场的微透镜502的操作，并且在图3的右侧示出了具有相对较宽视场的微透镜504的操作。进一步地，具有相对较窄视场的微透镜502被优先选择，以便与具有相对较宽视场的微透镜相比，微透镜502可具有较小的焦距。如可看到的那样，具有较窄视场的相邻微透镜502可投射第一深度范围D1内的虚像的微图像而不会重叠图像信息，具有较宽视场的相邻微透镜可投射第二深度范围D2内的虚像的微图像而不会重叠图像信息。优选地，视场较窄的微透镜502比视场较宽的微透镜504具有更大焦距，从而使得视场较宽的微透镜504可聚焦在与视场较窄且焦距较大的微透镜502相比距微透镜504更近的“虚”物体上。因此，通过使用具有不同焦距和不同视场的两种微透镜502和504，深度范围被分成子深度范围，其中相邻微透镜聚焦的图像信息基本上彼此不重叠。这种包括具有不同焦距和不同视场的微透镜的微透镜阵列可与成像系统100结合，如附图的图1中示意性地图示的那样，以获得上下文中讨论的效果。

图4示出了视角为θ_fov、距平面202的距离为D的透镜200和平面202的大小L的依存关系。如可看到的那样，θ_fov等于2×tan^-1(L/(2×D))。

图5示出了焦距和视场(FOV)均不同的两组微透镜602和604被设置在公用平面606内的优选布置。如所见到的那样，视场较宽且焦距较小的微透镜602被用于聚焦第一深度范围D3内的虚像空间，视场较窄且焦距较大的微透镜604被用于聚焦第二深度范围D4内的虚像空间，其中第二深度范围比第一深度范围距公共平面的距离远。在第一深度范围D3内，均属于第一组的彼此相邻的微透镜602的视场只有很少量的重叠。在第二深度范围D4内，均属于第二组的彼此相邻的微透镜604的视场只有很少量的重叠。应注意，为了利用由微透镜投射到光传感器阵列上的微图像合成图像，相邻微透镜的微图像需要少量重叠，因此需要相邻微透镜的不同视场有少量重叠。因此，通过使用具有不同视场和不同焦距的微透镜，可减少与一个焦距相关的微图像之间的冗余信息。微图像之间的有限冗余给予了每一个微图像和图像平面更独特的分辨率。

图6a和6b示意性地示出了在包括焦距和视场均不同的微透镜的根据本发明的成像系统的深度范围内的原始输出分辨率。在图6a的示例中，三个不同的微透镜组702、704和706被设置在公共平面处的微透镜阵列707内。第一微透镜组702包括具有第一视场和第一焦距的微透镜708，第二微透镜组704包括具有第二视场和第二焦距的微透镜710，第三微透镜组706包括具有第三视场和第三焦距的微透镜712。第一视场宽于第二视场，并且第二视场宽于第三视场。进一步地，第一焦距小于第二焦距，并且第二焦距小于第三焦距。利用这种微透镜布置，虚像空间的深度范围被分成不同的子范围d1、d2和d3。选择第一微透镜组702的共同焦距，以便将距微透镜阵列707的距离为a1的“虚”像聚焦到距微透镜阵列有预定距离的光传感器平面上，并选择第一微透镜组702的共同视场以便在距微透镜阵列的距离a1处彼此相邻的微透镜708的视场基本上相互不重叠(即只有很少量的重叠)。类似地，选择第二微透镜组704的共同焦距以便将距微透镜阵列707的距离为a2的“虚”像聚焦到距微透镜阵列707有预定距离的光传感器平面上，并选择第二微透镜组704的共同视场以便在距微透镜阵列的距离a2处彼此相邻的微透镜710的视场基本上相互不重叠(即，只有很少量的重叠)。类似地，选择第三微透镜组706的共同焦距以便将距微透镜阵列707的距离为a3的“虚”像聚焦到距微透镜阵列707有预定距离的光传感器平面上，并选择第三微透镜组706的共同视场以便在距微透镜阵列的距离a3处彼此相邻的微透镜712的视场基本上相互不重叠(即，只有很少量的重叠)。因此，深度范围被划分成子范围d1、d2和d3，其中特定的微透镜组可将“虚”像的微图像聚焦到光传感器阵列上，而基本上不会彼此重叠，或只有很少量的重叠。如可从图6b看见的那样，由于这种布置，在每一个子范围d1、d2、d3中，成像系统的分辨率从最大值Max降低至最小值Min，因此通过增加子范围d1、d2和d3成像系统总的分辨率在较大深度范围内被提高。在每一个子范围中，分辨率从最大值Max降低至最小值Min是由于随着距微透镜阵列的距离的增大(即，各个子范围内的距离增大)，焦距和视场相同的相邻微透镜的视场的重叠增加造成的。从附图的图7中还可看出，图7示出了设置在微透镜阵列内的相邻微透镜410和420的公共像素数目随着距微透镜阵列的距离的增大而增加。

图8示意性地示出了数字成像系统的微透镜的优选配置。在优选配置中，多个微透镜802被设置在微透镜阵列804中，且微透镜802的焦距和视场在微透镜阵列804中发生变化。微透镜802被彼此间隔预定节距P1而设置。为了改变微透镜802的视场，可改变透镜表面806的曲率半径和/或微透镜厚度。在本优选配置中，不同微透镜组中的微透镜802具有曲率半径不同的透镜表面806和不同的透镜厚度，因此可获得不同微透镜组的不同视场之间的较大差值。在本示例中，提供了三种不同的微透镜组810、812和814，这三个微透镜组具有三个不同的曲率半径r1、r2和r3以及三个不同的透镜厚度T1、T2和T3。

图9a示出了三种类型的微透镜902、904和906在六边形栅格908中的优选分布。三种不同类型的微透镜902、904和906的焦距和视场不同。栅格908中的每个微透镜902、904和906分别具有不同类型的、最近的相邻微透镜902、904或906。相同类型的微透镜也被设置在六边形栅格中。

图9b示出了微透镜在阵列中的进一步的优选分布。微透镜902被设置在矩形阵列904中，矩形阵列904包括焦距和视场均不同的四种不同类型的微透镜906、908、910和912。微透镜906、908、910和912具有矩形剖面。如图9a的实施例中所示，特定类型906、908、910和912的每个微透镜902被置于其类型与该特定类型不同的微透镜902旁边。同一类型906、908、910和912的微透镜902也被设置在矩形栅格中。

与图9a的实施例相比，图9b的实施例具有更好的占空因数(fillfactor)。占空因数是有效折射面积(即将光引至光传感器的面积)与微透镜阵列占据的总面积的比值。

图10a和10b示意性地示出了由微透镜阵列生成的微图像210，该微透镜阵列包括根据本发明的成像系统的光传感器阵列上的具有不同焦距和不同视场的四个不同的微透镜组。如可看到的那样，由相邻微透镜生成的微图像210彼此发生偏移，从而减少了与一个焦距相关的微图像之间的冗余信息。进一步地，如看到的那样，相邻微透镜与不同焦距有关，从而在较大深度范围内对物体成像，且由于焦距不同的微透镜具有不同的视场，因此与不同焦距有关的微图像被以高分辨率生成。

利用根据本发明的成像系统，有可能在连续且较长的成像距离内感测深度。进一步地，有可能进行数字重聚焦，而几乎不需要去模糊化。还进一步地，由于微图像全都在较大或完整的深度范围内聚焦，因此降低了所需的数字处理能力。另外，可同时应用各种深度感测原理(像素偏移、散焦测距(depth from defocus)和差异测距(depth from disparity))。

根据本发明成像系统的数字化的可重聚焦图像具有较低的分辨率差异，因此不需要在不同深度位置的图像之间进行过度缩放和插值，几乎相同数量的像素被用来形成最终的图像。这可提高图像质量。此外，可执行不同的深度感测算法，来代替在微透镜组之间通常使用的像素偏移感测。为了提高深度映射分辨率，通过使用具有大视场且在传感器区域的相对位置的微透镜组来从视差估计深度。

根据本发明的其它方面，使用了可补偿物体距相机较远时分辨率的降低的光学设计，所述分辨率降低是由透镜阵列的缩小造成的。可通过被称作超远心(hypertelecentricity)的光学效果来补偿缩小。这种光学效果可使距相机较远的物体比距相机较近的物体的放大率更大。

虽然此处图示并描述了具体实施例，但是本领域的普通技术人员可理解，在不脱离描述的实施例的范围的情况下可用各种可替代和/或等效实施方式代替此处所示且描述的具体实施例。本发明欲覆盖此处讨论的具体实施例或任何修改或变型。因此，其意图是发明只受权利要求书及其等同的限制。

Claims

1.一种用于对物体成像的数字成像系统，包括：

光传感器阵列，该光传感器阵列被设置在图像平面内；和

多个微透镜，该多个微透镜被设置为将来自物体的光引导至所述光传感器阵列，

其中，所述多个微透镜具有不同的焦距和不同的视场。

2.根据权利要求1所述的数字成像系统，其中，所述多个微透镜被设置在微透镜阵列中。

3.根据权利要求1所述的数字成像系统，其中，所述多个微透镜形成多个微透镜组，并且其中，一组的微透镜具有相等的焦距，并且不同组的微透镜具有不同的焦距。

4.根据权利要求1所述的数字成像系统，其中，所述多个微透镜形成多个微透镜组，并且其中，同一组的微透镜具有相等的视场，并且不同组的微透镜具有不同的视场。

5.根据权利要求4所述的数字成像系统，其中，同一组的微透镜包括曲率半径相等的透镜表面和相等的透镜厚度。

6.根据权利要求1所述的数字成像系统，其中，焦距相等的微透镜具有相等的视场。

7.根据权利要求1所述的数字成像系统，其中，所述多个微透镜中的每个微透镜的视场不同于与所述微透镜中的每个微透镜相邻的微透镜的视场。

8.根据权利要求1所述的数字成像系统，其中，所述多个微透镜被设置在矩形栅格中。

9.根据权利要求8所述的数字成像系统，其中，具有相等视场的一组微透镜中的微透镜被设置在矩形栅格中。

10.根据权利要求1所述的数字成像系统，其中，所述微透镜中的每个微透镜的视场是从四个不同视场中选择的。

11.根据权利要求1所述的数字成像系统，进一步包括用于对所述物体成像的主透镜，所述多个微透镜被设置在所述主透镜和所述光传感器阵列之间。

12.根据权利要求11所述的数字成像系统，其中，所述多个微透镜被设置为将所述物体的虚像的微图像投射到所述光传感器阵列上，所述物体的所述虚像由所述主透镜生成。

13.根据权利要求3所述的数字成像系统，其中，一组微透镜的相等的焦距被选择从而使得与所述微透镜阵列有预定距离的虚像能够被聚焦到所述光传感器阵列上，并且相等的视场被选择从而使得在距所述微透镜阵列的所述预定距离处，所述一组微透镜中的彼此相邻的微透镜的视场基本上不相互重叠。