CN104460219A - 固态成像设备、计算设备、以及计算程序 - Google Patents

Abstract

根据一个实施例，固态成像设备包括第一成像设备、第二成像设备、以及计算单元。该第一成像设备包括第一光学系统、第一成像单元、以及在该第一光学系统和第一成像单元之间提供的第二光学系统。该第二成像设备包括第三光学系统、第二成像单元，以及在该第三光学系统和第二成像单元之间提供的第四光学系统。该计算单元被配置为执行第一计算以及第二计算。该第一计算包括从立体差异推导出第一距离。该第二计算包括从视差图像推导出第二距离。该计算单元被配置为基于从该第一距离和第二距离中选择出的至少一个估算目标距离。

Description

固态成像设备、计算设备、以及计算程序

相关申请的交叉引用

本申请基于2013年9月18日提交，日本专利申请号2013-193295，并要求该专利的优先权的权益；该专利内容通过引用整体接合至此。

技术领域

在此描述的实施例总体涉及固态成像设备、计算设备、以及计算程序。

背景技术

正对成像技术进行各种研究，从而以获得深度方向的信息(距离信息)，诸如二维阵列信息，诸如使用参考光束的技术、使用多个相机的立体测距技术等。特定地，近年来，对于在消费者应用中可作为新型输入设备使用的相对便宜的产品的需求正在增长。

在为了获得距离信息的此类成像技术中，不使用参考光束用于测量的方法被称为被动方法。被动方法包括基于三角测量的视差方法、基于所获得的图像的外形、对比度等从经验估算距离的图像估算方法，等等。特定地，提出了一种视差方法，其中各种计算方法使用双镜头配置作为基础。对于使用该视差方法获得距离信息的成像技术，期望的是以高精度执行广域的距离测量(测距)。

附图简述

图1是示出根据第一实施例的一种固态成像设备的示意图；

图2是示出了该成像设备的示意剖面图，；

图3是示出了该成像设备的安装状态的示意图；

图4是示出了根据一参考示例的测距的示意图；

图5示出了基于立体差异估算该距离的概念；

图6A和图6B示出了使用该视差图像组来估算该距离的方法的概念；

图7是示出了该计算程序的流程的流程图；

图8是示出了该计算程序的流程的流程图；

图9示出了该计算机的硬件；

图10A和图10B是示出了根据第二实施例的固态成像设备的示意图；

图11是示出了根据第三实施例的一种固态成像设备的示意图；

图12是示出了根据第四实施例的一种固态成像设备的示意图；并且

图13示出了该焦距与其中测距可能的区域之间的关系。

具体实施方式

根据一个实施例，一种固态成像设备包括第一成像设备、第二成像设备、以及计算单元。该第一成像设备包括第一光学系统、设置在该第一光学系统与该第一光学系统的成像位置之间的第一成像单元，该第一成像单元包括多个成像像素、以及设置在该第一光学系统与第一成像单元之间的第二光学系统，该第二光学系统包括第一微透镜阵列。该第二成像设备被设置为与该第一成像设备分离。该第二成像设备包括第三光学系统、设置在该第三光学系统与该第三光学系统一成像位置之间的第二成像单元，该第二成像单元包括多个成像像素、以及设置在该第三光学系统与该第二成像单元之间的第四光学系统，该第四光学系统包括第二微透镜阵列。该计算单元被配置为执行第一计算以及第二计算。该第一计算包括使用第一图像信号和第二图像信号从立体差异推导出第一距离。该物体的第一图像信号由该第一成像设备获得，并且该物体的第二图像信号由该第二成像设备获得。该第二计算包括经由从该第一微透镜阵列与该第二微透镜阵列中选择出的至少一个获得的视差图像推导出第二距离。该计算单元被配置为基于从该第一距离和第二距离中选择出的至少一个来估算目标距离。

现在将参考附图描述本发明的实施例。在下文中的描述中，相同构件标示相同附图标记，并且按需省略对曾经描述过的构件的描述。

第一实施例

图1是示出了根据第一实施例的固态成像设备的示意图。

如图1所示，根据该实施例的固态成像设备110包括第一成像设备10A、第二成像设备10B、以及计算单元50。

该第一成像设备10A包括被包括在第一光学系统中的第一主透镜11A以及被包括在第二光学系统中的微透镜阵列12A。该第二成像设备10B包括被包括在第三光学系统中的第二主透镜11B以及被包括在第四光学系统中的微透镜阵列12B。该第一成像设备10A以及第二成像设备10B即所谓的全光相机。该第一成像设备10A和第二成像设备10B的详细配置在下面描述。

该计算单元50执行第一计算以及第二计算。

在第一计算中，使用由该第一成像设备10A获取的物体的第一图像信号以及由该第二成像设备10B获取的该物体的第二图像信号，从立体差异推导出(计算出)距离。

在第二计算中，经由从该第一微透镜阵列12A和第二微透镜阵列12B中选择出的至少一个获得的视差图像中推导出(计算出)该距离。

例如，该第一计算在第一区间内实施。可在与该第一区间不同的第二区间内实施该第二计算。

该固态成像设备110执行计算(该第一计算)，其包括基于由该第一成像设备10A和第二成像设备10B获得的图像信号通过立体匹配获取距离图像，以及一计算(该第二计算)，其包括基于通过该第一成像设备10A和第二成像设备10B的微阵列中的至少一个获得的视差图像组，通过模式匹配获取距离图像。该固态成像设备110通过适当地选择该第一计算和第二计算，在广域内以高精度执行测距。

图2是示出了该成像设备的示意剖面图。

由于该第一成像设备10A的配置和该第二成像设备10B的配置使用了通用配置，在图2中示出了一个成像设备10。在下面的描述中，该第一成像设备10A的配置用附图标记“A”标示；并且该第二成像设备10B的配置用用附图标记“B”标示。当在该第一成像设备10A的配置和该第二成像设备10B的配置之间没有区别时，省略这些附图标记“A”和“B”。

该成像设备10包括主透镜11、微透镜阵列12、以及成像单元13。在该第一成像设备10A中，该主透镜11是第一主透镜11A；该微透镜阵列12是第一微透镜阵列12A；而该成像单元13是第一成像单元13A。在该第二成像设备10B中，该主透镜11是第二主透镜11B；该微透镜阵列12是第二微透镜阵列12B；而该成像单元13是第二成像单元13B。

该主透镜11包括一个或多个透镜。该成像单元13设置在该主透镜11和该主透镜11的成像位置之间。该成像单元13包括未示出的多个成像像素。该微阵列12设置在该主透镜11和该成像单元13之间。

该成像单元13包括设置在未示出的半导体衬底上的，作为成像像素的光敏二极管、驱动这些光敏二极管的驱动电路、读取信号的读出电路，等等。该成像单元13被切成芯片配置，并被安装在安装衬底100上。该成像单元13经由接合线106电连接至该安装衬底100的未示出的互连平台。

该微阵列12被设置为与该成像单元13分离。在该微透镜阵列12和该成像单元13之间设置接合单元108。通过该接合单元108，在该微阵列12和该成像单元13之间接合设置空间109。在该安装衬底100上设置外壳102以覆盖该微透镜阵列12、成像单元13、以及接合线106。

透镜架103被安装至该外壳102。该主透镜11通过该透镜架103被安装到该外壳102上。藉此，该主透镜11被部署在该微透镜阵列12上方。可在该主透镜11和该微透镜阵列12之间设置滤波器104以阻挡不必要的光。

图3是示出了该成像设备的安装状态的示意图。

如图3所示，根据该实施例的固态成像设备110可进一步包括衬底20。该第一成像设备10A以及第二成像设备10B以固定间距被安装在该衬底20的第一表面20a上。

该计算单元50可经由互连21电连接至该第一成像设备10A以及第二成像设备10B。该计算单元50可安装到该衬底20的第一表面20a或位于该第一表面20a对面侧的衬底20的第二表面20b上。该计算单元50可通过无线通信连接到该第一成像设备10A和第二成像设备10B。该计算单元50可通过诸如互联网之类的网络连接到该第一成像设备10A以及第二成像设备10B。

现在将描述通过该固态成像设备110的测距。

如图1所示，该第一成像设备10A能够对于第一成像区域R1内的物体进行成像。该第二成像设备10B能够对于第二成像区域R2内的物体进行成像。在其中该第一成像区域R1和和第二成像区域R2重叠的重叠区域OL内的物体可由该第一成像设备10A和第二成像设备10B两者成像。

另一方面，在其中该第一成像区域R1和第二成像区域R2不重叠的非重叠区域(另一区域)NOL内的物体可由从该第一成像设备10A和第二成像设备10B中选出的一个所成像。例如，在作为该第一成像区域R1中的非重叠区域NOL的成像区域R11中的物体可由该第一成像设备10A成像。在作为该第二成像区域R2中的非重叠区域NOL的成像区域R21中的物体可由该第二成像设备10B成像。

例如，该计算单元50选择该重叠区域OL的第一计算的计算结果，并为选择非重叠区域NOL的第二计算的计算结果。该计算单元50可执行该重叠区域OL的第一计算和第二计算，并执行非重叠区域NOL的第二计算。

该计算单元50可根据从该固态成像设备110至该物体的距离，在选择第一计算的计算结果和选择第二计算的计算结果之间转换。例如，如图1所示，距该固态成像设备110的距离TH可预设为阀值；对于超过该距离TH的区域A1，可选择第一计算的计算结果；对于在该距离TH处或以内的区域A2，可选择第二计算的计算结果。

该计算单元50可根据从该固态成像设备110外部传输来的指令，在选择该第一计算的计算结果和选择该第二计算的计算结果之间转换。

在该固态成像设备110中，皆通过适当地使用来自计算单元50的第一计算的计算结果和第二计算的计算结果，获得第一计算的优势和第二计算的优势。

现在将描述该测距的一个特定示例。

如图1所示，对距该固态成像设备110足够远并且位于该第一成像设备10A的第一成像区域R1和第二成像设备10B的第二成像区域R2重叠的重叠区域OL内的成像区域R121，该计算单元50通过第一计算估计该距离。换言之，该计算单元50通过基于由该第一成像设备10A和第二成像设备10B获得的图像信号形成的重建图像进行立体匹配来估算该距离。下面将描述图像重建以及立体匹配。

另一方面，对于相对邻近该固态成像设备110并且在该重叠区域OL内的成像区域R122，该计算单元50通过从第一计算和第二计算中选择的至少一个估计该距离。在该第二计算中，使用由该成像单元13经由从该第一成像设备10A的第一微透镜阵列12A和该第二成像设备10B的第二微透镜阵列12B中选择出的至少一个获得的视差图像组通过模式匹配来估算该距离。将在下面描述使用该视差图像组的测距。

进一步地，对于在该非重叠区域NOL以及该第一成像设备10A的第一成像区域R1内的成像区域R11，该计算单元50通过第二计算估计该距离。换言之，该计算单元50通过使用经由该第一成像设备10A的第一微透镜阵列12A由该第一成像单元13A获得的视差图像组的模式匹配来估算该距离。

对于位于该非重叠区域NOL内且位于该第二成像设备10B的第二成像区域R2内的成像区域R21，该计算单元50通过第二计算估算该距离。换言之，该计算单元50通过使用经由该第二成像设备10B的第二微透镜阵列12B由该第二成像单元13B获得的视差图像组的模式匹配来估算该距离。

因此，对于该固态成像设备110中的第一成像区域R1以及第二成像区域R2，除了对该重叠区域OL的测距外，还对该非重叠区域NOL执行该测距。因此，实现了对于广域的测距。在相对远的区域内，通过第一计算的立体匹配来执行该测距；而在相对邻近的区域内，通过使用通过第二计算的视差图像组的模式匹配执行该测距。从而，实现了在邻近和远区域内的高精度测距。

图4是示出了根据参考示例的测距的示意图。

在图4所示的示例中，通过使用由第一成像设备10A′和第二成像设备10B′获得的图像信号的立体匹配执行该测距。该第一成像设备10A′和第二成像设备10B′是非全光相机的相机。

在图4所示的示例中，其中可能获取该距离图像的区域被限于其中该第一成像设备10A′的第一成像区域R1′和该第二成像设备10B′的第二成像区域R2′重叠的重叠区域OL。因此，对于除该重叠区域OL之外的其他区域，无法获取该距离图像。

另一方面，在根据上面描述的实施例的固态成像设备110中，不仅对于该重叠区域OL，而且对于该非重叠区域NOL，皆可获取该距离图像。因此，在该固态成像设备110中，获得广域的距离图像。

现在将描述通过立体匹配来估算该距离的方法。

图5示出了基于立体差异来估算该距离的概念。

在图5中，Z为距离；f为该相机的焦距；T为左、右相机C1和C2之间的间距(基线长度)；且d为视差距离(X₁-X₂)。

在下面的公式(1)中，该距离Z用该视差距离d表示，d是当相同物体被该左、右相机C1和C2成像时，在像平面处的位置变化。

$Z=\frac{\mathrm{fT}}{d}...\left(1\right)$

如上所述，由上述公式(1)基于通过对于一个图像与对应于该一个图像的另一个图像之间的任意图像区域匹配获得的视差来计算基于立体差异的距离Z，其中一个图像与另一个图像是由这两个相机C1和C2成像的。

现在将描述使用该视差图像组估算距离的方法。

图6A和图6B示出了使用该视差图像组用于估算该距离的方法的概念。

图6B是图6A中所示出的部分P的放大图。

在图6A和图6B中，A为距离(从位于物体侧上主透镜11的主表面到该物体的距离)；f为该主透镜11的焦距；B为从位于图像侧上的主透镜11的主表面到像平面IMS1的距离；C为从包括在该微透镜阵列12内的微透镜ML物体侧上的主表面到该主透镜11的成像平面IMS1的距离；D为位于图像侧上的微透镜ML的主表面到这些微透镜ML的成像平面IMS2的距离；E为从图像侧上主透镜11的主表面到物体侧上微透镜ML的主表面的距离(E＝B-C)；d为微透镜ML的视差距离；nL为基线长度；L为微透镜ML的节距(L≈微透镜ML的直径)；且g为微透镜ML的焦距。

从位于物体侧上微透镜ML的主表面到该主透镜11的成像平面IMS1的距离C用下列公式(2)表达。

$C=\frac{\mathrm{DnL}}{d}...\left(2\right)$

该视差距离d用下列公式(3)表达。

d＝(x₁-x_n)         …(3)

从位于图像侧上主透镜11的主表面到成像平面IMS1的距离B用下列公式(4)表达，B是在主透镜11的焦距f与从物体侧上该主透镜11的主表面到该物体的距离A之间的关系表达式。

$B=\frac{\mathrm{fA}}{A-f}...\left(4\right)$

这里，距离C用下列公式(5)表达。

C＝B-E         …(5)

公式(2)、公式(4)、以及公式(5)可结合为下列公式(6)。

$\frac{\mathrm{DnL}}{d}=\frac{\mathrm{fA}}{A-f}-E...\left(6\right)$

因此，从上述公式(6)以及已知的D、nL、d、f、和E，推导出从物体侧上该主透镜11的主表面到该物体的距离A。

现在将描述这些图像的重建。

如在该实施例的固态成像设备110中那样，执行这些图像的重建，以基于经由该微透镜阵列12由该成像单元13获得的图像信号为基础的视差执行测距。

如在该实施例的固态成像设备110中那样，当多个微透镜细分为从同一成像物体发射出的光束组，并在位于虚拟像平面前面的成像像素平面上对于细分的光束组成像时，根据视差，该同一成像物体被多重成像。因此，由对该同一成像物体单元多重成像制成的微透镜图像组被输出作为图像。该微透镜图像组具有关系以使得将在该虚拟像平面处成像的图像被该微透镜成像系统减少达图像放大倍率N。该图像放大倍率N在下列公式(7)中被表达。

$N=\frac{D}{C}...\left(7\right)$

通过对这些微透镜图像的每个所读取的数据进行重建处理，获得的微透镜图像组被重建为没有重叠区域的二维图像。由于获得的微透镜图像组具有等于或小于成像透镜直径的视差，获得的该透镜图像组被用于使用该视差的3D立体图像处理。

在根据该实施例的固态成像设备110中，可以获得使用立体差异的距离估算以及使用从这些微透镜获得的视差图像组的距离估算。对于任何距离区域，应用这两种距离估算中的任意一个或这两种距离估算的集合。藉此，可减小死角区域；可能获取从邻近距离到远距离的高精度距离图像。

现在将描述该计算单元50。

该计算单元50基于由该第一成像设备10A获得的该物体的第一图像信号以及由该第二成像设备10B获得的该物体的第二图像信号执行测距。该计算单元50可包括硬件或可包括软件。该计算单元50可包括硬件和软件两者。在下面描述的描述中，描述其中该计算单元50包括软件(计算单元程序)的处理。

图7和图8示出了该计算程序的流程的流程图。

图7示出了该第一计算的处理的流程；而图8示出了该第二计算的处理的流程。

首先，如图7所示，对该第一成像设备10A的成像(步骤S101)和对该第二成像设备10B的成像(步骤S102)提供指令。然后，例如，执行对包括来自第一成像设备10A的原始数据的校准数据的读取(步骤S103)以及，例如，执行对包括来自第二成像设备10B原始数据的校准数据的读取(步骤S104)。

然后，执行从该第一成像设备10A的校准数据生成重建图像(步骤S105)。该重建图像中包括该第一图像信号。执行从该第二成像设备10B的校准数据生成重建图像(步骤S106)。该重建图像中包括该第二图像信号。

然后，整合包括第一图像信号的重建图像和包括第二图像信号的重建图像(步骤S107)。该整合后的图像必要时可由外部显示设备(显示器)锁显示。

继续，执行通过立体匹配对距离的估算(步骤S108)。此处，从使用包括第一图像信号的重建图像以及包括第二图像信号的重建图像的立体差异推导出该距离。然后，生成距离图像(步骤S109)。

然后，比较估算的距离和预设的阀值(步骤S110)。在其中该估算距离超过阀值的情况下，该估算距离被确定为处于该立体距离估算参考区域内(步骤S111)。在其中该距离被确定为处于该立体距离估算参考区域内的情况下，选择在步骤S109中生成的距离图像。必要时将选择的距离图像输出到外部。当在其中不需要距离图像可获得估算距离的值的情况下，该步骤S109的处理可省略。

另一方面，在其中该估算距离不大于阀值的情况下，该流程继续至图8所示的流程图。如图8中所示，首先，从对该第一成像设备10A的每个微透镜获得的视差图像组中估计该距离(步骤S201)。从对该第二成像设备10B的每个微透镜获得的视差图像组中估算该距离(步骤S202)。换言之，从基于来自第一成像设备10A的校准数据的微透镜图像组的视差，从对每个微透镜获得的视差图像组来估算该距离。类似地，从基于来自第二成像设备10B的校准数据的微透镜图像组的视差，从对每个微透镜获得的视差图像组来估算该距离。

然后，从来自对每个微透镜获得的视差图像组的距离的估算结果，生成该距离图像(步骤S203和步骤S204)。然后，整合由该第一成像设备10A获得的距离图像以及由该第二成像设备10B获得的距离图像(步骤S205)。必要时将该整合距离图像输出到外部。在其中不需要距离图像即可获得该估算距离的情况下，该步骤S203的处理以及步骤S204的处理可省略。在其中将由从该第一成像设备10A和第二成像设备10B中选出的一个获得该距离图像的情况下，可执行从包括步骤S201的处理和步骤S203的处理的第一处理以及包括步骤S202的处理和步骤S204的处理的第二处理中选出的一个。在这样的情况下，可不执行步骤S205的处理。

通过这样的处理，实现了对于广域的测距；而对于其中到该物体的距离远的情况以及到该物体的距离近的情况，皆实现了高精度测距。

该计算单元50可并行执行图8中所示出的处理(第二计算)以及图7中所示出的处理(第一计算)。例如，可使用能够多任务处理的硬件执行图7中所示的第一计算程序以及图8中所示的第二计算程序的并行处理。

上面描述的计算程序由计算机执行。

图9示出了该计算机的硬件。

该计算机200包括中央处理单元201、输入单元202、输出单元203、以及存储单元204。该输入单元202包括读取记录介质M中所记录信息的功能。上面描述的该计算程序由中央处理单元201执行。

该计算程序使该计算机200执行图7和图8中示出的每个步骤的过程。

该计算程序可被记录在计算机可读的记录介质中，该记录介质M以该计算机200可读的格式记录图7和图8中所示出的每个步骤的处理。

换言之，该记录介质M记录了控制该包括第一成像设备10A以及第二成像设备10B的固态成像设备的计算程序。

该第一成像设备10A包括作为第一光学系统的第一主透镜11A、设置在该第一主透镜11A和该第一主透镜11A的成像位置之间并包括多个成像像素的第一成像单元13A、以及设置在该第一主透镜11A和该第一成像单元13A之间并包括该第一微透镜阵列12A的第二光学系统。

该第二成像设备10B被设置为与该第一成像设备10A分离。

该第二成像设备10B包括作为第三光学系统的第二主透镜11B、设置在该第二主透镜11B和该第二主透镜11B的成像位置之间并包括多个成像像素的第二成像单元13B、以及提供在该第二主透镜11B和该第二成像单元13B之间并包括该第二微透镜阵列12B的第四光学系统。

该记录介质M记录了使计算机执行第一计算处理和第二计算处理的程序，其中第一计算处理包括从使用由该第一成像设备10A获得的该物体的第一图像信号以及由该第二成像设备10B获得的该物体的第二图像信号的立体差异中推导出该距离，而第二计算除了包括从经由从该第一微透镜阵列12A以及第二微透镜阵列12B中选出的至少一个获得的视差图像中推导出该距离。

该记录介质M可为连接到网络的存储设备，诸如服务器等。该计算程序可经由该网络分布。

第二实施例

现在将描述第二实施例。

图10A和图10B是示出了根据第二实施例的固态成像设备的示意图。

图10A示出了根据第二实施例的固态成像设备120的示例。图10B示出了通过根据第二实施例的固态成像设备120测距的概念。

如图10A所示，根据第二实施例的固态成像设备120包括第一成像设备10A、第二成像设备10B、以及计算单元50。在该固态成像设备120中，该第一成像设备10A的第一光学系统中所包括的该第一主透镜11A的光轴CL1与该第二成像设备10B的第三光学系统中所包括的该第二主透镜11B的光轴CL2不平行。在其他方面，该配置类似于固态成像设备110的配置。

该固态成像设备120包括，例如，衬底20、第一倾斜台25、以及第二倾斜台26。该第一倾斜台25和第二倾斜台26设置在该衬底20的第一表面20a上。该第一倾斜台25的第一倾斜表面25a相对于该衬底20的第一表面20a倾斜。该第二倾斜台26的第二倾斜表面26a相对于该衬底20的第一表面20a倾斜。

该第一成像设备10A被安装在该第一倾斜表面25a上。该第二成像设备10B被安装在该第二倾斜表面26a上。该第一成像设备10A和该第二成像设备10B被部署为向中心轴CL0侧(向内)倾斜，其中该中心轴CL0是在该第一成像设备10A和第二成像设备10B之间的中央处与该第一表面20a正交的轴。

在如图10B所示的固态成像设备120中，由该第一成像设备10A和第二成像设备10B获得相对于该中心轴CL0位于规定角度的图像。藉此，该第一成像区域R1和第二成像区域R2的重叠区域OL可与图1中所示的重叠区域OL不同。

在该固态成像设备120中，该第一倾斜表面25a的第一角度θ1和该第二倾斜表面26a的第二角度θ2可为可修改的。该第一角度θ1是该第一倾斜表面25a相对于该衬底20的第一表面20a的角度。该第二角度θ2是该第二倾斜表面26a相对于该衬底20的第一表面20a的角度。由该第一角度θ1设置该第一成像设备10A的光轴CL1的角度；而由该第二角度θ2设置该第二成像设备10B的光轴CL2的角度。

该计算单元50可独立控制该第一角度θ1和第二角度θ2。藉此可调整第一成像区域R1、第二成像区域R2、以及重叠区域OL。在该固态成像设备120中，该第一成像设备10A与第二成像设备10B可部署为从该中心轴CL0远离地(向外)倾斜。

第三实施例

现在将描述第三实施例。

图11是示出了根据第三实施例的固态成像设备的实施例。

如图11中所示出的，根据该实施例的固态成像设备130包括第一成像设备10A、第二成像设备10B、第三成像设备10C、以及计算单元50。换言之，在该固态成像设备130中，该第三成像设备10C添加至该固态成像设备110。其他方面，该配置类似于固态成像设备110的配置。

第三成像设备10C设置在该第一成像设备10A和第二成像设备10B之间。该第三成像设备10C的配置类似于该第一成像设备10A的配置以及该第二成像设备10B的配置。换言之，该第三成像设备10C包括被包括在第五光学系统中的第三主透镜11C、包括多个成像像素的第三成像单元13C、以及被包括在第六光学系统中的第三微透镜阵列12C。

第三成像单元13C设置在该第三主透镜11C和该第三主透镜11C的成像位置之间。第三微透镜阵列12C设置在该第三主透镜11C和第三成像单元13C之间。该第三成像设备10C的第三成像区域R3比该第一成像设备10A的第一成像区域R1和该第二成像设备10B的第二成像区域R2更广，并且在邻近距离侧。

该固态成像设备130可获得不被包括在该第一成像区域R1和第二成像区域R2内的成像区域R33的图像。该计算单元50从经由该第三成像设备10C的第三微透镜阵列12C获得的视差图像中推导出成像区域R33内的物体的距离。

对于该第一成像区域R1和第三成像区域R3的重叠区域R31，该计算单元50可通过基于由该第一成像设备10A和第三成像设备10C获得的图像信号形成重建图像进行立体匹配推导出该距离，或可从经由该第三微透镜阵列12C获得的视差图像中推导出该距离。

对于该第二成像区域R2和第三成像区域R3的重叠区域R32，该计算单元50可通过基于由该第二成像设备10B和第三成像设备10C获得的图像信号形成重建图像进行立体匹配推导出该距离，或可通过由该第三微透镜阵列12C获得的视差图像中推导出该距离。

在该固态成像设备130中，通过该第一成像设备10A、第二成像设备10B、以及第三成像设备10C，可对广域高精度地推导出该距离。虽然对于图11中所示出的固态成像设备130仅示例其中使用了三个成像设备10的示例，可使用更多成像设备10推导出该距离。

第四实施例

现在将描述第四实施例。

图12是示出了根据第四实施例的固态成像设备的示意图。

如图12中所示，根据该实施例的固态成像设备130包括第一成像设备10A、第二成像设备10B、以及计算单元50。在该固态成像设备130中，该第一成像设备10A的第一主透镜11A的焦距与该第二成像设备10B的第二主透镜11B的焦距不同。其他方面，该配置类似于固态成像设备110的配置。

例如，该第一主透镜11A的焦距短于该第二主透镜11B的焦距。该固态成像设备130通过使用具有相互不同焦距的第一成像设备10A和第二成像设备10B执行测距，执行了具有更高精度的测距。

图13示出了该焦距与其中可能测距的区域之间的关系。

图13示出了主透镜11的焦距与其中可使用经由微透镜阵列12获得的视差图像组执行对该距离的估算(该第二计算)的区域之间的关系。在图13中，横轴是该主透镜11的焦距；而纵轴是其中可能测距的区域。图13中示出的线L1示出了其中可能测距的区域，在这种情况下精度比线L2相对较高。另一方面，线L2示出了其中可能测距的区域，在这种情况下精度比线L1相对较低。

对于线L1和L2，在使用经由微透镜阵列12获得的视差图像组的距离估算方法中，其中可能测距的区域取决于主透镜11的焦距。换言之，其中可能测距的区域随着该主透镜11的焦距增加而增加。

通过利用图13示出的主透镜11的焦距与其中可能测距的区域之间的关系，在该固态成像设备130中使用具有相互不同的焦距的该第一成像设备10A和第二成像设备10B。

通过这样的配置，当通过利用使用由这些微透镜获得的视差图像组的距离估算方法，对具有相对邻近距离的区域获取距离图像时，由具有短焦距的成像设备(例如，该第一成像设备10A)获取的图像信息被用于在这样的区域内的邻近区域；而由具有长焦距的成像设备(例如，该第二成像设备10B)获取的图像信息被用于在这样的区域内的远侧区域。主透镜11的焦距具有与视角成反比的特性。因此，较广的视角可通过缩短该主透镜11的焦距覆盖。藉此，可能获取具有高精度的距离信息以及广视野。

虽然在该固态成像设备130中使用了具有短焦距的该第一成像设备10A以及具有长焦距的该第二成像设备10B，可使用具有三种或更多不同焦距的三个或更多成像设备10。

根据上面描述的实施例，可提供可对广域执行高精度测距的一种固态成像设备、一种计算设备、以及一种计算程序。

虽然在上面描述了实施例和其变更，本发明不限于这些示例。例如，由本领域技术人员对于上面描述的实施例或其变更适当作出的，对组件的添加、删除、或设计变更，或对这些实施例特征的适当组合，在本发明所包括的主旨的范围内，都在本发明的范围内。

用作操作游戏及电气用具等的输入设备，用于捕获动作的距离图像相机，是该实施例的应用领域的示例。对于汽车，有许多由这些实施例获取的距离图像信息的应用示例，诸如测量前方、后方、左侧、及右侧车辆距离的测量、对行人的探测、对死角区内障碍物的探测、安全气囊、停车辅助，等等。

虽然已经描述了某些实施例，这些实施例仅以示例方式呈现，而非试图限制本发明的范围。实际上，在此描述的新颖实施例可以各种其他形式体现；此外，可对在此描述的实施例实施各种省略、替换以及外形变化，而不离开本发明的精神。这些附随的权利要求及它们的等同物试图覆盖这样的，将属于本发明的范围和精神的外形或变更。

Claims (19)

1.一种固态成像设备，包括：

第一成像设备包括：

第一光学系统，

设置在所述第一光学系统与所述第一光学系统的成像位置之间的第一成像单元，所述第一成像单元包括多个成像像素，以及

设置在所述第一光学系统与所述第一成像单元之间的第二光学系统，所述第二光学系统包括第一微透镜阵列；

第二成像设备，被设置为与所述第一成像设备分离，所述第二成像设备包括：

第三光学系统，

设置在所述第三光学系统与所述第三光学系统的成像位置之间的第二成像单元，所述第二成像单元包括多个成像像素，以及

设置在所述第三光学系统与所述第二成像单元之间的第四光学系统，所述第四光学系统包括第二微透镜阵列；以及

计算单元，被配置为执行第一计算以及第二计算，所述第一计算包括使用第一图像信号和第二图像信号从立体差异中推导出第一距离，所述物体的第一图像信号是由所述第一成像设备获得的物体的信号，所述该物体的第二图像信号是由所述第二成像设备获得的物体的信号，所述第二计算包括经由从所述第一微透镜阵列与所述第二微透镜阵列中选择出的至少一个获得的视差图像中推导出第二距离，所述计算单元被配置为基于从所述第一距离和第二距离中选择出的至少一个来估算目标距离。

2.如权利要求1所述的设备，其特征在于

所述计算单元为其中所述第一成像设备的第一成像区域与所述第二成像设备的第二成像区域部分重叠的重叠区域执行所述第一计算，并且

所述计算单元为所述第一成像区域和第二成像区域的除重叠区域外的另一个区域执行所述第二计算。

3.如权利要求1所述的设备，其特征在于

所述计算单元为其中所述第一成像设备的第一成像区域与所述第二成像设备的第二成像区域部分重叠的重叠区域执行所述第一计算和所述第二计算，并且

所述计算单元为所述第一成像区域和第二成像区域的除重叠区域外的另一个区域执行所述第二计算。

4.如权利要求1所述的设备，其特征在于，所述计算单元被配置为在其中所述第一距离超过阀值的情况下采取所述第一距离作为目标距离，而在所述第一距离不超过所述阀值的情况下采取所述第二距离作为所述目标距离。

5.如权利要求1所述的设备，其特征在于，所述计算单元被配置为根据从外部传输的指令，选择从所述第一距离与所述第二距离中所选出的一个。

6.如权利要求1所述的设备，其特征在于，所述计算单元被配置为并行实现所述第二计算以及所述第一计算。

7.如权利要求1所述的设备，其特征在于，所述第一光学系统的光轴与所述第三光学系统的光轴不平行。

8.如权利要求1所述的设备，其特征在于，还包括第三成像设备，所述第三成像设备部署在所述第一成像设备与所述第二成像设备之间，所述第三成像设备包括：

第五光学系统；

设置在所述第五光学系统与所述第五光学系统的成像位置之间的第三成像单元，所述第三成像单元包括多个成像像素；以及

设置在所述第五光学系统与所述第三成像单元之间的第六光学系统，所述第六光学系统包括第三微透镜阵列，

计算单元，被配置为进一步执行第三计算，包括从经由所述第三微透镜阵列获得的视差图像中推导出第三距离，并被配置为基于所述第三距离来估算目标距离。

9.如权利要求1所述的设备，其特征在于，所述第一光学系统的焦距和所述第二光学系统的焦距不同。

10.如权利要求1所述的设备，进一步包括衬底，被配置为将所述第一成像设备、第二成像设备、以及计算单元安装在所述衬底上。

11.如权利要求1所述的设备，其特征在于

在第一区间内执行所述第一计算，并且

在与所述第一区间不同的第二区间内执行所述第二计算。

12.一种计算设备，被配置为实现第一计算和第二计算，

所述第一计算包括使用第一图像信号和第二图像信号从立体差异中推导出第一距离，所述物体的第一图像信号是由第一成像设备获得的物体的信号，所述第二图像信号是由第二成像设备获得的物体的信号，

所述第二计算包括从经由第一微透镜阵列与第二微透镜阵列中选择出的至少一个获得的视差图像中推导出第二距离，

所述第一成像设备包括：

第一光学系统；

设置在所述第一光学系统与所述第一光学系统的成像位置之间的第一成像单元，所述第一成像单元包括多个成像像素；以及

设置在所述第一光学系统与所述第一成像单元之间的第二光学系统，所述第二光学系统包括所述第一微透镜阵列，

所述第二成像设备，被设置为与所述第一成像设备分离，并且包括：

第三光学系统；

设置在所述第三光学系统与所述第三光学系统的成像位置之间的第二成像单元，所述第二成像单元包括多个成像像素；以及

设置在所述第三光学系统与所述第二成像单元之间的第四光学系统，所述第四光学系统包括所述第二微透镜阵列。

13.如权利要求12所述的计算设备，其特征在于

为其中所述第一成像设备的第一成像区域与所述第二成像设备的第二成像区域部分重叠的重叠区域执行所述第一计算，并且

为所述第一成像区域和第二成像区域的除重叠区域外的另一个区域执行所述第二计算。

14.如权利要求12所述的计算设备，其特征在于

为其中所述第一成像设备的第一成像区域与所述第二成像设备的第二成像区域部分重叠的重叠区域执行所述第一计算和所述第二计算，并且

为所述第一成像区域和第二成像区域的除重叠区域外的另一个区域执行所述第二计算。

15.如权利要求12所述的计算设备，其特征在于，所述计算设备被配置为在其中所述第一距离超过阀值的情况下采取所述第一距离作为目标距离，而在所述第一距离不超过所述阀值的情况下采取所述第二距离作为所述目标距离。

16.如权利要求12所述的计算设备，其特征在于，所述计算设备被配置为根据来自外部传输的指令，选择从所述第一距离与所述第二距离中所选出的一个。

17.如权利要求12所述的计算设备，其特征在于，所述计算设备被配置为并行实现所述第二计算的至少一部分以及所述第一计算的至少一部分。

18.如权利要求12所述的计算设备，其特征在于，所述第一光学系统的光轴与所述第三光学系统的光轴不平行。

19.一种计算程序，被配置为使计算机实现：

第一计算，包括使用第一图像信号和第二图像信号从立体差异中推导出第一距离，所述物体的第一图像信号是由第一成像设备获得的物体的图像，所述该物体的第二图像信号是由第二成像设备获得的物体的图像；以及

第二计算，包括从经由第一微透镜阵列与第二微透镜阵列中选择出的至少一个获得的视差图像中推导出第二距离，

所述第一成像设备包括：

第一光学系统；

设置在所述第一光学系统与所述第一光学系统的成像位置之间的第一成像单元，所述第一成像单元包括多个成像像素；以及

设置在所述第一光学系统与所述第一成像单元之间的第二光学系统，所述第二光学系统包括所述第一微透镜阵列，

所述第二成像设备，被设置为与所述第一成像设备分离，并且包括：

第三光学系统；

设置在所述第三光学系统与所述第三光学系统的成像位置之间的第二成像单元，所述第二成像单元包括多个成像像素；以及

设置在所述第三光学系统与所述第二成像单元之间的第四光学系统，所述第四光学系统包括所述第二微透镜阵列。