CN113366821B - 具有用于产生深度图的多孔径成像设备的设备 - Google Patents

具有用于产生深度图的多孔径成像设备的设备 Download PDF

Info

Publication number
CN113366821B
CN113366821B CN201980089729.1A CN201980089729A CN113366821B CN 113366821 B CN113366821 B CN 113366821B CN 201980089729 A CN201980089729 A CN 201980089729A CN 113366821 B CN113366821 B CN 113366821B
Authority
CN
China
Prior art keywords
view
image
full field
information
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980089729.1A
Other languages
English (en)
Other versions
CN113366821A (zh
Inventor
弗兰克·维佩曼
雅克·迪帕里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN113366821A publication Critical patent/CN113366821A/zh
Application granted granted Critical
Publication of CN113366821B publication Critical patent/CN113366821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0053—Driving means for the movement of one or more optical element
    • G03B2205/0061—Driving means for the movement of one or more optical element using piezoelectric actuators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Abstract

本发明涉及一种设备，包括：多孔径成像设备，该多孔径成像设备具有图像传感器(12)；并排布置的光学通道(16a‑d)的阵列(14)，每一个光学通道(16a‑d)包括用于将全视场(261，262)的至少一个部分视场(24a‑d)投影至图像传感器(12)的图像传感器区域(28a‑d)上的光学单元(22a‑d)；用于偏转所述光学通道(16a‑d)的光束路径(104)的光束偏转装置(18)；以及用于调整所述多孔径成像设备的焦点位置的聚焦装置(32)。该设备进一步设置有设计为控制聚焦装置(32)并从图像传感器(12)接收图像信息(36)的控制装置(34；54)。控制装置(34；54)配置为将多孔径成像设备控制到焦点位置(56)序列中，以便捕获全视场(261，262)的对应图像信息(36)序列，并基于所述图像信息(36)序列产生用于所捕获全视场的深度图(38)。

Description

具有用于产生深度图的多孔径成像设备的设备
技术领域
本发明涉及多孔径成像设备，具体涉及包括多孔径成像设备的设备。该设备配置为使用多孔径成像设备内所含有的信息来产生深度图和/或累积图像信息。本发明还涉及通过阵列相机从聚焦堆叠提取深度信息和/或通过阵列相机针对经修改的背景提取自画像。
背景技术
多孔径成像设备可通过使用多个部分视场来对物场进行成像。存在使用诸如反射镜之类的光束偏转系统的概念，以使得能够将相机通道的检视方向从设备平面偏转至整个系统的另一方向，例如大约垂直于整个系统的方向。在例如应用移动电话的情况下，这种竖直方向可以在使用者面部的一个方向上或者在使用者前方的环境方向上，并且可基本上通过使用可切换铰接反射镜来实现。
用于高效图像产生的设备和/或用于容易处置的设备将是期望的。
发明内容
因此，本发明的目的在于提供一种包括允许高效图像产生和/或容易处置的多孔径成像设备的设备。
此目的是通过独立权利要求的目的来实现。
本发明的一个发现在于：通过在焦点位置序列中捕获图像序列，可从自身的图像信息创建深度图，从而使得视差信息变得不重要，可以省去对这种信息的使用。
根据第一方面的实施例，一种设备包括多孔径成像设备。多孔径成像设备包括图像传感器、邻近地布置的光学通道的阵列，每一个光学通道包括用于将全视场的至少部分视场投影至图像传感器的图像传感器区域上的光学件。多孔径成像设备包括用于偏转光学通道的光束路径的光束偏转装置，以及用于设定多孔径成像设备的焦点位置的聚焦装置。设备的控制装置适于控制聚焦装置以及从图像传感器接收图像信息。控制装置配置为在多孔径成像设备中设定焦点位置序列，从而检测全视场的对应图像信息序列，并基于图像信息序列创建用于所检测全视场的深度图。这样做的优势在于：可从焦点位置序列产生深度图，从而使得即使是少量的光学通道也足以获得深度信息。
根据第一方面的实施例，控制装置配置为从图像信息序列创建深度图，例如无需借助于其他方法进行任何附加测量或深度信息评估。这样做的优势在于：可从焦点位置序列产生深度图，从而使得即使从一个检视方向单次拍摄全视场也可以提供足够用于创建深度图的信息量。
根据第一方面的实施例，光学通道配置为至少立体地捕获全视场。所述控制装置适于基于从所述光学通道获得的视差信息产生初步深度图，并以基于所述图像信息序列的深度信息为基础来补充所述初步深度图，以便获得所述深度图。备选地或附加地，对比而言，控制装置适于基于图像信息序列产生初步深度图；并以基于从光学通道获得的视差信息的深度信息为基础来补充初步深度图，以便获得深度图。这样做的优势在于：可获得实现了相当出色的拼接结果的高度准确且高质量的深度图。
根据第一方面的实施例，控制装置配置为基于质量标准在初步深度图中选定全视场的需要改善的区域，并针对选定区域确定用以补充初步深度图的附加深度信息而不针对非选定区域进行确定。这样做的优势在于：可通过创建或确定附加深度信息来将补充深度图所需的电能和/或计算方面的附加消耗保持为低，但却仍获得高质量的深度图。
根据第一方面的实施例，控制装置配置为在焦点位置序列中捕获对应数量的部分图像组。每一个部分图像是与成像部分视场相关联，从而使得部分图像组中的每一个具有共同焦点位置。控制装置配置为执行部分图像中的局部图像清晰度信息的比较并根据此比较创建深度图。这是可能的，例如其原因在于：在已由用于检测部分图像组的控制装置设定的已知焦点位置的情况下并且通过确定清晰地成像的物体(也即处于分别设定的焦点位置中的物体)，可以获得关于如下事实的信息：在与所设定焦点位置相对应的距多孔径成像设备一定距离处已捕获分别清晰地成像的图像区域。通过使用若干部分图像组且因此使用若干焦点位置，可产生用于不同物体且因此用于全视场的对应信息，以实现深度图。这允许关于深度信息对全视场进行大面积或者甚至完全的映射。
根据第一方面的实施例，设备配置为控制聚焦装置，使得焦点位置序列大体上等距地分布于图像空间内。这种分布可通过尽可能准确的等距布置以及考虑至多±25％、±15％或±5％的容限范围来进行，其中焦点位置序列分布于该序列的最小焦点位置与最大焦点位置之间。由于图像区域中存在等距性，因此，可实现深度图跨越不同距离的一致精度。
根据第一方面的实施例，设备配置为基于图像信息序列产生再现全视场的全图像序列，每一个全图像是基于相同焦点位置的部分图像的组合。可在使用深度图时进行部分图像的这种接合，以便在接合的全图像中获得高图像质量。
根据第一方面的实施例，设备配置为基于深度图改变显现全视场的全图像。当已知深度图时，可执行不同的图像操纵，例如一个或多个图像区域的后续聚焦和/或散焦。
根据第一方面的实施例，阵列的第一光学通道形成为对全视场的第一部分视场进行成像，阵列的第二光学通道形成为对全视场的第二部分视场进行成像。第三光学通道配置为对全视场进行完全成像。这使得能够使用附加成像功能性，例如关于变焦范围和/或分辨率增大的功能性。
根据第一方面的实施例，聚焦装置具有用于设定焦点位置的至少一个致动器。聚焦装置配置为至少部分地设置在由长方体的侧面跨越的两个平面之间，长方体的侧面彼此平行对准且平行于阵列的行延伸方向以及光学通道的光束路径在图像传感器与光束偏转器之间的部分。长方体的体积是最小的且仍设计成包括图像传感器、阵列及光束偏转器。这允许多孔径成像设备被设计成沿着垂直于平面的深度方向具有小尺寸。
根据第一方面的实施例，多孔径成像设备具有布置成垂直于两个平面的厚度方向。致动器具有平行于厚度方向的尺寸。致动器的尺寸的至多50％的一部分以以下方式布置：使得该部分从两个平面之间的区域开始延伸超出两个平面。将致动器布置在平面之间的至少50％的圆周中会实现多孔径成像设备的薄型配置，这也允许设备的薄型配置。
根据第一方面的实施例，聚焦装置包括用于提供光学通道中的至少一个的光学件与图像传感器之间的相对移动的致动器。这使得能容易地设定焦点位置。
根据第一方面的实施例，聚焦装置适于执行光学通道中的一个的光学件与图像传感器之间的相对移动，同时执行光束偏转器的与该相对移动同步的移动。这使得能够通过光束偏转器维持设定的光学影响，例如关于光束偏转器的光束偏转表面(其以不变的大小被用来偏转光束路径)，这实现了光束偏转器的小的大小，这是因为可以省去在增大距离处提供相对大的表面。
根据第一方面的实施例，聚焦装置以以下方式布置：使得其从长方体的平面之间的区域突出最大50％。通过将整个聚焦装置(包括任何机械组件等)布置在平面之间的区域中，可以实现多孔径成像设备的极薄设计，并且因此实现设备的极薄设计。
根据第一方面的实施例，聚焦装置的至少一个致动器为压电式弯曲致动器。这使得能够在短时间间隔内保持焦点位置序列。
根据第一方面的实施例，聚焦装置包括适于提供移动的至少一个致动器。聚焦装置进一步包括用于将移动传输至阵列以用于设定焦点位置的机械装置。致动器布置在图像传感器的背向阵列的一侧上，并且机械装置经以以下方式布置，使得力通量侧向地通过图像传感器。备选地，致动器布置在光束偏转器的背向阵列的一侧上，并且机械装置经以以下方式布置，使得力通量侧向地通过光束偏转器。这允许多孔径成像设备被设计来使得致动器在垂直于厚度方向的侧向方向上定位，而不会阻挡光学通道的光束路径，同时还能够避免检测到设备。当使用若干致动器时，实施例提供将所有致动器布置在图像传感器的背向阵列的一侧上，将所有致动器布置在光束偏转器的背向阵列的一侧上，或将致动器的子集布置在图像传感器的背向阵列的一侧上，以及将另一与其不相交的子集布置在光束偏转器的背向阵列的一侧上。
根据第一方面的实施例，光束偏转器的相对位置在第一位置与第二位置之间可切换，从而使得在第一位置中，光束路径朝向第一全视场偏转，并且在第二位置中，光束路径朝向第二全视场偏转。控制装置适于将光束偏转器引导至第一位置以从图像传感器获得第一全视场的成像信息，其中控制装置另外适于将光束偏转器引导至第二位置以从图像传感器获得第二全视场的成像信息。控制装置另外适于将所述第一成像信息的一部分插入所述第二成像信息中，以获得部分表示所述第一全视场且部分表示所述第二全视场的累积图像信息。这允许容易地处置设备，这是因为可以省去多孔径成像设备的复杂重新定位，例如用于针对背景拍摄自身的图片。由于自产生的深度图的缘故，这以尤其有利的方式是可能的。
本发明的又一发现在于：已经认识到，通过组合不同全视场的图像信息以使得在累积图像信息中分别部分再现第一全视场和第二全视场，可获得对设备的容易处置，这是因为例如可省去使用者和/或设备的复杂定位。
根据第二方面的实施例，一种设备包括多孔径成像设备，该多孔径成像设备具有图像传感器、邻近地布置的光学通道的阵列以及光束偏转器。阵列的每一个光学通道包括用于将全视场的至少部分视场投影至图像传感器的图像传感器区域上的光学件。光束偏转器配置为偏转光学通道的光束路径，其中光束偏转器的相对位置在第一位置与第二位置之间可切换，从而使得在第一位置中，光束路径朝向第一全视场偏转，并且在第二位置中，光束路径朝向第二全视场偏转。设备进一步包括适于将光束偏转器引导至第一位置的控制装置。因此，可从控制装置获得涉及投影至图像传感器上的第一全视场的受控图像信息。控制装置配置为将光束偏转器引导至第二位置，以从图像传感器获得第二全视场的成像信息。获得第一全视场的成像信息和获得第二全视场的成像信息的次序可以是任意的。所述控制装置配置为将所述第一成像信息的一部分插入所述第二成像信息中，以获得部分表示所述第一全视场且部分表示所述第二全视场的累积图像信息。这允许组合不同全视场的图像内容，从而使得可省去设备和/或图像物体的耗时定位。
根据第二方面的实施例，第一全视场布置成沿着对应于设备的使用者方向或对应于设备的相反布置的世界方向的方向。这允许将第一全视场和与其不同的全视场中的图像内容组合。
另外，根据第二方面的优选实施例，第二全视场布置成沿着对应于使用者方向和世界方向中的另一个的方向，从而使得两个全视场一起捕获世界方向和使用者方向。在累积图像信息中，来自世界方向的内容与来自使用者方向的内容可因此彼此组合。
根据第二方面的实施例，控制装置适于识别并分割，也即分离第一图像信息中的人，或至少复制与人相关的图像信息并将人的图像插入第二图像信息中，从而获得累积图像信息。这允许将人的图像插入实际上沿着设备的不同方向布置的图像环境中。
根据此操作的优选配置，设备配置为自动地识别人并将人的图像自动地插入第二图像信息中。这使得能够针对实际上不同的背景获得自身图片(自拍)。这避免了设备、人和/或背景的复杂定位。还使得能够弥补背景被镜面倒转的事实。
根据第二方面的实施例，设备适于在使用由设备从第一成像信息产生的深度图时识别和/或分割诸如人或至少其一部分之类的部分。可例如在使用第一方面时或者通过其他手段创建深度图。这使得能够容易地实现实施例。
根据第二方面的实施例，设备适于针对第二图像信息创建具有多个深度平面的深度图，并将第一图像信息插入第二图像信息的预定深度平面中，从而获得累积图像信息。这使得能够以在深度方面关于预定义或预定深度平面正确的方式将第一图像信息集成至第二图像信息中。
根据此操作的优选实施例，在10％的容限范围内的预定义深度平面等于第一全视场距设备的距离。这使得能够以以下方式获得累积图像信息，使得第二全视场表示为如同第一图像信息或其部分已经沿着设备的另一方向布置。
根据此操作的另一优选实施例，预定义深度平面基于与第一图像信息的放置相关联的使用者输入。这使得待考虑的深度平面可在拍摄的不同图片之间变化和/或可适于借助于使用者输入由使用者选择。
根据第二方面的实施例，设备配置为缩放第一图像信息，从而获得经缩放第一图像信息，并将经缩放第一图像信息插入第二图像信息中，从而获得累积图像信息。这使得能够以以下方式将第一图像信息插入第二图像信息中，使得在累积图像信息中获得特别地关于第一图像信息的大小的预定义感知，这在与其中插入了第一图像信息的可调整深度平面相结合时是尤其有利的，从而使得除了在深度方面正确的插入之外，在大小方面正确的表示也是可能的。
根据第二方面的实施例，设备配置为确定第一图像信息中成像的物体相对于设备的距离，并基于所确定距离与第二图像信息中的预定深度平面的比较来缩放第一图像信息。这使得能够通过缩放(也即通过调整大小)自动地考虑在第一图像信息被插入第二图像信息中时由深度平面改变的第一图像信息的距离。
根据依据第二方面的实施例，设备配置为在至少0.1ms到至多30ms的时间间隔内检测第一全视场和第二全视场。下限是可选的。这种对两个全视场的快速捕获使得能够减少，或者甚至避免由时间引起的全视场的改变。
根据依据第二方面的实施例，设备配置为将累积图像信息作为视频数据流加以接收。出于此目的，设备可以获得用于第一全视场和/或第二全视场的多个依序图像的多个累积图像信息数据，并将其组合成作为视频数据流的图像序列。
备选地或附加地，根据第二方面，实施例提供将累积图像信息提供为静态图像。
根据依据第二方面的实施例，第一图像信息包括使用者的图像，并且第二图像信息包括设备的世界视图。控制装置配置为可能基于通过设备产生的深度图信息从第一图像信息分割使用者的图像，并将使用者的图像插入世界视图中。这使得通过使用设备来容易地获得自拍。
根据依据第二方面的实施例，设备配置为以在深度方面正确的方式将使用者的图像插入世界视图中。这实现了使用者站在世界视图的前方的效果，而无需进行耗时的定位。
根据依据第二方面的实施例，设备配置为通过不同的焦点位置捕获第一全视场和/或第二全视场的图像序列，并从图像序列创建用于第一全视场和/或第二全视场的深度图。具体而言，这使得能够在预定义深度平面和/或深度方面正确的成像内组合第二图像信息和第一图像信息；出于此目的，可采用本发明的第一方面的优势。这意味着，第一方面可与第二方面的实现相组合和/或第二方面可与第一方面的实现相组合。尤其在组合的情况下，这两个方面产生稍后将论述的有利设计。
将在从属权利要求中定义本发明的其他有利实施例。
附图说明
参考附图，将在下文解释本发明的优选实施例，其中：
图1a示出了根据第一方面的设备的示意性透视图；
图1b示出了根据第二方面的实施例的设备的示意性透视图；
图1c示出了根据实施例的组合第一方面和第二方面的设备的示意性透视图；
图2a示出了根据实施例的不同焦点位置的示意图，其中可根据第一方面控制设备；
图2b示出了根据实施例的从不同焦点位置产生的深度图的利用以及其产生的示意性表示；
图3a示出了根据实施例的设备的示意性透视图，其中图像传感器跨越光学通道阵列，并且光束偏转器在空间中跨越长方体；
图3b示出了根据实施例的图3a的设备的示意性侧向截面图，其中多孔径成像设备包括多个致动器；
图3c示出了图3a和/或图3b的多孔径成像设备的示意性侧向截面图，其中可基于光束偏转器的不同位置检测到不同的全视场；
图4a示出了根据实施例的设备的示意性俯视图，其中致动器形成为压电式弯曲致动器；
图4b示出了图4a的设备的示意性侧向截面图，以图示致动器在关于图3a所描述的长方体的平面之间的布置；
图5a至图5d示出了根据实施例的部分视场在全视场中的布置的示意性表示；
图6示出了根据第二方面的实施例的设备的示意性透视图；
图7a示出了图示根据实施例的对可通过对全视场进行成像而获得的图像信息进行处理的示意图；
图7b示出了根据实施例的对累积图像信息中的一部分图像信息进行缩放的示意性表示；以及
图8示出了根据实施例的可在第一和/或第二方面的本发明设备中使用的多孔径成像设备的部分。
具体实施方式
在下文参考附图详细解释本发明的实施例之前，应指出的是，不同图中的相同的、功能上或效果上相同的元件、物体和/或结构具备相同的附图标记，从而使得在不同实施例中呈现的这些元件的描述可彼此互换或可彼此应用。
图1a示出了根据第一方面的设备101的示意性透视图。设备101包括多孔径成像设备，其包括图像传感器12以及邻近地布置的光学通道16a-e的阵列14。多孔径成像设备进一步包括用于偏转光学通道16a-d的光束路径的光束偏转器18。这允许由阵列14的光学件22a-d将光学通道16a-d的光束路径在图像传感器12与光束偏转器18之间的侧向线路朝向非侧向线路之间偏转。不同的光学通道16a-d经以以下方式偏转，使得每一个光学通道16a-d在图像传感器12的图像传感器区域28a-d上投影全视场26的部分视场24a-d。部分视场24a-d可以一维或二维方式在空间中分布，或基于光学件22a-d的不同焦距以三维方式分布。为了更好地理解，将在下文以以下方式描述全视场26，使得部分视场24a-d具有二维分布，其中邻近部分视场24a-d可彼此重叠。部分视场的全区域产生全视场26。
多孔径成像设备包括用于设定多孔径成像设备的焦点位置的聚焦装置32。这种设定可通过改变图像传感器12与阵列14之间的相对方位或位置来进行，其中聚焦装置32可适于改变图像传感器12的位置和/或阵列14的位置，以便获得图像传感器12与阵列14之间的可变相对位置，从而设定多孔径成像设备的焦点位置。
对相对位置的设定可以是通道特定的或者可以适用于光学通道组或所有通道。例如，可以移动单个光学件22a-d，或者可以一起移动光学件22a-d的组或所有光学件22a-d。这也适用于图像传感器12。
设备包括适于控制聚焦装置32的控制装置34。另外，控制装置34适于从图像传感器12接收图像信息36。这可以例如是投影在图像传感器区域28a-d上的部分视场24a-d或者对应于该投影的信息或数据。这并没有排除对图像信息36的中间处理，例如关于滤波、平滑化等方面。
控制装置34配置为在多孔径成像设备中设定焦点位置序列，从而检测全视场26的对应图像信息序列。控制装置34适于从图像信息序列创建全视场26的深度图38。深度图38可经由对应信号来提供。控制装置34能够基于通过图像传感器12与阵列14之间的不同相对位置获得的不同焦点位置来捕获同一视场26的不同图像，和/或能够根据部分视场24a-d的分段来捕获其不同地聚焦的部分图像。
深度图可用于不同目的，例如用于图像处理以及用于图像合并。因此，在使用深度图38以获得表示全视场26的图像(也即全图像)的图像信息42时，控制装置34可以适于连接从图像传感器区域28a至28d获得的各个图像(单个帧)。对于合并部分图像(也称为拼接)的此类方法，使用深度图是尤其有利的。
在使用深度图时，控制装置可以配置为组装部分图像组的部分图像以形成全图像。这意味着，可从待拼接的典型部分图像产生用于拼接的深度图。例如，基于图像信息序列，可产生表示全视场的全图像序列。每一个全图像可以基于具有相同焦点位置的部分图像的组合。备选地或附加地，可组合来自序列的至少两个、若干个或所有全图像以获得具有扩展信息的全图像，例如以创建焦外成像效果。备选地或附加地，也可以以下方式表示图像，使得整个图像经人工锐化，也即相比单个帧中的情况，更多数量的部分区域被聚焦，例如整个图像。
设备101配置为将全视场的图像创建为单图像，并从单图像序列创建深度图38。尽管也可以对全视场26进行多次扫描，但设备10可从仅一个单图像产生深度图，这样做可免除从不同检视方向拍摄附加图片的需要，例如通过使用通过同一设备拍摄的多个图片或借助于附加光学通道的冗余布置。
图1b示出了根据第二方面的实施例的设备102的示意性透视图。相比于设备101，作为控制装置34的代替，设备102具有配置为将光束偏转器引导至不同位置181和182的控制装置44。在不同位置181和182中，光束偏转器18具有不同的相对位置，从而使得在不同的位置或方位中，由于光学通道16a-d的光束路径在受不同位置181及182影响的不同方向上偏转，因此获得不同的全视场261和262的图像信息。备选地或除了控制装置34之外，设备102包括控制装置44，其配置为将光束偏转器引导至第一位置181以从图像传感器12获得第一全视场261的成像信息。在此之前或之后，控制装置44适于将光束偏转器18引导至第二位置182以从图像传感器12获得第二全视场262的图像信息。控制装置44适于将第一图像信息461的一部分插入至第二图像信息462中以获得共同或累积图像信息48。累积图像信息48可以再现第一全视场261的部分以及第二全视场262的部分，此再现涉及图像操纵或处理的步骤。这意味着，累积图像信息48在某些地方基于全视场261的图像，而在其他地方基于全视场262的图像。
控制装置44可以适于提供含有或再现累积图像信息48的信号52。可选地，也可由信号52输出图像信息461和/或462。
图1c示出了根据实施例的设备103的示意图，作为图1a的控制装置34以及图1b的控制装置44的代替，该设备103包括控制装置54，其组合控制装置34和控制装置44的功能性，并且适于基于设备103的可变焦点位置产生深度图38并提供图1b的累积图像信息48。
图2a示出了可在根据第一方面的设备(例如，设备101和设备102)中设定的不同焦点位置561至565的示意图。不同焦点位置561至565可被理解为所捕获视场中的物体以聚焦方式投影在图像传感器12上的位置或距离581至585。焦点位置56的数量可以是任意的且大于1。
邻近焦点位置之间的距离621至624可指图像空间中的距离，其中也可以将解释实现或转移为物体空间中的距离。然而，检视图像空间的优势在于：考虑到了多孔径成像设备的性质，尤其是关于最小或最大物距方面。控制装置34和/或54可以适于将多孔径成像设备控制成具有两个或更多个焦点位置561至565。在相应焦点位置中，可根据所捕获部分视场24的数量来捕获单个帧641及642。基于了解已设定了焦点位置561至565中的哪个焦点位置以获得相应部分图像461及462，控制装置可通过在哪个图像部分被清晰地成像方面对图像信息进行分析来确定这些清晰地成像的物体相对于设备的布置距离。关于距离的此信息可用于深度图38。这意味着，控制装置可配置为在焦点位置561至565的序列中捕获对应数量的部分图像组，每一个部分图像与所成像的部分视场相关联。部分图像组可因此对应于表示所设定焦点位置中的全视场的那些部分图像。
控制装置可以配置为从部分图像中的局部图像清晰度信息的比较产生深度图。局部清晰度信息可指示物体在图像的哪些区域中被聚焦，或在先前所定义容限范围内清晰地成像。例如，边缘模糊函数的确定及边缘延伸距离的检测可用于确定对应图像区域、对应物体或其部分在图像传感器上是被清晰地成像还是模糊的。此外，依序图像或线条模糊函数可用作图像内容的清晰度的品质标准。备选地或附加地，可使用任何已知的光学清晰度度量以及已知的调制传递函数(MTF)。备选地或附加地，相同物体在堆叠的邻近图像中的清晰度、经由经校准查找表的聚焦致动器位置与物距的关联和/或跨焦点扫描的方向可用于以部分递归的方式从堆叠的邻近图像获得深度信息并避免不明确性。因此，在了解与被聚焦成像的物距唯一相关的所设定焦点位置的情况下，可以从了解到物体至少在预定容限范围内被聚焦成像而推断出距图像、物体或其部分的区域的距离，其可以是深度图38的基础。
在使用深度图时，控制装置可以配置为将部分图像组中的部分图像组装成全图像。这意味着，可从自身待拼接的部分图像产生用于拼接的深度图。
设备可以配置为控制聚焦装置32，从而使得焦点位置序列561至565在最小焦点位置与最大焦点位置之间的图像空间中在±25％、±15％或±5％，优选地尽可能接近0％的容限范围内等距地分布。为了节约设定焦点位置的时间，以增大或减小的距离依序地设定焦点位置561至565是有意义，但这并不是必须的。实际上，所设定焦点位置561至565的次序是任意的。
图2b示出了深度图38的使用及其产生的示意性表示。由于可相对于其距离精确地确定单个帧641及642中清晰地表示的物体，因此部分图像641及642均可以用于从相应焦点位置561至565获得深度图38的部分信息381至385。然而，在焦点位置561与565之间，也可使用内插方法，从而使得即使在略微模糊的物体的情况下仍可获得用于深度图38的充分精确信息。部分信息381至385中所含有的距离信息可以由控制装置组合以形成深度图38。深度图38可用于组合来自不同焦点位置561至565的单个帧641及642，以形成对应数量的全图像421至425。
图3a示出了根据实施例的设备30的示意性透视图。图像传感器12、阵列14及光束偏转器18可在空间内跨越长方体。长方体也可被理解为虚拟长方体，并且可例如具有最小体积，以及具体而言沿着平行于厚度方向y的方向的最小竖直延伸部，该最小竖直延伸部平行于行延伸方向66。行延伸方向66例如沿着Z方向且垂直于x方向行进，该x方向平行于光束路径在图像传感器12与阵列14之间的线路布置。方向x、y及z可以跨越笛卡尔坐标系。虚拟长方体的最小体积或其最小竖直延伸部可使得虚拟长方体仍包括图像传感器12、阵列14及光束偏转器18。最小体积也可被理解为描述由图像传感器12、阵列14和/或光束偏转器18的布置和/或操作移动跨越的长方体。行延伸方向66可以以下方式布置，使得光学通道16a及16b沿着行延伸方向66可能彼此平行地彼此紧邻布置。行延伸方向66可固定地布置在房间内。
虚拟长方体可以具有平行于阵列14的行延伸方向66，且平行于光学通道16a及16b的光束路径在图像传感器12与光束偏转器18之间的一部分的彼此相对平行布置的两个侧面。以简化方式但不具限制效应，这些侧面可例如为虚拟长方体的顶面和底面。两个侧面可跨越第一平面68a和第二平面68b。这意味着，长方体的两个侧面可分别为平面68a或68b的部分。多孔径成像设备的其他组件可以完全地但至少部分地布置在平面68a与68b之间的区域内，从而使得对多孔径成像设备沿着平行于平面68a和/或68b的表面法线的y方向的安装空间要求可以是小的，而这是有利的。多孔径成像设备的体积可以在平面68a与68b之间具有小的或最小安装空间。沿着平面68a和/或68b的侧面或延伸方向，多孔径成像设备的安装空间可以是大的或任意大的。虚拟长方体的体积受例如图像传感器12、阵列14及光束偏转器18的布置的影响，根据本文中所描述的实施例，这些组件的布置使得这些组件沿着垂直于平面的方向的安装空间以及因此平面68a和68b彼此的距离变得小或最小。与组件的其他布置相比，虚拟长方体的体积和/或其他侧面的距离可以增大。
设备30包括用于产生图像传感器12、单行阵列14与光束偏转器18之间的相对移动的致动器72。这可包括例如对光束偏转器18进行定位移动以使其在关于图1b所描述的位置之间进行切换。备选地或附加地，致动器72可配置为执行结合图1a所描述的相对移动，以改变图像传感器12与阵列14之间的相对位置。致动器72至少部分地布置在平面68a与68b之间。致动器72可以适于移动图像传感器12、单行阵列14及光束偏转器18中的至少一个，此移动可以包括沿着一个或多个方向的旋转和/或平移移动。此移动的示例分别是相应光学通道16的图像传感器区域28之间的相对位置、相应光学通道16的光学件22以及光束偏转器18和/或对应分段或刻面的通道特定改变，和/或与相应光学通道的光束路径偏转有关的分段/该面的光学性质的通道特定改变。备选地或附加地，致动器72可以至少部分地实现自动聚焦和/或光学图像稳定。
致动器72可以是聚焦装置32的部分，并且可以适于提供光学通道16a及16b中的至少一个的至少一个光学件与图像传感器12之间的相对移动。光学件22a和/或22b与图像传感器12之间的相对移动可由聚焦装置32以以下方式控制，使得光束偏转器18执行同步移动。当减小光学件22a和/或22b与图像传感器之间的距离时，光束偏转器18与图像传感器12之间的距离可相应地减小，从而使得阵列14及光学件22a和/或22b分别与光束偏转器18之间的相对距离大体上恒定。这使得光束偏转器18能够配备有小光束偏转表面，这是因为可以通过维持与光束偏转器18的距离来补偿光束锥由于阵列14与光束偏转器18之间的距离增长而导致的增长。
聚焦装置32和/或致动器72以以下方式布置，使得其从平面68a与68b之间的区域突出不超过50％。致动器72可以具有平行于厚度方向y的尺寸或延伸部74。尺寸74的最大50％、最大30％或最大10％的一部分可从平面68a与68b之间的区域开始突出至平面68a和/或68b外，并且因此在虚拟长方体外突出。这意味着，在最多情况下，致动器72仅不显著地从平面68a和/或68b突出。根据实施例，致动器72并不突出至平面68a及68b外。这样的优势在于，多孔径成像设备沿着厚度方向y的延伸部并不由致动器72增大。
尽管光束偏转器18被描绘为可绕旋转轴线76旋转地安装，但致动器72可备选地或附加地也产生沿着一个或多个空间方向的平移移动。致动器72可包括可能以可单独控制的方式产生不同的单个移动的一个或多个单个致动器。致动器72或其至少单个致动器可以例如被实现为或包括结合图4更详细地描述的压电致动器，具体是压电式弯曲致动器。压电弯曲器允许快速且可再现地改变位置。此特征有利于在短时间内在若干或许多图像的意义上捕获聚焦堆叠。具体而言，压电弯曲器作为沿着一个维度或方向设计的致动器可被有利地用于所描述架构中，因为其具有对此有利的形状因子，也即尤其在一个方向上的延伸部。
阵列14可包括附接或布置光学件22a及22b的基板78。基板78可以借助于适宜选定的凹陷或材料至少部分地对光学通道16a及16b的光学路径透明；这并不排除例如通过布置滤光片结构等来执行对光学通道的操纵。
在对致动器72施加的若干要求(包括用于快速设定不同焦点位置56的快速可调性)的情况下，可通过使用具有小安装空间等的压电致动器来实现大的力。
图3b示出了根据实施例的设备30的示意性侧向截面图。设备30的多孔径成像设备可以包括例如多个致动器，例如多于一个、多于两个、或者＞0的不同数量。例如，可以布置可用于不同目的的致动器721至725，例如用于调整焦点位置和/或改变光束偏转器18的位置或方位以用于设定多孔径成像设备的检视方向，和/或用于通过光束偏转器18的旋转移动和/或阵列14的平移移动提供光学图像稳定。
可以以下方式布置致动器721至725，使得其至少部分地布置在由虚拟长方体69的侧面69a和69b跨越的两个平面68a与68b之间。长方体69的侧面69a和69b可彼此平行对准，且平行于阵列的行延伸方向及光学通道的光束路径在图像传感器12与光束偏转器18之间的部分。长方体69的体积最小，但仍包括图像传感器12、阵列14及光束偏转器18以及其操作移动。阵列14的光学通道具有光学件22，这些光学件对于每一个光学通道可是相同的或不同的。
多孔径成像设备的体积可以在平面68a与68b之间具有小或最小安装空间。沿着平面68a和/或68b的侧面或延伸方向，多孔径成像设备的安装空间可以是大的或任意大的。虚拟长方体的体积受例如图像传感器12、单行阵列14及光束偏转器的布置的影响，根据本文中所描述的实施例，这些组件的布置使得这些组件沿着垂直于平面的方向的安装空间并且因此平面68a和68b彼此的距离变得小或最小。与组件的其他布置相比，虚拟长方体的体积和/或其他侧面的距离可增大。
虚拟长方体69由虚线表示。平面68a和68b可包括或由虚拟长方体69的两个侧面跨越。多孔径成像设备的厚度方向y可以垂直于平面68a和/或68b和/或平行于y方向。
图像传感器12、阵列14和光束偏转器18可以布置来使得平面68a与68b之间沿着厚度方向y的竖直距离最小，该竖直距离(以简化方式但不具有限制效果)可被称作长方体的高度，其中可省去体积的最小化，也即长方体的其他维度的最小化。长方体69沿着方向y的延伸部可以是最小的，并且大体上由成像通道的光学组件(也即阵列14、图像传感器12及光束偏转器18)沿着方向y的延伸部预定。
多孔径成像设备的体积可以在平面68a与68b之间具有小或最小安装空间。沿着平面68a和/或68b的侧向侧面或延伸方向，多孔径成像设备的安装空间可以是大的或任意大的。虚拟长方体的体积受例如图像传感器12、单行阵列14及光束偏转器的布置的影响，根据本文中所描述的实施例，这些组件的布置使得这些组件沿着垂直于平面的方向的安装空间并且因此平面68a与68b彼此的距离变得小或最小。与组件的其他布置相比，虚拟长方体的体积和/或其他侧面的距离可增大。
致动器721至725均可以具有平行于方向y的尺寸或延伸部。每一个致动器721至725的尺寸的不超出50％、30％或10％的一部分可以从两个平面68a与68b之间的区域开始突出至平面68a和/或68b外或从所述区域突出。这意味着，致动器721至725在最多情况下也不显著地突出至平面68a和/或68b外。根据实施例，致动器并不突出至平面68a和68b外。这样做的优势在于，多孔径成像设备沿着厚度方向或方向y的延伸部并不由致动器增大。
尽管此处使用的诸如上方、下方、左、右、前或后的术语是用于提高清晰性，但其并不意欲具有任何限制效果。显然，这些术语可基于空间内的旋转或倾斜相互互换。例如，从图像传感器12至光束偏转器18的x方向可被理解为在前方或向前。例如，正y方向可被理解为上方。沿着正或负z方向远离图像传感器12、阵列14和/或光束偏转器18或与其距一定距离的区可被理解为邻近于相应组件。以较简单术语而言，图像稳定器可以包括致动器721至725中的至少一个。所述至少一个致动器可以位于平面71内或平面68a与68b之间。
换言之，致动器721至725可位于图像传感器12、阵列14和/或光束偏转器18前方、后方或紧邻这些设备。根据实施例，致动器36和42布置在平面68a与68b之间的区域外部，具有最大圆周的50％、30％或10％。
图3c示出了多孔径成像设备的示意性侧向截面图，其中可基于光束偏转器18的不同位置检测到不同的全视场261和262，这是因为多孔径成像设备接着具有不同的检视方向。多孔径成像设备可以适于使光束偏转器以角度α倾斜变化，从而使得光束偏转器18的不同主侧交替地布置成面向阵列14。多孔径成像设备可以包括适于绕旋转轴线76倾斜光束偏转器18的致动器。例如，致动器可以适于将光束偏转器18移动至第一位置，在该位置中，光束偏转器18将阵列14的光学通道的光束路径26偏转至正y方向。出于此目的，光束偏转器18可以在第一位置中具有例如＞0°且＜90°、至少10°且至多80°或至少30°且至多50°的角度α，例如45°。致动器可以适于在第二位置中绕旋转轴线76偏转光束偏转器，从而使得光束偏转器18将阵列14的光学通道的光束路径朝向负y方向偏转，该负y方向如由朝向全视场262的检视方向以及由光束偏转器18的虚线表示所表示。例如，光束偏转器18可配置为在两侧上都是反射的，从而使得在第一位置中，检视方向指向全视场261。
图4a示出了根据实施例的设备40的示意性俯视图，其中致动器72形成为压电式弯曲致动器。致动器72配置为在x/z平面中执行如由虚线所示的弯曲。致动器72经由机械偏转器82连接至阵列14，从而使得在致动器72弯曲时可发生阵列14沿着x方向的侧向位移，从而使得焦点位置可改变。例如，致动器72可连接至基板78。备选地，致动器72也可安装在容纳光学件22a至22d的至少一部分的外壳上，以移动外壳。其他变型也是可能的。
可选地，设备40可以包括配置为在阵列14和/或光束偏转器18处产生移动的其他致动器841和842，例如以将光束偏转器18放置在不同位置或方位中，和/或用于通过阵列14沿着z方向的平移位移和/或通过产生光束偏转器18绕旋转轴线76的旋转移动来实现光学图像稳定。
不同于前面附图中的描述，光束偏转器18可以具有若干隔开的但共同的可移动刻面86a至86d，每一个光学通道与一个刻面86a至86d相关联。刻面86a至86d也可布置成直接邻近，也即其间具有极小距离或无距离。备选地，也可布置平坦反射镜。
通过致动致动器72，可将光学件22a-d中的至少一个与图像传感器12之间的距离881从第一值881改变为第二值882，例如增大或降低。
图4b示出了设备40的示意性侧向截面图，以图示在结合图3a所描述的平面68a与68b之间的致动器72的布置。致动器72例如完全布置在平面68a与68b之间，正如机械偏转设备82，其使用诸如连接框条及接线、绳索之类的若干力传输元件以及机械轴承或偏转元件。
机械偏转器或用于将移动传输至阵列14的机械装置可布置在图像传感器12的背向阵列14的一侧上，也即从阵列14开始在图像传感器12后方。机械装置82可以以下方式布置，使得力通量侧向地通过图像传感器12。备选地或附加地，致动器72或另一致动器可以位于光束偏转器18的背向阵列14的一侧上，也即从阵列14开始在光束偏转器18后方。机械装置82可以布置来使得力通量侧向地通过光束偏转器18。
尽管仅示出了一个致动器72，但也可布置更大数量的致动器，和/或致动器72的多于一侧可连接至机械偏转器82。例如，中心地安装或支撑的致动器72可以在两侧上连接至机械偏转器82，并且可以例如在阵列14的两侧上动作以使得能够进行均匀移动。
图5a示出了部分视场24a和24b的阵列在全视场26中的示意性表示，该全视场可例如由本文中所描述的多孔径成像设备(诸如多孔径成像设备101、102、103、30和/或40)检测，并且可以对应于例如全视场261和/或262。例如，可通过使用光学通道16b将全视场26投影在图像传感器区域28b上。例如，光学通道16a可配置为捕获部分视场24a并将其投影在图像传感器区域28a上。诸如光学通道16c的另一光学通道可以配置为检测部分视场24b并将其投影在图像传感器区域28c上。这意味着，可形成光学通道组，以捕获恰好两个部分视场24a和24b。因此，可进行全视场和部分视场的同步捕获，这些视场继而一起表示全视场26。
尽管以不同的延伸部示出以提高可区分性，但部分视场24a和24b可以具有沿着至少一个图像方向B1或B2(诸如图像方向B2)的相同延伸部或类似延伸部。部分视场24a和24b沿着图像方向B2的延伸部可相同于全视场26沿着图像方向B2的延伸部。这意味着，部分视场24a和24b可以沿着图像方向B2完全地捕获或获取全视场26，并且可以沿着布置成垂直于前一方向的另一图像方向B1仅部分地捕获或获取全视场，且部分视场可以相互偏移的方式布置，从而使得也沿着第二方向组合地完整捕获全视场26。部分视场24a和24b可以彼此不相交或至多在重叠区域25中不完全地彼此重叠，该重叠区域可能在全视场26中完全沿着图像方向B2延伸。包括光学通道16a和16c的光学通道组可以配置为在一起拍摄时对全视场26进行完全成像，例如通过与所拍摄部分图片(其在一起拍摄时对全视场进行成像)组合地拍摄的全图片进行完全成像。图像方向B1例如可以是待提供图像的水平线。以简化术语而言，图像方向B1和B2表示可在房间中的任何位置定位的两个不同的图像方向。
图5b示出了部分视场24a和24b的布置的示意性表示，这些部分视场沿着不同的图像方向(图像方向B2)以相互偏移的方式布置，并且彼此重叠。部分视场24a和24b均可以沿着图像方向B1完全捕获全视场26并且沿着图像方向B2不完全地捕获全视场。例如，重叠区域25沿着图像方向B1完全布置在全视场26内。
图5c示出了四个部分视场24a至24b的示意性表示，其分别在两个方向B1和B2上不完全地捕获全视场26。两个邻近部分视场24a和24b在重叠区域25b中重叠。两个重叠部分视场24b和24c在重叠区域25c中重叠。类似地，部分视场24c和24d在重叠区域25d中重叠，且部分视场24d与部分视场24a在重叠区域25a中重叠。所有四个部分视场24a至24d可在全视场26的重叠区域25e中重叠。
与结合图1a至图1c中所描述的多孔径成像设备类似的多孔径成像设备可以用于捕获例如全视场26和部分视场24a-d；阵列14可以具有五个光学件，四个光学件用以捕获部分视场24a-d，一个光学件用以捕获全视场26。因此，阵列可以配置有关于图5a至图5b的三个光学通道。
在重叠区域25a至25e中，大量图像信息是可用的。例如，经由全视场26、部分视场24a和部分视场24b捕获重叠区域25b。全视场的图像格式可对应于例如图5c中的部分视场24a-d的成像部分视场的无冗余组合，其中重叠区域25a-e在各情况下仅计数一次。结合图5a和图5b，此情况适用于部分视场24a和24b的无冗余组合。
重叠区域25和/或25a-e中的重叠可以例如包括相应部分图像的最大50％、35％或20％。
换言之，根据第一方面，可获得光学通道数量的减小，这实现了成本节约并降低了侧向安装空间要求。根据第一方面，可以进行作为立体获取的替代例的深度信息获取形式，而无需诸如飞行时间、结构化或编码光之类的附加传感器。因此，可避免实现低分辨率的飞行时间传感器以及具有高能量要求的结构化光传感器。这两种方法在强烈的环境光(尤其在日光下)仍存在问题。实施例实现了在没有这样的传感器的前提下设计对应的设备。根据实施例，压电弯曲器充当具有低功耗的极其快速的聚焦因子。然而，实施例提供了将从焦点位置序列提取深度信息与从基于视差的深度信息提取深度信息相组合。在此，优选的做法是：首先创建基于视差的深度图，并且如果该深度图具有缺点，则通过焦点位置序列的附加深度信息对深度图进行补充、校正或改善。多孔径成像设备的所述架构允许使用此类压电弯曲器，这是因为相机模块的其他立方外形因子使得更难以或者甚至不可能利用长压电弯曲器。在短曝光时间情况下，这样做允许拍摄聚焦堆叠，也即在场景聚焦略有不同的情况下，一张接一张地快速拍摄的众多图片。实施例提供以有用方式对场景的整个深度进行采样，例如从可能最接近拍摄的近拍至最大可能距离的无穷远。这些距离可等距地布置在物体空间中，但优选地布置在图像空间中。备选地，可选择不同的合理距离。例如，焦点位置的数量为至少两个、至少三个、至少五个、至少十个、至少20个或任何其他数量。
若干图像42可呈现给使用者。备选地或附加地，实施例提供组合个别图像信息，从而使得可向使用者提供具有组合图像信息的图像。例如，具有深度信息的图像，其提供数字重新聚焦的可能性。所呈现的图像可提供所谓的焦外成像效应，即散焦。备选地，也可以以下方式呈现图像，使得整个图像经人工锐化，这意味着，与部分区域的单个帧中相比，更大的距离范围被聚焦，例如整个图像。在所用镜头的孔径值为低的情况下，可以使用在单个帧中测量的清晰度或模糊度，以及其他信息，诸如相同物体在堆叠的邻近图像中的清晰度、例如在使用经校准查找表时聚焦致动器位置与物距的关联、跨焦扫描的方向(关于所述帧自身，但也以递归方式根据其他图像使用以避免不明确性)，以用于重构场景的个别元素的物距，并以图像分辨率从其创建深度图。
根据第一方面，实现了可省略用于立体图像的通道重复，同时仍可创建深度图。此深度图使得能够拼接多孔径成像设备的不同部分图像。例如，通过减半光学通道的数量，可实现例如沿着行延伸方向的侧向尺寸的显著减小，并且因此也实现了成本降低。图像处理可通过其他步骤提供至少一样出色的图像。备选地或附加地，可以省去飞行时间传感器或结构化光传感器的附加布置。这一优势即使在上文所提及的重复仍被执行的情况下仍能得到保持，而这也会带来优势。
例如，可至少立体地捕获全视场26，如DE 10 2013 222 780 A1中所述，例如以便从全视场或部分视场24的多个(即至少两个)捕获来获得深度信息。例如图5d中所示的至少立体捕获使得能够通过如下方式获得深度信息：按照基本距离BA间隔开的两个光学通道16a和16c或16c和16d检视同一部分视场24a或24b。部分视场的数量与其布置一样可自由选定，参见作为示例的图5a至图5c中的差异。关于避免阻塞，根据图5b布置图5d中所示的部分视场是有利的。
图5d仅示出了多孔径成像设备50的一部分。没有示出诸如光束偏转器18或致动器之类的元件。对于多孔径成像设备50，现在存在针对可用于创建深度图的深度信息的两个信息源。一方面，这包括在多孔径成像设备中设定焦点位置序列，另一方面，其包括用于检测匹配图像内容的光学通道之间的视差。
这样做可带来优势，因为任何信息源都会组合优势与缺点。例如，基于视差的深度信息由于阻塞或遮蔽可在某些地方不完整或质量低下，但与焦点位置序列对比，其可快速进行，并且在用于致动器的电能和/或计算能力方面(其需要对应的计算资源和电能这两者)具有低消耗。
因此，实施例提供组合来自两个信息源的深度信息。例如，可从基于视差的深度信息创建初步深度图，并通过从焦点位置序列完全或部分创建的附加深度图对其进行补充或改善。在此上下文中，初步深度图未必描述时间关系，这是因为创建待组合的两个深度图的次序可以是任意的。根据次优选的实施例，可从焦点位置序列创建初步深度图，并通过基于视差的深度信息对其进行改善或升级。
控制装置34或多孔径成像设备50的不同实例可以配置为检查深度信息或深度图的质量或可靠性，例如通过检查深度信息的分辨率和/或通过监测阻塞或其他效应的发生来进行检查。对于深度图的受影响区域，可从焦点位置序列创建附加深度信息，以改善或校正初步深度图。例如，可通过仅针对初步深度图的待补充那些区域(也即仅在深度图的局部区域中)创建焦点位置序列来以能量和/或计算上高效的方式获得此附加深度信息。通过改善深度图且因此改善深度信息，可以以高质量获得拼接结果。
实施例提供：控制装置基于初步深度图中待补充或校正的方位来指定用于基于焦点位置序列(也即最小焦点位置与最大焦点位置之间的值范围)确定深度信息的局部区域和/或深度平面的区域；也有可能设定多个范围。这意味着，可省略可能焦点位置中的至少一些或者被设定成专门用于从图像信息或焦点位置序列创建深度图的那些焦点位置，这样做可节约计算工作量、时间和电能。备选地或除了限制焦点位置的数量和/或方位之外，控制装置可以配置为仅针对全视场26的需要改善、优化或校正初步深度图的那些区域重新计算深度信息，这样做也可以节约能量和时间。
控制装置可以配置为基于质量标准选定初步深度图中需要改善的全视场区域，并补充选定区域中的初步深度图而不补充非选定区域中的深度图。例如，可仅针对选定区域而不针对非选定区域确定用于补充初步深度图的附加深度信息。例如，控制装置可以配置为通过执行指示所确定区域中的深度图的质量或可靠性是否对应于至少一个阈值的比较来确定至少一个区和/或焦点位置。此操作可通过如下方式实现：评估参考参数以确定是否至少实现了最小质量，以及检查是否没有超出负面质量标准(例如，错误数量等)，即，阈值是否降为低于或至少未超出负面质量标准。
前述初步深度图可以是在使用可用深度信息时创建的深度图。备选地，初步深度图也可以被理解为深度信息集合(无特定图格式)。
换言之，除了仅仅通过聚焦堆叠产生深度图而无需冗余视场捕获(以产生用于深度图的视差)之外，可使用具有最小通道数量(理想为仅两个)的系统。此概念可经修改为达到如下效果：以与仅经由视差的方式不同的方式产生的深度图来支持此架构(例如，顶部处的2x视场、底部处的2x视场，如图5d中所示，或其他)，可以有助于改善该架构，这样做最终也可有助于改善拼接结果。在此，优先考虑的是在避免其他机制(诸如经由飞行时间(ToF)或编码光的深度图)的同时根据用于多模式支持的聚焦堆叠的方面的实施例。
实施例涉及将来自视差和聚焦堆叠的深度图进行组合的方面。实施例是基于具有2个以上通道的所述架构，其主要从通道的自然视差导出深度图。根据计算和/或功率预算，可始终从聚焦堆叠产生另一深度图并将该另一深度图与第一深度图组合以对其进行改善(在重叠情况下基本上为孔填充)并改善拼接结果，或可仅在已经识别了来自视差的深度图中的明显缺陷之后产生另一深度图。不同的次序是次优选的，这是因为产生聚焦堆叠可能涉及附加的能量消耗以及可能相当大的时间损耗，或者因此涉及依序单个帧的明显更复杂的曝光比。附加使用从一张接一张地极其快速地捕获的图像聚焦堆叠产生的深度图可以带来以下优势：深度图中由于阻塞导致的孔较少，可能附加的深度平面，尤其对于较大物距而言，可能改善的深度图的侧向分辨率，并且总体而言，由于获得了附加信息，深度图中的信噪比得到改善，因此存在较少的不明确或模糊之处，这些不明确或模糊否则将会导致在全视场的拼接图像中产生伪像。
图6示出了根据关于第二方面的实施例的设备60的示意性透视图。上文所描述的实现也容易应用于设备101、103、30和/或40。通过将光束偏转器引导至不同位置，设备60或设备60的多孔径成像设备可捕获两个相互间隔开的整个视场261和262。
设备60例如设计为便携型或移动型设备，具体而言是平板电脑或移动电话，具体是智能手机(智能电话)。
例如在自拍照片和/或视频的情况下，正如常见的做法那样，视场261和262中的一个可以例如沿着设备60的使用者方向布置。
另一全视场可以例如沿着设备60的相反方向和/或世界方向布置，并且可以例如沿着使用者在其沿着使用者方向从全视场注视设备60时所沿的方向布置。例如，图1b中的光束偏转器18可形成为在两侧上是反射的并且通过不同主侧以不同位置偏转光学通道16a-d的光束路径，例如从而使得从设备60开始，全视场261和262布置成彼此相对和/或成180°的角度。
图7a示出用以图示可通过对全视场261和262进行成像而获得的图像信息461和462的处理的示意图。控制装置配置为分离(例如切掉)或隔离视场261的成像信息461的部分92或专门复制所述部分92。控制装置另外适于将所分离或分割部分92与成像信息462组合，也即将部分92插入成像信息462中以获得累积图像信息48。在某些地方，后者展现全视场262，并且在插入部分92的地方，其展现图像信息461。应注意，获得累积图像信息48不限于插入单个部分92，而是可从图像信息461分割任何数量的部分92，并且一个、若干个或所有这些部分皆可插入至图像信息462中。
部分92插入至第二成像信息462中的方位或位置可以由控制装置自动地确定(例如，通过借助于设备60将部分92投影至第二视场262中)，但也可以备选地或附加地由使用者选定。
根据实施例，控制装置配置为例如经由图案匹配和/或边缘检测，但具体而言是基于由设备自身产生的深度图来识别和分割第一成像信息461中的人。所述控制装置可以适于将人的图像插入第二成像信息462中，以获得累积图像信息48。这意味着，部分92可以是人，诸如设备60的使用者。实施例提供：设备配置为自动地识别人并自动地将人(即部分92)的图像插入第二成像信息462中。这使得能够自动地创建自画像或者在第二全视场262前方或其中创建自画像，而不必以耗时方式定位设备60和/或不必以耗时方式定位使用者。
实施例提供：控制装置使用诸如深度图38之类的深度图来将部分92定位于第二成像信息462中。深度图38可以例如根据考虑的焦点位置的数量或从其获得的减小数量或从其内插的较大数量而具有多个或多重深度平面。控制装置可以适于将部分92插入第二成像信息462的预定深度平面中，以获得累积图像信息48。预定深度平面可以大体上(也即在±10％、±5％或±2％的容限范围内)分别对应于第一全视场262距设备60的距离或所分割部分92距设备60的距离。这也可以被称为以深度方面正确的方式将部分92插入至第二成像信息462中。
图7b示出了在累积图像信息48中缩放部分92的示意性表示。备选地，可选定不同的深度平面，为此目的，提供实施例的各种可能性。例如，预定深度平面可以受部分92在第二成像信息462中的放置影响或由其确定。该放置可自动地实现或由使用者输入实现。例如，若使用者在第二成像信息462内选定用于插入部分92的特定方位或位置，则控制装置可以配置为在第二成像信息462中确定待插入部分92的区域的距离。例如，在使用深度图时了解到部分92距设备和第二成像信息462中的物体的距离的情况下，可以通过缩放部分92来补偿由使用者输入引起的部分92的虚拟距离改变。
因此，当部分92的距离从第一成像信息461至第二成像信息462增大时，部分92的一维、二维或三维大小94可改变，例如减小为大小96，或者当距离从第一成像信息461至第二成像信息462减小时，可以增大为大小96。在独立地将部分92放置在第一成像信息461中，以及基于相关联的使用者输入组合地进行这种放置的情况下，设备可以配置为缩放成像信息461以获得经缩放成像信息。经缩放成像信息可以由控制装置插入至成像信息462中以获得累积图像信息48。设备可以配置为确定表示部分92且在第一成像信息461中成像的物体相对于设备60的距离。设备可以基于所确定的距离与第二成像信息462中的预定深度平面的比较来缩放成像信息461或其部分92。如果在短时间距离内捕获到成像信息461和462的两个项目，则是有利的。如果在不超过30ms、不超过10ms、不超过5ms或不超过1ms的时间间隔内的此时间距离大约为0.1ms，则是有利的。此时间可用于例如转换或重新定位光束偏转器并且可至少部分地通过此过程的持续时间来确定。
累积图像信息48可作为单个帧获得，备选地或附加地也作为视频资料流，例如大量单个帧。
根据实施例，形成符合第二方面的设备，使得第一成像信息461包括使用者的图像且第二成像信息462包括设备的世界视图。控制装置配置为从第一成像信息461分割使用者的图像并将其插入世界视图中。例如，设备可配置为将使用者的图像以正确深度插入世界视图中。
换言之，在第二方面的上下文中，拍摄自拍图像或拍摄视频可以包括通过设备(具体而言移动电话)的前置相机/视图和主相机/视图拍摄的准同步图片的基于深度的组合。自拍的前景(也即自画像)可被转移至由主相机拍摄的图片的前景。通过改变光束偏转器的位置来实现前后图片拍摄之间的极快切换，允许上文所提及的通过相同图像传感器准同步捕获世界侧及使用者侧相机图像。尽管也可根据第二方面使用单通道成像设备，但第二方面尤其提供关于多孔径成像设备的优势，因为这些设备可能已创建或使用深度图以合并帧。此深度图也可用于确定用于合成累积成像信息48的深度信息。可以进行可如下描述的程序：
1.使用自拍的深度图从而从背景分割前景，即给自身拍摄图片的人；
2.使用世界侧图片的深度图以从中识别前景和背景，也即分离深度信息；以及
3.将来自自拍的前景(也即给自身拍摄图片的人)插入世界侧拍摄的图片中，尤其插入其前景中。
这样做的优势在于，自拍照可与作为背景的世界侧图片组合，而不必如其他情况下所需般将电话转动180°，以便在此场景前方给自身拍摄图片。备选地或附加地，避免了在自身向后方向上拍摄图片(这需要记住电话的朝向必须始终相对于场景成镜面倒转)。也可根据第二方面产生深度图自身，如结合第一方面所描述的，从而使得可省去飞行时间传感器或结构化光传感器的附加布置。
在下文中，将参考多孔径成像设备的一些有利实现来解释本发明的优势。
图8示出了可在第一和/或第二方面的本发明设备中使用的多孔径成像设备80的部分，其中可能的聚焦装置和/或用于实现光学图像稳定的致动器并未被表示但却可容易地实现。
图8的多孔径成像设备80包括邻近地布置的光学通道16a-d的阵列14，其以若干行形成或优选地以一行形成。每一个光学通道16a-d包括用于对全视场26的相应部分视场24a-d或可能全视场进行成像的光学件22a-d，如结合图5所描述的。多孔径成像设备80上示出的视场投影在图像传感器12的相应相关联图像传感器区域28a-d上。
图像传感器区域28a-d例如均可以由包括对应像素阵列的芯片形成；芯片可以安装在共同基板或板材98上，如图8中所示。备选地，图像传感器区域28a-d中的每一个当然也可能由跨越图像传感器区域28a-d连续地或中断地延伸的共同像素阵列的部分形成，其中共同像素阵列例如形成于单个芯片上。例如，接着将仅读出图像传感器区域28a-d中的共同像素阵列的像素值。这些替代例的不同混合当然也是可能的，诸如存在有用于两个或多个通道的芯片以及用于其他通道的另一芯片等。在图像传感器12的若干芯片的情况下，芯片可例如一起或以组的形式等安装在一个或多个板材上。
在图8的示例中，四个光学通道16a-d在阵列14的行延伸方向上彼此紧邻地布置成一行，但数量四个仅为示例性的且可能为大于一的任何其他数量，即，可布置N个光学通道，其中，N＞i。另外，阵列14也可以具有沿着行延伸方向延伸的其他行。光学通道16a-d的阵列14应被理解为光学通道或其空间分组的组合。光学件22a-d均可以具有镜头，以及镜头组或镜头堆叠，以及成像光学件与其他光学元件的组合，包括滤光片、孔径、反射或衍射元件等。阵列14可以以下方式设计，使得光学件22a-d以通道特定方式、以组或所有通道连在一起的方式布置、固定或安装在基板78上。这意味着，例如如果光学件22a-d安装在别处，则可以布置单个基板78、其若干部分，或者不布置基板78。
根据示例，光学通道16a-d的光轴或光束路径102a-d可以在图像传感器区域28a-d与光学件22a-d之间彼此平行地延伸。为此目的，图像传感器区域28a-d布置在共同平面中，例如正如光学件22a-d的光学中心一样。两个平面彼此平行，也即平行于图像传感器区域28a-d的共同平面。另外，在垂直于图像传感器区域28a-d的平面的投影中，光学件22a-d的光学中心与图像传感器区域28a-d的中心重合。换言之，在这些平行平面中，一方面，光学件22a-d和图像传感器区域28a-d以相同节距布置在行延伸方向上。
图像传感器区域28a-d与相关联的光学件22a-d之间的图像侧距离经设定来使得图像传感器区域28a-d上的图像设定成期望物距。例如，距离处于等于或大于光学件22a-d的焦距的范围内或处于光学件22a-d的焦距与两倍焦距之间的范围内(包括两端值)。图像传感器区域28a-d与光学件22a-d之间沿着光轴102a-d的图像侧距离也可以是可设定的，例如可由使用者手动地设定和/或经由聚焦装置或自动聚焦控制自动地设定。
在没有任何附加测量的情况下，由于光束路径或光轴102a-d的平行性的缘故，光学通道16a-d的部分视场24a-d基本上完全重叠。提供覆盖较大全视场26的光束偏转器18，并且使得部分视场24a-d仅在空间中部分重叠。光束偏转器18例如通过通道特定偏差将光束路径102a-d或光轴偏转至全视场方向104。例如，全视场方向104与和阵列14的行延伸方向垂直的且与光轴102a-d在光束偏转之前或并无光束偏转情况下的线路平行的平面平行延伸。例如，通过围绕＞0°且＜180°的角度旋转行延伸方向来获得光轴102a-d的全视场方向104，该角度例如处于80°与100°之间，并且例如可为90°。多孔径成像设备80的与部分视场24a-d的总覆盖范围相对应的全视场26因此并不定位于图像传感器12和阵列14在光轴102a-d的方向上的串联连接的延伸方向上，但由于光束偏转，全视场在测量多孔径成像设备80的安装高度的方向上(也即垂直于行延伸方向的侧向方向上)侧向地定位至图像传感器12和阵列14。
然而，另外，光束偏转器18通过通道特定偏差将例如每一个光束路径或每一个光学通道16a-d的光束路径从刚提及的方向偏转至指向方向104的偏转。用于每一个通道16a-d的光束偏转器18包括例如单独地安装的元件，诸如反射刻面86-d和/或反射表面。这些刻面或表面略微朝向彼此倾斜。刻面86a-d的相互倾斜经以以下方式选定，使得当光束由光束偏转器18偏转时，部分视场24a-d以以下方式具备微小发散，使得部分视场24a-d仅部分地重叠。如图8中示例性所示，个别偏转也可以以下方式实现，使得部分视场24a-d以二维方式覆盖全视场26，也就是说，其以二维方式分布于全视场26中。
根据另一示例，光学通道的光学件22a-d可建立成完全地或部分地产生光束路径102a-d的发散，这使得能够完全或部分地省去个别刻面86a-d之间的倾斜。如果例如由光学件22a-d完全地提供发散，则光束偏转器也可形成为平坦反射镜。
应注意，到目前为止已经描述的关于多孔径成像设备80的许多细节仪被选为示例。例如，上文所提及的光学通道数量即为这种情况。光束偏转器18也可形成为与先前所描述的不同。例如，光束偏转器18不必是反射的。其也可因此设计成不同于刻面反射镜的形式，例如呈透明楔形棱镜的形式。在这种情况下，例如，平均光束偏转可能为0°，也即方向104可能例如平行于在光束偏转之前或并无光束偏转情况下的光束路径102a-d，或换言之，尽管存在光束偏转器18，多孔径成像设备80仍可能“看起来是笔直向前的”。由光束偏转器18进行的通道特定偏转将又导致部分视场24a-d仅彼此略微重叠，例如相对于部分视场24a-d的立体角范围每对重叠＜10％。
此外，光束路径102a-d或光轴可能偏离所描述的平行性，尽管如此，光学通道的光束路径的平行性仍可充分地明显，使得由个别通道16a-N覆盖和/或投影至相应图像传感器区域28a-d上的部分视场在未进行诸如光束偏转之类的任何进一步测量时将很大程度上重叠，从而使得：为了让多孔径成像设备80覆盖更大的全视场，光束偏转设备18提供具有附加发散的光束路径，使得N个光学通道16a-N的部分视场彼此较少重叠。光束偏转器18例如确保全视场具有大于光学通道16a-N的个别部分视场的孔径角度的1.5倍的孔径角度。在光束路径102a-d具有某种预发散的情况下，例如也将可能的是：并非所有刻面倾斜是不同的，而是一些通道组例如具有倾斜相同的刻面。于是，刻面可形成为一体或形成来使得其连续地合并至彼此中，类似于与在行延伸方向上邻近的此通道组相关联的一个刻面。
这些通道16a-d的光轴102a-d的发散于是可能来源于这些光轴102a-d的发散。如通过通道16a-d或棱镜结构或偏心镜头区段的光学件22a-d的光学中心与图像传感器区域28a-d之间的侧向偏移实现。例如，预发散可能限于一个平面。例如，光轴102a-d可能在任何光束偏转18之前或并无任何光束偏转的情况下在共同平面内延伸，但可能在所述平面内以发散方式延伸，并且刻面86a-d仅导致另一横向平面内的附加发散，即，刻面全部平行于行延伸方向倾斜并且仅以关于光轴102a-d的前述共同平面不同的方式相互倾斜；在任何光束偏转之前或并无任何光束偏转的情况下，若干刻面86a-d又可能展现相同的倾斜或者可能通常与其光轴成对地不同的通道组相关联(例如，已在光轴的前述共同平面中)。
如果省略光束偏转器18或者如果光束偏转器18经设计为平坦反射镜等，则也可能通过光学件22a-d的光学中心(一方面)与图像传感器区域28a-d的中心(另一方面)之间的侧向偏移或者通过棱镜结构或偏心镜头区段实现总发散。
例如，通过将光学件22a-d的光学中心放置于沿着行延伸方向的直线上，可以实现可能存在的前述预发散，而图像传感器区域28a-d的中心经布置以偏离光学中心沿着图像传感器区域28a-d的平面的法线至位于图像传感器平面内的直线上的点上的投影，例如在以下这些点处，这些点诸如偏离在以通道特定方式沿着行延伸方向和/或沿着垂直于行延伸方向和图像传感器法线这两者的方向位于图像传感器平面内的前述直线上的点。备选地，可通过将图像传感器28a-d的中心放置于沿着行延伸方向的直线上来实现预发散，而光学件22a-d的中心经布置以偏离图像传感器的光学中心沿着光学件22a-d的光学中心的平面的法线在位于光学中心平面内的直线上的点上的投影，诸如偏离以通道特定方式沿着行延伸方向和/或沿着垂直于行延伸方向和光学中心平面的法线这两者的方向位于光学中心平面中的上述直线上的点的点。
如果上文所提及的与相应投影的通道特定偏差仅在行延伸方向上发生，也即如果光轴102a-d仅位于一个共同平面内且具备预发散，则是优选的。光学中心和图像传感器区域中心这两者接着将位于与行延伸方向平行的直线上，但却具有不同的中间距离。另一方面，镜头与图像传感器之间在竖直的且侧向于行延伸方向的方向上的侧向偏移导致安装高度增大。行延伸方向上的纯平面内偏移不会改变安装高度，但可能导致较少刻面和/或刻面可以仅具有角度朝向上的倾斜，此举简化了架构。
尽管已经结合设备描述了一些方面，但应理解，这些方面也表示对对应方法的描述，从而使得设备的框或组件也应被理解为对应方法步骤或者方法步骤的特征。类似地，结合方法步骤或作为方法步骤描述的各方面也表示对应设备的对应框或细节或特征的描述。
上述实施例仅为对本发明原理的说明。不言而喻，本文中所描述的对布置和细节的修改及改变对于本领域其他技术人员而言将是显而易见的。因此，本发明旨在仅由下面的专利权利要求的范围限制，而不是由通过这里的实施例的描述和解释而呈现的具体细节来限制。

Claims (15)

1.一种设备，包括：
多孔径成像设备，其包括：
图像传感器（12）；
邻近地布置的光学通道（16a-d）的阵列（14），每一个光学通道（16a-d）包括用于将全视场（261，262）的至少部分视场（24a-d）投影在所述图像传感器（12）的图像传感器区域（28a-d）上的光学件（22a-d），
光束偏转器（18），用于偏转所述光学通道（16a-d）的光束路径（104），
聚焦装置（32），用于调整所述多孔径成像设备的焦点位置；
所述设备进一步包括：
控制装置（34；54），适于控制所述聚焦装置（32）并从所述图像传感器（12）接收图像信息（36）；其中所述控制装置（34；54）适于在所述多孔径成像设备中设定焦点位置（56）序列，从而检测所述全视场（261，262）的对应图像信息（36）序列，并基于所述图像信息（36）序列创建用于所检测全视场的深度图（38），
其中所述控制装置（34；54）适于
在所述焦点位置（56）序列中获取对应数量的部分图像（64）组，每一个部分图像（64）与成像部分视场（24a-d）相关联；
从所述部分图像（64）中的局部图像清晰度信息的比较产生多个深度图，并且从中产生所述深度图（38）；以及
在使用所述深度图（38）时，将部分图像组中的所述部分图像（64）组装成全图像（42）；或者
其中所述聚焦装置（32）包括用于调整所述焦点位置（56）的至少一个致动器（74），所述聚焦装置（32）配置为至少部分地设置在由长方体（69）的侧面（69a，69b）跨越的两个平面（68a，68b）之间，所述长方体（69）的所述侧面（69a，69b）彼此平行对准且平行于所述阵列（14）的行延伸方向（2）以及所述光学通道（16a-d）的所述光束路径（104）在所述图像传感器（12）与所述光束偏转器（18）之间的部分，并且所述长方体的体积是最小的且仍包括所述图像传感器（12）、所述阵列（14）和所述光束偏转器（18）；并且其中所述聚焦装置（32）包括至少一个致动器（74），适于提供移动并且包括用于将所述移动传输至所述阵列（14）以用于调整所述焦点位置（56）的机械装置（82）；
所述致动器（74）布置在所述图像传感器（12）的背向所述阵列（14）的一侧上，并且从所述阵列（14）开始在所述图像传感器（12）后方，并且所述机械装置（82）布置成使得力通量侧向地通过所述图像传感器（12）；或者
所述致动器（74）布置在所述光束偏转器（18）的背向所述阵列（14）的一侧上，并且从所述阵列（14）开始在所述光束偏转器（18）后方，并且所述机械装置（82）布置成使得力通量侧向地通过所述光束偏转器（18）。
2.根据权利要求1所述的设备，其中所述控制装置适于从所述图像信息（36）序列创建所述深度图（38）。
3. 根据权利要求1所述的设备，其中所述光学通道形成为以至少立体的方式检测所述全视场；
其中所述控制装置适于基于从所述光学通道获得的视差信息产生初步深度图；并以基于所述图像信息序列的深度信息为基础来补充所述初步深度图，以便获得所述深度图（38）；或者
其中所述控制装置适于基于所述图像信息序列创建初步深度图；并以基于从所述光学通道获得的视差信息的深度信息为基础来补充所述初步深度图，以便获得所述深度图（38）。
4.根据权利要求3所述的设备，其中所述控制装置适于基于质量标准在所述初步深度图中选定所述全视场的需要改善的区域，并针对选定区域确定用于补充所述初步深度图的附加深度信息而不针对非选定区域进行确定。
5.根据权利要求1所述的设备，适于控制所述聚焦装置（32），从而使得所述焦点位置（56）序列在最小焦点位置与最大焦点位置之间的图像空间中在25%的容限范围内等距地分布。
6.根据权利要求1所述的设备，适于基于所述图像信息（36）序列产生表示所述全视场（261，262）的全图像（42）序列，其中每一个全图像（42）基于相同焦点位置（56）的部分图像（64）的组合。
7.根据权利要求1所述的设备，适于基于所述深度图（38）通过一个或多个图像区域的后续聚焦和/或散焦来改变表示所述全视场（261，262）的全图像（42）。
8.根据权利要求1所述的设备，适于将所述全视场（261，262）的图像产生为单图像，并从单图像序列产生所述深度图（38）。
9.根据权利要求1所述的设备，其中所述阵列（14）的第一光学通道（16a）形成为映射所述全视场（261，262）的第一部分视场（24a），其中所述阵列（14）的第二光学通道（16b）配置为对所述全视场（261，262）的第二部分视场（24b）进行成像，并且其中第三光学通道（16c）配置为对所述全视场（261，262）进行完全成像。
10.根据权利要求1所述的设备，其中所述多孔径成像设备具有配置为垂直于所述两个平面（68a，68b）的厚度方向（y），所述致动器（74）具有平行于所述厚度方向（y）的尺寸，并且所述尺寸的至多50%的一部分从定位于所述两个平面（68a，68b）之间的区突出至所述两个平面（68a，68b）外。
11.根据权利要求1所述的设备，其中所述聚焦装置（32）包括用于提供所述光学通道（16a-d）中的至少一个的光学件（22a-d）与所述图像传感器（12）之间的相对移动的致动器（74）。
12.根据权利要求11所述的设备，其中所述聚焦装置（32）适于执行所述光学通道（16a-d）中的一个的所述光学件（22a-d）与所述图像传感器（12）之间的所述相对移动，同时执行所述光束偏转器（18）的与所述相对移动同时的移动。
13.根据权利要求1所述的设备，其中所述聚焦装置（32）配置为从定位于所述平面（68a，68b）之间的区域突出至多50%。
14.根据权利要求1所述的设备，其中所述聚焦装置（32）的所述至少一个致动器（74）包括压电式弯曲致动器。
15.根据权利要求1所述的设备，其中所述光束偏转器（18）的相对位置能够在第一位置与第二位置之间切换，从而使得在所述第一位置中，所述光束路径（104）朝向第一全视场（261）偏转，并且在所述第二位置中，所述光束路径朝向第二全视场（262）偏转；
其中所述一个控制装置适于：控制所述光束偏转器（18）移动至所述第一位置以从所述图像传感器（12）获得所述第一全视场（261）的成像信息（461）；控制所述光束偏转器（18）移动至所述第二位置以从所述图像传感器（12）获得所述第二全视场（262）的成像信息（462）；以及将第一成像信息（461）的一部分插入第二成像信息（462）中，从而获得部分表示所述第一全视场（261）且部分表示所述第二全视场（262）的累积图像信息（48）。
CN201980089729.1A 2018-12-21 2019-12-17 具有用于产生深度图的多孔径成像设备的设备 Active CN113366821B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018222865.5 2018-12-21
DE102018222865.5A DE102018222865A1 (de) 2018-12-21 2018-12-21 Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
PCT/EP2019/085645 WO2020127262A1 (de) 2018-12-21 2019-12-17 Vorrichtung mit einer multiaperturabbildungsvorrichtung zur erzeugung einer tiefenkarte

Publications (2)

Publication Number Publication Date
CN113366821A CN113366821A (zh) 2021-09-07
CN113366821B true CN113366821B (zh) 2024-03-08

Family

ID=69024262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980089729.1A Active CN113366821B (zh) 2018-12-21 2019-12-17 具有用于产生深度图的多孔径成像设备的设备

Country Status (6)

Country Link
US (1) US11924395B2 (zh)
EP (2) EP4325875A3 (zh)
CN (1) CN113366821B (zh)
DE (1) DE102018222865A1 (zh)
TW (1) TWI745805B (zh)
WO (1) WO2020127262A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818282B (zh) * 2021-07-12 2023-10-11 明基電通股份有限公司 投影裝置、投影系統及投影影像校正方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547111A (zh) * 2010-12-10 2012-07-04 三洋电机株式会社 电子设备
CN105093523A (zh) * 2015-09-11 2015-11-25 哈尔滨工业大学 多尺度多孔径光学成像系统
KR101575964B1 (ko) * 2014-07-01 2015-12-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 듀얼 애퍼처 카메라의 센서 어레이
WO2017029376A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, verfahren zum herstellen derselben und abbildungssystem
DE102015215845A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
CN106716486A (zh) * 2014-06-24 2017-05-24 弗劳恩霍夫应用研究促进协会 用于包括若干光学通道的多孔径光学器件相对于图像传感器的相对定位的设备和方法
CN106775258A (zh) * 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置
JP2017120371A (ja) * 2015-12-25 2017-07-06 株式会社リコー 光走査装置及び画像表示装置
CN107223331A (zh) * 2015-08-19 2017-09-29 弗劳恩霍夫应用研究促进协会 多孔径成像设备、成像系统及用于提供多孔径成像设备的方法
CN108139566A (zh) * 2015-08-19 2018-06-08 弗劳恩霍夫应用研究促进协会 多孔径成像设备、便携式设备以及制造多孔径成像设备的方法
CN108463992A (zh) * 2016-01-13 2018-08-28 弗劳恩霍夫应用研究促进协会 多孔径成像装置、成像系统及用于检测目标区域的方法
CN108604044A (zh) * 2016-03-14 2018-09-28 弗劳恩霍夫应用研究促进协会 多孔径成像设备、成像系统以及用于检测目标区域的方法
WO2018188815A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Vorrichtung zur abbildung von teilgesichtsfeldern, multiaperturabbildungsvorrichtung und verfahren zum bereitstellen derselben

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012174633A1 (en) 2011-06-21 2012-12-27 Isee3D Inc. Method and apparatus for generating three-dimensional image information
EP2724192A4 (en) * 2011-06-21 2015-09-02 Front Street Diversified Income Class By Its Manager Front Street Invest Man Inc METHOD AND DEVICE FOR GENERATING INFORMATION ON THREE-DIMENSIONAL IMAGES
WO2013064511A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with integrated filters and multiple adjacent image copies projected onto sensor array
EP2776799B1 (en) * 2011-11-04 2019-05-22 IMEC vzw Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array
US8792013B2 (en) * 2012-04-23 2014-07-29 Qualcomm Technologies, Inc. Method for determining the extent of a foreground object in an image
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
DE102013203425A1 (de) * 2013-02-28 2014-08-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Filmkamera
JP2016534389A (ja) * 2013-07-31 2016-11-04 カリフォルニア インスティチュート オブ テクノロジー 開口走査フーリエタイコグラフィ撮像
DE102013016752A1 (de) * 2013-09-03 2015-03-05 Universität Stuttgart Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT)
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US9374514B2 (en) * 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
JP6296887B2 (ja) * 2014-05-07 2018-03-20 キヤノン株式会社 焦点調節装置およびその制御方法
CA3177264A1 (en) * 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
TW201632949A (zh) * 2014-08-29 2016-09-16 伊奧克里公司 捕捉在一可攜式電子器件上之影像之影像轉向
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
DE102015215841B4 (de) 2015-08-19 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
DE102015215833A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit Optiksubstrat
DE102015216140A1 (de) 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
US10051182B2 (en) * 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
DE102015220566B4 (de) * 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
DE102016200287A1 (de) * 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
DE102016208210A1 (de) * 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
US10097777B2 (en) * 2016-06-03 2018-10-09 Recognition Robotics, Inc. Depth map from multi-focal plane images
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
WO2019174756A1 (en) * 2018-03-15 2019-09-19 Photonic Sensors & Algorithms, S.L. Plenoptic camera for mobile devices

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547111A (zh) * 2010-12-10 2012-07-04 三洋电机株式会社 电子设备
CN106716486A (zh) * 2014-06-24 2017-05-24 弗劳恩霍夫应用研究促进协会 用于包括若干光学通道的多孔径光学器件相对于图像传感器的相对定位的设备和方法
KR101575964B1 (ko) * 2014-07-01 2015-12-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 듀얼 애퍼처 카메라의 센서 어레이
CN108139566A (zh) * 2015-08-19 2018-06-08 弗劳恩霍夫应用研究促进协会 多孔径成像设备、便携式设备以及制造多孔径成像设备的方法
DE102015215845A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
WO2017029376A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, verfahren zum herstellen derselben und abbildungssystem
CN107223331A (zh) * 2015-08-19 2017-09-29 弗劳恩霍夫应用研究促进协会 多孔径成像设备、成像系统及用于提供多孔径成像设备的方法
CN105093523A (zh) * 2015-09-11 2015-11-25 哈尔滨工业大学 多尺度多孔径光学成像系统
JP2017120371A (ja) * 2015-12-25 2017-07-06 株式会社リコー 光走査装置及び画像表示装置
CN108463992A (zh) * 2016-01-13 2018-08-28 弗劳恩霍夫应用研究促进协会 多孔径成像装置、成像系统及用于检测目标区域的方法
CN108604044A (zh) * 2016-03-14 2018-09-28 弗劳恩霍夫应用研究促进协会 多孔径成像设备、成像系统以及用于检测目标区域的方法
CN106775258A (zh) * 2017-01-04 2017-05-31 虹软(杭州)多媒体信息技术有限公司 利用手势控制实现虚拟现实交互的方法和装置
WO2018188815A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Vorrichtung zur abbildung von teilgesichtsfeldern, multiaperturabbildungsvorrichtung und verfahren zum bereitstellen derselben

Also Published As

Publication number Publication date
US20210314548A1 (en) 2021-10-07
EP4325875A3 (de) 2024-04-24
US11924395B2 (en) 2024-03-05
EP4325875A2 (de) 2024-02-21
WO2020127262A1 (de) 2020-06-25
EP3900317A1 (de) 2021-10-27
CN113366821A (zh) 2021-09-07
DE102018222865A1 (de) 2020-06-25
TW202037964A (zh) 2020-10-16
EP3900317B1 (de) 2024-01-17
TWI745805B (zh) 2021-11-11

Similar Documents

Publication Publication Date Title
US10606152B2 (en) Multi-aperture imaging device, imaging system and method for capturing an object area
US10708570B2 (en) 3D multi-aperture imaging devices, multi-aperture imaging device, method for providing an output signal of a 3D multi-aperture imaging device and method for capturing a total field of view
US10771668B2 (en) Multi-aperture imaging device, imaging system and method for capturing an object area
KR102069982B1 (ko) 반사면을 포함하는 빔 편향 디바이스를 구비한 멀티 애퍼처 이미징 디바이스
JP5456020B2 (ja) 情報処理装置および方法
US10291852B2 (en) Multi-aperture imaging device, imaging system and method for providing a multi-aperture imaging device
US8305425B2 (en) Solid-state panoramic image capture apparatus
TWI617177B (zh) ３ｄ多孔徑成像裝置
US11070731B2 (en) Multi-aperture imaging device, imaging system and method for making available a multi-aperture imaging device
US10996460B2 (en) Multi-aperture imaging device, imaging system and method of providing a multi-aperture imaging device
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
US9648305B2 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
JP7286024B2 (ja) 回転可能なリフレクターを備えた撮像システム
CN113366821B (zh) 具有用于产生深度图的多孔径成像设备的设备
CN113330730B (zh) 包括用于累积第一全视场和第二全视场的图像信息的多孔径成像设备的设备
JP2011095431A (ja) 立体映像撮像装置および立体映像撮像方法
JP3564383B2 (ja) ３次元動画入力装置
US20220011661A1 (en) Device comprising a multi-aperture imaging device for generating a depth map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant