CN108353117A - 3d多孔径成像装置 - Google Patents

3d多孔径成像装置 Download PDF

Info

Publication number
CN108353117A
CN108353117A CN201680062022.8A CN201680062022A CN108353117A CN 108353117 A CN108353117 A CN 108353117A CN 201680062022 A CN201680062022 A CN 201680062022A CN 108353117 A CN108353117 A CN 108353117A
Authority
CN
China
Prior art keywords
image
channel
optical
optical channel
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680062022.8A
Other languages
English (en)
Other versions
CN108353117B (zh
Inventor
弗兰克·维普曼
安德里亚斯·布吕克纳
安德里亚斯·布劳尔
亚历山大·奥伯多斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN108353117A publication Critical patent/CN108353117A/zh
Application granted granted Critical
Publication of CN108353117B publication Critical patent/CN108353117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

描述一种3D多孔径成像装置，其既能够提供关于场景的3D信息，又能够使能实现高横向分辨率和/或宽视场。该3D多孔径成像装置设置有用于将全视场的重叠的第一子视场成像在3D多孔径成像装置的图像传感器的第一图像传感器区域上的第一多个光通道，以及用于将全视场的重叠的第二子视场成像在图像传感器的第二图像传感器区域上的第二多个光通道，其中第一多个光通道和第二多个光通道彼此横向偏移基距，且其中当在第一多个光通道的光通道对的第一子视场的重叠区域中，合并第一多个光通道捕获的图像以形成第一全图像时，使用图像对的视差，其中该图像对中的一个图像由第二多个光通道的一个捕获。

Description

3D多孔径成像装置
技术领域
本申请涉及3D多孔径成像装置。
背景技术
具有线性通道布置的多孔径成像系统由数个并置的成像通道组成，每个成像通道只捕获物体的一部分。全图像由合并或融合各个局部图像产生。由于成像通道彼此的距离有限，因此产生视差，其在短物距内尤为明显，并在复合全图像中产生伪影。除此之外，还存在各个通道各自完全地捕获同一个场景的多孔径成像系统，其中关于物体或场景的深度的信息从通道间的视差计算得到。
当在同一个成像系统中，需要具有一方面相对宽的视场，另一方面产生深度信息的场景的高空间或横向分辨率时，出现问题。
发明内容
本发明提供一种3D多孔径成像装置，其允许获得高横向分辨率和/或宽视场，还可以获得额外的深度信息。
该目的通过独立权利要求的主题来解决。
本申请基于可提供一种3D多孔径成像装置的发现，3D多孔径成像装置一方面能够提供关于场景的3D信息，另一方面允许获得高横向分辨率和/或宽视场，其中3D多孔径成像装置设置有用于将全视场的重叠的第一局部视场投射到3D多孔径成像装置的图像传感器的第一图像传感器区域上的第一多个光通道，以及用于将全视场的重叠的第二局部视场投射到图像传感器的第二图像传感器区域上的第二多个光通道，其中第一多个光通道和第二多个光通道彼此横向偏移基距地设置，且其中当将由第一多个光通道捕获的图像融合成第一多个光通道的光通道对的第一局部视场的重叠区域中的第一全图像时，使用图像对的视差，其中图像对中的一个被第二多个光通道的一个捕获。因此，全视场两次被划分为仅部分重叠的局部视场，即，以第一多个光通道的形式，且另一次以第二多个光通道的形式，从而能够获得全视场的期望的横向分辨率和/或期望的宽度，并获得跨全视场的视差信息。将由第一多个光通道获取的图像融合成全图像较少地遭受第一多个光通道的通道之间出现的视差，这是因为将第一多个光通道捕获的图像融合成第一全图像是由通过评估第二多个光通道的通道的一个捕获的图像所获得的视差信息来支持的。特别地，可以将第一多个光通道的通道之间的横向距离保持为低。不可避免地仍然出现的横向距离导致第一多个通道的通道之间的视差。当融合第一多个通道的多个的图像时，相对于仅评估第一多个光通道的图像之间的视差的过程，可以以改进的方式实现重叠区域中的图像融合的物距依赖性，这是因为使用了图像对的图像间的视差，其中图像对中的一个图像被第二多个光通道的一个捕获。这可以是这样的图像对：其中的一个被第一多个通道捕获，另一个被第二多个通道捕获，或者是这样的图像对：两个均被第一或第二多个通道的不同通道捕获。然而，对于重叠区域还可以使用多于一个图像对的视差。除此之外，可以显然是这样的图像对：其两个都被第二多个通道的不同通道捕获，即待被融合的图像对。
本申请的有利实施是从属权利要求的主题。
附图说明
下面将参考附图详细地论述本申请的优选实施例。附图示出：
图1是根据实施例的3D多孔径成像装置的局部示意性三维局部图示；
图2是通道及其图像待被融合的通道的局部视场的重叠区域的视差源的形成的示意图；
图3是用于示出3D多孔径成像装置的安装的移动装置的透视图；
图4是根据实施例的3D多孔径成像装置的模组的三维图示，其中光学器件示例性地由被光路穿透的透明基体支撑；以及
图5a和5b是根据实施例的3D多孔径成像装置的模组的侧视图和俯视图，其中光轴在光轴的平面中具有预发散，且光束偏转装置在另一个方向上呈现发散，由此减小偏转装置的刻面(facet)的数量且可以将倾斜限制在一个方向。
具体实施方式
图1示出了根据实施例的3D多孔径成像装置10。如图1所示，3D多孔径成像装置包括图像传感器，图像传感器可以分别分为组件121和122，一个组件121用于“右”光通道141，另一个组件122用于“左”通道142。在图1的示例中，右光通道141和左光通道142构造相同，但彼此横向偏移基距15，以便关于装置10的视场内的场景尽可能多地获取深度信息。因此，设置有从左起第一位置处具有索引1的附图标记的元件属于第一组件1或装置10的右通道的第一模组(模组1)，设置有从左起第一位置处具有索引2的附图标记的元件属于第二组件2或装置10的左通道的第二模组(模组2)。尽管在图1中，模组的数量为两个，但装置也可以包括更多个模组，其彼此间隔相应基距地设置。
在图1的示例性情况中，每多个光通道141和142包括四个并置的光通道。各个“右”通道通过第二下标索引来区分。这些通道从右向左进行索引，即光通道1411(由于为清楚起见的部分省略而未在图1中示出)例如沿基距方向17被布置在最右边缘处，左通道和右通道沿基距方向17彼此偏移基距15地布置，即离多个左通道142最远，其它右通道1412-1414沿基距方向17依次布置。因此，通道1411-1414形成单线阵列的光通道，其线延伸方向与基距方向17相对应。左通道142以相同方式构造。它们也可以通过第二下标索引来区分。左通道1421-1424被彼此靠近且连续地沿与右通道1411-1414相同的方向布置，即使得通道1421距右通道最近，通道1424距右通道最远。
右通道1411-1414的每个包括相应的光学器件，如图1所示，其可由透镜系统组成。可选地，每个通道可包括透镜。每个光通道1411-1414捕获全视场28的重叠的局部视场中的一个，这些局部视场彼此重叠且共同覆盖全视场28。通道1411例如将局部视场3011投射到图像传感器区域1211上，通道1412将局部视场3012投射到图像传感器区域1212上，通道1413将分配的局部视场3013投射到图像传感器12的相应的图像传感器区域1213(图1中不可见)上，通道1414将分配的局部视场3014投射到相应的图像传感器区域1214(由于隐蔽，图1中也未示出)上。
在图1中，图像传感器12的图像传感器区域1211-1214或图像传感器12的组件121布置在平行于基距15方向或平行于线延伸方向17的平面中，且光通道1411-1414的光学器件的透镜平面也平行于该平面。此外，图像传感器区域1211-1214被布置为彼此具有横向通道间距离19，光通道1411-1414的光学器件也彼此具有横向通道间距离19地沿该方向布置，使得光通道1411-1414的光轴和光路可以在图像传感器区域1211-1214和光学器件1411-1414之间彼此平行地延伸。图像传感器区域1211-1214的中心和光通道1411-1414的光学器件的光学中心被布置在例如各自的光轴上，光轴垂直于上述提及的图像传感器区域1211-1214的共同平面而延伸。
光通道1411-1414的光轴或光路被光束偏转装置241偏转，并因此具有发散，其具有使光通道1411-1414的局部视场3011-3014仅部分重叠的效果，例如，使局部视场3011-3014关于立体角最多以50％两两重叠。如图1所示，光束偏转装置241可以例如针对每个光通道1411-1414，具有反射刻面，其在通道1411-1414中相对于彼此不同地倾斜。反射刻面相对于图像传感器平面的平均倾角使右通道1411-1414的全视场在(例如)垂直于平面的方向上发生偏转，光通道1411-1414的光学器件的光轴分别在装置241的光束偏转之前或无光束偏转的情况下在其中延伸，或偏移此垂直方向小于10°。可选地，光束偏转装置241还可以使用棱镜用于光通道1411-1414的各个光轴或光路的光束偏转。
光束偏转装置241为光通道1411-1414的光路提供发散，使得实际上在方向17上线性并置的通道1411-1414以二维方式覆盖全视场28。
应注意的是，光路或光轴也可能偏离所描述的平行，但光通道的光路的平行仍然可以是不同的，使得各个通道1411-1414所覆盖的或投射到各自的图像传感器区域1211-1214上的局部视场在没有任何其他措施(如光束偏转)的情况下大部分重叠，从而为了多孔径成像装置10覆盖更大的视场，光束偏转装置24为光路提供额外的发散，使得通道1411-1414的局部视场彼此较少地重叠。例如，光束偏转装置241具有这样的效果：全视场具有跨所有方位角或所有横向方向平均的孔径角，且该孔径角大于光通道1411-1414的局部视场的各自的平均孔径角的1.5倍。
左通道1421-1424与右通道1411-1414以相同的方式构造，并关于其各自分配的图像传感器区域1221-1224定位，其中，在与通道1411-1414的光轴相同的平面中彼此平行延伸的光通道1421-1424的光轴被相应的光束偏转装置242偏转，使得光通道1421-1424以几乎叠合的方式捕获相同的全视场28，即在全视场28以二维方式被划分成的彼此重叠的局部视场3021-3024中，且其中局部视场3021-3024的每个几乎完全与右通道1411-1414的各个通道的各个局部视场3011-3014重叠。例如，局部视场3011和局部视场3021、局部视场3012和局部视场3022等几乎完全重叠。
图像传感器区域1211-1224可例如各自由包括相应的像素阵列的晶片组成，其中晶片可以安装在公共基板或公共板上，或成组地安装在数个板上，如图1所指示的，对于单独地将组件121的图像传感器区域1211-1214的晶片放置在一个板上并将组件122的图像传感器区域1221-1224的晶片放置在另一个板上的情况。可选地，图像传感器区域1211-1224还可以一体或成组地形成，例如根据组件121和组件122的分配，与跨各个图像传感器区域连续延伸的公共像素阵列的一部分分离，其中公共像素阵列例如形成在单晶片上。接着，例如，仅在各个图像传感器区域读出公共像素阵列的像素值。这些可选方案的不同组合也是可能的，例如在组件121和组件122内存在用于两个或更多个通道的晶片以及用于不同通道的另一晶片等。
除了上述组件之外，3D多孔径成像装置还包括处理器85，处理器85执行将在3D多孔径成像装置10的捕获过程中由右光通道1411-1414已经捕获的图像融合成第一全图像的任务。要克服的问题是：由于右通道1411-1414的相邻通道之间的通道间距离19，图像区域1211-1214中的由右通道1411-1414在捕获过程中已经捕获的图像不能简单地或平移地相对于彼此移位并放置在彼此上。换句话说，上述图像不能容易地融合。当捕获相同场景时的相互对应但存在于不同图像中的图像传感器区域1211-1214的图像的沿方向15，17或19的横向偏移被称为视差。对应图像内容的视差再次取决于场景内的该图像内容的距离，即各自的对象与装置10的距离。处理器85现在可尝试评估图像传感器区域1211-1214自身的图像之间的视差，以便将这些图像融合成第一全图像(即，“右全图像”)。然而，不利的是，存在通道间距离19，并因此产生问题，但另一个方面，通道间距离19相对较小，使得深度分辨率或估计仅仅是不准确的。因此，(例如)借助于相关性尝试确定两个图像之间的重叠区域(例如图像传感器区域1211和1212的图像之间的重叠区域86)中的对应图像内容是困难的。
因此，为了融合，图1中的处理器在局部视场3011和3012之间的重叠区域86中使用其中一个被左通道1421或1422中的一个(其投射的第二局部视场(即3021或3022)与重叠区域86重叠)捕获的图像对的视差。例如，为了融合图像传感器区域1211和1212的图像，处理器85评估图像中的视差，其中图像中的一个被图像传感器区域1221或1222中的一个捕获，而另一个被重叠区域86中包括的通道捕获，即被图像传感器区域1221或1222中的一个捕获的图像。然后，这样一对具有基本基距加上/减去一个或零个通道基距19的基距15。后者的基距明显大于单通道基距19，这是处理器85更容易确定重叠区域86中的视差的原因。因此，为了融合右通道的图像，处理器85评估由左通道的图像产生的视差，且优选但不排他地，评估来自右通道的一个和左通道的一个的图像之间的视差。
更具体地，处理器85可以使用局部视场3011的一部分，其不与大体上直接来自图像1211的右通道的其他局部视场的一个重叠，并基于图像传感器区域1212-1214的图像对局部视场3012，3013和3014的非重叠区域相同地执行，其中图像传感器区域1211-1214的图像例如同时被捕获。仅在相邻局部视场(例如局部视场3011和3012)的重叠区域中，处理器85使用图像对的视差，图像对在全视场28中的重叠在重叠区域中重叠，但图像对中的多个但不仅一个被右通道的一个捕获，且另一个被左通道的一个再次例如同时捕获。
根据可选的程序，处理器85也可以根据对图像对之间的视差的评估，对右通道的所有图像进行翘曲，其中图像对中的一个图像被右通道捕获，另一个被左通道捕获。以这种方式，对于右通道的图像由处理器85计算出的全图像可以实际上不仅在右通道的局部视场3011-3014的重叠区域中，而且在实际上聚焦的非重叠区域(例如横向地在右通道1411-1414之间的中心中)中翘曲，这是因为即使对于不重叠的局部视场3011-3014的那些区域，图像对的视差也由处理器85评估，其中一个图像被右通道的一个捕获，另一个图像被左通道的一个捕获。
图1的3D多孔径成像装置10不仅能够从右通道的图像生成全图像，而且图1的3D多孔径成像装置10还能够至少以一种操作模式从捕获的图像生成除第一通道的全图像之外的左通道的图像的全图像和/或除右通道的全图像之外的深度图。
根据第一替代例，处理器85被配置为例如将分别由左光通道1221-1224和图像传感器区域1221-1224捕获的图像融合成第二全图像(即左通道的全图像)，并在左光通道的横向相邻的局部视场3021-3024的重叠区域中使用图像对的视差，图像对中的多个但不仅一个被右光通道1411-1414捕获且与局部视场3021-3024的对的相应重叠区域重叠，另一个优选地被其局部视场与相应的重叠区域重叠的左光通道的一个捕获。
根据第一替代例，处理器85输出两个全图像用于一次捕获，即一个用于右光通道，以及另一个用于左光通道。这两个全图像可以分别提供给用户，例如提供给用户的两只眼睛，因此引起所捕获场景的三维印象。
根据另一个上述替代例，除生成右通道的全图像外，处理器85通过使用图像对中的视差生成深度图，图像对包括用于右通道1411-1414的每个的至少一对，其包括由相应的右通道捕获的一个图像和由左通道的一个捕获的另一个图像。
在由处理器85生成深度图的实施例中，还可以基于深度图对右通道捕获的所有图像进行上述翘曲。由于深度图包括跨全视场28的深度信息，因此还可以将右通道捕获的所有图像(即不仅在其重叠区域中，而且在非重叠区域中)分别翘曲至虚拟公共孔径点和虚拟光学中心上。
处理器85还可以处理以下两个替代例：同样地可以首先生成两个全图像，即一个用于右光通道，另一个用于左光通道，如上文所述，通过当在右通道的图像之间的重叠区域中融合右通道的图像时，使用其中一个属于左通道的图像的图像对的视差，以及当在左通道的图像之间的重叠区域中融合左通道的图像时，使用其中一个属于右通道的图像的图像对的视差，然后从以这种方式获得的以不同视角表示全视场中的场景的全图像生成具有分配的深度图的全图像，例如位于左光通道和右光通道的光学器件的光学中心之间，但对于虚拟视图或对于虚拟光学中心可能不居中其之间的全图像。为了计算深度图且为了翘曲两个全图像中的一个或将两个全图像翘曲并融合至虚拟视图中，处理器85使用实际上分别作为左个别图像及右个别图像的先前融合的中间结果的右全图像及左全图像。这里，处理器评估两个中间结果全图像中的视差，以获得深度图并进行其翘曲或翘曲/融合。
应注意的是，处理器例如通过图像区域的交叉相关来评估图像对的视差。
图2还示出了，作为用于融合图像传感器对(左通道的光学器件对将紧邻局部视场的对投射至其上)捕获的图像的基础，如示例性地针对局部视场3011和3012的情况那样，除该对图像之外，处理器85可使用整体的(即，四取二)种视差源的一个或数个额外视差源中的视差，即这对紧邻局部视场之间的重叠区域中的关于场景物体的视差的图像传感器区域的图像对。在图2中，这针对局部视场3011和3012之间的交叉阴影重叠区域示例性地指示：除了待融合的右通道1411和1412(视差源1)自身的图像对外，还存在4个图像对，其中一个由右通道投射且一个由左通道投射到各自的图像传感器区域上且由后者捕获(视差源2，3，4，5)，即通过通道1411和1421(视差源2)捕获的图像，通过通道1411和1422(视差源3)捕获的图像，通过通道1412和1422(视差源4)捕获的图像，以及通过通道1412和1421(视差源5)捕获的图像。此外，还存在一个图像对，其两个图像均由左通道投射到相应的图像传感器区域上并由后者捕获(视差源6，1421和1422的成对)。处理器可以使用额外源3至5的一个或多个用于融合支持。根据上述替代例，如果处理器85还计算全视场28的深度图，则处理器可以根据图像融合的过程，从多于一个图像对的视差的评估中确定全视场28的各点处的深度图，其中的一个由右通道投射且一个由左通道投射到各自的图像传感器区域上并且由后者捕获，即在除右通道的局部视场及左通道的局部视场之外的另一对也重叠的点处。在图2中，这仅仅是由于与左通道的局部视场的叠合，右通道的局部视场的重叠区域与左通道的局部视场的重叠区域相同的情况，但是在其他实施例中，该叠合可能不存在。
应提及的是，在一方面通过左通道的局部视场以及另一方面通过右通道的局部视场的全视场28的不同覆盖中，可能多于四个通道(不考虑其分配至左通道或右通道)彼此重叠，例如在线方向或列方向上的前面的例子的局部视场的重叠区域的相互重叠处，情况也是如此，其中右通道的局部视场以及左通道的局部视场被各自按行和列布置。然后，其一般针对视差源的数目相同地应用其中N表示具有重叠的局部视场的通道的数量。
除了以上描述外，应该提到的是，除其他之外，处理器85还可选地对各通道的透视投射故障进行通道式校正。
应注意的是，图1的实施例在许多方面仅仅是示例性的。这涉及到例如光通道的数量。例如，右光通道的数量不是四，但无论如何是大于/等于2或者位于2和10之间(包括端点)，且右光通道的局部视场的重叠区域(只要针对每个局部视场或每个通道，考虑对于各自的局部视场具有最大重叠的对)，针对所有这些对，关于该区域，可在图像的平均图像大小的1/2和1/1000之间，该图像被图像区域1211-1214捕获，并例如在图像平面(即图像传感器区域的平面)中测量。上述例如也适用于左通道。但右通道和左通道之间可以数量差异。这意味着，左光通道的数量NL和右光通道的数量NR不必相同，全视场28至左通道的局部视场和右通道的局部视场的划分也不必与图1中的情况大致相同。关于局部视场及其重叠，可以是使得至少针对具有最大重叠的所有对，局部视场投射至彼此，例如只要考虑10m的图像距离或物距，以至少20个像素投射至彼此，其中这可适用于右通道和左通道。
此外，与上述陈述相反，没有必要分别将左光通道和右光通道形成于单线中。左和/或右通道还可以形成二维阵列的光通道。另外，也不需要单线阵列具有共线的线延伸方向。然而，图1的布置是有利的，因为其产生垂直于平面的最小安装高度，光通道(即右通道和左通道)的光轴分别在光束偏转之前及无光束偏转的情况下在其中延伸。关于图像传感器12，上述已提到其可由一个，两个或数个晶片形成。例如，每个图像传感器区域1211-1214和1221-1224可提供一个晶片，其中在数个晶片的情况下，该数个晶片可以安装在一个或数个板上，例如用于左通道或左通道的图像传感器的一个板和用于右通道的图像传感器的一个板。
因此，在图1的实施例中，可以尽可能密集地将相邻通道放置在右通道或左通道的通道内，其中在最佳情况下，通道距离19与透镜直径相对应。这导致低通道距离，且因此导致低视差。一方面的右通道和另一方面的左通道也可以彼此在任何距离15处布置，从而可以实现大视差。总而言之，产生伪影减少甚至无伪影的图像融合的选择以及具有无源光学成像系统的深度图的生成。
与上述例子相反，可以使用多于两组的通道141和142。组的数量可以被称作N。在这种情况下，如果每个组的通道数量相同，且对于所有组全视场至局部视场的划分也相同，则视差源的数量例如将按照组141的局部视场的重叠区域产生。但是，如上所述，也可以对通道组进行不同的全视场划分。
最后，应该注意的是，在以上描述中，仅仅示例性情况已经陈述了处理器85融合右通道的图像。如上所述，处理器85可以分别针对两个和所有通道组执行相同的过程，或者也可以针对左通道等执行相同的过程。
图1的3D多孔径成像装置可以安装在例如移动装置(例如移动电话)的平壳中。这里，图像传感器区域1211-1214和1221-1224的平面以及左和右通道的光学器件的任何透镜平面可以平行于平壳的厚度方向延伸。由于分别通过光束偏转装置241和242的光束偏转，3D多孔径成像装置的全视场将例如位于例如移动装置的屏幕所在的正面的前方，或移动装置的背面的前方。
图3示出了例如上述替代例的装置10如何安装在例如便携式装置200的平壳中，便携式装置200可以是例如移动电话，智能电话或媒体播放器等的一个。部件121和122的图像传感器区域的平面以及通道141和142的光学器件的透镜平面被定向为分别垂直于平壳的平延伸方向和平行于厚度方向。以这种方式，举例来说，光束偏转装置241和242将分别具有使多孔径成像装置10的全视场位于平壳的正面202的前方的效果，该平壳例如还包括屏幕。可选地，偏转也可以以这样的方式：使视场在与正面202相对的平壳的背面的前方。壳体可以在穿透侧面202中具有透明窗206，以使光通道组141和142的光路通过。装置200的壳体或装置本身可以是平的，因为由于装置10在壳体中的所示位置，装置10的安装高度(与壳体的厚度平行)可以保持低。也可以将装置10安装在另一个可能的非便携式装置(如汽车)中。
分别关于光束偏转装置241和242，应注意的是，其呈现可选的元件。光通道(即，一方面其间的右通道及另一方面其间的左通道)的光路的发散，相比通过使用光束偏转装置241-242，也可以以不同的方式产生。光通道的光学器件的光学中心可例如横向偏移至所分配的图像传感器区域，以便在一方面左通道之间及另一方面在右通道之间产生局部视场的仅部分(即，不完全)重叠。
为了进一步说明这一点，图4此外示出根据图1的配置的具体示例，其中，在每个模组1和2中，相应的偏转装置241和242分别从光通道141#和142#的光轴211和222产生发散，光通道141#和142#首先彼此平行。为了简单起见，图4仅示出了具有右通道的模组1，但其图示和描述也因此适用于模组2。
图4示出每个光通道1411、1412、1413、1414借助于所分配的光学器件1611-1614将全视场28的相应的通道个别部分3011-3014分别投射到图像传感器121的相应图像传感器区域1211、1212、1213和1214上。光学器件1611至1614例如由如图4所示可通过共同的保持器181保持的透镜的每个或透镜组组成，。示例性地，保持器181由透明材料形成并被光通道的光路穿透，但也存在用于保持器的其他替代例。图像传感器区域1211-1214布置在共同平面(即光通道141的图像平面)中。在图4中，该平面示例性地平行于通过如图1所示的用于简化以下描述并具有附图标记20的笛卡尔坐标系的x轴和y轴张成的平面。在一个实施例中，这也是图像传感器区域1221至1224所位于的相同平面。光学器件1611-1614例如也并置在平行于图像传感器12(即平行于xy平面)的平面中。在图4的示例中，图像传感器平面中的图像传感器区域1211-1214的相对位置额外地与光学器件1611-1614以及光学器件1611-1614沿x轴和y轴的相对位置(即相对于图像传感器121横向地)叠合地定位，使得光学器件161-164的光学中心相对于图像传感器区域1211至1214的中心以居中的方式布置。这意味着在图4的示例中，光通道1411-1414的光轴2211-2214首先彼此平行且平行于坐标系20的z轴延伸，相对于该光轴，图像传感器区域1211-1214和光学器件1611-1614以居中的方式布置。根据实施例，光学中心的平面在模组1和模组2之间再次相同。可选存在的基体181可针对每个模组分别地设置，或可以支撑两个模组的光学器件。该装置可以包括一个或数个能够在横向方向(即x和/或y方向)上改变光学器件1611-1614相对于图像传感器区域1211-1214的相对位置例如以用于图像稳定的构件。光学器件1611-1614将全视场28中的场景中的物件投射到分配的图像传感器区域1211-1214上，并且为此目的，光学器件1611-1614定位在距图像传感器121的相应距离处。虽然该距离也可以是固定的，但替代地，可以设置用于改变此图像传感器/光学器件距离的构件，例如用于手动或自动改变焦点。光束偏转装置241分别偏转多个光通道14的光路和光轴2211-2214，使得全视场28不在z轴的方向上，而在别的某处。图4示出全视场28在偏转之后基本上沿y轴的示例性情况，即偏转基本上在zy平面内进行。现在，如上所述，在图4的实施例中，光轴2211-2214分别在光束偏转装置241的光束偏转之前以及无光束偏转的情况下彼此平行，例如分别在光学器件1611-1614处。光学器件1611-1614以及图像传感器区域1211-1214的相应居中定位容易产生，并且在最小化安装空间方面是有利的。然而，光通道的光路的平行性也具有这样的效果：被各个通道1411-1414覆盖并分别被投射到各自的图像传感器区域1211-1214上的局部视场将在无任何其他措施(例如光束偏转)的情况下几乎完全重叠。为了覆盖更大的全视场28，图4的光束偏转装置241的另一功能是为光路的光轴提供发散，即偏转光路，使得通道1411-1414的局部视场3011-3014彼此重叠的更少。在图4的示例中，为此，分配给各个光通道的光束偏转装置241的刻面2611-2614相对于彼此或相对于图像传感器121具有不同的倾斜，即均绕x轴并与其垂直的倾斜。
上文已提及，光路和光轴分别可以分别在光束偏转之前和无光束偏转的情况下偏离平行。这种情况将在下面描述，其中通道可以被设置有光轴的某种预发散。在光轴2211-2214的预发散的情况下，例如并非所有刻面倾角都不同，但是通道的某些组具有例如具有相同倾斜的刻面是可能的。后者然后可以一体地形成或者彼此连续地合并为一个刻面，也就是说，其被分配给在线延伸方向上相邻的这组通道。这些通道的光轴的发散可因此源自如通过光学器件的光学中心与通道的图像传感器区域之间的横向偏移所获得的这些光轴的发散。预发散例如可以限于一个平面。光轴可以例如分别在光束偏转之前和无光束偏转光束的情况下在共同平面中延伸，但在其内发散，且刻面仅影响额外发散(即其他横向平面中方向的偏转或改变)，即，它们均平行于线延伸方向且相对彼此倾斜，仅与上述的光轴的共同平面不同，其中同样地，数个刻面可以具有相同的倾斜，或可一起被分配给一组通道，其光轴例如分别在光束偏转之前或无光束偏转的情况下在成对的光轴的上述共同平面中不同。
上述提及的可能存在的预发散可以例如这样获得，在于：光学器件的光学中心位于沿延伸方向的直线上，而图像传感器区域的中心被布置为偏离光学中心沿图像传感器区域的平面的法线在图像传感器平面中的直线上的点上的投影，例如沿线延伸方向和/或沿垂直于线延伸方向和图像传感器法线的方向，以通道个别的方式在偏离图像传感器平面中的上述直线上的点的点处。可选地，可以获得预发散，在于：图像传感器的中心位于沿线延伸方向的直线上，而光学器件的中心被布置为偏离图像传感器的光学中心沿光学器件的光学中心的平面的法线在光学中心平面中的上述直线上的点上的投影，例如沿线延伸方向和/或沿垂直于线延伸方向和光学中心平面的法线的方向，以通道个别的方式在偏离光学中心平面中的上述直线上的点的点处。优选地，上述的从各自的投射的通道个别的偏离仅在线延伸方向上延伸，即仅在共同平面中的光轴被设置有预发散。然后，光学中心和图像传感器区域中心位于与线延伸方向平行的直线上但具有不同的中间距离。相比来说，透镜和图像传感器之间在与线延伸方向垂直的横向方向上的横向偏移导致安装高度的增加。线延伸方向上的纯平面内偏移不改变安装高度，但可能导致更少的刻面和/或反射面仅具有角定向的倾斜，这简化结构。这在图5a和图5b中示出，其中一方面的相邻通道1411和1412以及相邻通道1413和1414包括光轴2211和2212以及2213和2214，其分别在共同平面中延伸，各自关于彼此斜视，即具有预发散。刻面2611和2612可以由一个刻面形成，且刻面2613和2614可以由不同的刻面形成，如各个刻面对之间的虚线所指示的，并且仅两个刻面仅在一个方向上倾斜且皆平行于线延伸方向。
应注意的是，作为图5a和图5的替代例，光通道1和光通道2也彼此汇聚地延伸，光通道3和光通道4也是，且这两对同样彼此汇聚，其中所有光轴仍在一个平面内延伸。以这种方式，可以使得刻面在线延伸方向上更小。
同样，应注意的是，为清楚起见，图4、图5a以及图5b仅示出一个模组，但是相应的其他模组可以以相同的方式构造。此外，再次提及的是，每个模组的通道的数量不限于四个。
进一步，可以设置，在一个模组中，一些光通道被分配至相同的局部视场，例如分别出于超分辨率的目的，或者为了增加通过这些通道对相应的局部视场采样的分辨率。此组内的光通道将例如在光束偏转之前平行地延伸，并且被刻面偏转到局部视场上。有利地，组的通道的图像传感器的像素图像将位于该组的另一个通道的图像传感器的像素的图像之间的中间位置。因此，在空间分辨率的意义上而不是在每像素的数目的意义上，全视场将不被模组采样使得每个通道捕获其全视场的部分(即，其局部视场)，不是全分辨率而仅是减小的分辨率。仅仅使用像素偏移导致具有更高分辨率的全图像，其中每个局部视场包括比捕获此局部视场的通道的图像更多的像素(个别地考虑且如上所述不是相同的数量)。但是，深度视图仅利用减小的分辨率而不是如上述分别利用全图像分辨率和深度值，分别利用每全图像的像素的深度图像素，以及分别利用全图像而获得。此外，对于光束偏转装置和图像传感器，同样适用于上述关于光学基板的描述，即模组1和模组2也可以共享相应的元件。为了图像稳定的目的，光束偏转装置可以是绕平行于x轴的轴可旋转的。与沿x轴的光学器件的平移运动一起，这引起全视场在两个方向上的图像稳定，其中聚焦控制可以通过光学器件沿z轴的平移运动来实现。

Claims (16)

1.一种3D多孔径成像装置，包括：
图像传感器(12)；
第一多个(141)光通道(1411，1412，1413，1414)，用于将全视场(28)的重叠的第一局部视场(3011,3012,3013,3014)投射到所述图像传感器的第一图像传感器区域(1211,1212,1213,1214)上；
第二多个(142)光通道(1421，1422，1423，1424)，用于将所述全视场(28)的彼此重叠且与所述第一局部视场重叠的第二局部视场(3021,3022,3023,3024)投射到所述图像传感器的第二图像传感器区域(1221,1222,1223,1224)上，其中所述第一多个光通道和所述第二多个光通道彼此横向偏移基距(15)地设置；
处理器(85)，用于将所述第一多个光通道捕获的图像融合成第一全图像，其中所述处理器(85)被配置为通过使用图像对的视差在所述第一多个光通道的光通道对的第一局部视场的重叠区域(86)中进行融合，其中所述图像对中的至少一个由所述第二多个光通道的一个捕获，所述第二多个光通道的一个的投射的第二局部视场与所述重叠区域重叠。
2.根据权利要求1所述的3D多孔径成像装置，其中所述处理器(85)被配置为：
将所述第二多个光通道捕获的图像融合成第二全图像，且在所述第二多个光通道的光通道对的第二局部视场的重叠区域中使用另一图像对的视差，其中所述另一图像对中的至少一个由所述第一多个光通道的一个捕获，所述第一多个光通道的一个的投射的第一局部视场与所述第二局部视场的重叠区域重叠。
3.根据权利要求2所述的3D多孔径成像装置，其中所述处理器(85)被配置为：
通过使用所述第一全图像和所述第二全图像之间的视差生成深度图。
4.根据权利要求3所述的3D多孔径成像装置，其中所述处理器(85)被配置为：
将所述第一全图像或所述第二全图像翘曲为虚拟视图或将所述第一全图像和所述第二全图像翘曲并融合成虚拟视图，以获得最终全图像，所述深度图属于所述最终全图像。
5.根据权利要求1至4中任一项所述的3D多孔径成像装置，其中所述处理器(85)被配置为：
针对深度图，确定所述第一全图像的每个图像点的深度值。
6.根据权利要求1至5中任一项所述的3D多孔径成像装置，其中所述处理器(85)被配置为使得由所述第一多个光通道捕获的图像、由所述第二多个光通道捕获的图像以及所述第一全图像具有相等的横向空间分辨率。
7.根据权利要求1至6中任一项所述的3D多孔径成像装置，其中所述第一多个(141)光通道(1411，1412，1413，1414)与所述第二多个(142)光通道(1421，1422，1423，1424)的构造相同，以便基本相同地对所述全视场(28)采样并且在子像素范围内不相互偏移。
8.根据权利要求1至6中任一项所述的3D多孔径成像装置，其中所述处理器(85)被配置为使得被分配所述第一多个光通道的所述第一局部视场与被分配所述第二多个光通道的所述第二局部视场彼此不同并叠合。
9.根据权利要求1或2所述的3D多孔径成像装置，其中所述处理器(85)被配置为：
通过使用图像对的视差生成第一全图像的深度图，至少对于所述第一多个光通道的每个，所述图像对包括至少一个图像对，所述至少一个图像对包括由所述第一多个光通道的一个捕获的图像以及由所述第二多个光通道的一个捕获的另一图像。
10.根据权利要求1至9中任一项所述的3D多孔径成像装置，其中所述第一多个光通道的数量在2和100之间，包括端值，且所述第一多个光通道的光通道对的第一局部视场的重叠区域，就面积而言，在由所述第一多个光通道捕获的图像的平均图像大小的1/2和1/1000之间。
11.根据权利要求1至10中任一项所述的3D多孔径成像装置，其中所述第二多个光通道的数量在2和100之间，包括端值，且所述第二多个光通道的光通道对的第二局部视场的重叠区域，就面积而言，在由所述第一多个光通道捕获的图像的平均图像大小的1/2和1/1000之间。
12.根据权利要求1至11中任一项所述的3D多孔径成像装置，其中所述第一多个光通道的数量和所述第二多个光通道的数量相同，且所述全视场至所述第一局部视场的划分与全视场至所述第二局部视场的划分近似叠合。
13.根据权利要求1至12中任一项所述的3D多孔径成像装置，其中所述第一多个光通道的光通道对的局部视场，在10m的图像距离处，以由所述第一多个光通道的光通道对捕获的图像的至少20个像素的重叠区域的宽度而投射至彼此。
14.根据权利要求1至12中任一项所述的3D多孔径成像装置，其中所述第一多个光通道和所述第二多个光通道各自被形成为单线阵列，并且在沿所述单线阵列的线延伸方向的线上并置，彼此偏移所述基距。
15.根据权利要求1至14中任一项所述的3D多孔径成像装置，其中所述处理器(85)被配置为通过使用所述图像对的局部部分的交叉相关来确定所述视差。
16.一种用于融合由3D多孔径成像装置捕获的图像的方法，所述3D多孔径成像装置包括图像传感器(12)，用于将全视场(28)的重叠的第一局部视场(3011,3012,3013,3014)投射到所述图像传感器的第一图像传感器区域(1211,1212,1213,1214)上的第一多个(141)光通道(1411，1412，1413，1414)，以及用于将所述全视场(28)的彼此重叠且与所述第一局部视场重叠的第二局部视场(3021,3022,3023,3024)投射到所述图像传感器的第二图像传感器区域(1221,1222,1223,1224)上的第二多个(142)光通道(1421，1422，1423，1424)，其中所述第一多个光通道和所述第二多个光通道彼此横向偏移基距(15)地设置，所述方法包括：
通过使用图像对的视差在所述第一多个光通道的光通道对的第一局部视场的重叠区域(86)中进行融合，将由所述第一多个光通道捕获的图像融合成第一全图像，其中所述图像对中的至少一个由所述第二多个光通道的一个捕获，所述第二多个光通道的一个的投射的第二局部视场与所述重叠区域重叠。
CN201680062022.8A 2015-08-24 2016-08-22 3d多孔径成像装置 Active CN108353117B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015216140.4 2015-08-24
DE102015216140.4A DE102015216140A1 (de) 2015-08-24 2015-08-24 3D-Multiaperturabbildungsvorrichtung
PCT/EP2016/069821 WO2017032749A1 (de) 2015-08-24 2016-08-22 3d-multiaperturabbildungsvorrichtung

Publications (2)

Publication Number Publication Date
CN108353117A true CN108353117A (zh) 2018-07-31
CN108353117B CN108353117B (zh) 2021-08-24

Family

ID=56801537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062022.8A Active CN108353117B (zh) 2015-08-24 2016-08-22 3d多孔径成像装置

Country Status (9)

Country Link
US (1) US10701340B2 (zh)
EP (1) EP3342148B1 (zh)
JP (1) JP6530135B2 (zh)
KR (1) KR102060585B1 (zh)
CN (1) CN108353117B (zh)
DE (1) DE102015216140A1 (zh)
ES (1) ES2770333T3 (zh)
TW (2) TWI668989B (zh)
WO (1) WO2017032749A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
CN110568715A (zh) * 2019-09-30 2019-12-13 宁波元年文化传媒有限公司 立体球体表面全覆盖投影装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
TWI638221B (zh) * 2017-01-05 2018-10-11 旺玖科技股份有限公司 具有至少兩個鏡頭的全景影像擷取裝置及其全景影像擷取模組
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017211586A1 (de) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer falschlichtempfindlichkeit, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
CN109429055B (zh) * 2017-08-24 2021-02-23 阿里巴巴集团控股有限公司 图像展示、视频文件处理方法及装置
DE102017216172A1 (de) 2017-09-13 2019-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer bauhöhe und umschaltbarer blickrichtung, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
US10900776B2 (en) * 2018-02-06 2021-01-26 Saudi Arabian Oil Company Sensor device for distance offset measurements
DE102018222861A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102019204075B4 (de) 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
EP3981145A1 (de) * 2019-06-06 2022-04-13 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multikanalabbildungsvorrichtung und vorrichtung mit einer multiaperturabbildungsvorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090051772A1 (en) * 2002-01-09 2009-02-26 Rhoads Geoffrey B Establishing and maintaining focus in segmented-optic telescopes
CN103210641A (zh) * 2010-02-19 2013-07-17 双光圈股份有限公司 处理多孔径像数据
CN103649994A (zh) * 2011-07-05 2014-03-19 欧姆龙株式会社 用于投影体监测的方法和装置
CN103675960A (zh) * 2012-09-21 2014-03-26 索尼公司 光学元件、光学系统和图像处理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155109A (ja) * 1996-11-22 1998-06-09 Canon Inc 撮像方法及び装置並びに記憶媒体
US7132664B1 (en) * 2002-11-09 2006-11-07 Crosetto Dario B Method and apparatus for improving PET detectors
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
US8514491B2 (en) * 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20120098971A1 (en) * 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
JP2012227679A (ja) * 2011-04-19 2012-11-15 Mathematec Corp ２眼カメラ
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
US9501692B2 (en) * 2011-10-14 2016-11-22 Omron Corporation Method and apparatus for projective volume monitoring
JP6112419B2 (ja) * 2012-02-03 2017-04-12 パナソニックＩｐマネジメント株式会社 撮像装置および測距装置
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
JP2015037282A (ja) * 2013-08-15 2015-02-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102013222780B3 (de) * 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US10313656B2 (en) * 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10121064B2 (en) * 2015-04-16 2018-11-06 California Institute Of Technology Systems and methods for behavior detection using 3D tracking and machine learning
CN204575985U (zh) * 2015-05-14 2015-08-19 中国船舶重工集团公司第七一七研究所 一种具有四孔径的稀疏合成孔径光学成像装置
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090051772A1 (en) * 2002-01-09 2009-02-26 Rhoads Geoffrey B Establishing and maintaining focus in segmented-optic telescopes
CN103210641A (zh) * 2010-02-19 2013-07-17 双光圈股份有限公司 处理多孔径像数据
CN103649994A (zh) * 2011-07-05 2014-03-19 欧姆龙株式会社 用于投影体监测的方法和装置
CN103675960A (zh) * 2012-09-21 2014-03-26 索尼公司 光学元件、光学系统和图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
CN110568715A (zh) * 2019-09-30 2019-12-13 宁波元年文化传媒有限公司 立体球体表面全覆盖投影装置

Also Published As

Publication number Publication date
TWI617177B (zh) 2018-03-01
KR20180043334A (ko) 2018-04-27
TW201806383A (zh) 2018-02-16
TWI668989B (zh) 2019-08-11
US20180184068A1 (en) 2018-06-28
JP2018533248A (ja) 2018-11-08
TW201711457A (zh) 2017-03-16
EP3342148A1 (de) 2018-07-04
DE102015216140A1 (de) 2017-03-02
EP3342148B1 (de) 2020-01-08
CN108353117B (zh) 2021-08-24
ES2770333T3 (es) 2020-07-01
KR102060585B1 (ko) 2019-12-30
JP6530135B2 (ja) 2019-06-12
WO2017032749A1 (de) 2017-03-02
US10701340B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
CN108353117A (zh) 3d多孔径成像装置
KR101953729B1 (ko) 오브젝트 영역을 센싱하기 위한 장치 및 방법
US20200357103A1 (en) Multi-aperture imaging device
CN105814888B (zh) 多孔器件以及用于检测目标区域的方法
KR101833576B1 (ko) 넓은 각도의 ｆｏｖ를 갖는 능동 조명 영상 시스템
US7583307B2 (en) Autostereoscopic display
CN108351492A (zh) 包括光学基板的多孔径成像设备
CN110140348A (zh) 摄像装置及摄像模块
Peleg et al. Cameras for stereo panoramic imaging
CN106604017A (zh) 图像显示装置
TWI687099B (zh) 用於成像局部視場的裝置、多孔徑成像裝置及其提供方法
CN102792333A (zh) 图像处理装置、方法、程序以及记录介质
CN103582846B (zh) 进深推定摄像装置
TWI388881B (zh) 用於自動立體顯示器的指向性發光單元
CN108139565A (zh) 具有通道特定可调性的多孔径成像装置
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
TW200933195A (en) Autostereoscopic display
TW201430392A (zh) 影像顯示設備
CN103621078A (zh) 图像处理装置和图像处理程序
US20210314548A1 (en) Device comprising a multi-aperture imaging device for generating a depth map
CN105359519A (zh) 摄像装置
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
JP2022535443A (ja) 多チャネル撮像デバイスおよび多開口撮像デバイスを有するデバイス
GB2540922B (en) Full resolution plenoptic imaging
Michels et al. Creating realistic ground truth data for the evaluation of calibration methods for plenoptic and conventional cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant