CN107991838B - 自适应三维立体成像系统 - Google Patents

自适应三维立体成像系统 Download PDF

Info

Publication number
CN107991838B
CN107991838B CN201711080588.6A CN201711080588A CN107991838B CN 107991838 B CN107991838 B CN 107991838B CN 201711080588 A CN201711080588 A CN 201711080588A CN 107991838 B CN107991838 B CN 107991838B
Authority
CN
China
Prior art keywords
lens
camera lens
image
reflection unit
internal reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711080588.6A
Other languages
English (en)
Other versions
CN107991838A (zh
Inventor
李应樵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marvel Research Ltd
Original Assignee
Marvel Research Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marvel Research Ltd filed Critical Marvel Research Ltd
Priority to CN201711080588.6A priority Critical patent/CN107991838B/zh
Priority to TW107110562A priority patent/TWI660629B/zh
Publication of CN107991838A publication Critical patent/CN107991838A/zh
Priority to EP18178697.1A priority patent/EP3480648B1/en
Priority to US16/164,390 priority patent/US10715711B2/en
Priority to HK18114106A priority patent/HK1252601A2/zh
Application granted granted Critical
Publication of CN107991838B publication Critical patent/CN107991838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/006—Systems in which light light is reflected on a plurality of parallel surfaces, e.g. louvre mirrors, total internal reflection [TIR] lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/08—Kaleidoscopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Abstract

本发明公开了一种自适应三维立体成像系统，基于光场技术，包括成像部分和与之可拆卸地连接的镜头部分；成像部分包括传感器和反射镜，将捕获的光场图像传输至传感器；镜头部分包括第一相机镜头与第二相机镜头，第一相机镜头与第二相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，该入瞳平面和匹配装置能够与第二相机镜头的不同焦距相适应，在第一相机镜头和入瞳平面和匹配装置之间形成内部反射单元，该内部反射单元用于将所述捕获的光场图像分解并折射成具有不同角度偏移的多个次级图像。由于本发明提供的三维成像系统是能够拆卸的，因此能够较容易地将普通相机转变为3D相机，生成立体图像，成本低并且便于操作。

Description

自适应三维立体成像系统
技术领域
本发明属于单眼立体成像领域，特别涉及一种基于光场技术的自适应三维立体成像系统。
背景技术
现有技术中有多种相机能够捕捉三维图像。最普通的是两个完全相同的相机线性排列并相隔一定距离，模拟人眼的工作方式。然而立体相机的费用昂贵，而且距离知觉受到摄相距离的影响很大。另一种简单的解决方式是在相机前增加两个反光镜箱，左反光镜箱作为左眼视线，右反光镜箱作为右眼视线。投射到相机传感器的图像为三维图像。这种设置的好处是便宜，但是缺点是三维深度有限并且分辨率比较低。为了解决这些问题，一些公司开发了激光辅助相机和全光相机来捕捉三维图像。激光辅助相机具有高分辨率相机，激光发光器和传感器。因为距离知觉是通过激光反射率来计算的，因此这种安排能够捕捉到高准确率三维深度。但是，除了昂贵以外，这种装置的用户接口感受较差。而光场相机(lightfield camera)又称为全光相机(Plenoptic camera)，是一种比较先进的设计，与传统的相机仅记录光线强度不同，全光相机不仅记录不同位置下光的强度和颜色，也记录不同位置下光线的方向。一种光场相机将微透镜阵列放在传统摄像传感器之前来感测强度、颜色和方向信息；多相机阵列是另外一种光场相机；而全像摄影是再一种基于胶片的光场相机成像技术。其中第一种能够直接捕捉光场图像，该相机具有能够将光场分别并以一定模式反射到传感器像素的微透镜阵列。可以通过计算机图像处理提取该三维图像和深度图。这种全光相机的主要缺点是其仅能捕捉一个方向/轴的光场图像。
发明内容
本发明的目的在于提供一种节省成本，同时解决上述技术问题的全光相机，其内部具有能够捕捉目标图像多角度的反射单元，在图像处理后能够产生三维立体图像和深度图。
本发明的一个方面在于提供一种自适应三维立体成像系统，包括成像部分和与之可拆卸地连接的镜头部分；所述成像部分包括传感器和反射镜，将捕获的光场图像传输至所述传感器；所述镜头部分包括第一相机镜头与第二相机镜头，该第一相机镜头与该第二相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，该入瞳平面和匹配装置能够与第二相机镜头的不同焦距相适应，在第一相机镜头和所述入瞳平面和匹配装置之间形成内部反射单元，该内部反射单元用于将所述捕获的光场图像分解并折射成具有不同角度偏移的多个次级图像。本发明的另一个方面在于提供一种成像系统一种三维成像系统，其中所述成像部分还包括捕获光场图像的复眼透镜，该复眼透镜将该捕获的光场图像传输至所述传感器；所述复眼透镜为多个微镜头阵列，每个微镜头的半径、厚度和阵列间距与所述传感器的尺寸相关。所述第一相机镜头和所述第二相机镜头的光圈和焦距可调节，且所述第二相机镜头为可替换的镜头。所述第二相机镜头的光圈比内部反射单元的尺寸大。所述入瞳平面和匹配装置为瞳镜头，该瞳镜头的直径大于所述内部反射单元的直径，并且允许所述光场图像的入射光线在所述内部反射单元中进行折射。每个所述次级图像具有场景的细微不同，基于下列等式(1)和(2)来计算内部反射单元的尺寸和每个次级图像的焦距：
Figure GDA0001696249010000021
Figure GDA0001696249010000022
其中，FOV是所述第二相机镜头的视场；
n是所述内部反射单元的折射率；
r是内部折射的次数；
Z是所述内部反射单元的尺寸；
flens是所述第二相机镜头的焦距；
fsub是所述次级图像的焦距。
本发明提供的成像系统能够从不同角度捕捉三维图像，制作简便，并且能于现有的全光成像系统相结合，由于本发明提供的三维成像系统是能够拆卸的，因此能够较容易地将普通相机转变为3D相机，生成立体图像，成本低并且便于操作。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明成像系统的光路图；
图2为本发明成像系统的立体图；
图3为内部反射单元的视角图；
图4为根据本发明的成像系统单一图像捕捉后的规范化过程示意图；
图5为根据本发明的成像系统将次级图像比较后具有细微不同视角的示意图；
图6为根据本发明的成像系统重新聚焦和立体显示步骤后的示意图；
图7为本发明的成像系统获得的多视角子孔径图像阵列；
图8为本发明一种实施方式采用复眼的数字重聚焦效果图；
图9为数字重聚焦原理图。
具体实施方式
现结合相应的附图，对本发明的具体实施例进行描述。然而，本发明可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面，从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。
图1为本发明的三维成像系统的光路图。三维成像系统100为便携式消费者能够使用的相机，整合了成像部分110和镜头部分111，其中，成像部分110包括相机传感器104；复眼透镜105；和反光镜112；其中相机传感器104采用数码单反相机领域的先进摄影系统C型(Advanced Photo System Type-C,APS-C) 或者全画幅(Full Frame)图像传感器，或者其他成像质量较高的传感器；复眼透镜105由一系列小透镜组合形成，从不同的角度捕获某个图像，例如光场图像，的信息，从而剥离出三维信息以辨别特定对象。复眼透镜105由微镜头阵列组成，设计为除了捕获光场图像外，还可以产生深度图。并且，复眼透镜105 是为了相机传感器104服务的，因此，其与相机传感器104的参数有关。例如，复眼透镜105的每个微镜头参数具有0.5毫米的半径，0.9微米厚，和每个微镜头的阵列间距为60微米。相对于相机传感器104，复眼透镜的尺寸是可伸缩的。在一个实施例中，采用先进摄影系统C型图像传感器的尺寸为25毫米×17毫米；而在另一个实施例中，采用全画幅图像传感器的尺寸为37毫米×25毫米。
在成像部分110中还设置反光镜112，反光镜112又称为反射镜或全反镜，可采用一般单反相机中的反光镜片，其目的是为了保证光线通过镜头部分111 后在进入眼睛，以便取景；该反光镜112以与镜头部分111呈45°的方式，设置在成像部分110中。
镜头部分111整合在外壳106中，可拆卸地与成像部分110相连接，其包括第一相机镜头101和第二相机镜头103，其中第一相机镜头101为后相机镜头，其具有可以调节的光圈和焦距。第二相机镜头103为前相机镜头。前后相机镜头能够调节相机的焦距。其中，第二相机镜头103可以为可更换/可替换的多片镜头。第一相机镜头101和第二相机镜头103中间为入瞳平面和匹配装置109，入瞳平面和匹配装置109可以为瞳镜头，瞳镜头和第二相机镜头103之间的位置关系可以通过调节装置114(调节装置114在图1中未示出)进行调节，瞳镜头可以为单片透镜，起聚光作用，能够压缩第二相机镜头103收到的信息。在第二相机镜头103处进行一次成像过程，随着第二相机镜头103的更换或替换，成像角度有所不同。第一相机镜头101为短焦镜头或微距镜头，其固定在外壳106上，第一相机镜头101的设计决定本发明的成像系统的大小。在第一相机镜头101处进行二次成像过程。该入瞳平面和匹配装置109设计为能够矫正光线。在入瞳平面和匹配装置109与第一镜头101之间为内部反射单元102；该内部反射单元102将拟摄入图像分解并折射成具有不同角度偏移的独立次级图像的多角度图像。该内部反射单元102设计为以不同视角提供多个虚拟图像。内部反射单元102的尺寸和比例是多折射次数和折射图像比的决定因素，产生了不同角度的图像。每个折射的次级图像具有场景的细微不同，而且目标图像具有轻微的偏移。可以基于下列等式(1)和(2)来计算内部反射单元102 的尺寸和每个次级图像的焦距：
Figure GDA0001696249010000051
Figure GDA0001696249010000052
其中，FOV是所述第二相机镜头的视场；
n是所述内部反射单元的折射率；
r是内部折射的次数；
X、Y、Z是所述内部反射单元的尺寸，分别为宽、高、长；
flens是所述第二相机镜头的焦距；
fsub是所述次级图像的焦距。
内部反射单元102的尺寸可以与相机的尺寸一致，在其中一个实施方式中可以为24毫米(宽)×36毫米(高)×95毫米(长)，也就是说该单元的比率大约是2：3：8。使用瞳镜头是为了与内部反射单元相匹配，并在内部反射单元中进行折射。为了达到这个目的，瞳镜头的直径应该比内部反射单元大。在其中一个实施方式中采取的瞳镜头直径大约为50毫米，焦距为12.5毫米。只要前相机镜头的光圈比内部反射单元的尺寸大，前相机镜头设计为能够被任何相机镜头所代替。
在其中一个实施方式中，在目标场景115的情况下，焦平面113如图1所示，入瞳平面和匹配系统109与第二相机镜头103(即前相机镜头)之间的距离为前相机镜头的焦距108；光线经脱内部反射单元102的多次折射，经过第一相机镜头101(即后相机镜头)的以及复眼透镜105的捕获，图像信息被相机传感器 104所获得。
图2为本发明三维成像系统的立体图。整个成像系统100是便携式的，成像部分110在成像系统的尾部，靠近用户，便于用户取景和操作。后相机镜头101 和前相机镜头103中间为瞳镜头，后相机镜头101和瞳镜头之间为内部反射单元102，此外，在固定前相机镜头103处具有调节装置114，调节装置114 能够调节焦距，使其在微观摄像的条件下也能够获得清晰的图像。
图3为内部反射单元的视角图。在内部反射单元102中，平均分配相机镜头的视角，每个折射镜分享与中心图像相同的角度。因此内部折射的次数、折射率和相机镜头的视场是内部反射单元的尺寸的重要因素。如图3所示，在后相机镜头101和入瞳平面和匹配系统109之间靠近入瞳平面和匹配系统109处为虚像116，该虚像116依次经过内部反射单元102，后相机镜头101和反射镜112 和复眼透镜105，被相机传感器104捕获。在一个实施方式中，前后相机镜头 103和101均采用50毫米镜头，具有50°视角，并采用全画幅相机；在另一个实施方式中，前相机镜头103采用50毫米镜头，后相机镜头采用30毫米微镜头，也都具有50°视角，并采用先进摄影系统C型相机。两种设计的折射率均为1，内部折射次数也为1。因此在单一图像中具有9个次级图像，并且每个次级图像具有大约15.6°的视角。此外，上述两个实施方式中，均采用无线照片传输和录像记录功能。因此这两个实施方式均能运用于虚拟现实的摄像中。
图4为根据本发明的三维成像系统单一图像捕捉后的规范化过程示意图。例如，如图4的左边的视图为规范化过程前的视图，其分为①－⑨9幅次级图像；图4右边的视图为依次对应于①－⑨次级图像的规范化过程后的视图。通过下列等式(3)进行规范化：
Figure GDA0001696249010000071
其中，In(n＝2，3，...，9)代表规范化前的图像；I'n(n＝2，3，...，9)代表规范化后的图像； mirror(Im,left,right,up,down)(m＝2,3,4,5)代表图像镜像后向左、向右、向上和向下； rotate(Ik,π)(k＝6,...,9)代表图像旋转。
在每个次级图像规范化以后，可以很容易地识别图像的偏移。图4显示了水平和垂直次级图像的比较，偏移取决于次级图像的位置。通过比较图4右图中同一列中的次级图像④①⑤，以不同的视角可以很容易地观察到目标的位移。在次级图像④中观察到的图案在次级图像①中被轻微地阻隔了，并且在图像④中被完全阻隔了。这种现象在图4水平放置的次级图像②①③中可以看到，可以看出在右图中图像在水平方向也发生了偏移。
图5为根据本发明的三维成像系统将次级图像比较后具有细微不同视角的示意图。利用计算机对复眼图像处理以后，图像可以被重新聚焦，计算深度图和进行立体显示。在一个实施方式的虚拟现实的三维使用中，次级图像④⑤能够被透射到头戴式显示设备上。次级图像④①⑤的水平阵列组合能够重新进行聚焦。在次级图像的不同角度，可以计算目标的深度图。图5左侧视图中，次级图像④①⑤与发生偏移的图像一一对应。在另一个实施例的虚拟现实的三维使用中，次级图像②③能够被投射到头戴式显示设备上。次级图像②①③的垂直阵列组合能够进行重新聚焦。在次级图像的不同角度，可以计算目标的深度图。图5右侧视图中，次级图像②①③与发生偏移的图像一一对应。具体图像处理过程参见图7的描述。
图6为根据本发明的三维成像系统重新聚焦和立体显示步骤后的示意图。图 6上图显示了重新聚焦后生成的图像较近、中间和远离的模式；下图显示了3D 显示和渲染步骤后输出的左、右和红蓝模式图像。
图7为本发明的相机系统获得的多视角子孔径图像阵列，其中所述多视角子孔径图像阵列是在原始复眼图像进行处理后获得的。根据上述合成孔径技术，原始复眼图像中的像素点被重投影到了各个子孔径图像中，形成了对场景不同视角的成像。可以将原始复眼图像中的光场信息进一步合成、提取，得到成像空间的多视角视图，并进一步得到数字重聚焦序列；并且进一步得到深度图。其中，对合成孔径图像利用下列原理进行数字重聚焦，结合图9所示：
Figure GDA0001696249010000081
Figure GDA0001696249010000082
L′(u，v，x′，y′)＝L(u，v，kx′+(1-k)u，ky′+(1-k)v) (6)
I′(x′，y′)＝∫∫L(u，v，kx′+(1-k)u，ky′+(1-k)v)dudv (7)
其中，I、I’表示一次和二次成像面的坐标系；
L和L’表示一次和二次成像面的能量。
图8为数字重聚焦效果图。
根据物体在不同重聚焦平面的聚焦程度(对比度)，可以计算出场景中各个物体所属的焦平面，从而可以估算出各个物体的前后位置关系。同时，提取使用多角度视图的对极集合关系，可以进一步计算场景空间的深度图。
以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。

Claims (6)

1.一种自适应三维立体成像系统(100)，包括：
成像部分(110)和与之可拆卸地连接的镜头部分(111)；
所述成像部分(110)包括传感器(104)和反射镜(112)，将捕获的光场图像传输至所述传感器(104)；以捕获光场图像的复眼透镜(105)，该复眼透镜将该捕获的光场图像传输至所述传感器(104)；
所述复眼透镜(105)为多个微镜头阵列，每个微镜头的半径、厚度和阵列间距与所述传感器的尺寸相关；
所述镜头部分(111)包括第一相机镜头(101)与第二相机镜头(103)，该第一相机镜头(101)与该第二相机镜头(103)分别位于镜头部分(111)的后部和前部，在第一相机镜头(101)与该第二相机镜头(103)中间放置一个入瞳平面和匹配装置(109)，该入瞳平面和匹配装置(109)能够与第二相机镜头(103)的不同焦距相适应，在第一相机镜头(101)和所述入瞳平面和匹配装置之间形成内部反射单元(102)，该内部反射单元用于将所述捕获的光场图像分解并折射成具有不同角度偏移的多个次级图像；
其中所述次级图像是规范化的并且是多视角子孔径图像阵列；并且
其中进一步合成、提取所述次级图像以得到成像空间的多视角视图，并进一步得到数字重聚焦序列；
其中所述次级图像通过下列公式进行规范化：
Figure FDA0002567462840000011
其中，In(n＝2，3，...，9)代表规范化前的图像；I'n(n＝2，3，...，9)代表规范化后的图像；mirror(Im,left,right,up,down)(m＝2,3,4,5)代表图像镜像后向左、向右、向上和向下；rotate(Ik，π)(k＝6，...，9)代表图像旋转；
并且，所述次级图像根据下列原理进行数字重聚焦：
Figure FDA0002567462840000021
Figure FDA0002567462840000022
L′(u，v，x′，y′)＝L(u，v，kx′+(1-k)u，ky′+(1-k)v) (6)
I′(x′，y′)＝∫∫L(u，v，kx′+(1-k)u，ky′+(1-k)v)dudv (7)
其中，I、I’表示一次和二次成像面的坐标系；
L和L’表示一次和二次成像面的能量。
2.如权利要求1所述的自适应三维立体成像系统(100)，其特征在于，
所述第一相机镜头(101)和所述第二相机镜头(103)的光圈和焦距可调节，且所述第二相机镜头(103)为可替换的镜头。
3.如权利要求1或2任意一项所述的自适应三维立体成像系统(100)，其特征在于，
所述第二相机镜头(103)的光圈比内部反射单元(102)的尺寸大。
4.如权利要求1或2任意一项所述的自适应三维立体成像系统(100)，其特征在于，
所述入瞳平面和匹配装置(109)为瞳镜头，该瞳镜头的直径大于所述内部反射单元(102)的直径，并且允许所述光场图像的入射光线在所述内部反射单元(102)中进行折射。
5.如权利要求1或2任意一项所述的自适应三维立体成像系统(100)，其特征在于，
每个所述次级图像具有场景的细微不同，基于下列等式(1)和(2)来计算内部反射单元(102)的尺寸和每个次级图像的焦距：
Figure FDA0002567462840000023
Figure FDA0002567462840000024
其中，FOV是所述第二相机镜头(103)的视场；
n是所述内部反射单元(102)的折射率；
r是内部折射的次数；
Z是所述内部反射单元(102)的尺寸；
flens是所述第二相机镜头(103)的焦距；
fsub是所述次级图像的焦距。
6.如权利要求4所述的自适应三维立体成像系统(100)，其特征在于，
每个所述次级图像具有场景的细微不同，基于下列等式(1)和(2)来计算内部反射单元的尺寸和每个次级图像的焦距：
Figure FDA0002567462840000031
Figure FDA0002567462840000032
其中，FOV是所述第二相机镜头(103)的视场；
n是所述内部反射单元(102)的折射率；
r是内部折射的次数；
Z是所述内部反射单元(102)的尺寸；
flens是所述第二相机镜头(103)的焦距；
fsub是所述次级图像的焦距。
CN201711080588.6A 2017-11-06 2017-11-06 自适应三维立体成像系统 Active CN107991838B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711080588.6A CN107991838B (zh) 2017-11-06 2017-11-06 自适应三维立体成像系统
TW107110562A TWI660629B (zh) 2017-11-06 2018-03-27 自我調整三維立體成像系統
EP18178697.1A EP3480648B1 (en) 2017-11-06 2018-06-20 Adaptive three-dimensional imaging system
US16/164,390 US10715711B2 (en) 2017-11-06 2018-10-18 Adaptive three-dimensional imaging system and methods and uses thereof
HK18114106A HK1252601A2 (zh) 2017-11-06 2018-11-05 自適應三維立體成像系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711080588.6A CN107991838B (zh) 2017-11-06 2017-11-06 自适应三维立体成像系统

Publications (2)

Publication Number Publication Date
CN107991838A CN107991838A (zh) 2018-05-04
CN107991838B true CN107991838B (zh) 2020-10-23

Family

ID=62030208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711080588.6A Active CN107991838B (zh) 2017-11-06 2017-11-06 自适应三维立体成像系统

Country Status (5)

Country Link
US (1) US10715711B2 (zh)
EP (1) EP3480648B1 (zh)
CN (1) CN107991838B (zh)
HK (1) HK1252601A2 (zh)
TW (1) TWI660629B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019174756A1 (en) * 2018-03-15 2019-09-19 Photonic Sensors & Algorithms, S.L. Plenoptic camera for mobile devices
CN111800588A (zh) * 2019-04-08 2020-10-20 深圳市视觉动力科技有限公司 基于三维光场技术的光学无人机监测系统
CN112040214A (zh) * 2019-06-04 2020-12-04 万维科研有限公司 双摄像机三维立体成像系统和处理方法
CN110598712B (zh) * 2019-08-28 2022-06-03 万维科研有限公司 物体位置识别方法、装置、计算机设备及存储介质
CN110687671B (zh) * 2019-09-29 2020-09-15 刘杰 一种显微镜及其控制方法
WO2021099761A1 (en) * 2019-11-21 2021-05-27 Bae Systems Plc Imaging apparatus
EP3826283A1 (en) * 2019-11-21 2021-05-26 BAE SYSTEMS plc Imaging apparatus comprising at least a light source and a plenoptic camera
CN111277811B (zh) * 2020-01-22 2021-11-09 上海爱德赞医疗科技有限公司 一种三维空间相机及其拍照方法
CN112235508B (zh) * 2020-10-14 2021-10-29 浙江大学 一种聚焦型光场相机系统的参数设计方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727239A (en) * 1995-02-28 1998-03-10 Olympus Optical Co., Ltd. Photographing optical apparatus
CN1871708A (zh) * 2001-11-05 2006-11-29 佐伊科比株式会社 固体图像传感器及其制造方法
CN101443692A (zh) * 2006-05-12 2009-05-27 克瑞尼股份有限公司 单独或与安全文件或标签一起投射的图像在空间上与静态图像和/或其他投射图像相一致的微型光学膜结构
CN101874400A (zh) * 2007-10-18 2010-10-27 奥多比公司 基于两个透镜阵列的快速计算式照相机
CN102636949A (zh) * 2011-02-08 2012-08-15 索尼公司 立体成像装置
CN102822724A (zh) * 2011-03-29 2012-12-12 株式会社东芝 三维影像显示装置
KR20130046484A (ko) * 2011-10-28 2013-05-08 삼성전기주식회사 카메라 모듈
JP2013243522A (ja) * 2012-05-21 2013-12-05 Canon Inc 撮像装置
CN103650022A (zh) * 2011-07-07 2014-03-19 夏普株式会社 图像显示装置
CN103945115A (zh) * 2013-01-22 2014-07-23 三星电子株式会社 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
CN104407442A (zh) * 2014-05-31 2015-03-11 福州大学 一种集成成像3d显示微透镜阵列及其3d制作方法
CN104459954A (zh) * 2013-09-18 2015-03-25 株式会社东芝 成像透镜和固态成像设备
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统
CN105210361A (zh) * 2013-02-13 2015-12-30 萨尔布吕肯大学 全光成像设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130113981A1 (en) * 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
CN102495460B (zh) * 2011-12-13 2014-01-22 复旦大学 一种全景成像镜头
TWI490622B (zh) * 2014-01-03 2015-07-01 晶睿通訊股份有限公司 照明裝置及應用此照明裝置之攝影裝置
CN106154732A (zh) * 2015-04-17 2016-11-23 博立码杰通讯(深圳)有限公司 全景影像采集装置
WO2016206002A1 (zh) * 2015-06-23 2016-12-29 博立多媒体控股有限公司 折反射镜头组及全景影像采集装置
CN106908935B (zh) * 2015-12-22 2019-11-26 博立码杰通讯(深圳)有限公司 全景光学镜头及影像采集装置
US20190137731A1 (en) * 2017-11-03 2019-05-09 Sony Corporation Light field adapter for interchangeable lens cameras

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727239A (en) * 1995-02-28 1998-03-10 Olympus Optical Co., Ltd. Photographing optical apparatus
CN1871708A (zh) * 2001-11-05 2006-11-29 佐伊科比株式会社 固体图像传感器及其制造方法
CN101443692A (zh) * 2006-05-12 2009-05-27 克瑞尼股份有限公司 单独或与安全文件或标签一起投射的图像在空间上与静态图像和/或其他投射图像相一致的微型光学膜结构
CN101874400A (zh) * 2007-10-18 2010-10-27 奥多比公司 基于两个透镜阵列的快速计算式照相机
CN102636949A (zh) * 2011-02-08 2012-08-15 索尼公司 立体成像装置
CN102822724A (zh) * 2011-03-29 2012-12-12 株式会社东芝 三维影像显示装置
CN103650022A (zh) * 2011-07-07 2014-03-19 夏普株式会社 图像显示装置
KR20130046484A (ko) * 2011-10-28 2013-05-08 삼성전기주식회사 카메라 모듈
JP2013243522A (ja) * 2012-05-21 2013-12-05 Canon Inc 撮像装置
CN103945115A (zh) * 2013-01-22 2014-07-23 三星电子株式会社 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
CN105210361A (zh) * 2013-02-13 2015-12-30 萨尔布吕肯大学 全光成像设备
CN104459954A (zh) * 2013-09-18 2015-03-25 株式会社东芝 成像透镜和固态成像设备
CN104407442A (zh) * 2014-05-31 2015-03-11 福州大学 一种集成成像3d显示微透镜阵列及其3d制作方法
CN104539832A (zh) * 2014-12-31 2015-04-22 上海理工大学 混合式光场成像系统

Also Published As

Publication number Publication date
US10715711B2 (en) 2020-07-14
TW201919404A (zh) 2019-05-16
EP3480648B1 (en) 2020-02-19
US20190141226A1 (en) 2019-05-09
CN107991838A (zh) 2018-05-04
HK1252601A2 (zh) 2019-05-31
EP3480648A1 (en) 2019-05-08
TWI660629B (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN107991838B (zh) 自适应三维立体成像系统
EP2593835B1 (en) Variable three-dimensional camera assembly for still photography
US9057942B2 (en) Single camera for stereoscopic 3-D capture
CN102298216A (zh) 一种用于普通照相机或摄像机的立体镜头
US9019603B2 (en) Two-parallel-channel reflector with focal length and disparity control
CN201662682U (zh) 一种立体摄像装置
KR101255803B1 (ko) 단안식 입체 영상 카메라
CN201477279U (zh) 拍摄立体照片用的立体摄影镜头
AU2006221912A1 (en) 3D image capture camera and non-stereoscopic 3D viewing device that does not require glasses
CN111669565A (zh) 一种立体成像装置及其成像方法
CN201984229U (zh) 单机立体配镜
CN102789056A (zh) 一种将普通摄影机变成立体电视摄影机的立体镜头
CN104834102B (zh) 一种可将单摄像机变为立体摄像机的光学系统及其方法
WO2020244273A1 (zh) 双摄像机三维立体成像系统和处理方法
US8912483B2 (en) Display measuring device
CN103176344A (zh) 人眼仿生的立体摄像装置
KR101082382B1 (ko) 입체영상 촬영렌즈계
CN101916035A (zh) 一种立体摄像装置及方法
JP6670036B2 (ja) コンパクトな立体画の撮影方法
KR101790168B1 (ko) 포물경을 이용한 입체영상 디스플레이 장치
JP4103308B2 (ja) 立体実写映像撮影提示システム
KR20070005123A (ko) 입체영상을 생성하는 광학계
JP2014215406A (ja) 撮像装置、照明装置、及び顕微鏡装置
Lunazzi et al. A Compact System for Registering and Projecting Stereo Views
JP2005181880A (ja) アダプター保持装置およびアダプターセット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant