CN106716987B - 包括空间光调制器的全光相机 - Google Patents

包括空间光调制器的全光相机 Download PDF

Info

Publication number
CN106716987B
CN106716987B CN201580052273.3A CN201580052273A CN106716987B CN 106716987 B CN106716987 B CN 106716987B CN 201580052273 A CN201580052273 A CN 201580052273A CN 106716987 B CN106716987 B CN 106716987B
Authority
CN
China
Prior art keywords
unit
state
light
optical sensor
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580052273.3A
Other languages
English (en)
Other versions
CN106716987A (zh
Inventor
V.德拉齐克
T.博雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN106716987A publication Critical patent/CN106716987A/zh
Application granted granted Critical
Publication of CN106716987B publication Critical patent/CN106716987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Exposure Control For Cameras (AREA)
  • Lens Barrels (AREA)
  • Lenses (AREA)
  • Liquid Crystal (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Cameras In General (AREA)
  • Diaphragms For Cameras (AREA)

Abstract

一种全光相机(4)包括相机镜头(401)、包括多个微透镜的小透镜阵列(11)以及包括多个光传感器的光传感器阵列(13)，其中所述相机镜头包括在相机镜头(401)的孔径光阑平面中布置的空间光调制器(40)。

Description

包括空间光调制器的全光相机
技术领域
本公开涉及全光相机的领域，并且更具体地涉及用于全光相机的光学组装件的领域。
背景技术
根据背景技术，已知利用全光相机(也称为光场相机)来获取相同场景的不同视图。图1图示了根据背景技术的这种全光相机1。全光相机1由与光传感器阵列13(也称为图像传感器阵列13)相关联的镜头装置组成。光传感器阵列13包括以C列和L行的网格的形式布置的大量的m个光传感器131、132、133至13m，m对应于C乘以L。滤色器阵列(CFA)12布置在光传感器阵列13上。CFA 12通常将RGB(红色、绿色和蓝色)滤色器布置在光传感器阵列上，RGB布置采取例如拜耳滤色器马赛克的形式。通常，一个滤色器(红色、绿色或蓝色滤色器)根据预定图案与一个光传感器相关联，在拜耳滤色器的示例中，该图案包括50％绿色、25％红色和25％蓝色，这样的图案也称为RGBG、GRGB或者RGGB图案。镜头装置包括主要镜头10(也称为主镜头)，可变光圈14(也称为光圈)和小透镜阵列11，小透镜阵列11包括多个的n个微透镜111、112、11n，n是大于或等于2的正整数。微透镜111、112、11n以这样的方式布置，使得每个微透镜在光学上与多个光传感器相关联。与一个微透镜光学相关联的光传感器的数量对应于利用全光相机1获取的场景的视图的数量。为了获得不同的视图，原始图像(即，利用光传感器阵列13获取的颜色传感器数据)被去马赛克，然后被解复用。在去马赛克步骤之后，对于每个视图在每个像素位置处获得RGB图像数据值。光圈14负责控制到达光传感器阵列13的光的量(结合曝光时间)以及景深。光圈的孔径通常由可移动刀片来调节，例如8或9个刀片。减小光圈14的孔径的大小意味着由于外围光束被阻挡而减少穿过光圈(并且从而到达光传感器阵列)的光的量。在全光相机的情况下，阻挡外围光束意味着遮蔽外侧视图，如图2以及图3A和图3B所示。图2图示了来自利用全光相机(诸如图1的全光相机1)获取的场景的两个点200、201的光线20，该全光相机包括主镜头10、光圈14、小透镜阵列11以及光传感器阵列13。光圈14是部分关闭的，阻挡来自场景的光线的部分被标记为141(光圈的黑色部分))，而使得光线穿过主镜头的孔径被标记为142(光圈的白色部分)。来自点200、201并被光圈14阻挡的光线22用虚线示出，而未被光圈阻挡的光线，即穿过光圈的孔径并穿过主镜头的光线21用实线示出。只有光线21通过微透镜阵列11的微透镜投影到光传感器阵列13上，并且可用于生成场景的不同视图。会与由光圈的关闭部分阻挡的光线22相对应的视图因此被遮蔽。这在图3A和图3B上尤其可见。为了简单起见，图3A和图3B对应于与微透镜阵列的微透镜之一相关联的光传感器在由主镜头实现的全光相机的物镜的孔径光阑平面上的投影。如果微透镜为圆形，则投影的结果为包括像素31、32、3的圆形3，每个像素对应于与微透镜相关联的光传感器之一。在图3A上，光圈完全打开，并且每个像素可以接收来自场景的光，而在图3B上，光圈部分关闭(关闭部分与位于圆形3的外围的黑色部分相对应)，并且位于圆形3的外围的像素，例如像素31、32(及其相关联的光传感器)不接收任何光，因此与这些像素相对应的视图被遮蔽。
利用这样的光圈14，当光圈部分关闭时减少视图的数量，这可能是控制到达光传感器阵列的光的量和/或控制景深(减少到达光传感器阵列的光的量例如使得能够增加景深)时的情况。
发明内容
本公开的目的是为了克服背景技术的这些缺点中的至少一个。
本公开涉及一种全光相机，包括相机镜头、包括多个微透镜的小透镜阵列以及包括多个光传感器的光传感器阵列，所述相机镜头包括在相机镜头的孔径光阑平面中布置的空间光调制器(SLM)。
根据特定特征，空间光调制器是液晶显示面板。
有利地，光传感器组与各自的微透镜相关联，空间光调制器的单元组与光传感器组的每个光传感器相关联，单元组的数量等于与一个微透镜相关联的所述组的光传感器的数量。
根据特定特征，单元组覆盖与所述单元组相关联的光传感器在孔径光阑平面上的投影。
有利地，每个单元被配置为在第一状态与第二状态之间切换，第一状态对应于单元阻挡光的状态，并且第二状态对应于单元使光穿过单元的状态。
根据另一特征，单元组的至少一部分单元处于第一状态。
有利地，处于第一状态的单元组的单元的数量取决于所述单元组在孔径光阑平面中的位置。
本公开还涉及一种控制到达全光相机的光传感器阵列的光量的方法，所述全光相机包括相机镜头和小透镜阵列，该方法包括对布置在相机镜头的孔径光阑平面中的空间光调制器(SLM)进行控制。
有利地，空间光调制器的控制包括控制空间光调制器的至少一个单元的状态，所述至少一个单元被配置为在第一状态与第二状态之间切换，第一状态对应于所述至少一个单元阻挡光的状态，并且第二状态对应于所述至少一个单元使光穿过所述至少一个单元的状态。
根据特定特征，光传感器组与小透镜阵列的各自的微透镜相关联，空间光调制器的单元组与光传感器组的每个光传感器相关联，单元组的数量等于与一个微透镜相关联的所述组的光传感器的数量。
本发明还涉及一种包括全光相机的电信设备。
本发明还涉及一种计算机程序产品，其包括程序代码的指令，以用于当所述程序在计算机上执行时执行对到达全光相机的光传感器阵列的光量进行控制方法。
附图说明
根据阅读下面的描述，将更好地理解本公开，并且其他具体特征和优点将显现，该描述参考附图，其中：
-图1示出了根据背景技术的全光相机；
-图2示出了根据背景技术的光线进入图1的全光相机的路径；
-图3A和图3B示出了根据背景技术的处于两个不同状态(即打开和部分关闭)的图1的全光相机的光圈；
-图4示出了根据本原理的特定实施例的全光相机；
-图5示出了根据本原理的特定实施例的光线进入图4的全光相机的路径；
-图6示出了根据本原理的特定实施例的图4的全光相机的光传感器在图4的全光相机的孔径光阑平面上的投影；
-图7示出了根据本原理的特定实施例的图4的全光相机的空间光调制器；
-图8示出了根据本原理的特定实施例的图7的空间光调制器的单元组；
-图9示出了根据本原理的特定实施例的控制到达图4的全光相机的光传感器阵列的光量的方法；
-图10示出了根据本原理的特定实施例的包括图4的全光相机的电信设备。
具体实施方式
现在参考附图描述主题，其中相同的参考标号始终用于指代相同的元件。在下面的描述中，为了解释的目的，阐述了许多具体细节以便提供对主题的透彻理解。然而，可能明显的是，可以在没有这些具体细节的情况下实践主题实施例。
根据本原理的特定实施例，全光相机的光学组装件包括布置在光学组装件的相机镜头(也称为主镜头或主要镜头)的孔径光阑平面中的空间光调制器(SLM)。为了简单起见，附图仅图示了一个镜头以图示主镜头。自然理解，主镜头可以对应于多个镜头的集合。
将相机镜头的孔径光阑平面理解为限制穿过相机镜头的光的锥形的(多个)物理设备((多个)镜头和/或光阑)的平面。孔径光阑的平面是确定的平面(取决于相机镜头的设计)，其中光阑或者更一般地说孔径光阑将被定位以限制穿过相机镜头的光的锥形。
应当理解，空间光调制器(SLM)包括在光束上施加某种形式的空间变化调制的设备，通常对穿过SLM的光束的强度进行空间调制。SLM可以是例如任何透射显示面板，例如透射LCoS(硅上液晶)显示器或者LCD(液晶显示器)面板。
代替现有技术的光阑使用SLM使得能够限制到达光传感器阵列的光量，而不删除利用全光相机获取的任何视图，更具体地为外围视图。
图4示出了根据本原理的特定实施例的全光相机4。全光相机包括相机镜头401(对应于光学组装件)和相机主体402。
相机镜头401有利地形成适于与相机主体402相关联的镜头单元。相机主体包括光传感器阵列13，其包括多个的m个光传感器131、132、133至13m。每个光传感器对应于利用光传感器阵列获取的场景的原始图像的像素，每个像素覆盖场景的一部分(也称为点)。为了说明的目的，光传感器阵列13被示为具有相对少量的光传感器131至13m。自然地，光传感器的数量不限于图4的图示，而是扩展到任何数量的光传感器，例如几千或者几百万个光传感器，例如12.4兆像素，像素对应于光传感器(例如，对应于4088×3040像素/光传感器的阵列)。滤色器阵列(CFA)12布置在光传感器阵列13上。CFA 12通常将RGB(红色、绿色和蓝色)滤色器布置在光传感器阵列上，RGB布置采取例如拜耳滤色器马赛克的形式。为了将相机镜头401与相机主体402相关联，相机镜头401包括第一附接部分，并且相机主体包括第二附接部分，第一和第二附接部分兼容。由于第一和第二附接部分，相机镜头401可以被夹持到相机主体402中，或者相机镜头401可以与相机主体402拧紧。被配置为与相机主体相关联的镜头单元的这种第一和第二附接部分的示例可以存在于2013年5月30日公开的日本专利申请JP2013-105151A中。第一和第二附接部分以这样的方式被配置，使得当全光光学组装件401和相机主体402被放在一起时，相机镜头401和相机主体402形成全光相机，被配置用于在每获取场景时获取场景的多个视图。为此目的，相机主体还包括小透镜阵列11，其包括n个微透镜111、112、11n，n是大于或等于2的整数。为了说明的目的，小透镜阵列11被示为具有相对少量的微透镜，但是微透镜的数量可以扩展高达几千或者甚至一百万或几百万个微透镜。光传感器阵列13的光传感器组与小透镜阵列11的各自的微透镜111至11n光学相关联。例如，小透镜阵列11的每个微透镜111至11n被定大小为与2×1、4×4或者10×10光传感器的阵列相对应。与一个单个微透镜光学相关联的多个光传感器中的每个光传感器使得能够根据一个视角获取表示场景的像素的原始数据。根据变型，相机镜头401和相机主体402形成一个单个主体，并且不可拆卸地组装。
相机镜头401(也称为主镜头或主要镜头10)有利地由一个或多个镜头元件形成，为了清楚的目的，在图4上仅示出一个镜头元件10。相机镜头401还包括布置在主要镜头10的孔径光阑平面中的SLM 40。SLM有利地对应于单元的阵列，每个单元被配置为使光(部分地或完全地)穿过其或者阻挡光。每个单元可控制为处于与单元阻挡到达其的光的状态相对应的第一状态，或者处于与单元使光(至少部分地)穿过其的状态相对应的第二状态。如果SLM对应于LCD面板，则每个单元对应于像素，该像素包括在电极与两个偏振滤光片之间排列的液晶分子层，通过在电极之间施加电场来控制液晶分子的取向。通过控制施加在液晶层上的电压的幅度，可以允许光以变化的量穿过或者根本不允许光穿过。
全光相机4有利地包括被配置用于控制图4的SLM 40的单元的状态的硬件控制模块(图4上未示出)。控制模块可以包括在相机主体402中或者相机镜头401中。控制模块有利地包括与存储器(例如随机存取存储器或者包括寄存器的RAM)相关联的一个或多个处理器。存储器存储实现在下文中关于图8描述的控制到达光传感器阵列的光的量的方法的算法的指令。根据变型，控制模块采取例如FPGA(现场可编程门阵列)类型的可编程逻辑电路、ASIC(专用集成电路)或DSP(数字信号处理器)的形式。控制模块还可以包括接口，该接口被配置为接收和传送数据，诸如用户经由用户接口输入的控制参数，以设置影响SLM的单元的控制的参数，以控制到达光传感器阵列的光的量(例如期望的景深，利用全光相机获取的图片的期望的曝光)。
图5示出了根据本原理的特定实施例的穿过全光相机4的相机镜头以到达光传感器阵列13的光线束。如图4所示，光传感器阵列的光传感器组与小透镜阵列11的各自的微透镜光学相关联。例如，光传感器组5010与微透镜501相关联，而光传感器组5020与微透镜502相关联。利用全光相机获取的场景的相同点200、201的视图的数量对应于与一个微透镜光学相关联的光传感器的数量，由于微透镜的几何形状，根据不同角度观看场景的相同点。这意味着与给定微透镜光学相关联的每个光传感器获取表示场景的点的特定视图的数据。利用全光相机获取的场景的视图的数量对应于与小透镜阵列11的每个微透镜相关联(即每个微透镜下)的像素的数量。与一个微透镜光学相关联的光传感器的数量有利地对于小透镜阵列11的每个微透镜而言是相同的。如图5所示，来自所获取的场景(由图5上的两个点200和201表示)的光线20在到达光传感器阵列13之前穿过主要镜头10、SLM 40和小透镜阵列11。光线20在它们穿过SLM 40之前被称为输入光线，而一旦它们已经通过SLM 40就被称为输出光线500。到达光传感器阵列的输出光线500的强度与输入光线的强度相比可以是减小的，这取决于它们穿过的SLM的单元的状态。到达光传感器组5010、5020的给定光传感器的光的量可以是减小的，这取决于与给定光传感器光学相关联的SLM的单元的状态，如关于图6和图7更详细地解释的那样。
自然地，分别与微透镜501和502相关联的光传感器组5010、5020的光传感器的数量不限于每个分别与点200和201的不同视图相对应的图5所示的n个光传感器，而是有利地扩展到大于n的数量。属于光传感器组5010、5020并且图5上未示出的光传感器有利地接收从不同于点200和201的场景的点接收到的光信息。
如关于图6和图7以更多细节所解释的那样，SLM 40包括多个单元，每个单元可从第一状态和第二状态切换，以阻挡到达其的光或者使光全部地或部分地通过其。标记为50的元件对应于与每个微透镜下的一个特定光传感器相关联的SLM 40的一组相邻单元。根据图5的示例，单元组50与光传感器组5020的光传感器5021光学相关联，光传感器组5020与微透镜502相关联(或者在微透镜502下)，并且与光传感器组5010的光传感器5011光学相关联，光传感器组5010与微透镜501相关联(或者在微透镜501下)。考虑对于每个微透镜而言与微透镜相关联的每个光传感器组是具有相同数量的行和相同数量的列的光传感器的行和列的阵列，与SLM的给定单元组光学相关联的光传感器(在其所属的光传感器组中)的定位(列数和行数)对于与给定单元组光学相关联的每个和全部光传感器而言是相同的。例如，光传感器5021(与单元组50光学相关联)在光传感器组5020(在微透镜502下)中的定位与光传感器5011(与单元组50光学相关联)在光传感器组5010(在微透镜501下)中的定位相同。
图6图示了根据本原理的特定实施例的与给定微透镜相关联的光传感器组在全光相机4的主要镜头的孔径光阑平面上的投影。换句话说，图6表示与小透镜阵列的一个微透镜相关联的每个光传感器组在主要镜头10的孔径光阑平面上的图像6。图像6采取微透镜的一般形式，即如果微透镜为圆形，则图像6为圆形；如果微透镜为正方形或矩形，则图像6为正方形或矩形。图像6包括多个元素601、602、603至60m，其可以被称为像素。像素的数量m对应于包括在与一个微透镜相关联的光传感器组5010、5020中的光传感器的数量。每个像素601至60m对应于光传感器组的一个光传感器，并且图像6的一个像素指代每个光传感器组中的一个唯一的光传感器，指代图像6中的像素的光传感器在它们所属的光传感器组中具有同样坐标(例如行数和列数)。例如，像素603与光传感器组5010的光传感器5011相关联(或者相对应)，并且还与光传感器组5020的光传感器5021相关联，光传感器5011相对于其所属的组5010的坐标与光传感器5021相对于其所属的组5020的坐标是同样的。
图7示出了根据本原理的特定实施例的位于全光相机的主要镜头的孔径光阑平面中的空间光调制器40。空间光调制器40包括多个单元70，并且对应于例如单元的列和行的阵列。SLM 40的一部分单元被分组以形成m个单元组701、702、703、70m，单元组的数量m等于图像6的像素的数量m，即等于形成每个微透镜501、502下的每个光传感器组5010、5020的光传感器的数量m。确定的单元组与每个光传感器组的一个确定的光传感器相关联。例如，标记为703的单元组与图像6的像素603相关联，即单元组703覆盖属于像素组5010的光传感器5011的投影以及属于像素组5020的光传感器5021的投影，因为光传感器5011和5021都投影到图像6的相同像素上。换句话说，单元组703与每个微透镜下的每个光传感器组的一个光传感器相关联。SLM 40的单元被分组以便覆盖图像6的每个像素，即单元组的边界对应于该单元组与之每个相关联的图像6的像素的边界，以便由单元组覆盖的区域对应于由图像6的关联像素覆盖的区域。SLM 40的每个单元701至70m能够在两个不同状态之间切换，即第一状态，其中单元阻挡从场景到达其的光，或者处于第二状态，其中单元使到达其的光部分地或全部地穿过其。通过控制与光传感器阵列的确定的光传感器相关联的单元组的单元的状态，则可以控制到达该确定的传感器的光的量。可以针对SLM 40的每个单元组并且从而对于光传感器阵列的每个光传感器执行这样的控制，这使得能够获取场景的所有视图，与当利用现有技术的光阑光圈控制到达光传感器阵列的光的量时所进行的形成对比。
图8更详细地图示了根据本原理的特定实施例的空间光调制器40的单元组，例如单元组703。根据非限制性示例，单元组703对应于具有例如L行和C列的单元的阵列，L和C是大于或等于2的整数。为了限制到达与单元组703相关联的(多个)光传感器的光量(对应于例如每单位时间的能量流，例如以W/s表示)，将单元组703的一个或多个单元设置为第一状态，这些单元阻挡到达它们的光，由这些单元阻挡的光线然后不到达与单元组703相关联的(多个)光传感器。单元组703的越多单元处于第一状态，则相对于可以到达与单元组703相关联的(多个)光传感器的光的最大量(即，当单元组703的所有单元处于使光全部穿过它们的第二状态时)减少越多的到达与单元组703相关联的(多个)光传感器的光的量。有利地，被设置为用于限制到达与该单元组703相关联的(多个)光传感器的光的量的第一状态的单元组的第一单元是属于形成单元组703的边界的单元的行81、82和列83、84的单元，即属于单元组的外围的单元。为了控制和限制到达光传感器的光的量，通过从位于单元组的外侧外围的行和列81至84开始(对应于图8上以灰色阴影填充的单元)并朝向单元组的中心前进，将与该光传感器相关联的单元组的外围的一行、两行或者更多行设置为第一状态。例如，要被设置为第一状态的单元的第一行和第一列是形成单元组的外侧外围的行81、82和列83、84，要被设置为第一状态的单元的第二行和列是通过朝向单元组的中心前进的与第一行81、82和第一列83、83相邻的行和列(对应于图8上以对角线图案填充的单元)，等等。将其他单元(在图8上以白色填充)有利地设置为第二状态，并且使到达它们的光线全部穿过它们以到达与单元组703相关联的光传感器。
根据变型，例如为了进一步限制到达光传感器的光的量，可以将与该光传感器相关联的单元组的外围的单元的一行或多行设置为如之前解释的第一状态，并且可以控制被设置为第二状态的单元组的一些剩余单元(在图8上以白色填充标识)，以使光仅部分地(即通过仅使从场景到达它们的百分比的光(例如80％、70％、50％、30％或者甚至10％))穿过它们。例如，当从与处于第一状态的单元相邻的单元开始通过朝向单元组703的中心前进时，穿过单元的光的百分比可以增加，百分比的增加是线性的或者不是线性的。
根据另一变型，要被首先设置为第一状态的单元对应于属于单元组703的第一行(即单元的阵列的上部行81)的单元，要被第二设置为第一状态的单元(如果要进一步减少到达光传感器的光)对应于属于单元组703的第二行的单元，即当从单元组的上部向下部前进时与第一行81相邻的行，等等。
根据另一变型，要被首先设置为第一状态的单元对应于属于单元组703的最低行(即行82)的单元，要被第二设置为第一状态的单元(如果要进一步减少到达光传感器的光)对应于属于单元组703的第二行的单元，即当从下部向上部横穿单元组时与最低行82相邻的行，等等。
根据另一变型，只将行的一部分单元首先设置为第一状态，仅在要进一步减少到达与单元组703相关联的(多个)光传感器的光量时，将该行的其余单元设置为第一状态。
根据另外的变型，要被设置为第一状态的第一单元属于单元组的左侧上(相应地在右侧上)的第一列(即，图8上的列84(相应地为83))，如果要进一步减少到达与单元组703相关联的(多个)光传感器的光量，则将从左向右(相应地从右向左)横穿单元组时与该第一列84(相应地为83)相邻的第二列的单元设置为第一状态，等等。
根据变型，单元组中的全部单元处于第二状态，通过控制每个单元允许穿过其的光量的百分比来执行对单元的控制，以限制到达与单元组703相关联的(多个)光传感器的光量。
在图7上，以阴影示出处于第一状态的单元，并且以白色示出处于第二状态的单元。以有利的方式，处于第一状态的单元的数量可以从一个单元组到另一个单元组而变化。例如，处于第一状态的单元的数量可能对于位于图像6的中心的水平的单元组比位于图像6的外围的单元组更重要。这样的实现方式使得穿过每个单元组的光量可以相同或大约相同(即具有例如从SLM40的单元组输出的平均光量左右的小于3％、5％或10％的变化)。实际上，到达位于图像6的外围的单元组的光量小于到达位于图像6的中心附近(即孔径光阑平面的光学中心附近)的单元组的光量。通过将图像6的中心附近的单元组而不是位于外围的单元组的更多单元设置为第一状态，获得对于SLM 40的每个单元组而言从单元组输出的光量相同或大约相同。
根据变型，对于SLM 40的每个和全部单元组而言被设置为第一状态的单元的数量是相同的。
图9示出了根据本原理的特定实施例的控制到达全光相机4的光传感器阵列的光量的方法。
在初始化步骤90期间，更新全光相机的不同参数，特别是用于控制SLM40的参数。具体地，以任何方式对SLM 40的单元的状态进行初始化，例如设置为用于使光全部穿过每个单元的第二状态。根据变型，将单元初始化为处于第一状态。
然后在步骤91期间，将SLM 40的单元的状态控制为处于第一状态或处于第二状态，以控制穿过它们的光的量，并且从而控制到达全光相机的光传感器阵列的光传感器的光的量。单元的状态例如根据利用全光相机获取的场景的照明条件以及根据表示图片的曝光和/或亮度的默认参数而被自动控制，该图片表示利用全光相获取的场景。根据变型，根据用户使用全光相机输入的参数来控制单元的状态，由用户输入的参数使得能够例如设置期望的景深或利用全光相机获取的图片的期望的明亮度和/或亮度。
SLM 40的单元可以例如全部被设置为第一状态，SLM通过在确定的时间段期间成为完全不透明而起到快门的作用，SLM控制曝光和景深二者。
SLM 40的单元可以例如全部被设置为第二状态，以用于完全使从场景进入的光穿过SLM。当全部处于第二状态时，穿过单元的光的百分比可以从一个单元到另一个单元而不同，以控制到达每个光传感器的光的量。
根据另一变型，一些或所有单元组的一些单元可以处于第一状态，而单元组的剩余单元处于第二状态。
图10示意性地图示了例如对应于智能电话或平板的电信设备100的硬件实施例。
电信设备100包括通过地址和数据的总线34(其还传输时钟信号)彼此连接的以下元件：
-微处理器1001(或CPU)，
-ROM(只读存储器)类型的非易失性存储器1002，
-随机存取存储器或RAM 1003，
-无线电接口1006，
-适于传送数据的接口1007，
-全光相机1008，对应于例如图4的全光相机4，
-MMI接口1009，适于为用户显示信息和/或输入数据或参数。
注意，在存储器1002和1003的描述中使用的词语“寄存器”在所提及的每个所提到的存储器中表示低容量的存储区以及大容量的存储区(使能要存储的整个程序或表示接收和解码的数据的所有数据或部分数据)。
存储器ROM 1002特别包括“prog”程序。
实现本公开特有的方法的步骤并且下面描述的算法被存储在与实现这些步骤的电信设备100相关联的ROM 1002存储器中。当通电时，微处理器1001加载并运行这些算法的指令。
随机存取存储器1003特别包括：
-在寄存器中，负责接通电信设备100的微处理器1001的操作程序，
-接收参数(例如用于调制、编码、MIMO、帧的重现的参数)，
-传输参数(例如用于调制、编码、MIMO、帧的重现的参数)，
-与由接收器1006接收和解码的数据相对应的输入数据，
-形成以在接口处传送到应用1009的解码数据，
-用于控制SLM 40的状态的参数。
除了关于图10描述的那些结构之外，电信设备100的其他结构与本公开兼容。具体地，根据变型，电信设备可以根据纯硬件实现方式来实现，例如以专用组件(例如在ASIC(专用集成电路)中)或FPGA(现场可编程门阵列)或VLSI(超大规模集成电路)或嵌入在装置中的多个电子组件的形式，或者甚至以硬件元件和软件元件的混合的形式。
无线电接口1006和接口1007适于根据诸如IEEE 802.11(Wi-Fi)、符合IMT-2000规范(也称为3G)的标准、符合3GPP LTE(也称为4G)的标准、符合IEEE 802.15.1(也称为蓝牙)的标准等的一个或多个电信标准来接收和传送信号。
根据变型，电信设备不包括任何ROM而仅包括RAM，实现本公开特有的方法的步骤的算法被存储在RAM中。
自然地，本公开不限于之前描述的实施例。
具体地，本公开不限于全光光学组装件，而是还扩展到集成这种全光光学组装件的任何设备，例如包括光传感器阵列的全光相机或者包括光传感器阵列的电信设备。
电信设备包括例如智能电话、智能手表、平板、计算机、移动电话、便携式/个人数字助理(“PDA”)以及便于在最终用户之间以及机顶盒之间进行信息通信的其他设备。
可以通过由处理器执行的指令来实现在此描述的方法和SLM 40的单元的控制操作，并且这样的指令(和/或由实现方式所产生的数据值)可以存储在处理器可读介质中，诸如例如集成电路、软件载体或者诸如例如硬盘、压缩磁盘(“CD”)、光盘(诸如例如通常被称为数字多功能盘或数字视频盘的DVD)、随机存取存储器(“RAM”)或只读存储器(“ROM”)这样的其他存储设备。指令可以形成有形地实施在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或其组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式所产生的数据值。
对于本领域技术人员将明显的是，实现方式可以产生被格式化为携带例如可以被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一所产生的数据。例如，可以将信号格式化为携带用于写入或读取所描述的实施例的语法的规则作为数据或者携带由所描述的实施例写入的实际的语法值作为数据。这样的信号可以例如被格式化为电磁波(例如使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用经编码的数据流来调制载波。信号携带的信息可以例如是模拟信息或数字信息。如已知的那样，信号可以通过各种不同的有线或无线链路来传送。信号可以存储在处理器可读介质上。
已描述了多个实现方式。然而，应当理解的是，可以做出各种修改。例如，可以对不同实现方式的元件进行组合、补充、修改或移除，以产生其他实现方式。此外，本领域普通技术人员将理解的是，其他结构和处理可以替代所公开的结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以获得与公开的实现方式至少基本相同的结果。因此，本申请想到这些以及其他实现方式。

Claims (16)

1.一种全光相机(4)，包括相机镜头(401)、包括多个微透镜(111至11n)的小透镜阵列(11)以及包括多个光传感器(131至13m)的光传感器阵列(13)，其特征在于，所述相机镜头包括在相机镜头(401)的孔径光阑平面中布置的空间光调制器(40)，
其中，光传感器组(5010)与各自的微透镜(501)相关联，空间光调制器(40)的单元组(703)与所述光传感器组的每个光传感器相关联，单元组的数量等于与一个微透镜相关联的所述光传感器组的光传感器的数量，
其中所述全光相机还包括控制器，被配置为控制所述单元组的单元以控制离开所述单元组的光的量。
2.根据权利要求1所述的全光相机，其中，空间光调制器(40)是液晶显示面板。
3.根据权利要求1至2之一所述的全光相机，其中，所述光的量对于每个单元组是相同的。
4.根据权利要求1至2之一所述的全光相机，其中，所述单元组覆盖与所述单元组相关联的所述光传感器在孔径光阑平面上的投影。
5.根据权利要求1至2之一所述的全光相机，其中，每个单元被配置为在第一状态与第二状态之间切换，第一状态对应于所述单元阻挡光的状态，并且第二状态对应于所述单元使光穿过所述单元的状态。
6.根据权利要求5所述的全光相机，其中，所述单元组的至少一部分单元处于第一状态。
7.根据权利要求6所述的全光相机，其中，处于第一状态的所述单元组的单元的数量取决于所述单元组在孔径光阑平面中的位置。
8.根据权利要求5所述的全光相机，其中，靠近空间光调制器(401)的中心的单元组的处于第一状态的单元的数量大于空间光调制器(401)的外围处的单元组的处于第一状态的单元的数量。
9.一种控制到达全光相机(4)的光传感器阵列(13)的光量的方法，所述全光相机包括相机镜头(401)和小透镜阵列(11)，空间光调制器(40)布置在相机镜头(401)的孔径光阑平面中，其中，光传感器组(5010)与各自的微透镜(501)相关联，空间光调制器(40)的单元组(703)与所述光传感器组的每个光传感器相关联，单元组的数量等于与一个微透镜相关联的所述光传感器组的光传感器的数量，其特征在于，所述方法包括控制所述单元组的单元以控制离开所述单元组的光的量。
10.根据权利要求9所述的方法，其中，单元的控制包括控制所述空间光调制器的单元的状态，所述单元被配置为在第一状态与第二状态之间切换，第一状态对应于所述单元阻挡光的状态，并且第二状态对应于所述单元使光穿过所述单元的状态。
11.根据权利要求10所述的方法，其中，所述单元组的至少一部分单元处于第一状态。
12.根据权利要求11所述的方法，其中，处于第一状态的所述单元组的单元的数量取决于所述单元组在孔径光阑平面中的位置。
13.根据权利要求10至12之一所述的方法，其中，靠近空间光调制器(401)的中心的单元组的处于第一状态的单元的数量大于空间光调制器(401)的外围处的单元组的处于第一状态的单元的数量。
14.根据权利要求9至12之一所述的方法，其中，所述单元组覆盖与所述单元组相关联的所述光传感器在孔径光阑平面上的投影。
15.根据权利要求9至12之一所述的方法，其中，所述光的量对于每个单元组是相同的。
16.一种处理器可读介质，其中存储有计算机程序，该计算机程序包括程序代码的指令，以用于当所述程序在计算机上执行时执行根据权利要求9至12中任一项所述的方法的步骤。
CN201580052273.3A 2014-09-25 2015-09-21 包括空间光调制器的全光相机 Active CN106716987B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306481.4A EP3001672A1 (en) 2014-09-25 2014-09-25 Plenoptic camera comprising a spatial light modulator
EP14306481.4 2014-09-25
PCT/EP2015/071616 WO2016046136A1 (en) 2014-09-25 2015-09-21 Plenoptic camera comprising a spatial light modulator

Publications (2)

Publication Number Publication Date
CN106716987A CN106716987A (zh) 2017-05-24
CN106716987B true CN106716987B (zh) 2019-10-18

Family

ID=51726466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052273.3A Active CN106716987B (zh) 2014-09-25 2015-09-21 包括空间光调制器的全光相机

Country Status (6)

Country Link
US (1) US11134202B2 (zh)
EP (2) EP3001672A1 (zh)
JP (1) JP6846341B6 (zh)
KR (1) KR20170057292A (zh)
CN (1) CN106716987B (zh)
WO (1) WO2016046136A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545492B (en) * 2015-12-18 2020-07-01 Imagination Tech Ltd Capturing an image of a scene from a captured sequence of scene portions
EP3301647A1 (en) 2016-09-30 2018-04-04 Thomson Licensing A method and an electronic device for calibrating a plenoptic camera
WO2018211601A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置および撮像システム
KR20190085258A (ko) 2018-01-10 2019-07-18 삼성전자주식회사 이미지 센서
KR102486425B1 (ko) 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4944578A (en) * 1988-07-21 1990-07-31 Telex Communications Color graphic imager utilizing a liquid crystal display
CN102026011A (zh) * 2009-09-22 2011-04-20 三星电子株式会社 获得光场数据的设备以及处理光场数据的设备和方法
CN103237161A (zh) * 2013-04-10 2013-08-07 中国科学院自动化研究所 基于数字编码控制的光场成像装置及方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
WO2007115357A1 (en) * 2006-04-10 2007-10-18 Mycrolab Pty Ltd Imaging apparatus with a plurality of shutter elements
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US8351031B2 (en) * 2009-06-05 2013-01-08 Spectral Sciences, Inc. Single-shot spectral imager
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
WO2011066275A2 (en) * 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US9172928B2 (en) 2011-10-21 2015-10-27 Hewlett-Packard Development Company, L.P. Color image capture system and method for light modulation
JP2013105151A (ja) 2011-11-16 2013-05-30 Olympus Corp 光学装置
JP2013211790A (ja) 2012-03-30 2013-10-10 Fujifilm Corp 撮像装置
US9036080B2 (en) * 2012-09-04 2015-05-19 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
US9219866B2 (en) 2013-01-07 2015-12-22 Ricoh Co., Ltd. Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position
JP2014203487A (ja) * 2013-04-05 2014-10-27 株式会社日立エルジーデータストレージ 光情報記録再生装置
US20150116563A1 (en) * 2013-10-29 2015-04-30 Inview Technology Corporation Adaptive Sensing of a Programmable Modulator System
WO2015132726A1 (en) * 2014-03-03 2015-09-11 Photoneo S.R.O Methods and apparatus for superpixel modulation
WO2016008647A1 (en) * 2014-07-16 2016-01-21 Asml Netherlands B.V. Lithographic apparatus, device manufacturing method and associated data processing apparatus and computer program product
WO2017103781A1 (en) * 2015-12-13 2017-06-22 Photoneo S.R.O. Methods and apparatus for superpixel modulation with ambient light suppression
WO2018067212A2 (en) * 2016-06-20 2018-04-12 Massachusetts Institute Of Technology Methods and systems for time-encoded multiplexed imaging
US20180217235A1 (en) * 2017-01-27 2018-08-02 4Sense, Inc. Projection System for a Time-of-Flight Sensor and Method of Operation of Same
US20190072897A1 (en) * 2017-08-14 2019-03-07 Open Water, Inc. Applications of diffuse medium imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4944578A (en) * 1988-07-21 1990-07-31 Telex Communications Color graphic imager utilizing a liquid crystal display
CN102026011A (zh) * 2009-09-22 2011-04-20 三星电子株式会社 获得光场数据的设备以及处理光场数据的设备和方法
CN103237161A (zh) * 2013-04-10 2013-08-07 中国科学院自动化研究所 基于数字编码控制的光场成像装置及方法

Also Published As

Publication number Publication date
JP6846341B6 (ja) 2021-05-26
JP6846341B2 (ja) 2021-03-24
US11134202B2 (en) 2021-09-28
JP2017537336A (ja) 2017-12-14
EP3001672A1 (en) 2016-03-30
WO2016046136A1 (en) 2016-03-31
EP3198849A1 (en) 2017-08-02
BR112017006107A2 (pt) 2017-12-19
KR20170057292A (ko) 2017-05-24
EP3198849B1 (en) 2018-11-07
US20170302839A1 (en) 2017-10-19
CN106716987A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106716987B (zh) 包括空间光调制器的全光相机
US9222629B2 (en) N-modulation for wide color gamut and high brightness
CN105611262B (zh) 显示器
KR20210087469A (ko) 6- 원색 와이드 색역 컬러 시스템을 위한 시스템 및 방법
CN100444019C (zh) 投影机
CA2975172A1 (en) A method and apparatus of encoding and decoding a color picture
CN105227941A (zh) 一种投影控制系统
EP3026887B1 (en) Plenoptic camera comprising a light emitting device
US20240177643A1 (en) System and method for a multi-primary wide gamut color system
EP3128751B1 (en) Plenoptic camera and method of controlling the same
CN107333122B (zh) 一种投影式多画立体显示播放系统及方法
US20170061851A1 (en) Large gamut pixel and subtractive mask for a visual presentation
CN103634582B (zh) 显示器及其显示方法
JP2014003465A (ja) 画像表示装置及びその制御方法
EP3032817A1 (en) Plenoptic camera comprising a spatial light modulator and method of acquiring views with such a plenoptic camera
CN103531602A (zh) 输出彩色图像的像素阵列
BR112017006107B1 (pt) Câmera plenópica, método para controlar uma quantidade de luz que atinge uma matriz de fotossensor de uma câmera plenóptica, e mídia não transitória legível por processador
EP3112920A1 (en) Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same
CN103546731B (zh) 一种将Bitmap转成YUV格式的文件的方法
EP3177011A1 (en) Acquisition device for a plenoptic camera and method of processing a raw image acquired with the acquisition device
EP3157244A1 (en) Plenoptic camera and method of controlling the opening of the diaphragm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190610

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

GR01 Patent grant
GR01 Patent grant