CN106454018B - 全光照相机以及控制它的方法 - Google Patents

全光照相机以及控制它的方法 Download PDF

Info

Publication number
CN106454018B
CN106454018B CN201610620199.7A CN201610620199A CN106454018B CN 106454018 B CN106454018 B CN 106454018B CN 201610620199 A CN201610620199 A CN 201610620199A CN 106454018 B CN106454018 B CN 106454018B
Authority
CN
China
Prior art keywords
light
optical device
layer
light source
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610620199.7A
Other languages
English (en)
Other versions
CN106454018A (zh
Inventor
V.德拉齐克
F.加尔平
M.塞菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN106454018A publication Critical patent/CN106454018A/zh
Application granted granted Critical
Publication of CN106454018B publication Critical patent/CN106454018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023—Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Cameras In General (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

一种全光照相机(1)包括照相机镜头(10)、微透镜阵列(11)和光传感器阵列(13)。根据进入全光照相机的光通量的光行进方向，将光学设备(14)排列在照相机镜头(10)前面，光学设备(14)包括在透射模式和散射模式之间可控制的第一层，以及排列在所述光学设备(14)的边缘的至少一个光源。控制该全光照相机的方法。

Description

全光照相机以及控制它的方法
技术领域
本公开涉及全光照相机的领域，并且更具体地涉及用于全光照相机的光学装配的领域。
背景技术
全光照相机，也称作光场照相机，获取相同场景的不同视图。为了获得不同的视图，对原始图像(包括由全光照相机的光传感器阵列收集的数据)进行去马赛克和去多路复用。去马赛克使得能够恢复全彩原始图像，也就是，恢复关于原始图像的像素的全彩信息(例如，RGB信息，RGB代表“红色”、“绿色”和“蓝色”)，同时使用全光照相机获取的原始图像将唯一的色彩分量(例如，R、G或B)与每个像素相关联。在去马赛克之后执行的去多路复用使得能够恢复场景的不同视图，也就是，根据去马赛克后的原始图像的像素所属于的视图，对它们进行分组。
为了恢复场景的不同视图，有必要对使用全光照相机获取的原始图像进行校准。该校准的主要目标是识别在全光照相机的光传感器阵列上形成的每个微透镜微图像的中心点位置。每当主透镜在或者变焦或者对焦中经历变化时，不得不再次估计微图像中心。这造成不便，因为每当主透镜为了快照而微调时，对系统进行校准不是非常便利。如果系统也能够视频，这也意味着禁止在拍摄时变焦。
发明内容
说明书中对“一个实施例”、“实施例”、“示例实施例”的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不必要包括特定的特征、结构或特性。而且，这种短语不一定指相同的实施例。而且，当结合实施例描述特定的特征、结构或特性时，主张在本领域技术人员的知识内，结合或者明确描述或者没有明确描述的其他实施例影响这种特征、结构或特性。
本公开涉及用于全光照相机的光学装配，该光学装配包括照相机镜头。光学装配还包括根据进入光学装配的光通量的光行进方向，被排列在照相机镜头前面的光学设备，光学设备包括在透射模式和散射模式之间可控制的第一层，以及被排列在所述光学设备的边缘的至少一个光源。
有利地，根据进入光学装配的光通量的光行进方向，第一层被排列在光学设备的正面上。
根据特定的特性，光学设备还包括由透明材料制成的第二层，根据进入光学装配的光通量的光行进方向，第一层被排列在第二层前面，以当处于散射模式时至少部分地阻挡光通量。
有利地，光学设备包括多个光源，排列多个光源以在光学设备周围形成环形。
根据具体的特性，当至少一个光源发光时，第一层处于散射模式。
有利地，光学装配还包括至少一个处理器，被配置为控制光学设备。
根据具体的特性，当检测到照相机镜头的焦点的变化时，至少一个光源发光。
本公开也涉及一种控制光学装配的方法，光学装配包括照相机镜头。该方法包括控制光学设备，根据进入光学装配的光通量的光行进方向，光学设备被排列在照相机镜头前面，光学设备包括在透射模式和散射模式之间可控制的第一层，以及被排列在光学设备的边缘的至少一个光源。
有利地，该方法还包括当至少一个光源发光时，切换第一层处于散射模式。
根据具体的特性，该方法还包括检测照相机镜头的焦点的变化，并且当检测到焦点的变化时控制至少一个光源发光。
本公开也涉及全光照相机，全光照相机包括微透镜阵列、光传感器阵列和光学装配。
本公开也涉及包括全光照相机的电信设备。
本公开也涉及包括程序代码指令的计算机程序产品，当程序在计算机上执行时，程序代码指令用于执行控制全光照相机的方法的至少一个步骤。
本公开也涉及非临时性处理器可读介质，用于使得处理器执行控制全光照相机的方法的至少一个步骤的指令存储在其中。
附图说明
当阅读下面的描述时，将更好地理解本公开，并且其他具体的特征和优点将浮现，描述参考附随附图，其中：
-图1根据本原理的特定实施例，示出全光照相机；
-图2和3根据本原理的特定示例，示出图1的全光照相机中光射线的行进；
-图4根据本原理的特定实施例，示出使用图1的全光照相机获得的微图像；
-图5根据本原理的特定实施例，示出控制图1的全光照相机的方法；
-图6根据本原理的特定实施例，示出包括图1的全光照相机的电信设备。
具体实施方式
现在参考附图描述主题，其中相似的附图标记自始至终用来指相似的元素。在下面的描述中，为了说明的目的，陈述许多具体的细节以便提供对主题的彻底理解。然而，能够不使用这些具体细节来实践主题实施例可以是显然的。
根据本原理的特定实施例，全光照相机的光学装配包括根据进入光学装配的光通量的光行进方向，排列在照相机镜头前面的光学设备，光学设备包括在透射模式和散射模式(也称作漫射模式)之间可控制的第一层，以及排列在光学设备的边缘的至少一个光源。为了简单，附图仅例示一个透镜来例示照相机镜头，也称作主透镜或者主要透镜。自然应当理解，照相机镜头可以对应于一组几个透镜。
具有不同操作模式的光学设备的使用使得能够获取场景的(多个)图像，以及受控的图像，例如平白色原始图像，这可以用来校准全光照相机或者去除晕影效应。
图1根据本原理的特定实施例，示出全光照相机1。全光照相机包括镜头单元101(对应于光学装配)和照相机主体102。
镜头单元101有利地适合于与照相机主体102相关联。照相机主体102包括光传感器阵列13，光传感器阵列13包括多个m个光传感器131、132、133至13m。每个光传感器对应于使用光传感器阵列获取的场景的原始图像的一个像素，并且每个像素包含场景的一部分(也称作点)。为了例示的目的，示出具有相对较少数量的光传感器131至13m的光传感器阵列13。自然地，光传感器的数量不由图1的例示所限制，而是扩展至任意数量的光传感器，例如，几千或者几百万个光传感器。例如在12.4百万像素照相机中，像素将对应于光传感器(例如，对应于4088×3040像素/光传感器的阵列)。色彩滤光器阵列(CFA)12可以排列在光传感器阵列13上。CFA 12典型地在光传感器阵列13上排列RGB(红色、绿色和蓝色)色彩滤光器，RGB排列采取例如拜耳滤光器马赛克的形式。根据变型，CFA排列在微透镜阵列11上，微透镜阵列11也称作小透镜阵列(除了CFA 12之外或者代替CFA12)。
照相机主体102也包括微透镜阵列11，微透镜阵列11包括n个微透镜111、112至11n，n是大于或等于2的整数。为了例示的目的，示出微透镜阵列11具有相对较少数量的微透镜，但是微透镜的数量可以扩展至几千或者甚至一百万或几百万个微透镜。光传感器阵列13的一组光传感器与微透镜阵列11的每个微透镜111至11n光学地相关联。例如，微透镜阵列11的每个微透镜111至11n大小对应于2×1、4×4或者10×10光传感器的阵列。与微透镜相关联的一组光传感器(或者换一种说法，微透镜下的一组光传感器)形成与该微透镜相关联的微图像，该组光传感器的每个光传感器形成微图像的像素。与一个单个微透镜光学地相关联的多个光传感器的每个光传感器使得能够根据一个位置获取代表场景的像素的原始数据(与像素一样多的视差的获取)。
为了将镜头单元101与照相机主体102相关联，镜头单元101包括第一附接部分并且照相机主体102包括第二附接部分，第一附接部分和第二附接部分彼此相兼容。由于第一附接部分和第二附接部分，镜头单元101可以夹到照相机主体102上或者镜头单元101可以与照相机主体102旋接在一起。被配置为与照相机主体相关联的镜头单元的这种第一附接部分和第二附接部分的示例可以在于2013年5月30日公开的日本专利申请JP2013-105151A中找到。第一附接部分和第二附接部分以这种方式配置，使得一旦镜头单元101和照相机主体102放置在一起，镜头单元101和照相机主体102形成配置用于每次获取场景时获取场景的多个视图的全光照相机。根据变型，镜头单元101和照相机主体102集体地形成一个单一主体，并且不是可拆卸地装配在一起。
镜头单元101包括照相机镜头10，也称作主透镜或者主要透镜，其有利地由一个或多个透镜元件形成，为了清楚的目的，在图1中描绘出仅一个透镜元件10。镜头单元101也包括排列在照相机镜头10前面或前方的光学设备14。当考虑进入全光照相机1的光通量的光行进方向时，理解照相机镜头10的“前面”或“前方”。来自将使用全光照相机获取的场景并且进入全光照相机的光在穿过照相机镜头10、微透镜阵列11并且然后射到光传感器阵列13之前，首先穿过光学设备14。
光学设备14包括光导141、照亮光导141的光源143以及排列在或者覆盖在光导141的正面上的第一层142，光导的正面对应于面向场景的一面，亦即，由进入全光照相机1的光通量首先穿过的一面，与光导141面向照相机镜头10的另一面相对照。
光导141的形态有利地与照相机镜头10的一般形态相同，例如圆形。光导141的大小例如与照相机镜头的大小相同，例如，当照相机镜头10的形态是例如圆形时，光导的直径与照相机镜头的直径相同。光导141的大小是这样的，使得光导的表面足够大以覆盖照相机镜头，使得进入照相机镜头的光通量首先经过光导141。根据变型，光导141的大小比照相机镜头10的大小大，例如，光导141的直径大于照相机镜头10的直径。光导有利地对应于被设计以最低的损耗将光从光源143传送到光导面向照相机镜头10的一面的设备。光借助于内部反射透射通过光导。光导141例如对应于由透明材料制成的第二层。光导141例如由诸如丙烯酸树脂、聚碳酸酯、环氧树脂和/或玻璃这样的光学级材料制成。光导的示例可以在来自Avago Technologies的“Light Guide Techniques Using LED Lamps/ApplicationBrief I-003”中找到。光导141沿着照相机镜头10的光轴的宽度例如包括在零点几毫米和几毫米之间。间隙可以排列在光导与照相机镜头之间，间隙包含例如空气或惰性气体，并且具有沿着照相机镜头的光轴包括在例如一毫米至几毫米之间的宽度。
光源143包括一个或多个发光设备。根据变型，光源143对应于区域光源，区域光源具有例如光导141的外围的形态，例如当光导具有圆形形态时环形的形态。光源143以照亮光导141的方式排列在光导的边缘。当光源143包括几个发光设备时，发光设备有利地均匀地分布在光导的外围，亦即，以光导的照亮是均衡的这种方式分布在光导周围。光源143有利地发射白光。根据变型，光源143发射不同于白光的光，例如黄光或蓝光。
排列在光导141的正面上的第一层142可以处于两种不同的状态或模式中，亦即，透射状态/模式和散射状态/模式。在透射模式中，第一层142让到达它的光通量经过它。在散射模式中，第一层142散射(漫射)到达它的光通量，光通量的一部分(例如，40％或50％)反射回到场景，并且互补的部分(例如，分别60％或50％)通过散射而经过光导。结果，当第一层142处于透射模式时，起源于场景的光的射线在到达光传感器阵列13之前经过第一层142、光导141、照相机镜头10。当第一层142处于散射模式时，起源于场景的光的射线由第一层142部分地阻挡，并且它们中一部分到达光传感器阵列13。起源于场景的光通量因此以比由光源143发射的光低的光强到达光传感器阵列，当层142处于散射模式时这被激活。第一层142有利地是可控制的，以从透射模式切换至散射模式以及从散射模式切换至透射模式。第一层142对应于例如PDLC类型(聚合物分散液晶设备)的主动漫射器。PDLC主动漫射器包括放置在两层玻璃或塑料之间的聚合物和液晶的液体混合，两层玻璃或塑料包括透明、导电材料的薄层，紧接着聚合物的固化。来自电源的电极附接到透明电极。当没有电压施加到液体混合时，液晶在液滴中随机排列，导致当光经过PDLC主动漫射器时光的散射。这导致半透明的、“乳白色”外观，导致经过PDLC主动漫射器的光的散射。当电压施加到电极时，在玻璃上的两个透明电极之间形成的电场使得液晶对齐，允许光经过液滴而具有非常小的散射，并且导致透明状态。透明度的程度能够由所施加的电压来控制。根据另一个示例，第一层142对应于SPD(悬浮颗粒设备)。在悬浮颗粒设备(SPD)中，杆状纳米量级的颗粒的薄膜叠层悬浮在液体中并且放置在两片玻璃或塑料之间，或者附接到一个第一层。当没有电压施加时，悬浮颗粒随机组织，因此阻挡并且吸收光。当施加电压时，悬浮颗粒对齐并且让光经过。改变膜的电压则改变悬浮颗粒的取向，由此控制透射的光的量。
自然地，光学设备14的形态，以及光导141和/或第一层142的形态不局限于圆形形态，而是扩展到任何形态，例如正方形或者矩形，并且每个可以是不同的形态。
全光照相机1有利地包括硬件组件103，被配置用于控制全光照相机1，例如用于控制第一层142的模式以及光源143。当第一层142切换至散射模式时，光源143有利地被控制为打开，亦即，照亮光导141。当第一层142切换至透射模式时，光源143有利地被控制为关闭，亦即，不照亮光导141。组件103还被配置用于检测照相机镜头10的一个或多个参数的变化，例如，照相机镜头的焦距的变化和/或当对焦或变焦时发生的聚焦距离的变化。组件103可以包括在照相机主体102中或者镜头单元101中。组件103有利地包括一个或几个处理器1031，一个或几个处理器1031与存储器，例如，包括一个或多个寄存器的随机存取存储器或RAM 1032相关联。存储器存储一个或多个实现控制全光照相机1的方法的处理的指令。根据变型，组件103采取例如FPGA(现场可编程门阵列)、ASIC(特定应用集成电路)或者DSP(数字信号处理器)类型的可编程逻辑电路的形式。组件103包括电源1033，电源1033包括例如能够将各种电压施加到第一层142以控制它和/或施加电压以打开光源143的可变电压源。电源有利地由处理器1031控制。组件103也可以包括接口，被配置用于接收和/或传输由例如用户经由用户接口输入以设置全光照相机1的诸如控制参数这样的数据，用户接口例如显示在排列在例如照相机主体102上的显示屏(例如LCD或OLED显示器)上。组件103也可以从远离全光照相机1的源接收数据和/或传输数据到远离全光照相机1的源。
根据变型，组件103不包括在全光照相机1中，但是经由有线连接(例如，经由USB(通用串行总线))或者经由无线连接(例如经由蓝牙、Wi-Fi或ZigBee)连接到全光照相机1。根据该变型，组件103包括传输器以与全光照相机1交换数据。根据该变型，电源1033包括在全光照相机1中。
全光照相机1等同地具有类型1.0，对应于微透镜阵列11与光传感器阵列13之间的距离等于微透镜焦距的全光照相机，否则具有类型2.0(也称作聚焦的全光照相机)。
图2根据本原理的特定实施例，示出当光学设备14的第一层142处于透射模式时，经过全光照相机1的照相机镜头到达光传感器阵列13的光射线束。
如图1上所例示的，光传感器阵列13的一组光传感器阵列与小透镜阵列11的每个微透镜光学地相关联。例如，在图2上，一组光传感器2010与微透镜201相关联，并且一组光传感器2020与微透镜202相关联。与微透镜相关联的每组光传感器对应于与相应的微透镜相关联的微图像。使用全光照相机1获取的场景的相同点20、21的视图的数量对应于与一个微透镜光学地相关联的光传感器的数量，因为由于微透镜的几何结构，根据不同的角度观察场景的相同点。这意味着与给定微透镜光学地相关联的每个光传感器获取代表场景的点的具体视图的数据。使用全光照相机获取的场景的视图的数量对应于与小透镜阵列11的每个微透镜(亦即，在每个微透镜下)相关联的像素的数量。与一个微透镜光学地相关联的光传感器的数量有利地对于小透镜阵列11的每个微透镜是相同的。如图2上所例示的，来自所获取的场景，更具体地来自点20的光的射线200在到达光传感器阵列13，亦即组2010的光传感器2001之前经过光学设备14、照相机镜头10以及小透镜阵列11。以相同的方式，来自所获取的场景，更具体地来自点21的光的射线210、211在到达光传感器阵列13，亦即组2020的光传感器2101或者组2010的光传感器之前经过光学设备14、照相机镜头10以及小透镜阵列11。光学设备14让来自场景的光射线经过它，因为光学设备14的第一层142处于透射模式。光射线200和201在它们经过光学设备14之前被称作输入光射线，并且一旦它们已经经过光学设备14则被称作输出光射线。
当第一层142处于透射模式时，光源143处于关闭状态，意味着没有光由光源在光导141中发射。仅有来自场景的光到达光传感器阵列13。
场景的不同视图通过对场景的原始图像进行去多路复用和去马赛克来获得，原始图像的像素对应于光传感器阵列13的光传感器。为了获得经确定的视图，从原始图像中收集该经确定的视图的像素。例如，如将由本领域的技术人员认识到的，与光传感器2001和2101相关联的像素属于相同的视图，因为它们相对于它们每个所属于的光传感器的组，亦即，分别组2010和2020的中心，位于相同的位置。
自然地，分别与微透镜201和202相关联的光传感器的组2010，2020的光传感器的数量不局限于图1上所例示的光传感器的数量n，每个分别对应于点20和21的不同视图，而是扩展至比n大的数量。属于光传感器的组2010，2020并且没有在图2上例示的光传感器有利地接收从不同于点20和21的场景的点接收的光信息。
图3根据本原理的特定实施例，示出当光学设备14的第一层142处于散射模式时，来自场景的光射线束以及输出全光照相机1的照相机镜头10的光射线。
被控制处于散射模式的第一层142部分地阻挡来自场景的点20，21的光射线200，210，211。更一般地，处于散射模式的第一层142阻挡来自场景的光射线的一部分，同时散射能够经过第一层142的这些光射线的互补部分。结果，来自场景的光射线的仅一部分经过光导141、照相机镜头10以及微透镜阵列11。因此，来自场景的仅一定百分比的光到达光传感器阵列13，百分比取决于施加到第一层142的电压。例如，光射线211由第一层142散射并且形成经过光导141的光射线31，例如通过微透镜201到达光传感器阵列。当第一层切换至散射模式时，光源143被控制处于打开状态，亦即，朝向光学设备14的光导141以及在光导141内发光。为了例示的清楚的目的，起源于光源143并且透射通过光导141的仅一个光射线30在图3上示出。自然地，由光源143发射的光射线的数量不局限于1而是扩展至任意数量。由于光导141的光学性质(构成光导141的材料的折射率与围绕光导的介质，例如，第一层142或空气的折射率之间的差异)，光射线在光导141内被引导，由面向照相机镜头的一面离开光导。光射线30离开光学设备14，形成光射线300，光射线300进入照相机镜头10，穿过照相机镜头10、微透镜阵列11并且例如经由微透镜202到达光传感器阵列13。当由光源143发射的光是白光时，在光传感器阵列13上获得的微图像是白色微图像，每个白色微图像在微透镜阵列11的一个微透镜下形成。将第一层142切换至散射模式使得能够避免将起源于场景的光射线与由光源143发射的光射线混合在一起，这使得能够获得平白色原始图像，平白色原始图像可以用于校准全光照相机1，亦即，可以用来定位由每个微透镜在光传感器阵列13上形成的每个微图像的中心。
当第一层142处于散射模式并且被控制仅让来自场景的一定百分比(例如，30％，40％或者50％)的光通过散射(漫射)经过它时，到达光传感器阵列13的光对应于由光源143发射(并且引导通过光导141)的光与来自场景并且由第一层142散射的一定百分比的光的混合。如果第一层被控制反射进入光的50％并且散射进入光的50％，那么控制光源的强度使得光源143的强度大于来自场景并且散射通过第一层142的光的50％的强度。场景的图像因此以比由光源143发射的光的强度低的强度与来自光源143的光混合。当来自场景的光被散射时，因为散射和/或因为比由光源143发射的光的强度低的来自场景的光射线的强度，场景的结构不出现在光传感器阵列上(场景的图像像是淹没在由光源143发射的光中)。即使到达光传感器阵列13的光的一部分来自场景，仍然获得白色的原始图像。
一旦已经获取平白色原始图像，第一层142被切换回到透射模式，使得全光照相机能够获取包括场景的不同视图的一个或多个原始图像。当检测到照相机镜头10的焦点或变焦的新的变化时，第一层142被控制切换处于散射模式并且同时(或者几毫秒之后)控制光源打开，这使得能够获取与照相机镜头的新的焦点和/或变焦参数相对应的新的平白色原始图像，从而使得能够关于照相机镜头的该新设置，确定微图像的中心的位置。根据本原理的示例性实施例，每当执行或者检测到照相机镜头10的焦点和/或变焦设置的变化时，获取平白色原始图像(如上面所描述的)。
图4示出与小透镜阵列11的微透镜相关联的微图像41至48。根据第一特定实施例，微图像41至48对应于用于校准全光照相机1的白色微图像，亦即，对应于如关于图3所描述的，当第一层142处于散射模式时并且当光源143照亮光导141时获得的白色微图像。根据第二特定实施例，微图像41至48对应于如关于图2所描述的，当第一层142处于透射模式时获取场景的一个或多个图像时获得的微图像。在微透镜阵列11的一些微透镜下的光传感器阵列13上形成的微图像的仅一部分4在图4上表现，亦即，微图像41、42、43、44、45、46、47和48。
校准全光照相机可以看作确定在光传感器阵列上的微透镜下形成的每个微图像的中心。为了实现该目的，如关于图3所描述的，获取平白色原始图像，并且获得白色微图像41至48。与给定微图像相关联的光传感器对应于位于给定微图像在其下形成的微透镜下的光传感器，亦即，投射到由给定微透镜覆盖的区域上的光传感器。与给定微图像相关联的该组光传感器的每个光传感器对应于与该微透镜相关联的微图像的像素。
为了获得每个微图像的中心，确定在给定白色微图像的所有光传感器/像素中，该给定白色微图像的哪个光传感器/像素接收最大量的光。关于每个白色微图像，接收最大量的光的光传感器/像素用黑色或者浅灰色突出。例如，接收最大量的光的白色微图像41的光传感器/像素对应于光传感器/像素411、412、413和414。为了确定该组光传感器/像素411至414中与白色微图像41的中心相对应的光传感器/像素，由每个光传感器/像素411至414所接收的光的量彼此进行比较并且选择具有最大值的光传感器/像素作为与白色微图像41的中心相对应的基准光传感器。根据变型，与白色微图像41的中心相对应的基准光传感器直接确定为白色微图像41的该组光传感器/像素中接收最大量的光的光传感器。每个微图像的中心像素的坐标例如存储在与全光照相机相关联的例如存储器中、寄存器中或者缓冲器中。
知道与每个微透镜相关联的每个微图像的边界以及每个微图像的中心像素(从全光照相机1的校准中获得的)，可以收集每个微图像中的任意像素以将它们与正确的视图相关联。确实，在单个快照中使用全光照相机获取的视图的数量对应于与一个微透镜相关联的光传感器的数量，亦即，对应于形成一个微图像的像素/光传感器的数量。为了构建给定的视图，有必要选择与微透镜相关联的每个微图像中的正确的像素。根据本原理的一个实施例，称作去多路复用的这种处理通过使用如上文说明而确定的基准像素来执行。去多路复用处理在于以这种方式重新组织原始图像的像素，使得以某一入射角捕获光射线的所有像素存储在创建所谓视图，也称作子孔径视图的相同的图像中。光射线的角度信息由相对于每个微图像中的基准像素的位置的微图像中的相对像素位置给出。相对于与每个微透镜相关联的每个微图像的中心像素处于相同相对位置的每个微透镜下的像素属于相同的视图。微图像的像素形成具有例如R行和C列的像素的网格，R和C是整数。微图像的像素的坐标由像素的行号和列号给出。对于微图像41，中心像素411的坐标是例如(i，j)。对于每个微图像的每个中心像素同样成立。例如，中心像素421的坐标在微图像42中也是(i，j)，并且中心像素431的坐标在微图像43中也是(i，j)，像素的数量对于每个微图像以及每个微图像中行和列的数量R和C是相同的。为了构建经确定的视图，选择在每个微图像中具有相同坐标的所有像素。例如，涉及相同视图的像素已经在图4上用十字叉识别，相对于每个微图像的中心像素的坐标(i，j)，用十字叉识别的每个像素的坐标在每个微图像中是(i+3，j+3)。
微图像的边界例如根据如关于图3所述而获得的平白色原始图像的白色微图像来确定。微图像具有与微透镜的分布相同的分布。通过获取平白色原始图像，微透镜下的像素显得比不位于微透镜下的像素更亮。微图像采集在光传感器阵列上显得亮的像素并且具有与微透镜的形态相同的形态。根据变型，微图像的边界例如在制造全光照相机时已经彻底确定，代表边界的信息例如存储在全光照相机的存储器(例如RAM)中。根据另一个变型，知道微透镜的形态，微图像的边界可以通过使用中心像素来确定。通过取极端地具有两个相邻微图像的中心像素的分割线的中间，可以容易地确定微图像的大小。例如，如果与微图像相关联的微透镜是圆形，那么微图像的半径对应于中心像素与位于极端地具有两个相邻微图像的中心像素的分割线的中间的像素之间的像素的数量。
图5根据本原理的特定实施例，示出控制全光照相机1的方法。
在初始化步骤50期间，更新全光照相机的不同参数，尤其是用来控制光学设备14的参数。
然后在步骤51期间，例如由控制单元103控制根据进入全光照相机的光通量的光行进方向排列在照相机镜头10前面的光学设备14。光学设备14包括在透射模式和散射模式之间可控制的第一层以及排列在光学设备14的边缘的一个或多个光源。排列光源以这种方式照亮光学设备，即由光源发射的光离开光学设备通过照相机镜头和微透镜阵列照亮全光照相机的光传感器阵列。例如控制光学设备让起源于场景的光射线经过它到达光传感器阵列，以获取场景的原始图像，场景的原始图像可以用来获得场景的不同视图。为了实现该目的，控制第一层处于透射模式并且控制光源处于关闭状态从而不照亮光学设备。根据另一个示例，控制光学设备阻挡起源于场景的光射线的一部分并且散射经过光学设备的光射线的该部分。为了实现该目的，控制第一层处于或者切换至散射模式。同时，控制(多个)光源处于打开状态以照亮光学设备。当(多个)光源发光时第一层被切换至散射模式，和/或当第一层被切换至散射模式时控制光源发光。光学设备被设计为朝向光传感器阵列引导由(多个)光源发射的光射线通过照相机镜头和微透镜阵列。阻挡起源于场景的光射线的一部分，散射起源于场景的光射线的互补部分朝向照相机镜头，同时用受控的光照亮光传感器阵列，使得能够获得受控的原始图像，例如平白色原始图像，这可以用来校准全光照相机。例如在(光传感器阵列的)一个曝光期期间将第一层设置处于散射模式并且将光源设置处于打开状态，以便当全光照相机用于静止摄影获取时产生一个平白色图像，或者当全光照相机用于视频获取时产生一个平白色帧。
根据变型，第一层被控制处于散射模式同时光源处于关闭状态，例如根本不照亮光传感器阵列。
例如当打开全光照相机1时，第一层被控制处于散射模式并且(多个)光源处于打开状态。根据可选的变型，当执行和/或检测到照相机镜头的焦点和/或变焦的变化时，第一层被控制处于散射模式并且(多个)光源处于打开状态。根据该变型，当检测到焦点和/或变焦参数的变化时，获得平白色原始图像，这使得能够根据该检测到的变化来校准全光照相机。校准信息(例如，每个微图像的中心的坐标)例如存储在与全光照相机相关联的存储器中、寄存器中和/或缓冲器中，例如组件103的存储器1032中，或者组件103的处理器1031的缓冲器中。根据变型，校准信息存储在远程存储设备中，校准信息在请求时由全光照相机接收。
图6图解地例示与例如智能电话或平板电脑相对应的电信设备6的硬件实施例。
电信设备6包括下面的元件，它们由地址和数据的总线64连接到彼此，总线64也运送时钟信号：
-微处理器61(或者CPU)，
-ROM(只读存储器)类型的非易失性存储器62，
-随机存取存储器或RAM 63，
-无线电接口66，
-接口67，适合于数据的传输，
-全光照相机68，对应于例如图1的全光照相机1，
-MMI接口69，适合于为用户显示信息和/或输入数据或参数。
应当注意，在存储器62和63的描述中使用的单词“寄存器”在所提及的存储器的每个中，指定低容量的存储器区域以及大容量的存储器区域(使得能够存储整个程序或者接收和解码代表数据的数据的全部或部分)。
存储器ROM 62特别地包括“prog”程序。
实现针对本公开并且在下面描述的方法的步骤的算法存储在与实现这些步骤的电信设备6相关联的ROM 62存储器中。当上电时，微处理器61加载并且运行这些算法的指令。
随机存取存储器63尤其包括：
-在寄存器中，负责打开电信设备6的微处理器61的操作程序，
-接收参数(例如，用于帧的调制、编码、MIMO、重现的参数)，
-传输参数(例如，用于帧的调制、编码、MIMO、重现的参数)，
-进入数据，与由接收器66接收并且解码的数据相对应，
-经解码的数据，形成以在接口处传输给应用69，
-用于控制光学设备14的参数。
除了关于图6所描述的那些之外的电信设备6的其他结构与本公开相兼容。特别地，根据变型，电信设备可以根据纯硬件实现来实施，例如以专用组件(例如，在ASIC(专用集成电路)或者FPGA(现场可编程门阵列)或者VLSI(超大规模集成电路)中)或者嵌入在装置中的几个电子组件的形式，或者甚至硬件元件和软件元件的混合的形式。
无线电接口66和接口67适合于根据诸如IEEE 802.11(Wi-Fi)、与IMT-2000规范(也称作3G)、与3GPP LTE(也称作4G)兼容的标准、IEEE802.15.1(也称作蓝牙)…这样的一个或多个电信标准接收和传输信号。
根据变型，电信设备不包括任何ROM而仅包括RAM，实现针对本公开的方法的步骤的算法存储在RAM中。
自然地，本公开不局限于先前描述的实施例。
特别地，本公开不局限于全光光学装配，而是也扩展到集成这种全光光学装配的任何设备，例如包括光传感器阵列的全光照相机或者包括光传感器阵列的电信设备。
电信设备包括例如智能电话、智能手表、平板电脑、计算机、移动电话、便携式/个人数字助理(“PDA”)以及便于在终端用户之间以及机顶盒之间信息的通信的其他设备。
在这里描述的全光照相机和/或光学设备14的方法和控制操作可以由处理器执行的指令来实现，并且这种指令(和/或由实现方式所产生的数据值)可以存储在处理器可读的介质上，诸如例如集成电路、软件载体或者诸如例如硬盘、压缩磁盘(“CD”)、光盘(诸如，例如，DVD，经常称作数字通用光盘或者数字视频光盘)、随机存取存储器(“RAM”)或者只读存储器(“ROM”)这样的其他存储设备。指令可以形成有形地在处理器可读的介质上实施的应用程序。指令可以例如在硬件、固件、软件或者组合中。指令可以在例如操作系统、单独的应用或者二者的组合中找到。因此，处理器可以表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备两者。而且，除了指令之外或者代替指令，处理器可读介质可以存储由实现方式所产生的数据值。
如将对本领域中的技术人员显然的，实现方式可以产生被格式化以运载可以例如存储或传输的信息的各种信号。信息可以包括例如用于执行方法的指令，或者由所描述的实现方式的一种而产生的数据。例如，信号可以被格式化以将用于写入或者读出所描述实施例的语法的规则作为数据来运载，或者将由所描述实施例写入的实际语法值作为数据来运载。这种信号可以被格式化成例如电磁波(例如，使用频谱的无线电频率部分)或者基带信号。格式化可以包括例如对数据流进行编码并且使用经编码的数据流对载波进行调制。信号运载的信息可以是例如模拟或者数字信息。信号可以在已知的各种不同的有线或无线链路上传输。信号可以存储在处理器可读的介质上。
已经描述了许多种实现方式。然而，应当理解，可以进行各种修改。例如，不同实现方式的元素可以组合、补充、修改或移除以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以取代公开的那些，并且作为结果的实现方式将以与公开的实现方式至少基本上相同的(多个)方式，执行与公开的实现方式至少基本上相同的(多个)功能，达到与公开的实现方式至少基本上相同的(多个)结果。因此，这些和其他实现方式都将由本申请所考虑。

Claims (19)

1.一种用于全光照相机(1)的光学装配，该光学装配包括照相机镜头(10)和光学器件(14)，该光学器件(14)根据进入光学装配的光通量的光行进方向而被布置在照相机镜头(10)的前面，光学器件(14)包括在透射模式和散射模式之间可控制的第一层(142)，以及布置在所述光学器件(14)的边缘的至少一个光源(143)；
其中光学器件(14)还包括由透明材料制成的第二层(141)，其中，根据进入光学装配的光通量的光行进方向，第一层(142)被布置在第二层(141)前面，以当处于所述散射模式时至少部分地阻挡光通量。
2.根据权利要求1所述的光学装配，其中根据进入光学装配的光通量的光行进方向，第一层(142)被布置在光学器件(14)的正面上。
3.根据权利要求1至2任一项所述的光学装配，其中光学器件(14)包括多个光源，多个光源被布置为在光学器件(14)周围形成环形，其中多个光源将光指向该光学器件(14)。
4.根据权利要求1至2任一项所述的光学装配，其中当至少一个光源发光时，所述第一层(142)处于散射模式。
5.根据权利要求1至2任一项所述的光学装配，还包括至少一个处理器，被配置为控制光学器件(14)。
6.根据权利要求1至2任一项所述的光学装配，其中当检测到照相机镜头(10)的焦点的变化时，至少一个光源发光。
7.根据权利要求1至2中的任一项所述的光学装配，其中，所述至少一个光源(143)将光发射到所述光学器件(14)的宽度上。
8.根据权利要求1至2中的任一项所述的光学装配，其中，当所述第一层处于散射模式时，所述至少一个光源将光发射到所述光学器件(14)的第二层而将发射的光导向全光照相机的光电传感器阵列。
9.根据权利要求1至2中任一项所述的光学装配，其中，所述至少一个光源(143)被布置在沿着所述光学器件(14)的宽度的边缘处，并且其中，当所述第一层(142)处于散射模式时，所述至少一个光源(143)将光指向沿着所述光学器件(14)的宽度的边缘上。
10.一种控制用于全光照相机(1)的光学装配的方法，该光学装配包括照相机镜头(10)，其中，该方法包括控制(51)根据进入该光学装配的光通量的光行进方向而被布置在照相机镜头(10)前面的光学器件(14)，该光学器件(14)包括在透射模式和散射模式之间可控制的第一层(142)，以及布置在所述光学器件(14)的边缘的至少一个光源(143)；
其中该光学器件(14)还包括由透明材料制成的第二层(141)，其中，根据进入光学装配的光通量的光行进方向，将第一层(142)布置在第二层(141)前面，以当处于所述散射模式时至少部分地阻挡光通量。
11.根据权利要求10所述的方法，其中根据进入该光学装配的光通量的光行进方向，将第一层(142)布置在该光学器件(14)的正面上。
12.根据权利要求10至11任一项所述的方法，其中光学器件(14)包括多个光源，多个光源被布置为在光学器件(14)周围形成环形，其中多个光源将光指向该光学器件(14)。
13.根据权利要求10至11任一项所述的方法，还包括当控制至少一个光源(143)发光时，切换所述第一层(142)进入散射模式。
14.根据权利要求10至11任一项所述的方法，还包括检测照相机镜头(10)的焦点的变化，并且当检测到焦点的变化时控制至少一个光源发光。
15.根据权利要求10至11中的任一项所述的方法，其中，所述至少一个光源(143)将光发射到所述光学器件(14)的宽度上。
16.根据权利要求10至11中的任一项所述的方法，其中，控制(51)包括将所述第一层置于散射模式并且使得所述至少一个光源向所述光学器件(14)的第二层发射光而将发射的光引导到全光照相机的光电传感器阵列。
17.根据权利要求10至11中的任一项所述的方法，其中，所述至少一个光源(143)被布置在沿着所述光学器件(14)的宽度的边缘处，并且其中，当所述第一层(142)处于散射模式时，所述至少一个光源(143)将光指向沿光学器件(14)的宽度的边缘。
18.一种计算机可读存储介质，存储有程序代码指令，当所述程序代码指令在计算机上执行时，执行根据权利要求10至17的任一项所述的方法。
19.一种全光照相机，包括微透镜阵列(11)、光传感器阵列(13)以及根据权利要求1至9的任一项所述的光学装配。
CN201610620199.7A 2015-08-04 2016-08-01 全光照相机以及控制它的方法 Active CN106454018B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306265.8A EP3128750A1 (en) 2015-08-04 2015-08-04 Plenoptic camera and method of controlling the same
EP15306265.8 2015-08-04

Publications (2)

Publication Number Publication Date
CN106454018A CN106454018A (zh) 2017-02-22
CN106454018B true CN106454018B (zh) 2021-01-26

Family

ID=53835370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610620199.7A Active CN106454018B (zh) 2015-08-04 2016-08-01 全光照相机以及控制它的方法

Country Status (10)

Country Link
US (1) US10721380B2 (zh)
EP (2) EP3128750A1 (zh)
JP (1) JP6917126B2 (zh)
KR (1) KR20170016796A (zh)
CN (1) CN106454018B (zh)
AU (1) AU2016210615B2 (zh)
BR (1) BR102016016922A2 (zh)
CA (1) CA2936387A1 (zh)
MX (1) MX371371B (zh)
TW (1) TWI733686B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3462724A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing Reduced optical crosstalk plenoptic imaging device, corresponding method, computer program product, computer-readable carrier medium and apparatus
JP7287283B2 (ja) * 2018-01-31 2023-06-06 ソニーグループ株式会社 撮像装置、および撮像方法
KR20210148172A (ko) * 2019-04-18 2021-12-07 소니그룹주식회사 교환 렌즈, 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN113419394B (zh) * 2021-06-23 2022-12-20 合肥联宝信息技术有限公司 一种镜头组件、摄像头及成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040165065A1 (en) * 1999-05-27 2004-08-26 Smith Ronald D. Calibrating digital cameras for varying ambient light conditions
US20110128412A1 (en) * 2009-11-25 2011-06-02 Milnes Thomas B Actively Addressable Aperture Light Field Camera
CN103095983A (zh) * 2011-10-31 2013-05-08 株式会社日立制作所 图像信号处理装置
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
US20140340572A1 (en) * 2011-12-20 2014-11-20 Rohm Co., Ltd. Image pickup auxiliary light source device and digital camera provided with same

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148593A (ja) * 1992-11-11 1994-05-27 Canon Inc 光量調整装置を有した光学系
US5644369A (en) * 1995-02-24 1997-07-01 Motorola Switchable lens/diffuser
US6377300B1 (en) * 1998-04-14 2002-04-23 Mcdonnell Douglas Corporation Compact flat-field calibration apparatus
US7990600B2 (en) * 2004-05-24 2011-08-02 Compound Photonics Limited Transmissive, optically addressed, photosensitive spatial light modulators and color display systems incorporating same
US8288936B2 (en) * 2007-06-05 2012-10-16 Sharp Kabushiki Kaisha Light emitting apparatus, method for manufacturing the light emitting apparatus, electronic device and cell phone device
US8680451B2 (en) * 2007-10-02 2014-03-25 Nikon Corporation Light receiving device, focus detection device and imaging device
JP5463718B2 (ja) * 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
JP2012023439A (ja) * 2010-07-12 2012-02-02 Asahi Glass Co Ltd ホワイトバランス調整装置
EP2503364A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Camera system comprising a camera, camera, method of operating a camera and method for deconvoluting a recorded image
JP2012205014A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 撮像装置の製造装置及び製造方法、並びに撮像装置
JP2013105151A (ja) 2011-11-16 2013-05-30 Olympus Corp 光学装置
JP2014066897A (ja) * 2012-09-26 2014-04-17 Fujifilm Corp 領域分割レンズ及びプレノプティックカメラ
EP2957099B1 (en) * 2013-02-13 2018-08-29 Universität des Saarlandes Plenoptic imaging device
US20150350530A1 (en) * 2014-06-02 2015-12-03 Nokia Corporation Light Field Imaging
US9544583B2 (en) * 2015-01-09 2017-01-10 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040165065A1 (en) * 1999-05-27 2004-08-26 Smith Ronald D. Calibrating digital cameras for varying ambient light conditions
US20110128412A1 (en) * 2009-11-25 2011-06-02 Milnes Thomas B Actively Addressable Aperture Light Field Camera
CN103095983A (zh) * 2011-10-31 2013-05-08 株式会社日立制作所 图像信号处理装置
US20140340572A1 (en) * 2011-12-20 2014-11-20 Rohm Co., Ltd. Image pickup auxiliary light source device and digital camera provided with same
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board

Also Published As

Publication number Publication date
EP3128751A1 (en) 2017-02-08
BR102016016922A2 (pt) 2017-02-07
AU2016210615B2 (en) 2021-09-02
MX2016010020A (es) 2017-04-27
TW201722134A (zh) 2017-06-16
JP6917126B2 (ja) 2021-08-11
JP2017032994A (ja) 2017-02-09
EP3128751B1 (en) 2019-12-25
CN106454018A (zh) 2017-02-22
US10721380B2 (en) 2020-07-21
CA2936387A1 (en) 2017-02-04
TWI733686B (zh) 2021-07-21
AU2016210615A1 (en) 2017-02-23
EP3128750A1 (en) 2017-02-08
MX371371B (es) 2020-01-28
KR20170016796A (ko) 2017-02-14
US20170041518A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
CN105657221B (zh) 包括发光器件的全光相机
CN106454018B (zh) 全光照相机以及控制它的方法
US20090052902A1 (en) Communication System, Communication Apparatus and Method, and Computer Program
CN110418044B (zh) 光学系统和电子设备
CN103081106A (zh) 图像传感器和摄像设备
CN102959434B (zh) 分色滤光阵列，固体摄像元件，摄像装置和显示装置
JP6738904B2 (ja) カメラ感光素子、カメラ及び撮影端末
US11134202B2 (en) Plenoptic camera comprising a spatial light modulator
CN107135380A (zh) 一种彩色成像装置以及获取彩色图像的方法
CN105700227B (zh) 显示面板
EP3110130A1 (en) Plenoptic camera and method of controlling the same
EP3112920A1 (en) Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same
US20120281420A1 (en) Combined optical element and lighting device including the same
EP3157244A1 (en) Plenoptic camera and method of controlling the opening of the diaphragm
EP3032817A1 (en) Plenoptic camera comprising a spatial light modulator and method of acquiring views with such a plenoptic camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190604

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

GR01 Patent grant
GR01 Patent grant