CN107071233B - 一种用于对由光场照相机引起的渐晕效应进行校正的方法、设备和可读介质 - Google Patents

一种用于对由光场照相机引起的渐晕效应进行校正的方法、设备和可读介质 Download PDF

Info

Publication number
CN107071233B
CN107071233B CN201611159809.4A CN201611159809A CN107071233B CN 107071233 B CN107071233 B CN 107071233B CN 201611159809 A CN201611159809 A CN 201611159809A CN 107071233 B CN107071233 B CN 107071233B
Authority
CN
China
Prior art keywords
photosite
photosites
light field
value
field camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611159809.4A
Other languages
English (en)
Other versions
CN107071233A (zh
Inventor
莫扎德·赛菲
瓦尔特·德拉季奇
保罗·凯尔比里乌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Priority to CN202110039317.6A priority Critical patent/CN112887637A/zh
Publication of CN107071233A publication Critical patent/CN107071233A/zh
Application granted granted Critical
Publication of CN107071233B publication Critical patent/CN107071233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/021—Mountings, adjusting means, or light-tight connections, for optical elements for lenses for more than one lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本发明解决了由光场照相机捕获的图像上引起的渐晕效应。一种补偿包括包含多个感光点(131、132、133至13p)的图像传感器阵列(13)的光场照相机的渐晕效应的方法。该方法包括从每一个感光点(131、132、133至13p)获得亮度值的操作(S111)；获得用于补偿与光场照相机(1)的当前设置相关联的每一个感光点(131、132、133至13p)的渐晕效应的一组加权值S112)；以及基于所获得的一组加权值来改变每一个感光点(131、132、133至13p)的亮度值(S114)。

Description

一种用于对由光场照相机引起的渐晕效应进行校正的方法、 设备和可读介质
技术领域
本公开通常涉及多视角成像领域，尤其涉及一种使用光场照相机的多光场。
背景技术
光场照相机通过使用放置于主透镜和图像传感器之间的微透镜阵列，能够测量沿与图像传感器相交的每一个射线束行进的光的量。然后，对这种光场进行后处理以从不同的视角来重构场景的图像。所述光场也允许用户改变图像的焦点。
图1示出了光场照相机的说明性结构。光场照相机1包括与图像传感器阵列13相关联的透镜结构。图像传感器阵列13包括以X列和Y行的网格形式排列的大量感光点131、132、133至13p，n是与x乘以y 相对应的元件个数。滤色器阵列12设置在图像传感器阵列13上。滤色器阵列12典型地将RGB(红、绿和蓝)滤色器设置在图像传感器阵列 13上，例如RGB结构可以是拜耳滤波器镶嵌的形式。所述透镜结构包括初级透镜10，也称作主透镜，以及包括多个m个微透镜111、112、 11m在内的小透镜阵列11，m是正整数。微透镜111、112、11m按照这样的方式设置，以便使得每一个都与多个感光点131、132、133至13p 光学地相关联。感光点131、132、133至13p的个数和与利用光场照相机获取的场景个数相对应的一个微透镜光学地相关联。为了获得不同的视图，可以对原始图像(即，利用图像传感器阵列13获取的颜色传感器数据)进行解镶嵌，然后进行解复用。在解镶嵌步骤之后，针对每一个视图，在每一个感光点位置处获得了RGB图像数据值。
利用光场照相机捕获的场景图像应该经历视图解复用，即从2D原始图像到4D光场的数据转换。解复用过程包括按照这样的方式重组原始图像的感光点，使得将捕获具有一定入射角度的光射线的所有感光点 131存储在产生子孔径视图的相同图像中。每一个子孔径视图是所述场景在不同角度下的投影。一组子孔径视图创建了分块矩阵，其中中央的子孔径视图存储了捕获通过主透镜的中央部分的光射线的感光点。事实上，通过微透镜图像中相对于微透镜图像中心的相对感光点位置来提供光射线的角度信息。
使用光场照相机的缺点之一在于渐晕效应，所述渐晕效应引起外围子孔径视图中的变暗视图(由于较小的亮度值)。
图1示出了外围子孔径视图中由于较小的折射光导致的光场照相机的缺点。虚线表示由于渐晕效应导致的具有较少折射光能量的光射线。
由于主透镜的光学缺陷，较大的入射角引起较少的折射光能量。在 2D模式下，结果是图像的亮度不均匀，其中角部比中心暗淡。在光场照相机中，外围子孔径视图是不可用的，因为外围子孔径视图与中心子孔径视图相比太暗。如图1所示，外围子孔径视图102(相对于微透镜图像的中心收集外围定位感光点131和133)是不可用的，因为太暗，主要是因为视图102经受了暴露并且因此经受了噪声。另一方面，利用将通过主透镜中心的光射线捕获到感光点132的中心定位感光点132的收集得到的中心子孔径视图101是可用的,因为视图101更好的暴露并且更少的噪声。
图2示出了图1中所述的图像传感器阵列13的放大视图。中心感光点132将已经通过主透镜中心的光射线捕获到中心感光点132，同时外围感光点131和133捕获与中心感光点132相比以倾斜角度入射的光射线，由于几个原因导致外围感光点131和133的亮度级较弱。首先，以倾斜角度入射的光射线具有较长的路程以行进至图像角落。其次，离轴点看到的瞳孔不是圆形而是椭圆的，并且具有比中心感光点132看到的圆形瞳孔小的面积。再次，尽管光以法向入射撞击图像中心，所述光以角度b撞到图像角落。所有余弦因子的组合效果是cos4定律(余弦四次方定律)的亮度朝着图像角落而减少。
图3示出了来自图像传感器阵列13的传感器中心部分的白光信号的图像。在这一图像中，渐晕效应近似遵循对称的cos4定律(余弦四次方定律)减少。对于中心微透镜的感光点，例如可以通过cos4定律(余弦四次方定律)因子或者高斯减少函数来表示渐晕效应。
尽管可以用cos4定律或任意其他的减少计算公式来仿真这种减少，那些减少只是理论减少计算。因此，校准步骤可以用于更加精确地估计外围感光点中的光减少。
同样，除了信号量值问题之外，这些渐晕效应也导致在应用内容感知解镶嵌方法时的彩色伪像。
根据N.Sabater、M.Seifi、V.Drazic、G.Sandri和P.Perez于2015 年3月20日的参考文献“Accurate Disparity Estimation for Plenoptic Images，” http://link.springer.com/article/10.1007％2F978-3-319-16181-5_42/lookinsid e/000.png，使用通过将原始数据除以相应的白色图像(即朗伯发光类型对象的图像)得到的加权矩阵可以减小(中心和外围之间的)亮度级差异
在以上参考文献中，解释了考虑白色图像作为加权矩阵比在每一个微透镜上对渐晕进行数学建模计算上更加有效。由于不能精确地知晓照相机的固有参数或者每一个透镜的设计，在每一个微透镜上的渐晕效应进行数学建模是不切实际的。所提出的参考文献的解决方案的一些问题在于：每当照相机参数(变焦/聚焦)改变时，需要捕获朗伯发光型对象图像以便计算加权矩阵，因为微透镜图像在感光点上的位置依赖于照相机参数，即照相机的变焦和聚焦。也就是说,在改变照相机参数(变焦/聚焦)时为了计算加权矩阵的目的而捕获朗伯发光型对象图像是不切实际的。
此外，参考文献EP15306059.5公开了一种通过在初级透镜和停止孔径的位置处设置的感光点之间引入渐变滤波器来解决渐晕问题的方式。这种方法的缺点在于当改变照相机的聚焦/变焦时仍然需要捕获朗伯发光型对象图像以便估计微透镜图像在感光点上的位置。
发明内容
本公开提出了一种新颖的方法和设备来克服由光场照相机捕获的图像引起的渐晕效应，也称作全光照相机。
根据本发明的原理，公开了一种用于对由光场照相机捕获的图像上引起的渐晕效应进行校正的方法，所述光场照相机包括具有多个感光点的图像传感器阵列。所述方法包括：从每一个感光点获得亮度值；获得用于补偿每一个感光点的渐晕效应的一组加权值，其中所述组的加权值与所述光场照相机的当前设置相关联；以及基于所获得的一组加权值来改变每一个感光点的亮度值。
本发明的原理也涉及一种对由光场照相机捕获的图像上引起的渐晕效应进行校正的方法，所述光场照相机包括图像传感器阵列，包括多个感光点、初级透镜、位于所述图像传感器阵列和所述初级透镜之间的微透镜以及设置在所述初级透镜和微透镜之间相距所述初级透镜一定距离的附加透镜，所述附加透镜具有与所述距离相对应的焦距。所述方法包括：从每一个感光点获得亮度值；获得用于补偿每一个感光点的渐晕效应的一组加权值；以及基于所获得的一组加权值来改变每一个感光点的亮度值。
本发明的原理也涉及一种对由光场照相机捕获的图像上引起的渐晕效应进行校正的设备，所述光场照相机包括图像传感器阵列，包括多个感光点、初级透镜以及位于所述图像传感器阵列和所述初级透镜之间的微透镜，其中所述设备包括：存储元件，用于存储与所述光场照相机的相应设置相关联的一组加权值，所述一组加权值用于针对每一个感光点的渐晕效应进行补偿；并且处理器可以与所述图像传感器阵列和所述存储元件通信。所述处理器被配置为执行：从每一个感光点获得亮度值；获得针对每一个感光点的一组加权值，所述一组加权值与所述光场照相机的当前设置相关联；以及基于所获得的一组加权值来改变每一个感光点的亮度值。
本发明的原理也涉及一种对由光场照相机捕获的图像上引起的渐晕效应进行校正的设备，所述光场照相机包括图像传感器阵列，包括多个感光点、存储器和处理器，所述存储器存储用于针对每一个感光点的渐晕效应进行补偿的一组加权值。所述处理器被配置为执行：获得用光场照相机捕获的每一个感光点的亮度值；获得每一个感光点的一组加权值；以及基于所获得的一组加权值来改变每一个感光点的亮度值。
本发明的原理也涉及一种光场照相机，包括：初级透镜；微透镜；包括多个感光点在内的图像传感器阵列；其中所述感光点具有相应的灵敏度，所述灵敏度调节用于补偿在由所述光场照相机捕获的图像上引起的渐晕效应。
本发明的原理也涉及一种制造图像传感器阵列的方法，所述图像传感器阵列包括针对光场照相机的多个感光点，使用包括与所述光场照相机具有相同结构的其他光场照相机，不同之处在于所述其他光场照相机的感光点具有均匀的灵敏度。所述方法包括：用其他光场照相机捕获朗伯对象图像；基于所捕获的朗伯对象图像，针对所述其他光场照相机的每一个感光点，计算用于对在所述朗伯对象图像上引起的渐晕效应进行补偿的一组加权值；制造包括具有根据所计算的一组加权值而调节的相应灵敏度的感光点在内的图像传感器阵列；其中所述相应的加权值与所述光场照相机的相应感光点以及所述其他光场照相机的相应感光点两者相关联。
本发明的原理也公开一种制造包括针对光场照相机的多个感光点的图像传感器阵列的方法，所述光场照相机包括初级透镜、包括多个微透镜的小透镜阵列以及设置在所述初级透镜和所述微透镜之间相距所述初级透镜一定距离处的附加透镜，所述附加透镜具有与所述距离相对应的焦距，所述图像传感器阵列包括多个感光点，使用包括与所述光场照相机相同结构的其他光场照相机，不同之处在于所述另一个光场照相机的感光点具有均匀的灵敏度。所述方法包括：用另一个光场照相机捕获朗伯对象图像；基于所捕获的朗伯对象图像，针对所述另一个光场照相机的每一个感光点，计算用于对在所述朗伯对象图像上引起的渐晕效应进行补偿的一组加权值；制造包括具有根据所计算的一组加权值而调节的相应灵敏度的感光点在内的图像传感器阵列；其中所述相应的加权值与所述光场照相机的相应感光点以及所述另一个光场照相机的相应感光点两者相关联。
附图说明
图1示出了光场照相机的说明性结构。
图2示出了图1中所述的图像传感器阵列的放大视图；
图3示出了来自图1的感光点中部的的白光信号的图像；
图4示出了根据本公开实施例的具有附加透镜的光场照相机的说明性结构；
图5示出了在传感器阵列外围上的渐晕和滤色器效应；
图6是示出了实现了根据本公开实施例的光场照相机的设备的硬件结构的图；
图7示出了根据本公开实施例的使用光场照相机来计算针对每一个感光点的一组加权值的说明性流程图；
图8示出了根据本公开实施例替代实施例的基于颜色信道来计算针对每一个感光点的一组加权值的说明性流程图；
图9示出了根据本公开实施例的将所计算的相应加权值施加至来自每一个感光点的输出信号的结构的说明图；
图10示出了根据本公开实施例的将所计算的一组加权值施加至每一个感光点的一组亮度值的说明流程图
图11示出了根据本公开第二实施例的光场照相机的说明性结构；
图12示出了根据本公开第二实施例的计算针对每一个感光点的加权值的说明性流程图；
图13示出了根据本公开变体实施例的计算每一个感光点的填充因子或大小的说明性流程图；以及
图14示出了根据本公开实施例的制造包括多个感光点的图像传感器阵列的说明性流程图。
具体实施方式
期待本公开可以通过本领域普通技术人员来实现，从而将不会详细地描述附图中示出的元件的一些。例如，将不需要详细描述基于处理器的设备，例如移动电话、表、数字静态照相机、膝上型计算机、桌上型计算机、数字电视等。还应该注意的是本公开可以使用编程技术来实现，例如同样地这里不会描述的API(应用程序接口)。最后，附图上相似的数字表示类似的元件。还应该注意的是尽管参考了彩色处理，附图是黑白的，即不需要在附图中使用彩色(而不是黑色和白色)来理解所展示的概念。
图4示出了根据本公开实施例的具有附加透镜的光场照相机的说明性结构。技术参考文献之一EP15305988.6公开了在初级透镜10和小透镜阵列11之间放置附加透镜21的概念，使得微透镜图像的位置不会依赖于照相机的变焦/聚焦。附加透镜21设置在初级透镜10和小透镜阵列11之间的固定位置处，例如在光场照相机1的制造期间或者在制造光场照相机1 之后，将附加透镜21移到或者添加到相距初级透镜10距离L1和相距小透镜阵列11的距离L2处。附加透镜21的焦距等于与初级透镜10和附加透镜 21之间的距离L1相对应的值。
附加透镜21用于估计针对光场照相机1的每一组聚焦距离/变焦参数的一组微图像中心。换句话说，利用这种方案，即使利用不同的变焦或聚焦设置也可以估计微图像的中心。
当附加透镜21的焦距等于距离L1时，通过微透镜110、11i中心的主要光射线301、302和30i与光场照相机1的光轴2001平行，即离开附加透镜并且通过小透镜阵列11的微透镜中心的光射线与光场照相机1的光轴 2001平行。将附加透镜21的焦距设置为距离L1使能了在图像传感器阵列 13上的小透镜阵列11下面形成的微图像中心之间的恒定距离。两个相邻微图像中心之间的距离等于相应小透镜阵列11中心之间的距离，称作L。当对光场照相机1进行校准时，微图像中心在图像传感器阵列13上的规则排列有助于确定这些中心。此外，甚至当距离L1改变时(例如变焦或者聚焦时)，因为将附加透镜21的焦距控制为等于L1，微图像的中心在图像传感器阵列13上的位置不会改变。使用这些技术有助于避免每次改变初级透镜10的变焦和/或聚焦参数时确定每一个微图像的中心。通过采用第 i个微透镜11i的示例，当从附加透镜21输出时光射线30i与光轴2001平行，并且这一射线30i碰到的点是在微透镜30i下面形成的微图像的中心34i，也是射线30i碰到的同一点，无论初级透镜10的聚焦距离和/或变焦参数，即无论距离L1的值。
通过使用附加透镜21，可以在传感器阵列13上的相同位置中捕获微图像的中心，而与变焦或聚焦设置无关，使得改变感光点的灵敏度在解决背景部分中提到的技术问题时更加有效。
在本公开的示范性实施例中，利用如图4所示的附加透镜21来执行所要求的感光点灵敏度的计算。在一些示范性实施例中，可以不要求安装附加透镜21来计算所要求的感光点灵敏度，只要光场照相机1是定焦照相机(换句话说，如果光场照相机1不具有变焦/聚焦设置的功能，可以不要求附加透镜21)，或者当存在将一组加权值与相应的变焦/聚焦设置相关联的装置时。
在本公开的一个示范性示例中，通过均匀地捕获所照射的沿所有方向均等地辐射光的白色对象(下文中称作“朗伯对象”)来执行校准步骤。可以预见这种捕获的朗伯对象图像应该是均匀的白色的，然而由于渐晕和滤色器效应，所捕获的图像实际上不是均匀的白色。设置在图像传感器阵列13上的RGB(红绿蓝)滤色器对于亮度级给出了这样的效果：应该补偿滤色器的效果。
与此同时，由于机械猫眼渐晕，存在一些亮度级小于针对机械猫眼渐晕的阈值(下文中称作“最小阈值”)的感光点131、132、133至13p。
图5示出了在传感器阵列外围上引起的渐晕和滤色器效应。
在由于机械猫眼渐晕的情况下，传感器的远离中心的外围中的一些感光点绝不会接收任何有用的光。因此在本公开中，预设了最小阈值以便在将要补偿渐晕减小效应的感光点和将不会补偿的感光点之间进行区分。由于前透镜孔径、后透镜孔径和光圈孔径，一些感光点将处于“阴影”中(换句话说，这些感光点将不会接收光)。可以选择最小阈值，以判定由于机械猫眼渐晕，所述感光点是否曾经接收光。最小阈值的示例是1当中的0.1。在本公开中,将不会对小于最小阈值的亮度值的那些感光点进行补偿,因为由于机械猫眼渐晕,已经确定那些感光点不会接收有用的光。
在本公开的另一个实施例中，可以将每一个感光点的亮度值增加 (或减少)，或者也可以设计每一个感光点的灵敏度以对用于采样颜色内容的滤色器的效果进行校正。例如，可以响应于理想的白光信号，将蓝色滤色器后面的感光点设计为更高的灵敏度以捕获与放置在绿色滤色器后面的感光点相同的值。随后将在说明书的这一部分中解释详细的步骤。
图6是示出了根据本公开各种实施例的设备的硬件结构的图。尽管在图6中描述了设备5包括光场照相机1(或者将在说明书的后续部分中解释的1A)，光场照相机1可以与设备5分离地配置。设备5可以是任意设备，例如桌上型或个人计算机、智能电话、智能手表、平板、移动电话、便携式/个人数字助理(“PDA”)以及便于终端用户和光场照相机1之间的信息通信的其它设备。光场照相机1也可以在内部具有设备5的等价硬件结构。
设备5包括通过地址和数据总线54彼此相连的以下元件，其中地址和数据总线还传输时钟信号：处理器51(或CPU)，ROM(只读存储器)型的非易失性存储器52、随机存取存储器或RAM 53，无线电接口(RX)56，适用于数据传输的接口55(TX)，光场照相机1，适用于向用户显示信息和/或输入数据或参数的MMI(人机接口)58(I/F应用)。
应注意，存储器52和53的描述中所用词语"寄存器”或“存储”表示所提及的存储器、小容量存储区域和大容量存储区域(能够将整个程序存储在这些存储器中或所有或一部分数据表示所接收的并且针对这些存储器进行解码的数据)中的每一个。
ROM 52包括程序“prog”。实现特定于本发明的且描述于下的方法步骤的算法存储在ROM 52存储器中，并且与实现这些步骤的设备5相关联。当加电时，处理器51加载并运行这些算法的指令。
RAM 53y尤其在寄存器和/或存储器中包括负责设备5的接通的处理器51的操作程序、接收参数(例如，用于调节、编码、MIMO(多输入多输出)、帧重发的参数)、发射参数(例如，用于调制、编码、MIMO、帧重发的参数)、与无线电接口56接收和解码的数据相对应的输入数据、形成为在接口处发射至应用58的已解码数据、初级透镜10的参数和/或表示由微透镜阵列的微透镜形成的微图像中心的信息。
设备5的除了相对于图6描述的那些结构之外的其他结构与本公开是兼容的。具体地，根据各种替代实施例，设备5可以根据纯硬件实施来实现，例如以专用组件(例如，ASIC(专用集成电路)或FPGA(现场可编程门阵列)或VLSI(超大规模集成电路)或嵌入在设备中的若干电子组件)的形式、或甚至以硬件元件和软件元件混合的形式。
无线电接口56和接口55适用于根据一个或几个电信标准来接收和发射信号，例如IEEE 802.11(Wi-Fi)、与IMT-2000规范兼容的标准(也称作3G)、与3GPP LTE兼容的标准(也称作4G)、IEEE 802.15.1(也称作蓝牙)。
根据替代实施例，设备5不包括任何ROM而是只包括RAM，其中将实现本公开特定的方法的步骤的算法存储在RAM中。
图7示出了根据本公开实施例的使用光场照相机来计算针对每一个感光点的一组加权值的说明性流程图。所计算的加权值w(u,v)可以用于增加位置(u，v)处的感光点的亮度值。可以通过处理器51来执行在该流程图中描述的步骤。在这种示范性流程图中，(u，v)表示第i个感光点在传感器阵列13平面上的坐标。在步骤7，根据将要处理的感光点的数字i递增来将“u”和“v”的每一个值递增(S7)。
在步骤1(S1)，当光场照相机1捕获到沿所有方向均等地均匀辐射光的朗伯对象的图像时，处理器51接收所有感光点131、132、133至13p 的亮度值。
可以利用颜色分量的加权求和来计算所述亮度值。例如，可以利用以下等式来计算亮度值。
l(u,v)＝h_red*q_red+h_green*q_green+h_blue*q_blue。
例如，亮度l(u,v)＝((q_red x 299)+(q_green x 587)+(q_blue x 114))/1000；
可以根据本公开的原理来采用用于计算感光点131、132、133至13p 的亮度值的其他技术。
在步骤1(S1)，处理器51也将每一个感光点131、132、133至13p的亮度值归一化，使得最大值转换为所述感光点可以提供规定最大量值。
例如，对于8位传感器为255；
l’(u,v)＝255*l(u,v)/max_l
其中l'(u，v)表示在感光点位置(u,v)处的归一化亮度值，l(u， v)表示感光点位置(u，v)处的亮度值，以及max_l表示所有感光点131、 132、133至13p中的最大亮度值。
在步骤2(S2)，处理器51确定并且登记归一化的最大亮度值max_l'。在一个示范性实施例中，处理器51可以将所有感光点的亮度值l(u，v) 临时地登记到诸如RAM 53或ROM52之类的存储器中，并且可以从登记的所有亮度值中确定最大亮度值max_l。处理器51也将归一化的最大亮度值 max_l’登记到存储器中。具有最大亮度值max_l的感光点131、132、133 至13p通常位置靠近传感器阵列13的中心部分。
在步骤3(S3)至7(S7)中执行针对每一个感光点131、132、133 至13p的一组加权值(加权矩阵)的计算。
如上所述，在由于机械猫眼渐晕的一些情况下，传感器阵列13的远离传感器阵列13中心的外围中的一些感光点131、132、133至13p绝不会接收任何有用的光。因此在本公开中，准备并且确定了最小阈值。本公开中的系统涉及由于机械猫眼渐晕导致影响那些小于阈值的亮度值l(u， v)的感光点131、132、133至13p，并且将那些感光点131、132、133至 13p的加权值设置为等于0。
在步骤3(S3)，处理器51确定第i个感光点131、132、133至13p的亮度值l(u，v)是否小于最小阈值。如果确定第i个感光点的亮度值l’ (u,v)小于最小阈值，过程前进到步骤4(S4)。如果确定值l(u,v)大于或等于最小阈值，过程前进到步骤5(S5)。
在步骤4(S4)，如果确定第i个感光点131、132、133至13p的亮度值l(u，v)小于阈值，处理器51将针对这一感光点的加权值设置为等于 0。
在步骤5(S5)，处理器51计算针对第i个感光点131、132、133至13p 的加权值。
然后，处理器51从存储器中读取值max_l，然后通过计算比率w(u,v) ＝max_l/l(u,v)来计算针对第i个感光点的加权值w(u，v)，这是针对位置(u，v)的感光点的校正加权值。在这种示例中，w(u，v)用于对红色、绿色和蓝色分量进行校正。
尽管这里已经描述了具体的实施例，应该理解的是针对亮度值的计算或者针对加权值的计算不局限于此，并且在本公开的范围内可以进行许多改进或者附加。
在步骤6(S6)，处理器51将针对第i个感光点计算的加权值存储在存储器中(加权矩阵存储器87)。应该注意的是在光场照相机中没有安装附加透镜21的情况下，微透镜图像在传感器阵列13上的位置依赖于照相机参数，例如照相机的变焦和聚焦。在没有安装附加透镜21的情况下，应该将一组计算的加权值登记到与当前的变焦/聚焦设置相关联的存储器中，通过在附图中没有描述的装置来检测当前的变焦/聚焦设置。加权值可以进一步与感光点(u，v)在传感器阵列13平面上的位置相关联，以便施加至传感器阵列13平面上的相应感光点(u，v)的亮度值。换句话说，针对感光点(u，v)在传感器阵列13平面上的位置而计算的加权值可以用于在随后解释的步骤114(S114)中，增加感光点(u，v)在传感器阵列13平面上的相同位置上捕获的亮度值。
在步骤7(S7)，处理器51确定这是否是阵列中的最后一个感光点。确定感光点是否是最后一个感光点的示范性方式之一是将处理感光点号 i与预先登记到存储器中的最大感光点号imax进行比较。在100x100总共 10000个感光点设置在传感器阵列13平面上的情况下，当计算针对i＝9999 感光点(在这种情况下“i”是从0至9999的整数)的加权值时，处理器 51将终止循环。在这种情况下，感光点不是最后一个感光点，处理器51 将感光点数i递增，并且将回到步骤3(S3)。如果确定感光点是最后一个感光点imax，因为计算了一组加权值(例如，针对从i＝0至i＝9999的10000 个感光点的一组加权值)，终止处理。
在这种流程图中，为了使读者能够容易地理解本发明，按照第i个的形式表示将要处理的感光点。然而，本领域普通技术人员应该理解的是可以使用不同形式的计算。例如，要处理的感光点可以采取(u，v) 的形式，那么当完成u＝umax并且v＝vmax处的感光点的计算时(例如，(在“u”和“v”是从0至99的整数的情况下)对于100x100传感器，umax＝99并且 vmax＝99)，终止所述处理。
图8示出了基于颜色信道来计算针对每一个感光点的一组加权值的替代实施例的说明性流程图。如上所述，依赖于放置到每一个感光点131、 132、133至13p的滤色器，因为每一个颜色信道带来的效果可能不同，应该改变加权值。通过处理器51来执行在该流程图中描述的整个方法。在这种示范性流程图中，(u，v)表示第i个感光点在传感器阵列13平面上的坐标。在步骤80，根据将要处理的感光点的号i递增来将“u”和“v”的每一个值递增(S80)。当然，存在用于检测与每一个感光点相对应的滤色器的颜色的装置。
在步骤10(S10)，当光场照相机1捕获到沿所有方向均等地均匀辐射光的朗伯对象的图像时，处理器51接收感光点131、132、133至13p的亮度值l(u，v)。如图7中步骤1(S1)所述，执行对捕捉的亮度值归一化的步骤。如前所述，l'(u，v)、max_l’和q'(最大值，颜色)每一个均表示归一化的亮度值。
在步骤20(S20)，处理器51从接收信号(所有的亮度值)确定针对包括在诸如拜耳滤波器之类的滤色器中的每一种颜色的归一化最大亮度值q'_(最大值，颜色)。在一个示范性实施例中，处理器51可以通过将放置到相应感光点131、132、133至13p上的滤色器的相应颜色相关联来临时登记所有感光点131、132、133至13p的亮度值。例如，处理器51可以登记与感光点131、132、133至13p的颜色“红色”相关联的亮度值，其上放置了红色滤色器。然后，处理器51可以从登记的所有亮度值来定位每一种颜色的最大亮度值。处理器51可以将相应的最大亮度值登记到存储器中。例如，在滤色器包括红色、绿色和蓝色的情况下，确定针对每一种相应颜色的归一化最大亮度值(q’_(max.red),q’_(max.green), q’_(max.blue))。具有最大亮度值的感光点131、132、133至13p通常位置靠近传感器阵列13的中心部分。
在步骤30(S30)至步骤80(S80)中执行针对每一个感光点的一组加权值的计算。在步骤30(S30)，处理器51确定第i个感光点的归一化亮度值l’(u，v)是否小于最小阈值。如果确定该归一化亮度值l’(u,v) 小于最小阈值，过程前进到步骤40(S40)。如果确定值l’(u,v)大于或等于最小阈值，过程前进到步骤50(S50)。
在步骤40(S40)，当确定第i个感光点的归一化亮度值小于阈值时，处理器51确定由于机械猫眼渐晕导致该第i个感光点将不会接收光。处理器51将针对第i个感光点的加权值设置为等于0。
在步骤50(S50)，处理器51确定第i个感光点上滤色器的颜色，并且获得针对这一感光点上的滤色器的颜色的校正值。
在步骤60(S60)，处理器51计算针对该第i个感光点的加权值，例如可以利用以下等式来确定所述加权值：
w(u,v)＝h_color*q’_(max,color)/l’(u,v)
l’(u,v)是当通过光场照相机1捕获朗伯对象时位置(u，v)处的感光点上测量的归一化亮度值。q'_(最大值，颜色)是当通过光场照相机1捕获朗伯对象时在图像传感器阵列13上测量的每种颜色的归一化最大亮度值。h_color是与放置到感光点上的滤色器的颜色(例如，红色、绿色或蓝色)相对应的预定校正值。
例如，在坐标(u，v)处的第i个感光点上的滤色器是红色的情况下，利用以下等式来计算加权值：
w(u,v)＝h_color(red)*q’_(max.red)*1/l’(u,v)
在步骤70(S70)，处理器51登记针对第i个感光点而计算的加权值。在这一步骤，在光场照相机中没有安装附加透镜21的情况下，可以将所计算的一组加权值登记到与当前的变焦/聚焦设置相关联的存储器中。
在步骤80(S80)，处理器51通过将处理感光点号i与预先登记到存储器中的最大感光点号imax进行比较，来确定这是否是最后一个感光点。如果确定感光点是最后一个感光点，终止处理。如果确定感光点不是针对加权值而计算的最后一个感光点，处理器51将感光点数i递增，并且返回步骤30(S30)来计算针对下一个感光点(第i+1个感光点)的加权值。
在这种流程图中，为了使读者能够容易地理解本发明，按照第i个的形式表示将要处理的感光点。然而，本领域普通技术人员应该理解的是可以使用不同形式的计算。例如，要处理的感光点可以采取(u，v) 的形式，那么当完成u＝umax并且v＝vmax处的感光点的计算时(例如，(在“u”和“v”是从0至99的整数的情况下)对于100x100传感器，umax＝99并且 vmax＝99)，终止所述处理。
【第一实施例】
图9示出了根据本公开实施例的用于将计算的相应加权值施加至来自每一个感光点(感光点)的输出信号的结构的原理图。所计算的一组加权值分别被施加至每一个感光点的亮度值，以便补偿在捕获图像时引起的渐晕效应。
如图9所示，由图像传感器阵列13捕获的信号经由行存取驱动器81、列放大器82和模拟增益83发送到模数转换设备84。时钟发生器80调节执行指令的速率。一组加权值由处理器51计算并登记到加权矩阵存储装置 87中。在捕获的信号被转换为数字流之后，来自每一个感光点的信号可以在乘法器86处乘以对应的加权值，以便补偿渐晕效应。备选地，来自每一个感光点的信号在被转换成数字流之前可以被相乘。在该实现中，不需要通过改变每一个感光点的大小或填充因子来调整每一个感光点的灵敏度。根据所计算的一组加权值(加权矩阵)在捕获图像之后补偿渐晕效应。虽然在附图中未指示用于检测光场照相机1的当前设置(诸如变焦/聚焦)的装置，但是光场照相机1可以被配置为具有这样的装置。
在该实施例的变型中，存储在加权矩阵存储装置87处的一组加权值可以由用户更新。用户可以从源外部下载一组加权值(一组加权矩阵)，或者通过使用上述校准步骤中的一些获取一组加权值，并将所获取的一组加权值登记到加权矩阵存储装置87中。该实现对于具有或不具有附加透镜21的情况可以是有用的。即使使用附加透镜21，也可能存在若干修改渐晕效应的因素。情况之一是当更换主透镜时。这修改了渐晕效应，并因此需要重新计算加权。另一种情况是照相机的偏置或噪声修改了渐晕效应。该偏置随着时间经过而(通过由温度、机械变化、物理变化等带来的偏置)出现。存在修改渐晕效应的若干其它因素，其中能够根据由用户进行的配置改变来改变一组加权值将帮助补偿这些情况。
一组加权值可以通过以下来直接计算：利用对光学设置的给定调谐来捕获朗伯(Lambertian)对象，然后利用上述算法计算我们然后可以经由外部接口上传的一组加权值。在这种情况下，可以不必要使用附加透镜21，因为一组加权值(加权矩阵)在照相机中是可编程的。除非在确定的硬件中实现一组加权值，用户可以使用朗伯对象在它适合于(变焦/焦距改变)时来校准系统。根据本文描述的算法计算一组加权值，然后可以在捕获朗伯对象时与光场照相机1的设置相关联地将一组加权值存储在存储器(加权矩阵存储装置87)中。
图10示出了根据本公开实施例的用于将计算的一组加权值施加至每一个感光点的一组亮度值的说明性流程图。在该流程图中描述的整个过程由处理器51执行。在下面的解释中，(u，v)指感光点在传感器阵列平面13上的坐标。
在步骤111(S111)中，处理器51从每一个感光点131、132、133至 13p获得亮度值，用光场照相机1捕获并归一化所述亮度值。
在步骤112(S112)中，处理器51访问存储装置(诸如加权矩阵存储装置87)，以获得每一个感光点131、132、133至13p的一组加权值，所述一组加权值可以与光场照相机1的当前变焦/聚焦设置相关联。如上所述，光场照相机1具有检测当前设置(诸如变焦/聚焦)的装置，并且当前设置被存储在存储器中。如果确定在存储装置(加权矩阵存储装置87) 中找到与当前变焦/聚焦设置相关联的一组加权值，则过程进行到步骤 114(S114)。如果没有找到与当前变焦/聚焦设置相关联的一组加权值，则过程进行到步骤113(S113)。在变体实施例中，附加透镜21可以被安装在光场照相机1中。在这种情况下，一组加权值不必与相应的变焦/聚焦设置相关联，因为传感器阵列13上的一组微透镜图像的位置是固定的。
在步骤113(S113)中，处理器51提示用户执行图7或图8中描述的计算一组加权值的步骤，或者提示用户登记与当前变焦/聚焦设置相关联的一组加权值。可以从外部源(诸如互联网或制造商的站点)获得一组加权值。该提示可以以本领域中已知的任何方式执行，诸如通过经由MMI (人机界面)85示出消息或输出音频消息。
在步骤114(S114)中，处理器51将来自每一个感光点的亮度值乘以对应的加权值。所计算的加权值w(u，v)可以用于乘以位置(u，v) 处的感光点的亮度值。通过将每一个感光点的亮度值乘以对应的加权值，由于渐晕效应而受影响的每一个感光点的亮度值增加。最终，将补偿由光场照相机1捕获的图像上引起的渐晕效应。
【第二实施例】
以下第二实施例涉及利用附加硬件结构来调整每一个感光点的灵敏度。
图11示出了根据本公开第二实施例的光场照相机的说明性配置。与图1中描绘的光场照相机1的不同之处在于包括感光点131A、132A、133A 至13pA的图像传感器阵列13A的这些灵敏度分别被调整。其他结构可以与图1中描绘的光场照相机1几乎相同。在第二实施例中，输出相对高的亮度值的中心感光点132A将被设计成通过以下来捕捉较少的光子：减小中心感光点132A的大小或通过覆盖或隐藏感光点的表面来调整中心感光点 132A的填充因子。在该实施例中，可能需要安装附加透镜21，以便将图像的中心设置为始终位于相同位置，而与因为每一个感光点131A、132A、 133A至13pA的硬件结构改变而导致的变焦/聚焦设置无关。然而，只要光场照相机1A是定焦照相机，可以不需要安装附加透镜21(换句话说，在光场照相机1A不具有变焦/聚焦设置的功能的情况下，可以不需要附加透镜21)。
与涉及通过将每一个感光点131、132、133至13p的亮度值乘以对应的加权值来计算地改变亮度值的第一实施例相反，第二实施例涉及通过改变每一个感光点131A、132A、133A至13pA的硬件结构来调整每一个感光点131A、132A、133A至13pA的灵敏度。换句话说，第二实施例涉及拉平感光点131A、132A、133A至13pA的亮度值，其旨在使所有感光点131A、132A、133A至13pA针对所捕获的朗伯对象图像输出相对相同的亮度值。这可以通过降低中心感光点132A的灵敏度或者增加外围感光点131A和 133A的灵敏度来实现，中心感光点132A与外围感光点131A和133A相比捕捉更多的光子。
如上所述，本公开的第二实现涉及设计(调整)图像传感器阵列13A 中包括的每一个感光点131A、132A、133A至13pA的灵敏度。考虑相应的加权值来调整每一个感光点131A、132A、133A至13pA的灵敏度。在每一个感光点131A、132A、133A至13pA上要捕捉的光子的数量可以与每一个感光点131A、132A、133A至13pA的大小或填充因子成比例。在制造或预制造阶段中，执行将在本描述中描述的一组加权值的计算，然后可以根据针对感光点131、132、133至13p和131A、132A、133A至13pA所计算的一组加权值来设计(调整)每一个感光点131A、132A、133A至13pA的大小或填充因子。
图12示出了根据本公开第二实施例的用于计算感光点的一组加权值(加权矩阵)的说明性流程图。重要的是知道使用图1中描绘的其他光场照相机1执行一组加权值的计算。光场照相机1具有与图11中描绘的光场照相机1A相同的配置，除了图像传感器阵列13之外。光场照相机1的图像传感器阵列13包括没有调整灵敏度的感光点131、132、133至13p，换句话说，光场照相机1的感光点131、132、133至13p的灵敏度是均匀的。另外，重要的是知道光场照相机1具有与光场照相机1A相同的感光点布置 (感光点的数量和对准)。在下面的解释中，(u，v)指感光点在传感器阵列平面13或13A上的坐标。
在步骤121(S121)中，光场照相机1捕获沿所有方向上均等地辐射光的朗伯对象，并将信号发送到处理器51。换句话说，在步骤121(S121)，当由光场照相机1捕获朗伯对象图像时，处理器51获得光场照相机1的每一个感光点131、132、133至13p的亮度值。下表1示出了与位于小透镜阵列11中心处的一个微透镜相对应的总共121个11×11的感光点131、132、133至13p中的亮度值的示例。
表1
Figure BDA0001181341060000191
在该示例中，最大亮度值是220。
在步骤122(S122)中，可以对每一个感光点131、132、133至13p 的亮度值进行归一化，使得最大值被变换为感光点可以提供的最大量值。
例如，对于8位传感器为255；
l'(u，v)＝255*l(u，v)/max_l(u，v)
下表2示出了与一个微透镜相对应的总共121个11×11的感光点131、 132、133至13p中的归一化亮度值的示例。
表2
Figure BDA0001181341060000192
突出显示的值是亮度值高于最小阈值(min_threshold)的感光点。在该示例性实施例中，将25设置为最小阈值(min_threshold＝25)。那些突出显示的感光点需要改变那些大小或填充因子以减少要捕获的光子，以便拉平由每一个感光点131A、132A、133A至13pA捕获的光的强度。
在步骤123(S123)中，处理器51确定第i个感光点131、132、133 至13p的归一化亮度值是否大于或等于最小阈值(min_threshold)。最小阈值(min_threshold)是任意预设值，并被存储在存储器中。
在步骤124(S124)中，如果第i个感光点131、132、133至13p的归一化亮度值大于或等于最小阈值(min_threshold)，则处理器51通过以下来计算第i个感光点131、132、133至13p的加权值：将最小阈值 (min_threshold)除以该第i个感光点131、132、133至13p的归一化亮度值。
对于加权值的计算，可以使用以下公式；
Figure BDA0001181341060000201
备选地，可以通过以下公式计算加权值。
w(u,v)＝min_threshold/max(1'(u，v)，min_threshold)
在步骤125(S125)中，处理器51将所计算的用于第i个感光点131、 132、133至13p的加权值与感光点131、132、133至13p在传感器阵列平面 13上的坐标(u，v)相关联地登记到存储器。例如，处理器51登记与感光点在传感器阵列平面13上的位置(u,v)相关联的加权值w，使得其计算的加权值要被施加至光场照相机1A中的传感器阵列平面13A上的相同坐标w的感光点131A、132A、133A至13pA。
在步骤127(S127)中，如果确定感光点131、132、133至13p的归一化亮度值不大于或等于最小阈值(min_threshold)，则处理器51将加权值设置为“1”。
在步骤126(S126)中，处理器51确定该第i个感光点131、132、133 至13p是否是最后一个。处理器51可以确定这是否是最后一个感光点131、 132、133至13p的示例性方法之一是将处理感光点号i与最大感光点号imax进行比较，该最大感光点号imax被预先登记到存储器。例如，在设备5中包括总共10000个100×100感光点的情况下，当计算用于i＝9999(在“i”是从0到9999的整数的情况下)的感光点的加权值时，处理器51将终止循环。在这种情况下，如果它不是最后一个感光点，则处理器51递增感光点号i并返回到步骤123。如果它是最后一个感光点imax，则由于计算了一组加权值(加权矩阵)，所以终止处理。
在该流程图中，为了使读者能够容易地理解本公开，要处理的感光点是以第i个的形式表示的。然而，本领域技术人员可以理解，可以使用不同形式的计算。例如，要处理的感光点可以采取(u，v)的形式，然后当完成在u＝umax和v＝vmax(例如，对于100×100的传感器，umax＝99 和vmax＝99(在“u”和“v”是从0至99的整数的情况下))处的感光点的计算时终止处理好。
下表示出了与一个微透镜相对应的每一个感光点131、132、133至 13p所计算的一组加权值。
Figure BDA0001181341060000211
突出显示的是那些灵敏度根据加权值中的每一个来调整的感光点，例如用以下的公式：
Surface(u，v)＝maximum_surface*w(u，v)
最大表面maximum_surface指击中最小阈值min_threshold亮度值的感光点的大小或填充因子。在上述示例中，利用击中亮度值25的周边感光点的大小或填充因子来限定maximum_surface。
例如，在最后一个表中亮度值击中255的中心感光点，大小或填充因子可以根据以下公式来调整：
Size(or填充因子)(u,v)＝maximum_surface(或填充因子)* 0.098
可以通过以下来实现对相应感光点131A、132A、133A至13pA的灵敏度的调整：通过放置部分地隐藏每一个感光点131A、132A、133A至13pA 的接收表面的高速缓存，或者在每一个感光点131A、132A、133A至13pA 前面制作掩模以减小每一个感光点131A、132A、133A至13pA的填充因子。
改变感光点131A、132A、133A至13pA的灵敏度的备选方式是设计灰色滤光器图案并将其(例如通过蒸发技术)印刷到感光点131A、132A、 133A至13pA上，使得其在捕获白色图像时衰减观测到的高值。
通过减小中心感光点的大小或填充因子，减小了感光点的灵敏度。这导致具有更多噪声的较暗图像。为了降低噪声，可以增加照相机曝光时间。增加曝光时间可以提供更亮并且没有渐晕的图像。也就是说，可以考虑捕获的图像的亮度来调整曝光时间。
在第二实施例的备选实现中，受渐晕效应影响的周边感光点131A、 132A、133A至13pA可被设计成基于由(在图7和图8中描述的)步骤计算的一组加权值来捕捉更多的光子。可以考虑所计算的加权值来增加周边感光点的填充因子或大小。
w′(u,v)＝max_lw′(u,v)＝max_l’/max(lw′(u,v)＝max_l’/ max(l’(u,v),min_threshold)
max_l′指归一化的最大亮度值，其被变换为感光点可以提供的最大量值。l’(u,v)指位于坐标(u，v)处的感光点的归一化亮度值。在使用8位传感器的情况下，公式可以是；
w’(u,v)＝255/max(lw’(u,v)＝255/max(l’(u,v),min_threshold)
Surface(u，v)＝minimum_surface*w'(u，v)
最小表面minimum_surface指期望制造的最小感光点的大小或填充因子，并且其与击中最大亮度值的感光点的大小相对应。在上述示例中， minimum_surface用在前述表中击中亮度值255的中心感光点的大小或填充因子来限定。
在另一备选实现中，可以考虑由“Smax”表示的最大有意义填充因子来增加周边感光点的填充因子或大小(值“Smax”由传感器的制造商设置，例如Smax＝0.9)，并且最小值由“Smin”表示(值“Smin”由传感器的制造商设置，例如Smin＝0.2)。两个相邻的感光点的中心之间的距离由“感光大小(PhotoSize)”表示(在传感器阵列13上，每两个相邻感光点之间的距离假定为恒定或均一的，以保持公式工作)。通过“min_threshold”表示猫眼的阈值，并且将归一化的亮度值[00101]表示为l'(u，v)，传感器阵列平面13上的坐标(u，v)处的感光点的填充因子或大小可以通过以下等式计算：
Surface(u，v)＝(a(l'(u，v)-min_threshold)+Smax)*PhotoSize
a＝(Smin-Smax)/(255-min_threshold)
例如，(u，v)处的感光点的原始填充因子或大小是光子大小 PhotoSize的大小的0.5。假设Smin＝0.3和Smax＝0.9，则感光点的最小的填充因子或大小将是PhotoSize的0.3，并且最大值为PhotoSize的 0.9。对于min_threshold＝20，具有l'(u，v)＝min_threshold的感光点，感光点的填充因子或大小需要为PhotoSize的0.9，因此大于感光点的原始填充因子或大小，并且具有l'(u，v)＝255的感光点需要为 PhotoSize的0.3，其小于感光点的原始填充因子或大小。
图13示出了根据本公开的第二实施例的用于针对感光点计算感光点的一组填充因子或大小f的说明性流程图。
在步骤131(S131)中，光场照相机1捕获沿所有方向上均等地辐射光的朗伯对象，并将信号发送到处理器51。换句话说，在步骤131(S131) 中，当朗伯对象图像由光场照相机1捕获时，处理器51获得光场照相机1 的感光点131、132、133至13p中的每一个的亮度值。
在步骤132(S132)中，可以对每一个感光点131、132、133至13p 的亮度值进行归一化，使得最大值被变换为感光点可以提供的最大量值 (对于8位传感器是255)。
l'(u，v)＝255*l(u，v)/max_l(u，v)
在步骤133(S133)中，处理器51利用以下的公式计算第i个感光点 131、132、133至13p的填充因子f。
Surface(u,v)＝(a(l’(u,v)-min_threshold)+Smax)* PhotoSize
a＝(Smin-Smax)/(255-min_threshold)
在步骤134(S134)中，处理器51将用于第i个感光点131、132、133 至13p的计算的填充因子f与传感器阵列平面13上的感光点131、132、133 至13p的位置(u，v)相关联地登记到存储器。例如，处理器51登记与感光点在传感器阵列平面13上的位置(u,v)相关联的填充因子f，使得其计算的填充因子要被施加至光场照相机1A中的传感器阵列平面13A上的相同位置(u,v)的感光点131A、132A、133A至13pA。
在步骤135(S135)中，处理器51确定第i个感光点131、132、133 至13p是否是最后一个。处理器51可以确定这是否是最后一个感光点131、 132、133至13p的示例性方法之一是将处理感光点号i与最大感光点号imax进行比较，该最大感光点号imax被预先登记到存储器。例如，在设备5中包括总共10000个100×100感光点的情况下，当计算用于i＝9999(在“i”是从0到9999的整数的情况下)的感光点的加权值时，处理器51将终止循环。在这种情况下，如果它不是最后一个感光点，则处理器51递增感光点号i并返回到步骤133。如果它是最后一个感光点imax，则由于计算了一组加权值(加权矩阵)，所以终止处理。
在该流程图中，为了使读者能够容易地理解本公开，要处理的感光点是以第i个的形式表示的。然而，本领域技术人员可以理解，可以使用不同形式的计算。例如，要处理的感光点可以采取(u，v)的形式，然后当完成在u＝umax和v＝vmax(例如，对于100×100的传感器，umax＝99 和vmax＝99(在“u”和“v”是从0至99的整数的情况下))处的感光点的计算时终止处理。
另一种变型实现(增加周边感光点的填充因子或大小)不需要调整曝光时间，因为与减小感光点的填充因子或大小的实施例相比，要捕获的图像总体上是亮的，具有较少的噪声。
图14示出了根据本公开实施例的用于制造包括多个感光点的图像传感器阵列的说明性流程图。
使用光场照相机1，捕获沿所有方向上均等地辐射光的均匀照明的朗伯对象，并将信号发送到处理器51。换句话说，在步骤141(S141) 处，该光场照相机1的处理器51(或者与光场照相机1分开配置的设备5 的处理器51)获得当朗伯对象图像被另一个光场照相机1捕获时每一个感光点131、132、133至13p的亮度值。
在步骤142中，计算用于基于所捕获的朗伯对象图像来校正将在图像上引起的渐晕效应的一组加权值(加权矩阵)(或新填充因子)。
在步骤143(S143)中，制造图像传感器阵列13A，该图像传感器阵列13A包括具有根据所计算的一组加权值(或新填充因子)调整的相应灵敏度的感光点131A、132A、133A至13pA，所计算的一组加权值(或新填充因子)与其它光场照相机1的感光点131、132、133至13p的每一个坐标相关联。如上所述，与感光点131、132、133至13p在光场照相机1的传感器阵列平面13上的坐标(u,v)相关联地登记加权值w(或新填充因子f)。除了不调整光场照相机1的感光点131、132、133至13p的灵敏度(换句话说，光场照相机的感光点131、132、133至13p的灵敏度是均一的)之外，光场照相机1包括与光场照相机1A相同的配置。因此，另一个光场照相机 1的感光点131、132、133至13p的数量和布置与光场照相机1A的感光点 131A、132A、133A至13pA相同。在制造阶段中，根据与传感器阵列平面 13上的相应坐标相关联的相应加权值(或新填充因子)来调整相应感光点131A、132A、133A至13pA的灵敏度。例如，将根据与传感器阵列平面 13上的坐标(0,5)相关联的加权值(或新填充因子f)调整传感器阵列平面13A上的坐标(0,5)处的感光点131A、132A、133A至13pA的灵敏度。
应当理解，用于调整感光点131A、132A、133A至13pA的灵敏度的所有其他各种实现可以用于本发明中。
上面公开的表或公式或流程图仅仅是用于介绍各种实施例的原理的示例。应当理解，公式、阈值、亮度值的计算或加权值的计算不限于此，并且在本发明的范围内可以做出许多修改和添加。
根据本公开实施例，用户可以从外部源下载一组加权值(一组加权矩阵)，或者通过本描述中描述的校准步骤获取一组加权值，并且将所获取的一组加权值登记到加权矩阵存储装置87中。加权矩阵存储装置87存储均与相应的变焦/聚焦设置相关联的一组加权值。系统可以从加权矩阵存储装置87找到与当前变焦/聚焦设置匹配的一组加权值，用于对由光场照相机1捕获的图像上引起的渐晕效应进行校正。因此，改变每一个感光点131、132、133至13p的亮度值将有效地解决上述部分中所述的技术问题。
根据本公开的另一实施例，根据使用其他光场照相机1的计算的一组加权值来调整光场照相机1A的每一个感光点131A、132A、133A至13pA 的灵敏度。光场照相机1A还可以包括附加透镜21，其有助于针对光场照相机1的每组聚焦距离/变焦参数来估计一组微图像中心。因此，改变每一个感光点131A、132A、133A至13pA的灵敏度将有效地解决上述部分中所述的技术问题。
自然，本公开不限于上述实施例特别地，本公开不限于光场照相机 1或1A，而是还扩展到控制和/或校准光场照相机的方法以及实现控制/ 校准方法的硬件电路。
可通过由处理器51执行的指令实现本文所述的对由光场照相机1或 1A捕获的图像上引起的渐晕效应进行校正的方法，而且这些指令(和/ 或通过实现产生的数据值)可存储在处理器可读介质上，诸如例如集成电路、软件载体或其它存储设备，诸如例如硬盘、压缩盘(“CD”)、光盘 (诸如例如DVD，其通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)、或只读存储器(“ROM”)。指令可以采取在处理器可读介质上有形实施的应用程序的形式。指令可位于例如硬件、固件、软件或其组合中。可以在例如操作系统、分开的应用或两者组合中发现指令。因此，处理器51可以被特征化为例如配置用于执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如，存储设备)的设备。此外，处理器可读介质可存储实现所产生的数据值，作为对指令的添加或替代。
本领域技术人员应清楚，实现可以产生被编排为携带例如可以被存储或发送的信息的多种信号。信息可以包括例如执行方法的指令，或通过描述的实现之一所产生的数据。例如，信号可以被编排为将用于写入或读取所述实施例的语义的规则携带为数据，或将由所述实施例写入的真实语义值携带为数据。这种信号可被编排为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码和调制具有已编码数据流的载波。信号携带的信息可以是例如模拟或数字信息。可以通过公知的多种不同有线或无线链路来发送该信号。信号可存储在处理器可读介质上。
已经描述了多个实现。但是应当理解，可以做出各种修改。例如，可以合并、增补、修改或去除不同实现的元素，以便产生其它实现。附加地，本领域技术人员将理解的是，其他结构或过程可以替代那些公开的内容，并且所得到的实现将用至少基本相同的方式来执行至少基本相同的功能，以实现与所公开的实现基本相同的结果。因此，本申请还涵盖这些和其它实现。

Claims (8)

1.一种用于对由光场照相机(1)引起的渐晕效应进行校正的方法，所述光场照相机包括具有多个感光点(131、132、133至13p)的图像传感器阵列(13)和具有与每一个感光点(131、132、133至13p)相关联的不同颜色的滤色器的滤色器阵列(12)，所述方法包括：
当捕获朗伯对象图像时从每一个感光点(131、132、133至13p)获得亮度值(S10)；
获得用于补偿每一个感光点(131、132、133至13p)的渐晕效应的一组加权值，其中所述一组加权值与所述光场照相机(1)的设置相关联(S112)，并且所述加权值是基于以下项来计算的：
所获得的所述感光点(131、132、133至13p)的亮度值，
根据所获得的亮度值确定(S20)的感光点(131、132、133至13p)上的滤色器的颜色的最大亮度值，以及
对受所述感光点(131、132、133至13p)上的滤色器的颜色影响的亮度值进行校正(S50)的校正值；以及
基于所获得的一组加权值来改变每一个感光点(131、132、133至13p)的亮度值(S114)。
2.根据权利要求1所述的方法，其中所述计算还包括：
通过将颜色的最大亮度值除以感光点(131、132、133至13p)的亮度值来确定值；以及
将所确定的值乘以校正值(S60)。
3.根据权利要求1至2中任一项所述的方法，还包括：
将感光点(131、132、133至13p)的亮度值与阈值进行比较(S3；S30)；以及
如果感光点(131、132、133至13p)的亮度值小于阈值，则将感光点(131、132、133至13p)的加权值设置为等于0(S4，S40)。
4.根据权利要求1至2中任一项所述的方法，其中，通过将每一个感光点(131、132、133至13p)的亮度值乘以与每一个感光点(131、132、133至13p)相关联的相应加权值来改变每一个感光点(131、132、133至13p)的亮度值(S114)。
5.根据权利要求1所述的方法，
其中所述光场照相机(1)还包括存储多组加权值和校正值的存储装置(87)，其中各组加权值与所述光场照相机(1)的相应设置相关联，并且各组加权值与相应的感光点(131、132、133至13p)相关联，并且相应的校正值对受感光点(131、132、133至13p)上的滤色器的颜色影响的亮度值进行校正。
6.一种用于对由光场照相机(1)捕获的图像上引起的渐晕效应进行校正的设备(5)，所述光场照相机(1)包括具有多个感光点(131、132、133至13p)的图像传感器阵列(13)和具有与每一个感光点(131、132、133至13p)相关联的不同颜色的滤色器的滤色器阵列(12)，所述设备包括被配置为执行以下操作的处理器(51)：
当用所述光场照相机(1)捕获朗伯对象图像时获得来自每一个感光点(131、132、133至13p)的亮度值；
获得用于补偿每一个感光点(131、132、133至13p)的渐晕效应的一组加权值，其中所述一组加权值与所述光场照相机(1)的设置相关联，并且所述加权值是基于以下项来计算的：
所获得的所述感光点(131、132、133至13p)的亮度值，
根据所获得的亮度值确定(S20)的感光点(131、132、133至13p)上的滤色器的颜色的最大亮度值，以及
对受所述感光点(131、132、133至13p)上的滤色器的颜色影响的亮度值进行校正(S50)的校正值；以及
基于所获得的一组加权值来改变每一个感光点(131、132、133至13p)的亮度值。
7.根据权利要求6所述的设备(5)，其中所述光场照相机(1)还包括：
初级透镜(10)；
小透镜阵列(11)，包括位于所述图像传感器阵列(13)和所述初级透镜(10)之间的多个微透镜(111、112、133、11m)；
附加透镜(21)，布置在所述初级透镜(10)和所述微透镜(111、112、133、11m)之间相距所述初级透镜一定距离(L1)处，所述附加透镜(21)具有与所述距离(L1)相对应的焦距。
8.一种非瞬时有形计算机可读介质，其上记录有能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求1至5中至少一项所述的方法中步骤的程序代码指令。
CN201611159809.4A 2015-12-15 2016-12-15 一种用于对由光场照相机引起的渐晕效应进行校正的方法、设备和可读介质 Active CN107071233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110039317.6A CN112887637A (zh) 2015-12-15 2016-12-15 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15307003.2A EP3182697A1 (en) 2015-12-15 2015-12-15 A method and apparatus for correcting vignetting effect caused on an image captured by lightfield cameras
EP15307003.2 2015-12-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110039317.6A Division CN112887637A (zh) 2015-12-15 2016-12-15 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备

Publications (2)

Publication Number Publication Date
CN107071233A CN107071233A (zh) 2017-08-18
CN107071233B true CN107071233B (zh) 2021-01-29

Family

ID=55068930

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110039317.6A Pending CN112887637A (zh) 2015-12-15 2016-12-15 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备
CN201611159809.4A Active CN107071233B (zh) 2015-12-15 2016-12-15 一种用于对由光场照相机引起的渐晕效应进行校正的方法、设备和可读介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110039317.6A Pending CN112887637A (zh) 2015-12-15 2016-12-15 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备

Country Status (5)

Country Link
US (2) US10455169B2 (zh)
EP (2) EP3182697A1 (zh)
JP (1) JP6978833B2 (zh)
KR (1) KR20170074771A (zh)
CN (2) CN112887637A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349132B (zh) * 2019-06-25 2021-06-08 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法
SE1950837A1 (en) 2019-07-03 2021-01-04 Fingerprint Cards Ab Sensor displacement compensation
CN111147760B (zh) * 2019-12-23 2021-08-24 兴科迪智能科技(北京)有限公司 一种光场相机及其光度调整方法、装置及电子设备
CN111970460B (zh) * 2020-08-17 2022-05-20 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065955A (zh) * 2004-10-01 2007-10-31 利兰·斯坦福青年大学托管委员会 成像装置及其方法
CN102439979A (zh) * 2009-04-22 2012-05-02 雷特利克斯股份有限公司 数字成像系统，全光照光学设备及图像数据处理方法
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
CN103327230A (zh) * 2012-03-21 2013-09-25 卡西欧计算机株式会社 摄像装置、图像处理方法
CN104520745A (zh) * 2012-08-06 2015-04-15 富士胶片株式会社 摄像装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06140612A (ja) * 1992-10-28 1994-05-20 Mitsubishi Electric Corp 撮像素子及び撮像装置
ES2131193T3 (es) * 1993-05-05 1999-07-16 Pierre Allio Dispositivo de video autoestereoscopico.
US7151560B2 (en) * 2002-06-20 2006-12-19 Hewlett-Packard Development Company, L.P. Method and apparatus for producing calibration data for a digital camera
US7502057B2 (en) 2002-06-20 2009-03-10 Hewlett-Packard Development Company, L.P. Method and apparatus for color non-uniformity correction in a digital camera
US7391450B2 (en) * 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
US7522967B2 (en) * 2003-07-01 2009-04-21 Hewlett-Packard Development Company, L.P. Audio summary based audio processing
JP4388327B2 (ja) * 2003-08-25 2009-12-24 オリンパス株式会社 顕微鏡像撮像装置及び顕微鏡像撮像方法
EP1602347A1 (fr) * 2004-06-04 2005-12-07 Georges Magnin Orthèse d'avancement mandibulaire
EP2091224B1 (en) * 2004-06-07 2012-06-06 Nokia Corporation Method, apparatus and program for improving image quality in a digital imaging device
JP2006253970A (ja) * 2005-03-09 2006-09-21 Ricoh Co Ltd 撮像装置、シェーディング補正データ作成方法およびプログラム
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
JP5040662B2 (ja) * 2006-02-03 2012-10-03 株式会社ニコン 画像処理装置、画像処理方法、および画像処理プログラム
JP4487944B2 (ja) 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
US7834925B2 (en) * 2006-06-05 2010-11-16 Core Logic Inc. Lens shading correction device and method in image sensor
CN100538264C (zh) * 2006-11-17 2009-09-09 中国科学院上海光学精密机械研究所 单孔径多重成像的光学成像测距装置
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
DK2178521T3 (da) * 2007-07-11 2014-04-28 Fertin Pharma As Stabilt medicinsk tyggegummi omfattende cyclodextrin-inklusionskompleks
US8023758B2 (en) * 2007-08-07 2011-09-20 Qualcomm Incorporated Surface mesh matching for lens roll-off correction
JP5354254B2 (ja) * 2008-08-28 2013-11-27 株式会社ニコン 形状測定装置及び方法、並びにプログラム
JP5351195B2 (ja) * 2011-03-08 2013-11-27 株式会社東芝 固体撮像装置および携帯情報端末
JP2015507987A (ja) * 2012-02-24 2015-03-16 ヴァイカン・エー／エス 衛生的なブラシヘッド
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
CN102692347A (zh) 2012-05-08 2012-09-26 浙江工业大学 疲劳裂纹扩展试验摄像头自动调整图像采集装置及方法
JP2013258634A (ja) * 2012-06-14 2013-12-26 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP6091176B2 (ja) * 2012-11-19 2017-03-08 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
US9432647B2 (en) * 2013-09-09 2016-08-30 Apple Inc. Adaptive auto exposure and dynamic range compensation
KR20150054615A (ko) * 2013-11-11 2015-05-20 삼성전자주식회사 플렌옵틱 카메라 장치 및 그의 세이딩 보정 방법
US20150130907A1 (en) * 2013-11-11 2015-05-14 Samsung Electronics Co., Ltd. Plenoptic camera device and shading correction method for the camera device
JP2015144327A (ja) * 2014-01-31 2015-08-06 株式会社 日立産業制御ソリューションズ 撮像装置
JP6418770B2 (ja) * 2014-04-07 2018-11-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
EP3104595A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Light field imaging device
EP3112920A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065955A (zh) * 2004-10-01 2007-10-31 利兰·斯坦福青年大学托管委员会 成像装置及其方法
CN102439979A (zh) * 2009-04-22 2012-05-02 雷特利克斯股份有限公司 数字成像系统，全光照光学设备及图像数据处理方法
CN103327230A (zh) * 2012-03-21 2013-09-25 卡西欧计算机株式会社 摄像装置、图像处理方法
CN102739945A (zh) * 2012-05-24 2012-10-17 上海理工大学 光场成像装置及方法
CN104520745A (zh) * 2012-08-06 2015-04-15 富士胶片株式会社 摄像装置

Also Published As

Publication number Publication date
CN112887637A (zh) 2021-06-01
US20210092314A1 (en) 2021-03-25
CN107071233A (zh) 2017-08-18
JP2017139743A (ja) 2017-08-10
EP3182698A2 (en) 2017-06-21
JP6978833B2 (ja) 2021-12-08
EP3182697A1 (en) 2017-06-21
US20170171479A1 (en) 2017-06-15
US10455169B2 (en) 2019-10-22
KR20170074771A (ko) 2017-06-30
EP3182698A3 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
US11218630B2 (en) Global tone mapping
US10630906B2 (en) Imaging control method, electronic device and computer readable storage medium
US10097770B2 (en) Image capturing apparatus and image processing method thereof
CN107071233B (zh) 一种用于对由光场照相机引起的渐晕效应进行校正的方法、设备和可读介质
JP5971207B2 (ja) 画像調整装置、画像調整方法およびプログラム
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
US9531960B2 (en) Imaging apparatus for generating HDR image from images captured at different viewpoints and method for controlling imaging apparatus
JP5512550B2 (ja) デジタルカメラデバイスのホワイトバランス較正
US10630920B2 (en) Image processing apparatus
US8737755B2 (en) Method for creating high dynamic range image
US20150222816A1 (en) Imaging controller and imaging control method and program
US9838625B2 (en) Image processing apparatus and control method for image processing apparatus for controlling correction of a black level in a combined image signal
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
CN108683863B (zh) 成像控制方法、装置、电子设备以及可读存储介质
US10972676B2 (en) Image processing method and electronic device capable of optimizing hdr image by using depth information
WO2020034739A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
US9288461B2 (en) Apparatus and method for processing image, and computer-readable storage medium
JP5359330B2 (ja) 露光量制御装置および露光量制御方法
KR20110047540A (ko) 디지털 카메라 및 그 제어방법
JP7309508B2 (ja) 撮像装置、その制御方法とプログラム
JP2013115702A5 (ja) 撮像装置、及び撮像装置の制御方法
JP6590585B2 (ja) 撮像装置及び露出制御方法
CN115278001A (zh) 图像传感器、摄像头模组、电子设备及拍摄方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190514

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant