CN107925751A - 用于多视点降噪和高动态范围的系统和方法 - Google Patents

用于多视点降噪和高动态范围的系统和方法 Download PDF

Info

Publication number
CN107925751A
CN107925751A CN201680050125.2A CN201680050125A CN107925751A CN 107925751 A CN107925751 A CN 107925751A CN 201680050125 A CN201680050125 A CN 201680050125A CN 107925751 A CN107925751 A CN 107925751A
Authority
CN
China
Prior art keywords
image
view data
image capture
continuous shooting
capture system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680050125.2A
Other languages
English (en)
Other versions
CN107925751B (zh
Inventor
乔纳森·蒂尔顿·巴龙
斯蒂芬·约瑟夫·迪韦尔蒂
瑞安·盖斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201910370555.8A priority Critical patent/CN110225330A/zh
Publication of CN107925751A publication Critical patent/CN107925751A/zh
Application granted granted Critical
Publication of CN107925751B publication Critical patent/CN107925751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开涉及可以改进和/或修改通过使用多视点图像捕获系统捕获到的图像的方法和系统。在示例实施例中，经由多视点图像捕获系统来捕获连拍图像数据。所述连拍图像数据可以包括至少一个图像对。基于至少一个纠正单应性函数来使所述至少一个图像对对齐。基于所述图像对的所述相应图像之间的立体视差来使所述至少一个对齐的图像对变形。然后堆叠所述变形和对齐的图像，并且应用去噪算法。可选地，可以将高动态范围算法应用于所述对齐、变形、且去噪的图像中的至少一个输出图像。

Description

用于多视点降噪和高动态范围的系统和方法
相关申请的交叉引用
本申请要求2015年12月7日提交的美国专利申请第14/961,102号的优先权，该案以引用的方式全部并入本文。
背景技术
多视点成像系统可操作以捕获场景的多个图像。在一些情况下，捕获到的图像可以包括如从不同视点、从不同观看角度、和/或在不同时间段内成像的来自场景的公共元素。此外，可以基于来自捕获到的图像的公共元素来将图像校正应用于多个图像中的至少一个图像。
发明内容
本公开中的实施例涉及用于改进立体视觉(并且更普遍地，多视点成像系统)中的图像质量的方法和系统。可以在空间上使来自立体视觉成像系统的图像对对齐并且变形，以校正图像时差。对齐和变形的图像对可以是“堆叠”的。可以将降噪算法应用于堆叠的图像。可以将高动态范围算法应用于一个或者多个去噪图像。
立体视差(将稳健的连拍去噪(robust burst denoising)和HDR处理应用于同时捕获到的图像对)或者图像连拍的快速高分辨率估计的组合可以在比通过使用来自单个相机的连拍而可能的时间更少的时间内提供高分辨率、低噪声图像。
在一个方面中，提供了一种方法。该方法包括：由计算系统接收连拍图像数据，其中，连拍图像数据包括由第一图像捕获系统生成的第一图像数据和由第二图像捕获系统生成的第二图像数据，其中，第一图像捕获系统和第二图像捕获系统的相应光轴隔开了基线距离，其中，第一图像数据和第二图像数据包括至少一个图像对。该方法进一步包括：由计算系统至少基于基线距离来确定连拍图像数据的立体视差，并且根据所确定的立体视差来调整第一图像数据或者第二图像数据中的至少一个以提供变形的图像堆叠。该方法进一步包括：根据连拍去噪算法来生成至少一个输出图像，其中，连拍去噪算法包括：确定变形的图像堆叠的加权平均值。该方法可以可选地包括：由计算系统确定至少一个纠正单应性函数(rectifying homography function)，其中，至少一个纠正单应性函数被配置为使多个图像对中的相应图像对对齐；以及根据至少一个纠正单应性函数来调整第一图像数据和第二图像数据中的至少一个。可选地，使第一图像捕获系统和第二图像捕获系统的相应光轴定向在大体上相同的方向上。
在一个方面中，提供了一种系统。该系统包括多个图像捕获系统，其中，该多个图像捕获系统包括至少第一图像捕获系统和第二图像捕获系统，其中，第一图像捕获系统可操作以捕获第一图像数据，并且第二图像捕获系统可操作以捕获第二图像数据，其中，第一图像捕获系统和第二图像捕获系统的相应光轴隔开了基线距离，其中，第一图像数据和第二图像数据包括连拍图像数据，该连拍图像数据具有至少一个图像对。该系统进一步包括控制器，该控制器包括存储器和处理器，其中，存储器配置为包含指令，并且其中，处理器配置为执行该指令以实施根据提供方法的以上方面的方法。
在一个方面中，提供了一种系统。该系统包括多个图像捕获系统。该多个图像捕获系统包括至少第一图像捕获系统和第二图像捕获系统。第一图像捕获系统可操作以捕获第一图像数据，并且第二图像捕获系统可操作以捕获第二图像数据。第一图像捕获系统和第二图像捕获系统的相应光轴隔开了基线距离。第一图像数据和第二图像数据包括连拍图像数据，该连拍图像数据具有至少一个图像对。该系统还包括控制器。该控制器包括存储器和处理器。存储器配置为包含指令，并且处理器配置为执行该指令以进行操作。该操作包括：从多个图像捕获系统接收连拍图像数据。操作还包括：至少基于基线距离来确定连拍图像数据的立体视差。该操作又进一步包括：根据所确定的立体视差来调整第一图像数据或者第二图像数据中的至少一个以提供变形的图像堆叠。该操作还包括：根据连拍去噪算法来生成至少一个输出图像。连拍去噪算法包括：确定变形的图像堆叠的加权平均值。该操作还可以可选地包括：通过计算系统确定至少一个纠正单应性函数，其中，至少一个纠正单应性函数配置为使多个图像对中的相应图像对对齐；以及根据至少一个纠正单应性函数来调整第一图像数据和第二图像数据中的至少一个。
在一个方面中，提供了一种方法。该方法包括：由计算系统接收连拍图像数据。连拍图像数据包括由第一图像捕获系统生成的第一图像数据和由第二图像捕获系统生成的第二图像数据。第一图像捕获系统和第二图像捕获系统的相应光轴隔开了基线距离，并且使第一图像捕获系统和第二图像捕获系统的相应光轴定向在大体上相同的方向上。第一图像数据和第二图像数据包括至少一个图像对。该方法包括：由计算系统确定至少一个纠正单应性函数。至少一个纠正单应性函数配置为使多个图像对中的相应图像对对齐。该方法还包括：根据至少一个纠正单应性函数来调整第一图像数据或者第二图像数据中的至少一个。该方法又进一步包括：由计算系统至少基于基线距离来确定连拍图像数据的立体视差。该方法另外包括：根据所确定的立体视差来调整第一图像数据或者第二图像数据中的至少一个以提供变形的图像堆叠。该方法包括：根据连拍去噪算法来生成至少一个输出图像。连拍去噪算法包括：确定变形的图像堆叠的加权平均值。
每个方面可以包括以下可选特征。至少一个纠正单应性函数可以包括几何像素校正函数和测光像素校正函数。确定连拍图像数据的立体视差可以包括：基于第一图像数据、第二图像数据、和基线距离来估计平行视差函数。根据所确定的立体视差来调整第一图像数据或者第二图像数据中的至少一个可以包括：将估计的平行视差函数的反函数应用于第一图像数据或者第二图像数据中的至少一个。加权平均值可以包括变形的图像堆叠的对应像素的每像素平均值。该方法可以进一步包括：将高动态范围(HDR)函数应用于至少一个输出图像以提供至少一个HDR输出图像。第一图像捕获系统可以包括光耦合至彩色滤光器阵列的图像传感器，并且第二图像捕获系统可以包括不具有彩色滤光器阵列的图像传感器。连拍图像数据可以包括根据以下中的至少一项格式化的图像：原始图像格式、WebP图像格式、或者JPEG图像格式。连拍图像数据可以包括2至100个图像。第一图像捕获系统可以包括光耦合至低通滤波器的图像传感器，并且第二图像捕获系统可以包括不具有低通滤波器的图像传感器。第一图像捕获系统可以包括光耦合至具有第一焦距的光学器件的图像传感器，并且第二图像捕获系统可以包括光耦合至具有第二焦距的光学器件的图像传感器，其中，第一焦距和第二焦距不同。多个图像捕获系统可以沿着形状的边界布置，其中，形状包括以下中的一项：环、圆盘、或者球体。计算系统可以包括控制器，该控制器包括至少一个程控电路串行编程(ICSP)微控制器。
在一个方面中，提供了一种计算机可读介质，该计算机可读介质包括处理器可执行指令，该处理器可执行指令在被执行时使计算机实施根据本文描述的任何方面的操作。
上述方面试图解决与图像捕获系统中的降噪相关联的问题。
对于本领域的普通技术人员而言，在适当地参照附图的情况下，其它方面、实施例、和实施方式将通过阅读以下详细说明而变得显而易见。
附图说明
图1A图示了根据示例实施例的系统。
图1B图示了根据示例实施例的系统。
图2A图示了根据示例实施例的图像捕获场景。
图2B图示了根据示例实施例的图像捕获场景。
图2C图示了根据示例实施例的图像捕获场景。
图3图示了根据示例实施例的流程图。
图4图示了根据示例实施例的方法。
具体实施方式
I.概述
本公开涉及在立体和多视点相机系统中提供降噪和高动态范围的方法和系统。
数字摄影质量(特别是对于用户设备，诸如，蜂窝电话相机)可能会受到小型传感器和光圈大小的限制。这种特性可以限制可以被捕获的光子数量，这可以按比例增加由传感器像素吸收的光子数量中的“散粒噪声(shot noise)”或者随机变化。增加快门长度减少了这种噪声，但是要以增加的运动模糊的可能成本来进行。
另一个限制是蜂窝电话相机图像的低动态范围。当在相同场景中存在非常亮和非常暗的对象时，传感器像素的动态范围可能无法充分地捕获亮图像区域和暗图像区域中的细节，从而导致像素过饱和或者欠饱和。较高质量的相机使用可以读出更大的比特深度图像的传感器，但是它们仍然是有限的。
这两个问题的可能的解决方案是连拍摄影(burst photography)，其中，相机快速地拍摄N张照片来代替拍摄单张照片。然后通过使用各种算法中的一种算法来合并这些N个图像，这导致每像素的较低噪声和较大的动态范围。问题在于，连拍N张照片需要单张照片的N倍时长，这可能会对用户体验产生负面影响，并且还会在捕获期间增加场景运动量。
如本文描述的，可以通过立体或者多视点相机系统来执行连拍摄影。可以纠正连拍图像数据，使连拍图像数据变形并且去噪，以提供较高质量的输出图像。在这种场景中，可以在单个图像传感器连拍的一半(或者更少的)时间内生成高分辨率、低噪声图像。
在示例实施例中，立体相机系统可以捕获连拍图像数据。图像“连拍”可以包括由相机的每个图像传感器快速连续地捕获到的1至10个图像。即，连拍图像数据可以包括第一图像数据(例如，来自第一图像传感器)和第二图像数据(例如，来自第二图像传感器)，这些图像数据包括多个图像对。图像对可以包括来自第一和第二图像数据的对应图像，该第一和第二图像数据由第一和第二图像传感器按顺序大体上同时捕获。连拍图像数据可以包括根据RAW图像格式、WebP图像格式、JPEG图像格式、或者另一种类型的图像格式进行格式化的图像。此外，在一些实施例中，连拍图像数据可以包括2至100个图像。
对每个图像对，可以通过系统的控制器来确定至少一个纠正单应性函数。可以确定纠正单应性函数以便调整图像对中的一个或者两个图像，使得能够在空间上使图像对中的两个图像对齐。可以基于相机“工厂”校准来确定纠正单应性函数。替选地或者替选地，可以基于另一种类型的校准来确定纠正单应性函数。在示例实施例中，纠正单应性函数可以包括几何像素校正函数(geometric pixel correction funtion)和光度像素校正函数(photometric pixel correction function)。
在一些实施例中，确定至少一个纠正单应性函数以及基于单应性函数来调整图像不需要发生。例如，可以经由其它技术来使图像对中的两个图像对齐或者配准图像对中的两个图像。其它图像对齐/配准技术可以包括，但不限于，平移对齐(例如，仅X和Y平移)或者相似性对齐。此外，本文所公开的对齐技术可以包括线性变换(例如，旋转、缩放、平移等)和/或非刚性变换(例如，使图像局部变形以与参考图像对齐)。这种非刚性变换可以包括“光流”变换。
控制器可以配置为至少基于基线距离来确定连拍图像数据的立体视差。可以将立体视差确定为三维图像处理方法的一部分。在示例实施例中，确定立体视差可以包括：基于第一图像数据、第二图像数据、和基线距离来估计平行视差函数。
控制器可以根据所确定的立体视差来使每个图像对中的至少一个图像变形。即，控制器可以调整每个图像对中的至少一个图像，使得该至少一个图像能够大体上与图像对中的对应图像相匹配。在示例实施例中，控制器可以从图像对中或者更普遍地从连拍图像数据中选择基础图像。在这种场景中，控制器可以调整连拍图像数据中的另一个图像的全部或者至少一部分，以大体上与基础图像相匹配。即，可以调整连拍图像数据中的每个其它图像以与基础图像相匹配。此外，相对于基础图像，连拍图像数据中的每个其它图像可以：1)在相同的时间点用不同的图像捕获系统捕获；2)在不同的时间点用相同的图像捕获系统捕获；或者3)在不同的时间点用不同的图像捕获系统捕获。
在一些示例中，这种图像调整可以包括：将估计的平行视差函数的反函数应用于第一图像数据或者第二图像数据中的至少一个。如本文其它位置中描述的，图像调整可以包括：基于关于图像捕获系统的对极几何的信息来使连拍图像数据中的一个或者多个图像变形。连拍图像数据的这种调整和/或变形可以形成变形的图像堆叠。
在示例实施例中，控制器可以基于变形的图像堆叠的加权每像素平均值来生成至少一个输出图像。在一些实施例中，控制器将来自变形的图像堆叠的像素一起分组在相应图像图块(image tile)中。在这种场景中，控制器可以基于相应图像图块的加权平均值来生成至少一个输出图像。在一些实施例中，相应图像图块可以或者可以不与其它图像图块重叠。本文考虑了基于多个相似图像的其它去噪技术。
控制器可以进一步将高动态范围(HDR)函数应用于至少一个输出图像以提供至少一个HDR输出图像。
本文考虑的系统和方法可以包括各种不同的多视点成像系统。例如，成像系统可以包括第一图像捕获系统和第二图像捕获系统，该第一图像捕获系统具有光耦合至彩色滤光器阵列(例如，Bayer滤波器)的图像传感器，并且该第二图像捕获系统包括不具有这种彩色滤光器阵列的图像传感器。替选地或者另外，第一图像捕获系统可以包括光耦合至低通滤波器的图像传感器，并且第二图像捕获系统可以包括不具有这种低通滤波器的图像传感器。
在一些示例中，本文考虑的系统可以包括带有具有不同焦距光学器件的图像捕获系统。即，可以用第一焦距捕获第一图像数据，并且可以用第二焦距捕获第二图像数据，从而提供给定场景的不同“变焦(zoom)”级别。
在示例实施例中，可以利用各种方法来布置多个图像捕获系统。例如，可以沿着线布置图像捕获系统，诸如，用大多数立体视觉成像系统。替选地或者另外地，可以沿着形状的边界来布置图像捕获系统。例如，形状可以包括环或者球体。在这种场景中，图像捕获系统可以操作以捕获360度的视野。考虑了其它类型的多视点图像捕获系统。
本文描述的控制器可以包括至少一个程控电路串行编程(ICSP)微控制器。另外或者替选地，本文考虑了其它类型的微处理器，诸如，图形处理单元(GPU)。
II.示例系统
图1A图示了根据示例实施例的系统100。系统100包括第一图像捕获系统110和第二图像捕获系统120。同样，在一些实施例中，可以将系统100视作立体视觉成像系统。另外或者替选地，系统100可以包括又一图像捕获系统130。在这种场景中，可以将系统100视作多视点成像系统。
图像捕获系统110和120可以分别包括图像传感器，诸如，电荷耦合器件(CCD)或者金属氧化物半导体(MOS)传感器。相应图像传感器可以包括数百万个单独光电传感器或者像素。在示例实施例中，相应图像传感器可以以3:2的纵横比布置并且可以每个包括3,872×2,592个像素或者大约一千万个像素。然而，考虑了具有不同的纵横比和更多或者更少个像素的许多其它图像传感器。
图像捕获系统110和120可以操作以提供数字摄影和/或数字视频信息。即，图像捕获系统110和120可以配置为立体视觉或者多视点数字静物相机和/或数字视频相机。图像捕获系统110和120可以包括各种元件，包括但不限于，光圈、快门、记录面(例如，一个或者多个图像传感器)、和/或透镜。
可以将多个图像捕获系统布置成不同的定向。例如，在立体视觉成像系统的场景中，图像捕获系统110和120可以被隔开基线距离并且具有平行光轴。替选地或者另外，在多视点成像系统的情况下，可以沿着形状的边界布置多个图像捕获系统。例如，形状可以包括环、圆盘、或者球体。系统100的多个图像捕获系统的其它形状和/或布置是可能的。
系统100可以包括用户接口140。用户接口140可以包括显示器142和控件144。用户接口140可以配置为经由扬声器、扬声器插座、音频输出端口、音频输出装置、植入式耳机、和/或其它相似的装置来生成听觉输出。
在示例实施例中，显示器142可以包括取景器和/或配置为提供关于系统100的信息的另一显示器。显示器142可以包括多元件发光二极管(LED)显示器、液晶(LCD)显示器、等离子显示器、或者另一种类型的显示器。在示例实施例中，显示器142可以是触摸屏。在这种场景中，系统100的用户可以能够通过与显示器142交互来调整系统100的设置。
控件144可以包括按钮、开关、刻度盘、或者用户可以进行交互的其它类型的控件。具体地，控件144可以包括快门按钮和可操作以调整焦距、视野、变焦、快门速度、光圈、和/或ISO以及许多其它可能性的控件。在示例实施例中，快门按钮可以操作以触发图像捕获过程，在图像捕获过程中，一个图像帧由图像捕获系统110和120中的每一个捕获以形成图像对。替选地或者另外，快门按钮可以操作以触发多个静态图像或者视频流。更进一步地，一些实施例可以包括：经由其它控件或者经由控制器150来触发图像捕获过程。例如，可以经由定时器或者远程触发器来触发图像捕获过程。
可以将捕获到的数字图像表示成像素的一维、二维、或者多维阵列。可以用可对相应像素的颜色和/或亮度进行编码的一个或者多个值来表示每个像素。例如，一个可能的编码使用YCbCr颜色模型。在这种颜色模型中，Y通道可以表示像素的亮度，并且Cb和Cr通道可以分别表示像素的蓝色色度和红色色度。例如，这些通道中的每一个通道可以采用从0到255的值。因此，如果像素是黑色或者接近黑色，则可以用0或者接近零的值来表示像素的亮度，并且如果像素是白色或者接近白色，则可以用255或者接近255的值来表示像素的亮度。然而，值255是非限制性参考点，并且一些实施方式可以使用不同的最大值(例如，1023、4095等)。
本文的实施例可以采用其它颜色模型(诸如，红绿蓝(RGB)颜色模型或者cyan-magnenta-yellow-key(CMYK))。进一步地，可以以各种文件格式(包括：原始(未压缩)格式或者压缩格式，诸如，联合图像专家组织(JPEG)、可移植网络图形(PNG)、图形交换格式(GIF)等)来表示图像中的像素。
在示例实施例中，图像捕获系统110和120可以配置为按照每秒30帧(FPS)的速率捕获图像帧。然而，具有更大或者更小帧速率的图像捕获系统是可能的。
另外或者替选地，图像捕获系统110和120可以包括具有连拍帧速率的“连拍”捕获模式。连拍帧速率可以包括在短暂的时间段内比正常帧速率更快的捕获帧速率。例如，在图像捕获系统110和120具有30FPS的“正常”帧速率的场景中，图像捕获系统110和120可以分别操作以提供连拍图像数据，图像捕获系统110和120可以包括按照60FPS连续捕获的两组的10个图像帧(每一组来自每个图像捕获系统)。其它连拍图像帧量和其它连拍帧速率是可能的。
在示例实施例中，可以通信地和/或机械地耦合图像捕获系统110和120，以便提供协调的图像捕获。即，相应图像帧可以由图像捕获系统110和120大体上同时(例如，以同步的方式)捕获。可以将大体上同时捕获到的相应图像帧称为图像对。
在一些实施例中，如本文其它位置中描述的，相应图像帧不需要由第一图像捕获系统110和第二图像捕获系统120同时捕获。然而，可以测量、记录相应图像帧之间的相应捕获时间，并且使用它们来更容易地关联和/或确定本文描述的各种图像调整。
在一些实施例中，图像捕获系统110和120可以大体上相似，仅在物理位置和/或定向上不同。然而，在其它实施例中，图像捕获系统110和120可以以其它方式而不同。例如，第一图像捕获系统110可以包括光耦合至彩色滤光器阵列的图像传感器，并且第二图像捕获系统120可以包括不具有彩色滤光器阵列的图像传感器(或者反之亦然)。彩色滤光器阵列可以包括Bayer彩色滤光器或者配置为基于光的波长来选择性地吸收光的另一种类型的滤波器。
在示例实施例中，第一图像捕获系统110可以包括光耦合至低通滤波器的图像传感器，并且第二图像捕获系统120可以包括不具有低通滤波器的图像传感器(或者反之亦然)。
另外或者替选地，第一图像捕获系统110可以包括光耦合至具有第一焦距(例如，35mm)的光学器件的图像传感器，并且第二图像捕获系统可以包括光耦合至具有第二焦距(例如，105mm)的光学器件的图像传感器，或者反之亦然。在这种场景中，本文描述的一些或者全部图像处理操作可以与图像帧的一部分有关。即，可以将图像纠正、变形、去噪、和高动态范围处理应用于图像捕获系统的相应视野重叠的图像帧的“重叠”部分。
在示例实施例中，第一图像捕获系统110和第二图像捕获系统120可以相应地操作为立体视觉或者双目成像系统的“左”和“右”图像传感器(或者反之亦然)。即，第一图像捕获系统110和第二图像捕获系统120的组合可以配置为提供关于场景的立体视觉成像信息。在一些实施例中，图像捕获系统110和120的组合可以提供指示三维深度的信息和/或对提供视觉深度知觉有用的信息。
替选地或者另外，图像捕获系统110、120、和/或130可以包括可穿戴相机。此外，可以在物理上使任何数量的图像捕获系统110、120、和/或130与其它图像捕获系统分开。即，本文考虑的图像捕获系统可以位于不同位置中。例如，本文考虑的图像捕获系统可以包括位于不同位置中并且由多个用户操作的多个智能电话相机。另外或者替选地，图像捕获系统中的一个或者多个可以处于固定位置(例如，在三脚架上保持稳固)中，并且一个或者其它图像捕获系统可以是移动的或者可移动的。多个图像捕获系统的其它组合、定向、和布置是可能的。
系统100还包括控制器150。控制器150可以包括一个或者多个处理器152和存储器154。在示例实施例中，控制器150包括至少一个程控电路串行编程(ICSP)微控制器。另外或者替选地，一个或者多个处理器152可以包括一个或者多个通用处理器(例如，微处理器)和/或一个或者多个专用处理器—例如，数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器、或者专用集成电路(ASIC)。存储器154可以配置为存储计算机可读程序指令。存储器154可以包括可以整体地或者部分地与一个或者多个处理器152集成的易失性和/或非易失性存储部件，诸如，光学、磁性、有机、或者其它存储器或者磁盘存储装置。在一些实施例中，可以通过使用单个物理装置(例如，一个光学、磁性、有机、或者其它存储器或者磁盘存储单元)来实施存储器154，而在其它实施例中，可以通过使用两个或者更多个物理装置来实施存储器154。
一个或者多个处理器152可以配置为执行指令以实施操作。在一些实施例中，操作可以包括对由图像捕获系统110、120、和/或130捕获的一个或者多个图像的调整和/或增强。
控制器150可以经由通信接口通信地耦合至第一图像捕获系统110、第二图像捕获系统120、和/或其它图像捕获系统130。通信接口可以包括允许控制器150经由一个或多个网络与系统100的其它元件通信的一个或者多个无线接口和/或一个或者多个有线接口。在示例实施例中，无线接口可以实现根据一个或者多个无线通信协议(诸如，蓝牙、WiFi(例如，IEEE 802.11协议)、长期演进(LTE)、WiMAX(例如，IEEE 802.16标准)、射频ID(RFID)协议、近场通信(NFC)、和/或其它无线通信协议)进行通信。有线接口可以包括以太网接口、通用串行总线(USB)接口、或者相似接口，以经由导线、双绞线、同轴电缆、光链路、光纤链路、或者其它类型的物理连接进行通信。而且，可能存在构成通信接口的至少一部分的一个或者多个路由器、交换机、和/或其它装置或者网络。
虽然图1A将控制器150图示为与第一图像捕获系统110和第二图像捕获系统120示意性地分开，但控制器150可以物理地位于系统100的一个或者多个元件处或者并入到系统100的一个或者多个元件中。例如，控制器130可以并入到第一图像捕获系统110中。替选地，控制器150可以并入到第二图像捕获系统120中。更进一步地，控制器150可以分布在第一图像捕获系统110和第二图像捕获系统120中。在另一实施例中，控制器150可以包括分布式计算网络和/或云计算网络。
图1B图示了根据示例实施例的系统160的侧视图和俯视图。如参照图1A所图示或者描述的，系统160可以包括系统100的一些或者全部元件。例如，系统160可以包括第一图像捕获系统110和第二图像捕获系统120。
可以将图像捕获系统的组合布置为观看场景。具体地，系统160可以配置为基于场景来提供图像(例如，数字图像信息)。
在示例实施例中，第一图像捕获系统110和第二图像捕获系统120可以以基线间隔162或者基线距离彼此分开布置。在一些实施例中，基线间隔162可以基于第一图像捕获系统110和第二图像捕获系统120的相应光轴之间的距离。第一图像捕获系统110和第二图像捕获系统120的光轴可以是平行的。然而，在一些实施例中，光轴不需要是平行的。此外，光轴中的至少一个光轴可以是可调整的。
在一些实施例中，场景可以包括对象164。在这种场景中，第一图像捕获系统110和第二图像捕获系统120可以提供相应的图像数据114和124。图像数据114和124可以包括关于场景和对象164的图像信息。图像数据114和124可以至少由于第一图像捕获系统110和第二图像捕获系统120的不同物理位置而不同。例如，如图像帧112和122所图示，对象164的相对位置在图像帧112和122内可以是不同的。即，对象164可以被包括在这两个图像帧112和122中。然而，对象164可以出现在图像帧112和122中的不同相对位置中。可以将对象164的相对位置的差异视作该特定图像特征的立体视差。与和相应图像捕获系统的其它距离和/或位置对应的其它图像特征可以与立体视差的其它值有关。
虽然图1B包括场景(该场景仅包括对象164)，但应该理解，仅仅出于解释之目的提供了简化描述。图像捕获系统110和120可以配置为捕获更多个复杂场景。例如，系统160可以配置为对可以包括任何数量的对象或者特征(或者缺少这种对象或者特征)的各种不同的场景进行成像。
图2A、2B、和2C图示了在本公开的范围内考虑的各种图像捕获场景。
图2A图示了根据示例实施例的图像捕获场景200。图像捕获场景200包括第一图像捕获系统和第二图像捕获系统，该第一图像捕获系统和该第二图像捕获系统可以与参照图1A和1B图示和描述的图像捕获系统110和120相似或者相同。在时间t0处，第一图像捕获系统可以开始捕获图像帧210。即，第一图像捕获系统的图像传感器可以在t0与t1之间的曝光持续时间202内收集来自场景的光子。而且，在时间t0处，第二图像捕获系统可以开始捕获图像帧220。与第一图像捕获系统相似，第二图像捕获系统可以在t0与t1之间的曝光持续时间202内收集来自场景的光子。可以将图像帧210和图像帧220的组合视作图像对1。
后续的图像对可以由多个图像捕获系统捕获。即，可以在t1与t2之间的曝光持续时间204内捕获包括图像帧212和222的图像对2。此外，可以在t1与t2之间的曝光持续时间206内捕获包括图像帧214和224的图像对3。要理解，特定时序和曝光持续时间可以改变。
图2B图示了根据示例实施例的图像捕获场景230。在这种场景中，不需要在相同的曝光持续时间内捕获相应图像对的图像帧。例如，图像帧232可以在从t0到t1的曝光持续时间内由第一图像捕获系统捕获。然而，可以在较短的曝光持续时间内捕获图像帧238。尽管如此，出于本公开之目的，可以将图像帧232和238视作图像对1。例如，来自每个相应的图像对的一个或者多个图像相对于基础图像或者参考图像可以具有不同亮度。在这种场景中，可选地，可以将模拟和/或数字增益施加至相应图像传感器处，或者可以将数字增益施加至相应图像以便提供与基础图像的“总曝光”相似的“总曝光”(例如，曝光时间和增益之积)。如此，可以更容易地比较和/或组合各种图像帧，并且仍然可以将图像纠正、立体变形、和去噪应用于构成图像帧。相似地，与对应的图像帧234和236相比，图像帧240和242可以具有不同的曝光持续时间。
图2C图示了根据示例实施例的图像捕获场景250。如图示的，与对应的图像帧252、254、和256相比，图像帧258、260、和262可以具有不同的曝光持续时间和/或可以在时间上不同(例如，可以在不同时间发起和/或结束相应图像)。尽管如此，在本公开的范围内可以将图像帧(252&258)、(254&260)、和(256&262)视作图像对。
图3图示了根据示例实施例的流程图300。如本文描述的，控制器150可以配置为实施各种操作。流程图300的每个框可以图示一些或者全部这种操作。此外，流程图300的框图示并且描述了可以包含如针对图1A和1B图示和描述的系统100和/或160的元件的操作。虽然将流程图300的框图示为具有特定顺序，但可以移除、添加、重复、与另一个框同时完成、和/或颠倒顺序完成一个或者多个框。
例如，如框302所示，控制器150可以操作以从图像捕获系统110和120接收连拍图像数据。连拍图像数据可以包括来自第一图像捕获系统110的第一图像数据和来自第二图像捕获系统120的第二图像数据。连拍图像数据可以包括至少一个图像对。另外或者替选地，连拍图像数据可以包括多个图像对(例如，10个图像对)和/或视频流。
如框304所图示，控制器150可以配置为基于连拍图像数据来确定至少一个纠正单应性函数。至少一个纠正单应性函数可以配置为使至少一个图像对的对应图像部分对齐。可以在正常使用之前基于校准过程来确定至少一个纠正单应性函数。例如，校准过程可以提供基本矩阵，该基本矩阵可以描述图像捕获系统110与120之间的几何关系。
另外或者替选地，校准过程可以提供关于图像捕获系统110和120的对极几何的信息。例如，这种信息可以包括图像捕获系统110和120的对应极线。至少由于极线的知识可以在尝试将目标图像与参考图像对齐时减少可能的搜索参数(例如，沿着1D线搜索对应对象/特征相对于沿着2D区域搜索对应对象/特征)，所以关于对极几何的信息可以提高图像处理效率。
替选地或者另外，例如，可以基于在图像对的帧之间的比较(诸如，在图像对的两个帧中的对应特征)来“即时地(on the fly)”确定至少一个纠正单应性函数。在这种场景中，可以基于图像对的对应特征来确定在两个相机之间的一个或者多个基本矩阵。作为示例，可以基于使图像对的横轴上的对应点的视差或者最小二乘差最小化来确定基本矩阵。
纠正单应性函数可以包括线性变换。线性变换可以包括旋转变换、缩放变换、和/或图像倾斜变换。例如，旋转变换可以包括使第一图像帧相对于第二图像帧旋转，或者反之亦然。缩放变换可以包括使第一图像帧相对于第二图像帧放大或者减小，或者反之亦然。图像倾斜变换可以包括针对z轴倾斜调整图像。通常，考虑了其它类型的图像变换，以使图像对和/或连拍图像数据的帧对齐或者纠正图像对和/或连拍图像数据的帧。
在示例实施例中，纠正单应性函数可以操作以基于计算或者估计场景的对极几何来使图像帧对齐。即，可以使图像帧中的一个或者两个图像帧变换以模拟具有公共图像平面。要理解，可以通过使用各种图像处理技术来确定纠正单应性函数。本文考虑了各种这样的图像处理技术。
如框306所图示，控制器150可以操作以根据所确定的至少一个纠正单应性函数来调整第一图像数据或者第二图像数据中的至少一个。即，控制器150可以通过调整相对旋转、倾斜、缩放等来将第一图像数据与第二图像数据对齐。在一些实施例中，可以根据至少一个纠正单应性函数来修改第一图像数据或者第二图像数据中的一个。在一些其它实施例中，根据至少一个纠正单应性函数来修改第一图像数据和第二图像数据二者。
在示例实施例中，根据至少一个纠正单应性函数来调整第一和/或第二图像数据可以在根据光流或者其它图像处理算法来在进一步调整图像数据之前提供图像数据的“粗略对齐”。
如框308所图示，控制器150可以操作以实施对连拍图像数据的立体视差的确定。立体视差可以包括立体图像对的“左”和“右”图像中的两个对应点之间的距离。在示例实施例中，可以通过控制器至少部分地基于基线距离来确定立体视差。在其它实施例中，可以基于立体图像对的左图像与右图像之间的比较来确定立体视差。在示例实施例中，确定立体视差可以包括：基于第一图像数据、第二图像数据、和基线距离来估计平行视差函数。换言之，可以将立体视差确定为三维图像处理方法的一部分。
在一些实施例中，控制器150可以配置为基于立体图像对的左图像与右图像之间的比较来提供视差图像。在示例实施例中，视差图像可以包括图像帧，该图像帧具有基于立体图像对的左图像与右图像中的对应特征之间的几何视差的像素亮度级别。另外或者替选地，控制器150可以配置为基于立体图像对的图像帧之间的比较来提供视差图(disparitymap)。
可以获取和/或接收其它信息以协助确定立体视差。例如，控制器150可以经由LIDAR、RADAR、超声传感器、或者另一种类型的距离测量系统接收距离数据。控制器150可以利用该距离数据来至少部分地确定立体视差。
如框310所图示，控制器150可以操作以根据所确定的立体视差来使每个图像对中的至少一个图像“变形”或者修改每个图像对中的至少一个图像。即，控制器150可以调整每个图像对中的至少一个图像，使得该至少一个图像能够大体上与图像对中的对应图像相匹配。在一些示例中，这种图像调整可以包括：将所确定的立体视差和/或估计的平行视差函数的反函数应用于第一图像数据或者第二图像数据中的至少一个。连拍图像数据的这种变形可以形成变形的图像堆叠。在一些实施例中，除了对象运动、相机运动、和/或图像噪声之外，变形的图像堆叠可以包括彼此大体上相似的图像帧。
替选地或者另外，图像调整可以包括：基于参考图像中的对应位置(例如，准确对齐的像素)移动目标图像中的一个或者多个像素。在场景中，在从不同视角同时捕获到两个图像的情况下，可以提供场景的光流图(optical flow)。例如，光流图可以包括在目标图像中移动的每个像素基于参考图像中的对应的准确对齐的像素的相对距离和/或方向。可以使用光流图来提供场景的深度图。例如，深度图可以基于图像捕获系统的基线距离和/或视野。
如框312所图示，控制器150可以配置为从变形的图像堆叠去除噪声。即，控制器150可以将连拍去噪算法应用于变形的图像堆叠以生成至少一个输出图像。至少一个输出图像可以包括更少的散粒噪声或者其它类型的图像噪声。
在示例实施例中，连拍去噪算法可以包括：确定变形的图像堆叠的加权平均值。在这种场景中，加权平均值可以包括变形的图像堆叠的对应像素的每像素平均值。除了其它可能性之外，加权平均值可以基于对应像素强度、颜色、和/或光度。替选地或者另外，连拍去噪算法可以包括低通滤波器和/或快速傅里叶变换(FFT)。更进一步地，其它实施例可以包括连拍去噪算法，该连拍去噪算法识别相似的像素区域(例如，基于颜色、亮度等)并且将滤波和/或平均应用于这些区域。
在一些实施例中，可以使用Wiener滤波器来滤波来自变形的图像堆叠的不期望的噪声。在这种场景中，Wiener滤波器可以使估计的随机过程(例如，散粒噪声)与期望图像之间的均方误差减小或者最小化。另外或者替选地，其它类型的图像去噪滤波器是可能的，诸如，块匹配和3D滤波(BM3D)或者非局部装置。要理解，各种其它去噪技术和算法是可能的，并且本文考虑了各种其它去噪技术和算法。
一些像素编码使用8位来表示每个像素的亮度这样做被称为低动态范围(LDR)成像。因此，仅可以支持256级亮度。然而，现实世界场景通常显示出比可以用LDR成像适度表示更宽动态范围的亮度。例如，个体站在黑暗房间中的窗前的场景可以包括非常亮的区域和非常暗的区域。然而，使用LDR成像来捕获这种场景的图像可以导致基于捕获到图像的曝光长度而丢失在亮区域和/或暗区域中的细节。
短曝光长度可以导致场景的亮区域的合理准确表示，但是会使暗区域曝光不足。相反，长曝光长度可以导致暗区域的合理准确表示，但是可以使亮区域过度曝光。在示例场景中，如果曝光长度过长，则房间中的特征可能会适度曝光，但是窗外的特征可能会涂白。但是如果曝光长度过短，则窗外的特征可能看起来正常，但是房间中的特征可能会变暗。这些结果中的任一者都是不期望的。对于一些场景，可能不存在单个曝光长度，该单个曝光长度会产生用可接受的细节表示亮区域和暗区域中的细节的捕获到的图像。
在个体站在黑暗房间中的窗前的场景中，可以用第一曝光长度来捕获第一图像帧，这可以适当地曝光场景的天空和云部分，但是可能会导致人和周围房间的不适当曝光(例如，曝光不足)。可以用第二曝光长度捕获第二图像帧，这可以适当地曝光人和周围房间，但是可能会导致场景的天空和云部分的不适当曝光(例如，过度曝光)。
可选地，如框314所图示，控制器150可以操作以将高动态范围(HDR)处理应用于变形的图像堆叠和/或一个或者多个输出图像。通过使用前述示例，可以将图像堆叠的第一图像帧的适当曝光的像素与图像堆叠的第二图像帧中与第一图像帧中的不适当曝光的像素对应的像素组合。例如，可以将来自第一图像帧的适当曝光的天空和云部分与来自第二图像帧的适当曝光的人和房间部分组合。所生成的合成图像可以相当好地复制场景的亮区域和暗区域的细节。
可以按照多种方式来实现组合来自捕获到的图像的像素以形成合成图像。例如，可以通过根据例如像素的亮度向每个图像的像素分配权重来形成图像的逐像素组合。然后，根据其权重，可以将特定像素包括在最终图像中或者从最终图像中排除特定像素。替选地，可以将两个或者更多个LDR图像组合成HDR图像，然后可以对HDR图像进行色调映射，使得其亮度落入与常规视频输出装置的显示能力相应的范围内。然而，代替本文的实施例，还可以使用组合来自捕获到的图像的像素的其它方法。
在一些实施例中，可以基于通过使用自动包围曝光(AEB)捕获到的图像帧来执行HDR处理。即，变形的图像堆叠可以包括具有曝光持续时间的范围的图像帧。如此，可以基于来自变形的图像堆叠中的多个图像帧的适当曝光的区域来提供HDR输出图像。在一些实施例中，连拍图像数据可以包括在18个曝光值(EV)内捕获到的图像帧。其它曝光包围范围是可能的。
将HDR或者“类似HDR”的处理应用于变形的图像堆叠和/或输出图像的其它方式能够提供HDR输出图像。例如，可以调整输出图像的曝光、亮度、灰度系数、颜色、或者其它方面，以便减少过度曝光和曝光不足的区域。在这种场景中，可以增强输出图像的光影，并且可以减小输出图像的高亮度。
另外或者替选地，可以对一个或者多个输出图像进行色调映射以减小输出图像的动态范围或者对比度，同时保持局部对比度。本文考虑了用于减少图像的过度曝光和曝光不足区域，同时保持图像细节的其它方式。
在示例实施例中，控制器150可以操作以分析图像数据以便根据具有相似特性的图像像素的“图块”对每个图像帧内的像素进行分组、指定、和/或分离。作为示例，可以分析图像帧以根据一个或者多个图像特性(诸如，像素亮度、颜色、色调、形状、边缘等)来确定相似图块或者区域。例如，具有高亮度的像素区域(例如，天空)可以与第一图块相关联，并且具有较低亮度的像素区域(例如，地面)可以与第二图块相关联。在一些实施例中，单个图像帧可以包括数十个、上百个、上千个、或者更多个图块。
可以按照与上述方式相似的方式图块化连拍图像数据。如此，连拍图像数据可以包括具有在相应图像帧内具有相似形状和位置的图块的图像帧。将在相应图像帧之间的对应图块相匹配大体上可以比在整个数量的像素内搜索更快。
因此，可以基于每图块的基础来实施本文描述的任何图像处理操作。即，可以基于将至少一个图像对中的对应图块对齐来确定至少一个纠正单应性函数。此外，可以通过将立体图像对的图像帧中的相似图块的相对位置进行比较来确定立体视差。另外，可以通过将变形的图像堆叠的每个图像帧的对应图块进行比较来实施连拍去噪算法。更进一步地，HDR处理可以包括：组合来自变形的图像堆叠的各种图像帧的正确曝光的图块。
在一些实施例中，基于处理图块的图像处理可以在每像素的基础上在图像处理方面提供对速度和图像质量的改进。例如，图块化图像处理可以减少或者消除“重像”、模糊图像伪影、和/或图块边界的边缘处的伪影。
III.示例方法
图4图示了根据示例实施例的方法400。方法400可以包括各种框或者步骤。可以单独地或者组合地实施框或者步骤。可以按照任何顺序和/或串行或者并行实施框或者步骤。进一步地，可以省略框或者步骤，或者将框或者步骤添加至方法400。
方法400中的一些或者全部框可以包含如参照图1A和1B图示和描述的系统100和/或系统160的元件。此外，方法400的各种框可以与参照图3的流程图300图示和描述的操作相似或者相同。
框402包括：由计算系统接收连拍图像数据。计算系统可以与如针对图1A图示和描述的控制器150相似或者相同。连拍图像数据包括由第一图像捕获系统生成的第一图像数据和由第二图像捕获系统生成的第二图像数据。第一图像捕获系统和第二图像捕获系统的相应光轴可以隔开基线距离，并且使第一图像捕获系统和第二图像捕获系统的相应光轴定向在大体上相同的方向上。第一图像数据和第二图像数据包括至少一个图像对。
框404包括：由计算系统确定至少一个纠正单应性函数。至少一个纠正单应性函数配置为使多个图像对中的相应图像对对齐。在示例实施例中，至少一个纠正单应性函数包括几何像素校正函数和光度像素校正函数。
框406包括：根据至少一个纠正单应性函数来调整第一图像数据或者第二图像数据中的至少一个。
框408包括：由计算系统至少基于基线距离来确定连拍图像数据的立体视差。在示例实施例中，确定连拍图像数据的立体视差包括：基于第一图像数据、第二图像数据、和基线距离来估计平行视差函数。
框410包括：根据所确定的立体视差来调整第一图像数据或者第二图像数据中的至少一个以提供变形的图像堆叠。在示例实施例中，根据所确定的立体视差来调整第一图像数据或者第二图像数据中的至少一个包括：将估计的平行视差函数的反函数应用于第一图像数据或者第二图像数据中的至少一个。
框412包括：根据连拍去噪算法来生成至少一个输出图像。连拍去噪算法包括：确定变形的图像堆叠的加权平均值。例如，在一些实施例中，加权平均值包括变形的图像堆叠的对应像素的每像素平均值。
可选地，该方法可以包括：将高动态范围(HDR)函数应用于至少一个输出图像以提供至少一个HDR输出图像。
在一些实施例中，例如，第一图像捕获系统和第二图像捕获系统可以基于具有不同图像传感器、光路、光学传递函数(OTF)、和/或视野的图像捕获系统来提供不同的相应图像。在这种情况下，仍然可以应用本文描述的方法和过程。例如，在补偿来自相应图像捕获系统的图像之间的相关差异时，可以将图像对齐、变形、和去噪过程应用于连拍图像数据。
作为示例，第一图像捕获系统可以包括光耦合至彩色滤光器阵列的图像传感器，并且第二图像捕获系统可以包括不具有彩色滤光器阵列的图像传感器。可选的图像补偿框或者步骤可以包括：例如，基于彩色滤光器阵列的波长相关光学传递函数来调整来自一个或者两个图像捕获系统的图像帧的至少一些像素的亮度级别。
在另一场景中，第一图像捕获系统可以包括光耦合至低通滤波器的图像传感器，并且第二图像捕获系统可以包括不具有低通滤波器的图像传感器。在这种示例中，可选的图像补偿框和步骤可以包括：基于低通滤波器的波长相关光学传递函数来调整图像帧的亮度级别或者图像信息的另一方面。
此外，在另一实施例中，第一图像捕获系统可以包括光耦合至具有例如第一焦距的光学器件的图像传感器，并且第二图像捕获系统可以包括光耦合至具有与第一焦距不同的第二焦距的光学器件的图像传感器。在这种场景中，可选的图像补偿框或者步骤可以包括：基于相应的图像捕获装置中的光学器件中的差异来调整一组或者两组图像数据。作为非限制性示例，可以基于补偿两组不同的光学器件之间的不同视野、晕映、失真(例如，桶形失真、枕形失真、胡须状失真)、和色差来调整图像数据。例如，桶形失真的差异可以通过使用Brown-Conrady失真校正算法来补偿。要理解，可以实施各种其它图像校正算法，以便补偿上述不同光学场景。在本公开的范围内考虑了所有这种其它图像校正算法。
示意图中示出的特定布置不应该被视作限制。应该理解，其它实施例可以或多或少地包括给定示意图中示出的每个元件。进一步地，可以组合或者省略一些图示的元件。更进一步地，说明性实施例可以包括未在示意图中图示的元件。
表示信息的处理的步骤或者框可以与可以配置为执行本文描述的方法或者技术的特定逻辑功能的电路系统对应。替选地或者另外地，表示信息的处理的步骤或者框可以与模块、片段、或者程序代码的一部分(包括相关数据)对应。程序代码可以包括可由处理器执行的用于实施方法或者技术中的特定逻辑功能或者动作的一个或者多个指令。可以将程序代码和/或相关数据存储在任何类型的计算机可读介质(诸如，存储装置，包括：磁盘、硬盘驱动器、或者其它存储介质)上。
计算机可读介质还可以包括非暂时性计算机可读介质，诸如，在短时间段内存储数据的计算机可读介质，比如，寄存器存储器、处理器缓存、和随机存取存储器(RAM)。计算机可读介质还可以包括在长时间段内存储程序代码和/或数据的非暂时性计算机可读介质。因此，计算机可读介质可以包括辅助或者持久长期存储装置，比如，例如，只读存储器(ROM)、光盘或者磁盘、光盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其它易失性或者非易失性存储系统。例如，可以将计算机可读介质视为计算机可读存储介质或者有形存储装置。
虽然已经公开了各种示例和实施例，但对本领域的技术人员而言，其它示例和实施例将是显而易见的。所公开的各种示例和实施例是为了进行说明，而不旨在进行限制，真实范围和精神用以下权利要求书指示。

Claims (15)

1.一种方法，包括：
由计算系统接收连拍图像数据，其中，所述连拍图像数据包括由第一图像捕获系统生成的第一图像数据和由第二图像捕获系统生成的第二图像数据，其中，所述第一图像捕获系统和所述第二图像捕获系统的相应光轴隔开了基线距离，其中，所述第一图像数据和所述第二图像数据包括至少一个图像对；
由所述计算系统至少基于所述基线距离来确定所述连拍图像数据的立体视差；
根据所确定的立体视差来调整所述第一图像数据或者所述第二图像数据中的至少一个以提供变形的图像堆叠；以及
根据连拍去噪算法来生成至少一个输出图像，其中，所述连拍去噪算法包括：确定所述变形的图像堆叠的加权平均值。
2.根据权利要求1所述的方法，进一步包括：
由所述计算系统确定至少一个纠正单应性函数，其中，所述至少一个纠正单应性函数被配置为使所述多个图像对中的相应图像对对齐；以及
根据所述至少一个纠正单应性函数来调整所述第一图像数据或者所述第二图像数据中的至少一个。
3.根据权利要求2所述的方法，其中，所述至少一个纠正单应性函数包括几何像素校正函数和光度像素校正函数。
4.根据任何一项前述权利要求所述的方法，其中，所述第一图像捕获系统和所述第二图像捕获系统的所述相应光轴被定向在大体上相同的方向上。
5.根据任何一项前述权利要求所述的方法，其中，确定所述连拍图像数据的所述立体视差包括：基于所述第一图像数据、所述第二图像数据和所述基线距离来估计平行视差函数；并且可选地，其中，根据所确定的立体视差来调整所述第一图像数据或者所述第二图像数据中的至少一个包括：将所估计的平行视差函数的反函数应用于所述第一图像数据或者所述第二图像数据中的至少一个。
6.根据任何一项前述权利要求所述的方法，其中，所述加权平均值包括所述变形的图像堆叠的对应像素的每像素平均值。
7.根据任何一项前述权利要求所述的方法，进一步包括：将高动态范围HDR函数应用于所述至少一个输出图像以提供至少一个HDR输出图像。
8.根据任何一项前述权利要求所述的方法，其中，所述第一图像捕获系统包括光耦合至彩色滤光器阵列的图像传感器，并且其中，所述第二图像捕获系统包括不具有彩色滤光器阵列的图像传感器。
9.根据任何一项前述权利要求所述的方法，其中，所述连拍图像数据包括根据以下中的至少一项被格式化的图像：原始图像格式、WebP图像格式或者JPEG图像格式；和/或
其中，所述连拍图像数据包括2和100个之间的图像。
10.根据任何一项前述权利要求所述的方法，其中，所述第一图像捕获系统包括光耦合至低通滤波器的图像传感器，并且其中，所述第二图像捕获系统包括不具有低通滤波器的图像传感器。
11.根据任何一项前述权利要求所述的方法，其中，所述第一图像捕获系统包括光耦合至具有第一焦距的光学器件的图像传感器，其中，所述第二图像捕获系统包括光耦合至具有第二焦距的光学器件的图像传感器，其中，所述第一焦距和所述第二焦距不同。
12.根据任何一项前述权利要求所述的方法，其中，所述多个图像捕获系统是沿着一定形状的边界布置的，其中，所述形状包括以下中的一项：环、圆盘或者球体。
13.根据任何一项前述权利要求所述的方法，其中，所述计算系统包括控制器，所述控制器包括至少一个程控电路串行编程(ICSP)微控制器。
14.一种系统，包括：
多个图像捕获系统，其中，所述多个图像捕获系统至少包括第一图像捕获系统和第二图像捕获系统，其中，所述第一图像捕获系统能够操作以捕获第一图像数据，并且所述第二图像捕获系统能够操作以捕获第二图像数据，其中，所述第一图像捕获系统和所述第二图像捕获系统的相应光轴隔开了基线距离，其中，所述第一图像数据和所述第二图像数据包括连拍图像数据，所述连拍图像数据具有至少一个图像对；以及
控制器，所述控制器包括存储器和处理器，其中，所述存储器被配置为包含指令，并且其中，所述处理器被配置为执行所述指令以实施根据任何一项前述权利要求所述的方法。
15.一种计算机可读介质，所述计算机可读介质包括处理器可执行指令，所述处理器可执行指令在被执行时使计算机实施根据权利要求1至13中任一项所述的方法。
CN201680050125.2A 2015-12-07 2016-11-30 用于多视点降噪和高动态范围的系统和方法 Active CN107925751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910370555.8A CN110225330A (zh) 2015-12-07 2016-11-30 用于多视点降噪和高动态范围的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/961,102 2015-12-07
US14/961,102 US9762893B2 (en) 2015-12-07 2015-12-07 Systems and methods for multiscopic noise reduction and high-dynamic range
PCT/US2016/064290 WO2017100061A1 (en) 2015-12-07 2016-11-30 Systems and methods for multiscopic noise reduction and high-dynamic range

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910370555.8A Division CN110225330A (zh) 2015-12-07 2016-11-30 用于多视点降噪和高动态范围的系统和方法

Publications (2)

Publication Number Publication Date
CN107925751A true CN107925751A (zh) 2018-04-17
CN107925751B CN107925751B (zh) 2019-06-04

Family

ID=58800470

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910370555.8A Pending CN110225330A (zh) 2015-12-07 2016-11-30 用于多视点降噪和高动态范围的系统和方法
CN201680050125.2A Active CN107925751B (zh) 2015-12-07 2016-11-30 用于多视点降噪和高动态范围的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910370555.8A Pending CN110225330A (zh) 2015-12-07 2016-11-30 用于多视点降噪和高动态范围的系统和方法

Country Status (6)

Country Link
US (4) US9762893B2 (zh)
EP (1) EP3335420A4 (zh)
JP (2) JP6818015B2 (zh)
KR (2) KR101991474B1 (zh)
CN (2) CN110225330A (zh)
WO (1) WO2017100061A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924434A (zh) * 2018-06-29 2018-11-30 宁波大学 一种基于曝光变换的立体高动态范围图像合成方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
WO2018048838A1 (en) 2016-09-06 2018-03-15 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US10499042B2 (en) * 2017-04-01 2019-12-03 Intel Corporation Barreling and compositing of images
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
CN107730464B (zh) * 2017-10-09 2021-03-30 四川大学 基于块匹配的图像降噪并行算法
WO2019164497A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
JP7418340B2 (ja) * 2018-03-13 2024-01-19 マジック リープ， インコーポレイテッド 機械学習を使用した画像増強深度感知
CN108717690B (zh) * 2018-05-21 2022-03-04 电子科技大学 一种高动态范围图片的合成方法
US11216923B2 (en) 2018-05-23 2022-01-04 Samsung Electronics Co., Ltd. Apparatus and method for successive multi-frame image denoising
US10902556B2 (en) 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
KR102525000B1 (ko) 2018-08-08 2023-04-24 삼성전자 주식회사 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2020065995A1 (ja) * 2018-09-28 2020-04-02 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
EP3899642A1 (en) 2018-12-20 2021-10-27 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
GB2588616B (en) * 2019-10-29 2021-10-27 Visidon Oy Image processing method and apparatus
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
CN112288646A (zh) * 2020-01-07 2021-01-29 影石创新科技股份有限公司 堆叠降噪方法、装置、电子设备及存储介质
WO2021234515A1 (en) * 2020-05-17 2021-11-25 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
WO2021247406A1 (en) * 2020-06-04 2021-12-09 Advanced Farm Technologies, Inc. Color stereo camera systems with global shutter synchronization
KR20220013183A (ko) 2020-07-24 2022-02-04 삼성전자주식회사 영상 복원 장치 및 방법
KR20220114209A (ko) 2021-02-08 2022-08-17 삼성전자주식회사 연사 영상 기반의 영상 복원 방법 및 장치
US20230013884A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with synthetic aperture multispectral camera array
US20240221130A1 (en) * 2023-01-04 2024-07-04 Samsung Electronics Co., Ltd. System and method for scene-adaptive denoise scheduling and efficient deghosting

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038797A1 (en) * 2010-08-16 2012-02-16 Industry-University Cooperation Foundation Sogang University Image processing method and image processing apparatus
US20120147139A1 (en) * 2010-03-19 2012-06-14 Bo Li Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
CN103079085A (zh) * 2011-10-25 2013-05-01 三星电子株式会社 三维图像获取装置及计算该装置中的深度信息的方法
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20150161798A1 (en) * 2013-03-15 2015-06-11 Pelican Imaging Corporation Array Cameras Including an Array Camera Module Augmented with a Separate Camera

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3769850B2 (ja) * 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
JP3733359B2 (ja) * 1996-04-05 2006-01-11 松下電器産業株式会社 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置
JP3912639B2 (ja) 1998-07-17 2007-05-09 日本ビクター株式会社 ３次元画像処理装置
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004120527A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd ２眼式デジタルカメラ
JP4017579B2 (ja) * 2003-09-19 2007-12-05 株式会社ソニー・コンピュータエンタテインメント 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP2006093860A (ja) * 2004-09-21 2006-04-06 Olympus Corp ２眼撮像系を搭載したカメラ
US7587099B2 (en) 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP4665781B2 (ja) * 2006-02-02 2011-04-06 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP4748398B2 (ja) * 2007-06-15 2011-08-17 富士フイルム株式会社 撮像装置、撮像方法及びプログラム
JP4828506B2 (ja) * 2007-11-05 2011-11-30 日本電信電話株式会社 仮想視点画像生成装置、プログラムおよび記録媒体
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
JP5444651B2 (ja) * 2008-07-16 2014-03-19 カシオ計算機株式会社 カメラ装置、その撮影方法と撮影制御プログラム
JP2010147812A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 複眼カメラ及び画像処理方法
US8090251B2 (en) * 2009-10-13 2012-01-03 James Cameron Frame linked 2D/3D camera system
CN103957356B (zh) * 2010-02-19 2018-11-09 株式会社尼康 电子设备以及电子设备的图像取得方法
US8588551B2 (en) * 2010-03-01 2013-11-19 Microsoft Corp. Multi-image sharpening and denoising using lucky imaging
JP5186614B2 (ja) * 2010-03-24 2013-04-17 富士フイルム株式会社 画像処理装置および画像処理方法
JP2012216939A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 画像処理装置、画像処理方法及びプログラム
JP5863280B2 (ja) * 2011-05-24 2016-02-16 キヤノン株式会社 撮像装置、画像処理方法及びプログラム
JP5917054B2 (ja) * 2011-09-12 2016-05-11 キヤノン株式会社 撮像装置、画像データ処理方法、およびプログラム
JP5766077B2 (ja) * 2011-09-14 2015-08-19 キヤノン株式会社 ノイズ低減のための画像処理装置及び画像処理方法
JP2013090129A (ja) * 2011-10-18 2013-05-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6031670B2 (ja) 2011-12-09 2016-11-24 パナソニックＩｐマネジメント株式会社 撮像装置
JP2013162272A (ja) 2012-02-03 2013-08-19 Olympus Imaging Corp 撮像装置
JP5992184B2 (ja) * 2012-03-09 2016-09-14 株式会社トプコン 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
US20140009462A1 (en) * 2012-04-17 2014-01-09 3Dmedia Corporation Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
US9526069B2 (en) 2012-04-20 2016-12-20 Qualcomm Incorporated Early initiation of dormancy of a radio connection
EP2845167A4 (en) * 2012-05-01 2016-01-13 Pelican Imaging Corp MODULES OF SHOOTING DEVICES CONSISTING OF PI FILTER GROUPS
JP2014022806A (ja) * 2012-07-13 2014-02-03 Sharp Corp 撮像装置および撮像装置制御方法
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
JP5887303B2 (ja) * 2013-06-19 2016-03-16 株式会社 日立産業制御ソリューションズ 画像信号処理装置，撮像装置および画像処理プログラム
US9615012B2 (en) * 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
EP2887642A3 (en) * 2013-12-23 2015-07-01 Nokia Corporation Method, apparatus and computer program product for image refocusing for light-field images
US10200649B2 (en) 2014-02-07 2019-02-05 Morpho, Inc. Image processing device, image processing method and recording medium for reducing noise in image
EP3099044B1 (en) 2014-05-15 2018-12-26 Huawei Technologies Co. Ltd. Multi-frame noise reduction method and terminal
JP2015144475A (ja) 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
US10284835B2 (en) 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
US10237473B2 (en) 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120147139A1 (en) * 2010-03-19 2012-06-14 Bo Li Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
US20120038797A1 (en) * 2010-08-16 2012-02-16 Industry-University Cooperation Foundation Sogang University Image processing method and image processing apparatus
CN103079085A (zh) * 2011-10-25 2013-05-01 三星电子株式会社 三维图像获取装置及计算该装置中的深度信息的方法
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20150161798A1 (en) * 2013-03-15 2015-06-11 Pelican Imaging Corporation Array Cameras Including an Array Camera Module Augmented with a Separate Camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924434A (zh) * 2018-06-29 2018-11-30 宁波大学 一种基于曝光变换的立体高动态范围图像合成方法

Also Published As

Publication number Publication date
EP3335420A4 (en) 2019-07-03
US10187628B2 (en) 2019-01-22
US20170163966A1 (en) 2017-06-08
CN107925751B (zh) 2019-06-04
JP2019165506A (ja) 2019-09-26
WO2017100061A1 (en) 2017-06-15
CN110225330A (zh) 2019-09-10
KR20180030727A (ko) 2018-03-23
US10897609B2 (en) 2021-01-19
JP7186672B2 (ja) 2022-12-09
KR101991474B1 (ko) 2019-06-20
JP6818015B2 (ja) 2021-01-20
US9762893B2 (en) 2017-09-12
EP3335420A1 (en) 2018-06-20
US10477185B2 (en) 2019-11-12
US20170347088A1 (en) 2017-11-30
KR102142641B1 (ko) 2020-08-07
US20200084429A1 (en) 2020-03-12
KR20190071011A (ko) 2019-06-21
JP2019500762A (ja) 2019-01-10
US20190124319A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
CN107959778B (zh) 基于双摄像头的成像方法和装置
US9544574B2 (en) Selecting camera pairs for stereoscopic imaging
CN102892008B (zh) 双图像捕获处理
US9774880B2 (en) Depth-based video compression
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
CN107948500A (zh) 图像处理方法和装置
US9961272B2 (en) Image capturing apparatus and method of controlling the same
CN108055452A (zh) 图像处理方法、装置及设备
CN107948520A (zh) 图像处理方法和装置
KR20120068655A (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
CN108024054A (zh) 图像处理方法、装置及设备
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN107633497A (zh) 一种图像景深渲染方法、系统及终端
WO2021145913A1 (en) Estimating depth based on iris size
CN111866369B (zh) 图像处理方法及装置
TWI504936B (zh) 影像處理裝置
WO2024076363A1 (en) Field of view correction techniques for shutterless camera systems
CN108496355A (zh) 一种通过多次曝光补偿相对照度的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant