CN109842758B - 计算传感器 - Google Patents

计算传感器 Download PDF

Info

Publication number
CN109842758B
CN109842758B CN201711230019.5A CN201711230019A CN109842758B CN 109842758 B CN109842758 B CN 109842758B CN 201711230019 A CN201711230019 A CN 201711230019A CN 109842758 B CN109842758 B CN 109842758B
Authority
CN
China
Prior art keywords
image
processing
optics
pixel
merging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711230019.5A
Other languages
English (en)
Other versions
CN109842758A (zh
Inventor
艾伦·H·拉什
周汇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Priority to CN202210533527.5A priority Critical patent/CN114979509A/zh
Priority to CN201711230019.5A priority patent/CN109842758B/zh
Priority to US15/832,734 priority patent/US11379942B2/en
Publication of CN109842758A publication Critical patent/CN109842758A/zh
Application granted granted Critical
Publication of CN109842758B publication Critical patent/CN109842758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了用于控制所收集图像数据的特性的系统和方法。所述系统和方法包括：使用GPU来执行图像的预处理；基于所述预处理来配置光学器件，所述配置被设计成考虑到所述经预处理的图像的特征；使用所述经配置的光学器件来获取图像；使用GPU来处理所述已获取图像；以及确定所述经处理的已获取图像是否考虑到所述经预处理的图像的特征，并且如果所述确定是肯定的，则输出所述图像，其中如果所述确定是否定的，则重复所述光学器件的所述配置并且重新获取所述图像。

Description

计算传感器
背景技术
对原始传感器数据的早期处理使得能够为计算机视觉应用程序(检测、跟踪等)更精确(噪声更低)地处理图像数据、或更有效地管理图像数据。但是，需要实现的是：对捕获数据的有效处理效率和使用高级算法；以及通过精密控制曝光动态，即使在有限的良构像素/传感器的情况下也捕获具有高动态范围的数据。
附图说明
可以从结合附图以举例方式给出的以下描述中获得更详细的了解，在附图中：
图1示出系统框图，所述系统框图示出可在其中实现本发明的一个或多个特征的示例性系统；
图2是可在其中实现本公开的一个或多个特征的示例性设备的框图；
图3是图2的设备的框图，其示出附加细节；
图4示出从图1的对象散发的光场的图；
图5示出图1的焦平面元件的进一步细节；
图6示出图5的像素阵列的附加细节；
图7示出控制图6的预处理以便通过选择性合并来选择感兴趣区(ROI)的实例；
图8示出控制图6的预处理以便通过选择性合并来选择ROI的另一个实例；
图9示出通过GPU使用抽取来控制预处理的实例；
图10A-10D示出通过GPU使用滤波来控制预处理的实例；
图11示出使用感兴趣区(ROI)来控制预处理的实例；
图12示出通过GPU使用裁剪来控制预处理的实例；
图13示出表示用于提供光圈控制的对微光学器件的GPU控制的示例性系统；
图14示出表示提供光圈控制的光学器件的示例性系统；
图15示出表示提供光圈控制的光学器件的示例性系统；
图16示出表示微光学器件的示例性系统，所述微光学器件提供局部光调制以处理HDR来实现色调映射的下游管理；
图17示出表示微光学器件的示例性系统，所述微光学器件在光学器件的增益在视场上并不恒定的条件下提供噪声管理控制；以及
图18示出在图1的系统内执行的用于控制所收集图像数据的特性的方法。
具体实施方式
描述了将处理元件的网格与通常存在于图像传感器中的焦平面元件的阵列集成。具体地说，每个焦平面元件可以被视为处理元件的“局部元件”并且被相应地调度和管理。这提供了对捕获数据的更早访问以及对焦平面元件的更精密控制。
图1示出系统框图，所述系统框图示出可在其中实现本发明的一个或多个特征的示例性系统10。系统10用于对至少一个对象20进行成像，并且包括至少一个光路机构30、一个或多个焦平面元件40和多个GPU 50。为了清楚起见，系统10被描绘为使用单个光路机构30、单个焦平面元件40和一个GPU 50对单个对象20进行成像，但是应当理解，可以利用任何数量的对象20、光路机构30、焦平面元件40和GPU 50中的任一项。
至少一个对象20是能够通过光学系统或系统10观看的任何对象。对象20能够从其反射许多光线，这将在下文中描述。
至少一个光路机构30包括与包括在系统(诸如系统10)中的光线束的任何交互。所述至少一个光路机构30包括但不限于：光学元件、反向数字微镜设备(DMD)元件、纳米机电系统(NEMS)结构、微机电系统(MEMS)结构、碳纳米管、以及按多个GPU 50的控制来操纵光的其他设备。以下包括关于光路机构30的附加细节。
一个或多个焦平面元件40包括任何数量的焦平面阵列或传感器，其包括图像系统中的检测器和其他焦点元件。以下包括关于焦平面元件40的附加细节。
多个GPU 50包括用于处理像素级数据且/或控制焦平面元件和/或光路机构的任何处理设备和/或计算资源。多个GPU 50用于集成光路机构处的处理能力，以便在焦平面元件40进行捕获之前预处理光束。例如，多个GPU 50中的每个处理元件(如以下将描述的)能被分配来控制在光场内发现的特定光束(如以下将描述的)。
可选地，多个GPU 50用于与通常存在于图像传感器中的焦平面元件40的阵列集成，以使得每个焦平面元件40能够被视为多个GPU50中的处理元件的局部元件以便被相应地调度和管理。以下包括关于多个GPU 50的附加细节。
图2是可在其中实现本公开的一个或多个特征的示例性设备100的框图。设备100可以包括例如计算机、游戏设备、手持式设备、机顶盒、电视、移动电话或平板计算机。设备100包括处理器102、存储器104、存储设备106、一个或多个输入设备108和一个或多个输出设备110。设备100还可任选地包括输入驱动器112和输出驱动器114。应理解的是，设备100可包括图2中未展示的附加部件。
在各种替代方案中，处理器102包括中央处理单元(CPU)、图形处理单元(GPU)、位于同一晶粒上的CPU和GPU，或一个或多个处理器核心，其中每个处理器核心可以是CPU或GPU。在各种替代方案中，存储器104与处理器102位于同一晶粒上，或与处理器102分开定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器(RAM)、动态RAM或高速缓存。
存储设备106包括固定存储设备或可移除存储设备，例如硬盘驱动器、固态驱动器、光盘或闪存驱动器。输入设备108包括但不限于键盘、小键盘、触摸屏、触摸板、检测器、麦克风、加速度计、陀螺仪、生物识别扫描器或网络连接(例如，用于发射和/或接收无线IEEE802信号的无线局域网卡)。输出设备110包括但不限于显示器、扬声器、打印机、触觉反馈设备、一个或多个灯、天线或网络连接(例如，用于发射和/或接收无线IEEE 802信号的无线局域网卡)。
输入驱动器112与处理器102和输入设备108通信，并且容许处理器102接收来自输入设备108的输入。输出驱动器114与处理器102和输出设备110通信，并且容许处理器102向输出设备110发送输出。应注意的是，输入驱动器112和输出驱动器114为任选部件，并且在输入驱动器112和输出驱动器114不存在的情况下，设备100将以相同方式操作。输出驱动器116包括联接到显示设备118的加速处理设备(APD)116。APD被配置来：从处理器102接受计算命令和图形呈现命令，处理这些计算命令和图形呈现命令，并且向显示设备118提供像素输出以用于显示。如以下更详细描述的，APD 116包括被配置来根据单指令多数据(SIMD)范例执行计算的一个或多个并行处理单元。因此，尽管各种功能在本文中被描述为由APD 116执行或结合APD 116执行，但是在各种替代方案中，被描述为由APD 116执行的功能另外或可选地由具有类似能力的其他计算设备执行，所述计算设备不是由主机处理器(例如，处理器102)驱动的并且被配置来向显示设备118提供图形输出。例如，可以设想的是，根据SIMD范例执行处理任务的任何处理系统能被配置来执行本文描述的功能。可选地，可以设想的是，未根据SIMD范例执行处理任务的计算系统执行本文描述的功能。
图3是设备100的框图，其示出与在APD 116上执行处理任务相关的附加细节。处理器102在系统存储器104中维持用于供处理器102执行的一个或多个控制逻辑模块。控制逻辑模块包括操作系统120、内核模式驱动程序122和应用程序126。这些控制逻辑模块控制处理器102和APD 116的操作的各种特征。例如，操作系统120与硬件直接通信，并且为在处理器102上执行的其他软件提供到硬件的接口。例如，内核模式驱动程序122通过例如向在处理器102上执行的软件(例如，应用程序126)提供应用程序编程接口(“API”)以访问APD 116的各种功能来控制APD 116的操作。内核模式驱动程序122还包括实时编译器，其编译用于供APD 116的处理部件(诸如以下更详细讨论的SIMD单元138)执行的程序。
APD 116执行用于所选功能(诸如能适合于并行处理的图形操作和非图形操作)的命令和程序。APD 116可以用于执行图形管线操作(诸如像素操作、几何计算)、以及基于从处理器102接收的命令向显示设备118呈现图像。APD 116还基于从处理器102接收的命令执行与图形操作不直接相关的计算处理操作(诸如与视频、物理模拟、计算流体动力学相关的操作)或其他任务。
APD 116包括计算单元132，所述计算单元132包括被配置来应处理器102的请求根据SIMD范例以并行方式执行操作的一个或多个SIMD单元138。SIMD范例是这样一种范例：其中多个处理元件共享单个程序控制流单元和程序计数器，并且从而执行同一程序，但能够用不同的数据来执行所述程序。在一个实例中，每个SIMD单元138包括十六个通道，其中每个通道与SIMD单元138中的其他通道同时执行同一指令，但可以用不同的数据来执行所述指令。如果并非所有通道都需要执行给定指令，则可以关闭通道。也可以使用预测来执行具有发散控制流的程序。更具体地说，对于其中控制流是基于由单独通道执行的计算的具有条件分支或其他指令的程序，针对与当前未执行的控制流路径相对应的通道的预测、以及不同控制流路径的串行执行允许任意的控制流。
计算单元132中的基本执行单元是工作项。每个工作项表示将在特定的通道中并行执行的程序的单个实例化。工作项可以作为单个SIMD处理单元138上的“波前”被同时执行。一个或多个波前包括在“工作组”中，所述“工作组”包括被指定来执行同一程序的工作项的集合。可以通过执行构成工作组的每个波前来执行工作组。在替代方案中，在单个SIMD单元138上依序执行波前，或者在不同的SIMD单元138上部分或完全地并行执行波前。波前可以被认为是可在单个SIMD单元138上同时执行的工作项的最大集合。因此，如果从处理器102接收的命令指示特定程序将被并行化到所述程序不能在单个SIMD单元138上同时执行的程度，则所述程序被分解成在两个或更多个SIMD单元138上并行化、或者在同一SIMD单元138上串行化(或根据需要既并行化又串行化)的波前。调度器136被配置来执行与调度不同计算单元132和SIMD单元138上的各种波前相关的操作。
计算单元132提供的并行性适合于图形相关操作，诸如像素值计算、顶点变换和其他图形操作。因此，在一些情况下，从处理器102接受图形处理命令的图形管线134向计算单元132提供计算任务以用于并行执行。
计算单元132还用于执行与图形无关的或者并不是作为图形管线134的“正常”操作的一部分所执行的计算任务(例如自定义操作，所述自定义操作被执行来补充针对图形管线134的操作所执行的处理)。在处理器102上执行的应用程序126或其他软件向APD 116传输限定此类计算任务的程序以用于执行。
图4示出从图1的对象20散发的光场的图。从多个光源(未示出)照射对象20，所述光源包括但不限于太阳、人造光源、以及撞击对象20的其他光线。对象20在所有方向上反射对象20的照射(其实例被指示为实线或虚线)。由对象20反射的所有光线表示从对象20散发的光场400。
光场400的某些光线402、404、406、408入射在光路机构(OPM)30上。光线402、404、406、408包括诸如对象20的颜色、强度和方向的信息。所述信息提供了感知对象20所需的信息。光路机构30基于光路机构30的尺寸以及从多个有利位置点捕获光来提供对象20的立体视图。也就是说，光线的角方向被捕获。这种立体视图允许感知对象20有多远。
光路机构30将光线402、404、406、408作为光线412、414、416、418中继传递到焦平面元件40。光路机构30通过光线412、414、416、418将光线402、404、406、408内所包含的颜色、强度和方向传送到焦平面元件40。通过控制光路机构30，提供对象20的不同视点。
对于给定的光捕获设备，GPU 50将处理元件分配给光场400中的至少一个光束和所述光束的光路机构30。GPU 50的处理元件可以基于处理元件所接收的反馈来限制或切换光场400中的单独光束。这个级别的集成的一方面是噪声管理。特别是暗电流、渐晕(镜头阴影)、色差和其他噪声源。通过使用处理元件、使用光学级的时间调制(诸如操纵焦距和光圈及其他特性)，可以减轻或消除一些这种噪声管理。
将GPU 50的处理元件的网格与存在于图像传感器中的焦平面元件40的焦平面像素元件的阵列集成。具体地说，每个焦平面元件40可以被视为GPU 50的处理元件的“局部元件”并且被相应地调度和管理。这个级别的集成或框架使得能够及早处理图像数据(接近地面实况图像信息)，并且将会降低计算级别且因此降低功率需求。
这个级别的集成的一方面是功率管理，并且特别是热量对诸如图像传感器的焦点位置元件40的影响。众所周知，图像传感器通常对噪声(并且特别是暗电流)非常敏感。例如，暗电流每6℃翻倍。存在用于处理暗噪声的技术，但它们是不切实际的。例如，用于天文成像的图像传感器被冷却到-50℃。通过将GPU 50的处理元件与焦平面元件40集成，实现对焦平面元件40的曝光时间的局部控制。曝光时间的局部控制还使得能够使用有限的良构图像传感器来捕获具有高动态范围(HDR)的图像。能处理噪声、动态范围、颜色溢出(bleeding)、功率和热量、以及速度和转换。本发明的结构还能够实现多光谱图像捕获、光场捕获、以及其他操作模态和功能模态。
GPU 50的每个处理元件负责一定数量的焦平面元件40，从而产生可以实现深度学习能力和其他高级算法的操作密度。
图5示出图1的焦平面元件40的进一步细节。在焦平面元件40的这种更详细表示中，如详细阐述的，焦平面元件40通过OPM 30与对象20光学连接。焦平面元件40包括微光学器件510、像素阵列520和预处理电子器件530。GPU 50联接到焦平面元件40。图像信号处理器(ISP)540用于读出焦平面元件40。如本领域普通技术人员将理解的，ISP 540能使用并行处理来运行并且能用于执行任何数量的任务。
微光学器件510可以是以电子、化学或其他方式控制的任何类型的光学器件或微光学器件。微光学器件510具有与关于例如光学器件30所描述的类型类似的类型，以及如以下实例中将详细描述的其他光学器件类型。在一些配置中，例如，GPU 50诸如通过反馈来控制并配置微光学器件510。下文将描述这种控制的具体实例和相关配置。
例如，像素阵列520是接收入射光并且操作来诸如通过已知的过程或转换将入射光中的光子转换成电子的检测器或阵列。
预处理530是指用处理器结合存储器系统执行的电子器件和处理，从而允许控制向系统10输出电子信息。在一些配置中，例如，GPU 50诸如通过反馈来控制并配置预处理530。下文将描述这种控制的具体实例和相关配置。
并行的GPU 50像素计算用于图像的初始拍摄和预处理。这个图像用于向传感器部件40提供反馈控制。传感器部件40包括微光学器件510、像素阵列520和预处理530。如使用配置所确定的，GPU 50单独或共同地控制微光学器件510和预处理530。以下描述此类配置的实例。
图6示出像素阵列520的附加细节。在一个实现方式中，像素阵列520包括：光子检测器650、像素读出电路660、读出电子器件610、至少一个模数(A/D)转换器620、至少一个放大器630、以及读出像素阵列520所需的任何附加的读出或配置电子器件640。
光子检测器650包括能够接收被进行处理的图像的任何类型的检测器。检测器650通常需要读出电子器件，诸如像素读出电路660、以及基于所利用的检测器650的类型而确定并得知的其他读出电子器件610。如检测器领域的普通技术人员通常所理解的，至少一个A/D转换器620用于从模拟信号转换成数字信号。类似地，至少一个放大器630用于根据需要放大正在接收的信号。
如图6上所示，GPU 50提供反馈和对预处理530和/或微光学器件510的控制。对预处理530的GPU 50控制被配置来操作，以在光撞击像素阵列520之后通过对像素输出的预处理530来实现预处理。
图7示出控制预处理530以通过选择性合并来选择感兴趣区(ROI)的实例700。合并是图像传感器在维持视场的同时提供较低分辨率输出的常规功能。如图7所示，存在传感器的R/G/B(红色/绿色/蓝色)合并的第一实例700。合并允许组合来自相邻像素的电荷，并且提供的益处是更快的读出速度和改善的信噪比(SNR)，但代价是减小的空间分辨率。更具体地说，在实例700中，一组四个蓝色像素710B被2x2地合并成单个蓝色像素720B。一组四个绿色像素710G1被2x2地合并成单个绿色像素720G1。一组四个绿色像素710G2被2x2地合并成单个绿色像素720G2。一组四个红色像素710R被2x2地合并成单个红色像素720R。当GPU 50控制预处理530时，合并发生。
图8示出用GPU 50控制预处理530以通过选择性合并来选择ROI的另一个实例800。在实例800中，合并包括水平合并和垂直子采样。在像素阵列520内水平表示的像素集包括：第一行像素P00 810、P01 820、P02 830、P03 840，第二行像素P10 850、P11 851、P12 852、P13 853，第三行像素P20 860、P21 870、P22 880、P23 890，以及第四行像素P30 855、P31856、P32 857、P33 858。第一行像素被合并，使得像素P00 810和像素P01 820被组合，诸如通过将其相应值相加并除以2(被组合的像素的数量)并且将这个值记录在合并像素825中；并且像素P02 830和像素P03 840被组合，诸如通过将其相应值相加并除以2(同样是被组合的像素的数量)并且将这个值记录在合并像素845中。虽然第二行被示出为不包括合并，但是这种表示仅仅是实例，因为第二行中可以包括合并。这是选择性ROI。
第三行像素被合并，使得通过将其相应值相加并除以2(同样是被组合的像素的数量)并且将这个值记录在合并像素875中，像素P20 860和像素P21 870被组合；通过将其相应值相加并除以2(同样是被组合的像素的数量)并且将这个值记录在合并像素895中，像素P22 880和像素P23 890被组合。虽然图中没有示出第四行被合并，但它当然可以包括合并，这一点能从例子中得到理解。
在诸如实例700和800的ROI选择性合并中，ROI选择性合并控制对像素阵列520的合并处理，其中根据GPU 50计算反馈执行ROI合并以便区分某个特定区(ROI)。例如，ROI能包括图像的低空间响应，这意味着这个ROI区域的内容细节级别和信号级别变化是最小的以及图像的相对平坦区。在这种情况下，合并作为低通滤波器来操作，并且基于GPU 50的反馈。合并可以实现对合理小型区的控制以便使用合并和可变等效空间采样。例如，GPU 50在视频序列中使用滤波器来跟踪图像的边缘和样本分布以提供反馈。
也通过实现合并来实现局部光圈控制。通过组合所描述的用于组合式ROI选择的技术，合并功能也可以直接对像素阵列520实现等效的局部光圈控制。在图像中存在暗对象的情况下要求这种局部光圈控制。合并增大了在该区域的读出值以提高该暗对象的亮度级。合并有助于后续常规ISP 540功能的自动曝光(AE)和(局部色调映射)LTM。
也通过实现合并来实现动态范围。通过组合所描述的用于组合式ROI选择的技术，增大了最终输出像素级别的动态范围，因为可以通过合并来改善SNR(信噪比)和亮度级两者。例如，可以使用合并将10位传感器输出轻易改善为半位动态范围。当GPU 50控制预处理530时，合并发生。
图9示出使用抽取来控制预处理530的实例900。例如，像素阵列520的抽取是移除(在读出意义上)特定百分比的像素，诸如10个中的1个。在图9中，像素行910包括编号为0-9的像素。通过预处理530在3个像素中抽取1个像素进行操作，就好像：像素2未被读取，即，被抽取，如915所示；像素5未被读取，即，被抽取，如925所示；像素8未被读取，即，被抽取，如图935所示。例如，取决于空间频率响应，根据GPU 50反馈，通过ROI可变采样密度对像素阵列520上的输出进行自适应抽取。
图10A-10D示出使用滤波来控制预处理530的实例1000。实例1000提供了按GPU 50的控制、通过预处理530施加到图像的高斯滤波器的图示。拍摄图像，并且在图像(图10A)中示出了棋盘格的四个像素。第一像素1002是白色但包括某种噪声。第三像素1006类似于第一像素1002。第二像素1004是黑色并且也包括某种噪声。第四像素1008类似于第二像素1004。在曲线(图10B)中提供四个像素的强度曲线。如图所示，噪声由曲线的锯齿状性质示出。表示第一像素1002的部分1012意图是白色的，但是也包括噪声。类似地，表示第二像素1004的部分1014、表示第三像素1006的部分1016和表示第四像素1008的部分1018展示了噪声。通过应用实例1000的高斯滤波器，将图像变换为图像(图10C)，其中第一像素1022、第二像素1024、第三像素1026和第四像素1028中的噪声有所减少。这由曲线(图10B)中提供的曲线的更小锯齿状性质示出。表示第一像素1022的部分1032意图是白色的，并且与没有过滤的图像(图10A)相比，更接近地表示噪声有所减少的白色像素。类似地，表示第二像素1024的部分1034、表示第三像素1026的部分1036和表示第四像素1028的部分1038展示了通过应用高斯滤波器的噪声减少。可以使用经由预处理530实施的不同种类的线性滤波器。例如，滤波器类型包括高斯加权滤波器、拉普拉斯滤波器、索贝尔算子。预处理530中的这些滤波器是通过GPU 50反馈来配置的。
图11示出使用ROI来控制预处理530的实例1100。实例1100提供了根据基于撞击检测器1110的光子种类的GPU 50计算来配置ROI的图示。这些ROI可以作为后续可能的ISP或计算机视觉处理的选定分割边界。ROI的形状不必像普通相机/ISP系统中的常规ROI设置那样是矩形的，并且甚至可以取决于后续处理的要求为非凸形的。作为实例，在图11中，形状可以是正方形或矩形1120、圆形1130、三角形1140或其他形状(诸如嘴状1150)。当GPU 50控制预处理530时，合并发生。
图12示出使用裁剪来控制预处理530的实例1400。实例1400包括像素阵列520、以及使用固定窗口1410的经裁剪或减小的样本尺寸，所述固定窗口1410表示像素阵列520子集。与像素阵列520相比，固定窗口1410可被设计成任何尺寸或形状。例如，可以使用窗口1420，其中窗口1420是圆形。也可以使用其他类似的窗口，诸如也是圆形的窗口1430。例如也可以使用其他形状的窗口，诸如三角形窗口1440。裁剪基于ROI或固定窗口配置来提供帧样本尺寸减小。当GPU 50控制预处理530时，合并发生。图13示出表示用于提供光圈控制的对微光学器件510的GPU 50控制的示例性系统1300。例如，微光学器件510可以通过物理或化学方法来配置，以便为合理小型区实现不同的有效焦平面，这可以有效地改变局部DoF(景深)、焦距和动态范围。图13示出表示具体提供光圈控制的对微光学器件510的控制的示例性系统1300。系统1430如以上关于至少图1和图5以及图6所描述的那样被配置并且包括焦平面元件40，所述焦平面元件40包括微光学器件510、像素阵列520和焦平面预处理530。来自图1、图5、图6的GPU 50未在系统1300中示出，但是GPU 50控制微光学器件510、微光学器件510的配置，并且提供来自焦平面40的反馈以实现由微光学器件510提供的期望效果。
在图13中示出了对象20。对象20可以包括任何数量的焦平面。如图所示，对象20包括对象焦平面1310、1320。OPM 30将对象焦平面成像到焦平面元件40。如图5、图6所述，焦平面元件40包含微光学器件510和像素阵列520。焦平面元件40还包括预处理530(图13中未示出)。被示出为微透镜阵列的微光学器件510通过可配置局部光圈1340将对象焦平面再成像到图像焦平面1330，然后其入射在像素阵列520上。
光圈控制创建了用于像素阵列520中的像素或像素组的快门机构。例如，图13示出可配置局部光圈微光学器件510(诸如微透镜)，从几何光学观点来看，其不同于利用全局设置来记录光场的常规光场技术。使用几何光学，可以自适应地调整并实时地优化再对焦、DoF补偿。例如，即使真实世界距离范围相当大，也可以获得不同距离处的所有清晰对象的图像。因此，可以在单个图像中执行再对焦，而不是像在常规光场成像技术中所做的那样在若干单独图像中执行再对焦。发生这种情况是因为局部焦平面可以被调整成非常接近于一个全局等效焦平面，相当于根据GPU计算反馈的局部光圈配置。
对微光学器件510的GPU 50控制在图14中进一步示出，并且被配置来操作以控制微光学器件510以便影响撞击像素阵列520的光的质量。图14示出表示另外提供光圈控制的对微光学器件510的控制的示例性系统1400。系统1400如以上关于至少图1和图5以及图6所描述的那样被配置并且包括焦平面元件40，所述焦平面元件40包括微光学器件510、像素阵列520和焦平面预处理530。来自图1、图5、图6的GPU 50未在系统1400中示出，但是GPU 50控制微光学器件510、微光学器件510的配置，并且提供来自焦平面40的反馈以实现由微光学器件510提供的期望效果。
光圈控制创建了用于像素阵列520中的像素或像素组的快门机构。微光学器件510可以具有与光学器件30类似的类型，或者可以采取关于光学器件30所描述的实例之一的形式。这是使用光学器件、通过作用于微光学器件510的单个区域或者通过将光学器件的各部分分组为微光学器件510的更大区段来实现的。如在微光学器件510的分解图1410中所示的，可以进行分组来创建光学器件的被分组在一起的更大区域，诸如组1420、1430、1440、1450、1460。可以具体控制其他部分，诸如单个区域1415、1425、1435、1445、1455、1465。这些分组1420、1430、1440、1450、1460和区域1415、1425、1435、1445、1455、1465提供了控制用于每个光束的快门机构的能力。快门机构通过向每个像素有效地添加开关和ADC 620(来自图6)来创建独特的像素曝光。
通过使用这种种类开关和ADC 620型的布置、通过为视场内的局部区域提供快门机构，这为每个区域1415、1425、1435、1445、1455或组1420、1430、1440、1450、1460提供了单独定时的曝光。尽管没有实际使用开关和ADC 620，但区域1415、1425、1435、1445、1455、1465和组1420、1430、1440、1450、1460中的快门控制操作来控制曝光于光束部分或光束。根据需要，区域1415、1425、1435、1445、1455、1465或组1420、1430、1440、1450、1460可以是较小的或较大的以及任何尺寸的。每个区域1415、1425、1435、1445、1455、1465通常被隔离，并且对于所述组1420、1430、1440、1450、1460被分配相同的快门和定时，从而允许选择性地控制图像的小区域中的小光束。
这些定时曝光也可以用于从图像或帧中移除运动。有两种类型的运动：帧间运动(即，视频帧之间的运动)，以及帧内运动(即，一个捕获帧内的运动)。光圈控制是用于控制帧内运动的工具之一。光圈控制用于控制帧间运动，因为这种类型的运动在本质上是时间性的。
在空间型的帧内捕获中，光圈控制是用于允许或不允许运动的主要机制。在有些场合，期望在运动中具有模糊元素效果，但很多时候这种期望并不存在。相反，即使涉及少许运动，也可能期望使图片看起来清晰。
景深可以通过光圈控制来限定并且提供光圈的全局控制，并且由此缩小光学器件的光圈。可以在光束内控制光圈。这提供了用于控制景深的双重机制。也就是说，可以通过控制光圈来全局控制景深，或者可以使用单独的景深控制来控制光束内的单独区域或小区域。可能出现这样的情况，一组或一簇光圈可以独立于其他光圈移动。相位移动的极限由像素中心距离和有效光圈大小来定义。有效光圈可以作为局部微光圈和光圈大小和位置的局部控制的函数来控制。因此，可以将CRA作为局部功能进行控制，从而实现CRA效果的区域优化。
例如，如果非常亮的对象在未移动的非常暗的背景下移动，则可能期望利用尽可能大的光圈来曝光暗背景。通常，这会因对象的亮度而使对象饱和。在使用光束来控制动态范围的情况下，解决了这些问题并且可以控制曝光。景深和曝光控制提供了在图像内或在帧内进行单独或局部控制的选项。
可以拍摄并处理初始图像或子图像以提供关于图像场景的反馈或信息。可以通过从初始图像或子图像捕获初始信息来创建这个反馈以了解场景。一旦知道了初始信息，则GPU的能力就(当前操作大约是每个像素200到1000个操作)足以能够运行通过所有计算并且使用多种不同技术，诸如伽马滤波器、跟踪滤波器或其他技术(如果空间和时间行为在这个视场中)。通过拍摄初始图像和闪光、然后是期望图像，这在概念上类似于使用红眼减少或自动曝光算法。收敛算法用于收敛于目标上并且在本领域中通常被很好地理解，在此处被应用，其中通过本文描述的这些光束调制类型的方案、使用越来越窄和越来越细的图像粒度区来进行扩展控制。这实质上在透镜内部创建了数千个相机，其中GPU控制每个相机。
图15示出表示提供光圈控制的对微光学器件510的控制的示例性系统1500。系统1500如以上关于至少图1和图5以及图6所描述的那样被配置并且包括焦平面元件40，所述焦平面元件40包括微光学器件510、像素阵列520和焦平面预处理530。来自图1、图5、图6的GPU 50未在系统1500中示出，但是GPU 50控制微光学器件510、微光学器件510的配置，并且提供来自焦平面40的反馈以实现由微光学器件510提供的期望效果。
在修改微光学器件510时，焦距被修改。这在光学器件的放大率方面(包括空间放大率)改变了光学器件。举例来说，如果存在摄远透镜，则移动透镜的一部分(诸如位于摄远透镜中间的一组透镜)来影响透镜的焦距。重要的是，维持透镜的后焦距(即，从透镜后面到焦平面的距离)。透镜的这种移动的效果是改变进入光学器件的每个光线的轨迹。
在图15的配置中，存在数字版的摄远透镜而无需移动任何透镜。作为实例，如果微光学器件510提供单独控制光束并使每个光束转向的能力。如上所述，光圈实例对通过光束或包括在光束中的光的量进行调制。在这种情况下，虽然不是对通过光束的光进行调制，但是对光束进行调制或转向。这将光束投射到另一个像素、另一个位置处的焦平面上，并且效果是通过改变有效焦平面来放大或减小视场。也就是说，存在一种用来实现虚拟缩放而不改变或不更改光学器件的物理位置的机制。
在光学器件1510中，大约在中心处存在部分1520。例如，修改这个部分1520的角度以将光束从像素阵列520的中心移动到边缘。光束的这种动态角度调整基于由后焦距以及图像在焦平面内移动的量创建的三角形来改变焦距。在所形成的三角形的剩余边上实现焦距的改变，同时维持从光学器件中的最后元件到传感器的距离。
类似地，在位置1530、1540、1550、1560处撞击光学器件1510的光束可以在像素阵列520上移动。例如，撞击部分1530的光束可以被移动以在像素阵列520中对准某个点，在这个点处，撞击部分1540的光束在未修改状态下撞击像素阵列520，并且反之亦然。类似地，撞击部分1550的光束可以被移动以在像素阵列520中对准某个点，在这个点处，撞击部分1560的光束在未修改状态下撞击像素阵列520，并且反之亦然。
在附加或替代实例中，利用微光学器件510来提供色度控制。也就是说，GPU 50的处理元件通过控制微光学器件510来控制光系统的色度响应，从而允许光场400的特定光束在系统10内通过或不通过。低光照情况提供了需要色度控制的实例。在低光照下，最困难的任务之一是提取色度信息。为了在这种情况下提供图片，设想在晚上拍摄的视频，其往往会具有色度噪声。通常，使具有充分色度采样(DR)的图像变暗是更容易的。例如，可以利用微光学器件20的部分，如本文其他图中所描述的。这些部分可以用于将每个部分曝光到每个像素的井的适当级别。应了解，基于本文中的公开，许多连接变型是可能的。尽管上文以特定组合描述了特征和元件，但是每个特征或元件都可以在没有其它特征和元件的情况下单独使用，或者在具有或不具有其它特征和元件的情况下以各种组合来使用。
图16示出表示微光学器件510的示例性系统1600，所述微光学器件510提供局部光调制以处理HDR来实现色调映射的下游管理。系统1600如以上关于至少图1和图5以及图6所描述的那样被配置并且包括焦平面元件40，所述焦平面元件40包括微光学器件510、像素阵列520和焦平面预处理530。来自图1、图5、图6的GPU 50未在系统1600中示出，但是GPU 50控制微光学器件510、微光学器件510的配置，并且提供来自焦平面40的反馈以实现由微光学器件510提供的期望效果。
通常，在焦平面40处的传感器负责捕获图像数据的情况下，当在系统1600中执行HDR和局部色调映射时，在下游提取HDR信息来局部控制对比度，这被称为局部色调映射(LTM)。通常，这种控制是在中心级别下执行的，所以传感器必须捕获在大多数情况下远超过其自然或固有捕获能力的图像。在目前的配置中，在系统1600的光收集部分(通常是微光学器件510)处调制HDR和局部对比度。通过使用局部光调制，传感器40能够在其固有动态范围能力内捕获HDR信息。一旦使用光束来调制光，就可以将光束分配给传感器40中的相应位置。因为在微光学器件510处调制光，所以传感器40现在以或多或少相同的动态范围观看对象20，就好像它正在看非HDR图像。
作为非限制性实例，微光学器件510被分成四个同心矩形区：内区1620、外区1650、第二外区1640和第二内区1630。在一个实例中，内区1620被设计成使光束衰减到原来的十分之一，第二内区被设计成使光束衰减到原来的五分之一，第二外区1640被设计成使光束衰减到原来的二分之一，并且外区1650被设计成提供零衰减。且/或可以利用其他衰减值。也可以利用其他衰减配置。还可以利用另外的或更少的区。
然后，在了解在微光学器件510处施加的局部光调制的情况下，在预处理器530中处理在传感器40处得到的信息。换句话说，在传感器中的某个位置处，存在光学器件510的调制增益的分配，并且所述增益完成HDR功能。然后处理所选像素处的图像中的值，以便考虑到所施加的衰减，同时重要的是适当地曝光传感器40的所有部分。
在另一个示意性实例中，通过控制微光学器件510来控制像素上的光的量，诸如被配置来透射光束的50％。在处理考虑到了解仅50％的光被透射的情况下，传感器捕获光。例如，检测器的常规设施用于例如使用比方说80％的像素井来捕获光，但是系统1600例如知道需要进行将所收集光的量与透射的量相乘。
这个实例展示了在高动态范围场景中使用局部对比度区域，例如，如果在雪景或其他类似特征中存在背光式场景，则这种技术提供了提取对比度但不破坏场景的总动态范围和总对比度的方式。通过使用这种光路限制，高动态范围捕获和局部对比度管理都得到控制。
此外，在这个实例中，系统1600可以用于使单个像素减小到原来的二分之一，并且然后将不同像素限制为原来的三分之一。知道这些限制系数允许通过处理器对每个像素的值进行调整，并且还用于外推到在图像内的和在所识别像素周围的其他像素。可以执行局部色调映射，因为信息被捕获，而不是使所述像素饱和或者只有很少的信息(导致增加的噪声)或者在局部色调映射丢失的情况下采取其他技术。本质上，这表示羽化。
图17示出表示微光学器件510的示例性系统1700，所述微光学器件510在光学器件的增益在视场上并不恒定的条件下提供噪声管理控制。系统1700如以上关于至少图1和图5以及图6所描述的那样被配置并且包括焦平面元件40，所述焦平面元件40包括微光学器件510、像素阵列520和焦平面预处理530。来自图1、图5、图6的GPU 50未在系统1700中示出，但是GPU 50控制微光学器件510、微光学器件510的配置，并且提供来自焦平面40的反馈以实现由微光学器件510提供的期望效果。
微光学器件510被配置来解决图像的中心存在的噪声。例如，如果存在噪声并且图像边缘处的像素的值由于渐晕而减小，则存在一个值。边缘处的这个像素具有不同的噪声值，并且当存在渐晕效应时，试图调整并管理视场上的噪声是相当困难的。在此类情况下，在视场上维持一致的噪声管理是困难的。
以类似的方式，横向色差呈现出类似问题。当从图像的中心、轴心行进到图像的边缘时，色差校正的噪声变得更加严重，并且因此图17所示的调制技术基本上使透镜看起来非常平坦并且使渐晕和轴向横向色差最小化。
如图17所示，微光学器件510由GPU 50控制以减弱中心的光束。作为实例，曲线1710描绘了如通过微光学器件510的水平切面中所示的减弱曲线。曲线1720描绘了如通过微光学器件510的垂直切面中所示的减弱曲线。这两条曲线(水平1710、垂直1720)被示出为相同的，但是可以利用所述曲线之间的任何变化。类似地，虽然每条曲线关于微光学器件510的中心是对称的，但是可以利用其他非对称配置。
在这个描述中，在微光学器件510的中心处应用的减弱系数是5，而减弱系数被应用为从中心到边缘减小的抛物线。边缘不包括减弱。
图18示出在图1的系统内执行的用于控制所收集图像数据的特性的方法1800。方法1800包括：在步骤1810处，通过拍摄至少一个初始图像并使用GPU处理所述图像来执行预处理。这个初始图像可以是允许较少数据缩减的子图像或部分图像。在步骤1820处，根据步骤1810的处理来配置微光学器件或调整预处理。如上文所述，光学器件的配置可以符合任何数量的操纵光束的技术，并且可以被设计来提供益处以改善像差、信噪比和动态范围(仅作为非限制性实例)。在步骤1830处，可以拍摄期望的图像。一旦已拍摄，则通过向每个光束分配GPU或者通过使用GPU处理技术来根据需要向光束分配可用的GPU，使用GPU来处理图像。一旦已处理，则形成到在步骤1820处配置光学器件的环路。这种环路提供了提供附加配置的能力，并且可以在步骤1810处的预处理未产生足够结果的情况下使用。一旦已处理的图像减少并且期望的效果被移除，则在步骤1850处输出图像。
应了解，基于本文中的公开，许多变型是可能的。尽管上文以特定组合描述了特征和元件，但是每个特征或元件都可以在没有其它特征和元件的情况下单独使用，或者在具有或不具有其它特征和元件的情况下以各种组合来使用。
可以在通用计算机、处理器或处理器核心中实现所提供的方法。作为实例，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其它任何类型的集成电路(IC)，和/或状态机。通过使用处理后的硬件描述语言(HDL)指令和包括网表的其它中间数据(这些指令能够存储在计算机可读介质上)的结果对制造过程进行配置，可以制造此类处理器。这种处理的结果可以是掩模作品，所述掩模作品随后在半导体制造过程中用来制造实现本公开的特征的处理器。
本文提供的方法或流程图可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件被并入非暂时性计算机可读存储介质中以便由通用计算机或处理器执行。非暂时性计算机可读存储介质的实例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移除磁盘的磁性介质、磁光介质、以及诸如CD-ROM盘和数字通用光盘(DVD)的光学介质。

Claims (20)

1.一种用于控制所收集图像数据的特性的方法，所述方法包括：
通过将多个红色像素合并成合并红色像素、将多个蓝色像素合并成合并蓝色像素并且将多个绿色像素合并成合并绿色像素来选择图像中的感兴趣区域来使用图形处理单元(GPU)来执行所述图像的预处理；
基于所述预处理来配置光学器件以修改光路长度以考虑到所述经预处理的图像的至少一个特征；
使用所述经配置的光学器件来获取图像；
使用所述GPU来处理所述已获取图像；
确定所述经处理的已获取图像是否考虑到所述经预处理的图像的所述至少一个特征；
当所述确定是肯定的时，输出所述已获取图像；以及
当所述确定是否定的时，重复所述光学器件的所述配置并且重新获取所述图像。
2.如权利要求1所述的方法，其中所述预处理包括拍摄至少一个图像。
3.如权利要求2所述的方法，其中所述一个图像是子图像。
4.如权利要求1所述的方法，其中配置光学器件包括更改微光学器件以控制传感器处的输出。
5.如权利要求1所述的方法，其中所述特征是高动态范围(HDR)。
6.如权利要求1所述的方法，其中所述特征是多景深(DOF)捕获。
7.如权利要求1所述的方法，其中所述特征是用于光束的快门机构。
8.如权利要求7所述的方法，其中所述光束对应于焦平面中的区域。
9.如权利要求1所述的方法，其中所述特征是光圈控制。
10.如权利要求1所述的方法，其中所述特征允许裁剪所述图像以减小数据收集资源。
11.如权利要求10所述的方法，其中所述资源包括存储设备、带宽或处理能力。
12.如权利要求1所述的方法，其中所述特征是视场中的亮的对象。
13.如权利要求1所述的方法，其中所述特征是所述图像中的低光照级。
14.如权利要求1所述的方法，其中配置光学器件包括改变所述图像的所述预处理以控制传感器处的所述输出。
15.如权利要求14所述的方法，其中所述预处理包括合并。
16.如权利要求15所述的方法，其中所述合并操作来提供感兴趣区(ROI)选择性合并、局部光圈控制或动态范围控制中的至少一项。
17.如权利要求14所述的方法，其中所述预处理包括抽取。
18.如权利要求14所述的方法，其中所述预处理包括滤波。
19.如权利要求14所述的方法，其中所述预处理包括裁剪。
20.一种用于控制所收集图像数据的特性的设备，所述设备包括：
多个图形处理单元(GPU)，其联接到图像收集设备以用于通过将多个红色像素合并成合并红色像素、将多个蓝色像素合并成合并蓝色像素并且将多个绿色像素合并成合并绿色像素来选择图像中的感兴趣区域来执行所述图像的预处理；
所述多个GPU基于所述预处理来配置光学器件或预处理器，所述配置被设计成修改光路长度以考虑到所述经预处理的图像的至少一个特征；
通过所述图像收集设备、使用所述经配置的光学器件来获取图像；
所述多个GPU处理所述已获取图像，以确定所述经处理的已获取图像是否考虑到所述经预处理的图像的所述至少一个特征，当所述确定是肯定的时，输出所述已获取图像，并且当所述确定是否定的时，重复所述光学器件的所述配置并且重新获取所述图像。
CN201711230019.5A 2017-11-29 2017-11-29 计算传感器 Active CN109842758B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210533527.5A CN114979509A (zh) 2017-11-29 2017-11-29 计算传感器
CN201711230019.5A CN109842758B (zh) 2017-11-29 2017-11-29 计算传感器
US15/832,734 US11379942B2 (en) 2017-11-29 2017-12-05 Computational sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711230019.5A CN109842758B (zh) 2017-11-29 2017-11-29 计算传感器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210533527.5A Division CN114979509A (zh) 2017-11-29 2017-11-29 计算传感器

Publications (2)

Publication Number Publication Date
CN109842758A CN109842758A (zh) 2019-06-04
CN109842758B true CN109842758B (zh) 2022-06-07

Family

ID=66633433

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711230019.5A Active CN109842758B (zh) 2017-11-29 2017-11-29 计算传感器
CN202210533527.5A Pending CN114979509A (zh) 2017-11-29 2017-11-29 计算传感器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210533527.5A Pending CN114979509A (zh) 2017-11-29 2017-11-29 计算传感器

Country Status (2)

Country Link
US (1) US11379942B2 (zh)
CN (2) CN109842758B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4324188A1 (en) * 2021-04-14 2024-02-21 Immervision Inc. Adaptive relative illumination optical system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109625B2 (ja) * 1985-04-17 1995-11-22 株式会社日立製作所 三次元立体視方法
US8521022B1 (en) * 2001-07-19 2013-08-27 Alcatel Lucent Dynamic assignment of wavelengths in agile photonic networks
KR101391024B1 (ko) * 2007-12-28 2014-04-30 삼성전자주식회사 카메라 설정 관리 방법 및 장치
US20130085935A1 (en) * 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
JP4770907B2 (ja) * 2008-10-21 2011-09-14 ソニー株式会社 撮像装置、撮像方法及びプログラム
CN101604383B (zh) * 2009-07-24 2011-07-27 哈尔滨工业大学 一种基于红外图像的海上目标检测方法
US9473792B2 (en) * 2009-11-06 2016-10-18 Texas Instruments Incorporated Method and system to improve the performance of a video encoder
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP5638890B2 (ja) * 2010-09-15 2014-12-10 オリンパス株式会社 撮像装置、撮像方法及びプログラム
CN102162851B (zh) * 2010-12-29 2013-04-10 北京大学 一种植被多/高光谱成像装置
WO2016041162A1 (en) * 2014-09-17 2016-03-24 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
EP3588061B1 (en) * 2014-12-23 2023-04-19 Apple Inc. Optical inspection system and method including accounting for variations of optical path length within a sample
KR102565847B1 (ko) * 2015-07-06 2023-08-10 삼성전자주식회사 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
US10169864B1 (en) * 2015-08-27 2019-01-01 Carl Zeiss Meditec, Inc. Methods and systems to detect and classify retinal structures in interferometric imaging data
US10295838B1 (en) * 2015-09-30 2019-05-21 Apple Inc. Body including surface having concentric annular portions
US9979942B2 (en) * 2016-06-30 2018-05-22 Apple Inc. Per pixel color correction filtering
US10368080B2 (en) * 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values

Also Published As

Publication number Publication date
US11379942B2 (en) 2022-07-05
CN114979509A (zh) 2022-08-30
US20190164251A1 (en) 2019-05-30
CN109842758A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
CN113168670A (zh) 使用神经网络的亮点去除
CN110378845B (zh) 一种基于卷积神经网络的极端条件下的图像修复方法
JP5067154B2 (ja) 撮像装置
JP2009021919A (ja) 撮像装置
JP2009124213A (ja) 撮像装置
JP2009224982A (ja) 画像処理装置、画像処理プログラムおよび表示装置
US10674074B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on a plurality of parallax images
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US11579514B2 (en) Computational optics
Liu et al. Single-photon camera guided extreme dynamic range imaging
US10715723B2 (en) Image processing apparatus, image acquisition system, image processing method, and image processing program
CN113379609A (zh) 一种图像处理方法、存储介质及终端设备
CN109842758B (zh) 计算传感器
Schedl et al. Coded exposure HDR light‐field video recording
TW202121887A (zh) 影像感測器、攝影機模組及包含攝影機模組之光學設備
Li et al. Coded-exposure camera and its circuits design
Nam et al. Ultra-thin Camera–Compound Eye Vision Approach
Sufi et al. A single algorithm combining exposure and focus fusion
KR20230116909A (ko) 희소 컬러 이미지 센서 시스템
KR20210044648A (ko) 영상 처리 장치 및 이를 포함하는 광학 기기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant