CN113411514B - 高动态范围传感器和高动态范围感测的方法 - Google Patents

高动态范围传感器和高动态范围感测的方法 Download PDF

Info

Publication number
CN113411514B
CN113411514B CN202110688064.5A CN202110688064A CN113411514B CN 113411514 B CN113411514 B CN 113411514B CN 202110688064 A CN202110688064 A CN 202110688064A CN 113411514 B CN113411514 B CN 113411514B
Authority
CN
China
Prior art keywords
sltm
dynamic range
high dynamic
modulator
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110688064.5A
Other languages
English (en)
Other versions
CN113411514A (zh
Inventor
信钊炜
潘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Publication of CN113411514A publication Critical patent/CN113411514A/zh
Application granted granted Critical
Publication of CN113411514B publication Critical patent/CN113411514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)

Abstract

一种示例性高动态范围传感器，包括：具有多个像素的像素阵列；空间透光率调制器，所述空间透光率调制器具有多个预定义阴影，所述多个预定义阴影相对于所述多个像素是固定的，其中所述多个预定义阴影位于所述多个像素上方；和微透镜阵列，所述微透镜阵列具有多个与所述多个像素中的至少一者对准的微透镜，其中所述微透镜阵列位于所述多个像素上方。本发明还涉及高动态范围感测的方法。

Description

高动态范围传感器和高动态范围感测的方法
技术领域
本发明涉及图像捕获装置，具体地，本发明涉及基于编码空间透光率调制器的图像捕获装置。
背景技术
半导体图像传感器用于感测光辐射。光电探测器的动态范围受模数转换中噪声的限制。目前，很难同时感测光照不佳和光照明亮的场景区域。
目前，多重曝光低动态范围图像的融合需要使用运动稳定和去重影。扩展具有多重曝光图像的传感器的动态范围需要相机对准并且降低帧率。利用多个传感器通过融合具有多个传感器的不同曝光来扩展动态曝光需要利用多个传感器，并且使相机校准复杂化。
发明内容
一种示例性高动态范围传感器，包括：具有多个像素的像素阵列；空间透光率调制器，所述空间透光率调制器具有多个预定义阴影，所述多个预定义阴影相对于所述多个像素是固定的，其中所述多个预定义阴影位于所述多个像素上方；和微透镜阵列，所述微透镜阵列具有多个与所述多个像素中的至少一者对准的微透镜，其中所述微透镜阵列位于所述多个像素上方。
一种高动态范围感测的示例性方法，包括从像素阵列接收像素阵列信号；确定所述像素阵列信号中的至少一个过度曝光像素；以及对空间透光率调制器中的至少一个灰度调整(grayscaling)进行调制，以降低所述至少一个过度曝光像素的曝光度。
附图说明
在附图中：
图1是根据本发明的一个实施例的第一示例性系统的示意图；
图2是根据本发明的一个实施例的第二示例性系统的示意图；
图3描绘了根据本发明的一个实施例的基于相机的第一示例性空间透光率调制器(SLTM)传感器；
图4描绘了根据本发明的一个实施例的SLTM传感器结构的示例性截面图，其中SLTM元件在图像传感器的微透镜阵列下方；
图5描绘了根据本发明的一个实施例的SLTM传感器结构的示例性截面图，其中SLTM元件在图像传感器的微透镜阵列上方；
图6描绘了根据本发明的一个实施例的具有变化的透射率的编码空间透光率调制器的示例性俯视图；
图7描绘了根据本发明的一个实施例的用于高动态图像获取的第一示例性方法；
图8描绘了根据本发明的一个实施例的基于相机的第二示例性性SLTM传感器；
图9描绘了根据本发明的一个实施例的用于SLTM图像数据获取装置的第一示例性架构；
图10描绘了根据本发明的一个实施例的SLTM元件结构的第二示例性俯视图；
图11描绘了根据本发明的一个实施例的在液晶中定义的可调节SLTM像素的第一示例性截面图；
图12描绘了根据本发明的一个实施例的在液晶中定义的可调节SLTM像素的第二示例性截面图；
图13描绘了根据本发明的一个实施例的具有安装在主透镜系统上的SLTM元件的相机的第二示例架构；
图14描绘了根据本发明的一个实施例的SLTM图像数据获取装置的第二示例性架构；
图15描绘了根据本发明的一个实施例的用于高动态图像获取的第二示例性方法；
图16描绘了根据本发明的一个实施例的用于基于SLTM传感器或SLTM元件的成像系统的第一示例性SLTM控制模块；以及
图17描绘了用于高动态图像获取的第三示例性方法。
具体实施方式
以下列出的实施例仅用于说明装置和方法的应用，而不是限制本发明的范围。对该装置和方法的修改的等同形式的修改应归入到权利要求的范围内。
贯穿以下说明书和权利要求使用的某些术语用于指代特定系统部件。如本领域技术人员将理解的，不同的公司可以以不同的名称来指代部件和/或方法。该文献无意区分名称不同但功能并非不同的部件和/或方法。
在以下讨论和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此可以被解释为“包括，但不限于…”。此外，术语“联接”或“连接联接(第三人称)”旨在表示间接或直接的连接。因此，如果第一设备与第二设备联接，则该连接可以通过直接连接或通过经由其它设备和连接的间接连接来实现。
图1描绘了示例性的混合计算系统100，该系统可用于实现与过程1700中的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与所述混合系统相关联的处理器包括现场可编程门阵列(FPGA)122、图形处理器单元(GPU)120和中央处理单元(CPU)118。
CPU 118、GPU 120和FPGA 122具有提供神经网络的能力。CPU是可以执行许多不同功能的通用处理器，它的通用性导致其能执行多个不同任务的能力，然而，它对于多个数据流的处理是有限的，并且它相对于神经网络的功能是有限的。GPU是图形处理器，它具有能够依次处理并行任务的许多小的处理内核。FPGA是现场可编程设备，它具有被重配置并且以硬连线电路的方式来执行任何可被编程到CPU或GPU中的功能的能力。由于FPGA的编程是以电路形式的，因此其速度是CPU的几倍快，并且明显快于GPU。
系统还可以包含其它类型的处理器，例如：加速处理单元(APU，其包括有CPU并且在芯片上具有GPU元件)以及专门用于执行高速数字数据处理的数字信号处理器(DSP)。专用集成电路(ASIC)也可以执行FPGA的硬连线功能，然而，设计和生产ASIC的交付周期约为一个季度，其并不是在对FPGA进行编程中可用的快速周转实现实施方案。
图形处理器单元120、中央处理单元118和现场可编程门阵列122连接并连接至存储器接口和控制器112。FPGA通过可编程逻辑电路连接至存储器接口，以连接存储器互连130。由于FPGA的工作带宽非常大的事实并且为了将FPGA的用来执行存储任务的电路最小化，可以使用附加设备。存储器接口和控制器112另外连接至永久存储盘110、存储系统114和只读存储器(ROM)116。
图1的系统可用于FPGA进行编程和训练。GPU利用非结构化数据良好地运行并且可以被用于进行训练，一旦数据被训练完成，则可以找到确定性推论模型(deterministicinference model)，并且CPU可以利用由GPU确定的模型数据对FPGA进行编程。
存储器接口和控制器连接至中央互连124，中央互连124另外连接至GPU 120、CPU118和FPGA 122。中心互连124另外连接至输入和输出接口128和网络接口126。
图2描绘了第二示例性混合计算系统200，该系统可用于实现与过程1700中的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)210和中央处理单元(CPU)220。
FPGA电连接至FPGA控制器212，该FPGA控制器212与直接存储器访问(DMA)218接口连接。DMA 218连接至输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216都与FPGA联接，以分别将数据缓冲到FPGA和将数据从FPGA缓冲出来。DMA 218具有两个先进先出(FIFO)缓冲器，一个用于主CPU，另一个用于FPGA，DMA允许向适当的缓冲器写入数据或者从适当的缓冲器读取数据。
在DMA的CPU侧是主交换机228，其将数据和命令往返传送至DMA。DMA还连接至同步动态随机存取存储器(SDRAM)控制器224，该SDRAM控制器允许数据在FPGA和CPU220之间往返传送，SDRAM控制器还连接至外部SDRAM 226和CPU 220。主交换机228连接至外围接口230。闪存控制器222控制永久存储器并且连接至CPU 220。
所提出的解决方案旨在形成作为图像捕获装置一部分的编码空间光透射调制器(SLTM)。该图像捕获装置能够扩展相机的动态范围。可以通过将编码的空间透光率调制器放置在传感器的防护玻璃上来实施所提出的图像捕获装置。具有每像素曝光调制的已编码低动态范围(low dynamic range，LDR)图像可以重新映射到光电检测器上。高动态范围(high dynamic range，HDR)模块提供HDR图像，而对相机的修改最小化。
空间透光率调制器可以提供基于每像素的阴影，或者可以将M×N个像素区域阴影化。空间透光率调制器(spatial light transmittance modulator，SLTM)可以设置在微透镜上方，在此情况下SLTM可以是动态可调节的并且被称为基于SLTM元件的配置，或者可替代地，SLTM可以设置在微透镜下方，在此情况下SLTM是基于SLTM元件的配置。术语“已编码的(coded)”表示调制是固定的且不可调节的。
所提出的解决方案可以提供与图像传感器装置集成的可调节或已编码的空间透光率调制器。该装置能够在一定情形(例如在道路上的日照和夜间驾驶期间迎面而来的前照灯的情形)下执行高动态范围(HDR)图像捕捉。提供了一种自适应基于SLTM的图像系统，该系统使得SLTM能够以高分辨率调节透射率，从而允许相机采集具有高动态范围的场景。
根据SLTM元件在光路中的位置，透光率图像捕获装置可以被描述为基于SLTM传感器的配置(在该配置中过度曝光区域的透射率可以通过SLTM传感器像素来调节)，或者被描述为基于SLTM元件的配置(在该配置中SLTM元件安装在主透镜系统上并且SLTM元件上的透射率映射可以被动态地调节)。
图3描绘了基于已编码的空间透光率调制器图像传感器的成像系统的示例性架构。空间透光率调制器(SLTM)元件101被固定，以对入射到图像传感器103上的光的强度进行调制，空间透光率调制器(SLTM)元件101和图像传感器103的组合是产生每像素光调制203的已编码的SLTM图像传感器202。来自被摄体(subject)201的光束可以由主透镜系统102聚焦，以由已编码的SLTM图像传感器202捕获。在另一示例中，调制可以是基于覆盖M×N个像素的每个区域的。
由图像传感器捕获的光量由主透镜102的光圈限制。在该示例中，已编码的SLTM图像传感器202包括已编码的SLTM元件101和图像传感器103。已编码的SLTM元件101提供每像素光调制的LDR图像。在该示例中，每像素调制由每像素光调制203元件描绘。已编码的SLTM元件101和图像传感器103的组合被称为已编码的SLTM图像传感器202。
本领域技术人员将认识到，图像传感器103并不受已编码的SLTM元件101的布置或特定灰度的限制，并且可以利用其它编码SLTM元件。如图3所示，已编码的每像素光调制203可以映射到光电检测器像素阵列。在其它实施例中，光调制可以是基于每个区域的而不是基于每像素调制的。
该示例性成像系统可以是基于已编码的空间透光率调制器的，该已编码的空间透光率调制器被构造成用于具有单次拍摄曝光的高动态范围成像检测。相机可以包括主透镜系统102以及集成或安装在图像传感器103上的已编码的SLTM元件101遮盖(mask)。
图4描绘了已编码的SLTM图像传感器202的第一示例性截面图。已编码的SLTM元件101形成在微透镜层206与像素阵列207之间的芯片上。在该示例中，覆盖玻璃205是平的。图像传感器架构并不限于背侧照明的图像传感器装置，而是可以扩展到其它类型的图像传感器装置。
图5描绘了已编码的SLTM图像传感器202的第二示例性截面图，其中，覆盖玻璃205可以是已编码的SLTM元件101。已编码的SLTM元件101位于微透镜层206和像素阵列207的上方。术语“已编码的”表示调制是固定的且不可调节的。
参考图6，其是具有变化灰度的通过单次拍摄创建高动态范围(HDR)图像的已编码的空间透光率调制器的俯视图。透射率图案的布置并不限于图6中所示的所提出的图案。可以使用均匀分布图案、随机二进制图案等其它图案作为HDR遮盖。从被摄体反射的光穿过主透镜系统(图3，102)和已编码的SLTM元件(图3，101)遮盖到达图像传感器(图3，103)，以获得所捕获图像的每像素强度调制。可利用重构模块使用已编码的LDR原始图像来重构HDR图像。
图7描绘了用于高动态图像(HDR)获取和重构的示例性方法。初始化710成像系统并且校准712相机以获得图像原始数据中的已编码的透射率遮盖。可以使用系统内校准模块对该透射率遮盖进行预校准。已编码的SLTM元件101遮盖可以提供具有空间变化曝光的已编码的LDR图像原始数据714，并且HDR图像重构模块716可以根据已编码的LDR图像原始数据714来重构HDR图像，并且输出HDR图像718。
图8描绘了基于SLTM传感器的成像系统的第二示例性架构。可额外地或可替代地添加其它部件。来自被摄体201的入射光束被主透镜系统102聚焦继而被SLTM图像传感器202捕获。由相机捕获的光量受到主透镜的光圈限制。SLTM图像传感器202包括SLTM元件101和图像传感器103。SLTM元件101可以提供基于过度曝光像素的动态透射率。本领域技术人员将认识到，图像传感器103并不受限于SLTM元件101，并且SLTM的像素尺寸可以被调整为包括每像素光调制203或每区域光调制204。如图8所示，SLTM可以覆盖一个或多个图像传感器像素，例如每像素光调制203或每区域光调制204。可以在SLTM图像传感器202上重新映射具有高动态范围的场景。
图9描绘了用于空间透光率图像数据采集的第一示例性架构900，其包括光学器件，例如主透镜系统(图8，102)和SLTM图像传感器(图8，202)，该SLTM图像传感器具有SLTM元件(图8，101)和图像传感器(图8，103)。场景分析模块104接收来自图像传感器103的数据。SLTM控制模块105接收来自场景分析模块104的数据。控制电路106接收来自SLTM控制模块的数据并且将该数据馈送到电压驱动器107，该数据又被发送到SLTM元件(图8，101)。存储器108接收来自图像传感器(图8，103)的数据并且将该数据发送到后期处理模块109。场景分析模块104分析过度曝光区域的场景，并且确定过度曝光像素的地址。控制电路106和电压驱动器107调节SLTM传感器的空间透射率布置。结果可以存储在存储器108中并且发送到后期处理模块109。
图10描绘了SLTM元件101网格结构的示例性俯视图。SLTM元件101网格结构中的SLTM像素300A的布置可以被重新布置。SLTM像素可以覆盖单个图像传感器像素或覆盖包括多个图像传感器像素的区域，元件300B表示控制电路。
图11和图12描绘了基于液晶305的可调节SLTM像素300A的截面图。在该示例中，存在偏光器301A和偏光器301B以及涂覆氧化铟锡(Indium tin oxide，ITO)的玻璃单元、ITO层303或一些其它可以用作导体的合适材料。ITO层303具有取向层304A和取向层304B。取向层彼此垂直以形成扭曲向列型(twisted-nematic)单元。可以由其它合适的材料代替玻璃基板302。扭曲向列型单元包含向列型液晶，该向列型液晶被限制在两个偏光玻璃板之间。扭曲向列型效应基于不同分子构型之间的向列型液晶的受控再取向，该不同分子构型基于施加电场。当偏光器301A和301B彼此平行或垂直时，驱动电压施加到可调节SLTM像素。
当没有电压施加到扭曲向列型单元时，液体分子形成初始布置。修改驱动电压允许将SLTM像素调整到接通状态和关断状态。随着驱动电压的增加，液晶分子被重新布置，可调节SLTM像素的透射率将在0和1之间连续可调。本领域技术人员将认识到，可调节SLTM元件101并不受限于液晶，而是可以由任何可调节透射率的材料代替。
图13描绘了具有安装在主透镜系统前面的SLTM元件101的示例性成像系统，也可以额外地或可替代地添加其它部件。从被摄体201反射的入射光束穿过SLTM元件101和主透镜系统102并随后被图像传感器103捕获。所捕获的光量受主透镜的光圈和可调节或已编码的空间透光率调制器元件101的限制。SLTM元件101可以基于图像内的过度曝光像素来提供动态透射率。本领域技术人员将认识到SLTM元件101和SLTM的像素尺寸可以被调整。如图13所示，SLTM元件可以与主透镜系统集成。具有高动态范围的场景可以映射到图像传感器103。
图14描绘了用于空间透光率图像数据采集的第二示例性架构1400，其包括光学器件，例如与SLTM元件(图13，101)和图像传感器(图13，103)集成的主透镜系统(图13，102)，场景分析模块104、SLTM控制模块105、控制电路106、向SLTM元件101发送的电压驱动器107、从图像传感器103接收数据的存储器108、以及从存储器108接收数据的后期处理模块109。光学部件先前已在图13中示出。场景分析模块104接收来自图像传感器103的数据，场景分析模块104选择具有大的过度曝光区域的场景并且确定过度曝光像素的地址。SLTM控制模块105接收来自场景分析模块104的数据，其中SLTM控制模块105提供控制模式。控制电路106接收来自SLTM控制模块105的数据，电压驱动器107接收来自控制电路106的数据，并且调节SLTM传感器的空间透射率布置，以获得高动态范围图像。结果可以存储在存储器108并且发送到后期处理模块109。
图15描绘了用于高动态图像获取的示例性方法的第一流程图。初始化1510具有相机的成像系统并且将其校准1512为默认透射率映射。该透射率可以是预设的，或者可以与最后时刻使用的透射率相同等。场景分析模块1514可以提供近似的降低图像传感器性能的过度曝光区域，并且SLTM控制模块1516可以向电压驱动模块1518提供控制信号。
图16描绘了针对两个不同成像系统的SLTM控制的流程图，这两个不同成像系统是基于该系统是被配置为SLTM传感器还是SLTM元件的。SLTM控制模块1610确定1612过度曝光像素的坐标。系统确定1614SLTM是实施为传感器还是元件。如果确定SLTM是传感器实施的，则更新1616SLTM传感器像素的驱动电压。如果成像系统是基于SLTM传感器实施的，则可以通过直接调节像素透射率来获得高动态范围图像。
如果SLTM元件安装在主透镜上，则可以确定1618SLTM元件的过度曝光像素的坐标。可以确定1620SLTM元件的透射率映射，并且可以通过更新1622SLTM元件的驱动电压来将精细调整的图像映射到图像传感器。
图17描绘了高动态范围感测的示例性方法，包括：从像素阵列接收1710像素阵列信号，确定1712像素阵列信号中的至少一个过度曝光像素，以及对空间透光率调制器中的至少一个灰度调整进行调制1714，以降低该至少一个过度曝光像素的曝光度。该方法还包括：确定1716该至少一个过度曝光像素的至少一个地址，确定1718该至少一个过度曝光像素的透射率映射，以及确定1720空间透光率调制器到至少一个过度曝光像素的驱动电压。
所提出的解决方案可以允许单次曝光，其并不利用运动稳定或去重影。该解决方案可以提供灵活的即插即用的实施方案和高帧率。
本领域的技术人员将了解，本文中所描述的各种说明性的块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经在其功能方面对各种说明性的块、模块、元件、部件、方法和算法进行了总体描述。将该功能实施为硬件还是软件取决于强加于整个系统的特定应用和设计约束。熟练的技术人员可以针对每个特定应用以不同方式来实施所描述的功能。在不脱离本主题技术的范围的情况下，各种部件和块可以被不同地布置(例如以不同的顺序布置，或以不同的方式划分)。
应理解，所公开的过程中的步骤的特定顺序或层级是对示例方法的一种说明。基于设计偏好，可以理解，过程中的步骤的特定顺序或层级可以被重新排列。一些步骤可以同时进行。所附方法权利要求以样本顺序呈现各个步骤的要素，并不意味着受限于所呈现的特定顺序或层级。
提供前面的描述是为了使本领域技术人员能够实践本文中所描述的各种方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技术人员来说，对这些方面的各种修改是明显的，并且本文限定的一般原理可以应用于其它方面。因此，权利要求并不旨在受限于本文所示的方面，而是旨在使全部范围与权利要求的语言表述相一致，其中对单数元素的引用并不旨在表示“一个且仅一个”，除非具体如此陈述，而是表示“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。男性中的代词(例如，他的)包括女性和中性(例如，她和它的)，反之亦然。标题和副标题(如果有的话)仅为了方便而使用，并不限制本发明。谓语“被配置以”、“可操作以”和“被编程以”并不暗示着对主语的任何特定的有形或无形修改，而是旨在可被互换地使用。例如，被配置以监视和控制操作或部件的处理器，还可以表示，该处理器被编程以监视和控制操作，或者处理器可操作以监视和控制操作。同样地，被配置以执行代码的处理器，可以被解释为，被编程以执行代码的处理器或可操作以执行代码的处理器。
诸如“方面”之类的短语并不暗示这样的方面对于本技术是必不可少的，或者这样的方面适用于主题技术的所有配置。涉及一方面的公开可适用于所有配置、或一个或多个配置。一个方面可以提供一个或多个示例。诸如“方面”的短语可以指代一个或多个方面，反之亦然。诸如“实施例”之类的短语并不暗示这样的实施例对于主题技术是必不可少的，或者这样的实施例适用于主题技术的所有配置。涉及一个实施例的公开可应用于所有实施例，或一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可以指代一个或多个实施例，反之亦然。诸如“配置”之类的短语并不暗示这样的配置对于主题技术是必不可少的，或者这样的配置适用于主题技术的所有配置。涉及一种配置的公开可应用于所有配置、或一个或多个配置。一种配置可提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置，反之亦然。
本文使用词语“示例”来表示“用作示例或说明”。本文描述为“示例”的任何方面或设计不必被解释为比其它方面或设计更优选或更具优势。
本领域普通技术人员已知或以后将知道的，贯穿本发明所描述的各个方面的元件的所有结构和功能等同物通过引用被明确地并入本文，并且旨在由权利要求所涵盖。此外，无论在权利要求中是否明确地叙述了这样的公开，本文的公开都不旨在捐献于公众。此外，关于在说明书或权利要求书中使用“包括”、“具有”或类似术语的含义，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”或类似表述的引用表明特定元件或特性被包括在本发明的至少一个实施例中。虽然短语可能出现在多个地方，但短语不一定是指同一个实施例。结合本发明，本领域技术人员将能够设计和并入适合于实现上述功能的各种机制中的任何一种。
应理解，本发明仅教导了说明性的实施例的一个示例，并且本领域技术人员在阅读本发明之后可以容易地设计出本发明的许多变体，并且本发明的范围由以下权利要求确定。

Claims (13)

1.一种高动态范围传感器，包括：
具有多个像素的像素阵列；
空间透光率调制器，所述空间透光率调制器具有多个预定义阴影，所述多个预定义阴影相对于所述多个像素是固定的，其中所述多个预定义阴影位于所述多个像素上方；和
微透镜阵列，所述微透镜阵列具有多个与所述多个像素中的至少一者对准的微透镜，其中所述微透镜阵列位于所述多个像素上方；
其中，所述空间透光率调制器位于所述微透镜阵列上方。
2.根据权利要求1所述的高动态范围传感器，其特征在于，所述空间透光率调制器是扭曲向列型的。
3.根据权利要求1所述的高动态范围传感器，其特征在于，所述空间透光率调制器位于所述微透镜阵列下方。
4.根据权利要求1所述的高动态范围传感器，其特征在于，所述空间透光率调制器是被编码的。
5.根据权利要求1所述的高动态范围传感器，其特征在于，所述空间透光率调制器的所述预定义阴影包括变化的灰度。
6.根据权利要求1所述的高动态范围传感器，其特征在于，所述像素阵列被映射到所述多个预定义阴影。
7.根据权利要求1所述的高动态范围传感器，其特征在于，所述空间透光率调制器影响所述像素阵列的区域。
8.根据权利要求1所述的高动态范围传感器，其特征在于，所述空间透光率调制器影响所述像素阵列内的单个像素。
9.一种高动态范围感测的方法，包括：
从像素阵列接收像素阵列信号；
确定所述像素阵列信号中的至少一个过度曝光像素；
确定空间透光率调制器到所述至少一个过度曝光像素的驱动电压；以及
对所述空间透光率调制器中的至少一个灰度调整进行调制，以降低所述至少一个过度曝光像素的曝光度。
10.根据权利要求9所述的方法，其特征在于，所述空间透光率调制器利用扭曲向列效应来实施所述至少一个灰度调整。
11.根据权利要求9所述的方法，其特征在于，还包括：将所述像素阵列映射到所述空间透光率调制器。
12.根据权利要求9所述的方法，其特征在于，还包括：确定所述至少一个过度曝光像素的至少一个地址。
13.根据权利要求9所述的方法，其特征在于，还包括：确定所述至少一个过度曝光像素的透射率映射。
CN202110688064.5A 2020-10-23 2021-06-21 高动态范围传感器和高动态范围感测的方法 Active CN113411514B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/079,198 2020-10-23
US17/079,198 US11490027B2 (en) 2020-10-23 2020-10-23 Extended dynamic range image capture device based on a coded spatial light transmittance modulator

Publications (2)

Publication Number Publication Date
CN113411514A CN113411514A (zh) 2021-09-17
CN113411514B true CN113411514B (zh) 2023-04-07

Family

ID=77682075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110688064.5A Active CN113411514B (zh) 2020-10-23 2021-06-21 高动态范围传感器和高动态范围感测的方法

Country Status (2)

Country Link
US (1) US11490027B2 (zh)
CN (1) CN113411514B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554050B (zh) * 2022-02-08 2024-02-27 维沃移动通信有限公司 图像处理方法、装置和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002277851A (ja) * 2001-03-21 2002-09-25 Hamamatsu Photonics Kk 空間光変調装置
US9124828B1 (en) * 2013-09-19 2015-09-01 The United States Of America As Represented By The Secretary Of The Navy Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
CN107005640A (zh) * 2014-12-04 2017-08-01 汤姆逊许可公司 图像传感器单元和成像装置
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块
US10212356B1 (en) * 2017-05-31 2019-02-19 Snap Inc. Parallel high dynamic exposure range sensor
CN109782496A (zh) * 2017-11-13 2019-05-21 黑芝麻国际控股有限公司 电可调谐的偏振无关的液晶微透镜阵列

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3368204B2 (ja) * 1998-06-04 2003-01-20 キヤノン株式会社 画像記録装置及び画像再生装置
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7651282B2 (en) * 2005-05-04 2010-01-26 The Trustees Of Columbia University In The City Of New York Devices and methods for electronically controlling imaging
US20080198235A1 (en) * 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
JP2015133594A (ja) * 2014-01-10 2015-07-23 株式会社リコー 撮像モジュール及び撮像装置
JP6653460B2 (ja) * 2015-09-08 2020-02-26 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、画像生成装置およびカラーフィルタ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002277851A (ja) * 2001-03-21 2002-09-25 Hamamatsu Photonics Kk 空間光変調装置
US9124828B1 (en) * 2013-09-19 2015-09-01 The United States Of America As Represented By The Secretary Of The Navy Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
CN107005640A (zh) * 2014-12-04 2017-08-01 汤姆逊许可公司 图像传感器单元和成像装置
US10212356B1 (en) * 2017-05-31 2019-02-19 Snap Inc. Parallel high dynamic exposure range sensor
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块
CN109782496A (zh) * 2017-11-13 2019-05-21 黑芝麻国际控股有限公司 电可调谐的偏振无关的液晶微透镜阵列

Also Published As

Publication number Publication date
US20220132017A1 (en) 2022-04-28
US11490027B2 (en) 2022-11-01
CN113411514A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
US10855892B2 (en) Electronic apparatus, and light field imaging system and method with optical metasurface
EP1186163B1 (en) Apparatus and method for high dynamic range imaging using spatially varying exposures
EP3611916A1 (en) Imaging control method and electronic device
US7548270B2 (en) Method of exposure control for an imaging system
US9230310B2 (en) Imaging systems and methods for location-specific image flare mitigation
US9304301B2 (en) Camera hardware design for dynamic rearview mirror
CN104065894A (zh) 固态成像装置，固态成像装置的驱动方法以及电子设备
US9936143B2 (en) Imager module with electronic shutter
CN113411514B (zh) 高动态范围传感器和高动态范围感测的方法
CN112312035B (zh) 曝光参数调节方法、曝光参数调节装置和电子设备
US8334908B2 (en) Method and apparatus for high dynamic range image measurement
CN107071233B (zh) 一种用于对由光场照相机引起的渐晕效应进行校正的方法、设备和可读介质
CN111948670B (zh) 光感知装置、成像装置和关联成像方法
Mannami et al. High dynamic range camera using reflective liquid crystal
US20210067716A1 (en) Imaging sensor with brightness self-adjustment
Fernández-Berni et al. Single-exposure HDR technique based on tunable balance between local and global adaptation
Castracane et al. DMD-based bloom control for intensified imaging systems
CN111965664B (zh) 光发射装置、成像系统和发射光调制方法
Luo et al. CMOS computational pixel for binary temporal optically encoded high-speed imaging
CN111193880B (zh) 一种图像传感器、光学滤波器及图像传感器亮度调整方法
WO2022051967A1 (en) Optical apparatus
CN219737960U (zh) 一种光学结构、成像装置及电子设备
Cao et al. Snapshot High Dynamic Range Imaging Based on Adjustable Attenuation Microarray Mask
JPH0622207A (ja) 撮像装置
US20220337737A1 (en) Adaptive relative illumination optical system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant