CN107995411A - 图像生成装置 - Google Patents

图像生成装置 Download PDF

Info

Publication number
CN107995411A
CN107995411A CN201711013207.2A CN201711013207A CN107995411A CN 107995411 A CN107995411 A CN 107995411A CN 201711013207 A CN201711013207 A CN 201711013207A CN 107995411 A CN107995411 A CN 107995411A
Authority
CN
China
Prior art keywords
gain
image
digital
pixel value
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711013207.2A
Other languages
English (en)
Other versions
CN107995411B (zh
Inventor
西川雅人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN107995411A publication Critical patent/CN107995411A/zh
Application granted granted Critical
Publication of CN107995411B publication Critical patent/CN107995411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了一种图像生成装置。在该图像生成装置中，设置器被配置成针对下一捕获周期的图像捕获任务可变地设置第一快门时间、第二快门时间和总增益。总增益基于模拟增益和数字增益的组合。分配单元被配置成基于第一快门时间、第二快门时间和压缩特性来获得阈值增益。该分配单元被配置成根据模拟增益的上限、总增益和阈值增益之间的比较将总增益可变地分配给模拟增益和数字增益中的至少一个。

Description

图像生成装置
技术领域
本公开内容涉及用于将多个图像进行合并以生成合成图像的图像生成装置；所述多个图像在相应的不同的快门时间即曝光时间期间捕获或者以相应的不同的快门速度捕获。
背景技术
日本专利申请公布No.2014-109853公开了一种具有高动态范围功能(HDR功能)的成像设备。HDR功能获得由图像传感器在相应的不同的快门时间期间捕获的多个目标图像，并且将所述多个目标图像进行合并以生成合成图像。所生成的合成图像具有较高的动态范围。
发明内容
由图像传感器捕获的图像的每个像素的值即像素值表示图像的相应像素的亮度水平，即，亮度值。由图像传感器捕获的第一图像的每个像素的亮度水平和由同一图像传感器捕获的第二图像的相应像素的亮度水平可能会根据其周围环境和/或其快门时间而彼此不同，其中第一图像和第二图像是由图像传感器在相应的快门时间期间分别捕获的。
特别地，由图像传感器在第一快门时间期间捕获的第一图像的每个像素的像素-亮度特性与由同一图像传感器在第二快门时间期间捕获的第二图像的相应像素的像素-亮度特性不同；第一快门时间比第二快门时间长。
因此，为了使第二图像的每个像素的像素-亮度特性与第一图像的相应像素的像素-亮度特性相匹配或其他目的，使用增益。
增益包括用于对从图像传感器输出的模拟像素值——被称为模拟像素信号——进行放大的模拟增益。增益还包括数字增益。HDR功能基于预定位宽度即位数将第一图像和第二图像的每一个的模拟像素值(模拟像素信号)转换成数字像素值；数字像素值被称为数字像素信号。然后，HDR功能使用数字增益对第二图像的数字像素值进行放大，并且基于第一图像的数字像素值和第二图像的放大的数字像素值生成合成图像。
例如，由于图像的某些像素的放大的数字像素值可能超过预定位宽度，因此使用这样的数字增益对图像的数字像素信号进行放大可能导致图像的分辨率降低。
因此，常规成像设备优先使用模拟增益对图像的模拟像素信号进行放大，而非优先使用数字增益对图像的相应数字像素信号进行放大。此后，如果已经基于模拟增益放大的图像的一个或更多个数字像素信号的水平没有达到必要的信号水平，则常规成像设备使用数字增益对图像的所述一个或多个数字像素信号进行放大。
不幸的是，用于对图像进行放大的这样的模拟增益的增大可能导致图像的信噪比(S/N比)降低。因此，如果优先使用模拟增益对图像的模拟像素信号进行放大而非优先使用数字增益对图像的相应数字像素信号进行放大的常规成像设备利用HDR功能来生成合成图像，则合成图像可能具有较低的S/N比。S/N比在下文中也将简称为S/N。
鉴于上述情况，本公开内容的一方面旨在提供能够解决上述问题的图像生成装置。
具体地，本公开内容的替选方面旨在提供这样的图像生成装置，每个图像生成装置能够基于在相应的不同快门时间期间捕获的多个图像来生成具有较高S/N比的合成图像。
根据本公开内容的示例性方面，提供了一种图像生成装置。该图像生成装置包括图像单元。图像单元被配置成：在当前捕获周期，执行基于彼此不同的相应的第一快门时间和第二快门时间来捕获第一图像和第二图像的捕获任务，第一图像和第二图像的每一个具有其每个像素的模拟像素值。图像单元被配置成以模拟增益对第一图像和第二图像的每一个的模拟像素值进行放大。图像生成装置包括图像合并单元，该图像合并单元被配置成将第一图像和第二图像的每一个的模拟像素值转换成第一图像和第二图像中相应一个的数字像素值。图像合并单元被配置成将第一图像的数字像素值与第二图像的数字像素值进行组合以生成合成图像，所述合成图像具有其每个像素的数字像素值。图像生成装置包括：放大器，其被配置成以数字增益对合成图像的数字像素值进行放大；以及压缩单元，其被配置成根据预定压缩特性对合成图像的放大的数字像素值进行压缩以生成压缩的合成图像作为输出图像。图像生成装置包括设置器，该设置器被配置成：针对下一捕获周期的图像捕获任务，可变地设置第一快门时间、第二快门时间和总增益，总增益基于模拟增益和数字增益的组合。图像生成装置包括分配单元。该分配单元被配置成基于第一快门时间、第二快门时间和压缩特性来获得阈值增益。分配单元被配置成根据模拟增益的上限、总增益和阈值增益之间的比较将总增益可变地分配给模拟增益和数字增益中的至少一个。
与上述常规成像设备相比，图像生成装置的该配置根据模拟增益的上限、总增益和阈值增益之间的比较将总增益适当地分配给数字增益和模拟增益中的至少一个。常规成像设备与模拟增益的上限、总增益和阈值增益之间的比较无关地优先使用模拟增益而非数字增益。
因此，这使得能够生成各自具有较高S/N比的合成图像。
鉴于结合附图的以下描述，本公开内容的各个方面的上述和/或其他特征和/或优点将被进一步理解。本公开内容的各个方面可以在适当时包括和/或不包括不同的特征和/或优点。此外，本公开内容的各个方面可以在适当时对其他实施方式的一个或多个特征进行组合。对具体实施方式的特征和/或优点的描述不应被解释为限制其他实施方式或权利要求。
附图说明
参照附图，根据以下实施方式的描述，本公开内容的其它方面将变得明显，在附图中：
图1是示意性地示出了根据本公开内容的实施方式的巡航控制系统的结构的示例的框图；
图2是示出了图1所示的压缩单元使用的压缩特性的示例的图示；
图3是示意性地示出了根据本实施方式的分别表示S/N比特性的第一曲线至第三曲线的图示；
图4是示意性地示出了放大的第一图像的S/N比特性与基于第一曲线的S/N比特性的比较的图示；
图5是示意性地示出了根据本实施方式的放大的第一至第三图像的每一个的S/N比特性的图示；
图6是示意性地示出了相应的放大的第一至第三图像的S/N比特性与基于第一曲线至第三曲线的S/N比特性的比较的图示；
图7是示意性地示出了由图1所示的合并单元生成的HDR合成图像的曲线的图示；
图8是示意性地示出了放大的HDR合成图像的S/N比特性与图7所示的S/N比特性的比较的图示；
图9是示意性地示出了表示压缩的HDR合成图像的S/N比特性的曲线的示例的图示；
图10是示意性地示出了压缩的HDR合成图像的S/N比特性在模拟增益增大的情况下的变化的图示；
图11是示意性地示出了压缩的HDR合成图像的S/N比特性在数字增益增大的情况下的变化的图示；以及
图12是示意性地示出了由图1所示的图像处理单元执行的参数调整例程的示例的流程图。
具体实施方式
下面参照附图来描述本公开内容的实施方式。
下面参照图1至图9来描述根据本公开内容的实施方式的巡航辅助系统1。
参照图1，安装在车辆V中的巡航辅助系统1包括相机模块2、图像合并单元3、图像处理单元4和辅助执行单元5。例如，相机模块2、图像合并单元3和图像处理单元4构成根据本实施方式的图像生成装置50。
相机模块2包括图像单元21、图像放大单元22和参数设置器23。
图像单元21包括光学系统211和图像传感器212。光学系统211包括至少一个收集透镜和至少一个滤光器。该至少一个收集透镜被配置成收集光，以及该至少一个滤光器被配置成使所收集的光的预定分量通过，从而将基于所收集的光的通过分量的光输出到图像传感器212。
图像传感器212包括光敏元件，每个光敏元件包括电荷耦合器件(CCD)或互补型金属氧化物半导体(CMOS)开关；光敏元件以二维阵列排列。用作像素的二维排列的光敏元件中的每一个被配置成在快门时间ST或曝光时间期间接收从光学系统211输出的光的相应分量。二维排列的光敏元件构成接收从光学系统211输出的光的成像区域。
二维排列的光敏元件中的每一个还被配置成将所接收的光分量的强度或亮度水平转换成与所接收的光分量的亮度水平成比例的模拟像素值或模拟像素信号，即模拟像素电压信号。
二维排列的光敏元件接收光的快门时间ST——换言之二维排列的光敏元件暴露于光中的快门时间ST——能够由随后描述的参数设置器23来控制。快门时间ST也可以被表示成快门速度。
图像放大单元22被配置成从图像传感器212获得每个均表示作为图像即帧图像的相应像素的亮度水平的像素信号，即像素值。然后，图像放大单元22被配置成以能够由参数设置器23可变地控制的预定模拟增益Ga对图像的像素值进行放大。然后，图像放大单元22被配置成将放大的像素信号即放大的像素值作为图像即帧图像输出到图像合并单元3。
参数设置器23被配置成可变地设置由图像单元21使用的快门时间ST的值以及由图像放大单元22使用的模拟增益Ga的值。
也就是说，图像单元21被配置成捕获如下图像：每个所述图像基于由图像传感器212在由参数设置器23设置的相应值的快门时间ST期间接收的光。另外，图像放大单元22被配置成使用由参数设置器23设置的模拟增益Ga的相应值对从图像单元21发送的每个图像的像素值进行放大。
例如，根据本实施方式的图像单元21执行图像捕获任务以在图像捕获周期内在由参数设置器23设定的相应的不同的第一至第三快门时间ST1至ST3期间捕获一组第一至第三图像，即第一原始图像至第三原始图像。应当注意，第一快门时间ST1被设置得比第二快门时间ST2长，并且第二快门时间ST2被设置得比第三快门时间ST3长。图像单元21周期性地执行图像捕获周期以周期性地捕获一组第一至第三图像。
另外，根据本实施方式的图像放大单元22使用由参数设置器23设置的模拟增益Ga的值对第一至第三图像每一个的像素值进行放大。然后，图像放大单元22将放大的第一至第三图像每个输出到图像合并单元3。
图像合并单元3包括模拟数字(A/D)转换器31、合并单元32、放大器33和压缩单元34。例如，图像合并单元3被设计成集成电路(IC)芯片。图像合并单元3可以安装在相机模块2中。
A/D转换器31基于预定位宽度L即位数例如12位将第一至第三图像的每一个的模拟像素信号(模拟像素值)转换成数字像素信号(数字像素值)。
合并单元32从A/D转换器31获得数字化的第一至第三图像，并且将数字化的第一至第三图像进行合并以生成具有较高动态范围的HDR合成图像。图像的动态范围表示图像的对比度范围。
由于第一图像的第一快门时间ST1比第二图像的第二快门时间ST2长，因此，针对第一图像在图像传感器212的成像区域上接收的光量大于针对第二图像在图像传感器212的成像区域上接收的光量。
类似地，由于第二图像的第二快门时间ST2比第三图像的第三快门时间ST3长，因此针对第二图像在图像传感器212的成像区域上接收的光量大于针对第三图像在图像传感器212的成像区域上接收的光量。因此，捕获图像的快门时间ST越长，图像的低亮度值的分辨率越高。此外，图像的平均信号水平随着捕获图像的快门时间ST的变化而变化。
也就是说，由于第一图像的平均信号水平大于第二图像的平均信号水平，因此合并单元32以第一数字增益对第二图像的数字像素值进行放大以使第二图像的每个像素的数字像素值与第一图像的相应像素的数字像素值相匹配。
类似地，由于第一图像的平均信号水平大于第三图像的平均信号水平，因此合并单元32以第二数字增益对第三图像的数字像素值进行放大以使第三图像的每个像素的数字像素值与第一图像的相应像素的数字像素值相匹配。
在放大操作之后，合并单元32将第一图像的每个像素的数字像素值、第二图像的相应像素的放大的数字像素值和第三图像的相应像素的放大的数字像素值进行组合。该组合生成HDR合成图像，HDR合成图像具有其每个像素的、表示相应像素的亮度水平的数字像素值；并且该HDR合成图像的每个像素的数字像素值的位宽度被设置为M位例如16位，其大于第一至第三图像中的每一个的位宽度L例如12位。
放大器33接收从合并单元32发送的HDR合成图像。然后，放大器213以由图像处理单元4确定的数字增益Gd对HDR合成图像的数字像素值进行放大。也就是说，HDR合成图像的每个像素的数字像素值具有M位例如16位，并且HDR合成图像中的每个像素的亮度水平和相应像素的数字像素值之间具有例如线性关系。数字增益Gd是与由合并单元32使用的第一数字增益和第二数字增益无关地来确定的。
压缩单元34对其每个像素的数字像素值由M位的位宽度表示的HDR合成图像进行压缩以生成其每个像素的数字像素值由小于M位的N位例如8位的位宽度表示的压缩的HDR合成图像。也就是说，压缩的HDR合成图像中的每个像素的亮度水平和相应像素的数字像素值之间具有非线性关系。压缩的HDR合成图像还将被称为输出HDR合成图像。
特别地，压缩单元34根据其中存储的预定压缩特性对HDR合成图像进行压缩。在图2中以曲线形式示出压缩特性的示例。
具体地，图2所示的压缩特性包括：
1.针对HDR合成图像的在被限定为低于预定亮度水平L1的预定低压缩区域内的像素的亮度水平，具有预定第一压缩率；以及
2.针对HDR合成图像的在被限定为等于或高于预定亮度水平L1的预定高压缩区域内的像素的亮度水平，具有预定第二压缩率；第二压缩率高于第一压缩率。
换言之，压缩特性的压缩率C在亮度水平L1处从第一压缩率变为第二压缩率；亮度水平L1将被称为压缩点CP。
本实施方式使用1作为第一压缩率。也就是说，低压缩区域表示HDR合成图像的亮度水平不被压缩的无压缩区域。
总之，图像合并单元3被配置成基于在每个当前图像捕获周期从图像单元21提供的一组第一至第三图像来生成HDR合成图像，并且将HDR合成图像提供给图像处理单元4。
图像处理单元4主要被配置为包括CPU 41、存储设备42、输入端口43以及输出端口44d1、44d2和44d3的至少一个已知的微型计算机。存储设备42例如包括各种半导体存储器中的至少一个，例如RAM、ROM和闪速存储器。这些半导体存储器例如是非暂态存储介质。
输入端口43能够通过有线或无线方式与图像合并单元3通信。输出端口44d1能够通过有线或无线方式与辅助执行单元5通信，输出端口44d2能够通过有线或无线方式与图像合并单元3通信。输出端口44d3能够通过有线或无线方式与相机模块2通信。
例如，图像处理单元4的CPU 41可以运行存储在存储设备42中的一个或多个更程序，即，程序指令集，从而将图像处理单元4的各种功能模块作为软件操作来实现。换言之，CPU 41可以运行存储在存储设备42中的程序，从而根据相应的一个或更多个程序来执行一个或更多个例程。
例如，根据第一实施方式的CPU 41被编程为在预定控制周期内执行至少目标对象检测例程和参数调整例程。换言之，CPU 41在功能上包括例如至少目标对象检测单元41a和参数调整单元41b，目标对象检测单元41a和参数调整单元41b分别通过例如目标对象检测例程和参数调整例程来实现。
图像处理单元4的上述例程和/或各种功能可以被实现为硬件电子电路。例如，图像处理单元4的各种功能可以通过包括数字电路(包括许多逻辑门)、模拟电路、数字/模拟混合电路或硬件/软件混合电路的电子电路的组合来实现。
多个微型计算机可以构成图像处理单元4。
作为已知例程，目标对象检测例程被配置成基于在每个图像捕获周期从图像合并单元3提供的HDR合成图像来检测包含在HDR合成图像中的各种目标对象，并且生成指示检测到的每个目标对象的目标对象信息。要由目标对象检测例程检测的目标对象例如包括涂在道路上的道路标记如白线、道路标志、前方车辆、行人和障碍物。目标对象的目标对象信息例如包括目标对象相对于自身车辆的相对位置以及目标对象相对于自身车辆的相对速度。
参数调整例程被配置成基于在每个图像捕获周期从图像合并单元3提供的HDR合成图像来调整每个快门时间ST1至ST3的值、模拟增益Ga的值和数字增益Gd的值以作为用于下一图像捕获周期的图像捕获参数。随后将描述关于参数调整例程的详细信息。
辅助执行单元5被配置成基于由图像处理单元4的目标对象检测例程生成的目标对象信息来控制安装在自身车辆中的各种设备以执行预定巡航辅助任务。要由辅助执行单元5控制的设备例如包括：用于显示各种图像的显示器、用于输出警报和/或引导声音的声音设备、内燃机、动力传动系和/或制动机构。巡航辅助任务例如包括：
1.用于将自身车辆保持在当前行驶车道上的车道保持辅助任务；
2.用于例如根据自身车辆与前方车辆之间的距离来控制自身车辆速度的巡航控制任务；
3.用于辅助自身车辆的制动的制动辅助任务；以及
4.用于输出各种警告的任务。
接下来描述第一至第三图像中的每一个的信噪比(S/N比)特性、模拟增益Ga和数字增益Gd之间的关系。
表示第一图像的信号水平分布与S/N比之间的关系的S/N比特性表明：随着信号水平在信号水平分布中从低到高增加，S/N比单调增加。另外的第二图像和第三图像中的每一个的S/N比特性与第一图像的S/N比特性相同。
此外，由于针对第一图像在图像传感器212的成像区域上接收的光量大于针对第二图像在图像传感器212的成像区域上接收的光量，因此第一图像的S/N比在低于第二图像的信号水平SL2的信号水平SL1处饱和，其中在信号水平SL2处，第二图像的S/N比饱和。类似地，由于针对第二图像在图像传感器212的成像区域上接收的光量大于针对第三图像在图像传感器212的成像区域上接收的光量，因此第二图像的S/N比在低于第三图像的信号水平SL3的信号水平SL2处饱和，其中在信号水平SL3处，第三图像的S/N比饱和。
图3示出了从图像传感器212输出的第一图像的信号水平分布与第一图像的S/N比特性之间的上述关系的示例，作为曲线GF1。类似地，图3示出了从图像传感器212输出的第二图像的信号水平分布与第二图像的S/N比特性之间的关系的示例以及从图像传感器212输出的第三图像的信号水平分布与第三图像的S/N比特性之间的关系的示例，分别作为曲线GF2和曲线GF3。
应当注意，曲线GF2表示平均信号水平与第一图像的平均信号水平相匹配的第二图像的S/N比特性，以及曲线GF3表示平均信号水平与第一图像的平均信号水平相匹配的第三图像的S/N比特性。
在每个曲线中，纵轴表示S/N比，横轴表示信号水平。
图像放大单元22以模拟增益Ga对S/N比特性被示为图3中的曲线GF1的第一图像进行放大，从而获得其曲线被示为图4中的GF1A的S/N比特性。
具体地，图4示出了放大的第一图像的S/N比特性GF1A与S/N比特性GF1的比较。
以模拟增益Ga对第一图像进行放大意味着第一图像的模拟像素信号中包括的信号分量和噪声分量均被放大。该放大导致第一图像的S/N比特性GF1在水平方向即信号水平增加方向上被扩大而具有S/N比特性GF1A的形状。
此时，由于相应的S/N饱和的信号水平L1保持不变，因此S/N比特性GF1A中的S/N在相同的信号水平SL1处饱和。这导致S/N比特性GF1A看起来低于第一图像的S/N比特性GF1。
类似地，图像放大单元22以模拟增益Ga对相应的S/N比特性被示为图3中的曲线GF2和曲线GF3的第二图像和第三图像进行放大，从而获得相应曲线分别被示为图5中的GF2A和GF3A的S/N比特性。
也就是说，图5示出了所有的S/N比特性GF1A、GF2A和GF3A。
另外，图6示出了：
1.放大的第一图像的S/N比特性GF1A与S/N比特性GF1(参见相应的虚线)的比较
2.放大的第二图像的S/N比特性GF2A与S/N比特性GF2(参见相应的虚线)的比较
3.放大的第三图像的S/N比特性GF3A与S/N比特性GF3(参见相应的虚线)的比较
也就是说，与上述S/N比特性GF1A中的S/N的情况相同，S/N比特性GF2A中的S/N在相同的信号水平SL2处饱和，并且S/N比特性GF3A中的S/N在相同的信号水平SL3处饱和。这导致：
1.S/N比特性GF1A看起来低于第一图像的S/N比特性GF1；
2.S/N比特性GF2A看起来低于第二图像的S/N比特性GF2；以及
3.S/N比特性GF3A看起来低于第三图像的S/N比特性GF3。
为了简化下面的描述，数字化的第一图像的S/N比特性对应于图6中所示的S/N比特性GF1A。类似地，数字化的第二图像的S/N比特性对应于图6中所示的S/N比特性GF2A，以及数字化的第三图像的S/N比特性对应于图6中所示的S/N比特性GF3A。
具体地，合并单元32将数字化的第一至第三图像进行合并以生成HDR合成图像。
图7利用虚线示出了由合并单元32生成的HDR合成图像的曲线CI。HDR合成图像的S/N比特性的曲线CI具有对应于相应的第一图像、第二图像和第三图像的第一连续局部波峰CR1、第二连续局部波峰CR2和第三连续局部波峰CR3。相邻的局部波峰CR1和CR2在其间提供第一波谷TR1，以及相邻的局部波峰CR2和CR3在其间提供第二波谷TR2。
接下来描述HDR合成图像的S/N比特性的波形具有对应于相应的第一图像、第二图像和第三图像的第一连续局部波峰CR1、第二连续局部波峰CR2和第三连续局部波峰CR3的原因。
例如，对于HDR合成图像的每个像素，合并单元32被配置成：
1.选择第一图像的相应像素的数字像素值、第二图像的相应像素的数字像素值和第三图像的相应像素的数字像素值之一；或者
2.对第一图像的相应像素的数字像素值、第二图像的相应像素的数字像素值和第三图像的相应像素的数字像素值中的至少两个进行合并。
例如，合并单元32被配置成：
1.选择第一图像的用于HDR合成图像的低亮度水平部分的数字像素值；
2.将第一图像的所述数字像素值和第二图像的用于HDR合成图像的低亮度水平部分与中等亮度水平部分之间的边界部分的数字像素值进行合并；
3.选择第二图像的用于HDR合成图像的中等亮度水平部分的数字像素值；
4.将第二图像的所述数字像素值和第三图像的用于HDR合成图像的中等亮度水平部分与高亮度水平部分之间的边界部分的数字像素值进行合并；以及
5.选择第三图像的用于HDR合成图像的高亮度水平部分的数字像素值。
这导致HDR合成图像的S/N比特性的曲线CI具有：
1.从第一局部波峰CR1到第一波谷TR1的第一转换区域；以及
2.从第二局部波峰CR2到第二波谷TR2的第二转换区域。
放大器33以数字增益Gd对S/N比特性被示为图8中的曲线CI的HDR合成图像进行放大，从而获得其曲线被示为图8中的CIA的S/N比特性。
具体地，图8示出了放大的HDR合成图像的S/N比特性CIA与S/N比特性CI的比较。
以数字增益Gd对HDR合成图像进行放大意味着HDR合成图像的数字像素信号中包括的信号分量和噪声分量均被放大。该放大导致HDR合成图像的S/N比特性CI在水平方向上被扩大而具有S/N比特性CIA的形状(参见图8)。
接下来描述压缩单元34如何对HDR合成图像进行压缩。
与HDR合成图像在高压缩区域内的亮度水平L——其高于预定水平L1——对应的信号水平S由下式(1)表示：
S＝(L-L1)×C+S1 (1)
其中，C表示用于HDR合成图像的在高压缩区域内的像素的亮度水平的第二压缩率，其被设置为例如1/8或1/16。
HDR合成图像的在低压缩区域即无压缩区域内的像素的亮度水平的S/N比的值SR[dB]由下式(2)表示，以及HDR合成图像的在高压缩区域内的像素的亮度水平的S/N比的值SR[dB]由下式(3)表示：
也就是说，在高压缩区域内的像素的亮度分量以压缩率C被压缩以便被添加至亮度水平L1，而像素的噪声分量被简单地压缩。这导致HDR合成图像在高压缩区域内的S/N比特性比HDR合成图像在低压缩区域内的S/N比特性高得多。
图9示意性地示出了表示通过压缩单元34对HDR合成图像(其S/N比特性CIA在图8中示出)进行压缩而生成的压缩的HDR合成图像即输出HDR合成图像的S/N比特性的曲线COG的示例。
虽然图9中的曲线的水平标度和竖直标度与图8中的曲线的水平标度和竖直标度不同，但是压缩的HDR合成图像的S/N比特性COG在低于与亮度水平L1(即，压缩点CP)对应的信号水平S1的部分与HDR合成图像的S/N比特性CIA大致相同。相比之下，压缩的HDR合成图像的S/N比特性COG在等于或高于信号水平S1的部分基于压缩单元34的压缩效果而急剧上升。
此时，出于与图4和图6相同的原因，增大模拟增益Ga会导致压缩的HDR合成图像的S/N比特性COG降低至压缩的HDR合成图像的S/N比特性COGA(参见图10)。
另外，增大数字增益Gd会导致：
1.在低压缩区域内的压缩的HDR合成图像的S/N比特性COG沿水平方向延伸而具有S/N比特性COGB(参见图11)；以及
2.在高压缩区域内的压缩的HDR合成图像的S/N比特性COG大幅增加而具有S/N比特性COGB(参见图11)。
在下文中，由图像合并单元3生成的HDR合成图像即压缩的HDR合成图像所需的S/N的下限被定义为A，以及在模拟增益Ga的当前值变为预定上限Gu时S/N减小的量被定义为B(参见图11)。
此外，所需要的用来确保HDR合成图像在压缩点CP——其信号水平S1位于第一转换区域内——处的S/N值高于阈值T的数字增益Gd的值被定义为阈值增益Gth；阈值T由“A+|B|”表示。
换言之，在数字增益Gd被设置为阈值增益Gth时，阈值增益Gth被确定成使得：
1.压缩点CP的信号水平S1位于第一转换区域内；
2.HDR合成图像在压缩点CP处的S/N等于或高于阈值T即值(A+|B|)。
接下来参照图12来描述由图像处理单元4执行的参数调整例程。
参数调整例程被编程为每当图像处理单元4在当前图像捕获周期接收从图像合并单元3输出的输出HDR合成图像时开始。
当参数调整例程在当前图像捕获周期开始时，图像处理单元4在步骤S110中确定用于下一图像捕获周期的包括快门时间ST1至ST3和总增益G的图像捕获参数的相应值；总增益G是基于模拟增益Ga和数字增益Gd的组合来限定的，例如，基于模拟增益Ga和数字增益Gd的乘积来限定，表示为等式G＝Gd×Ga，或者基于模拟增益Ga和数字增益Gd的总和来限定，表示为等式G＝Gd+Ga。
例如，在步骤S110中，图像处理单元4计算当前图像捕获周期的输出HDR合成图像的所有数字像素值的平均数字像素值，并且基于平均数字像素值来确定用于下一图像捕获周期的快门时间ST1至ST3和总增益G的值。
对于具体示例，在步骤S110中，图像处理单元4将计算的当前图像捕获周期的输出HDR合成图像的所有数字像素值的平均数字像素值与预定目标数字像素值进行比较。然后，图像处理单元4在步骤S110中基于比较结果来确定用于下一图像捕获周期的快门时间ST1至ST3和总增益G的值。
例如，在步骤S110中，如果计算的当前图像捕获周期的输出HDR合成图像的平均数字像素值为目标数字像素值的大致一半，则图像处理单元4将用于下一图像捕获周期的快门时间ST1至ST3的值确定为当前图像捕获周期的用于下一图像捕获周期的快门时间ST1到ST3的值的两倍，或者将用于下一图像捕获周期的总增益G的值确定为当前图像捕获周期的总增益G的值的两倍。
在步骤S110中的操作之后，图像处理单元4在步骤S120中确定总增益G是否高于阈值增益Gth。在确定总增益G等于或低于阈值增益Gth的情况下(步骤S120中为“否”)，参数调整例程进入步骤S130。否则，在确定总增益G高于阈值增益Gth的情况下(步骤S120中为“是”)，参数调整例程进入步骤S140。
在步骤S130中，图像处理单元4将数字增益Gd设置为总增益G，并且在步骤S130中将模拟增益Ga设置为1，此后，参数调整例程进入步骤S170。
相比之下，在步骤S140中，图像处理单元4从总增益G中减去阈值增益Gth以获得剩余增益，即，第一过剩增益(G-Gth)。然后，在步骤S140中，图像处理单元4确定剩余增益(G-Gth)是否高于上限Gu。
在确定剩余增益(G-Gth)等于或低于上限Gu的情况下(步骤S140中为“否”)，参数调整例程进入步骤S150。否则，在确定剩余增益(G-Gth)高于上限Gu的情况下(步骤S140中为“是”)，参数调整例程进入步骤S160。
在步骤S150中，图像处理单元4将总增益G中的阈值增益Gth分配给数字增益Gd，并且将剩余增益(G-Gth)分配给模拟增益Ga，此后，参数调整例程进入步骤S170。
在步骤S160中，图像处理单元4将总增益G中的上限Gu分配给模拟增益Ga，并且将由(G-Gu)表示的剩余增益即第二过剩增益分配给数字增益Gd。此后，参数调整例程进入步骤S170。
在步骤S170中，图像处理单元4将在步骤S110中设置的各个快门时间ST1至ST3的值发送至参数设置器23，并且将在步骤S120、步骤S150和步骤S160之一中设置的模拟增益Ga的值发送至参数设置器23。在步骤S170中，图像处理单元4将在步骤S120、步骤S150和步骤S160之一中设置的数字增益Gd的值发送至放大器33。此后，图像处理单元4终止参数调整例程。
参数设置器23将第一至第三快门时间ST1至ST3的值发送给图像传感器212，使得图像传感器212将在下一图像捕获周期捕获：
1.在从参数设置器23发送的第一快门时间ST1的值期间的第一图像；
2.在从参数设置器23发送的第二快门时间ST2的值期间的第二图像；以及
3.在从参数设置器23发送的第三快门时间ST3的值期间的第三图像。
参数设置器23还将模拟增益Ga的值发送给图像放大单元22，使得图像传感器212将以从参数设置器23发送的模拟增益Ga的值对在下一图像捕获周期捕获的第一至第三图像中的每一个的模拟像素值进行放大。
另外，放大器33将以从图像处理单元4发送的数字增益Gd的值对基于在下一图像捕获周期捕获的第一至第三图像的HDR合成图像的数字像素值进行放大。
如上所述，根据本实施方式的图像生成装置50被配置成在当前图像捕获周期将用于要在下一图像捕获周期捕获的第一至第三图像的总增益G优先分配给数字增益Gd而非模拟增益Ga，直到总增益G等于或低于阈值增益Gth(参见步骤S120和步骤S130)。
图像生成装置50还被配置成在当前图像捕获周期将总增益G的高于阈值增益Gth的部分优先分配给模拟增益Ga而非数字增益Gd，直到模拟增益Ga达到上限Gu(参见步骤S140和步骤S150)。此外，图像生成装置50被配置成：在模拟增益Ga达到上限Gu之后，在当前图像捕获周期将总增益G的高于阈值增益Gth的部分优先分配给数字增益Gd而非模拟增益Ga(参见步骤S140和步骤S160)。
图像生成装置50的这些配置将1分配给模拟增益Ga，直到总增益G等于或低于阈值增益Gth，从而防止输出HDR合成图像的S/N由于模拟增益Ga的增大而降低，同时保持输出HDR合成图像的S/N高于下限A。
如果总增益G高于阈值增益Gth，则图像生成装置50的这些配置将阈值增益Gth分配给数字增益Gd，并且将剩余增益(G-Gth)分配给模拟增益Ga，直到剩余增益(G-Gth)等于或低于上限Gu。这样即使总增益G高于阈值增益Gth，也能够防止模拟增益Ga的增大，同时保持输出HDR合成图像的S/N高于下限A。
如果剩余增益(G-Gth)高于上限Gu，则图像生成装置50的这些配置将上限Gu分配给模拟增益Ga，并且将剩余增益(G-Gu)分配给数字增益Gd。这样能够防止输出HDR合成图像的S/N降低至低于下限A。
因此，这些配置实现了各自具有较高S/N的输出HDR合成图像，从而提高了基于从实现的输出HDR合成图像获得的信息来执行巡航辅助控制的准确度。
本公开内容不限于本实施方式的描述，并且可以在本公开内容的范围内对本实施方式的描述进行广泛地修改。
本实施方式中的一个元件的功能可以被分布成多个元件，并且多个元件具有的功能可以被组合到一个元件中。本实施方式的至少部分结构可以用与本实施方式的该至少部分结构具有相同功能的已知结构来代替。本实施方式的部分结构可以被省略。包括在由权利要求使用的语言指定的技术构思中的所有方面构成本发明的实施方式。
除了图像生成装置以外，本公开内容可以通过各种实施方式来实现；各种实施方式包括各自包括图像生成装置的系统、用于服务于作为分配单元的计算机的程序、存储程序的存储介质和图像生成方法。
尽管本文中已经描述了本公开内容的说明性实施方式，但是本公开内容不限于本文中所描述的实施方式，而是包括具有本领域普通技术人员基于本公开内容所领会的修改、省略、组合(例如，跨各种实施方式的各方面的组合)、改编和/或替选方案的任何和所有实施方式。权利要求中的限制将基于权利要求中使用的语言而广泛地解释，并且不限于在本说明书中描述的或在本申请的审查期间的示例，这些示例被解释为非排他性的。

Claims (3)

1.一种图像生成装置，包括：
图像单元，所述图像单元被配置成：
在当前捕获周期，执行基于彼此不同的相应的第一快门时间和第二快门时间来捕获第一图像和第二图像的捕获任务，所述第一图像和所述第二图像的每一个具有其每个像素的模拟像素值；以及
以模拟增益对所述第一图像和所述第二图像的每一个的模拟像素值进行放大；
图像合并单元，所述图像合并单元被配置成：
将所述第一图像和所述第二图像的每一个的模拟像素值转换成所述第一图像和所述第二图像中相应一个的数字像素值；以及
将所述第一图像的数字像素值与所述第二图像的数字像素值进行组合以生成合成图像，所述合成图像具有其每个像素的数字像素值；
放大器，所述放大器被配置成以数字增益对所述合成图像的数字像素值进行放大；
压缩单元，所述压缩单元被配置成根据预定压缩特性对所述合成图像的放大的数字像素值进行压缩以生成压缩的合成图像作为输出图像；
设置器，所述设置器被配置成：针对下一捕获周期的图像捕获任务，可变地设置所述第一快门时间、所述第二快门时间和总增益，所述总增益基于所述模拟增益和所述数字增益的组合；以及
分配单元，所述分配单元被配置成：
基于所述第一快门时间、所述第二快门时间和所述压缩特性来获得阈值增益；以及
根据所述模拟增益的上限、所述总增益和所述阈值增益之间的比较，将所述总增益可变地分配给所述模拟增益和所述数字增益中的至少一个。
2.根据权利要求1所述的图像生成装置，其中，所述分配单元被配置成：
确定所述总增益是否等于或低于所述阈值增益；
在确定所述总增益等于或低于所述阈值增益的情况下，将所述总增益全部分配给所述数字增益；以及
在确定所述总增益高于所述阈值增益的情况下，确定所述总增益是否等于或低于所述模拟增益的所述上限；
在确定所述总增益等于或低于所述模拟增益的所述上限的情况下，将所述总增益中的所述阈值增益分配给所述数字增益，并且将所述总增益中的第一过剩增益分配给所述模拟增益，所述第一过剩增益超过所述阈值增益；以及
在确定所述总增益高于所述模拟增益的所述上限的情况下，将所述总增益中的所述模拟增益的所述上限分配给所述模拟增益，并且将第二过剩增益分配给所述数字增益，所述第二过剩增益高于所述模拟增益的所述上限。
3.根据权利要求2所述的图像生成装置，其中，
所述压缩特性被配置成使得：
低于具有预定亮度水平的预定压缩点的第一亮度水平区域具有第一压缩率；以及
等于或高于所述预定压缩点的第二亮度水平区域具有第二压缩率；
所述第一快门时间被设置为比所述第二快门时间长；
所述合成图像的信噪比特性包括：第一区域，所述第一区域基于所述第一图像的相应数字像素值；第二区域，所述第二区域基于所述第二图像的相应数字像素值；以及所述第一区域与所述第二区域之间的转换区域，所述转换区域基于所述第一图像的相应数字像素值和所述第二图像的相应数字像素值中至少一者，所述转换区域中的信噪比随着所述转换区域中的相应信号分量的增加而减小；以及
所述阈值增益被配置成使得：在所述数字增益被设置为所述阈值增益时，所述压缩点位于所述转换区域内，并且所述合成图像在所述压缩点处的信噪比被设置为等于或高于以下两者的总和：
在所述模拟增益被分配为所述上限时所述合成图像的信噪比减小量的绝对值；以及
所述合成图像所需的信噪比的下限。
CN201711013207.2A 2016-10-26 2017-10-26 图像生成装置 Active CN107995411B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016209732A JP6665754B2 (ja) 2016-10-26 2016-10-26 撮像装置
JP2016-209732 2016-10-26

Publications (2)

Publication Number Publication Date
CN107995411A true CN107995411A (zh) 2018-05-04
CN107995411B CN107995411B (zh) 2020-11-17

Family

ID=61866348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711013207.2A Active CN107995411B (zh) 2016-10-26 2017-10-26 图像生成装置

Country Status (4)

Country Link
US (1) US10783619B2 (zh)
JP (1) JP6665754B2 (zh)
CN (1) CN107995411B (zh)
DE (1) DE102017219253B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243090A (zh) * 2019-07-16 2021-01-19 三星电子株式会社 图像传感器和图像处理系统
CN114189634A (zh) * 2022-01-26 2022-03-15 阿里巴巴达摩院(杭州)科技有限公司 图像采集方法、电子设备及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685710A (zh) * 2002-09-25 2005-10-19 索尼株式会社 摄像装置、摄像装置图像输出方法以及计算机程序
CN101166240A (zh) * 2006-10-19 2008-04-23 索尼株式会社 图像处理装置、成像装置、图像处理方法
CN101573960A (zh) * 2006-12-27 2009-11-04 索尼株式会社 固态成像设备、用于驱动固态成像设备的方法和成像设备
CN102740005A (zh) * 2011-04-06 2012-10-17 索尼公司 固体摄像器件及其驱动方法和电子装置
US20140218540A1 (en) * 2013-02-05 2014-08-07 Google Inc. Noise Models for Image Processing
CN104702851A (zh) * 2013-12-06 2015-06-10 英特尔公司 使用嵌入式数据的强大自动曝光控制
US20160021289A1 (en) * 2014-07-15 2016-01-21 Himax Imaging Limited Method for controlling exposure level, computer readable recording meia for performing the method, and image processing system

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US6650364B1 (en) * 1998-05-08 2003-11-18 Cirrus Logic, Inc. Selectable threshold multimode gain control apparatus and method for setting mutually continuous analog, digital, and shutter gain levels
TW469733B (en) * 2000-01-07 2001-12-21 Dynacolor Inc Method of dynamically modulating image brightness and image catching device using the method
WO2003069557A1 (fr) * 2002-02-12 2003-08-21 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de traitement d'image
US20070242880A1 (en) * 2005-05-18 2007-10-18 Stebbings David W System and method for the identification of motional media of widely varying picture content
JP4321496B2 (ja) * 2005-06-16 2009-08-26 ソニー株式会社 画像データ処理装置、画像データ処理方法およびプログラム
US8687087B2 (en) * 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US7697836B2 (en) * 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
EP2432015A1 (en) * 2007-04-18 2012-03-21 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
JP5133085B2 (ja) * 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
US8063976B2 (en) * 2007-07-24 2011-11-22 Casio Computer Co., Ltd. Image pick-up apparatus and method of controlling the image pick-up apparatus
JP4424402B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
WO2009064537A1 (en) * 2007-11-15 2009-05-22 Marvell World Trade Ltd. Method and system for noise management for spatial processing in digital image/video capture systems
JP2009219042A (ja) 2008-03-12 2009-09-24 Toyota Motor Corp 車両用周辺監視装置
JP5083046B2 (ja) 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
JP2011009834A (ja) 2009-06-23 2011-01-13 Fujifilm Corp 撮像装置及び撮像方法
US9100514B2 (en) * 2009-10-28 2015-08-04 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
JP5682434B2 (ja) * 2011-04-26 2015-03-11 株式会社ニコン 撮像装置
WO2013070942A1 (en) * 2011-11-08 2013-05-16 Rambus Inc. Image sensor sampled at non-uniform intervals
US9172889B2 (en) 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
CN103379275B (zh) * 2012-04-16 2019-01-11 三星电子株式会社 摄像机的图像处理装置和方法
JP6082274B2 (ja) * 2012-06-08 2017-02-15 キヤノン株式会社 撮像装置、及びその制御方法
EP2878123B1 (en) * 2012-07-26 2017-12-20 DePuy Synthes Products, Inc. Wide dynamic range using monochromatic sensor
JP5703279B2 (ja) 2012-11-30 2015-04-15 本田技研工業株式会社 車両周辺監視装置
CN105144699B (zh) * 2013-03-15 2019-03-15 拉姆伯斯公司 阈值监测的有条件重置的图像传感器及其操作方法
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
JP2015035774A (ja) * 2013-08-09 2015-02-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
US9628732B2 (en) * 2013-08-23 2017-04-18 Semiconductor Components Industries, Llc Imaging systems and methods for performing column-based image sensor pixel gain adjustments
JP6278713B2 (ja) * 2014-01-20 2018-02-14 オリンパス株式会社 撮像装置および撮像方法
JP5932862B2 (ja) 2014-03-04 2016-06-08 レノボ・シンガポール・プライベート・リミテッド デジタルカメラの撮像方法及びコンピュータが実行可能なプログラム
JP6598479B2 (ja) * 2014-03-31 2019-10-30 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
US9307162B2 (en) * 2014-05-21 2016-04-05 Himax Imaging Limited Local enhancement apparatus and method to generate high dynamic range images by blending brightness-preserved and brightness-adjusted blocks
CN105979159B (zh) * 2016-07-21 2019-01-25 上海小蚁科技有限公司 设备的同步方法和同步系统
JP6216015B2 (ja) 2016-09-20 2017-10-18 株式会社ニューギン 遊技機

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685710A (zh) * 2002-09-25 2005-10-19 索尼株式会社 摄像装置、摄像装置图像输出方法以及计算机程序
CN101166240A (zh) * 2006-10-19 2008-04-23 索尼株式会社 图像处理装置、成像装置、图像处理方法
CN101573960A (zh) * 2006-12-27 2009-11-04 索尼株式会社 固态成像设备、用于驱动固态成像设备的方法和成像设备
CN102740005A (zh) * 2011-04-06 2012-10-17 索尼公司 固体摄像器件及其驱动方法和电子装置
US20140218540A1 (en) * 2013-02-05 2014-08-07 Google Inc. Noise Models for Image Processing
CN104702851A (zh) * 2013-12-06 2015-06-10 英特尔公司 使用嵌入式数据的强大自动曝光控制
US20160021289A1 (en) * 2014-07-15 2016-01-21 Himax Imaging Limited Method for controlling exposure level, computer readable recording meia for performing the method, and image processing system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAN ZHENG, TINGCUN WEI, FENG LI, DEYUAN GAO: "Dynamic-Range Adjustable Pipelined ADC in CMOS Image Sensor with Black-Level and Offset Noise Calibration", 《PROCEEDING OF THE IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION SHENZHEN, CHINA JUNE 2011》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243090A (zh) * 2019-07-16 2021-01-19 三星电子株式会社 图像传感器和图像处理系统
CN114189634A (zh) * 2022-01-26 2022-03-15 阿里巴巴达摩院(杭州)科技有限公司 图像采集方法、电子设备及计算机存储介质
CN114189634B (zh) * 2022-01-26 2022-06-14 阿里巴巴达摩院(杭州)科技有限公司 图像采集方法、电子设备及计算机存储介质

Also Published As

Publication number Publication date
US20180114300A1 (en) 2018-04-26
DE102017219253A1 (de) 2018-04-26
DE102017219253B4 (de) 2024-09-26
US10783619B2 (en) 2020-09-22
JP2018074285A (ja) 2018-05-10
JP6665754B2 (ja) 2020-03-13
CN107995411B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
JP4408095B2 (ja) 車両及び路面標示認識装置
JP4876080B2 (ja) 環境認識装置
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
EP2919197A1 (en) Object detection device and object detection method
CN106295494B (zh) 车外环境识别装置
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
JP5435307B2 (ja) 車載カメラ装置
US20120162424A1 (en) Exposure control apparatus for vehicle-mounted camera
US11516451B2 (en) Imaging apparatus, imaging processing method, image processing device and imaging processing system
JP2009176087A (ja) 車両用環境認識装置
JP6701253B2 (ja) 車外環境認識装置
US10228699B2 (en) Image generation apparatus
US11373324B2 (en) Depth acquisition device and depth acquisition method for providing a corrected depth image
CN102667862A (zh) 用于借助hdr摄像机确定相对运动的方法
CN107995411A (zh) 图像生成装置
JP5027710B2 (ja) 車両用環境認識装置および先行車追従制御システム
CN101978392B (zh) 车辆用图像处理装置
JP5328815B2 (ja) 撮像装置及び撮像方法
JP4941843B2 (ja) 路面標示画像処理装置、路面標示画像処理方法並びに路面標示画像処理プログラム
JP5427744B2 (ja) 画像処理装置
JP2005148309A (ja) 白線検出用カメラの露出制御装置
JP2006074460A (ja) 物体検出装置および方法
JP2017146645A (ja) 白線認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant