CN101600056A - 图像拾取设备和图像拾取方法 - Google Patents

图像拾取设备和图像拾取方法 Download PDF

Info

Publication number
CN101600056A
CN101600056A CNA2009101453370A CN200910145337A CN101600056A CN 101600056 A CN101600056 A CN 101600056A CN A2009101453370 A CNA2009101453370 A CN A2009101453370A CN 200910145337 A CN200910145337 A CN 200910145337A CN 101600056 A CN101600056 A CN 101600056A
Authority
CN
China
Prior art keywords
image
time exposure
dynamic range
exposure
high fdrequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101453370A
Other languages
English (en)
Other versions
CN101600056B (zh
Inventor
中岛启友
山本洋司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101600056A publication Critical patent/CN101600056A/zh
Application granted granted Critical
Publication of CN101600056B publication Critical patent/CN101600056B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种图像拾取设备包括：图像拾取部件，其拾取长时间曝光图像和短时间曝光图像；结合部件，其彼此结合长时间曝光图像和短时间曝光图像以产生被结合的图像，其中基于长时间曝光图像的曝光时间和短时间曝光图像的曝光时间之间的比率来结合曝光图像；动态范围计算部件，其从长时间曝光图像、长时间曝光图像的曝光时间、短时间曝光图像和短时间曝光图像的曝光时间计算对象动态范围；和压缩部件，其使用基本压缩曲线数据来计算适于对象动态范围的压缩曲线，并根据所计算的压缩曲线产生已压缩图像。

Description

图像拾取设备和图像拾取方法
技术领域
本发明涉及用于通过结合具有两种曝光时间的图像来以宽动态范围拍摄对象的图像拾取设备和图像拾取方法。
背景技术
在使用比如电荷耦合器件(CCD)之类的固态图像拾取元件的现有技术的图像拾取设备中，通过光圈(stop)或者基于电子快门速度调整输入到图像拾取元件的光量(曝光量)。也就是说，当拾取亮的场景时，为了避免发生所谓的曝光过度(overexposure)(其中图像拾取元件的输出信号饱和)，减少曝光量。相反，对于暗的场景，为了避免发生所谓的曝光不足(underexposure)，将曝光量调节为大的曝光量。
然而，当拾取具有大的亮度差的场景时(也就是说，当执行背光图像拾取操作或同时执行室内和室外拾取操作时)，因为使用的固态图像拾取元件的动态范围不足，仅调整曝光量造成由亮的部分的饱和所引起的曝光过度，或者在暗的部分的曝光不足。因此，不能适当地再现两个部分。
为了克服该问题，可使用以下图像拾取设备。在该图像拾取设备中，基于由图像拾取部件获得的短时间曝光图像和长时间曝光图像，在对于短时间曝光图像执行增益操作或者抵消(offset)操作之后，将短时间曝光图像与长时间曝光图像相结合。随后，对于被结合的图像执行电平压缩操作，以获得在宽动态范围中的被结合的图像。
例如，提出以下图像拾取设备(例如，参考日本未审查专利申请公开No.2004-56573和2004-120205)。在图像拾取设备之一中，当短时间曝光图像和长时间曝光图像彼此相结合，且压缩被结合的图像以产生宽动态范围的图像时，短时间曝光图像对于几个场经历多个添加(adding)操作。将该经历多个添加操作的图像与长时间曝光图像相结合作为中间时间曝光图像，以产生宽动态范围的图像。这使得可以有效地防止在中间输入电平处的S/N(信噪比)的减少。在另一图像拾取设备中，使用直方图动态地改变分配给各个长时间曝光图像和短时间曝光图像的动态范围，以在最优条件下、比如以最优的光灰度(optical gradation)和曝光来再现图像。
进一步，提出以下图像处理装置(例如，参考日本未审查专利申请公开No.2005-204195)。在该图像处理装置中，为了对于动态图像的每个帧根据亮度的变化而改变灰度(gradation)，计算表示图像的亮度分布的宽度的亮度区域信息。基于其中按时间顺序地平滑所计算的亮度区域信息的所平滑的亮度区域信息，根据显示图像的显示装置的亮度区域将图像的亮度标准化。
发明内容
在上述提出的使用直方图动态地改变高亮度动态范围的比例和中间亮度动态范围和低亮度动态范围的比例的图像拾取设备中，参考用于选择短时间曝光图像和长时间曝光图像中任何一个的阈值，将亮度部分分为两个部分，即，高亮度部分和低亮度部分。以如直线图形指示的压缩比率执行压缩，由此导致形成不自然的边界。另外，当在长时间曝光图像和短时间曝光图像之间的曝光比率很大、且灰度连续变化时，在该使用两个部分的方法中难以充分地再现中间区域的灰度。
其中将很多输出范围分配给具有很多分布的亮度区域的、以平滑压缩曲线执行动态范围压缩的方法是优秀的方法，但是装置的规模和计算的数目很大。因此，该方法不适于低成本的装置类型。
考虑到上述问题，期望提供可以通过简单的控制操作产生经历了适于对象的动态范围的灰度压缩操作的图像的图像拾取设备和图像拾取方法。
本发明获得的另外的目的和特定优点将从以下实施例的描述中变得明显。
在本发明中，当通过结合具有两种曝光时间的图像拍摄宽动态范围的对象时，根据两种图像曝光时间来估计对象的动态范围，以执行适于动态范围的灰度压缩操作。压缩曲线的产生仅取决于对象的动态范围。因此，通过使用其中将基本压缩曲线内插在其中对象的动态范围小的位置和其中对象的动态范围大的位置之间的相同方法来结合自动曝光控制(AE)，可以通过其中由AE操作来检测对象的动态范围且根据该动态范围执行压缩的很简单的控制操作，来执行适于对象的动态范围的灰度压缩操作。
根据本发明的实施例，提供了一种图像拾取设备，至少包括：图像拾取部件，拾取具有在单元周期中相对长的曝光时间的长时间曝光图像并拾取具有在单元周期中相对短的曝光时间的短时间曝光图像；结合部件，其彼此结合由所述图像拾取部件获得的长时间曝光图像和所述短时间曝光图像，以产生被结合的图像，其中基于所述长时间曝光图像的曝光时间和所述短时间曝光图像的曝光时间之间的比率来彼此结合所述曝光图像；动态范围计算部件，其从在所述结合操作中使用的长时间曝光图像、所述长时间曝光图像的曝光时间、在所述结合操作中使用的短时间曝光图像和所述短时间曝光图像的曝光时间，对于在所述结合部件中产生的被结合的图像，计算对象的动态范围；存储部件，其保留对应于几种的动态范围的基本压缩曲线数据；和压缩部件，其使用在所述存储部件中保留的基本压缩曲线数据来计算适于由所述动态范围计算部件计算的对象的动态范围的压缩曲线，并根据所计算的压缩曲线产生已压缩图像，其中通过压缩由所述结合部件产生的被结合的图像来产生所述已压缩图像，其中，从由所述图像拾取部件获得的长时间曝光图像和所述短时间曝光图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
在根据本发明实施例的图像拾取设备中，动态范围计算部件可以，例如，预先确定能够由所述长时间曝光图像表示的对象的动态范围的最大值，并乘以所述长时间曝光图像的曝光时间与所述短时间曝光图像的曝光时间之间的比率，以计算由所述图像拾取部件拾取的对象的动态范围。
在根据本发明实施例的图像拾取设备中，动态范围计算部件可以，例如，从所述长时间曝光图像的最大亮度值计算相对于所述长时间曝光图像的饱和电平的比例，并将所述比例乘以能够由所述长时间曝光图像表示的对象的动态范围，以计算由所述图像拾取部件拾取的对象的动态范围。
在根据本发明实施例的图像拾取设备中，例如，使用从所述获得的长时间曝光图像形成的直方图，和对应于其的亮度积分值，当以从较大的亮度值到较小的亮度值的次序对所述积分值计数时，所述动态范围计算部件检测包括指定的第n个像素的直方图中的亮度积分值和像素的数目，且将其区域中的亮度积分值除以所述像素的数目，以计算被设置为所述长时间曝光图像的最大亮度值的平均亮度值。
在根据本发明实施例的图像拾取设备中，压缩部件可以包括，例如，压缩曲线产生装置，用于选择和读出最靠近所述对象的动态范围的两种所述基本压缩曲线数据，并基于所述对象的动态范围根据所述两种基本压缩曲线数据来执行内插，以产生适当的压缩曲线，以及其中，根据由所述压缩曲线产生装置产生的压缩曲线，所述压缩部件产生通过压缩由所述结合部件产生的被结合的图像而形成的已压缩图像。
根据本发明实施例的图像拾取设备可以另外包括，例如，轮廓校正部件，包括：被结合的图像高频分量检测装置，用于检测由所述结合部件产生的被结合的图像的高频分量；增益控制装置，用于通过将增益应用于由所述被结合的图像高频分量检测装置检测的被结合的图像的高频分量来执行所述被结合的图像的高频分量的增益控制，所述增益是与所述被结合的图像的亮度电平或者由所述压缩部件产生的已压缩图像的亮度电平一致的；和高频分量添加装置，用于将经历了所述增益控制装置的增益控制的被结合的图像的高频分量添加到由所述压缩装置产生的已压缩图像。
根据本发明实施例的图像拾取设备可以另外包括，例如，轮廓校正部件，包括：长时间曝光高频分量检测装置，用于检测在所述结合部件处的结合操作中使用的长时间曝光图像的高频分量；短时间曝光高频分量检测装置；用于检测在所述结合部件处的结合操作中使用的短时间曝光图像的高频分量；和高频分量添加装置，用于将由所述长时间曝光高频分量检测装置检测的长时间曝光高频分量或由所述短时间曝光高频分量检测装置检测的短时间曝光分量添加到所述已压缩图像，从而对应于根据由所述结合部件结合的长时间曝光图像或者所述短时间曝光图像而使用的像素。
在根据本发明实施例的图像拾取设备中，轮廓校正部件可以另外包括，例如，增益控制装置，用于通过将增益应用于由所述高频分量添加装置添加到所述已压缩图像的所述高频分量，来对所述高频分量执行增益控制，其中所述增益对应于由所述结合部件产生的被结合的图像的亮度电平或者由所述压缩部件产生的已压缩图像的亮度电平。
根据本发明的另一实施例，提供了一种图像拾取方法，至少包括以下步骤：用图像拾取部件拾取具有相对长的曝光时间的长时间曝光图像和具有相对短的曝光时间的短时间曝光图像；通过基于所述长时间曝光图像的曝光时间和所述短时间曝光图像的曝光时间之间的比率来彼此结合所述获得的长时间曝光图像和短时间曝光图像，从而产生被结合的图像；从在所述结合操作中使用的长时间曝光图像、所述长时间曝光图像所述的曝光时间、在所述结合操作中使用的短时间曝光图像和所述短时间曝光图像的曝光时间计算对象的动态范围；以及通过使用在存储部件中保留的基本压缩曲线数据来计算适于所述对象的所计算的动态范围的压缩曲线，并通过根据所计算的压缩曲线来压缩在所述产生被结合的图像的步骤中产生的被结合的图像，从而产生已压缩图像，其中，从由所述图像拾取步骤获得的长时间曝光图像和所述短时间曝光图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
在本发明中，压缩曲线的产生仅取决于对象的动态范围。因此，通过使用其中将基本压缩曲线内插在其中对象的动态范围小的位置和其中对象的动态范围大的位置之间的相同方法来结合自动曝光控制(AE)，可以通过其中由AE操作来检测对象的动态范围且根据该动态范围来执行压缩的很简单的控制操作来执行适于对象的动态范围的灰度压缩操作。
在本发明中，因为动态范围的上限由在存储部件中存储的曲线的上限确定，可以使用任何动态范围。
另外，在本发明中，如果根据考虑AE特性的JEITA规则来形成在存储部件中存储的曲线，当测量规范的信息时可以提供最好的灰度。
另外，在本发明中，关于通过彼此结合长时间曝光图像和短时间曝光图像形成图像来确定其中压缩整个被结合的图像的动态范围的方式，从而根据曝光时间尽可能地直。因此，如果形成平滑基本压缩曲线，输出被形成的图像作为经历平滑压缩的图像。
即使对于不被结合的一个图像，通过类似的控制方法来压缩动态范围。
此外，在本发明中，使用用于检测最大亮度值的直方图的方法使得可以减少噪音的影响，且可以压缩灰度并排除不必要的灰度，比如点源的灰度。
附图说明
图1是应用了本发明的图像拾取设备的结构的框图；
图2示出了图像拾取设备中的长时间曝光和短时间曝光的图；
图3是示出了根据长时间曝光图像和短时间曝光图像计算对象的动态范围的处理的流程图，其中在具有动态范围计算部件的功能的图像拾取设备的控制部件中执行该计算处理；
图4是示出了计算可以仅由长时间曝光图像表示的对象的动态范围的处理的流程图，在图像拾取设备的控制部件中执行该计算处理；
图5A到图5C图示长时间曝光图像的最大亮度值的检测处理，其中该检测处理使用直方图且在图像拾取设备的控制部件中执行；
图6是示出了在图像拾取设备的压缩部件中执行的压缩过程的流程图；
图7示出图示在图像拾取设备的压缩部件处使用的压缩曲线的形成的图；
图8A和图8B示意性地示出了在图像拾取设备的信号处理部件中从形成被结合的图像时到形成已压缩图像时的信号电平的变化；
图9是示出了在图像拾取设备的图像拾取处理的流程图；
图10是在图像拾取设备的信号处理部件处提供的轮廓校正部件的示例性结构的框图；
图11是在图像拾取设备的信号处理部件处提供的轮廓校正部件的另一示例性结构的框图；
图12示意性地示出了由轮廓校正部件校正轮廓的图像；和
图13是在图像拾取设备的信号处理部件处提供的轮廓校正部件的又一示例性结构的框图。
具体实施方式
以下将参考附图详细描述本发明的实施例。本发明不局限于以下实施例。很明显可以任意进行修改而不脱离本发明的要点。
本发明应用于，例如，具有图1所示的结构的图像拾取设备100。
图像拾取设备100包括拾取对象的图像拾取部件10、处理由图像拾取部件10获得的图像信号的信号处理部件20和控制其操作的控制部件30。
图像拾取部件10包括，例如，图像拾取光学系统11、图像拾取元件12和驱动信号产生部件13。图像拾取光学系统11包括比如摄像镜头、除去不期望的波长的滤光器和光圈(stop)之类的光学组件。图像拾取元件12具有用从对象通过图像拾取光学系统11入射到其上的光照射的其图像拾取表面。驱动信号产生部件13产生用于驱动图像拾取元件12的驱动信号。
图像拾取元件12是固态图像拾取元件，比如电荷耦合器件(CCD)图像传感器或者互补金属氧化物半导体图像传感器，且基于由驱动信号产生部件13产生的驱动信号来驱动该图像拾取元件12。
如图2所示，在一个垂直同步周期期间，图像拾取设备10的图像拾取元件12执行长时间曝光和短时间曝光，且用作长时间曝光图像信号SL和短时间曝光图像信号SS的电信号经历了时间共享输出操作。图像拾取元件12包括，例如，其中垂直传送级的数目是垂直传送级的一般数目的两倍的隔行传送类型(interline transfer type)CCD图像传感器。在每个垂直同步周期中的垂直消隐周期内，从光电转换部件向垂直传送级两倍地执行图像拾取电荷读出操作，且传送在两个读出操作期间被读出到垂直传送级的图像拾取电荷。这使得正好在垂直有效周期的开始之前，在垂直传送级处并排地对准用于长时间曝光的信号电荷和用于短时间曝光的信号电荷。当通过以两倍的速度驱动水平传送级读出图像拾取电荷时，在一个水平同步周期期间输出一个行的长时间曝光信号和短时间曝光信号。因此，连续地输出用于第一行的长时间曝光信号和短时间曝光信号、用于第二行的长时间曝光信号和短时间曝光信号、用于第三行的长时间曝光信号和短时间曝光信号等。
图2示出了在一个垂直同步周期内的曝光时间和在图像拾取元件12中积累的曝光量(电荷量)。
图2示出了其中在1/60秒的一个垂直同步周期中执行1/64秒的长时间曝光和1/2000秒的短时间曝光的情况。长时间曝光时间和短时间曝光时间可以经历可变控制。
通过执行长时间曝光和短时间曝光，在一个垂直同步周期期间获得长时间曝光图像信号SL和短时间曝光图像信号SS。通过结合两个图像信号，产生一个场的图像拾取图像数据。
不是必须在一个垂直同步周期中执行长时间曝光和短时间曝光。可以在某个垂直同步周期中执行长时间曝光，且在下一个垂直同步周期中执行短时间曝光，以结合曝光图像信号。
图像拾取元件12的结构不限于使用固态图像拾取元件的结构。例如，比如拾像管(image pickup tube)之类的非固态图像拾取元件也可以用于图像拾取元件12的结构中。即使通过使用例如、机械快门或者液晶快门的非固态图像拾取元件，可以执行长时间曝光或者短时间曝光，或者改变一般的曝光、长时间曝光或者短时间曝光。
信号处理部件20包括，例如，预处理部件21、波检测部件22、结合部件23、轮廓校正部件24、压缩部件25、存储部件26和后处理部件27。将由图像拾取部件10获得的图像信号提供给预处理部件21。
预处理部件21是所谓的模拟前端。其执行各种操作，比如对于从图像拾取部件10输出的电信号(或者图像拾取图像)的相关的二重抽样(CDS)操作；由可编程增益放大器执行的增益操作；A/D变换；钳位；黑色标记(blacklable)校正；和缺陷校正。预处理部件21预先处理由图像拾取部件10获得的图像信号，以输出所获得的长时间曝光图像数据SL和短时间曝光图像数据SS。
将由预处理部件21获得的长时间曝光图像数据SL和短时间曝光图像数据SS提供给波检测部件22、结合部件23和轮廓校正部件24。
对于从预处理部件21提供的长时间曝光图像数据SL和短时间曝光图像数据SS，波检测部件22计算，例如，用于自动曝光校正(AE)的各个亮度电平并产生直方图。随后，波检测部件22向控制部件30提供所计算的亮度电平和直方图的数据。
控制部件30包括微计算机。基于在波检测部件22处计算的数据，控制部件30计算图像拾取光学系统11的光圈控制值或在图像拾取部件10的驱动信号产生部件13处设置的电子快门值。随后，控制部件30基于计算结果来控制图像拾取部件10的操作。基于用于长时间曝光和短时间曝光的电子快门值，控制部件30计算用于在结合部件23处结合长时间曝光图像和短时间曝光图像的结合增益。随后，基于计算结果，控制部件30控制结合部件23的操作。包括微计算机的控制部件30包括动态范围计算部件31，其基于在长时间曝光和短时间曝光之间的电子快门比率和直方图来计算对象的动态范围值。
对于在结合部件23处产生的被结合的图像，控制部件30的动态范围计算部件31从用于结合操作的长时间曝光图像数据SL、长时间曝光图像的曝光时间TL、用于结合操作的短时间曝光图像数据SS和短时间曝光图像的曝光时间TS来计算对象的动态范围值DDML。将所计算的动态范围值DDML提供给压缩部件25。
从预处理部件21向其提供长时间曝光图像数据SL和短时间曝光图像数据SS的结合部件23彼此结合由长时间曝光图像数据SL和短时间曝光图像数据SS指示的长时间曝光图像和短时间曝光图像(也就是，由图像拾取部件10获得的长时间曝光图像和短时间曝光图像)，以基于在长时间曝光图像的曝光时间TL与短时间曝光图像的曝光时间TS之间的比率产生被结合的图像。根据由控制部件30应用的结合增益，扩展短时间曝光图像以形成其中长时间曝光图像与短时间曝光图像自然地连接的被结合线性图像。
将由结合部件23获得的被结合的图像数据SMX提供给轮廓校正部件24和压缩部件25。
压缩部件25从存储对应于离散的动态范围的压缩曲线数据的存储部件26选择靠近动态范围值的两种曲线。随后，基于由控制部件30的动态范围计算部件31提供的动态范围值DDML，执行内插以形成压缩曲线。此后，根据形成的压缩曲线，产生其中压缩由结合部件23产生的被结合的图像的已压缩图像。
后处理部件27对于由压缩部件25获得的已压缩图像数据SCMX执行后处理，比如YC处理，并基于已压缩图像数据输出图像信号。
在图像拾取设备100中，信号处理部件20的轮廓校正部件24检测在由压缩部件25压缩其之前提供的图像的高频分量(比如从结合部件23提供的被结合的图像数据SMX的高频分量，或者从结合部件23提供的短时间曝光图像数据SH的高频分量和长时间曝光图像数据SL的高频分量)。随后，轮廓校正部件24向后处理部件27提供所检测的高频分量作为用于轮廓校正的高频分量Shm。此后，在后处理部件27中，将高频分量添加到由压缩部件25产生的已压缩图像数据SCMX，以校正轮廓。
也就是说，当短时间曝光图像和长时间曝光图像彼此相结合时，压缩被结合的图像，且产生宽动态范围图像，检测在由压缩部件25压缩其之前提供的图像的高频分量，且将高频分量添加到由压缩部件25产生的已压缩图像数据SCMX。这使得可以增强其中在压缩图像之后很难检测的轮廓。
将在之后参考图10到图13详细描述上述轮廓校正部件24的特定结构与操作。
在图像拾取设备100中，控制部件30的动态范围计算部件31包括微计算机，其例如根据图3的流程图示出的处理从长时间曝光图像和短时间曝光图像计算对象的动态范围。
也就是说，控制部件30预先确定可以仅由长时间曝光图像表示的动态范围。例如，确定在长时间曝光图像的方面可以拍摄在用于闭路电视设备(JEITATTR-4602B)的规格的规则中规定的动态范围放大比率的6X的动态范围(步骤S1)。
随后，控制部件30确定用于长时间曝光的AE目标值和控制方法，并通过执行等效于所谓的“背光校正”的操作来控制图像拾取部件10的电子快门，以使得当执行用于获得长时间曝光图像的AE时，对于A/D变换之后的最大距离的大约1/6，输入以动态范围1X拍摄对象的数据(步骤S2)。
控制部件30确定用于短时间曝光的AE目标值和控制方法，并通过执行等效于所谓的“过多前灯校正”的操作控制图像拾取部件10的电子快门，以使得当拍摄对象时短时间曝光图像不具有饱和的部分(步骤S3)。
接下来，控制部件10对于每个帧从波检测部件25获得AE波检测值(步骤S4)。随后，根据在步骤S2和S3确定的控制方法，计算下一长时间电子快门设置值和下一短时间电子快门设置值，以在图像拾取部件10的驱动信号产生部件13处设置它们(步骤S5和S6)。
随后，控制部件10的动态范围计算部件31使用以下表达式计算长时间曝光图像的曝光时间TL和短时间曝光图像的曝光时间TS之间的曝光比率(步骤S7)：
曝光比率＝TL/TS
随后，确定所计算的曝光比率是否大于1(步骤S8)。
接下来，当在步骤S8的确定结果是“是”时，也就是说，当曝光比率大于1时，动态范围计算部件31按照大于1的曝光比率，利用在步骤S1中确定的动态范围六倍的动态范围：
曝光比率×6＝动态范围
确定当短时间曝光图像和长时间曝光图像彼此相结合时的动态范围值DDML(步骤S9)，且通知压缩部件25关于确定的动态范围值DDML(步骤S10)。随后，处理返回到步骤S4。
相反，当在步骤S8的确定结果是“no”时，也就是说，当在步骤S7计算的曝光比率小于1时，确定对象是可以仅由长时间曝光图像表示的对象。根据图4的流程图中示出的处理，计算动态范围值DDML(步骤S20)，且通知压缩部件25关于确定的动态范围值DDML(步骤S10)。随后，处理返回到步骤S4。
也就是说，控制部件10重复从步骤S4到S 10的操作。在步骤S4中，对于每个帧从波检测部件25获得AE波检测值。随后，通知压缩部件25关于在步骤S10中确定的动态范围值DDML。
随后，压缩部件25根据动态范围值DDML的执行灰度压缩操作，其中由动态范围计算部件31通知压缩部件25该动态范围值DDML。
这里，在步骤S20的动态范围值DDML的计算基本上是当控制部件10执行等效于如图3所示的操作的操作时执行的操作，且在步骤S8确定对象可以仅由以等于或者小于1的曝光比率的长时间曝光图像表示。控制部件10的动态范围计算部件31计算所计算的长时间曝光图像的最大亮度值YLMAX(步骤S21)，且，基于所计算的长时间曝光图像的最大亮度值YLMAX，从当确定对象能够仅由长时间曝光图像表示时的动态范围，计算当动态范围是1X时的最大亮度值YMAX1：
YLMAX/YMAX1＝DDML
通过此，确定对象的动态范围值DDML(步骤S22)。
这里，可以通过简单地检测其中长时间曝光图像的亮度最高的点来检测长时间曝光图像的最大亮度值。然而，当仅检测和利用一个点时，检测到受噪音影响或者具有像素缺陷的特定点。这可能导致不稳定的操作。
因此，例如，如图5所示，直方图用于使得可以稳定地检测长时间曝光图像的最大亮度。
也就是说，对于用在相同检测区中的相同划分阈值来检测的像素，波检测部件22执行像素的数目的积分和亮度的积分。提供图5C所示的对应于各个划分阈值的像素的数目的积分值和亮度的积分值；图5A所示的亮度的积分值的直方图HG1；和图5B所示的像素的数目的积分值的直方图HG2。
例如，当比如灯泡之类的点源被包括在具有相对窄的动态范围的对象中时，不必须再现点源的灰度。因此，确定检测阈值，以使得例如，不必须再现其像素数目等于或者小于某个像素数目的高亮度对象(例如，在其像素数目等于或者小于有效像素的数目的0.4％的区域中的高亮度对象)的灰度。
随后，控制部件10的动态范围计算部件31利用直方图HG2，从具有高亮度的一侧开始计数，并检测包括对应于检测阈值的像素的亮度积分段(brightness integration section)YI和像素积分段PS。
使用作为亮度积分段YI的值检测的亮度积分值和作为像素积分段PS的值检测的像素的数目，并如下计算平均亮度：
亮度积分值/像素的数目＝平均亮度
检测平均亮度作为最大亮度值。
通过使用这种检测方法，不再需要检测作为具有最大亮度的位置的特定点。因此，可以再现灰度而不考虑具有高亮度的小部分，比如点源。另外，随着直方图的数目增加，可以改进被检测的亮度值的精度。
根据图6所示的流程图的处理，压缩部件25基于对象的动态范围值DDML从存储部件26读出基本压缩曲线，并形成最优压缩曲线。
也就是说，压缩部件25获得由控制部件30的动态范围计算部件31计算的对象的动态范围值DDML(步骤S31)。然后，基于所获得的对象的动态范围值DDML，压缩部件25从存储部件26获得第一基本压缩曲线(基线A)和第二基本压缩曲线(基线B)(步骤S32和S33)。第一基本压缩曲线具有大于且最靠近所获得的对象的动态范围的动态范围。第二基本压缩曲线具有小于且最靠近所获得的对象的动态范围DDML的动态范围。
这里，存储部件26预先存储对应于离散的放大倍数(比如1X、4X、16X和64X的动态范围)的压缩曲线。尽管可以使用任何形式的压缩曲线，可以形成压缩曲线以使得，例如，当理想地执行AE时，可以根据由闭路电视设备(JEITA TTR-4602B)的规格的规则定义的动态范围放大比率来再现灰度。通过选择相对于大于对象的动态范围值DDML的动态范围和小于对象的动态范围值DDML的动态范围的最靠近的动态范围来选择基本压缩曲线。例如，如图7所示，当存在对应于对象的动态范围值DDML的基本压缩曲线时且当对象的动态范围值DDML是9X时，选择16X基本压缩曲线F1和4X基本压缩曲线F2。
随后，压缩部件25形成在所选择的基本压缩曲线F1和F2之间内插的压缩曲线FX，作为对应于对象的动态范围值DDML的9X压缩曲线(步骤S34)。随后，根据压缩曲线压缩被结合的图像(步骤S35)。
在通过内插形成压缩曲线时，例如，如果在存储部件26中存储的数据包括样条曲线(spline curve)的KNOT点，可以在KNOT点之间执行内插。例如，取决于将要获得的曲线的精度，该内插方法可以是线性内插或者更复杂的样条内插。尽管压缩曲线根据动态范围动态地改变，仍限制其中基本压缩曲线动态地移动的范围，因为在固定的基本压缩曲线之间执行内插。因此，如果形成基本压缩曲线以使得它们不波动，不像由图7中的虚线示出的基本压缩曲线FY，可以限制在样条内插期间由KNOT点的移动造成的波动。
在存储部件26中存储的基本压缩曲线是使得通过上述的内插方法和将要获得的曲线的精度来确定曲线的数目和动态范围之间的间隔。曲线的数目越大且动态范围之间的间隔越小，通过内插形成的压缩曲线的精度越高。
图8A和图8B示意性地示出了在图像拾取设备100的信号处理部件20中从形成被结合的图像时到形成已压缩图像时信号电平的变化。
也就是说，在图像拾取设备100的信号处理部件20的结合部件23中，如图8A所示，基本上根据曝光比率，扩展短时间曝光图像数据SS，并与长时间曝光图像数据SL相结合从而与其线性地连接。压缩部件26使用平滑压缩曲线FZ压缩被结合的图像数据SMX，以使得已压缩图像的输出电平是100％，如图8A所示。
也就是说，图像拾取设备100包括图像拾取部件10、结合部件23、动态范围计算部件31、存储部件26和压缩部件25。图像拾取部件10在单位周期中拾取具有相对长的曝光时间的长时间曝光图像并在单位周期中拾取具有相对短的曝光时间的短时间曝光图像。结合部件23彼此结合由图像拾取部件10获得的长时间曝光图像和短时间曝光图像，以产生被结合的图像，其中基于长时间曝光图像的曝光时间TL与短时间曝光图像的曝光时间TS之间的比率来彼此结合曝光图像。动态范围计算部件31对于在结合部件23处产生的被结合的图像，从用于结合操作的长时间曝光图像、长时间曝光图像的曝光时间TL、用于结合操作的短时间曝光图像和短时间曝光图像的曝光时间TS计算对象的动态范围。存储部件26保留对应于几种的动态范围的基本压缩曲线数据。压缩部件25使用在存储部件26中保留的基本压缩曲线数据来计算适于由动态范围计算部件31计算的对象的动态范围的压缩曲线，并根据所计算的压缩曲线产生已压缩图像，其中通过压缩由结合部件产生的被结合的图像产生该已压缩图像。
在图像拾取设备100中，如图9的流程图所示，执行步骤S41到44。在步骤S41(图像拾取步骤)中，图像拾取部件10拾取具有相对长的曝光时间的长时间曝光图像和具有相对短的曝光时间的短时间曝光图像。在步骤S42(结合步骤)中，结合部件23基于在长时间曝光图像的曝光时间TL与短时间曝光图像的曝光时间TS之间的比率来彼此结合长时间曝光图像和短时间曝光图像以形成被结合的图像。在步骤S43(动态范围计算步骤)中，动态范围计算部件31从用于结合操作的长时间曝光图像、长时间曝光图像的曝光时间、用于结合操作的短时间曝光图像和短时间曝光图像的曝光时间计算对象的动态范围值DDML。在步骤S44(压缩步骤)中，压缩部件25使用在存储部件26中保留的基本压缩曲线数据来计算适于对象的动态范围值DDML的压缩曲线，并根据所计算的压缩曲线产生已压缩图像(通过压缩被结合的图像形成)。通过执行步骤S41到44，通过简单的控制操作产生经历了适于对象的动态范围的灰度压缩操作的图像。
形成图像拾取设备100的信号处理部件20的轮廓校正部件24类似于，例如，图10所示的轮廓校正部件24A。
轮廓校正部件24A包括，例如，高频分量检测部件241、亮度调制表242和高频分量亮度调制部件243。将由结合部件23获得的被结合的图像数据SMX提供给高频分量检测部件241。亮度调制表242包括亮度调制数据。将亮度调制表242的亮度调制数据、高频分量检测部件241的检测输出和由压缩部件25产生的已压缩图像数据SCMX提供给高频分量亮度调制部件243。
在轮廓校正部件24A中，高频分量检测部件241从由结合部件23产生的被结合的图像数据SMX检测比如轮廓增强分量之类的高频分量SMXh。随后，高频分量亮度调制部件243根据被结合的图像的亮度电平或者由压缩部件24产生的已压缩图像的亮度电平，将增益应用于所检测的被结合的图像高频分量SMXh。通过此，对被结合的图像的高频分量SMXh执行增益控制，将经历了增益控制的被结合的图像的高频分量SMXh提供给后处理部件27，作为用于轮廓校正的高频分量Shm。
通过此，后处理部件27将用于轮廓校正的高频分量Shm添加到由压缩部件24产生的已压缩图像数据SCMX。这使得可以增强其中在压缩图像之后检测困难的轮廓。
例如，高频分量的亮度调制程度数据可以由压缩曲线形成，或者可以从亮度调制表242提供给高频分量亮度调制部件243。
可以形成图像拾取设备100的信号处理部件20的轮廓校正部件24类似于，例如，类似于图11所示的轮廓校正部件24B。
轮廓校正部件24B包括，例如，长时间曝光图像高频分量检测部件241A、短时间曝光图像高频分量检测部件241B、高频分量选择部件244和增益调制部件245。从预处理部件21将长时间曝光图像数据SL提供给长时间曝光图像高频分量检测部件241A。从预处理部件21将短时间曝光图像数据SS提供给短时间曝光图像高频分量检测部件241B。高频分量选择部件244选择长时间曝光图像高频分量检测部件241A的输出和短时间曝光图像高频分量检测部件241B的输出。将由高频分量选择部件244选择的高频分量Sh提供给增益调制部件245。
在轮廓校正部件24B中，长时间曝光图像高频分量检测部件241A和短时间曝光图像高频分量检测部件241B从来自预处理部件21提供的长时间曝光图像数据SL和短时间曝光图像数据SS检测高频分量。
指示在结合部件23处以每个像素选择哪个长时间曝光图像和短时间曝光图像的选择信号SSL被提供给高频分量选择部件244。根据该选择信号SSL，高频分量选择部件244从长时间曝光图像数据SL选择由长时间曝光图像高频分量检测部件241A检测的长时间曝光图像高频分量SLh，并从短时间曝光图像数据SS选择由短时间曝光图像高频分量检测部件241B检测的短时间曝光图像高频分量SSh。将所选择的高频分量Sh提供给增益调制部件245。
增益调制部件245将调制增益应用于从高频分量选择部件24提供的高频分量Sh，且向后处理部件27提供产生的高频分量作为用于轮廓校正的高频分量Sh。
通过此，后处理部件27将用于轮廓校正的高频分量Shm添加到由压缩部件24产生的已压缩图像数据SCMX。这使得可以增强其中在压缩图像之后检测困难的轮廓。
这里，由轮廓校正部件24B校正轮廓的图像如图12所示。
也就是说，轮廓校正部件24B从长时间曝光图像数据SL检测高频分量SLh，并从短时间曝光图像数据SS检测高频分量SSh，并检测高频分量Sh(其中，当形成被结合的图像数据SMX时，结合根据选择长时间曝光和短时间曝光中的哪个而选择的高频分量)。将所产生的高频分量Sh添加到被结合的图像数据SMX作为用于轮廓校正的高频分量Shm，以增强轮廓。
另外，可以形成图像拾取设备100的信号处理部件20的轮廓校正部件24类似于，例如，类似于图13所示的轮廓校正部件24C。
轮廓校正部件24C包括，例如，长时间曝光图像高频分量检测部件241A、短时间曝光图像高频分量检测部件241B、高频分量选择部件244、亮度调制表242和高频分量亮度调制部件243。从预处理部件21，将长时间曝光图像数据SL提供给长时间曝光图像高频分量检测部件241A。从预处理部件21，将短时间曝光图像数据SS提供给短时间曝光图像高频分量检测部件241B。高频分量选择部件244选择长时间曝光图像高频分量检测部件241A的输出和短时间曝光图像高频分量检测部件241B的输出。亮度调制表242包括亮度调制数据。将亮度调制表242的亮度调制数据和由高频分量选择部件244选择的高频分量Sh提供给高频分量亮度调制部件243。
在轮廓校正部件24C中，长时间曝光图像高频分量检测部件241A和短时间曝光图像高频分量检测部件241B从来自预处理部件21提供的长时间曝光图像数据SL和短时间曝光图像数据SS检测高频分量。
指示在结合部件23处以每个像素选择长时间曝光图像和短时间曝光图像中的哪个的选择信号SSL被提供给高频分量选择部件244。根据该选择信号SSL，高频分量选择部件244从长时间曝光图像数据SL选择由长时间曝光图像高频分量检测部件241A检测的长时间曝光图像高频分量SLh，并从短时间曝光图像数据SS选择由短时间曝光图像高频分量检测部件241B检测的短时间曝光图像高频分量SSh。将所选择的高频分量Sh提供给高频分量亮度调制部件243。
高频分量亮度调制部件243根据由压缩部件24产生的已压缩图像的亮度电平，通过将增益应用于从高频分量选择部件244提供的高频分量Sh，对于高频分量Sh执行增益控制。随后，高频分量亮度调制部件243向后处理部件27提供经历了增益控制的作为用于轮廓校正的高频分量Shm的高频分量Sh。
通过此，后处理部件27将用于轮廓校正的高频分量Shm添加到由压缩部件24产生的已压缩图像数据SCMX。这使得可以增强其中在压缩图像之后检测困难的轮廓。
例如，高频分量的亮度调制程度数据可以由压缩曲线形成，或者可以从亮度调制表242提供给高频分量亮度调制部件243。
本申请包括与在2008年6月3日在日本专利局提交的日本优先权专利申请JP 2008-146232中公开的主题相关的主题，将其全部内容通过引用完全包括于此。
本领域技术人员应该理解根据设计要求及其他因素可以进行各种修改，组合，部分组合和变更，只要它们在所附的权利要求或者其等效的范围之内。

Claims (9)

1.一种图像拾取设备，至少包括：
图像拾取部件，拾取具有在单元周期中相对长的曝光时间的长时间曝光图像并拾取具有在单元周期中相对短的曝光时间的短时间曝光图像；
结合部件，其彼此结合由所述图像拾取部件获得的长时间曝光图像和所述短时间曝光图像，以产生被结合的图像，其中基于所述长时间曝光图像的曝光时间和所述短时间曝光图像的曝光时间之间的比率来彼此结合所述曝光图像；
动态范围计算部件，其从在所述结合操作中使用的长时间曝光图像、所述长时间曝光图像的曝光时间、在所述结合操作中使用的短时间曝光图像和所述短时间曝光图像的曝光时间，对于在所述结合部件中产生的被结合的图像，计算对象的动态范围；
存储部件，其保留对应于几种的动态范围的基本压缩曲线数据；和
压缩部件，其使用在所述存储部件中保留的基本压缩曲线数据来计算适于由所述动态范围计算部件计算的对象的动态范围的压缩曲线，并根据所计算的压缩曲线产生已压缩图像，其中通过压缩由所述结合部件产生的被结合的图像来产生所述已压缩图像，
其中，从由所述图像拾取部件获得的长时间曝光图像和所述短时间曝光图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
2.如权利要求1所述的图像拾取设备，其中，所述动态范围计算部件预先确定能够由所述长时间曝光图像表示的对象的动态范围的最大值，并乘以所述长时间曝光图像的曝光时间与所述短时间曝光图像的曝光时间之间的比率，以计算由所述图像拾取部件拾取的对象的动态范围。
3.如权利要求1所述的图像拾取设备，其中，所述动态范围计算部件从所述长时间曝光图像的最大亮度值计算相对于所述长时间曝光图像的饱和电平的比例，并将所述比例乘以能够由所述长时间曝光图像表示的对象的动态范围，以计算由所述图像拾取部件拾取的对象的动态范围。
4.如权利要求3所述的图像拾取设备，其中，使用从所述获得的长时间曝光图像形成的直方图，和对应于其的亮度积分值，当以从较大的亮度值到较小的亮度值的次序对所述积分值计数时，所述动态范围计算部件检测包括指定的第n个像素的直方图中的亮度积分值和像素的数目，且将其区域中的亮度积分值除以所述像素的数目，以计算被设置为所述长时间曝光图像的最大亮度值的平均亮度值。
5.如权利要求1所述的图像拾取设备，其中，所述压缩部件包括：压缩曲线产生装置，用于选择和读出最靠近所述对象的动态范围的两种所述基本压缩曲线数据，并基于所述对象的动态范围根据所述两种基本压缩曲线数据来执行内插，以产生适当的压缩曲线，以及
其中，根据由所述压缩曲线产生装置产生的压缩曲线，所述压缩部件产生通过压缩由所述结合部件产生的被结合的图像而形成的已压缩图像。
6.根据权利要求1所述的图像拾取设备，进一步包括：
轮廓校正部件，包括：被结合的图像高频分量检测装置，用于检测由所述结合部件产生的被结合的图像的高频分量；增益控制装置，用于通过将增益应用于由所述被结合的图像高频分量检测装置检测的被结合的图像的高频分量来执行所述被结合的图像的高频分量的增益控制，所述增益是与所述被结合的图像的亮度电平或者由所述压缩部件产生的已压缩图像的亮度电平一致的；和高频分量添加装置，用于将经历了所述增益控制装置的增益控制的被结合的图像的高频分量添加到由所述压缩装置产生的已压缩图像。
7.根据权利要求1所述的图像拾取设备，进一步包括：
轮廓校正部件，包括：长时间曝光高频分量检测装置，用于检测在所述结合部件处的结合操作中使用的长时间曝光图像的高频分量；短时间曝光高频分量检测装置；用于检测在所述结合部件处的结合操作中使用的短时间曝光图像的高频分量；和高频分量添加装置，用于将由所述长时间曝光高频分量检测装置检测的长时间曝光高频分量或由所述短时间曝光高频分量检测装置检测的短时间曝光分量添加到所述已压缩图像，从而对应于根据由所述结合部件结合的长时间曝光图像或者所述短时间曝光图像而使用的像素。
8.如权利要求7所述的图像拾取设备，其中，所述轮廓校正部件包括：增益控制装置，用于通过将增益应用于由所述高频分量添加装置添加到所述已压缩图像的所述高频分量，来对所述高频分量执行增益控制，其中所述增益对应于由所述结合部件产生的被结合的图像的亮度电平或者由所述压缩部件产生的已压缩图像的亮度电平。
9.一种图像拾取方法，至少包括以下步骤：
用图像拾取部件拾取具有相对长的曝光时间的长时间曝光图像和具有相对短的曝光时间的短时间曝光图像；
通过基于所述长时间曝光图像的曝光时间和所述短时间曝光图像的曝光时间之间的比率来彼此结合所述获得的长时间曝光图像和短时间曝光图像，从而产生被结合的图像；
从在所述结合操作中使用的长时间曝光图像、所述长时间曝光图像所述的曝光时间、在所述结合操作中使用的短时间曝光图像和所述短时间曝光图像的曝光时间计算对象的动态范围；以及
通过使用在存储部件中保留的基本压缩曲线数据来计算适于所述对象的所计算的动态范围的压缩曲线，并通过根据所计算的压缩曲线来压缩在所述产生被结合的图像的步骤中产生的被结合的图像，从而产生已压缩图像，
其中，从由所述图像拾取步骤获得的长时间曝光图像和所述短时间曝光图像产生根据所述对象的动态范围而经历了灰度压缩操作的图像。
CN2009101453370A 2008-06-03 2009-06-03 图像拾取设备和图像拾取方法 Expired - Fee Related CN101600056B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP146232/08 2008-06-03
JP2008146232A JP5083046B2 (ja) 2008-06-03 2008-06-03 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
CN101600056A true CN101600056A (zh) 2009-12-09
CN101600056B CN101600056B (zh) 2012-02-01

Family

ID=41379302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101453370A Expired - Fee Related CN101600056B (zh) 2008-06-03 2009-06-03 图像拾取设备和图像拾取方法

Country Status (5)

Country Link
US (1) US8040411B2 (zh)
JP (1) JP5083046B2 (zh)
KR (1) KR20090126185A (zh)
CN (1) CN101600056B (zh)
TW (1) TWI408953B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917551A (zh) * 2010-08-10 2010-12-15 浙江大学 一种单次曝光的高动态范围图像获取方法
CN104010134A (zh) * 2013-02-26 2014-08-27 通用汽车环球科技运作有限责任公司 用于形成具有宽动态范围的系统和方法
CN104182721A (zh) * 2013-05-22 2014-12-03 华硕电脑股份有限公司 提升人脸识别率的图像处理系统及图像处理方法
CN105323493A (zh) * 2014-06-25 2016-02-10 恒景科技股份有限公司 局部增强装置、多重曝光影像系统以及局部增强方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2010000931A (es) * 2007-07-25 2010-04-21 Candela Microsystems S Pte Ltd Control de exposici?n para un sistema de formaci?n de im?genes.
JP4424402B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
US9289191B2 (en) 2011-10-12 2016-03-22 Seno Medical Instruments, Inc. System and method for acquiring optoacoustic data and producing parametric maps thereof
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5797072B2 (ja) * 2011-09-22 2015-10-21 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US9814394B2 (en) 2011-11-02 2017-11-14 Seno Medical Instruments, Inc. Noise suppression in an optoacoustic system
US9730587B2 (en) 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Diagnostic simulator
US9743839B2 (en) 2011-11-02 2017-08-29 Seno Medical Instruments, Inc. Playback mode in an optoacoustic imaging system
US11191435B2 (en) 2013-01-22 2021-12-07 Seno Medical Instruments, Inc. Probe with optoacoustic isolator
US11287309B2 (en) 2011-11-02 2022-03-29 Seno Medical Instruments, Inc. Optoacoustic component utilization tracking
US9733119B2 (en) 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Optoacoustic component utilization tracking
KR102105728B1 (ko) 2012-03-09 2020-04-28 세노 메디컬 인스투르먼츠 인코포레이티드 광음향 이미징 시스템에서의 통계적 매핑
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9160936B1 (en) * 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
KR101767094B1 (ko) 2012-12-03 2017-08-31 한화테크윈 주식회사 영상 처리 장치 및 방법
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
JP5855035B2 (ja) * 2013-02-28 2016-02-09 株式会社東芝 固体撮像装置
TWI502174B (zh) * 2013-05-14 2015-10-01 Pixart Imaging Inc 光學偵測裝置及其同步調整方法
JP2015031831A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 細胞追跡装置及び方法、細胞追跡プログラム
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
JP6543786B2 (ja) * 2014-05-07 2019-07-17 ハンファテクウィン株式会社 画像処理装置および画像処理方法
JP6366356B2 (ja) 2014-05-14 2018-08-01 キヤノン株式会社 光音響装置、信号処理方法、及びプログラム
JP6366355B2 (ja) * 2014-05-14 2018-08-01 キヤノン株式会社 光音響装置、信号処理方法、及びプログラム
US9307162B2 (en) * 2014-05-21 2016-04-05 Himax Imaging Limited Local enhancement apparatus and method to generate high dynamic range images by blending brightness-preserved and brightness-adjusted blocks
US9832388B2 (en) 2014-08-04 2017-11-28 Nvidia Corporation Deinterleaving interleaved high dynamic range image by using YUV interpolation
JP2016044995A (ja) 2014-08-20 2016-04-04 セイコーエプソン株式会社 測色方法、測色装置および電子機器
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
EP3291173A1 (en) * 2016-09-02 2018-03-07 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and program
KR102495754B1 (ko) * 2016-10-25 2023-02-02 한화테크윈 주식회사 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법
JP6665754B2 (ja) 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
CN110226325B (zh) * 2017-02-01 2022-04-15 索尼半导体解决方案公司 摄像系统和摄像装置
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
JP7217211B2 (ja) * 2019-08-23 2023-02-02 日立Astemo株式会社 撮像装置及び撮像方法
CN114785966B (zh) * 2022-06-21 2022-09-06 深圳比特微电子科技有限公司 曝光控制方法、拍摄处理方法、装置和介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
KR100363826B1 (ko) * 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP3948229B2 (ja) * 2001-08-01 2007-07-25 ソニー株式会社 画像撮像装置及び方法
JP2003198879A (ja) * 2001-12-25 2003-07-11 Hitachi Kokusai Electric Inc 撮像装置
JP2004056573A (ja) * 2002-07-22 2004-02-19 Sony Corp 映像信号処理方法、処理回路、及び撮像装置の駆動方法
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP4143425B2 (ja) * 2003-01-16 2008-09-03 富士フイルム株式会社 画像処理方法及び装置、並びに画像処理プログラム
JP2004282282A (ja) * 2003-03-14 2004-10-07 Yokogawa Electric Corp カメラシステム及びカメラ制御方法
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP4568484B2 (ja) * 2003-06-02 2010-10-27 富士フイルム株式会社 画像処理方法及びデジタルカメラ
JP4595330B2 (ja) 2004-01-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2005260517A (ja) * 2004-03-11 2005-09-22 Sanyo Electric Co Ltd 画像信号処理装置
TWI246031B (en) * 2004-09-17 2005-12-21 Ulead Systems Inc System and method for synthesizing multi-exposed image
JP4452161B2 (ja) * 2004-11-12 2010-04-21 パナソニック株式会社 撮像装置
US8120570B2 (en) * 2004-12-02 2012-02-21 Sharp Laboratories Of America, Inc. Systems and methods for tone curve generation, selection and application
EP1868368A4 (en) * 2005-03-15 2009-06-24 Omron Tateisi Electronics Co IMAGE PROCESSOR, IMAGE PROCESSING, PROGRAM AND RECORDING MEDIUM
JP4733419B2 (ja) * 2005-04-26 2011-07-27 富士フイルム株式会社 合成画像データ生成装置およびその制御方法ならびにその制御プログラム
US7791656B2 (en) * 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
US7843493B2 (en) * 2006-01-31 2010-11-30 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP5034436B2 (ja) * 2006-10-19 2012-09-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラシステム
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
US8144985B2 (en) * 2007-12-21 2012-03-27 Sony Corporation Method of high dynamic range compression with detail preservation and noise constraints
US8358351B2 (en) * 2009-06-05 2013-01-22 Apple Inc. Automatic tone mapping for cameras

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917551A (zh) * 2010-08-10 2010-12-15 浙江大学 一种单次曝光的高动态范围图像获取方法
CN101917551B (zh) * 2010-08-10 2012-01-04 浙江大学 一种多次曝光的高动态范围图像获取方法
CN104010134A (zh) * 2013-02-26 2014-08-27 通用汽车环球科技运作有限责任公司 用于形成具有宽动态范围的系统和方法
CN104010134B (zh) * 2013-02-26 2017-08-11 通用汽车环球科技运作有限责任公司 用于形成具有宽动态范围的系统和方法
CN104182721A (zh) * 2013-05-22 2014-12-03 华硕电脑股份有限公司 提升人脸识别率的图像处理系统及图像处理方法
CN105323493A (zh) * 2014-06-25 2016-02-10 恒景科技股份有限公司 局部增强装置、多重曝光影像系统以及局部增强方法
CN105323493B (zh) * 2014-06-25 2018-11-06 恒景科技股份有限公司 局部增强装置、多重曝光影像系统以及局部增强方法

Also Published As

Publication number Publication date
CN101600056B (zh) 2012-02-01
JP2009296178A (ja) 2009-12-17
KR20090126185A (ko) 2009-12-08
US8040411B2 (en) 2011-10-18
JP5083046B2 (ja) 2012-11-28
TWI408953B (zh) 2013-09-11
US20090295941A1 (en) 2009-12-03
TW201004321A (en) 2010-01-16

Similar Documents

Publication Publication Date Title
CN101600056B (zh) 图像拾取设备和图像拾取方法
CN1898945B (zh) 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法
US8081242B2 (en) Imaging apparatus and imaging method
US7742081B2 (en) Imaging apparatus for imaging an image and image processor and method for performing color correction utilizing a number of linear matrix operations
EP0866608B1 (en) Method for correcting luminance gradation in an image pickup apparatus
KR100886311B1 (ko) 스미어 제거 기능을 포함한 디지털 카메라
CN101296321B (zh) 摄像装置、摄像方法和曝光控制方法
US8213063B2 (en) Image sensing apparatus, image sensing system, and operating program product for image sensing system
US20020122133A1 (en) Digital camera and image processing system
CN1731831B (zh) 摄像装置及摄像元件的控制电路
CN100461828C (zh) 图像处理装置和图像处理方法
CN202190327U (zh) 低照度摄像机成像控制装置及摄像系统
US7884866B2 (en) Imaging apparatus and imaging method
US8319864B2 (en) Imaging apparatus and imaging method
US8144216B2 (en) Imaging apparatus and imaging method
JP2007027845A (ja) 撮像装置
JP2008053931A (ja) 撮像装置
CN106134181B (zh) 摄影装置
US7911506B2 (en) Image sensing apparatus and method of controlling the same
JP4944639B2 (ja) 画像処理装置、画像処理方法及び撮影装置
Cvetkovic et al. Tone-mapping functions and multiple-exposure techniques for high dynamic-range images
JP4408940B2 (ja) 撮像装置及びその制御方法
CN100409665C (zh) 电子照相机和电子照相机的信号放大率调整方法
JP4307862B2 (ja) 信号処理方法、信号処理回路、及び撮像装置
JP2007312112A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120201

Termination date: 20150603

EXPY Termination of patent right or utility model