CN102263911A - 成像处理装置、相机系统、图像处理方法和程序 - Google Patents

成像处理装置、相机系统、图像处理方法和程序 Download PDF

Info

Publication number
CN102263911A
CN102263911A CN2011101354279A CN201110135427A CN102263911A CN 102263911 A CN102263911 A CN 102263911A CN 2011101354279 A CN2011101354279 A CN 2011101354279A CN 201110135427 A CN201110135427 A CN 201110135427A CN 102263911 A CN102263911 A CN 102263911A
Authority
CN
China
Prior art keywords
long
assessed value
short
exposure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101354279A
Other languages
English (en)
Inventor
长滝真吾
和岛贤二
山本洋司
神明克尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102263911A publication Critical patent/CN102263911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure

Abstract

本发明公开了成像处理装置、相机系统、图像处理方法和程序。所述图像处理装置包括：图像传感器，其输出一场中至少分别具有更长和更短曝光时间的长短累积图像与短累积图像；第一和第二长累积评估值计算单元，其根据长累积图像计算第一和第二长累积评估值；短累积评估值计算单元，其根据短累积图像计算曝光评估值；短累积曝光控制单元，其从短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息；长累积评估值合成单元，其通过合成第一长累积评估值和第二长累积评估值来获取长累积评估值；长累积曝光控制单元，其从长累积评估值和第二目标级别获取长累积曝光控制信息；以及合成单元，其从长累积图像和短累积图像产生一个图像。

Description

成像处理装置、相机系统、图像处理方法和程序
技术领域
本发明涉及对具有不同曝光时间的多个图像进行合成处理的图像处理装置、相机系统、图像处理方法和程序。
背景技术
作为以CCD和CMOS(互补金属氧化物半导体)为代表的固态图像感测器件的图像传感器使用光电转换器件(其响应于入射光量累积电荷)进行光电转换。
近年来，使用诸如CCD和CMOS传感器之类的图像传感器的相机已经得到广泛使用。
然而，一般而言，图像传感器具有比银盐相机等更窄的可表示的动态范围(下文称为DR)，并且如果成像高对比度的被摄体，则出现高亮度部分变白(whiteout)或低亮度部分变黑(blackout)的问题。
为了解决该问题，本领域的技术人员广泛知道的是通过以不同的曝光时间成像多个图像并适当地将它们合成为一个图像以放大要从图像传感器输出的图像的表观DR(apparent DR)的方法。
这里，作为示例，将说明合成具有不同曝光时间的两个图像的方法。
在下文中，对于这两个图像，将具有更长曝光时间的图像称为“长累积图像”，而将具有更短曝光时间的图像称为“短累积图像”，并且将通过长累积图像和短累积图像的数字合成所获得的图像称为“复合图像”。
图1示出了一曲线图的示例，该曲线图示出了相对于长累积图像和短累积图像的图像传感器的入射光量与输出电平之间的关系(下文称为输入/输出特性)。
这里，2001示出了关于长累积图像的输入/输出特性，2002示出了关于短累积图像的输入/输出特性。2003示出了图像传感器的输出中包含的噪声的、独立于入射光量和曝光时间的分量的电平(下文称为“噪声电平”)，2005示出了长累积图像的输出电平开始饱和的入射光量。
长累积图像具有这样的特性：输入和输出的线性在具有预定入射光量的区域中被破坏，并且出现输出电平的饱和(＝变白)，然而，比饱和的入射光量更低的入射光量中的输出电平与噪声电平的比值(所谓的S/N比)高。
另一方面，短累积图像具有这样的特性：关于相同入射光量的输出电平比长累积图像的更低，并且S/N恶化，然而，即使在入射光量变得更大时也难以出现饱和。
图2示出了一曲线图的示例，该曲线图示出了当合成长累积图像和短累积图像并将其作为一个复合图像输出时，入射光量与复合图像的输出电平之间的关系(下文称为关于复合图像的输入/输出特性)。
这里，2104示出了关于复合图像的输入/输出特性，而2106、2107分别示出了在复合图像中选择长累积图像和短累积图像的入射光量的范围。2001、2002与图1中同一标记表示的那些是相同的，并且其说明将予以省略。注意，如下文那样，同一标记表示的那些是相同的，并且仅进行一次其说明。
图2中所示的合成方法针对具有小于预定阈值INP的入射光量的区域(入射光量的范围2106所表示的区域)选择长累积图像，并且针对具有等于或大于预定阈值INP的入射光量的区域(入射光量的范围2107表示的区域)选择短累积图像与曝光率的乘积。由此，产生复合图像。
这里，曝光率是长累积图像的曝光量与短累积图像的曝光量之比、以及长累积图像和短累积图像的曝光时间之比，除非长累积图像和短累积图像乘以不同的增益。
进一步，通常将预定阈值INP设置到略低于使得长累积图像的输出电平饱和的点的点(如图中所示)。例如，设置到开始饱和的入射光量的大约50％～80％的点。
下列的其它合成方法已知为已知技术。
首先，存在这样的方法：采用((短累积图像)×(预定增益)(＜曝光率)+(预定偏移))作为具有等于或大于预定阈值INP的入射光量的区域的输出(长累积图像用于具有小于预定阈值INP的入射光量的区域)。
第二，在各种合成方法中，存在这样的方法：在使用长累积图像的区域与使用短累积图像的区域之间的边界的附近，混合长累积图像和短累积图像。
然而，使用这些合成方法，出现了新的问题。
图3示出了一曲线图的示例，该曲线图示出了当使用图2中所示的合成方法时，复合图像的入射光量与S/N之间的关系(下文称为复合图像的S/N特性)。
这里，2201示出了复合图像的S/N特性，2202示出了在复合图像中切换其中选择长累积图像的区域和其中选择短累积图像的区域的点，2203示出了合成之前长累积图像的S/N特性，而2204示出了合成之前短累积图像的S/N特性。
这里，将合成之前的长累积图像的S/N特性2203描绘为用以使得长累积图像的输出电平饱和的入射光量。
短累积图像的输出电平是长累积图像的输出电平的1/(曝光率)倍，然而，噪声电平差别很小。进一步，即使在短累积图像乘以曝光率时，输出电平和噪声电平也均增大并且S/N不变。
因此，已知的是，在靠近对于复合图像开始选择短累积图像的点2202的区域，(即，短累积图像的相对低亮度部分用于输出的区域)，S/N急剧恶化。当曝光率更大时，S/N的恶化更显著。
进一步，为了有效地放大DR的目的，可以以下列各种方式执行长累积图像和短累积图像的曝光控制。
通过曝光到具有比用于减小变黑的平均(背光校正曝光控制)更高的亮度的光来获得长累积图像。
通过曝光到具有比用于减小变白的平均(过度直射光校正曝光控制)更低的亮度的光来获得短累积图像。
这里，曝光控制是指这样的操作：使用预定方法从各个图像计算曝光控制评估值(下文称为“评估值”)，并控制曝光时间、光圈孔径、PGA增益量等，以便评估值可以等于预定目标级别REF。
如下所述，为了简明起见，将仅说明曝光时间的控制。
在标准曝光控制中，例如，图像的亮度值的积分或通过将其除以像素数而获得的平均用作评估值。
另一方面，在背光校正曝光控制和过度直射光校正曝光控制中，例如，通过对于每一个亮度级别将图像划分为多个等级并以对于各等级的不同权重来积分亮度值，以获得评估值。
注意，对于所有等级使用相同权重的控制是等价于标准曝光控制的控制。
背光校正曝光控制可以通过将更低亮度等级的权重设置得更大来实现，而相反，过度直射光校正曝光控制可以通过将更高亮度等级的权重设置得更大来实现。
在曝光控制下，响应于场景的DR，曝光率以下列形式变化。
在具有更宽DR的场景中，长累积图像对短累积图像的曝光率变得更大。
在具有更窄DR的场景中，长累积图像对短累积图像的曝光率变得更小。最终，比率变为1，即，长累积图像和短累积图像的曝光时间变得相同。
然而，在为了不降低运动画面分辨率的目的，在一场(或一帧)中总共执行两次较长和较短曝光的情况下，对于短累积图像，由于设备的限制，可能有时候必须在V-blanking(垂直消隐)时段中执行曝光。
在这种情况下，曝光时间的上限(最长曝光时间)比长累积图像的最长曝光时间短得多，并且在使用PAL方法执行成像的情况下，例如，长累积图像的最长曝光时间约为1/50秒，而短累积图像的最长曝光时间约为1/1000秒。
当成像场景变得更暗时，通过曝光控制，长累积图像和短累积图像的曝光时间最终变得接近其最长曝光时间，并且这意味着即使当场景的DR窄时，也对于低亮度提供大约20倍的曝光率。
即，在窄DR和低亮度的场景中，不存在长累积图像和短累积图像的合成的优点，并且仅进一步恶化了使用短累积图像的低亮度部分的区域的S/N。
鉴于该情形，例如，在专利文献1(JP-A-2000-69355)(下文称为现有技术1)中描述的技术中，提出了这样的方法：通过使用复合图像中短累积图像的低亮度部分将预定滤波应用于该区域以减小噪声。
进一步，作为放大DR的另一方法，存在合成不是曝光时间不同而是感光度(sensitivity)不同的两个像素的方法，然而，在放大DR的方法中出现相同的问题。
作为解决所述问题的方法，专利文献2(JP-A-2004-222182)(下文称为现有技术2)中描述的技术是已知的。
在现有技术2中，当曝光时间变得等于或大于预定时间时，通过仅使用高感光像素来减小复合图像中的局部噪声。
发明内容
然而，在两个现有技术中，分别存在如下问题。
在现有技术1中，当曝光率变得更大时，短累积图像的噪声电平响应地变得更高，并且为了减小它，应该使得要应用的滤波的强度更高，且复合图像的局部区域的所感知的分辨率变得极其低。
特别地，在暗的场景中，由于短累积曝光时间的限制使得短累积曝光不收敛，因此，提供了相对于场景初始具有的DR的不合理的高曝光率，并且该趋势变得显著。
进一步，仅滤波复合图像中的局部区域，并且在复合图像中可能出现不自然。
在现有技术2中，由于在使用高感光度像素和低感光度像素二者的情形与仅使用高感光度像素的情形之间不特别地改变曝光控制，因此即使当整个屏幕暗时，在具有更宽DR的场景中仍再次出现变白。
因此，期望提供图像处理装置、相机系统、图像处理方法和程序，其可以减小易于在低亮度场景中产生的合成的边缘处的噪声。
根据本发明实施例的图像处理装置包括：图像传感器，其暴露于光，进行成像，并且输出一场中至少具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像；第一长累积评估值计算单元，其根据所述长累积图像计算曝光评估值，并将该值作为第一长累积评估值输出；第二长累积评估值计算单元，其依照与所述第一长累积评估值计算单元的方法不同的方法，根据所述长累积图像计算曝光评估值，并将该值作为第二长累积评估值输出；短累积评估值计算单元，其根据所述短累积图像计算曝光评估值，并将该值作为短累积评估值输出；短累积曝光控制单元，其从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息；长累积评估值合成单元，其通过使用预定方法，响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值；长累积曝光控制单元，其从所述长累积评估值和第二目标级别获取长累积曝光控制信息；以及合成单元，其响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
根据本发明的另一个实施例的相机系统包括：图像处理装置，其包括图像传感器；以及光学系统，其在所述图像传感器中形成被摄体图像，其中，所述图像处理装置包括：图像传感器，其暴露于光，进行成像，并且输出一个场中至少具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像，第一长累积评估值计算单元，其根据所述长累积图像计算曝光评估值，并将该值作为第一长累积评估值输出，第二长累积评估值计算单元，其依照与所述第一长累积评估值计算单元的方法不同的方法，根据所述长累积图像计算曝光评估值，并将该值作为第二长累积评估值输出，短累积评估值计算单元，其根据所述短累积图像计算曝光评估值，并将该值作为短累积评估值输出，短累积曝光控制单元，其从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息，长累积评估值合成单元，其通过使用预定方法，响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值，长累积曝光控制单元，其从所述长累积评估值和第二目标级别获取长累积曝光控制信息，以及图像传感器驱动单元，其根据所述长累积曝光控制信息和所述短累积曝光控制信息来驱动所述图像传感器；合成单元，其响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
根据本发明再一个实施例的图像处理方法包括如下步骤：成像步骤，在一场中至少成像具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像；第一长累积评估值计算步骤，根据所述长累积图像计算曝光评估值以获得第一长累积评估值；第二长累积评估值计算步骤，依照与所述第一长累积评估值计算步骤的方法不同的方法，根据所述长累积图像计算曝光评估值，以获得第二长累积评估值；短累积评估值计算步骤，根据所述短累积图像计算曝光评估值，以获得短累积评估值；短累积曝光控制步骤，从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息；长累积评估值合成步骤，通过使用预定方法响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值；长累积曝光控制步骤，从所述长累积评估值和第二目标级别获取长累积曝光控制信息；以及合成步骤，响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
根据本发明又一个实施例的程序使得计算机能够执行图像处理，所述图像处理包括：成像处理，在一场中至少成像具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像；第一长累积评估值计算处理，根据所述长累积图像计算曝光评估值以获得第一长累积评估值；第二长累积评估值计算处理，依照与所述第一长累积评估值计算处理的方法不同的方法，根据所述长累积图像计算曝光评估值，以获得第二长累积评估值；短累积评估值计算处理，根据所述短累积图像计算曝光评估值，以获得短累积评估值；短累积曝光控制处理，从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息；长累积评估值合成处理，通过使用预定方法响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值；长累积曝光控制处理，从所述长累积评估值和第二目标级别获取长累积曝光控制信息；以及合成处理，响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
根据本发明的实施例，可以减小低亮度场景中易于产生的合成的边界处的噪声。
附图说明
图1以曲线图示出关于长累积图像和短累积图像的对于图像传感器的入射光量与输出电平之间的关系(输入/输出特性)。
图2以曲线图示出当合成长累积图像和短累积图像并将其作为一个复合图像输出时复合图像的入射光量和输出电平之间的关系(关于复合图像的输入/输出特性)。
图3以曲线图示出当使用图2中所示的合成方法时复合图像的入射光量和S/N之间的关系(复合图像的S/N特性)。
图4是示出了根据本发明第一实施例的图像处理装置的配置示例的框图。
图5是示出在第一长累积评估值计算单元、第二长累积评估值计算单元、短累积评估值计算单元、短累积曝光控制单元、长累积评估值合成单元和长累积曝光控制单元中的处理流程的示例的流程图。
图6是示出在长累积评估值合成单元中的详细处理的示例的流程图。
图7以曲线图示出当使用根据本发明第一实施例的图像处理装置时在假设场景中关于长累积图像的输入/输出特性、关于短累积图像的输入/输出特性以及关于复合图像的输入/输出特性。
图8联合示出图7中所示的各个输入/输出特性以及图2中所示的输入/输出特性的绘图以用于根据第一实施例的图像处理装置与现有图像处理装置之间的比较。
图9是用于根据第一实施例的图像处理装置以及现有图像处理装置中复合图像的S/N特性之间的比较的曲线图。
图10是示出了根据本发明第二实施例的图像处理装置的配置示例的框图。
图11是以曲线图示出根据第二实施例的图像处理装置中的长累积评估值合成单元的处理示例的流程图。
图12示出根据图11中所示的处理流程的第一长累积评估值和第二长累积评估值的贡献率如何响应于短累积目标曝光时间而变化。
图13是示出根据本发明第三实施例的图像处理装置的配置示例的框图。
图14是示出根据本发明第三实施例的图像处理装置的合成单元中的处理流程的示例的流程图。
图15示出用于根据本发明第一或第二实施例的图像处理装置与根据本发明第三实施例的图像处理装置之间的组合的复合图像的S/N特性的比较的图。
图16示出应用了根据本发明实施例的图像处理装置的相机系统的配置示例。
具体实施方式
下面参照附图说明本发明的实施例。
将以如下顺序进行说明。
1.第一实施例(图像处理装置的第一配置示例)
2.第二实施例(图像处理装置的第二配置示例)
3.第三实施例(图像处理装置的第三配置示例)
4.第四实施例(图像处理装置的第四配置示例)
<1.第一实施例>
图4是示出了根据本发明第一实施例的图像处理装置的配置示例的框图。
图像处理装置100具有图像传感器101、模/数转换单元(ADC：模数转换器)102、合成单元103、第一长累积评估值(A)计算单元104和第二长累积评估值(B)计算单元105。
图像处理装置100具有短累积评估值计算单元106、短累积曝光控制单元107、长累积评估值合成单元108、长累积曝光控制单元109、图像传感器驱动单元110和合成单元111。
图像传感器101将入射光转换为模拟信号，并将其示出到下游的ADC102。
图像传感器101暴露于光，进行成像，并输出一个场时段中至少具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像这两个图像。
ADC 102A/D转换图像传感器101的模拟信号，并将其作为数字信号输出到下游的合成单元103。
合成单元103将ADC 102的数字信号分离为长累积图像和短累积图像。
合成单元103将分离出的长累积图像输出到第一长累积评估值计算单元104、第二长累积评估值计算单元105和合成单元111，并将短累积图像输出到短累积评估值计算单元106和合成单元111。
第一长累积评估值计算单元104根据提供的长累积图像计算曝光评估值，并将计算出的曝光评估值作为第一长累积评估值LEVA提供到长累积评估值合成单元108。
第二长累积评估值计算单元105按照与第一长累积评估值计算单元104的方法不同的方法，根据提供的长累积图像计算曝光评估值，并将计算出的曝光评估值作为第二长累积评估值LEVB提供到长累积评估值合成单元108。
短累积评估值计算单元106根据提供的短累积图像计算曝光评估值，并将其作为短累积评估值SEV输出到短累积曝光控制单元107。
短累积曝光控制单元107将提供的短累积评估值SEV与第一目标级别REF1进行比较，并响应于比较结果产生短累积目标曝光时间和短累积图像的曝光控制信息(下文称为“短累积曝光控制信息”)。
短累积曝光控制单元107将产生的短累积目标曝光时间STET输出到长累积评估值合成单元108，并将产生的短累积曝光控制信息SECI输出到合成单元111。
长累积评估值合成单元108响应于提供的长累积评估值LEVA、长累积评估值LEVB和短累积目标曝光时间STET而产生长累积评估值LEV，并将产生的长累积评估值LEV输出到长累积曝光控制单元109。
长累积曝光控制单元109将提供的长累积评估值LEV与第二目标级别REF2进行比较，产生长累积图像的曝光控制信息(下文称为“长累积曝光控制信息”)LECI，并将产生的长累积曝光控制信息LECI输出到合成单元111。
图像传感器驱动单元110响应于长累积曝光控制信息LECI和短累积曝光控制信息SECI而产生驱动信号，并使用产生的驱动信号来驱动图像传感器101。
合成单元111响应于长累积曝光控制信息LECI和短累积曝光控制信息SECI来合成提供的长累积图像和短累积图像这两个图像，并将其输出到下游处理系统。
具有上述配置的图像处理装置100可以安排为具有如下特征。
短累积曝光控制单元107产生的短累积曝光控制信息SECI和长累积曝光控制单元109产生的长累积曝光控制信息LECI包含曝光时间信息。
分别地，第一长累积评估值计算单元104具有通过朝着低亮度侧放置权重以计算曝光评估值的功能，第二长累积评估值计算单元105具有通过朝着高亮度侧放置权重以计算曝光评估值的功能，短累积评估值计算单元106具有通过朝着高亮度侧放置权重以计算曝光评估值的功能。
进一步，在第二长累积评估值计算单元105和短累积评估值计算单元106中，用于曝光评估值的计算的权重是相等的。
短累积曝光控制单元107中应用的第一目标级别REF1和长累积曝光控制单元109中应用的第二目标级别REF2取相同的值。
分别地，长累积评估值合成单元108在短累积曝光控制单元107的短累积目标曝光时间STET小于第一阈值SHTA的情况下取得长累积评估值LEVA，而在短累积目标曝光时间STET等于或大于第一阈值SHTA的情况下取得长累积评估值LEVB，作为长累积评估值LEV。
第一阈值SHTA是超过长累积图像的最短曝光时间和短累积图像的最长曝光时间的值。
当短累积图像中PGA增益的量更大时，第一阈值SHTA更小。
进一步，长累积评估值合成单元108在短累积目标曝光时间STET低于第二阈值SHTB的情况下取得长累积评估值LEVA，而在短累积目标曝光时间STET等于或大于第三阈值SHTC(其大于第二阈值SHTB)的情况下取得长累积评估值LEVB，作为长累积评估值LEV。
如果短累积目标曝光时间STET等于或大于第二阈值SHTB且小于第三阈值SHTC，则长累积评估值合成单元108取得通过使用预定方法补充(complement)长累积评估值LEVA和长累积评估值LEVB所获得的值作为长累积评估值LEV。
第二阈值SHTB是超过长累积图像的最短曝光时间和短累积图像的最长曝光时间的值。
如果短累积图像中PGA增益的量更大，则第二和第三阈值SHTB、SHTC更小。
接下来说明当图4中所示的图像处理装置100产生一场的复合图像时的操作的概要。
在处理开始之后，图像传感器101将入射光进行光电转换，并将其作为模拟信号输出到下游。在这一点上，图像传感器驱动单元110基于长累积曝光控制信息LECI和短累积曝光控制信息SECI，在一场时段中产生用于释放电子快门总共两次(更长一个和更短一个)的驱动信号，并将其输入到图像传感器101。
因此，由图像传感器101产生的模拟信号包含关于长累积图像和短累积图像二者的信息。
图像传感器101输出的模拟信号在下游的ADC 102中转换为数字信号，并进一步，在下游的合成单元103中分离为长累积图像和短累积图像并且输出。
然后，使用分离出的长累积图像和短累积图像，第一长累积评估值计算单元104、第二长累积评估值计算单元105、短累积评估值计算单元106、短累积曝光控制单元107、长累积评估值合成单元108和长累积曝光控制单元109产生下一场曝光中图像传感器驱动单元110所需的长累积曝光控制信息LECI和短累积曝光控制信息SECI。
注意，曝光控制信息至少包含关于长累积图像的曝光时间和短累积图像的曝光时间的信息，并根据需要包含关于PGA增益的量的信息。
稍后详细说明第一长累积评估值计算单元104、第二长累积评估值计算单元105、短累积评估值计算单元106、短累积曝光控制单元107、长累积评估值合成单元108和长累积曝光控制单元109的操作，这是因为它们很重要。
合成单元111与长累积曝光控制信息LECI和短累积曝光控制信息SECI的产生并行地或者以顺序的方式合成长累积图像和短累积图像，输出复合图像，由此完成一场的处理。
注意，在使用图2的曲线图中所示的合成方法的情况下，除了长累积图像和短累积图像之外，用于短累积图像的相乘的曝光率也是必要的。
为了获得曝光率，第一长累积评估值计算单元104、第二长累积评估值计算单元105、短累积评估值计算单元106、短累积曝光控制单元107、长累积评估值合成单元108和长累积曝光控制单元109中获得的长累积曝光控制信息和短累积曝光控制信息可以另外地输入到合成单元111以用于曝光率的计算。
可替代地，分别积分长累积图像中未饱和的预定区域中的亮度值以及短累积图像中预定区域的亮度值并将它们的比视为曝光率的处理可以在合成单元111内执行。
接下来说明第一长累积评估值计算单元104、第二长累积评估值计算单元105、短累积评估值计算单元106、短累积曝光控制单元107、长累积评估值合成单元108和长累积曝光控制单元109的详细操作。
图5是示出了在第一长累积评估值计算单元104、第二长累积评估值计算单元105、短累积评估值计算单元106、短累积曝光控制单元107、长累积评估值合成单元108和长累积曝光控制单元109中的处理的流程的示例的流程图。
在处理开始之后，在第一长累积评估值计算单元104、第二长累积评估值计算单元105和短累积评估值计算单元106中，分别计算第一长累积评估值LEVA、第二长累积评估值LEVB和短累积评估值SEV(步骤ST101、ST102、ST103)。
这三个步骤示出的处理可以如所示那样以同时并行的方式执行，或者以随机次序顺序的方式执行。
更确切地，各个评估值计算单元104～106例如根据如下流程计算评估值。
根据长累积图像或短累积图像获得各个像素的亮度值。
针对每一预定亮度范围分类各个像素的亮度值，并且对每一等级执行亮度值的积分和像素值数目的计数。如下面那样，预定等级x的亮度积分值是INTx，且像素数目是CNTx(x越大，则等级具有越高的亮度)。
通过下列公式计算评估值EVA。
这里，根据评估值计算单元的类型，以下列方式设置等级x的权重WGTx的值。
在第一长累积评估值计算单元104的情况下，随着x按照降序更大，WGTx更大。
在第二长累积评估值计算单元105的情况下，随着x按照升序更大，WGTx更小。
在短累积评估值计算单元106的情况下，随着x按照升序更大，WGTx更小。
注意，第二长累积评估值计算单元105和短累积评估值计算单元106中各个权重WGTx的值最好相同，并且将在该假设的情况下进行下列说明，然而，它们可以不必相同。
在完成步骤ST103的处理之后，在短累积曝光控制单元107中，短累积目标曝光时间STET和短累积图像曝光控制信息SECI根据短累积评估值SEV和第一目标级别REF1而产生，并将它们输出到下游(步骤ST104)。
更确切地，例如执行下列处理。
获得短累积评估值SEV与第一目标级别REF1之比。该比值称为RS。
计算(当前场中用于曝光的曝光时间)/RS，并将其用作场景的短累积目标曝光时间。
短累积目标曝光时间STET自身或通过将IIR滤波器等应用于短累积目标曝光时间STET而平滑的一个用作下一场中的曝光时间。
PGA增益量等根据需要添加到曝光时间，并获得短累积图像曝光控制信息，并且与短累积目标曝光时间一起输出到合成单元111和图像传感器驱动单元110。
即，通过步骤ST103、ST104的处理，基于过度直射光校正的概念，恒定地对短累积图像进行曝光控制。该行为与现有技术中的曝光控制相同。
完成步骤ST101、ST102、ST104的所有处理，长累积评估值合成单元108通过响应于短累积目标曝光时间STET合成第一长累积评估值LEVA和第二长累积评估值LEVB的值以产生长累积评估值LEV(步骤ST105)。长累积评估值合成单元108将产生的长累积评估值LEV输出到长累积曝光控制单元109。
图6是示出长累积评估值合成单元108中的详细处理的示例的流程图。
在处理开始之后，长累积评估值合成单元108检查短累积目标曝光时间STET和阈值SHT之间的量值关系(步骤ST201)。这里，预定阈值SHT满足下列关系。
(阈值SHT)＞(短累积图像的最长曝光时间(MAXLET))  (2)
如果短累积目标曝光时间STET低于阈值SHT(步骤ST201/是)，则不改变地将第一长累积评估值LEVA作为长累积评估值LEV输出到下游的长累积曝光控制单元109(步骤ST202)，并且处理结束。
另一方面，如果短累积目标曝光时间STET等于或大于阈值SHT(步骤ST201/否)，则不改变地将第二长累积评估值LEVB作为长累积评估值LEV输出到下游的长累积曝光控制单元109(步骤ST203)，并且处理结束。
在完成图5中步骤ST105的处理之后，在长累积曝光控制单元109中，长累积目标曝光时间和长累积图像曝光控制信息LECI根据长累积评估值LEV和第二目标级别REF2而产生，输出到下游(步骤ST106)，并且处理结束。
更确切地，例如执行下列处理(如短累积图像的情况中那样)。
获得长累积评估值LEV与第二目标级别REF2之比。将该比值称为RL。
计算(当前场中用于曝光的曝光时间)/RL，并将其用作场景的长累积目标曝光时间。
长累积目标曝光时间自身或通过将IIR滤波器等应用于长累积目标曝光时间而平滑的一个用作下一场中的曝光时间。
根据需要将PGA增益量等添加到曝光时间，并获得长累积图像曝光控制信息，并将其输出到合成单元111和图像传感器驱动单元110。
这里，优选的是，第二目标级别REF2等于短累积曝光控制单元107的处理中使用的第一目标级别REF1的值，并且将在该假设的情况下进行如下说明，然而，它们可以不必相同。
通过图5中步骤ST101、ST102、ST105、ST106的处理，长累积图像的曝光控制如下。
如果(短累积目标曝光时间)＜(阈值SHT)，则基于背光校正的概念来执行曝光控制。
在短累积图像的曝光时间可以达到短累积目标曝光时间或附近(即，场景充分地明亮)的情况下，长累积图像以与现有图像处理装置中相同的方式工作。
如果(短累积目标曝光时间)≥(阈值SHT)，则基于过度直射光校正的概念来执行曝光控制。即使在由于设备的限制而使得短累积图像的曝光时间不可能达到短累积目标曝光时间(即，场景太暗)的情况下，可以对于长累积图像设置较长的曝光时间。
因此，替代地，在长累积图像中实现在正常情形下应该在短累积图像中执行的曝光。
注意，由于在比现有图像处理装置中长累积图像更暗的条件下执行曝光，因此必须确保阈值SHT不会设置得短于长累积图像的最短曝光时间。
根据以上说明，现有图像处理装置中的曝光控制与根据第一实施例的图像处理装置100中的曝光控制之间的区别仅在于如下点。
(短累积目标曝光时间)≥(预定阈值SHT)的情况下的长累积图像的曝光控制可以看作如下。
在现有图像处理装置的情况下，可以看作背光校正曝光控制。
在根据第一实施例的图像处理装置100的情况下，可以看作过度直射光校正曝光控制，即，可以看作与用于短累积图像的曝光控制相同的曝光控制。
接着，下面说明曝光控制的差异所提供的效果。
关于短累积目标曝光时间，假设满足如下关系的场景。
(短累积目标曝光时间STET)≥(阈值SHT)，
(短累积图像的最长曝光时间)(MAXSET)＜(短累积目标曝光时间)(STET)＜(长累积图像的最长曝光时间)(MAXLET)
注意，当使用现有图像处理装置时假设场景中关于长累积图像、短累积图像和复合图像的输入/输出特性是如以上说明的图2中的那些。
在假设的场景中，以下列方式执行根据第一实施例的图像处理装置100中长累积图像的曝光控制。
在比现有图像处理装置中长累积图像更暗的条件下执行曝光(曝光时间更短)。
在比短累积图像更亮的条件下执行曝光(曝光时间更长)。这是因为对于长累积图像和短累积图像执行相同的曝光控制，然而，短累积图像的曝光由于最长曝光时间的限制而不收敛。
图7是示出当使用根据本发明第一实施例的图像处理装置时假设场景中关于长累积图像的输入/输出特性、关于短累积图像的输入/输出特性以及关于复合图像的输入/输出特性。
这里，1001示出了关于长累积图像的输入/输出特性，1002示出了关于短累积图像的输入/输出特性，1004示出了关于复合图像的输入/输出特性，且1006、1007分别示出了在复合图像中选择长累积图像和短累积图像的入射光量的范围。
注意，在图7中，关于长累积图像的输入/输出特性1001和关于复合图像的输入/输出特性1004完全相同，这是因为长累积图像的曝光时间和短累积图像的曝光时间相同，并且即使在长累积图像的高亮度区域中也未出现饱和。
进一步，据此，在复合图像中，选择长累积图像的入射光量的范围更宽。
图8联合示出图7中所示的各个输入/输出特性以及图2中所示的输入/输出特性，以用于根据第一实施例的图像处理装置与现有图像处理装置之间的比较。
在现有图像处理装置与根据第一实施例的图像处理装置100之间关于短累积图像在输入/输出特性上没有差异，因此，输入/输出特性1002和输入/输出特性2102完全相同。
进一步，已知的是，根据第一实施例的图像处理装置100中关于长累积图像的输入/输出特性具有现有图像处理装置的关于长累积图像的输入/输出特性与关于短累积图像的输入/输出特性之间的中间特性。
图9是用于根据第一实施例的图像处理装置和现有图像处理装置中复合图像的S/N特性之间的比较的曲线图。
这里，1201示出根据第一实施例的图像处理装置100中的关系，1202示出在由根据第一实施例的图像处理装置输出的复合图像中切换其中选择长累积图像的区域和其中选择短累积图像的区域的点。
从图9中，已知的是，与现有图像处理装置相比，根据第一实施例的图像处理装置100的复合图像的S/N特性具有下列差异。
由于在暗条件下通过曝光获得长累积图像，因此低亮度部分的S/N更低。S/N的降低量由图9中的标记1210示出。
尽管短累积图像的曝光相同，但是复合图像中切换其中选择长累积图像的区域和其中选择短累积图像的区域的点朝着高亮度侧偏移，因此，提高了切换点处的S/N。
S/N的提高量由图9中的标记1211示出。
即，相比于现有技术1中描述的图像处理装置，根据第一实施例的图像处理装置100具有如下优点。
在低亮度场景中，减小了复合图像中高亮度部分的S/N降低。代之，产生了低亮度部分的S/N的降低的副作用，然而，通过向整个屏幕应用弱滤波，可以与高亮度侧仍然存在的S/N降低一起消除该副作用。
无需仅对于一部分屏幕应用强滤波，不会产生复合图像中选择长累积图像的区域与选择短累积图像的区域之间的边界处可能出现的不自然。
不管添加，明显的是，通过组合地使用根据现有技术1和第一实施例的技术，可以获得在高亮度和低亮度两种场景中具有更高图像质量的复合图像。
注意，尽管作为根据本发明第一实施例的图像处理装置100的副作用，已经描述了低亮度部分的S/N降低，但是这在下列条件下不一定出现。
该条件为：在亮度非常低的场景中执行通过PGA增益的增益提高(gain-up)，并且即使在长累积图像的最长曝光时间中曝光控制也不收敛，并且设置满足(阈值SHT)≥(长累积图像的最长曝光时间)的阈值SHT。
在该条件下，满足(短累积目标曝光时间)≥(预定阈值SHT)，并且即使当将长累积图像的曝光控制切换到短累积图像的曝光控制时，长累积图像的“曝光时间”也不改变，而是维持长累积图像的最长曝光时间，并且仅“PGA增益量”变得更低。
然而，特别地，在将数字增益用作PGA增益的方法的情况下，即使当PGA增益量改变时，输出电平的S/N也不改变，并且长累积图像的曝光控制的切换之前和之后的S/N降低不会出现。
另一方面，在PGA增益用于短累积图像的曝光控制的情况下，即使当场景具有低亮度时，短累积目标曝光时间也可能不一定更长。
例如，在如下两种情况下，短累积图像的曝光量基本相同，然而，在前一情况下S/N压倒性地更差。
在第一种情况下，短累积图像的曝光时间是1/2000秒，且PGA增益是10倍(＝使用PGA增益)。
在第二种情况下，短累积图像的曝光时间是1/200秒，且PGA增益是一(＝不使用PGA增益)。
即，危险的是，仅通过短累积目标曝光时间与预定阈值SHT之间的比较来切换长累积图像的曝光控制。在上述情况下，最好将短累积目标曝光时间与通过将预定阈值SHT除以PGA增益量而获得的值进行比较。
<2.第二实施例>
接下来说明本发明的第二实施例。
图10是示出根据本发明第二实施例的图像处理装置的配置示例的框图。
本发明第二实施例中的图像处理装置100A与本发明第一实施例中的图像处理装置100的区别仅在于长累积评估值合成单元的功能。图10和图4作为块配置并没有不同。
因此，这里将仅说明操作的区别。
图11是示出根据本发明第二实施例的图像处理装置100A中长累积评估值合成单元108A的处理示例的流程图。
在处理开始之后，长累积评估值合成单元108A检查短累积目标曝光时间STET与阈值SHT1和阈值SHT2之间的量值关系(步骤ST301)。这里假设(预定阈值SHT1)＜(预定阈值SHT2)。
如果(短累积目标曝光时间STET)＜(阈值SHT1)，则不改变地将第一长累积评估值LEVA作为长累积评估值LEV输出到下游(步骤ST302)，并且处理结束。
如果(阈值SHT1)≤(短累积目标曝光时间STET)＜(预定阈值SHT2)，则将通过第一长累积评估值LEVA和第二长累积评估值LEVB的补充而获得的值作为长累积评估值LEV输出到下游(步骤ST303)，并且处理结束。
如果(阈值SHT2)≤(短累积目标曝光时间STET)，则不改变地将第二长累积评估值LEVB作为长累积评估值LEV输出到下游(步骤ST304)，并且处理结束。
作为步骤ST303的补充方法的示例，引用线性补充，并且其公式表示如下。
(长累积评估值LEV)＝(长累积评估值LEVA)×(1-K)+(长累积评估值LEVB)×K    (3)
(这里，K＝(短累积目标曝光时间-SHT1)/(SHT2-SHT1))
图12是示出根据图11中所示的处理流程的第一长累积评估值LEVA和第二长累积评估值LEVB的贡献率如何响应于短累积目标曝光时间而变化的曲线图。
在图12中，分别地，1401示出了长累积评估值A的贡献率，且1402示出了长累积评估值B的贡献率。
依照根据第一实施例的图像处理装置100，已经通过一个阈值SHT与短累积目标曝光时间之间的比较来数字地切换长累积评估值LEV的计算方法。
因此，在短累积目标曝光时间与阈值SHT彼此非常接近的场景中，可能出现所谓的振荡(hunting)的如下现象：两个长累积评估值的计算方法由于被摄体和噪声的轻微变化而频繁地切换。
同时，当在长累积曝光控制单元109中获得长累积图像的曝光时间时，将具有非常长的时间常数的IIR滤波器应用于长累积目标曝光时间，并且该现象不会显现为长累积图像的曝光控制的振荡。
然而，在为了增大曝光控制的收敛速度而期望使得时间常数更短的情况下，在根据第一实施例的图像处理装置100中，该现象可能是有问题的。
根据第二实施例的图像处理装置100A，除了根据第一实施例的图像处理装置100的优点之外，还可以增大曝光控制的收敛速度。
进一步，在PGA增益用于短累积图像的曝光控制的情况下，不直接比较短累积目标曝光时间和阈值SHT1、SHT2。
即，依照根据第二实施例的图像处理装置100A，如根据第一实施例的图像处理装置100的情况那样，最好将短累积目标曝光时间与通过将阈值SHT1、SHT2除以PGA增益量所获得的值进行比较。
<3.第三实施例>
接下来说明本发明的第三实施例。
图13是示出根据本发明第三实施例的图像处理装置的配置示例的框图。
根据第三实施例的图像处理装置100B与根据第一和第二实施例的图像处理装置100、100A的区别仅在于合成单元111B的功能。因此，这里仅说明各合成单元之间的差异。
合成单元111B至少输入长累积图像、短累积图像和短累积目标曝光时间STET，并输出通过两个图像的合成所获得的复合图像或长累积图像中的任一个。
图14是示出根据第三实施例的图像处理装置100B的合成单元111B中的处理流程的示例的流程图。
在开始处理之后，合成单元111B检查短累积目标曝光时间STET与第三阈值SHT3之间的量值关系(步骤ST401)。这里，假设阈值SHT3满足如下关系。
(阈值SHT3)≥(预定阈值SHT)或(预定阈值SHT2)    (4)
如果(短累积目标曝光时间STET)＜(阈值SHT3)(步骤ST401/是)，则执行与根据第一或第二实施例的图像处理装置100、100A中的合成单元111的处理等同的处理。
即，合成长累积图像和短累积图像，将通过合成而获得的复合图像输出到下游(步骤ST402)，并且处理结束。
另一方面，如果(短累积目标曝光时间)≥(阈值SHT3)(步骤ST401/否)，则不执行合成，且不变化地输出长累积图像(步骤ST403)，并且处理结束。
通过合成长累积图像和短累积图像，已经恒定地形成由根据第一或第二实施例的图像处理装置100、100A中的合成单元111输出的图像，并将其输出。
然而，在具有低亮度的场景中，如果已经将长累积图像的曝光控制完全地切换到短累积图像的曝光控制，则即使当不执行合成且输出长累积图像自身时，也不会出现高亮度侧的有问题的饱和。
这是现有技术2中描述的不响应于场景亮度改变曝光控制方法的图像处理装置所没有提供的优点。
图15示出了用于根据本发明第一或第二实施例的图像处理装置100、100A与根据本发明第三实施例的图像处理装置100B之间的组合的复合图像的S/N特性的比较的图。
这里，1301示出根据第三实施例的图像处理装置100B中复合图像的入射光量和S/N之间的关系。
从图15中，相比于根据第一和第二实施例的图像处理装置100、100A，根据第三实施例的图像处理装置100B具有如下额外的优点。
即，依照根据第三实施例的图像处理装置100B，在低亮度的条件下，不使用短累积图像，而仅使用长累积图像，并且不会出现高亮度部分中S/N的下降。
注意，根据第一到第三实施例的技术可以应用于合成具有不同曝光时间的N(N是等于或大于3的整数)个图像的情况。
例如，首先，关于具有N个图像的最短曝光时间的两个图像，将具有更长曝光时间的图像看作长累积图像，而将具有更短曝光时间的图像看作短累积图像，通过所述技术的应用来获得复合图像。
接着，应用所述技术以获得新的复合图像，同时对于剩余图像，将具有最短曝光时间的一个看作长累积图像并将复合图像看作短累积图像的步骤可以循环地重复，直到最终获得一个复合图像为止。
如以上所述，根据各实施例的图像处理装置，可以获得如下优点。
在低亮度场景中，减小了复合图像中高亮度部分的S/N降低。代之，产生了低亮度部分的S/N降低的副作用，然而，通过向整个屏幕应用弱滤波，可以与高亮度侧仍然存在的S/N降低一起消除该副作用。
无需仅对于一部分屏幕应用强滤波，不会产生复合图像中选择长累积图像的区域与选择短累积图像的区域之间的边界处可能出现的不自然。
除了所述优点之外，还可以增大曝光控制的收敛速度。
可以在抑制高亮度部分中S/N降低的同时抑制变白的出现。
可以完全消除高亮度部分中的S/N降低。
<4.第四实施例>
具有上述优点的图像处理装置可以应用为数码相机或数码摄像机的成像器件。
图16示出应用了根据本发明实施例的图像处理装置的相机系统的配置的示例。
相机系统200具有光学系统210和图像处理装置220，如图16所示。
根据实施例的图像处理装置100、100A、100B可以应用于图像处理装置220。
图像处理装置220包括作为成像器件的图像传感器221、信号处理电路(PRC)222和图像传感器驱动单元(DRV)223。
图像传感器221对应于图4、10、13中的图像传感器101，图像传感器驱动单元223对应于图4等中的图像传感器驱动单元110。
信号处理电路222包括图4等中的ADC 102、合成单元103、第一长累积评估值计算单元104、第二长累积评估值计算单元105、短累积评估值计算单元106、短累积曝光控制单元107、长累积评估值合成单元108、长累积曝光控制单元109和合成单元111。
光学系统210具有将入射光引至作为成像器件的图像传感器221的像素区域(形成被摄体图像)的光学系统，例如，在成像面上形成入射光(图像光)的透镜211。
图像传感器驱动单元223具有时序发生器(未示出)，其产生用于驱动图像传感器221内的电路的、包括开始脉冲和时钟脉冲的各种时序信号，并以预定的时序信号驱动图像传感器221。
进一步，信号处理电路22以上述方式对图像传感器221的输出信号执行预定信号处理。
信号处理电路222中处理的图像信号记录在记录介质(如，存储器)中。使用打印机等硬拷贝记录介质中记录的图像信息。进一步，在液晶显示器等的监视器上将信号处理电路222中处理的图像信号显示为运动图像。
如上所述，在成像装置(如，数码相机)中，通过提供作为图像处理装置220的上述图像处理装置100、100A、100B，可以获得与上述那些相同的优点。
即，在低亮度场景中，减小了复合图像中高亮度部分的S/N降低。代之，产生了低亮度部分的S/N的降低的副作用，然而，通过向整个屏幕应用弱滤波，可以与高亮度侧仍然存在的S/N降低一起消除该副作用。
无需仅对一部分屏幕应用强滤波器，不会产生复合图像中选择长累积图像的区域与选择短累积图像的区域之间的边界处可能出现的不自然。
另外，可以增大曝光控制的收敛速度。
可以在抑制高亮度部分中的S/N降低的同时抑制变白的出现。
可以完全地消除高亮度部分中的S/N降低。
注意，上面详细说明的各方法可以形成为根据过程的程序，并且可以被配置为由计算机(如CPU等)执行。
进一步，该程序可以配置为由记录介质(如，半导体存储器、磁盘、光盘或
Figure BDA0000063289670000221
盘)以及其中设置了该记录介质的计算机进行访问和执行。
本申请包含与2010年5月31日向日本专利局提交的日本优先权专利申请JP 2010-124491中公开的主题有关的主题，其全部内容通过引用的方式合并在此。
本领域的技术人员应当理解，依据设计要求和其它因素，可以出现各种修改、组合、部分组合和变更，只要其在所附权利要求或其等效体的范围内即可。

Claims (18)

1.一种图像处理装置，包括：
图像传感器，其暴露于光，进行成像，并且输出一场中至少具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像；
第一长累积评估值计算单元，其根据所述长累积图像计算曝光评估值，并将该值作为第一长累积评估值输出；
第二长累积评估值计算单元，其依照与所述第一长累积评估值计算单元的方法不同的方法，根据所述长累积图像计算曝光评估值，并将该值作为第二长累积评估值输出；
短累积评估值计算单元，其根据所述短累积图像计算曝光评估值，并将该值作为短累积评估值输出；
短累积曝光控制单元，其从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息；
长累积评估值合成单元，其通过使用预定方法，响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值；
长累积曝光控制单元，其从所述长累积评估值和第二目标级别获取长累积曝光控制信息；以及
合成单元，其响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
2.如权利要求1所述的图像处理装置，进一步包括图像传感器驱动单元，其根据所述长累积曝光控制信息和所述短累积曝光控制信息驱动所述图像传感器。
3.如权利要求1或2所述的图像处理装置，其中，所述长累积曝光控制信息和所述短累积曝光控制信息包含曝光时间的信息。
4.如权利要求1到3中任一项所述的图像处理装置，其中，分别地，所述第一长累积评估值计算单元通过朝着低亮度侧放置权重来计算所述曝光评估值，所述第二长累积评估值计算单元通过朝着高亮度侧放置权重来计算所述曝光评估值，并且所述短累积评估值计算单元通过朝着高亮度侧放置权重来计算所述曝光评估值。
5.如权利要求4所述的图像处理装置，其中，在所述第二长累积评估值计算单元和所述短累积评估值计算单元中，所述权重相同。
6.如权利要求1到5任一项所述的图像处理装置，其中，所述第一目标级别和所述第二目标级别取得相同的值。
7.如权利要求1到6任一项所述的图像处理装置，其中，分别地，所述长累积评估值合成单元在所述短累积目标曝光时间小于第一阈值的情况下取得所述第一长累积评估值，在所述短累积目标曝光时间等于或大于所述第一阈值的情况下取得所述第二长累积评估值，作为所述长累积评估值。
8.如权利要求7所述的图像处理装置，其中，所述第一阈值是超过所述长累积图像的最短曝光时间和所述短累积图像的最长曝光时间的值。
9.如权利要求7或8所述的图像处理装置，其中，如果所述短累积图像中的PGA增益量更大，则所述第一阈值更小。
10.如权利要求1到6任一项所述的图像处理装置，其中，分别地，所述长累积评估值合成单元在所述短累积目标曝光时间小于第二阈值的情况下取得所述第一长累积评估值，在所述短累积目标曝光时间等于或大于比所述第二阈值更大的第三阈值的情况下取得所述第二长累积评估值，在所述短累积目标曝光时间等于或大于所述第二阈值且小于所述第三阈值的情况下取得通过使用预定方法补充所述第一长累积评估值和所述第二长累积评估值而获得的值，作为长累积评估值。
11.如权利要求10所述的图像处理装置，其中，所述第二阈值取得超过所述长累积图像的最短曝光时间和所述短累积图像的最长曝光时间的值。
12.如权利要求10或11所述的图像处理装置，其中，如果短累积图像中的PGA增益量更大，则所述第二和第三阈值更小。
13.如权利要求1到12任一项所述的图像处理装置，其中，如果所述短累积目标曝光时间等于或大于第四阈值，则在所述合成单元中，不是所述长累积图像和所述短累积图像的合成图像，而是长累积图像自身被输出到下游。
14.如权利要求13所述的图像处理装置，其中，所述第四阈值等于或大于所述第一阈值。
15.如权利要求13所述的图像处理装置，其中，所述第四阈值等于或大于所述第三阈值。
16.一种相机系统，包括：
图像处理装置，其包括图像传感器；以及
光学系统，其在所述图像传感器中形成被摄体图像，
其中，所述图像处理装置包括
图像传感器，其暴露于光，进行成像，并且输出一个场中至少具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像，
第一长累积评估值计算单元，其根据所述长累积图像计算曝光评估值，并将该值作为第一长累积评估值输出，
第二长累积评估值计算单元，其依照与所述第一长累积评估值计算单元的方法不同的方法，根据所述长累积图像计算曝光评估值，并将该值作为第二长累积评估值输出，
短累积评估值计算单元，其根据所述短累积图像计算曝光评估值，并将该值作为短累积评估值输出，
短累积曝光控制单元，其从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息，
长累积评估值合成单元，其通过使用预定方法，响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值，
长累积曝光控制单元，其从所述长累积评估值和第二目标级别获取长累积曝光控制信息，以及
图像传感器驱动单元，其根据所述长累积曝光控制信息和所述短累积曝光控制信息来驱动所述图像传感器；
合成单元，其响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
17.一种图像处理方法，包括以下步骤：
成像步骤，在一场中至少成像具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像；
第一长累积评估值计算步骤，根据所述长累积图像计算曝光评估值以获得第一长累积评估值；
第二长累积评估值计算步骤，依照与所述第一长累积评估值计算步骤的方法不同的方法，根据所述长累积图像计算曝光评估值，以获得第二长累积评估值；
短累积评估值计算步骤，根据所述短累积图像计算曝光评估值，以获得短累积评估值；
短累积曝光控制步骤，从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息；
长累积评估值合成步骤，通过使用预定方法响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值；
长累积曝光控制步骤，从所述长累积评估值和第二目标级别获取长累积曝光控制信息；以及
合成步骤，响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
18.一种使得计算机能够执行图像处理的程序，所述图像处理包括：
成像处理，在一场中至少成像具有更长曝光时间的长累积图像和具有更短曝光时间的短累积图像的两个图像；
第一长累积评估值计算处理，根据所述长累积图像计算曝光评估值以获得第一长累积评估值；
第二长累积评估值计算处理，依照与所述第一长累积评估值计算处理的方法不同的方法，根据所述长累积图像计算曝光评估值，以获得第二长累积评估值；
短累积评估值计算处理，根据所述短累积图像计算曝光评估值，以获得短累积评估值；
短累积曝光控制处理，从所述短累积评估值和第一目标级别获取短累积目标曝光时间和短累积曝光控制信息；
长累积评估值合成处理，通过使用预定方法响应于所述短累积目标曝光时间合成所述第一长累积评估值和所述第二长累积评估值，以获取长累积评估值；
长累积曝光控制处理，从所述长累积评估值和第二目标级别获取长累积曝光控制信息；以及
合成处理，响应于所述长累积曝光控制信息和所述短累积曝光控制信息，从所述长累积图像和所述短累积图像产生一个图像。
CN2011101354279A 2010-05-31 2011-05-24 成像处理装置、相机系统、图像处理方法和程序 Pending CN102263911A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-124491 2010-05-31
JP2010124491A JP2011254125A (ja) 2010-05-31 2010-05-31 画像処理装置、カメラシステム、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN102263911A true CN102263911A (zh) 2011-11-30

Family

ID=45010345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101354279A Pending CN102263911A (zh) 2010-05-31 2011-05-24 成像处理装置、相机系统、图像处理方法和程序

Country Status (5)

Country Link
US (3) US8488016B2 (zh)
JP (1) JP2011254125A (zh)
KR (1) KR20110132224A (zh)
CN (1) CN102263911A (zh)
TW (1) TWI459804B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856720A (zh) * 2012-11-30 2014-06-11 三星泰科威株式会社 图像处理设备和方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
JP5333522B2 (ja) * 2011-06-06 2013-11-06 カシオ計算機株式会社 動画生成装置、動画生成方法、および、プログラム
US9888240B2 (en) * 2013-04-29 2018-02-06 Apple Inc. Video processors for preserving detail in low-light scenes
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
TWI645707B (zh) * 2013-10-21 2018-12-21 索尼半導體解決方案公司 Solid-state imaging device and electronic device
US9544505B2 (en) * 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
GB2537886B (en) * 2015-04-30 2022-01-05 Wsou Invest Llc An image acquisition technique
KR102628911B1 (ko) 2019-01-07 2024-01-24 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
CN109581732A (zh) * 2019-01-25 2019-04-05 京东方科技集团股份有限公司 一种电子设备及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624559A (zh) * 2000-08-03 2005-06-08 三洋电机株式会社 带有光圈叶片的摄像机
CN1821860A (zh) * 2005-02-15 2006-08-23 惠普开发有限公司 与图像稳定性能结合的相机曝光程序
CN101184170A (zh) * 2006-11-17 2008-05-21 富士胶片株式会社 图像拾取装置以及曝光控制方法
US20080175439A1 (en) * 2006-06-14 2008-07-24 Sony Corporation Image processing device, image processing method, image pickup device, and image pickup method
CN101459778A (zh) * 2007-12-13 2009-06-17 索尼株式会社 图像摄取设备及其控制方法、该方法的程序及其记录介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002069355A (ja) 2000-08-28 2002-03-08 Nippon Sheet Glass Co Ltd 凹版印刷用インキ組成物およびそれを用いた印刷物
JP4178046B2 (ja) 2003-01-17 2008-11-12 富士フイルム株式会社 デジタルカメラ
JP4770907B2 (ja) * 2008-10-21 2011-09-14 ソニー株式会社 撮像装置、撮像方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624559A (zh) * 2000-08-03 2005-06-08 三洋电机株式会社 带有光圈叶片的摄像机
CN1821860A (zh) * 2005-02-15 2006-08-23 惠普开发有限公司 与图像稳定性能结合的相机曝光程序
US20080175439A1 (en) * 2006-06-14 2008-07-24 Sony Corporation Image processing device, image processing method, image pickup device, and image pickup method
CN101184170A (zh) * 2006-11-17 2008-05-21 富士胶片株式会社 图像拾取装置以及曝光控制方法
CN101459778A (zh) * 2007-12-13 2009-06-17 索尼株式会社 图像摄取设备及其控制方法、该方法的程序及其记录介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856720A (zh) * 2012-11-30 2014-06-11 三星泰科威株式会社 图像处理设备和方法
CN103856720B (zh) * 2012-11-30 2018-02-13 韩华泰科株式会社 图像处理设备和方法

Also Published As

Publication number Publication date
TWI459804B (zh) 2014-11-01
US9030573B2 (en) 2015-05-12
JP2011254125A (ja) 2011-12-15
US20130286247A1 (en) 2013-10-31
US20140300771A1 (en) 2014-10-09
KR20110132224A (ko) 2011-12-07
US20110292243A1 (en) 2011-12-01
US8786726B2 (en) 2014-07-22
US8488016B2 (en) 2013-07-16
TW201208364A (en) 2012-02-16

Similar Documents

Publication Publication Date Title
CN102263911A (zh) 成像处理装置、相机系统、图像处理方法和程序
US9288399B2 (en) Image processing apparatus, image processing method, and program
CN102801918B (zh) 摄像设备和用于控制该摄像设备的方法
KR20130138360A (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 방법과 프로그램
JP5784642B2 (ja) 低解像度画像を用い高解像度画像を生成する方法及び装置
US8218036B2 (en) Image sensing apparatus and control method therefor
US8779341B2 (en) Imaging apparatus and exposure control method
EP3038356A1 (en) Exposing pixel groups in producing digital images
US20130051700A1 (en) Image processing apparatus, image processing method, and program
US20110181759A1 (en) Imaging apparatus and correction method of image data
JP2006287323A (ja) 撮像装置
JP2013021660A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2010021697A (ja) 撮像素子、カメラ、撮像素子の制御方法、並びにプログラム
JP2007189544A (ja) 撮像装置
US5585848A (en) Control of solid-state image sensor
JP6762806B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2011049892A (ja) 撮像装置
US20130021492A1 (en) Image processing device, image processing method, and solid-state imaging device
US8026965B2 (en) Image pickup apparatus and method for controlling the same
US9013626B2 (en) Signal processing circuit of solid-state imaging element, signal processing method of solid-state imaging element, and electronic apparatus
JP6590055B2 (ja) 撮像装置
EP0484134B1 (en) Control of solid-state image sensor
JP4579098B2 (ja) 撮像装置
JP2009177636A (ja) 固体撮像装置およびその信号読出し方法
JP2021100167A (ja) 画像処理装置、撮像装置、システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111130