CN104796621A - 摄像装置以及摄像方法 - Google Patents

摄像装置以及摄像方法 Download PDF

Info

Publication number
CN104796621A
CN104796621A CN201510028828.2A CN201510028828A CN104796621A CN 104796621 A CN104796621 A CN 104796621A CN 201510028828 A CN201510028828 A CN 201510028828A CN 104796621 A CN104796621 A CN 104796621A
Authority
CN
China
Prior art keywords
mentioned
view data
image
saturated
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510028828.2A
Other languages
English (en)
Other versions
CN104796621B (zh
Inventor
岩崎宏明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104796621A publication Critical patent/CN104796621A/zh
Application granted granted Critical
Publication of CN104796621B publication Critical patent/CN104796621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种摄像装置以及摄像方法,在不使用减光镜的情况下能够模拟地实现与使用减光镜同等的减光摄影。该摄像装置具有:饱和判定部(17),其在利用被设定为正式曝光用的摄影条件进行了摄像的情况下,判定图像数据的至少一部分像素输出是否饱和;分割曝光时间检测部(19),其在由饱和判定部(17)判定为至少一部分像素输出饱和的情况下,检测像素输出不饱和的分割曝光时间;相加合成部(14),其对图像数据进行相加合成;增益施加部(15),其对图像数据和被相加合成部(14)进行了相加合成的图像数据施加负增益,相加合成部(14)对在摄像部进行摄像时利用分割曝光时间进行分割曝光而取得的多个图像数据中的各个图像数据以及被进行了相加合成的图像数据施加负增益,对该被施加了负增益的图像数据进行相加合成。

Description

摄像装置以及摄像方法
技术领域
本发明涉及在数字相机等摄像装置中能够拍摄高亮度的被摄体,提高了用于获得适当曝光的曝光条件的自由度的摄像装置以及摄像方法。
背景技术
在现有的数字相机等摄像装置中,通过变更光圈值、ISO灵敏度、快门速度等来进行曝光的控制。作为光圈值(通常用数值孔径F值表示)的设定范围,为了维持镜头的MTF(Modulation Transfer Function(调制传递函数):与分辨率关联的值)等光学性能,被限制在限定的范围内。在当前市面上销售的产品中,通常在F1.0至F22左右的范围内。
此外,ISO灵敏度的低灵敏度侧的边界和高灵敏度侧的边界是通过CMOS图像传感器和CCD图像传感器等图像传感器的性能以及作为相机产品的容许画质而确定的。
在采用机械快门作为快门的情况下,如果仅关注快门速度(通常用与曝光时间的倒数关联的Tv值表示)的设定范围,则在曝光时间为长时间侧的快门速度(Tv值小)时,快门速度越长(Tv值越小)则图像传感器的暗电流噪声越增加。因此,暗电流噪声增加会使得画质变差,因此与ISO灵敏度的高灵敏度设定同样地,通过与画质的S/N比率有关的值(基于图像信号的正确的信号成分与噪声成分的比率的值),确定在低速侧的快门速度的容许时间。另一方面,高速侧的快门速度的设定范围依赖于机械快门的驱动精度。例如,在焦面快门的情况下,存在前帘和后帘这2块快门帘的开闭速度的差异,因而当前快门速度被限制为1/8000秒左右。此外,在采用镜头快门作为快门的情况下,高速侧的边界速度比焦面快门低。
如上,用于控制曝光的光圈值、ISO灵敏度、快门速度分别存在边界,根据边界范围内的光圈值、ISO灵敏度、快门速度的组合,有时无法获得符合身为摄影者的用户的意图的图像。例如,在拍摄太阳等高亮度的被摄体的情况下,即使将光圈缩小至F22,将ISO灵敏度设定为最低灵敏度,将快门速度设定为最高速度,有时所拍摄的图像也会出现泛白。
在拍摄这种高亮度的被摄体的情况下,作为以往采用的方法,使用ND(减光)滤光镜,减少射入图像传感器的光量,从而以适当曝光进行摄影。由于将ND滤光镜安装于相机的镜头上较为复杂,因而提出了如下的数字相机,其在相机内的入射光路上内置ND滤光镜,根据需要使ND滤光镜能够在图像传感器前方插入·退避(参照日本国公开专利2003-283923号公报(以下,称作专利文献1))。此外,还提出了如下的图像传感器,其为了在不使用减光镜的情况下实际降低灵敏度并进行摄影,排出通过图像传感器的光电二极管光电转换的电荷信号的一部分,能够实际降低灵敏度进行摄影(参照日本国公开专利2013-183380号公报(以下,称作专利文献2))。
发明内容
发明要解决的问题
在高亮度被摄体摄影时将ND滤光镜拆装于相机的镜头上的方法中,ND滤光镜的拆装本身较为复杂。此外,如专利文献1所述,如果将ND滤光镜内置于相机内,则虽然用于使其减光的操作本身会变得简便,然而由于内置ND滤光镜并进行驱动,从而相机会变得大型化。此外,相机成本会进一步提高。此外,专利文献2的图像传感器为了具备电荷排出功能,相比以往的图像传感器,需要过多的晶体管和像素存储器作为周边电路。因此,光电二极管的受光面积变小,灵敏度和饱和输出也变小。其结果,在利用通常灵敏度进行摄影时,会产生S/N的恶化和动态范围的缩小等,画质变差。
本发明就是鉴于这种情况而完成的,其目的在于提供一种摄像装置以及摄像方法,能够在不使用ND滤光镜的情况下模拟地实现与使用ND滤光镜时同等的进行了减光的摄影,或者能够实现比由图像传感器的性能等确定的最低ISO灵敏度更低的灵敏度的摄影,并且对于通常灵敏度下的摄影不存在摄影画质的劣化等不良影响。
用于解决问题的手段
本发明的摄像装置具有:摄像部,其具有图像传感器,该图像传感器对被摄体像进行摄像,输出图像数据;饱和判定部,其在利用设定为正式曝光用的摄影条件进行摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;分割曝光时间检测部,其在由上述饱和判定部判定为至少一部分像素输出饱和的情况下,检测上述像素输出不饱和的分割曝光时间;以及图像处理部,其对上述摄像部取得的图像数据实施图像处理,上述图像处理部具有:相加合成部,其对图像数据进行相加合成;以及增益施加部,其对由上述相加合成部进行了相加合成的图像数据施加负增益,上述相加合成部对在进行上述摄像部的摄像时按照上述分割曝光时间进行分割曝光而取得的多个图像数据分别进行相加合成,生成合成图像数据,上述增益施加部对上述合成图像数据施加上述负增益,生成摄影图像数据。
此外,本发明的摄像装置具有:摄像部,其具有图像传感器,该图像传感器对被摄体像进行摄像,输出图像数据;饱和判定部,其在利用设定为正式曝光用的摄影条件进行摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;分割曝光时间检测部,其在由上述饱和判定部判定为至少一部分像素输出饱和的情况下,检测使上述像素输出不饱和的分割曝光时间;以及图像处理部,其对上述摄像部取得的图像数据实施图像处理,上述图像处理部具有:增益施加部,其对按照由上述分割曝光时间检测部检测出的分割曝光时间所拍摄的各个分割曝光图像数据施加负增益;以及相加合成部,其对由上述增益施加部施加了负增益的上述分割曝光图像数据进行相加合成,在进行上述摄像部的摄像时利用上述分割曝光时间通过分割曝光取得图像,通过上述增益施加部对取得的多个图像数据分别施加上述负增益,上述相加合成部对施加了负增益后的图像数据进行相加合成,生成摄影图像数据。
此外,本发明的摄像方法具有:摄像步骤,通过图像传感器对被摄体像进行摄像,输出图像数据;饱和判定步骤,在利用设定为正式曝光用的摄影条件进行了摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;分割曝光时间检测步骤,在上述饱和判定步骤中判定为至少一部分像素输出饱和的情况下,检测上述像素输出不饱和的分割曝光时间;以及图像处理步骤,对在上述摄像步骤中取得的图像数据实施图像处理,上述图像处理步骤具有:相加合成步骤,对图像数据进行相加合成;以及增益施加步骤,对在上述相加合成步骤中进行了相加合成的图像数据施加负增益,在上述相加合成步骤中,对在进行上述摄像步骤时通过按照上述分割曝光时间进行分割曝光而取得的多个分割曝光所获得的分割曝光图像数据进行相加合成,对相加合成后的图像数据施加上述负增益,生成摄影图像数据。
此外,本发明的摄像方法具有:摄像步骤,通过图像传感器对被摄体像进行摄像,输出图像数据;饱和判定步骤,在利用设定为正式曝光用的摄影条件进行了摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;分割曝光时间检测步骤,在通过上述饱和判定步骤判定为至少一部分像素输出饱和的情况下,检测上述像素输出不饱和的分割曝光时间;以及图像处理步骤,对在上述摄像步骤中取得的图像数据实施图像处理,上述图像处理步骤具有:增益施加步骤,对图像数据施加负增益;以及相加合成步骤,对在上述增益施加步骤中施加了负增益后的图像数据进行相加合成,在上述相加合成步骤中,对在进行上述摄像步骤时按照上述分割曝光时间进行分割曝光而取得的多个图像数据分别施加上述负增益,对施加了该负增益的图像数据进行相加合成。
发明的效果
根据本发明,能够提供一种摄像装置以及摄像方法,在不使用ND滤光镜的情况下能够模拟地实现与使用ND滤光镜同等的减光摄影,或者能够实现比由图像传感器的性能等确定的最低ISO灵敏度更低的灵敏度的摄影,并且不存在摄影画质的劣化等对于通常灵敏度的摄影的不良影响。
附图说明
图1是表示本发明的第1实施方式的数字相机的主要电气结构的框图。
图2A至图2C是说明在本发明的第1实施方式的数字相机中,进行分割曝光,对该图像使用负增益并获得适当曝光的图表。
图3是表示本发明的第1实施方式的相机的数字ND模式下的动作的流程图。
图4是表示本发明的第2实施方式的相机的扩展低ISO模式的动作的流程图。
图5A至图5C是表示在本发明的第2实施方式的数字相机中,向图像传感器的输入光量与光电子量的关系以及与数字化的图像输出相对于ISO灵敏度设定的关系的图。
图6是表示本发明的第2实施方式的相机的动作的变形例的流程图。
具体实施方式
以下,根据附图使用应用了本发明的数字相机说明优选实施方式。本发明的优选实施方式的相机是数字相机,作为概要,将基于从摄像元件中读出的图像信号的图像数据实时取景显示于显示部上,并且按照释放按钮的操作将用于记录而进行了图像处理的图像数据记录于外部存储器。
此外,在相机的摄影设定中,在设定了数字ND模式的情况下,在进行基于所设定的快门速度的摄影时,在高亮度的情况下通过分割曝光进行摄影,进行通过分割曝光得到的各图像的相加合成。此外,同样在相机的摄影设定中,在手动或自动设定了扩展低灵敏度ISO模式的情况下,在最低ISO灵敏度时产生图像输出的饱和的情况下(即产生了泛白的情况下),通过分割曝光进行摄影,进行通过分割曝光得到的各图像的相加合成。由此,能够防止由于被摄体亮度为高亮度而使得一部分像素饱和,成为泛白的图像的情况。
即,在用户经由输入接口(界面)进行数字ND模式设定(减光处理设定)并进行了摄影的情况下,对图像数据施加负增益,获得与ND滤光镜同等的减光摄影效果。进而,通过饱和判定部判定图像数据的输出是否饱和,在饱和的情况下将以不饱和的高速快门速度进行了分割曝光的多个图像进行相加合成,并施加负增益,从而生成不存在图像破绽的图像。在手动或自动设定了扩展低灵敏度ISO模式的情况下,也进行同样的处理。另外,通常的增益是1以上的值,增益施加部对原数据乘以该增益。由于增益在1以上,因而施加增益后大于原数据。另一方面,负增益是0以上且小于1的值(例如,1/2、1/4、1/8)。因此,增益施加部如果使用负增益进行增益施加,则在施加增益后小于原数据。
图1是表示本发明的第1实施方式的相机的主要电气结构的框图。本实施方式的相机具有摄像部1、图像处理部10、系统控制部20和总线31及与之连接的各部分。另外,在本实施方式中,摄像部1中包含的镜头21与相机主体构成为一体。然而,不限于一体型的结构,例如当然可以构成为对应于镜头更换式相机的更换镜头。
在摄像部1内具有镜头2、机械快门3、图像传感器4。镜头2在图像传感器4上成像被摄体的光学像。在该镜头2内具有光圈,该光圈调节用于调节曝光量的光圈值。此外,机械快门3通过开闭动作进行对图像传感器4的曝光和遮光,控制快门速度。图像传感器4具有CMOS图像传感器或CCD图像传感器等摄像元件,将通过镜头2成像的被摄体的光学像按照每个像素转换为电气信号,并将图像信号输出给图像处理部10和总线31。总线31是用于在各模块之间进行信号的发送接收的信号线。
图像处理部10对从图像传感器4输出的图像信号实施图像处理,具有相加合成部14、增益施加部15和显像处理部16。
相加合成部14按照从图像传感器4读出的多个图像数据中的分别对应的每个像素将输出相加,生成相加合成数据。即,在通过分割曝光结束了各分割曝光后从图像传感器4中读出图像数据,在所有的分割曝光结束后,相加合成部14按照对应的每个像素将图像数据相加,生成相加合成数据。
增益施加部15对图像数据乘以规定的负增益值。例如,作为负增益的设定的一例,乘以1/2的增益值从而图像数据的输出成为1/2,能够实施与ND2滤光镜(将光量减至1/2的滤光镜)同等的减光效果。此外,数字ND的设定值例如在ND8的情况下乘以1/8。负增益值可由用户经由输入接口38等来设定。如上,增益施加部15能够实现期望的减光效果。
显像处理部16对由相加合成部14生成的RAW图像数据(后述的显像处理前的图像数据)进行去马赛克(同时化处理)、白平衡调整、伽马校正、图像压缩等的显像处理。
饱和判定部17判定图像数据的输出是否达到饱和等级。关于饱和等级,使用RAW图像数据的比特数的饱和输出来进行判定。饱和判定部17作为饱和判定部发挥作用,在利用设定为正式曝光用的摄影条件来进行摄像的情况下,判定是否图像数据的至少一部分的像素输出饱和。
正式曝光预测部18按照相机的图像数据的亮度信息,针对ISO灵敏度、光圈值、曝光时间(快门速度)等,计算最佳的曝光设定的预测值。另外,在本实施方式中,示出了在实时取景摄影状态下,根据由图像传感器4得到的图像数据,确定正式曝光时最佳的曝光设定的例子。然而不限于此,例如也可以是使用独立于图像输出用的图像传感器4的测光传感器的方式。另外,正式曝光时或正式摄影时意味着全部按下释放按钮时进行的曝光或摄影(参照图3的S17、S31)。
在由饱和判定部17判定为图像数据的像素输出饱和的情况下,分割曝光时间检测部19进行来自图像传感器4的图像数据不饱和的曝光时间(快门速度)的检测。具体而言,分割曝光时间检测部19作为分隔曝光时间检测部发挥作用,在通过饱和判定部判定为至少一部分的像素输出饱和的情况下,检测图像传感器的像素输出不饱和的分割曝光时间。
在总线31上连接了前述的摄像部1、图像处理部10、饱和判定部17、正式曝光预测部18、分割曝光时间检测部19,此外还连接了内部存储器33、外部存储器36、显示部37、输入接口38、系统控制部20。
内部存储器33暂时存储相机工作所需的各种设定信息以及在图像处理时中途经历的图像。内部存储器33由闪存、DRAM等非易失性存储器构成。
外部存储器36是自由装填于相机主体中或固定于内部的非易失性存储介质,例如是SD卡或CF卡等。该外部存储器36记录通过显像处理部16进行了显像处理的图像数据,并且在再现时读出所记录的图像数据,并能够输出到相机的外部。
显示部37通过由TFT(Thin Film Transistor:薄膜晶体管)液晶设备或有机EL显示设备等构成的背面显示部或EVF(电子取景器)构成,显示通过显像处理部16进行了显像的图像。
输入接口38具有释放按钮等操作部件以及用于输入背面显示部等中的触摸操作的触摸面板等,根据用户操作进行各种的模式设定和释放等摄影动作的指示。
系统控制部20具有CPU(Central Processing Unit:中央处理单元),按照存储于内部存储器33内的程序进行相机的整体控制。系统控制部20向上述所示的摄像部1中包含的各部位发送控制信号。同样经由总线31针对来自摄像部1的输出信号进行接收。此外,除了对上述所示的图像处理部10、饱和判定部17、正式曝光预测部18、分割曝光时间检测部19之外,还对内部存储器33、外部存储器36、显示部37和输入接口38的各部位进行控制信号的发送接收。
此外,系统控制部20在用户经由输入接口38进行了减光设定(数字ND模式设定)时,根据正式摄影即将开始前用于实时取景而从图像传感器4读出的图像数据,由饱和判定部17判定在以正式摄影时的快门速度、光圈值、ISO灵敏度进行了摄影的情况下是否存在饱和的像素。
在由饱和判定部17对读出的图像数据判定为不存在饱和像素时,系统控制部20以用户设定的快门速度、光圈值进行摄影。此外,在数字ND设定时以用户设定的ISO灵敏度进行摄影。
另一方面,系统控制部20在由饱和判定部17判定为在以正式摄影时的快门速度、光圈值、ISO灵敏度设定进行了摄影的情况下存在饱和的像素时,通过分割曝光时间检测部19检测以正式摄影时的光圈设定值和ISO灵敏度设定值进行了摄影的情况下图像输出不饱和的快门速度,并执行该分割曝光。
具体而言,由系统控制部20命令图像传感器4以高于正式摄影时的快门速度的电子快门速度进行摄像。饱和判定部17对该摄像得到的图像数据进行饱和判定,根据该判定结果,分割曝光时间检测部19检测不饱和的快门速度。作为该分割曝光时间的设定,具体是将正式摄影时的设定快门速度的整数分之1且与在不饱和的快门速度以下的快门速度对应的曝光时间设定为分割曝光时间。
在正式摄影时,通过检测出的分割曝光时间的快门速度、正式摄影时的光圈值、设定ISO灵敏度进行多次摄像。具体而言,在正式摄影的设定快门速度为1/10秒、分割曝光时间为1/100秒的情况下,进行10次((1/10秒)÷(1/100秒))的摄像。此时所拍摄的10张图像数据在相加合成部14进行相加合成,并在增益施加部15乘以负增益。负增益的值与上述内容相同。
在通过分割曝光时间检测部19得到的分割曝光时间比作为相机的机械快门3能够控制的边界值的最高速快门速度快的情况下,使用图像传感器4的电子快门进行分割曝光。关于电子快门的快门速度,能够以每个输入时钟(通常为10MHz以上)周期的时间为单位进行控制,该输入时钟用于生成图像传感器4的控制动作所需的基准定时。即,能够以10-7秒左右的数量级来控制快门速度。如果机械快门3的最高速快门速度为1/8000秒,则能够通过10000万分之1以上的高速的快门速度进行摄影,能够在不饱和的情况下拍摄几乎所有的被摄体。
进而,如果需要设定高速的曝光时间,则可以在图像传感器4的内部电路将上述的输入时钟信号的周期进行分频,利用更为高速的时钟来控制电子快门的定时控制。由此,能够更为高速地进行分割曝光。
接着,使用图2A至图2C,说明通过分割曝光拍摄不饱和的情况,并施加负增益,从而能够以用户设定的快门速度生成不饱和的图像。图2A至图2C示出通常的拜耳配列的图像传感器,在R(红)、G(绿)、B(蓝)的波长频带中透射率高的滤色镜配置于各像素的前(被摄体)侧,图2A至图2C的纵轴表示R/G/B像素的输出值。
图2A表示在被摄体亮度高的情况下将ND2滤光镜(将光量减至1/2)插入到摄影镜头的光路中时的一例。即,(a1)表示被摄体的RGB成分的一例,(a2)表示向图像传感器4的R/G/B像素的输入光的亮度,(a3)表示图像传感器4的R/G/B像素的输出的各输出。这种情况下,通过ND2滤光镜使得光量减至1/2,图像传感器4的各像素的输出与被摄体亮度的1/2成比例。因此,图像传感器4的各像素的输出被图像处理部10进行了图像处理后的(参照(a4))最终图像输出(参照(a5))成为与(a1)所示的被摄体的RGB成分成比例的值,图像上不会产生泛白。
图2B表示在具有与图2A相同的被摄体亮度的情况下,未插入ND滤光镜,取而代之对R/G/B像素输出施加1/2的负增益时的一例。即,(b1)与(a1)同样表示被摄体的RGB成分的一例,(b2)表示向图像传感器4的R/G/B像素的输入光的亮度,(b3)表示图像传感器4的R/G/B像素的输出的各输出。在(b3)中,代替ND2滤光镜,作为负增益乘以(1/2)。
这种情况下,当被输入了相当于图像传感器4的内部的光电二极管的饱和输出和传感器内部或外部的A/D转换器的饱和输出(全部比特输出、在图2A-图2C所示的例子中为8比特=256LSB)以上的光时,图像传感器4的输出被削波至饱和等级GCL。图像处理部10对该削波后的输出施加负增益(参照(b4)),因而作为最终的图像输出(参照(b5)),与插入ND滤光镜2进行摄影的情况相比,饱和的像素的输出变小。即在图2B的情况下饱和的G像素变小,相对于被摄体的R/G/B的比率,最终图像输出的R/G/B的比率发生变化(参照(a5)的虚线四边形和(b5)的虚线四边形)。
于是,在本发明中如图2C所示,以使图像传感器4的输出不饱和的方式通过分割曝光(在图2C所示的例子中为2分割曝光)取得多张图像,对该取得的多张图像的每一张进行相加合成,并施加负增益,从而取得图像。由此,能够与插入ND滤光镜时同样地,在不产生泛白的情况下,获得输出降低的图像。
即,图2C的(c1)~(c3)表示第1次分割曝光时的被摄体亮度、图像传感器输入、图像传感器输出,(c1’)~(c3’)表示第2次分割曝光时的被摄体亮度、图像传感器输入、图像传感器输出。在2分割曝光时,各分割曝光时间成为1/2,因而图像传感器输出也成为1/2,传感器输出不会被按照饱和等级GCL削波(参照(c3)和(c3’))。
第1次分割曝光结束后读出图像数据并暂时存储,第2次分割曝光结束后读出图像数据,相加合成部14进行所读出的两次的图像数据的相加合成(参照(c4))。进行了相加合成后,接下来增益施加部15对相加合成后的图像数据施加负增益(这里为1/2)(相乘运算处理)。该被施加了负增益的最终图像输出的R/G/B的比率与被摄体的R/G/B的比率相同(参照(c6))。(c6)的用虚线四边形表示的部分被与(a3)同样地再现。
接着,使用图3所示的流程图,说明本实施方式的相机的处理流程。该流程图(后述的图4和图6的流程图亦同)是按照存储于内部存储器31中的程序,由系统控制部控制各部分来执行的。
在该流程图中,作为初始状态(START),示出用户通过输入接口38,设定快门速度优先模式或手动模式作为相机的曝光控制模式的情况。其原因在于,在程序模式和光圈优先模式中,快门速度是可变的,无法进行分割曝光。
进入图3所示的流程后,首先,开始实时取景显示(S1)。这里,图像处理部10对来自图像传感器4的图像数据,进行实时取景显示用的图像处理,在显示部37上显示实时取景图像。
在开始了实时取景显示后,接着,判定用户是否设定了数字ND模式(S3)。在高亮度被摄体的情况下,在用户希望以不会成为泛白的图像的方式,实施与插入ND滤光镜时同等的模拟效果的图像处理的情况下,通过输入接口38设定数字ND模式,此外,此时还一并设定减光的程度(例如,1/2、1/4、1/8等)。
在步骤S3的判定结果为未设定数字ND模式的情况下,在步骤41~S45中进行通常摄影。即,判定按照释放按钮的半按下操作而接通的第1释放开关是否接通(S41),如果接通,则进行AE/AF(自动曝光控制、自动焦点调节)(S43)。然后,判定按照释放按钮的全按下操作而接通的第2释放开关是否接通(S45),如果接通,则进行正式摄影,然后进入步骤S27。
在步骤S3的判定结果为设定了数字ND模式的情况下,接着判定按照释放按钮的半按下操作而接通的第1释放开关是否接通(S5)。如果进行了第1释放,则进行AF(自动焦点调节)(S7)。这里,使用从图像传感器4输出的实时取景显示用的图像数据,将镜头2移动至最佳的焦点位置。
进行了AF后,接着,进行正式曝光预测图像的生成(S9)。这里,正式曝光预测部8使用正式摄影时的ISO灵敏度、光圈值、快门速度和ND滤光镜的减光度(例如,1/2、1/4、1/8)这4个摄影条件,预测进行了正式摄影时的图像数据的输出。这种情况下,作为ISO灵敏度,使用将实时取景用的图像数据作为参考而由用户设定的ISO灵敏度或通过相机的AE(自动曝光控制)功能而设定的正式摄影用的ISO灵敏度。另外,作为快门速度使用用户设定的正式摄影用的快门速度。
该正式曝光预测图像生成具体而言是对取得实时取景图像数据时的摄影条件(ISO灵敏度、快门速度、光圈值)与上述4个正式曝光摄影条件之差的部分的输出进行校正,根据下式(1)、(2),生成正式曝光预测图像。
正式曝光预测图像(x、y)=(曝光差)×实时取景图像(x、y)···(1)
(曝光差)=(ISO灵敏度_A÷ISO灵敏度_live)×(F值_live2÷F值_A2)×(快门速度_A÷快门速度_live)×(数字ND设定值)···(2)
其中,标号等如下所述。
(x,y):图像数据的像素地址
ISO灵敏度_A:正式曝光的ISO灵敏度
ISO灵敏度_live:实时取景的ISO灵敏度
F值_A:正式曝光的F值
F值_live:实时取景的F值
快门速度_A:正式曝光的快门速度
快门速度_live:实时取景的快门速度
另外,与正式摄影时相比,实时取景显示时的图像数据很多情况下为从所有像素中进行了间疏后的图像数据,或是将多个像素中的每个像素的像素输出分别相加而得到的图像数据。因此,在步骤S9中生成的正式曝光预测图像严格而言不会成为以正式摄影时的图像数据的像素为单位的预测。然而,在会产生泛白现象的被摄体的情况下,不会仅有1个像素为高亮度,因而根据实时取景显示用的图像数据进行预测已经足够。
进行了正式曝光预测图像生成后,接着进行是否存在饱和部的饱和判定(S11)。这里,饱和判定部17判定是否在从图像传感器4中读出的图像数据的一部分中存在饱和像素。
在步骤S11的判定结果为不存在饱和像素的情况下,在步骤S31、S33中进行无分割曝光的数字ND模式的摄影。首先,判定按照释放按钮的全按下操作而接通的第2释放开关是否接通(S31)。如果该判定的结果为第2释放,则进行正式摄影。在该步骤中,关于光圈、快门速度、ISO灵敏度,以正式曝光用的摄影条件进行摄影。
在步骤S31中进行了正式摄影后,进行负增益施加(S33)。在该步骤中,增益施加部15对从图像传感器4中读出的图像数据施加相当于数字ND设定值(例如,1/2、1/4、1/8)的负增益。
在步骤S11的判定结果为存在饱和像素的情况下,检测在正式曝光时不饱和的快门速度(S13)。这里,分割曝光时间检测部19探索以正式曝光时的光圈值、快门速度、ISO灵敏度进行了摄影时图像数据不饱和的快门速度。
在步骤S13的快门速度的探索时,在当前读出的实时取景图像的像素(x,y)不饱和的情况下,根据实时取景摄影条件检测在正式摄影时不饱和的快门速度。另一方面,在实时取景图像的像素(x,y)饱和的情况下,缩小光圈、降低ISO灵敏度或使快门速度成为高速等,在降低了曝光的状态下再次取得实时取景图像,检测实时取景图像不饱和的曝光条件。根据该曝光条件计算以正式曝光用的光圈值、快门速度、ISO灵敏度进行摄影时图像数据不饱和的快门速度。
在步骤S13中,在检测到正式摄影时不饱和的快门速度后,接着,进行分割曝光时间的确定(S15)。在该步骤中,根据检测出的不饱和的快门速度和正式曝光用的快门速度来确定分割曝光时间。例如,将正式曝光用的快门速度的整数分之1且比不饱和的快门速度短的快门速度确定为分割曝光时间。此外,确定了分割曝光时间后,将分割曝光时间除以正式摄影时的快门速度,从从而确定分割次数。
接着,判定按照释放按钮的全按下操作而接通的第2释放开关是否接通,如果该判定的结果为第2释放,则开始正式曝光的摄影(S17)。在该步骤中,关于光圈和ISO灵敏度,以正式曝光用的摄影条件进行摄影。此外,将快门速度设定为在步骤S15中确定的分割曝光时间。
在开始了正式曝光的摄影,并经过了分割曝光时间后,进行分割曝光的图像数据的取入(S19)。在该步骤中,每当分割曝光完成时都从图像传感器4中读出图像数据,并暂时保持于内部存储器33中。
进行了分割曝光的图像数据的取入后,接着判定分割曝光是否完成(S23)。在该步骤中,判定是否一直重复执行曝光和读出直到达到了在步骤S15中确定的分割次数为止。在该判定的结果为分割曝光未完成的情况下,返回步骤S19,重复进行分割曝光。
在步骤S21的判定结果为分割曝光完成时,接着进行图像相加合成(S23)。在该步骤中,相加合成部14读出暂时保存于内部存储器33中的多个图像数据,并进行这些图像数据的相加合成。
进行了图像相加合成后,进行相当于ND设定量的负增益施加(S25)。在该步骤中,通过增益施加部15对相加合成后的图像数据按照用户设定的数字ND的设定值的量乘以负增益。
另外,相加合成(S23)和负增益的施加(S25)的处理顺序可以反过来。在先进行相加合成(S23)的情况下,越进行图像的相加则相加合成后的图像的数字输出的上位比特就越大。因此,作为以不对合成图像的最上位比特(MSB)进行削波的方式记录合成像素输出的存储器部的上位比特的位数,需要采用考虑到相加合成张数而比1张图像数据的比特精度更有余量的比特精度。在相加运算时的运算处理时,对图像数据(数字值)使用扩展比特进行运算。
另一方面,在先进行负增益的施加(S23)的情况下,会产生在施加了负增益后产生的小数点以下的数字数据(所谓的由于进行了除法而成为小数点以下的值的数值失位(桁落ち)的成分),因此记录负增益施加后的图像的存储器对于图像数据(数字值)需要考虑到基于ND设定值的负增益值造成的位移(对LSB侧赋予扩展位),需要以不对小数点以下的值进行削值的方式来确保小数点以下的低位比特的比特数。因此,相加合成部14和增益施加部15中的至少一方应具有足够的比特精度的扩展比特输出。
如果在步骤S25中进行了相当于ND设定量的负增益施加,或者在步骤S33中进行了负增益施加,或者在步骤S45中进行了第2释放处理,则接着进行图像处理、记录、显示(S27)。在该步骤中,显像处理部16进行对在步骤S25、S33等中进行了处理的图像数据的显像处理,将处理后的图像数据记录于外部存储器36中,并作为摄影图像显示于显示部37上。
如上,在本发明的第1实施方式中,生成正式曝光预测图像(S9),根据该生成的预测图像判定是否预测到饱和像素的产生(S11),在预测到饱和像素的产生的情况下,在进行了分割曝光后,进行图像相加。因此,例如,在高亮度被摄体的摄影时进行慢快门摄影的情况下、在开放光圈开口量并进行景深较浅的条件下的摄影的情况下等,即使是在若不安装减光滤光镜(ND滤光镜)则摄影图像会发生泛白(饱和)的摄影条件下,也能够进行摄影而在摄影图像上不会产生泛白等。
另外,在本实施方式中,在分割曝光时,可以不仅通过机械快门3进行快门控制,还与电子快门组合起来控制曝光时间。即,在通过分割曝光时间检测部19确定的分割曝光时间比相机的机械快门3的最高速快门速度快的情况下,通过电子快门的控制进行曝光、读出。由此,即使在拍摄亮度非常亮的被摄体(例如太阳)等时也能够不产生饱和地进行分割曝光。
接着,使用图4和图5,说明本发明的第2实施方式。在第1实施方式中,如果设定了数字ND模式,则对通过分割曝光取得的多个图像数据进行相加合成,从而模拟生成将ND滤光镜插入到光路中的情况下的图像。对此,在第2实施方式中,如果设定了扩展低灵敏度ISO灵敏度模式,则对通过分割曝光取得的多个图像数据进行相加合成,从而能够模拟生成设定为低ISO灵敏度的情况下的图像。另外,扩展低灵敏度ISO模式指的是模拟生成设定为比图像传感器4能够设定的最低灵敏度(称作“最低灵敏度ISO”)更低的灵敏度的ISO(称作“扩展低灵敏度ISO”)来进行摄影时同等的图像的模式。
首先,使用图5A至图5C,说明扩展低灵敏度ISO模式。低灵敏度设定受到与图像传感器4的各像素对应的光电二极管进行一次曝光能够进行光电转换的电子数的最大值(饱和电子数)的限制。如图5A所示,在数字相机中,通过光电转换将输入给光电二极管的光输入[lx·s]转换为电子[el](参照图5B),通过下一级的传感器内部电路将其转换为电压值,如图5C所示,AD转换部将其从模拟信号(电压)转换为数字输出[LSB](Least Significant Bit:最低有效位)。相机的ISO灵敏度是根据对电压值(电子数)即光输入而输出多少LSB来确定的。越是高灵敏度ISO则越能通过较少的电子数(光输入)使得数字输出饱和,越是低灵敏度ISO则分配给饱和输出的电子数(光输入)越多。若进一步采用低灵敏度则分配给饱和输出的电子数会超过饱和电子数(饱和光量),无法获得饱和输出。于是,在可获得饱和输出的范围内确定最低灵敏度ISO。
如上,关于相机能够设定的ISO灵敏度,其下限值是通过图像传感器4的性能和作为相机产品的的容许画质而确定的。但是,有时在确定了反应用户意图的快门速度和光圈值后,必须设定ISO灵敏度低于最低灵敏度ISO的低灵敏度的ISO灵敏度。于是,在本实施方式中,将通过分割曝光取得的多个图像进行图像相加,从而能够模拟实现低灵敏度ISO。
本实施方式的相机的电气结构与图1所示的框图相同,然而为了执行扩展低灵敏度ISO模式,因而下述部分具有如下功能。
增益施加部15在扩展低灵敏度ISO模式的设定时施加与最低灵敏度ISO的差值的增益。例如在能够设定的最低灵敏度为I SO100的相机中设定为扩展低灵敏度ISO25的情况下,乘以1/4的增益(相当于ISO25/ISO100)。该负增益可由用户经由输入接口38设定为负增益值本身或设定为ISO灵敏度。通过施加该负增益,从而能够实现期望的低灵敏度摄影。
饱和判定部17在相机被设定为扩展低灵敏度ISO模式的情况下,根据在即将开始正式摄影之前为了实时取景显示而从图像传感器4中读出的图像数据,判定是否存在以正式摄影时的快门速度、光圈值和最低灵敏度ISO进行了摄影时饱和的像素。
分割曝光时间检测部19在相机被设定为扩展低灵敏度ISO模式,且通过饱和判定部17判定为存在在正式摄影时饱和的像素的情况下,检测以正式摄影时的光圈值、最低灵敏度ISO进行摄影时图像输出不饱和的快门速度。
系统控制部4在通过饱和判定部17判定为不存在正式摄影时饱和的像素时,通过用户设定的快门速度、光圈值进行摄影。另一方面,在通过饱和判定部17判定为存在正式摄影时饱和的像素时,通过分割曝光时间检测部19检测出的分割曝光时间的快门速度、正式摄影时的光圈值、最低灵敏度ISO进行多次的摄像。
系统控制部20在饱和判定部6对所读出的图像数据判定为不存在饱和像素时,通过用户设定的快门速度、光圈值、ISO灵敏度进行摄影。此外,在以扩展低灵敏度ISO模式进行摄影的情况下,以最低灵敏度ISO进行摄影。
此外,在第1实施方式中,使用图2说明了能够使用分割曝光生成不饱和的图像。在第2实施方式中,通过实施同样的分割曝光处理,也能够以低灵敏度ISO获得模拟地摄影的图像。
接着,使用图4,说明本实施方式的相机的处理流程。在本实施方式中也与第1实施方式的情况同样地,示出了作为相机的曝光控制模式设定了快门速度优先模式或手动模式的情况。关于本实施方式的流程,除了在图3所示的第1实施方式的流程中,将步骤S3和S9变更为步骤S2和S10这一点以外都相同。于是,对于进行相同处理的步骤赋予同一步骤编号并简单说明,主要说明不同之处。
进入图4所示的流程后,首先开始实时取景显示(S1),接着判定用户是否设定了扩展低灵敏度ISO模式(S2)。用户在希望模拟地生成与设定为低于图像传感器4能够设定的最低灵敏度的低灵敏度ISO来进行摄影时同等的图像的情况下,经由输入接口38设定扩展低灵敏度ISO模式。在该判定的结果为未设定扩展低灵敏度ISO模式的情况下,在步骤S41~S45执行通常摄影。
在步骤S2的判定结果为设定了扩展低灵敏度ISO模式的情况下,如果存在第1释放(S5),则执行AF(S7)。
接着,进行正式曝光预测图像生成(S10)。在该步骤中,正式曝光预测部18使用下式(3)、(4),预测使用实时取景图像输出数据、实时取景图像的摄影条件(ISO灵敏度和F值、快门速度)、ISO灵敏度以外的正式曝光摄影条件(F值和快门速度)和最低灵敏度ISO(根据图像传感器4的性能确定的最低灵敏度)进行正式摄影时的图像数据。
该计算处理的目的在于,由于在正式摄影时无法设定扩展灵敏度ISO,因此通过最低灵敏度ISO进行摄影,因而需要进行通过最低灵敏度ISO进行摄影时是否饱和的判定。
正式曝光预测图像(x、y)=(曝光差)×实时取景图像(x、y)···(3)
(曝光差)=(最低灵敏度ISO_A÷ISO灵敏度_live)×(F值_live2÷F值_A2)×(快门速度_A÷快门速度_live)···(4)
其中,标号等如下所述。
(x、y):图像数据的像素地址
最低灵敏度ISO_A:正式曝光的ISO灵敏度(最低灵敏度ISO)
ISO灵敏度_live:实时取景的ISO灵敏度
F值_A:正式曝光的F值
F值_live:实时取景的F值
快门速度_A:正式曝光的快门速度
快门速度_live:实时取景的快门速度
生成了正式曝光预测图像后,接着通过饱和判定部17对通过正式曝光预测部18生成的正式曝光预测图像进行饱和判定(S11)。在该判定的结果判定为未饱和的情况下,进行正式摄影(S31),施加负增益(S33),将经过了负增益施加的图像记录于外部存储器中,并显示于显示部37(S27)。
步骤S33的负增益施加是补充用户设定的扩展低灵敏度ISO相对于最低灵敏度ISO的不足部分的负增益。具体而言,在最低灵敏度为ISO100的相机中设定为扩展低灵敏度ISO25的情况下,施加1/4的负增益(相当于ISO25/100)。
在步骤S11的判定的结果判定为饱和的情况下,通过与第1实施方式的数字ND模式的设定时同样的方法检测像素输出不饱和的快门速度(S13)。进而,根据检测出的不饱和的快门速度和正式摄影时的快门速度确定分割曝光时间(S15)。该分割曝光时间的确定与第1实施方式的情况相同,例如将正式摄影用的快门速度的整数分之1且比不饱和的快门速度短的快门速度确定为分割曝光时间。
接着,在用户全按下释放按钮的时刻开始正式摄影(S17)。这里,将光圈设定为正式摄影时的条件,将ISO灵敏度设定为最低灵敏度ISO,将快门速度设定为在步骤S15中确定的分割曝光时间来进行摄影。在曝光完成后从图像传感器4中读出图像数据,并保存于内部存储器中(S19),重复进行曝光、读出(重复执行S19和S21),直到达到将分割曝光时间除以正式摄影时的快门速度而计算出的分割曝光次数为止。
在步骤S21的判定的结果为分割曝光完成后,通过相加合成部14将保存于内部存储器33中的多个图像数据进行相加合成(S23)。进行相加合成后,通过增益施加部15按照用户设定的扩展低灵敏度ISO的设定值的量乘以负增益(S25)。当施加了负增益后,通过显像处理部16实施显像处理,将图像数据保存于外部存储器36中并作为摄影图像显示于显示部37(S27)。
如上,根据本发明的第2实施方式,在设定了扩展低灵敏度ISO模式后,生成正式曝光预测图像(S9),根据该生成的预测图像判定是否预测到饱和的像素的产生(S11),在预测到饱和的像素的产生的情况下,进行分割曝光,然后进行图像相加。因此,能够进行基于比以往通过图像传感器的性能确定的最低ISO灵敏度的条件更低的ISO灵敏度条件的摄影。即,通常如果使ISO灵敏度低于图像传感器的最低ISO灵敏度,则分配给饱和输出的电子数会超过饱和电子数(饱和光量),无法获得饱和输出而使图像输出出现问题。由此,无法获得原本希望取得的图像输出。在本实施方式中,能够在不使用减光滤光镜的情况下,通过低于最低ISO灵敏度的灵敏度的曝光设定进行摄影。
接着,使用图6,说明本发明的第2实施方式的变形例。在第2实施方式中,在用户设定了扩展低灵敏度ISO模式的情况下,执行基于扩展低灵敏度ISO模式的处理。对此,在本变形例中,相机能够自动设定为扩展低灵敏度ISO模式。例如,在快门速度优先模式下即使在摄影时将光圈缩小至最小光圈,并且使ISO灵敏度为最低灵敏度ISO的情况下,由于被摄体较亮而无法获得适当曝光的情况下,相机自动设定为最低灵敏度ISO以下、即扩展低灵敏度ISO以获得适当曝光。
图6所示的流程图表示本变形例的相机动作,其概要为通过第1释放后的AE(Auto Exposure)计算用于获得适当曝光的ISO灵敏度,判定该ISO灵敏度是否为扩展低灵敏度ISO。此后的处理为与图4同样的处理。因此,除了将图4所示流程的步骤S1~S7、S41~S45置换为图6所示流程的S1~S8、S47以外,都与图4所示的流程相同。
在基于图6的流程图的动作中,首先开始实时取景显示(S1)。接着,判定用户是否进行了半按下释放按钮(第1释放)的操作(S4)。在该判定的结果为进行了第1释放时,执行AF和AE(S6)。在该步骤中,系统控制部20驱动摄像部1内的镜头和光圈2,根据从图像传感器4逐次取得的图像输出,进行向对被摄体的焦点的对焦位置的移动,并通过光圈进行曝光量的调整,然后根据快门速度、光圈设定值计算成为最佳曝光的ISO灵敏度。
进行了AF/AE后,接着进行是否为扩展低灵敏度ISO设定的判定(S8)。在该步骤中,判定在S6中计算的ISO灵敏度是否为作为扩展低灵敏度ISO设定的值。
在步骤S8的判定的结果为ISO灵敏度是扩展低灵敏度ISO设定的情况下,如果存在饱和部,则在步骤S9~S29中,通过分割曝光取得多个图像数据,进行相加合成,然后施加负增益,从而模拟地生成与设定了低灵敏度ISO时同样的图像数据。另外,在不存在饱和部的情况下,在步骤S31、S33中,对静态画面图像施加负增益,从而模拟地生成与设定了低灵敏度ISO同样的图像数据。这些步骤的处理为前述内容,因此省略详细说明。
另一方面,在步骤S8的判定的结果为ISO灵敏度不是扩展低灵敏度ISO设定的情况下(S8否),即作为ISO自动进行摄影设定,在计算出的ISO灵敏度在图像传感器4的最低ISO灵敏度以上的情况下,转移至步骤S45的步骤,在用户全按下了释放按钮时(第2释放),开始曝光并拍摄1张静态画面图像。
如上,在本变形例中,饱和判定部17在设定为正式曝光用的摄影条件设定了图像传感器4的最低灵敏度来进行摄像的情况下,判定是否图像数据的至少一部分的像素输出饱和。在设定了图像传感器4的最低灵敏度的情况下,在饱和判定部17判定为图像数据的至少一部分的像素输出饱和的情况下,计算可获得适当曝光的图像传感器的灵敏度,增益施加部15设定负增益,该负增益是根据通过饱和判定部17取得的可获得适当曝光的图像传感器4的灵敏度的计算值和相对于图像传感器4的最低灵敏度的灵敏度比率而计算的,并对通过相加合成部14相加合成的图像数据施加负增益。因此,即使用户未设定扩展低灵敏度ISO模式,在所计算的ISO灵敏度为低于最低ISO灵敏度的低灵敏度的情况下,会自动设定扩展低灵敏度ISO模式,因此十分便利。
如上所述,在本发明的各实施方式和变形例中,具有:饱和判定部17,其在通过设定为正式曝光用的摄影条件进行摄像的情况下,判定图像数据的至少一部分的像素输出是否饱和;分割曝光时间检测部19,其在通过饱和判定部17判定为至少一部分的像素输出饱和的情况下,检测像素输出不饱和的分割曝光时间;相加合成部,其将图像数据相加合成;以及增益施加部15,其对通过相加合成部14相加合成的图像数据施加负增益,相加合成部14在摄像部进行摄像时,利用分割曝光时间进行分割曝光,对取得的多个图像数据分别施加负增益,将该被施加了负增益的图像数据进行相加合成。因此,在不使用ND滤光镜的情况下能够模拟地实现与使用了ND滤光镜同等的减光的摄影,或者能够实现比通过图像传感器的性能等确定的最低ISO灵敏度更低的灵敏度的摄影,并且不会发生摄影画质的劣化等对通常灵敏度的摄影带来不良影响的情况。
另外,在本发明的各实施方式和变形例中,描述了图像传感器4使用现有的普通CMOS图像传感器或CCD图像传感器的情况,然而不限于此。例如,在使用对位于图像传感器中的像素的行方向、列方向的读出电路进行了设计,能够在每行、每列、每个像素、多个区域等被分割为每个摄像领域的区域中设定彼此不同的分割曝光时间的图像传感器的情况下,能够对上述每个摄像领域进行饱和判定,在各个区域设定分割曝光时间。
在普通CMOS传感器和CCD图像传感器那样的破坏读出方式的图像传感器中,分割读出的次数越增加则读出噪声越重叠。因此,可知分割读出次数越增加,则合成各个读出图像而得到的合成图像的画质越劣化。因此,通过如上那样进行控制能够按照每个区域将分割曝光数抑制在最小限度,改善合成图像的画质。
此外,在使用搭载于当前市面上销售的数字相机上的CMOS图像传感器的情况下,从图像上侧的行起依次进行电荷蓄积重置、读出(滚动快门)动作。因此,在分割曝光时间比机械快门的最高速度快的情况下,如果通过电子快门进行分割曝光,则在上侧和下侧曝光的时刻不同,从而在曝光中被摄体运动的情况下或产生了抖动的情况下会产生图像的失真(滚动失真)。每年CMOS图像传感器的滚动快门都实现了高速化,失真大体被抑制得很小,然而为了从原理上不产生该失真,通过使用能够全部像素一并重置的CCD图像传感器或CMOS图像传感器就能解决该问题。
此外,在本发明的各实施方式和变形例中,示出了在进行分割曝光时,只要是能够利用机械快门进行摄影的曝光时间,则利用机械快门而非电子快门进行分割曝光的例子,然而也可以利用电子快门对全部的曝光时间进行分割曝光摄影。如果通过机械快门进行连拍,则会在分割曝光之间产生几百msec左右的曝光缺失,因此在正式摄影中进行了运动的被摄体等有时会使得图像不自然。另一方面,电子快门不存在曝光缺失,因此能够防止合成图像变得不自然。
此外,在本实施方式中,作为用于摄影的设备,使用数字相机进行了说明,然而作为相机而言,既可以是数字单反相机、微单相机、紧凑型数字相机,也可以是摄像机、摄影机等动画用的相机,进而,还可以是在移动电话、智能手机、移动信息终端(PDA:Personal Digital Assist:个人数字助理)、个人计算机(PC)、平板型计算机、游戏设备等上搭载于移动设备的相机。此外,还能够应用于需要被摄体亮度的动态范围(明暗度)的搭载于汽车的相机、监视器等的设备上。
此外,关于本说明书中所说明的技术中主要通过流程图说明的控制内容,大多可通过程序进行设定,有时也收录于记录介质和记录部中。对于在该记录介质、记录部中的记录方式,即可以在产品出厂时记录,也可以使用所提供的记录介质,还可以经由因特网下载。
此外,关于专利权利要求书、说明书和附图中的动作流程,为了方便起见而使用“首先”、“接着”等表现顺序的用语进行了说明,然而在未做特别说明的情况下,并不表示必须按照这种顺序加以实施。
本发明不仅限于上述实施方式,在实施阶段内可以在不脱离其主旨的范围内变形构成要素并使其具体实现。此外,通过在上述实施方式中公开的多个构成要素的适当组合,能够形成各种发明。例如,可以删除实施方式中所示的所有构成要素中的某几个构成要素。进而,还可以适当组合不同实施方式中的构成要素。

Claims (12)

1.一种摄像装置,其特征在于,具有:
摄像部,其具有图像传感器,该图像传感器对被摄体像进行摄像,输出图像数据;
饱和判定部,其在利用设定为正式曝光用的摄影条件进行摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;
分割曝光时间检测部,其在由上述饱和判定部判定为至少一部分像素输出饱和的情况下,检测上述像素输出不饱和的分割曝光时间;以及
图像处理部,其对上述摄像部取得的图像数据实施图像处理,
上述图像处理部具有:相加合成部,其对图像数据进行相加合成;以及增益施加部,其对由上述相加合成部进行了相加合成的图像数据施加负增益,
上述相加合成部对在进行上述摄像部的摄像时按照上述分割曝光时间进行分割曝光而取得的多个图像数据分别进行相加合成,生成合成图像数据,上述增益施加部对上述合成图像数据施加上述负增益,生成摄影图像数据。
2.一种摄像装置,其特征在于,具有:
摄像部,其具有图像传感器,该图像传感器对被摄体像进行摄像,输出图像数据;
饱和判定部,其在利用设定为正式曝光用的摄影条件进行摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;
分割曝光时间检测部,其在由上述饱和判定部判定为至少一部分像素输出饱和的情况下,检测上述像素输出不饱和的分割曝光时间;以及
图像处理部,其对上述摄像部取得的图像数据实施图像处理,
上述图像处理部具有:增益施加部,其对按照由上述分割曝光时间检测部检测出的分割曝光时间所拍摄的各个分割曝光图像数据施加负增益;以及相加合成部,其对由上述增益施加部施加了负增益的上述分割曝光图像数据进行相加合成,
通过上述增益施加部对在进行上述摄像部的摄像时按照上述分割曝光时间进行分割曝光而取得的多个图像数据分别施加上述负增益,上述相加合成部对施加了负增益后的图像数据进行相加合成,生成摄影图像数据。
3.根据权利要求1或2所述的摄像装置,其特征在于,
上述摄像部还具有机械快门,
在由上述分割曝光时间检测部检测出的上述分割曝光时间为高速曝光时间而不能利用上述机械快门进行控制的情况下,对于上述分割曝光的动作,不驱动上述机械快门,而通过电子快门控制来控制上述图像传感器。
4.根据权利要求1或2所述的摄像装置,其特征在于,
上述摄像部中包含的上述图像传感器是能够按照每个像素或每行来控制曝光时间的图像传感器,
对由上述饱和判定部判定为饱和的像素或行进行分割曝光,通过1次曝光读出被判定为不饱和的像素或行。
5.根据权利要求4所述的摄像装置,其特征在于,
上述增益施加部设定根据由用户设定输入的任意的减光量而计算出的负增益,对通过上述相加合成部进行了相加合成的图像数据的输出施加上述负增益。
6.根据权利要求4所述的摄像装置,其特征在于,
上述增益施加部对于由用户设定输入的灵敏度设定值,设定根据相对于上述图像传感器的最低灵敏度的灵敏度比率而计算出的负增益,
上述增益施加部对通过上述相加合成部进行了相加合成的图像数据的输出施加上述负增益。
7.根据权利要求4所述的摄像装置,其特征在于,
上述摄像装置还具有正式曝光预测部,该正式曝光预测部根据设定为正式曝光用的摄影条件计算能够获得适当曝光的图像传感器的灵敏度设定值,
上述饱和判定部还判定在由上述正式曝光预测部得到的图像传感器的灵敏度设定值的摄影条件下,上述图像数据的至少一部分像素输出是否饱和,
上述饱和判定部在通过上述正式曝光预测部设定了上述图像传感器的最低灵敏度的情况下判定为上述图像数据的至少一部分像素输出饱和的情况下,进而通过上述正式曝光预测部计算比能够获得适当曝光的上述图像传感器的最低灵敏度设定值低的图像传感器的灵敏度,
上述增益施加部设定根据由上述正式曝光预测部取得的能够获得适当曝光的上述图像传感器的灵敏度的计算值、和相对于上述图像传感器的最低灵敏度的灵敏度比率而计算出的负增益,并对通过上述相加合成部进行了相加合成的图像数据施加上述负增益。
8.根据权利要求7所述的摄像装置,其特征在于,
上述正式曝光预测部根据实时取景图像数据,生成基于设定为正式曝光用的摄影条件的预测图像数据,
上述饱和判定部对上述预测图像数据判定是否至少一部分像素输出饱和,
在上述饱和判定部对上述预测图像数据判定为至少一部分像素输出饱和的情况下,上述分割曝光时间检测部检测上述像素输出不饱和的分割曝光时间和分割数。
9.根据权利要求8所述的摄像装置,其特征在于,
上述饱和判定部对上述实时取景图像数据判定是否至少一部分像素输出饱和,
在上述饱和判定部对上述实时取景图像数据判定为像素输出饱和的情况下,上述正式曝光预测部进行降低曝光的设定,以成为上述饱和判定部检测不出饱和的状态,
上述正式曝光预测部根据上述降低了曝光的实时取景图像数据,生成基于设定为正式曝光用的摄影条件的预测图像数据。
10.根据权利要求1或2所述的摄像装置,其特征在于,
上述相加合成部和/或上述增益施加部具有成为充分的比特精度的扩展比特输出,
在上述相加合成部的相加运算时和/或上述增益施加部的增益的施加相加时,上述加算部和/或上述增益施加部使用上述扩展比特输出进行运算,以使得上述图像数据的信息不会缺失。
11.一种摄像方法,其特征在于,具有如下步骤:
摄像步骤,通过图像传感器对被摄体像进行摄像,输出图像数据;
饱和判定步骤,在利用设定为正式曝光用的摄影条件进行了摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;
分割曝光时间检测步骤,在上述饱和判定步骤中判定为至少一部分像素输出饱和的情况下,检测上述像素输出不饱和的分割曝光时间;以及
图像处理步骤,对在上述摄像步骤中取得的图像数据实施图像处理,
上述图像处理步骤具有:相加合成步骤,对图像数据进行相加合成;以及增益施加步骤,对在上述相加合成步骤中进行了相加合成的图像数据施加负增益,
在上述相加合成步骤中,对在进行上述摄像步骤时通过按照上述分割曝光时间进行分割曝光而取得的多个分割曝光所获得的分割曝光图像数据进行相加合成,
对相加合成后的图像数据施加上述负增益,生成摄影图像数据。
12.一种摄像方法,其特征在于,具有如下步骤:
摄像步骤,通过图像传感器对被摄体像进行摄像,输出图像数据;
饱和判定步骤,在利用设定为正式曝光用的摄影条件进行了摄像的情况下,判定上述图像数据的至少一部分像素输出是否饱和;
分割曝光时间检测步骤,在通过上述饱和判定步骤判定为至少一部分像素输出饱和的情况下,检测上述像素输出不饱和的分割曝光时间;以及
图像处理步骤,对在上述摄像步骤中取得的图像数据实施图像处理,
上述图像处理步骤具有:增益施加步骤,对图像数据施加负增益;以及相加合成步骤,对在上述增益施加步骤中施加了负增益后的图像数据进行相加合成,
在上述相加合成步骤中,对在进行上述摄像步骤时按照上述分割曝光时间进行分割曝光而取得的多个图像数据分别施加上述负增益,对施加了该负增益的图像数据进行相加合成。
CN201510028828.2A 2014-01-20 2015-01-20 摄像装置以及摄像方法 Active CN104796621B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014007621A JP6278713B2 (ja) 2014-01-20 2014-01-20 撮像装置および撮像方法
JP2014-007621 2014-01-20

Publications (2)

Publication Number Publication Date
CN104796621A true CN104796621A (zh) 2015-07-22
CN104796621B CN104796621B (zh) 2018-04-06

Family

ID=53545897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510028828.2A Active CN104796621B (zh) 2014-01-20 2015-01-20 摄像装置以及摄像方法

Country Status (3)

Country Link
US (1) US9319594B2 (zh)
JP (1) JP6278713B2 (zh)
CN (1) CN104796621B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277382A (zh) * 2016-03-30 2017-10-20 奥林巴斯株式会社 拍摄装置和拍摄方法
CN107343154A (zh) * 2016-04-29 2017-11-10 华为技术有限公司 一种确定摄像装置的曝光参数的方法、装置和系统
CN110324532A (zh) * 2019-07-05 2019-10-11 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
CN110809122A (zh) * 2019-11-11 2020-02-18 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的动态扩展方法
CN110892709A (zh) * 2017-08-18 2020-03-17 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
WO2021088669A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313375B1 (en) * 2014-06-03 2016-04-12 Amazon Technologies, Inc. Software-implemented graduated neutral density filter for balancing exposure of a photograph
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
WO2018225360A1 (ja) 2017-06-08 2018-12-13 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
WO2019035245A1 (ja) 2017-08-18 2019-02-21 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP6831493B2 (ja) * 2018-03-29 2021-02-17 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
JP7015906B2 (ja) * 2018-03-29 2022-02-03 富士フイルム株式会社 撮像装置、撮像方法、及びカメラシステム
EP3783881A4 (en) * 2018-04-17 2021-10-06 FUJIFILM Corporation IMAGING SYSTEM, IMAGING METHOD AND PROGRAM

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120997A1 (en) * 2005-11-21 2007-05-31 Megachips Lsi Solutions Inc. Image processor and camera system
US20090161929A1 (en) * 2007-12-21 2009-06-25 Olympus Corporation Biological specimen observation method
CN100583957C (zh) * 2005-10-17 2010-01-20 诺基亚公司 防止视频电子设备中的闪烁效应
CN101686324A (zh) * 2008-09-26 2010-03-31 索尼株式会社 成像设备及其控制方法,以及程序
US20120002098A1 (en) * 2010-07-05 2012-01-05 Canon Kabushiki Kaisha Image capture apparatus, control method thereof, and recording medium
CN103312982A (zh) * 2007-08-22 2013-09-18 株式会社尼康 电子照相机

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003283923A (ja) 2002-03-25 2003-10-03 Canon Inc 撮像装置
JP4306584B2 (ja) * 2004-10-26 2009-08-05 株式会社ニコン デジタルカメラ
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
JP4998056B2 (ja) * 2006-05-11 2012-08-15 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
JP5133085B2 (ja) * 2007-04-18 2013-01-30 パナソニック株式会社 撮像装置および撮像方法
JP4424402B2 (ja) 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
JP4655239B2 (ja) * 2008-09-24 2011-03-23 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP2011130167A (ja) * 2009-12-17 2011-06-30 Sony Corp 撮像装置及びその画像処理方法
JP2013183380A (ja) 2012-03-02 2013-09-12 Canon Inc 撮像素子、撮像素子の駆動方法及び撮像システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100583957C (zh) * 2005-10-17 2010-01-20 诺基亚公司 防止视频电子设备中的闪烁效应
US20070120997A1 (en) * 2005-11-21 2007-05-31 Megachips Lsi Solutions Inc. Image processor and camera system
CN103312982A (zh) * 2007-08-22 2013-09-18 株式会社尼康 电子照相机
US20090161929A1 (en) * 2007-12-21 2009-06-25 Olympus Corporation Biological specimen observation method
CN101686324A (zh) * 2008-09-26 2010-03-31 索尼株式会社 成像设备及其控制方法,以及程序
US20120002098A1 (en) * 2010-07-05 2012-01-05 Canon Kabushiki Kaisha Image capture apparatus, control method thereof, and recording medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277382A (zh) * 2016-03-30 2017-10-20 奥林巴斯株式会社 拍摄装置和拍摄方法
CN107343154A (zh) * 2016-04-29 2017-11-10 华为技术有限公司 一种确定摄像装置的曝光参数的方法、装置和系统
CN110892709A (zh) * 2017-08-18 2020-03-17 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
US11012629B2 (en) 2017-08-18 2021-05-18 Fujifilm Corporation Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
CN110892709B (zh) * 2017-08-18 2021-06-08 富士胶片株式会社 摄像装置、摄像装置的控制方法及摄像装置的控制程序
CN110324532A (zh) * 2019-07-05 2019-10-11 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
CN110324532B (zh) * 2019-07-05 2021-06-18 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
WO2021088669A1 (zh) * 2019-11-05 2021-05-14 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
CN110809122A (zh) * 2019-11-11 2020-02-18 中国电子科技集团公司第四十四研究所 应用于cmos图像传感器的动态扩展方法

Also Published As

Publication number Publication date
CN104796621B (zh) 2018-04-06
US20150207973A1 (en) 2015-07-23
JP2015136087A (ja) 2015-07-27
JP6278713B2 (ja) 2018-02-14
US9319594B2 (en) 2016-04-19

Similar Documents

Publication Publication Date Title
CN104796621A (zh) 摄像装置以及摄像方法
JP6034740B2 (ja) 撮像装置および撮像方法
CN102833471B (zh) 摄像装置和摄像方法
CN102348066B (zh) 摄像装置
CN102447912B (zh) 图像处理装置、白平衡校正方法以及摄像装置
CN102075687A (zh) 摄影装置和摄影装置的控制方法
JP5022758B2 (ja) 撮像装置、撮像システム及び撮像装置の駆動方法
CN102137234A (zh) 摄像装置
JP6370207B2 (ja) 撮像装置、画像処理装置、撮像方法、およびプログラム
CN106027914B (zh) 摄像装置和摄像方法
KR101589013B1 (ko) 플래시 발광 제어 방법 및 장치
CN103595921A (zh) 摄像装置
JP5573436B2 (ja) 露出制御装置及びそれを備える電子カメラ
JP6250098B2 (ja) 撮像装置および撮像方法
JP2015159353A (ja) 撮像装置および撮像方法
JP2016149631A (ja) 撮像装置および撮像方法
JP5797072B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP6096041B2 (ja) 撮像装置および撮像方法
US7873271B2 (en) Photography apparatus and photography method
JP6108854B2 (ja) 撮像装置及びその制御方法
JP2012095116A (ja) 撮像装置及びその制御方法
CN105407290A (zh) 摄像装置和摄像方法
CN105578064A (zh) 摄像装置和摄像装置的控制方法
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP6418715B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant