CN107071289A - 摄像装置、摄像方法 - Google Patents

摄像装置、摄像方法 Download PDF

Info

Publication number
CN107071289A
CN107071289A CN201611152504.0A CN201611152504A CN107071289A CN 107071289 A CN107071289 A CN 107071289A CN 201611152504 A CN201611152504 A CN 201611152504A CN 107071289 A CN107071289 A CN 107071289A
Authority
CN
China
Prior art keywords
exposure
frame
time
image
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611152504.0A
Other languages
English (en)
Inventor
木野达哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107071289A publication Critical patent/CN107071289A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供摄像装置、摄像方法,能够取得比帧期间长的任意曝光时间的图像而不降低帧率。摄像装置具有:微计算机(50),其在适当曝光时间比帧期间长时,设定短曝光时间和帧期间以下的一个以上的长曝光时间,使得合计时间成为适当曝光时间;摄像元件(22),其按照每个帧期间输出长曝光图像和短曝光图像;以及累积相加处理部(31),其对短曝光图像和1帧以上的长曝光图像进行相加,生成适当曝光时间的合成图像。

Description

摄像装置、摄像方法
技术领域
本发明涉及对比帧期间长的适当曝光时间的图像进行合成并取得的摄像装置、摄像方法。
背景技术
近年来,摄像元件的高速化发展,能够维持像素数并以高速的帧率进行拍摄。而且,通过高速的帧率,动态图像/实时取景中的被摄体的运动平滑,产生连拍帧数增加的优点。但是,当帧率成为高速时,1帧的曝光时间变短,所以,当要确保比帧期间长的曝光时间时,不得不降低帧率。例如,在以60fps的帧率拍摄动态图像时,当适当曝光时间比1/60秒长时,帧率不得不降低到例如30fps等。因此,要求同时实现帧率的高速化和曝光时间的确保双方。
但是,在近年来的照相机中,搭载了对长时间曝光图像(以下适当省略为长曝光图像)和短时间曝光图像(以下适当省略为短曝光图像)进行合成并生成动态范围较宽的图像(HDR图像)的功能,不仅是静态图像,在动态图像或实时取景中也进行这种HDR处理。
除了按照每帧交替取得长曝光图像和短曝光图像的方法以外,还存在在一次的曝光期间内同时取得长曝光图像和短曝光图像的方法,近年来提出了具有能够实施后者的方法的功能的摄像元件(也称为HDR传感器)。
具体而言,被称为HDR传感器的摄像元件按照每行或每个像素使曝光时间不同,例如从偶数行取得长曝光图像,从奇数行取得短曝光图像等。但是,在该摄像方法中,所取得的长曝光图像和短曝光图像的分辨率比通常的图像的分辨率低,结果得到的HDR图像的分辨率也较低。
因此,例如在日本特开2015-12490号公报中记载了如下技术:按照每帧更换进行长时间曝光的行和进行短时间曝光的行,由此生成HDR图像而不降低分辨率和帧率。
另一方面,例如在日本特开2007-281548号公报中记载了如下技术:将1帧分割为较短的时间间隔,取得时间分割图像,例如对连续的任意张数的时间分割图像进行合成,由此生成期望曝光时间的图像而不降低帧率。
但是,日本特开2015-12490号公报所记载的技术仅是取得HDR图像而不降低帧率的技术,关于长曝光图像的曝光期间,帧期间成为上限。因此,在该公报中,完全没有记载取得比帧期间长的曝光时间的图像而不降低帧率。
并且,在日本特开2007-281548号公报所记载的技术中,通过对连续的任意张数的时间分割图像进行合成,能够合成比帧期间长的曝光时间的图像,但是,关于合成图像的曝光时间,由于设分割时间为最小单位,所以,无法进行细致的曝光控制,无法得到任意曝光时间的图像。
这样,在上述现有技术中,无法取得比帧期间长的任意曝光时间的图像而不降低帧率。
发明内容
本发明是鉴于上述情况而完成的,其目的在于,提供能够取得比帧期间长的任意曝光时间的图像而不降低帧率的摄像装置、摄像方法。
本发明的某个方式的摄像装置具有:曝光控制部,其决定适当曝光时间,并且,当所述适当曝光时间比帧期间长时,设定所述帧期间以下的长曝光时间和比所述长曝光时间短的短曝光时间,使得对所述短曝光时间和一个以上的所述长曝光时间进行合计而得到的时间成为所述适当曝光时间;摄像部,其在所述适当曝光时间比帧期间长时,按照每个所述帧期间输出以所述长曝光时间进行曝光得到的长曝光图像和在所述长曝光图像的曝光期间内以所述短曝光时间进行曝光得到的短曝光图像;以及合成部,其在所述适当曝光时间比帧期间长时,对1帧的所述短曝光图像和1帧以上的所述长曝光图像进行相加,生成所述适当曝光时间的合成图像。
本发明的某个方式的摄像方法具有以下步骤:曝光控制步骤,决定适当曝光时间,并且,在所述适当曝光时间比帧期间长时,设定所述帧期间以下的长曝光时间和比所述长曝光时间短的短曝光时间,以使得对所述短曝光时间和一个以上的所述长曝光时间进行合计而得到的时间成为所述适当曝光时间;摄像步骤,在所述适当曝光时间比帧期间长时,按照每个所述帧期间输出以所述长曝光时间进行曝光得到的长曝光图像和在所述长曝光图像的曝光期间内以所述短曝光时间进行曝光得到的短曝光图像;以及合成步骤,在所述适当曝光时间比帧期间长时,对1帧的所述短曝光图像和1帧以上的所述长曝光图像进行相加,生成所述适当曝光时间的合成图像。
附图说明
图1是示出本发明的实施方式1中的摄像装置的结构的框图。
图2是示出上述实施方式1中的摄像元件的作为HDR传感器的结构的图。
图3是示出上述实施方式1的摄像装置中的一张拍摄的处理的流程图。
图4是示出上述实施方式1的图3的步骤S8中的不合成处理的流程图。
图5是示出上述实施方式1的图3的步骤S9中的2张合成处理的流程图。
图6是示出上述实施方式1的图3的步骤S10中的3张合成处理的流程图。
图7是用于说明上述实施方式1中的不合成处理的时序图。
图8是用于说明上述实施方式1中的2张合成处理的时序图。
图9是用于说明上述实施方式1中的3张合成处理的时序图。
图10是示出上述实施方式1的摄像装置中的动态图像拍摄的处理的流程图。
图11是示出上述实施方式1的图10的步骤S8中的不合成处理的流程图。
图12是示出上述实施方式1的图10的步骤S9中的2张合成处理的流程图。
图13是示出上述实施方式1的图12的步骤S55中的前2张合成处理的流程图。
图14是示出上述实施方式1的图12的步骤S56中的通常2张合成处理的流程图。
图15是示出上述实施方式1的图10的步骤S10中的3张合成处理的流程图。
图16是示出上述实施方式1的图15的步骤S76中的第1前3张合成处理的流程图。
图17是示出上述实施方式1的图15的步骤S77中的第2前3张合成处理的流程图。
图18是示出上述实施方式1的图15的步骤S78中的通常3张合成处理的流程图。
图19是用于说明上述实施方式1中的动态图像拍摄的处理的时序图。
图20是示出上述实施方式1的变形例中的摄像装置的结构的框图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1~图20示出本发明的实施方式1,图1是示出摄像装置的结构的框图。另外,在本实施方式中,作为摄像装置,以数字照相机为例进行说明,但是不限于此,只要是具有摄像功能的装置即可,可以是任意装置。
该摄像装置构成为经由接口(I/F)3以能够相互通信的方式连接更换式镜头1和照相机主体2,具有对连拍得到的多张图像数据进行合成并生成一张合成图像数据的功能。
更换式镜头1例如经由镜头安装件以拆装自如的方式装配在照相机主体2上,通过形成在镜头安装件上的电触点(设置在更换式镜头1侧的电触点和设置在照相机主体2侧的电触点)等构成接口3。
更换式镜头1具有镜头11、光圈12、驱动器13、闪存14、微计算机15。
镜头11是用于使被摄体的光学像在照相机主体2的后述摄像元件22上成像的拍摄光学系统。
光圈12是对从镜头11朝向摄像元件22的光束的穿过范围进行控制的光学光圈。
驱动器13根据来自微计算机15的指令,驱动镜头11并进行对焦位置的调整。而且,驱动器13根据来自微计算机15的指令,驱动光圈12而使开口径变化。通过该光圈12的驱动,被摄体的光学像的明亮度变化,模糊的大小等也变化。
闪存14是存储由微计算机15执行的控制程序、与更换式镜头1有关的各种信息的存储介质。
微计算机15是所谓的镜头侧计算机,与驱动器13、闪存14和接口3连接。而且,微计算机15经由接口3而与后述主体侧计算机即微计算机50进行通信,接收来自微计算机50的指令,进行闪存14中存储的信息的读出/写入,对驱动器13进行控制。进而,微计算机15向微计算机50发送与该更换式镜头1有关的各种信息。
接口3以能够双向通信的方式连接更换式镜头1的微计算机15和照相机主体2的微计算机50。
接着,照相机主体2具有机械快门21、摄像元件22、模拟处理部23、模拟/数字转换部(A/D转换部)24、总线25、SDRAM26、AE处理部27、AF处理部28、AWB处理部29、累积相加处理部31、图像处理部32、JPEG处理部38、LCD驱动器41、LCD42、EVF(电子取景器:ElectronicView Finder)驱动器43、EVF44、存储器接口(存储器I/F)45、记录介质46、操作部47、闪存48、微计算机50。
机械快门21对来自镜头11的光束到达摄像元件22的时间进行控制,例如成为使快门幕动作的结构的光学快门。在静态图像拍摄时,该机械快门21通过微计算机50的指令进行驱动,对到达摄像元件22的光束的到达时间、即基于摄像元件22的被摄体的曝光时间进行控制。另一方面,在动态图像拍摄时或实时取景时,机械快门21维持打开状态,通过摄像元件22的所谓的电子快门进行各帧图像的取得。
摄像元件22是如下的摄像部:具有以规定像素间距呈二维状排列多个像素的摄像面,根据摄像控制部即微计算机50的控制,对由镜头11和光圈12成像的被摄体的光学像进行光电转换,生成模拟图像信号。
本实施方式的摄像元件22例如构成为具有原色拜耳排列的滤色器的单板式摄像元件。但是,摄像元件22当然不限于单板式摄像元件,例如也可以是在基板厚度方向上对颜色成分进行分离的层叠式摄像元件。
进而,本实施方式的摄像元件22构成为在一次的曝光中取得曝光时间不同的多个图像的所谓的HDR传感器。而且,摄像元件22在适当曝光时间SS(参照图3等)比帧期间(后述垂直同步期间TVD)长时,按照每个帧期间输出以长曝光时间进行曝光的长曝光图像和在长曝光图像的曝光期间内以短曝光时间进行曝光的短曝光图像。
这里,图2是示出摄像元件22的作为HDR传感器的结构的图。
众所周知,原色拜耳排列构成为,将2×2像素作为基本排列,在该基本排列的对角位置配置G(绿色)滤色器,在其余的对角位置分别配置R(红色)滤色器和B(蓝色)滤色器。
因此,摄像元件22构成为,按照在水平方向上排列了基本排列的每2行,交替配置由对长时间曝光图像(以下适当省略为长曝光图像)进行摄像的像素组构成的H场22H和由对短时间曝光图像(以下适当省略为短曝光图像)进行摄像的像素组构成的L场22L。
这里,在隔行方式中划分成偶数场和奇数场而称为场,但是,与隔行方式不同,在构成为HDR传感器的本实施方式的摄像元件22中,在同一帧(一个垂直同步期间TVD内)读出H场22H的图像和L场22L的图像。
而且,在H场22H和L场22L中使曝光开始定时和曝光结束定时(读出定时)中的至少一方不同,由此,取得通过H场22H以长曝光时间进行曝光的长曝光图像,并取得通过L场22L以比长曝光时间短的短曝光时间进行曝光的短曝光图像。
例如,在与垂直同步信号VD(参照图7~图9、图19等)同步地进行长曝光图像和短曝光图像的读出的情况下,在从垂直同步信号VD所示的读出时刻起追溯长曝光图像的曝光时间的时点开始进行长曝光图像的曝光,在从读出时刻起追溯短曝光图像的曝光时间的时点开始进行短曝光图像的曝光即可。
另外,图2中示出按照每2行划分场的结构例,但是,也可以按照每2列划分场,还可以以2×2像素的基本排列单位划分场。并且,在不是拜耳排列的情况下,也可以按照每1行、每1列、每1个像素等划分场。因此,曝光时间不同的场的划分方式没有限定。
模拟处理部23针对从摄像元件22读出的模拟图像信号降低复位噪声等,然后进行波形整形,进而进行增益放大以使其成为目标明亮度。
A/D转换部24将从模拟处理部23输出的模拟图像信号转换为数字图像信号(适当称为图像数据)。
总线25是用于将摄像装置内的某个场所产生的各种数据或控制信号转送到摄像装置内的其他场所的转送路。本实施方式中的总线25与A/D转换部24、SDRAM26、AE处理部27、AF处理部28、AWB处理部29、累积相加处理部31、图像处理部32、JPEG处理部38、LCD驱动器41、EVF驱动器43、存储器接口45、微计算机50连接。
从A/D转换部24输出的图像数据(以下适当称为RAW图像数据)经由总线25进行转送,暂时存储在SDRAM26中。
SDRAM26是暂时存储上述RAW图像数据或在累积相加处理部31、图像处理部32、JPEG处理部38等中进行处理后的图像数据等各种数据的存储部。
该SDRAM26还成为暂时保持短曝光图像和长曝光图像中的至少一方的存储部。这里,需要存储在SDRAM26中的图像是时间上靠前的帧的图像,所以,在先取得短曝光图像后连续取得一个以上的长曝光图像的情况下以及先连续取得一个以上的长曝光图像后取得短曝光图像的情况下,需要存储的图像不同。因此,将SDRAM26暂时保持的图像记载为“短曝光图像和长曝光图像中的至少一方”。
AE处理部27从RAW图像数据中提取亮度成分,根据提取出的亮度成分计算适当曝光条件(Tv、Av、Sv等)。这里计算出的适当曝光条件用于自动曝光(AE)控制,具体而言,进行基于Av值的光圈12的控制、基于Tv值的机械快门21的控制或基于Tv值的摄像元件22的曝光定时控制(所谓的电子快门的控制)、基于Sv值的模拟处理部23的增益控制(或图像处理部32的数字增益控制)等。
AF处理部28从RAW图像数据中提取高频成分的信号,通过AF(自动对焦)累积处理取得对焦评价值。这里取得的对焦评价值用于镜头11的AF驱动。另外,AF当然不限于这种对比度AF,例如也可以构成为使用专用的AF传感器(或摄像元件22上的AF用像素)进行相位差AF。
AWB处理部29进行如下的自动白平衡处理:根据RAW图像数据检测被摄体的彩色平衡,分别计算针对RGB各成分的增益,通过乘以计算出的增益,对白平衡进行调整。
累积相加处理部31是如下的合成部:在适当曝光时间SS(参照图3等)比帧期间(后述垂直同步期间TVD)长时,对1帧的短曝光图像和1帧以上的长曝光图像进行相加,生成适当曝光时间SS的合成图像。
如后所述,作为曝光控制部发挥功能的微计算机50将帧期间设定为长曝光时间,将适当曝光时间SS除以长曝光时间时的商设定为帧数,针对以帧数连续的帧设定长曝光时间,并且,将适当曝光时间SS除以长曝光时间时的余数设定为短曝光时间。因此,累积相加处理部31针对以作为商而计算出的帧数连续的帧的长曝光图像和作为剩余的曝光时间的一个短曝光图像,按照各像素位置对像素值进行累积相加,由此进行合成。由此,合成图像成为与以适当曝光时间SS连续曝光的图像相当的图像。
图像处理部32对RAW图像数据或通过累积相加处理部31从RAW图像数据生成的合成图像数据进行各种图像处理,包含WB校正部33、同时化处理部34、颜色再现处理部35和NR处理部36。
WB校正部33对图像数据进行白平衡处理,以使得白色的被摄体被观察为白色。
同时化处理部34进行如下的去马赛克处理:根据每1个像素仅存在RGB成分中的一个颜色成分的RGB拜耳排列的图像数据,从周边像素补充并求出关注像素中不存在的颜色成分,由此转换为全部像素具有RGB的全部3个颜色成分的图像数据。
颜色再现处理部35进行如下处理:通过对图像数据进行彩色矩阵运算,更加忠实地再现被摄体的颜色。
NR处理部36通过对图像数据进行与空间频率对应的核化(coring)处理等,进行噪声降低处理。
这样,通过图像处理部32进行各种处理后的图像数据再次存储在SDRAM26中。
JPEG处理部38在记录图像数据时,从SDRAM26中读出图像数据,根据JPEG压缩方式进行压缩,生成JPEG图像数据,将其存储在SDRAM26中。通过微计算机50对该SDRAM26中存储的JPEG图像数据附加文件头等,经由存储器接口45作为JPEG文件记录在记录介质46中。
并且,JPEG处理部38还进行压缩图像数据的解压缩。即,在进行已记录图像的再现的情况下,根据微计算机50的控制,例如经由存储器接口45从记录介质46中读出JPEG文件并暂时存储在SDRAM26中。JPEG处理部38根据JPEG解压缩方式对SDRAM26中存储的JPEG文件中的JPEG图像数据进行解压缩,将解压缩后的图像数据存储在SDRAM26中。
进而,JPEG处理部38还针对动态图像数据以MotionJPEG或MPEG等适当处理方式进行压缩解压缩。另外,这里,采用JPEG处理部38兼作为动态图像数据的压缩解压缩部的结构,但是,也可以独立于JPEG处理部38而设置动态图像数据专用的压缩解压缩部。
LCD驱动器41读出SDRAM26中存储的图像数据,将读出的图像数据转换为影像信号,对LCD42进行驱动控制,使LCD42显示基于影像信号的图像。
LCD42通过上述这种LCD驱动器41的驱动控制来显示图像,并且显示该摄像装置的各种信息。
EVF驱动器43读出SDRAM26中存储的图像数据,将读出的图像数据转换为影像信号,对EVF44进行驱动控制,使EVF44显示基于影像信号的图像。
EVF44通过上述这种EVF驱动器43的驱动控制来显示图像,并且显示该摄像装置的各种信息。
这里,在LCD42或EVF44中进行的图像显示中,存在仅在短时间内显示刚刚拍摄之后的静态图像数据的浏览记录显示、记录介质46中记录的JPEG文件的再现显示、记录介质46中记录的动态图像文件的再现显示和实时取景显示等。
存储器接口45是进行在记录介质46中记录图像数据的控制的记录控制部,进而,还从记录介质46中读出图像数据。
记录介质46是非易失地存储图像数据的记录部,例如由能够相对于照相机主体2进行拆装的存储卡等构成。但是,记录介质46不限于存储卡,也可以是盘状的记录介质,还可以是其他任意的记录介质。因此,记录介质46不需要是摄像装置固有的结构。
操作部47用于进行针对该摄像装置的各种操作输入,包括用于接通/断开摄像装置的电源的电源按钮、用于指示图像的拍摄开始的例如由构成为具有1st(第1)释放开关和2nd(第2)释放开关的2级式操作按钮构成的释放按钮、用于进行记录图像的再现的再现按钮、用于进行摄像装置的设定等的菜单按钮、项目的选择操作中使用的十字键和选择项目的确定操作中使用的OK按钮等操作按钮等。这里,能够使用菜单按钮、十字键、OK按钮等进行设定的项目包括拍摄模式(单拍拍摄模式、连拍拍摄模式、动态图像拍摄模式等)、记录模式、再现模式等。当对该操作部47进行操作时,与操作内容对应的信号输出到微计算机50。
闪存48是非易失地存储由微计算机50执行的处理程序(包含用于通过摄像装置执行摄像方法的程序即摄像程序)、该摄像装置的各种信息的存储介质。这里,作为闪存48存储的信息,例如举出用于确定摄像装置的型号和制造编号、图像处理中使用的参数、用户设定的设定值、垂直同步期间TVD等作为几个例子。通过微计算机50来读取该闪存48存储的信息。
微计算机50是如下的控制部:对照相机主体2内的各部进行控制,并且,经由接口3向微计算机15发送指令并对更换式镜头1进行控制,对该摄像装置进行总括控制。当通过用户从操作部47进行操作输入时,微计算机50根据闪存48中存储的处理程序,从闪存48中读入处理所需要的参数,执行与操作内容对应的各种顺序。
进而,微计算机50作为如下的曝光控制部发挥功能:根据由AE处理部27计算出的Tv值决定适当曝光时间SS,并且,在适当曝光时间SS比帧期间(后述垂直同步期间TVD)长时,设定帧期间以下的长曝光时间和比长曝光时间短的短曝光时间,使得对短曝光时间和一个以上的长曝光时间进行合计而得到的时间成为适当曝光时间SS。
具体而言,微计算机50将帧期间即垂直同步期间TVD设定为长曝光时间,将适当曝光时间SS除以长曝光时间时的余数设定为短曝光时间。而且,微计算机50将适当曝光时间SS除以长曝光时间时的商设定为帧数,针对以帧数连续的帧设定长曝光时间。进而,微计算机50对以帧数连续的帧的最初帧之前的帧或以帧数连续的帧的最后帧之后的帧设定短曝光时间。
另外,能够将长曝光时间设定为比帧期间即垂直同步期间TVD短的时间,但是,进行合成而得到的图像不是以适当曝光时间SS连续曝光的图像,而成为按照每个帧期间产生未曝光的期间的图像,并且,有时用于使合计的曝光时间成为适当曝光时间SS的帧数增加等,所以,优选长曝光时间与帧期间即垂直同步期间TVD相等。
并且,微计算机50经由微计算机15和驱动器13进行基于由AE处理部27计算出的Av值的光圈12的控制,并且,还进行基于由AE处理部27计算出的Sv值的模拟处理部23的增益控制(或图像处理部32的数字增益控制)。
进而,在静态图像拍摄时,微计算机50进行基于由AE处理部27计算出的Tv值的机械快门21的控制。
接着,图3是示出摄像装置中的一张拍摄的处理的流程图。根据控制部即微计算机50的控制来进行该处理(和以下各流程图所示的处理)。
另外,这里说明的一张拍摄的处理不是对机械快门21进行开闭而拍摄一张静态图像的单拍拍摄模式的处理,而是使机械快门21成为打开状态并根据一定周期的垂直同步信号VD(参照图7~图9、图19等)取得一张图像时的处理(其中,在图7~图9中图示了按照每个垂直同步期间TVD反复进行一张拍摄的处理的例子)。
在通过电源按钮接通摄像装置的电源并进行未图示的主进程的处理时,当执行该处理时,首先,进行初始设定(步骤S1)。在该初始设定中,例如,假设在机械快门21关闭时,进行使其成为打开状态等的处理。
接着,微计算机50例如从闪存48取得预定的垂直同步信号VD的周期、也就是帧期间即垂直同步期间TVD(步骤S2)。
然后,根据实时取景等中取得的图像数据,通过AE处理部27计算适当曝光条件(Tv、Av、Sv等)(步骤S3)。
微计算机50对光圈12的光圈开口径进行控制,以反映计算出的Av值,并且,对模拟处理部23的增益(或图像处理部32的数字增益)进行控制,以反映计算出的Sv值(步骤S4)。
进而,微计算机50计算与计算出的Tv值对应的快门速度即适当曝光时间SS(步骤S5)。
接着,微计算机50判定是否是SS<TVD(步骤S6)。
这里,在判定为SS≧TVD的情况下,微计算机50进一步判定是否是SS<2TVD(步骤S7)。
然后,在步骤S6中判定为SS<TVD的情况下,进行后面参照图4说明的不合成处理(步骤S8)。
并且,在步骤S7中判定为SS<2TVD的情况下,进行后面参照图5说明的2张合成处理(步骤S9)。
进而,在步骤S7中判定为SS≧2TVD的情况下,进行后面参照图6说明的3张合成处理(步骤S10)。
另外,同样,在3TVD≦SS<4TVD的情况下进行4张合成处理、在4TVD≦SS<5TVD的情况下进行5张合成处理等即可,但是,为了避免说明变得烦杂,这里设SS<3TVD,省略3TVD≦SS的情况下的处理的说明。因此,下面设SS<3TVD来进行说明。
这样,在进行了步骤S8~S10中的任意一个处理后,通过图像处理部32对所得到的图像进行处理,将其显示在LCD42或EVF44中,或者记录在记录介质46中(步骤S11)。
然后,从该处理返回未图示的主进程的处理。
接着,图4是示出图3的步骤S8中的不合成处理的流程图,图7是用于说明不合成处理的时序图。
另外,在图4或图4以后的流程图中,将n用作表示时间序列的帧编号的整数。特别地,在将n用作当前处理中的帧编号的情况下,前一帧成为(n-1),后一帧成为(n+1)等。
而且,将在n帧中从H场22H读出的长曝光图像记载为Hn场的图像,将在n帧中从L场22L读出的短曝光图像记载为Ln场的图像等。进而,在图7或图7以后的时序图中,将H场的摄像的曝光定时表记为H曝光,将L场的摄像的曝光定时表记为L曝光等。
在图3的步骤S6中判定为SS<TVD的情况下进行该图4所示的处理。此时,SS除以TVD时的商为0,余数为SS。
因此,在Hn场中不设定曝光时间,仅在Ln场中设定SS作为曝光时间(步骤S21)。
然后,进行Ln场的曝光(步骤S22)。
与垂直同步信号VD同步地读出被曝光的Ln场的图像,通过图像处理部32进行显影处理(步骤S23)。因此,这里,不进行基于累积相加处理部31的累积相加处理。
然后,从该处理返回图3所示的处理。
通过进行这种处理,如图7所示,以与垂直同步期间TVD相同的周期进行图像的显示。
接着,图5是示出图3的步骤S9中的2张合成处理的流程图,图8是用于说明2张合成处理的时序图。
在图3的步骤S6中判定为SS≧TVD、进而在步骤S7中判定为SS<2TVD的情况下进行该图5所示的处理。此时,SS除以TVD时的商为1,余数为(SS-TVD)。
因此,在H(n+1)场中设定垂直同步期间TVD作为曝光时间(步骤S31),在Ln场中设定曝光时间(SS-TVD)(步骤S32)。
然后,沿着时间序列,首先进行Ln场的曝光(步骤S33),接着进行H(n+1)场的曝光(步骤S34)。
与垂直同步信号VD同步地读出被曝光的Ln场、H(n+1)场的各图像,这点与上述相同。
然后,通过累积相加处理部31进行Ln场的图像和H(n+1)场的图像的累积相加处理,生成合成图像(步骤S35)。
然后,通过图像处理部32对合成图像进行显影处理(步骤S36),从该处理返回图3所示的处理。
通过进行这种处理,图8所示,以与垂直同步期间TVD相同的周期显示比垂直同步期间TVD长的适当曝光时间SS的图像。
接着,图6是示出图3的步骤S10中的3张合成处理的流程图,图9是用于说明3张合成处理的时序图。
在图3的步骤S7中判定为SS≧2TVD的情况下(如上所述设SS<3TVD)进行该图6所示的处理。此时,SS除以TVD时的商为2,余数为(SS-2TVD)。
因此,在H(n+2)场中设定垂直同步期间TVD作为曝光时间(步骤S41),在H(n+1)场中设定垂直同步期间TVD作为曝光时间(步骤S42),在Ln场中设定曝光时间(SS-2TVD)(步骤S43)。
然后,沿着时间序列,首先进行Ln场的曝光(步骤S44),接着进行H(n+1)场的曝光(步骤S45),进而进行H(n+2)场的曝光(步骤S46)。
与垂直同步信号VD同步地读出被曝光的Ln场、H(n+1)场、H(n+2)场的各图像,这点与上述相同。
然后,通过累积相加处理部31进行Ln场的图像、H(n+1)场的图像、H(n+2)场的图像的累积相加处理,生成合成图像(步骤S47)。
然后,通过图像处理部32对合成图像进行显影处理(步骤S48),从该处理返回图3所示的处理。
通过进行这种处理,图9所示,以与垂直同步期间TVD相同的周期显示比垂直同步期间TVD长的适当曝光时间SS的图像。
接着,图10是示出摄像装置中的动态图像拍摄的处理的流程图。另外,这里设为动态图像拍摄的处理,但是,针对实时取景,也能够应用相同的处理(子进程和后述图19的时序图也相同)。
该图10所示的动态图像拍摄的处理与图3所示的一张拍摄的处理大致相同,但是,由于是动态图像,所以反复取得图像,进而,还应对被摄体的明亮度的变化,所以这几点不同。
首先,在开始进行图10所示的处理后最初进行的初始化的处理中,不仅使机械快门21成为打开状态,进而,对处理中使用的各种计数器进行复位(步骤S1A)。具体而言,设定为PreMixcnt=0、Mixcnt=0、Stepcnt=0。另外,关于针对计数器的记号“=”,在不伴有问号“?”时表示在左边的计数器代入右边的值,在伴有问号“?”时表示等号(使用与编程中的C语言等相同的表记)。
这里,PreMixcnt是表示上次进行的处理是不合成处理、2张合成处理、3张合成处理中的哪个处理的计数器,Mixcnt是表示正在执行不合成处理、2张合成处理、3张合成处理中的哪个处理的计数器,Stepcnt是如下的计数器:关于步骤S3~S12的循环,针对2张合成处理表示是“连续第1次的循环”还是“连续第2次的循环或第2次以后的连续循环”,针对3张合成处理表示是“连续第1次的循环”、“连续第2次的循环”还是“连续第3次的循环或第3次以后的连续循环”。
Stepcnt针对2张合成处理用于判定进行前2张合成处理和通常2张合成处理中的哪个处理,针对3张合成处理用于判定进行第1前3张合成处理、第2前3张合成处理和通常3张合成处理中的哪个处理。
在进行了步骤S1A的处理后,接着,与图3所示的一张拍摄的处理同样地进行步骤S2~S11的处理。
然后,微计算机50判定是结束还是继续进行显示和记录的处理(步骤S12)。
这里,在判定为继续进行处理的情况下,返回步骤S3,进行上述处理,在判定为结束的情况下,从该处理返回未图示的主进程的处理。
图11是示出图10的步骤S8中的不合成处理的流程图,图19是用于说明动态图像拍摄的处理的时序图。另外,在图19中,示出被摄体逐渐变暗、适当曝光时间SS逐渐变长时的状况。
在图10的步骤S6中判定为SS<TVD的情况下进行该图11所示的处理。此时,SS除以TVD时的商为0,余数为SS。
当开始进行该处理时,首先,微计算机50设定Mixcnt=0(步骤S20)。
然后,在进行了图4所示的步骤S21~S23的处理后,微计算机50设定PreMixcnt=Mixcnt(步骤S24),从该处理返回图10所示的处理。
通过进行这种处理,如图19的显示部分中的L0~L3所示,以与垂直同步期间TVD相同的周期进行图像的显示。
图12是示出图10的步骤S9中的2张合成处理的流程图。
在图10的步骤S6中判定为SS≧TVD、进而在步骤S7中判定为SS<2TVD的情况下进行该图12所示的处理。此时,SS除以TVD时的商为1,余数为(SS-TVD)。
当开始进行该处理时,首先,微计算机50设定Mixcnt=1(步骤S51)。
接着,微计算机50判定是否是PreMixcnt=Mixcnt(步骤S52)。
这里,在判定为PreMixcnt≠Mixcnt的情况下,微计算机50设定Stepcnt=0(步骤S53)。
在进行步骤S53的处理或在步骤S52中判定为PreMixcnt=Mixcnt的情况下,微计算机50判定是否是Stepcnt=0(步骤S54)。
这里,在判定为Stepcnt=0的情况下,进行后面参照图13说明的前2张合成处理(步骤S55)。
并且,在步骤S54中判定为Stepcnt≠0的情况下,进行后面参照图14说明的通常2张合成处理(步骤S56)。
在进行了步骤S55或步骤S56的处理后,微计算机50设定PreMixcnt=Mixcnt(步骤S57),从该处理返回图10所示的处理。
接着,图13是示出图12的步骤S55中的前2张合成处理的流程图。
在图12的步骤S54中判定为Stepcnt=0的情况下,即,关于步骤S3~S12的循环,在判定为2张合成处理的连续第1次的循环的情况下进行该图13所示的处理。并且,如上所述,SS除以TVD时的商为1,余数为(SS-TVD)。
当开始进行该处理时,在H(n+1)场中设定垂直同步期间TVD作为曝光时间(步骤S61),在Hn场中设定垂直同步期间TVD作为曝光时间(步骤S62),在Ln场中设定曝光时间(SS-TVD)(步骤S63)。
然后,进行Hn场和Ln场的曝光(步骤S64)。这里,与垂直同步信号VD同步地读出被曝光的Hn场、Ln场的各图像,这点与上述相同。
这样读出的Hn场、Ln场的各图像被保存在SDRAM26等存储器中(步骤S65)。
通过图像处理部32对Hn场的图像进行显影处理(步骤S66)。因此,在该前2张合成处理中,不进行基于累积相加处理部31的累积相加处理。
然后,微计算机50使Stepcnt增加1(步骤S67)。由此,在下一次的步骤S3~S12的循环中进入步骤S9的2张合成处理时,在图12的步骤S54的判断中,进入步骤S56的通常2张合成处理。
然后,从该处理返回图12所示的处理。
通过进行这种处理,如图19的显示部分中的H4所示,以与垂直同步期间TVD相同的周期显示与垂直同步期间TVD相同的适当曝光时间SS的图像。并且,在图19的显示部分中的L3的下一次的垂直同步期间TVD中进行H4的显示,所以,在显示中不会产生缺失帧。而且,由于H4的图像的曝光期间为TVD,所以,相对于前后帧的图像的曝光量的变化平滑,能够成为自然的明亮度变化的图像。
接着,图14是示出图12的步骤S56中的通常2张合成处理的流程图。
在图12的步骤S54中判定为Stepcnt≠0的情况下,即,关于步骤S3~S12的循环,在判定为2张合成处理的连续第2次的循环或第2次以后的连续循环的情况下进行该图14所示的处理。并且,如上所述,SS除以TVD时的商为1,余数为(SS-TVD)。
当开始进行该处理时,进行上述步骤S61、S63、S64的处理。因此,不需要上述步骤S62的处理(这是因为,已经作为上次的循环中的图13或图14的步骤S61的处理进行过了)。
然后,将读出的Ln场的图像保存在SDRAM26等存储器中(步骤S65A)。
接着,从SDRAM26等存储器中读入L(n-1)场的图像(步骤S68)。
然后,通过累积相加处理部31进行Hn场的图像和L(n-1)场的图像的累积相加处理,生成合成图像(步骤S69)。
然后,通过图像处理部32对合成图像进行显影处理(步骤S66A),从该处理返回图12所示的处理。
通过进行这种处理,如图19的显示部分中的(L4+H5)~(L9+H10)所示,以与垂直同步期间TVD相同的周期显示比垂直同步期间TVD长的适当曝光时间SS的图像。并且,与上述同样,在图19的显示部分中的H4的下一次的垂直同步期间TVD中进行(L4+H5)的显示,所以,在显示中不会产生缺失帧,曝光量的变化也平滑。
图15是示出图10的步骤S10中的3张合成处理的流程图。
在图10的步骤S7中判定为SS≧2TVD的情况下(如上所述设为SS<3TVD)进行该图15所示的处理。此时,SS除以TVD时的商为2,余数为(SS-2TVD)。
当开始进行该处理时,首先,微计算机50设定Mixcnt=2(步骤S71)。
接着,微计算机50判定是否是PreMixcnt=Mixcnt(步骤S72)。
这里,在判定为PreMixcnt≠Mixcnt的情况下,微计算机50设定Stepcnt=0(步骤S73)。
在进行步骤S73的处理或在步骤S72中判定为PreMixcnt=Mixcnt的情况下,微计算机50判定是否是Stepcnt=0(步骤S74)。
这里,在判定为Stepcnt≠0的情况下,进而,微计算机50判定是否是Stepcnt=1(步骤S75)。
然后,在步骤S74中判定为Stepcnt=0的情况下,进行后面参照图16说明的第1前3张合成处理(步骤S76)。
并且,在步骤S75中判定为Stepcnt=1的情况下,进行后面参照图17说明的第2前3张合成处理(步骤S77)。
进而,在步骤S75中判定为Stepcnt≠1的情况下,进行后面参照图18说明的通常3张合成处理(步骤S78)。
在进行了步骤S76~S78中的任意一个处理后,微计算机50设定PreMixcnt=Mixcnt(步骤S79),从该处理返回图10所示的处理。
图16是示出图15的步骤S76中的第1前3张合成处理的流程图。
在图15的步骤S74中判定为Stepcnt=0的情况下,即,关于步骤S3~S12的循环,在判定为3张合成处理的连续第1次的循环的情况下进行该图16所示的处理。并且,如上所述,SS除以TVD时的商为2,余数为(SS-2TVD)。
当开始进行该处理时,在H(n+2)场中设定垂直同步期间TVD作为曝光时间(步骤S81),在H(n+1)场中设定垂直同步期间TVD作为曝光时间(步骤S82),在Ln场中设定曝光时间(SS-2TVD)(步骤S83)。
然后,进行Hn场和Ln场的曝光(步骤S84)。这里,与垂直同步信号VD同步地读出被曝光的Hn场、Ln场的各图像,这点与上述相同。
这样读出的Hn场、Ln场的各图像被保存在SDRAM26等存储器中(步骤S85)。
接着,从SDRAM26等存储器中读入L(n-1)场的图像(步骤S86)。
然后,通过累积相加处理部31进行Hn场的图像和L(n-1)场的图像的累积相加处理,生成合成图像(步骤S87)。
然后,通过图像处理部32对合成图像进行显影处理(步骤S88)。
进而,微计算机50使Stepcnt增加1(步骤S89)。因此,Stepcnt成为1。由此,在下一次的步骤S3~S12的循环中进入步骤S10的3张合成处理时,在图15的步骤S75的判断中,进入步骤S77的第2前3张合成处理。
然后,从该处理返回图15所示的处理。
通过进行这种处理,如图19的显示部分中的(L10+H11)所示,以与垂直同步期间TVD相同的周期显示比垂直同步期间TVD长的适当曝光时间SS的图像。并且,在图19的显示部分中的(L9+H10)的下一次的垂直同步期间TVD中进行(L10+H11)的显示,所以,在显示中不会产生缺失帧。而且,(L10+H11)的图像相对于前后帧的图像的曝光量的变化平滑,能够成为自然的明亮度变化的图像。
图17是示出图15的步骤S77中的第2前3张合成处理的流程图。
在图15的步骤S75中判定为Stepcnt=1的情况下,即,关于步骤S3~S12的循环,在判定为3张合成处理的连续第2次的循环的情况下进行该图17所示的处理。并且,如上所述,SS除以TVD时的商为2,余数为(SS-2TVD)。
当开始进行该处理时,进行步骤S81、S83~S85的处理。因此,不需要上述步骤S82的处理(这是因为,已经作为上次的循环中的图16的步骤S81的处理进行过了)。
接着,从SDRAM26等存储器中读入H(n-1)场的图像(步骤S86A)。
然后,通过累积相加处理部31进行Hn场的图像和H(n-1)场的图像的累积相加处理,生成合成图像(步骤S87A)。
然后,进行步骤S88的显影处理,在步骤S89中使Stepcnt增加1。因此,Stepcnt成为2。由此,在下一次的步骤S3~S12的循环中进入步骤S10的3张合成处理时,在图15的步骤S75的判断中进入步骤S78的通常3张合成处理。
然后,从该处理返回图15所示的处理。
通过进行这种处理,如图19的显示部分中的(H11+H12)所示,以与垂直同步期间TVD相同的周期显示比垂直同步期间TVD长的适当曝光时间SS的图像。并且,在图19的显示部分中的(L10+H11)的下一次的垂直同步期间TVD中进行(H11+H12)的显示,所以,在显示中不会产生缺失帧。而且,(H11+H12)的图像的曝光期间为2TVD,所以,相对于前后帧的图像的曝光量的变化平滑,能够成为自然的明亮度变化的图像。
图18是示出图15的步骤S78中的通常3张合成处理的流程图。
在图15的步骤S75中判定为Stepcnt≠1的情况下,即,关于步骤S3~S12的循环,在判定为3张合成处理的连续第3次的循环或第3次以后的连续循环的情况下进行该图18所示的处理。并且,如上所述,SS除以TVD时的商为2,余数为(SS-2TVD)。
当开始进行该处理时,进行步骤S81、S83~S85、S86A的处理。因此,不需要上述步骤S82的处理(这是因为,已经作为上次的循环中的图17或图18的步骤S81的处理进行过了)。
进而,从SDRAM26等存储器中读入L(n-2)场的图像(步骤S86B)。
然后,通过累积相加处理部31进行Hn场的图像、H(n-1)场的图像和L(n-2)场的图像的累积相加处理,生成合成图像(步骤S87B)。
然后,进行步骤S88的显影处理,从该处理返回图15所示的处理。
通过进行这种处理,如图19的显示部分中的(L11+H12+H13)、(L12+H13+H14)、…所示,以与垂直同步期间TVD相同的周期显示比垂直同步期间TVD长的适当曝光时间SS的图像。并且,与上述同样,在图19的显示部分中的(H11+H12)的下一次的垂直同步期间TVD中进行(L11+H12+H13)的显示,所以,在显示中不会产生缺失帧。而且,曝光期间为2TVD的(H11+H12)的图像的后一帧的图像为(L11+H12+H13),所以,曝光量的变化平滑,能够成为自然的明亮度变化的图像。
这样,在该摄像装置中,通过作为控制部的微计算机50的控制,在动态图像或实时取景中,在从适当曝光时间SS小于帧期间、且不存在基于作为合成部的累积相加处理部31的合成的状态向对2张图像进行合成的状态转移时,将1帧的长曝光图像作为记录用或显示用的图像(参照图13的前2张合成处理和图19的显示部分中的H4)。并且,在基于作为合成部的累积相加处理部31的合成从对j(j为2以上的整数)张图像进行合成的状态向对(j+1)张图像进行合成的状态转移时,在至少一帧内仅使用长曝光图像生成合成图像并作为记录用或显示用的图像(参照图17的第2前3张合成处理和图19的显示部分中的(H11+H12))。
另外,如上所述,在图19中示出被摄体逐渐变暗、适当曝光时间SS逐渐变长时的状况。与此相对,在被摄体逐渐变亮、适当曝光时间SS逐渐变短时,也可以省略图13所示的前2张合成处理、图16所示的第1前3张合成处理、图17所示的第2前3张合成处理。
并且,在上述中,作为合成部的累积相加处理部31通过对连续的长曝光图像和短曝光图像进行合成,得到与以适当曝光时间SS连续曝光的图像相同的合成图像,但是不限于此。如果仅用于得到与适当曝光时间SS相当的曝光量的合成图像,则例如可以对同一帧的短曝光图像和长曝光图像进行合成。
但是,在图1所示的结构例中,使用构成为HDR传感器的摄像元件22作为如下的摄像部,该摄像部在适当曝光时间SS比帧期间长时,按照每个帧期间输出以长曝光时间进行曝光的长曝光图像和在长曝光图像的曝光期间内以短曝光时间进行曝光的短曝光图像。但是,不限于这种结构。
图20是示出本实施方式的变形例中的摄像装置的结构的框图。该图20所示的变形例成为使2个摄像元件形成2个光学像的所谓双眼照相机的例子。
更换式镜头1在镜头11和光圈12的光路上还具有半透半反镜16,形成被摄体的2个光学像。
在一个光学像的光路上配置机械快门21A和摄像元件22A,通过模拟处理部23A对从摄像元件22A读出的模拟图像信号进行处理,通过A/D转换部24A将其转换为数字图像信号。
并且,在另一个光学像的光路上配置机械快门21B和摄像元件22B,通过模拟处理部23B对从摄像元件22B读出的模拟图像信号进行处理,通过A/D转换部24B将其转换为数字图像信号。
在这种结构中,在动态图像拍摄或实时取景的情况下,通过使摄像元件22A和摄像元件22B的电子快门的动作不同,可以使分别生成的图像的曝光时间不同。或者,在连拍拍摄的情况下,也可以通过使机械快门21A和机械快门21B的开闭时间不同,从而使由摄像元件22A生成的图像和由摄像元件22B生成的图像的曝光时间不同。
进而,在适当曝光时间SS比帧期间长时、按照每个帧期间输出以长曝光时间进行曝光的长曝光图像和在长曝光图像的曝光期间内以短曝光时间进行曝光的短曝光图像的摄像部不限于上述例子,例如,也可以使用能够进行非破坏读出的摄像元件等。该情况下,按照每个帧期间,在从开始曝光的时点起经过了短曝光时间的时点非破坏地读出短曝光图像,在从开始曝光的时点起经过了长曝光时间的时点读出长曝光图像即可。
根据这种实施方式1,在适当曝光时间SS比帧期间即垂直同步期间TVD长时,设定帧期间以下的长曝光时间和比长曝光时间短的短曝光时间,使得对短曝光时间和一个以上的长曝光时间进行合计而得到的时间成为适当曝光时间SS,按照每个帧期间输出以长曝光时间进行曝光的长曝光图像和在长曝光图像的曝光期间内以短曝光时间进行曝光的短曝光图像,对一帧的短曝光图像和一帧以上的长曝光图像进行相加,生成适当曝光时间SS的合成图像,所以,能够取得比帧期间长的任意曝光时间的图像而不降低帧率。
此时,将帧期间即垂直同步期间TVD设定为长曝光时间,将适当曝光时间SS除以长曝光时间时的余数设定为短曝光时间,由此,能够以最少的帧数得到准确曝光量的适当曝光图像。
进而,将适当曝光时间SS除以长曝光时间时的商设定为帧数,针对以帧数连续的帧设定长曝光时间,由此,能够得到能够对与以适当曝光时间SS连续曝光的图像相同的图像进行合成的长曝光图像和短曝光图像。
而且,在以帧数连续的帧的最初帧之前的帧或以帧数连续的帧的最后帧之后的帧中设定短曝光时间,由此,能够选择与垂直同步信号同步地开始曝光和结束曝光的期望的控制方法。
而且,通过对以帧数连续的帧的长曝光图像和一个短曝光图像进行合成,能够得到与以适当曝光时间SS连续曝光的图像相同的图像作为合成图像。而且,所得到的合成图像成为中途不包含未曝光期间的图像,例如在存在移动被摄体的情况下的被摄体抖动中,也不会产生不自然的中断。
并且,还具有暂时保持短曝光图像和长曝光图像中的至少一方的存储部,由此,不需要延迟电路等,能够在期望的时点进行图像合成。
进而,在动态图像或实时取景中,在至少1帧内进行如下处理:在从适当曝光时间SS小于帧期间即不存在基于合成部的合成的状态向对2张图像进行合成的状态转移时,将1帧的长曝光图像设为记录用或显示用的图像,在基于合成部的合成从对j(j为2以上的整数)张图像进行合成的状态向对(j+1)张图像进行合成的状态转移时,仅使用长曝光图像生成合成图像并设为记录用或显示用的图像,所以,在基于合成部的合成张数变化时,能够防止在显示中产生缺失帧,能够防止图像的明亮度不自然地变化。
另外,上述各部也可以构成为电路。而且,任意的电路只要能够发挥同一功能即可,可以作为单一电路进行安装,也可以组合多个电路进行安装。进而,任意的电路不限于构成为用于发挥目标功能的专用电路,也可以构成为通过使通用电路执行处理程序来发挥目标功能。
并且,上述主要说明了摄像装置,但是,也可以是进行与摄像装置相同的控制的摄像方法,还可以是用于使计算机进行与摄像装置相同的处理的摄像程序、记录该摄像程序的计算机可读取的非暂时性的记录介质等。

Claims (8)

1.一种摄像装置,其特征在于,所述摄像装置具有:
曝光控制部,其决定适当曝光时间,并且,当所述适当曝光时间比帧期间长时,设定所述帧期间以下的长曝光时间和比所述长曝光时间短的短曝光时间,使得对所述短曝光时间和一个以上的所述长曝光时间进行合计而得到的时间成为所述适当曝光时间;
摄像部,其在所述适当曝光时间比帧期间长时,按照每个所述帧期间输出以所述长曝光时间进行曝光得到的长曝光图像和在所述长曝光图像的曝光期间内以所述短曝光时间进行曝光得到的短曝光图像;以及
合成部,其在所述适当曝光时间比帧期间长时,对1帧的所述短曝光图像和1帧以上的所述长曝光图像进行相加,生成所述适当曝光时间的合成图像。
2.根据权利要求1所述的摄像装置,其特征在于,
所述曝光控制部将所述帧期间设定为所述长曝光时间,将所述适当曝光时间除以所述长曝光时间时的余数设定为所述短曝光时间。
3.根据权利要求2所述的摄像装置,其特征在于,
所述曝光控制部将所述适当曝光时间除以所述长曝光时间时的商设定为帧数,针对以所述帧数连续的帧设定所述长曝光时间。
4.根据权利要求3所述的摄像装置,其特征在于,
所述曝光控制部对以所述帧数连续的帧的最初帧之前的帧或以所述帧数连续的帧的最后帧之后的帧设定所述短曝光时间。
5.根据权利要求4所述的摄像装置,其特征在于,
所述合成部对以所述帧数连续的帧的所述长曝光图像和一个所述短曝光图像进行合成。
6.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置还具有存储部,该存储部暂时保持所述短曝光图像和所述长曝光图像中的至少一方。
7.根据权利要求1所述的摄像装置,其特征在于,
在动态图像或实时取景中,在从所述适当曝光时间小于帧期间、且不存在基于所述合成部的合成的状态向对2张图像进行合成的状态转移时,将1帧的所述长曝光图像作为记录用或显示用的图像,在基于所述合成部的合成从对j张图像进行合成的状态向对(j+1)张图像进行合成的状态转移时,在至少1帧内仅使用所述长曝光图像生成合成图像并作为记录用或显示用的图像,其中,j为2以上的整数。
8.一种摄像方法,其特征在于,所述摄像方法具有以下步骤:
曝光控制步骤,决定适当曝光时间,并且,当所述适当曝光时间比帧期间长时,设定所述帧期间以下的长曝光时间和比所述长曝光时间短的短曝光时间,使得对所述短曝光时间和一个以上的所述长曝光时间进行合计而得到的时间成为所述适当曝光时间;
摄像步骤,当所述适当曝光时间比帧期间长时,按照每个所述帧期间输出以所述长曝光时间进行曝光得到的长曝光图像和在所述长曝光图像的曝光期间内以所述短曝光时间进行曝光得到的短曝光图像;以及
合成步骤,当所述适当曝光时间比帧期间长时,对1帧的所述短曝光图像和1帧以上的所述长曝光图像进行相加,生成所述适当曝光时间的合成图像。
CN201611152504.0A 2015-12-15 2016-12-14 摄像装置、摄像方法 Pending CN107071289A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015244361A JP2017112457A (ja) 2015-12-15 2015-12-15 撮像装置、撮像プログラム、撮像方法
JP2015-244361 2015-12-15

Publications (1)

Publication Number Publication Date
CN107071289A true CN107071289A (zh) 2017-08-18

Family

ID=59019223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611152504.0A Pending CN107071289A (zh) 2015-12-15 2016-12-14 摄像装置、摄像方法

Country Status (3)

Country Link
US (1) US10171748B2 (zh)
JP (1) JP2017112457A (zh)
CN (1) CN107071289A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040589A (zh) * 2018-08-16 2018-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
CN112019773A (zh) * 2019-05-13 2020-12-01 上海图漾信息科技有限公司 图像传感器、深度数据测量头、测量装置和方法
US11885613B2 (en) 2019-03-15 2024-01-30 Shanghai Percipio Technology Limited Depth data measuring head, measurement device and measuring method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180011389A1 (en) * 2016-07-11 2018-01-11 Petrica-Sandel Baciu Modular Instant and Digital Back for Film TLR Cameras
GB2576241B (en) 2018-06-25 2020-11-04 Canon Kk Image capturing apparatus, control method thereof, and computer program
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
JP6757392B2 (ja) * 2018-11-21 2020-09-16 株式会社モルフォ 画像生成装置、画像生成方法及び画像生成プログラム
KR102585654B1 (ko) * 2018-12-07 2023-10-10 삼성전자주식회사 수광 시간이 다른 복수의 픽셀을 이용하여 획득한 데이터의 합성을 통해 이미지를 생성하는 전자 장치 및 방법
CN110677557B (zh) * 2019-10-28 2022-04-22 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN114302068B (zh) * 2022-01-06 2023-09-26 重庆紫光华山智安科技有限公司 图像拍摄方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
CN101521750A (zh) * 2008-02-27 2009-09-02 佳能株式会社 摄像设备和摄像设备控制方法
JP2011059018A (ja) * 2009-09-11 2011-03-24 Furuno Electric Co Ltd 画像処理装置、これを搭載したレーダ装置、画像処理方法及び画像処理プログラム
CN102131056A (zh) * 2010-01-15 2011-07-20 奥林巴斯映像株式会社 摄像装置和摄像方法
CN104604213A (zh) * 2013-09-04 2015-05-06 奥林巴斯医疗株式会社 摄像系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979969B2 (ja) 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
JP6147116B2 (ja) 2013-06-28 2017-06-14 キヤノン株式会社 撮像装置、その制御方法及び制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
CN101521750A (zh) * 2008-02-27 2009-09-02 佳能株式会社 摄像设备和摄像设备控制方法
JP2011059018A (ja) * 2009-09-11 2011-03-24 Furuno Electric Co Ltd 画像処理装置、これを搭載したレーダ装置、画像処理方法及び画像処理プログラム
CN102131056A (zh) * 2010-01-15 2011-07-20 奥林巴斯映像株式会社 摄像装置和摄像方法
CN104604213A (zh) * 2013-09-04 2015-05-06 奥林巴斯医疗株式会社 摄像系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040589A (zh) * 2018-08-16 2018-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109040589B (zh) * 2018-08-16 2020-06-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11885613B2 (en) 2019-03-15 2024-01-30 Shanghai Percipio Technology Limited Depth data measuring head, measurement device and measuring method
CN112019773A (zh) * 2019-05-13 2020-12-01 上海图漾信息科技有限公司 图像传感器、深度数据测量头、测量装置和方法
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
CN111491110B (zh) * 2020-04-17 2021-09-17 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质

Also Published As

Publication number Publication date
JP2017112457A (ja) 2017-06-22
US20170171449A1 (en) 2017-06-15
US10171748B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
CN107071289A (zh) 摄像装置、摄像方法
CN106257912B (zh) 摄像装置、摄像方法
US8520059B2 (en) Stereoscopic image taking apparatus
CN106161926B (zh) 摄像装置和摄像装置的控制方法
CN101605208B (zh) 图像处理设备、成像设备及图像处理方法
TWI524709B (zh) 影像擷取設備、影像擷取設備之控制方法及電子裝置
CN102833471B (zh) 摄像装置和摄像方法
CN106357968A (zh) 摄像装置、图像处理方法
CN106797434A (zh) 摄像装置、摄像方法、处理程序
CN103369241B (zh) 摄像设备和信号处理方法
CN102447912B (zh) 图像处理装置、白平衡校正方法以及摄像装置
CN106464809B (zh) 摄像装置、图像处理方法
CN103491310B (zh) 图像捕获装置及其控制方法
CN106358030A (zh) 图像处理装置和图像处理方法
CN106878624A (zh) 摄像装置和摄像方法
CN101742336B (zh) 图像处理装置以及图像处理方法
CN107547795A (zh) 摄像装置、摄像方法
CN103229496B (zh) 摄像装置以及摄像方法
JP5343588B2 (ja) 撮像装置
CN107566714A (zh) 摄像装置和摄像方法
CN110392203A (zh) 摄像装置、记录介质和摄像方法
JP7142507B2 (ja) 画像処理装置および画像処理方法、ならびに撮像装置
CN107079092A (zh) 摄像装置、摄像方法、处理程序
JP2010136058A (ja) 電子カメラおよび画像処理プログラム
CN103385005B (zh) 立体图像处理装置以及立体图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818

WD01 Invention patent application deemed withdrawn after publication