CN103685875A - 成像装置 - Google Patents
成像装置 Download PDFInfo
- Publication number
- CN103685875A CN103685875A CN201310382217.9A CN201310382217A CN103685875A CN 103685875 A CN103685875 A CN 103685875A CN 201310382217 A CN201310382217 A CN 201310382217A CN 103685875 A CN103685875 A CN 103685875A
- Authority
- CN
- China
- Prior art keywords
- image
- flash
- block
- distance
- influence degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Stroboscope Apparatuses (AREA)
Abstract
本发明涉及一种成像装置,包括:图像传感器,形成摄影对象的图像;闪光灯,向所述摄影对象发射光;以及控制器,在其中在所述图像传感器上形成的被成像图像中的所述摄影对象的图像光照不足的情况下,控制所述闪光灯向所述摄影对象发射光。所述控制器包括:划分和放大功能部件,其将被成像图像划分成多个网格状区块,并且应用每个被划分区块的数字增益;以及闪光发射影响程度确定功能部件,其确定每个被划分区块的闪光影响程度。在发射闪光以及执行拍摄时,根据由所述闪光发射影响程度确定功能部件所确定的每被划分区块的闪光影响程度,所述控制器确定由所述划分和放大功能部件所应用的每被划分区块的数字增益。
Description
技术领域
本发明涉及一种成像装置,尤其是涉及一种具有闪光调节控制功能的成像装置。
背景技术
传统上,当采用诸如照相机等成像装置在仅有自然光线的情况下执行拍摄,并且对于主要摄影对象出现曝光不足时,通常会执行闪光拍摄,在闪光拍摄中会发射出补充光线以便补充曝光量。
然而,闪光所产生的光线发射的影响在较近的范围内影响较大而在较远的范围内影响较小。因此,例如,当主要摄影对象处于适当的亮度状态时,背景较暗,而在其中存在多个需要拍摄的主要摄影对象并且每个主要摄影对象和闪光灯之间的距离不同的情况下,只有一个摄影对象处于适当的亮度状态,而其余的摄影对象则不处于适当的亮度状态。
为了解决这样的问题,已知一种成像装置来补充光量使得计算需要拍摄的多个摄影对象之间距离成像装置的距离差,并在该差值较小时应用增益来增加闪光,并且在该插值较大时降低闪光(例如,参见日本专利申请公开号JP2011-095403)。在采用该成像装置拍摄多个摄影对象的情况下,由于多个摄影对象之间距离成像装置的距离差较大,在发出闪光时每个摄影对象受到的闪光的影响的程度(闪光影响程度)不同,并且趋向产生亮度差。因此,已经提出了一种获得一种具有适当亮度的图像以便较大的增益均匀施加到图像的方法,其中当摄影对象距离成像装置的距离差较小时,增加闪光,而当摄影对象距离成像装置的距离差较大时,降低闪光。
不过,对于传统的成像装置,在摄影对象之间离成像装置的距离差较大并且整体上增益较高时,闪光必须降低。因此,在其中处于离闪光灯不同距离的多个摄影对象采用闪光拍摄的情况下,图像趋于成为整体具有较强噪声的图像,并且其难以适当地调节亮度。
发明内容
因此,本发明的目的是为了提供一种成像装置,其即使在拍摄处于离闪光灯不同距离的多个摄影对象的情况下也能适当地调节亮度。
为了实现上述目的,本发明的实施例提供了:一种成像装置,包括:图像传感器,形成摄影对象的图像;闪光灯,向所述摄影对象发射光;以及控制器,在其中在所述图像传感器上形成的被成像图像中的所述摄影对象的图像光照不足的情况下,控制所述闪光灯向所述摄影对象发射光,其中,所述控制器包括:划分和放大功能部件,其将被成像图像划分成多个网格状区块,并且对每个被划分区块应用数字增益;以及闪光发射影响程度确定功能部件,其对每个被划分区块确定闪光影响程度,并且在发射闪光以及执行拍摄时,根据由所述闪光发射影响程度确定功能部件对每被划分区块所确定的闪光影响程度,所述控制器确定由所述划分和放大功能部件对每被划分区块所应用的数字增益。
附图说明
图1A、1B以及1C分别图释了作为根据本发明实施例的成像装置的实例的数字相机的主视图、俯视图和后视图。
图2是图释图1A、1B以及1C中所示的数字相机中的示意性系统配置的方块示意图。
图3是图2中所示的系统控制器的更详细的方块示意图。
图4A图释了被成像的图像,其中处于离数字相机不同距离的多个摄影对象处于适当亮度的状态。
图4B是采用闪光灯拍摄图4A中的多个摄影对象时被成像的图像的解释图
图5A图释了被成像的图像,其中处于离数字相机不同距离的多个摄影对象处于适当亮度的状态。
图5B是图释其中图5A中的被成像图像被划分成网格状区块并且为每个区块设置增益值的实例的解释图。
图6是在图5B所示的多个区块中的增益计算的解释图。
图7是图释闪光灯的影响程度(闪光影响程度)和增益之间关系的解释图。
图8是图释离闪光灯的距离和增益之间关系的增益特性示意图。
图9是解释基于闪光影响程度的确定以及闪光影响程度的增益设置的流程示意图。
图10是数字相机的外部示意图,在其前侧提供了具有一个专用于距离测量的透镜的辅助成像光学系统。
图11是图10中所示的数字相机的后侧的外部示意图。
图12是图释图10中所示的数字相机的示意性内部配置的解释示意图。
图13是在作为图12所示的主光学系统的成像透镜也被用作AF透镜的情况下的光学系统的解释图。
图14是通过使用成像透镜作为图13所示的主光学系统和AF透镜的距离测量的解释图。
图15是在图13所示的CMOS传感器的输出信号和接收来自AF透镜的光通量光接收传感器的输出信号被用来距离测量的情况下的解释图。
图16是具有作为用于距离测量的辅助成像光学系统的两个AF透镜的数字相机1的前侧的外部示意图。
图17是图释图16中所示的数字相机的示意性内部配置的解释图。
图18是图16和17中所示的辅助成像光学系统所执行的距离测量的解释图。
图19是解释基于到摄影对象的确定以及闪光影响程度的增益设置的流程图。
具体实施方式
下面,参照附图解释本发明的实施例
(实例1)
[结构]
图1A是作为根据本发明实施例的成像装置的实例的数字相机的主视图。图1B是图1A所示数字相机的俯视图。图1C是图1A所示数字相机的后视图。图2是图1A、1B和1C所述数字相机中的控制电路(系统配置)的示意方块图。
[数字相机的外部结构]
如图1A、1B和1C所示,根据本发明实施例的数字相机1具有相机体1a。如图1B所示,在相机体1a的顶部,提供了快门释放按钮(快门按钮)2、电源按钮(电源开关)3以及拍摄/回放切换拨盘4
此外,如图1A所示,在相机体1a的前侧,提供了作为成像透镜单元的镜筒单元5、闪光发射部件(闪光灯)6、学取景器7、用于距离测量的辅助成像光学系统8.
而且,如图1C所示,在相机体1a后侧,提供了液晶显示器(显示部件)9、光学取景器7的目镜透镜部件7a、广角变焦(W)开关10、远摄变焦(T)开关11、菜单(MENU)按钮12、确认按钮(OK按钮)13等。
此外,在相机体1a的侧表面内,如图1C所示,提供了存储卡槽15,其中放置存储卡14,该存储卡中存储被成像的图像数据。
[数字相机1的成像系统]
图2图释了数字相机1的成像系统。该成像系统具有作为控制器的系统控制器(系统控制电路)20。在该系统控制器20中使用了数字信号处理IC等
系统控制器20具有信号处理部件20a和计算控制电路(CPU,即主控制器)20b。信号处理部件20a是图像处理电路(图像处理部件),其处理数字彩色图像信号(数字RGB图像信号)。计算控制电路20b执行对信号处理部件20a和每个部件的控制。来自辅助成像光学系统8的距离测量信号被输入到信号处理部件20a,而来自的操作部件21的操作信号输入到计算控制电路20b。
操作部件21包括上述快门释放按钮(快门按钮)2、电源按钮3、拍摄/回放开关拨盘4、广角变焦(W)开关10、远摄变焦(T)开关11、菜单(MENU)按钮12、确认按钮(OK按钮)13等,涉及成像操作并可由用户操作。
此外,成像系统具有LCD(显示部件)9、存储卡14、光学系统驱动部件(马达驱动器)22以及闪光灯23。闪光灯23具有如图1A所示的闪光发射部件6和主电容器24。主电容器24向闪光发射部件6供应用于发射光的电压。而且,成像系统具有临时存储数据的存储器(SDRAM)25、通信驱动器(通信部件)26等。
此外,成像系统具有镜筒单元5,其由系统控制器20控制和驱动。
[镜筒单元5]
镜筒单元5具有主成像光学系统30和成像部件31。成像部件31经由主成像光学系统30根据入射光形成摄影对象的图像。
主成像光学系统30具有成像透镜(拍摄透镜)30a和入射光通量控制器30b,成像透镜具有变焦光学系统(未详细示出)。
成像透镜30a具有变焦透镜(未示出)和聚焦透镜(未示出)。在变焦时,通过操作操作部件21的广角变焦(W)开关10、远摄变焦(T)开关11等执行变焦透镜的变焦驱动。在聚焦时,通过快门释放按钮2的半按操作来执行聚焦透镜的聚焦驱动。在变焦时、在聚焦时以及在通过电源按钮3的ON/OFF操作启动和停止相机的操作时,这些透镜的位置在机械上或光学上被改变。通通过电源按钮3的ON操作启动相机的操作时,成像透镜30a向前移动到开始成像的初始位置,而通过电源按钮3的OFF操作而停止相机操作时,成像透镜30a向后运动到收纳成像透镜的收纳(storage)位置。由于已知结构适于这种结构,因此省略详细解释。
变焦驱动、聚焦驱动以及成像透镜30a的启动/停止操作时的驱动控制由光学系统驱动部件(马达驱动器)22执行,其操作控制由作为主控制部件(CPU,即,主控制器)的计算控制电路20b执行。光学系统驱动部件(马达驱动器)22的操作控制由计算控制电路20b基于来自操作部件21的广角变焦(W)开关10、远摄变焦(T)开关11、电源按钮3等的操作信号执行。
入射光通量控制器30b光圈(aperture)单元和机械快门单元(未示出)。光圈单元根据摄影对象的条件改变光圈的开口直径,而机械快门单元通过同时曝光执行快门的打开和关闭操作用于静态照片拍摄。入射光通量控制器30b的光圈单元和机械快门单元的驱动控制由光学系统驱动部件(马达驱动器)22执行。由于已知结构也是用于该结构,因此省略详细解释。
成像部件31具有作为图像传感器的CMOS(互补金属氧化物半导体)传感器(传感器部件)32、CMOS传感器32的驱动部件33以及图像信号输出部件34。CMOS传感器32将经由主成像光学系统的成像透镜30a和入射光通量控制器(光圈和机械快门单元)30b的入射光转换成摄影对象的图像并将该摄影对象的图像形成在光接收表面。图像信号输出部件34对从来自CMOS传感器32的输出执行数字处理,并将其输出。
在CMOS传感器32上,多个光接收元件被二维地排列成矩阵。在CMOS传感器32上形成摄影对象的光学图像,并且根据摄影对象的光学图像的光量,在每个光接收元件上累积电荷。在CMOS传感器32的每个光接收元件上累积的电荷被输出到图像信号输出部件34。RGB原色过滤器(以下,称之为“RGB过滤器”)布置在每个像素的CMOS传感器32的光接收元件上,并且输出与RGB的三原色对应的电信号(数字RGB图像信号)。已知的结构适于该结构。
图像信号输出部件34具有CDS/PGA35和ADC(A/D转换器)36。CDS/PGA35对从CMOS传感器32输出的图像信号执行相关双重抽样,并执行增益控制。ADC36对来自CDS/PGA35的输出执行A/D转换(模拟/数字转换)并将其输出。来自ADC36的数字彩色图像信号被输入到系统控制器20的信号处理部件20a。
[系统控制器20]
如上所述,系统控制器20具有信号处理部件20a(划分和放大功能部件),其具有划分和放大功能,计算控制电路(CPU,即主控制器)20b,其具有闪光发射影响程度确定功能。
(信号处理部件20a)
信号处理部件20a具有CMOS接口(以下,称之为“CMOS I/F”)40、a存储器控制器41、YUV转换器42\尺寸调整(resize)处理器43、显示输出控制器44、数据压缩处理器45、以及介质接口(以下,称之为“介质I/F”)46。CMOS I/F40加载CMOS传感器32经由图像信号输出部件34输出的RAW-RGB数据。存储器控制器41控制存储器(SDRAM)25。YUV转换器42将所加载的RAW-RGB数据转换成可显示和可存储的YUV格式的图像数据。尺寸调整处理器43根据被显示的和存储的图像数据的尺寸改变图像的尺寸。显示输出控制器44控制图像数据的显示输出。数据压缩处理器45将图像数据压缩成JPEG格式等。介质I/F46将图像数据卸载存储卡上,或者读出被卸载存储卡上的图像数据。信号处理部件20a具有划分和方法功能部件47。划分和方法功能部件47将所加载的RAW-RGB数据的被成像数据划分为多个区块,以便执行诸如增益处理等的信号处理,并执行每个区块的信号处理
(计算控制电路20b)
计算控制电路20b基于存储在ROM20c中的控制程序根据从操作部件21输入的操作信息整体地执行数字相机1的系统控制。
计算控制电路20b具有距离计算器48和闪光发射影响程度确定功能部件49,该距离计算器计算离摄影对象的距离。
(存储器25)
在存储器(SDRAM)25中,存储了在CMOS I/F40中的被加载的RAW-RGB数据,并且存储了在YUV转换器42中被转换的YUV数据(YUV格式的图像数据),以及还存储了由数据压缩处理器45所压缩的JPEG格式的图像数据等。
YUV数据的YUV是由亮度数据(Y)、色差信息(亮度数据和蓝色数据(B)之间的差(U),以及亮度数据和红色数据(R)之间的差(V))所表达的颜色体系。
[操作]
下面,将解释上述数字相机1的监视操作以及静态图像拍摄操作。
I)基本成像操作
在静态图像拍摄模式中,数字相机1与执行下述监视操作一起执行静态图像拍摄操作
首先,通过用户开启电源按钮3并将拍摄/回放开关拨盘4设置在拍摄模式,数字相机1在记录模式中开始操作。当电源按钮3被打开时并且控制器检测到拍摄/回放开关拨盘4被设置在拍摄(shooting)模式时,控制器,即计算控制电路20b,向马达驱动器22输出控制信号,并使得镜筒单元5运动到可拍摄位置,并启动CMOS传感器32、信号处理部件20a、存储器(SDRAM)25、ROM20c、LCD(显示部件)9等。
通过将镜筒单元5的主成像光学系统30的成像透镜30a对准摄影对象,源自摄影对象的光通过主成像光学系统(成像透镜系统)30入射,并且摄影对象的图像成像在CMOS传感器32的每个像素的光接收表面上。并且从CMOS传感器32的光接收元件输出的与摄影对象的图像对应的电信号(模拟RGB图像信号)经由CDS/PGA35被输入到ADC36,并被ADC36转换成12-比特RAW-RGB数据。
RAW-RGB数据的被成像图像数据被加载到信号处理部件20a的CMOS接口40,并且经由存储器控制器41被存储在存储器(SDRAM)中
信号处理部件(划分和放大功能部件)20a具有划分和放大功能,以便在执行了将在后面描述的必要图像处理以及YUV转换器将其转换为YUV数据(YUV信号)之后,经由存储器控制器41将YUV数据存储在存储器(SDRAM)25中,在所述必要图像处理,例如从存储器(SDRAM)25中被读出的RAW-RGB数据的被成像图像被划分成多个区块,并且对每个被划分区块应用用于放大的增益(数字增益)
经由存储器控制器41从存储器(SDRAM)25中读出的YUV数据被发送到LCD9,并且显示现场查看(live-view)图像(活动图像)。当执行监视操作时,即当在LCD9上显示现场查看图像时,通过CMOS接口40采用像素数量的十抽一处理以1/30秒读出一帧。
在执行监视操作的同时,仅仅在LCD9上显示现场查看图像,这起到了带女子取景器的功能,并且快门释放按钮2处于其中其还没有被按下(包括半按下)的状态。
通过在LCD9上显示现场查看图像,用户可以确认现场查看图像。也可以从显示控制器输出TV视频信号,并且经由视频电缆在外部TV上显示现场查看图像(移动图像)。
信号处理部件20a的CMOS接口40根据所加载的RAW-RGB数据计算AF(自动聚焦)估计值、AE(自动曝光)估计值、以及AWB(自动白平衡)估计值。
AF估计值被计算作为高频分量提取过滤器的输出集成(integrated)值,或相邻像素的亮度差的集成值。当数字相机处于焦点对准(焦点对准)状态时,摄影对象的边缘部分是清晰的,并且因此高频分量最高。通过使用AF估计值,当执行AF操作(焦点对准位置检测操作)时,获得在成像透镜系统中的聚焦透镜的每个位置处的AF估计值,并且其中AF估计值最大的位置被采用为其中检测到焦点对准位置的位置,并且执行AF操作。
根据R AW-RGB数据中的每个RGB颜色的每个集成值计算E估计值和AWB估计值。例如,与CMOS传感器32的所有像素的光接收表面对应的图像平面被乡等地划分成256区域(水平低划分为16个区域,并且垂直地划分为16个区域),并且计算每个区域的每个RGB颜色的集成值。
作为控制其的计算控制电路20b读出每个RGB颜色的所计算的集成值,并且在AE操作中,计算图像平面的每个区域的亮度,并且根据亮度分布确定适当的曝光量。基于所确定的曝光量,设置曝光条件(CMOS传感器32的电子快门的释放数量、光圈单元的光圈值等)。而且,在AWB操作中,根据摄影对象的光源的颜色确定AWB控制值。通过AWB操作,在由YUV转换器对YUV数据执行转换处理时调节白平衡。在执行监视操作的同时连续执行上述AE操作和AWE操作。
在执行上述监视操作的同时,在开始静态图像拍摄操作时,即在按下快门释放按钮2(从半按下到完全按下)时,执行作为焦点对准位置检测操作的AF操作和静态图像记录操作。
即,当按下快门释放按钮2(从半按下到完全按下)时,成像透镜系统的聚焦透镜在从计算控制电路(控制器)20b到马达驱动器22的驱动命令下移动,例如执行对比度估计类型AF操作(对比度AF)、所谓的爬坡(hill climb)AF操作,其中透镜沿着AF估计值增加的方法移动,并且其中AF估计值最大的位置被采用作为焦点对准位置。
在其中AF(焦点对准)范围为从无限远到最近距离的整个范围的情况下,主成像光学系统(成像透镜系统)30的聚焦透镜(未示出)可从最近距离到无限远或从无限远到最近距离移动到每个聚焦位置,并且控制器读出在CMOS接口40所计算的每个位置处的AF估计值。AF估计值最大的位置被采用作为焦点对准位置,并且聚焦透镜被移动到焦点对准位置,并且随后数字相机处于焦点对准状态。
然后,执行上述AE操作,在完成曝光之时,作为入射光通量控制器30b的机械快门单元的快门单元(未示出)在从控制器到马达驱动器22的驱动命令下被关闭,并且来自CMOS传感器32的光接收元件(矩阵中的多个像素)的用于静态图像的模拟RGB图像信号被输出。与在执行监视操作的情况一样,模拟RGB图像信号由ADC36转换成RAW-RGB数据。
RAW-RGB数据被加载到信号处理部件20b的CMOS接口40,在YUV转换器42中被转换成YUV数据,并且YUV数据随后经由存储器控制器41被存储在存储器(SDRAM)25。YUV数据从存储器(SDRAM)25被读出,在尺寸调整处理器43被转换成与记录像素的数量对应的尺寸,并且在数据压缩处理器45中被压缩成JPEG格式等的图像数据。在JPEG格式的压缩图像数据被写回到存储器(SDRAM)25中之后,其经由存储器控制器41从存储器(SDRAM)25被读出,并且经由介质I/F46.被存储在存储卡14。
II.应用到每个区块的增益(数字增益)的控制
(ii-1)增益设定方法
在上述拍摄中,在仅仅采用自然光执行拍摄并且主摄影对象光照不足(underexposed)的情况下,通常执行闪光拍摄,其中发射辅助光来补充曝光量。当仅仅采用自然光拍摄导致的这种光照不足是执行闪光发射的条件时,下面将解释通过执行闪光发射获得具有适当亮度的图像的成像处理。
为划分区块中的中心像素设定增益
图4A图释了具有适当亮度的被成像的图像。图4B是在执行闪光发射的条件下成像的情况下获得的成像图像的解释示意图,其中采用具有固定光量的闪光灯对在离闪光灯不同距离处的多个摄影对象进行成像,并且不执行增益处理。在图4B中,摄影对象的图像发暗,因为摄影对象处于较远距离。
图5A释被成像图像的解释图。图5B是图释为了获得图5A中的所形成的图像的实力的解释图,其中被成像的图像被划分为多个网格状区块,并且为每个区块设置增益值。
具体而言,为了获得图5A中所示的被成像图像,将被成像图像划分成多个网格状区块,为每个被划分区块设置增益值,并且基于所设置的正义之,对通过闪光拍摄所获得被成像图像执行增益处理。
在增益处理情况下,基本上,信号处理部件20a的划分和方法功能部件47将被成像图像划分成多个网格状区块,计算每个区块中的中心像素的亮度,以及根据中心像素的所计算亮度设置该中心像素的增益值。
对划分区块中除了中心像素之外的目标像素设置增益
在计算每个区块中除了中心像素之外的目标像素的增益值的情况下,信号处理部件20a的划分和方法功能部件47通过线性插值法根据相邻区块中的中心像素的增益值计算目标像素的增益值。
在这种情况下,信号处理部件20a的划分和方法功能部件47将包括目标像素的区块划分为以该区块的中心像素为中心的四个象限(quadrant),检测该区块的四个象限中的包括目标像素的那个象限,基于所检测结果选择除了包括目标像素的区块之外的三个相邻区块用于线性插值,并且根据所选择区块的中心像素以及包括目标像素的区块的中心像素,通过线性插值法计算目标像素的增益值。
例如,在图6中,参考标记B5表示包括目标像素的区块。区块B5被划分为四个象限I、II、III以及IV,其以区块B5中的中心像素P5为中心,检测区块B5的四个象限I、II、III以及IV之一包括目标像素的象限,并基于检测结果,选择除了包括目标像素的区块B5之外的三个相邻区块用于线性插值。根据包括中心像素P5的区块B5以及三个所选择区块的中心像素通过线性插值法计算目标像素的增益值。
参考标记P1到P9分别表示区块B1到B9的中心像素。当参考标记P5为目标区块B5中的中心像素时,关注目标区块B5中目标像素Q1和Q2。
由于目标像素Q1位于区块B5的象限III中,因此选择区块B4、B7以及B8作为与目标像素Q1相邻的其他区块。因此,在目标像素Q1情况下,包括目标像素Q1的区块B5的中心像素以及所选择区块B4、B7以及B8的中心像素由参考标记P5、P4、P7以及P8表示。通过分别计算用于中心像素P4、P5、P7、P8的亮度校正的最终增益获得用于目标像素Q1的亮度校正的最终增益,并在考虑中心像素P4、P5、P7、P8与目标像素Q1之间的每个距离的情况下计算用于中心像素P4、P5、P7、P8的最终增益的权重平均值。
同样,目标像素Q2位于区块B5的象限I中,区块B2、B3以及B6被选择作为与目标像素Q2相邻的其他区块。因此,在目标像素Q2情况下,包括目标像素Q2的区块B5的中心像素与所选区块B2、B3和B6的中心像素由参考标记P5、P2、P3以及P6表示。通过分别计算用于中心像素P2、P3、P5、P6的亮度校正的最终增益获得用于目标像素Q2的亮度校正的最终增益,并在考虑中心像素P2、P3、P5、P6与目标像素Q2之间的每个距离的情况下计算用于中心像素P2、P3、P5、P6的最终增益的权重平均值
(ii-2)基于闪光的影响的程度(闪光影响程度)控制增益(数字增益)设定
在执行闪光拍摄情况下,通过使用上述在(ii-1)中描述的的增益设定方法,基于图7中所示的闪光的影响的程度(闪光影响程度)设置增益,并且对通过闪光拍摄获得被成像图像执行增益处理,并且因此能够获得具有图5A所示的是当亮度的图像。
图8释图了离闪光灯距离与增益之间关系的增益特性线。如图8清楚所示,增益趋于较大,因为离闪光灯的距离较长。
基于图7和8以及图9图释的流程图,将解释计算控制电路(CPU)20b的所述闪光发射影响程度确定功能部件49确定闪光影响程度以及基闪光影响程度的增益设定。
在根据CMOS传感器32的布置成矩阵形式的像素获得图像的光量较低以及不能获得适当被成像图像的情况下,需要通过计算控制电路(CPU)20b的所述闪光发射影响程度确定功能部件49执行闪光发射。在这种闪光发射条件中,当用户执行拍摄操作时,计算控制电路(CPU)20b的所述闪光发射影响程度确定功能部件49首先执行预闪光发射,并计算主闪光发射的光量。
在上述闪光发射条件情况下,当接收到拍摄操作的命令时,所述计算控制电路(CPU)20b的闪光发射影响程度确定功能部件49在执行闪光灯23的预闪光发射根据由排列成CMOS传感器32的矩阵方式的像素获得的被成像图像(图像数据)计算摄影对象的亮度信息,并且将其存储在存储器(SDRAM)25中(步骤S1)。
上述亮度信息是其中被成像图像被以网格状方式划分成区块的值,并且每个区块中的Y值(亮度值)每区块被平均。
随后,所述计算控制电路(CPU)20b的闪光发射影响程度确定功能部件49确定光发射量以及用于预闪光发射的曝光控制,并且执行闪光灯23的预闪光发射(步骤S2)。
与在执行闪光灯23的预闪光发射前一样,当执行闪光灯23的预闪光发射,所述计算控制电路(CPU)20b的闪光发射影响程度确定功能部件49根据由排列成CMOS传感器32的矩阵方式的像素获得的被成像图像(图像数据)计算由闪光灯23的预闪光发射执行的摄影对象的亮度信息,并且将其存储在存储器(SDRAM)中作为执行预闪光发射时的亮度信息(步骤S3)。
随后,所述计算控制电路(CPU)20b基于执行预闪光发射时的亮度信息确定用于主闪光发射所必需的光发射量(步骤S4)。
接着,所述计算控制电路(CPU)20b的闪光发射影响程度确定功能部件49根据在执行预闪光发射之前的亮度信息以及在执行预闪光发射时的亮度信息计算闪光的影响的程度(闪光影响程度)(步骤S5)。
根据在执行预闪光发射之前的亮度信息和在执行预闪光发射时的亮度信息之间的差对每个区块获取闪光影响程度,并且由于这些亮度信息的差较大,因此闪光影响程度较高。
在计算闪光影响程度之后,所述计算控制电路(CPU)20b的闪光发射影响程度确定功能部件49计算将被应用到每个区块的增益值(步骤S6)。在此,如图7所示,将被应用的增益值这样设置,因为闪光影响程度较高,增益值较小,以及因为闪光影响程度较低,增益值较大。例如,在如图5S所示的被成像图像情况下,如图5B所示,被成像图像被划分为多个网格状区块,并且增益值按照每个划分区块设置。
增益值通过使用上述在(ii-1)中描述的增益设置方法进行设置。例如,在其中存在作为多个摄影对象的多个脸部图像的范围内,设置目标像素的增益,并且在除了上述范围的范围内,执行其中设置中心像素的增益等的增益设置。该增益设置通过计算控制电路20b执行。
在图5B中所示的写入每个区块的每个编号值表示增益的量级(magnitude)。由于闪光影响程度较低,即,由于离闪光灯的距离较长,增益增加。在与处于较近距离的人对应的区块中,增益的量级为1,并且如上所述,由于距离较远,因此增益增加,并且在与处于较远距离的墙壁对应的区块中,增益的量级为5。
在图5A和5B中,所划分区块图示为简单的16×12个区块,其可划分得更精细。
当获得增益值时,以在步骤S4中确定的光量执行主闪光发射和用于静态图像拍摄的曝光(步骤S7)。
在信号处理部件20a中对图像数据应用增益,并且在此时,在步骤S6中计算的增益值被应用到每个区块(步骤S8)。
在信号处理部件20a中执行其它图像处理,并且在存储器中记录图像数据(步骤S9)。
当对处于不同距离的摄影对象执行闪光拍摄时,如图4B所示,因为摄影对象处于较远距离,因此闪光到达不了摄影对象,因此其发暗。不过,当执行上述处理时,基于闪光影响程度,在图像中应用适当的增益,并且如图4A所示,可以获得具有适当亮度的图像。
(实例2)
在实例1中,没有基于由用于距离测量的辅助成像光学系统所执行的距离测量执行增益设置;不过,也可以基于距离测量执行增益设置。将参照图10-18解释基于距离测量的增益设置的实例。
图10是数字相机1外部视图,在其前侧提供了辅助成像光学系统(AF光学系统)8。图11是图10所示的数字相机1的后侧的外部视图。图12是图10所示的数字相机1的原理性内部配置示意图,并且辅助成像光学系统(AF光学系统)8包括一个AF透镜af_R以及专用于距离测量的图像传感器SR。图13是在图12中所示的作为主光学系统的成像透镜30a也被用作AF透镜af_L情况下的光学系统的解释图。
此外,图14是由作为主光学系统的成像透镜30a和图13所示的AF透镜af_L执行的距离测量的解释图。图15是在图13所示的CMOS传感器32的输出信号和接收来自AF透镜af_L的光通量的图像传感器SR(光接收传感器)的输出信号被用于距离测量的情况下的解释图。
而且,图16是具有作为辅助成像光学系统8的用于距离测量的两个AF透镜的数字相机1外部视图。图17图16所示的数字相机1的原理性内部配置示意图。辅助成像光学系统(AF光学系统)8,如图17所示,具有用于距离测量的两个AF透镜(AF辅助成像光学系统)af_L、af_R,以及分别接收来自这两个AF透镜af_L、af_R的光通量的、用于距离测量的第一和第二AF图像传感器(用于距离测量的第一和第二光接收传感器)SL、SR。
顺便提及,在图13中,使用焦距fL的成像透镜30a of a、焦距fR的专用于AF的AF透镜af_L、用于拍摄的CMOS传感器32、以及用于距离测量的图像传感器SR执行距离测量。在图13所示的成像透镜30a和CMOS传感器32被用于距离测量的情况下,成像透镜30a基本上以与图17中所示的专用于AF的AF透镜af_L相同的方式被使用,并且图13中所示的CMOS传感器32也基本上以与图17所示的用于距离测量的第一图像传感器SL相同的方式被使用。
比较其图13中所示的成像透镜30a和CMOS传感器32被用于距离测量的情况和其中图17中所示的专用于AF的AF透镜af_L、af_R被用于距离测量的情况,计算到摄影对象的距离的方法仅有轻微的不同。首先,将参照图13到15解释通过使用成像透镜30a(AF透镜af_L)以及CMOS传感器32(用于距离测量的第一图像传感器SL)的距离测量。
注意,图13中所示的成像透镜30a是用于成像的主透镜,并且成像放大倍率与AF透镜af_L不同。因此,在解释其中成像透镜30a作为AF透镜af_L以及CMOS传感器32作为用于距离测量的第一图像传感器(距离测量传感器)SL的情况下,考虑了成像放大倍率等。
在图13中,包括成像透镜30a、CMOS传感器32、AF透镜af_L、用于距离测量的图像传感器SR等的结构被用作距离测量设备Dx1,其计算从数字相机1到摄影对象的距离。在图17中,包括AF透镜af_L、af_R以及用于距离测量的第一和第二图像传感器(距离测量传感器)SL、SR的辅助成像光学系统8的结构被用作距离测量设备Dx2,其计算从数字相机1到摄影对象的距离。
(1)其中主光学系统的成像透镜30a以及CMOS传感器32被用作距离测量的情况
在图13中,在成像透镜30a(AF透镜af_L)以及AF透镜af_L之间的距离被作为基线长度B。经由成像透镜30a(AF透镜af_L)接收来自摄影对象O的光通量的、用于拍摄的CMOS传感器32是用于距离测量的第一图像传感器SL。经由AF透镜af_L接收来自摄影对象O的光通量的、用于距离测量的图像传感器SR是用于距离测量的第二图像传感器SR。成像透镜30a(AF透镜af_L)具有焦距fL,并且AF透镜af_L具有焦距fR。成像透镜30a(AF透镜af_L)的焦距fL与图13所示的AF透镜af_L的焦距fR的比率采用参考标记m表示,并且由下面的表达式(a)来表达。并且除此之外,焦距fL可以由下面表达式(b)表达。
m=fL/fR…表达式(a)
fL=m*fR…表达式(b)
CMOS传感器32(用于距离测量的第一图像传感器SL)的光接收表面的位置(第一图像形成位置)沿着基线从基线长度B开始向外位移距离dL,在所述位置上经由成像透镜30(AF透镜af_L)形成摄影对象O的图像。用于距离测量的图像传感器SR(用于距离测量的第二图像传感器SR)的光接收表面的位置(第二图像形成位置)沿着基线从基线长度B开始向外位移距离dR,在所述位置上经由AF透镜af_L形成摄影对象O的图像。基线长度B值成像透镜30a(AF透镜af_L)和AF透镜af_L之间的光学中心距离。
换句话说,摄影对象O的图像的第一图像形成位置是距离测量的目标,其与CMOS传感器32(用于距离测量的第一图像传感器SL)的中心相距仅为距离dL,而第二图像形成位置与用于距离测量的图像传感器SR(第二用于距离测量的图像传感器SR)的中心相距为距离dR。通过哦使用基线长度B以及距离dL、dR,从CMOS传感器32(用于距离测量的第一图像传感器SL)到摄影对象O的距离L可以通过下述表达式获得。
L={(B+dL+dR)*m*fR}/(dL+m*dR)…表达式1
在使用具有与主透镜不同且专用于距离测量的、其中焦距fL、fR相等的AF透镜(AF透镜af_L、af_R)的AF光学系统执行距离测量的情况下,表达式1有下述表达式2表达。
L={(B+dL+dR)*f}/(dL+dR)…表达式2
在表达式1中,左右透镜的焦距可以不同。如图13所示,作为用于拍摄的主透镜的成像透镜30a也可以用于作为AF透镜af_L的距离测量。
通过测量距离dL以及相对于基线长度B的距离dR,可以获得距离L。
如图14所示,原(primary)像50从CMOS传感器32(用于距离测量的第一图像传感器SL)获得,而AF图像51从用于距离测量的图像传感器SR(第二用于距离测量的图像传感器SR)获得。
例如,在图13所示的摄影对象O为图14中所示的立树52的情况下,在CMOS传感器32(用于距离测量的第一图像传感器SL)上,通过成像透镜30a(AF透镜af_L)形成立树52的图像作为摄影对象的图像(主摄影对象的图像),而在用于距离测量的图像传感器SR(用于距离测量的第二图像传感器SR)上,通过AF透镜af_L形成立树52的图像作为摄影对象的图像。根据CMOS传感器32(用于距离测量的第一图像传感器SL),可以获得图14中所示的立树图像52a作为原像50中摄影对象的图像,而根据用于距离测量的图像传感器SR(用于距离测量的第二图像传感器SR),可以获得图14中所示的立树图像52b作为AF图像51中摄影对象的图像.
再次,在CMOS传感器32(用于距离测量的第一图像传感器SL)上形成的立树图像52a显示在图11中所示的LCD9(显示部件)作为竖立(upright)图像。
在这种拍摄情况下,为了执行原像50的立树图像52a的中心部分的距离测量,用于将该立树图像52a设置给显示在LCD9上的AF目标标记Tm以便与使得如图14所示显示LCD9在上的立树图像52a的中心部分与显示在LCD9上的AF目标标记对应。通过图像处理将AF目标标记Tm显示在LCD9上。
注意,AF图像可以无需参照原像50的视角获得。接着,为了检查(examine)原像和AF图像51的重合(coincidence)程度,通过使用焦距fL与焦距fR的比率m,即,焦距比率m,缩小(reduce)原像50,并且制成被缩小(reduced)原像50a。通过对作为目标的两个图像之间亮度差求和计算图像的重合程度。所述和值被称为相关性值。
在这种情况下,AF图像51中的与缩小原像50a中的立树图像52a的位置对应的位置通过两个图像的亮度整列的相关性值获得。即,指定缩小原像50a中立树图像52a的位置,并且在AF图像51中,AF图像51中的与立树图像52a的位置对应的位置通过两个图像的亮度这列的相关性值获得。
图15是用于AF的检测摄影对象的图像的解释图。在图15中,形成在CMOS传感器32(用于距离测量的第一图像传感器SL)上的立树图像52a、52b和用于距离测量的图像传感器SR(用于距离测量的第二图像传感器SR)作为反相图像被反相以便视觉上辨认,并且成像透镜30a(AF透镜af_L)的光学轴OR和AF透镜af_L的光学轴OR对应。通过使用图15,将解释在形成于用于距离测量的图像传感器SR(用于距离测量的第二图像传感器SR)上的AF图像51中检测形成于CMOS传感器32(用于距离测量的第一图像传感器SL)上的原像50中图像区域的方法。
当分别采用x和y表示原像50的水平坐标和垂直坐标时,原像50可以表示为二维阵列Ym1[x][y]通过使用焦距比率比m缩小存储在该阵列Ym1中原像50的尺寸,获得表达缩小原像50a的数据的二维阵列Ym2[x][y]。缩小原像50a以阵列Ym2被存储。
当AF图像51的水平坐标和垂直坐标分别采用k和l表示时,AF图像51可由二维阵列afY[k][l]表达。表达缩小原像50a的Ym2[x][y]和表达AF图像51的afY[k][l]中每一个为亮度阵列。AF图像51中的与Ym2[x][y]中的亮度阵列对应的图像区域对应于原像50中的图像区域,即,通过执行执行afY[k][l]和Ym2[x][y]的对比和扫描检测afY[k][l]亮度阵列的位置。
具体而言,通过获得在区域中的其尺寸与Ym2[x][y]的尺寸相同的afY[k][l]中检测的亮度阵列,可以获得在afY[k][l]中检测的亮度阵列与Ym2[x][y]中的亮度阵列之间的相关性值。获得者两个亮度阵列之间的相关性值的计算被称之为相关性值计算。
在图像之间的重合程度最大时,相关性值最小。
例如,作为表示缩小原像50a的亮度阵列,Ym2[x][y]具有二维(2D)坐标(x,y)以及尺寸(400,300)。
并且,作为表示F图像51的亮度阵列,afY[k][l]具有2D坐标(k,l)以及尺寸(900,675)。
例如,当Ym2[x][y]位于与afY[k][l]的右下角对应的坐标处时,通过下面表达式3获得相关性值。
在此,水平坐标k=α+x,并且垂直坐标l=β+y。“α”代表用于水平移动(扫描)与AF图像51中的缩小原像50a(afY[k][l])对应的范围设置的值,而“β”代表用于垂直移动(扫描)与AF图像51中的缩小原像50a(afY[k][l])对应的范围设置的值。
通过使用下述表达式3,首先,当α=0-500,并且β=0,以及随后α=0-500和垂直坐标β=1时,计算相关性值。(当水平坐标α=500,与缩小原像50a对应的范围与AF图像51的右端重合。)
相关性值=Σ(|Ym2[x][y]-afY[α+x][β+y]|)···表达式3
当β=0-375时计算相关性值。(当β=375时,与缩小原像50a对应的范围与AF图像51的下端重合。)
在其中Ym2[x][y]的坐标与afY[k][l]的坐标之间的重合程度高时,相关性值极小。
因此,在其视角与原像50不同的AF图像中获得与主图像50的视角相同的视角。该操作为相关性比较。
如图15所示,在缩小原像50a中的被期望测量距离的任意部分为立树图像52a的中心部分的情况下,其中缩小原像50a中的立树图像52a的对比度成为峰值Pk1的部分根据CMOS传感器32(用于距离测量的第一图像传感器(光接收传感器)SL)的图像信号计算,使得立树图像52a被指定作为AF图像。并且同样,其中AF图像51中立树图像52b的对比度变成峰值Pk2的部分根据用于距离测量的图像传感器SR(用于距离测量的第二图像传感器(光接收传感器)SR)的图像信号计算。缩小原像50a中立树图像52a(摄影对象图像)的相对于基线长度B的图像形成位置为与光学轴OL相距距离dL’的位置。相对于基线长度B计算距离dR和距离dL’。
注意,在上述实例中,获得缩小原像50中摄影对象图像(AF图像)的位置,在AF图像51中检测与缩小原像50中摄影对象图像(AF图像)的位置对应的摄影对象图像,并且在原像50中任意部分处的AF图像(摄影对象图像)被指定为AF图像51的部分。不过,其中计算相关性值的坐标被稀薄化(thinned out)。
此外,关于缩小原像50a中仅被期望测量距离的部分,在AF图像51中执行相关性检测,并且指定AF图像51中摄影对象图像的一部分。注意,由于相关性值计算以像素分辨率进行,因此以AF图像的像素为单位确定距离dR以及图15中所示的距离dL’。由于距离dL’为缩小距离,因此距离dL通过dL'乘以焦距比率m而获得。
(2)两个AF透镜af_L、af_R用于距离测量的情况
如上所述,同样在由于主光学系统的AF透镜af_L、成像透镜30a不被使用而是使用两个具有相同焦距的AF光学系统的情况下,以与上述方式相同的方式执行距离测量。在如图16所示用于距离测量的辅助成像光学系统(作为距离测量设备的AF光学系统)中,如图17所示,使用两个AF透镜af_L、af_R作为具有相同焦距的两个AF光学系统,并且如图18所示,用于距离测量的第一和第二图像传感器(用于距离测量的第一和第二光接收传感器)SL、SR分别经由两个AF透镜af_L、af_R接收来自立树图像(摄影对象图像)52的光通量。
在图13和14中,成像透镜30a被用作AF透镜af_L;然而,在图16中,在图13和14中成像透镜30a的位置,提供专用(exclusive)AF透镜af_L。如图17所示,图16中的用于距离测量的辅助成像光学系统8包括AF透镜af_L、af_R以及用于距离测量的第一和第二图像传感器SL、SR。两个AF透镜af_L、af_R之间的关系基本上与用作AF透镜af_L的成像透镜30a和图13和14中AF透镜af_L之间的关系相同。CMOS传感器32与图13和14中用于距离测量的图像传感器SR之间的关系基本上与图16中用于距离测量的第一和第二图像传感器SL、SR之间的关系相同。
在使用诸如两个专用AF透镜af_L、af_R的方法中,如图18所示,首先,根据经由作为主光学系统的成像透镜30a获得的原像50,通过采用焦距比率n进行缩小形成缩小原像50a,并且通过相关性值计算根据经由每个AF透镜af_L、af_R获得的每个AF图像51L、51R中每个立树图像(摄影对象图像)52bL、52bR获得缩小原像50a中被期望测量距离的部分,并且计算每个距离dL、dR。
辅助成像光学系统(AF光学系统)8的AF透镜(AF辅助成像光学系统)af_L、af_R的焦深被设计为相当大。另一方面,原像50的深度不大,并且因此,在原像50中的斑块(blur)较大的情况下,AF图像51L中立树52bL和AF图像51R中立树52bR是不精确的,即,存在其中在其中图像的位置彼此不一致的部分中相关性值不小的情况。
原像50和AF图像51L、51R之间的相关性仅仅被用于通常确定AF图像51L、51R中每个期望测量距离的部分。期望测量距离的部分的实际距离测量可以通过使用AF图像,即,通过其焦深较大而其焦距相同的专用于AF的AF透镜af_L、af_R获得的立树图像(摄影对象图像)52bL、52bR,之间的相关性来执行。
因此,也可以在AF图像51L、51R中确定原像50中任意部分,并且,通过使用AF图像51L、51R中的这些部分,执行AF光学系统的两个左右摄影对象图像(立树图像52bL、52bR之间的相关新比较,从而测量在该部分处的距离。
如上所述,甚至可以根据相对于原像具有视差的AF图像,获得与原像的绝对位置精确一致的距离测量的数据。
在上述实例中,主光学系统和AF光学系统之间的焦距比率被设置为m;但是焦距比率并不限于m。可选地,可以预先将多个适当值的m存储为缩小图像数据50a的比例因子,并且将所述比例因子之一(在该因子下相关性值最小)被选作实际比例因子并被赋予表达式3。这实现了不使用理论设计值而是使用适合于实际图像的值的更精确距离测量。
(实例3)
下面,将基于图19的流程解释图2中的计算控制电路(CPU)20b基于距离测量的信息和闪光的影响的程度(闪光影响程度)进行的增益(数字增益)设置。
首先,当用户对数字相机1执行拍摄操作时,图2中计算控制电路(CPU)20b的距离计算部件48基于用于距离测量的第一和第二图像传感器(距离测量传感器)SL、SR的输出获取从数字相机1到摄影对象的二维距离信息(步骤S21)。
并且,随后,在闪光发射条件情况下,计算控制电路20b的距离计算部件48以与上述步骤S2相同的方式执行预闪光发射,并计算主闪光发射的光量。
以及,当接收到拍摄操作的命令时,计算控制电路20b根据CMOS传感器32的输出计算在执行预闪光发射之前的亮度信息作为曝光信息并将其存储在存储器(SDRAM)25。确定用于预闪光发射的光发射量和曝光控制值,并执行闪光灯23的预闪光发射(步骤S22)。
预闪光发射的光被发射到摄影对象比并由此被反射,并且经由成像透镜30a在CMOS传感器32上通过来自摄影对象的反光形成摄影对象的图像。此时,计算控制电路20b根据CMOS传感器32.的输出获得摄影对象的亮度信息。亮度信息为其中如图5B所示被成像图像被划分成网格状区块B(xi,yi)[i=0,1,2…n]的值,并且对每个区块B[xi,yi]每个区块中多个像素的Y值(亮度值)由信号处理部件20a的划分和方法功能部件47求平均值。
并且,计算控制电路20b基于在执行预闪光发射时的亮度信息确定主闪光发射所必需的光发射量(步骤S23)。
接着,划分和方法功能部件47根据在步骤S21中获得的二维距离信息计算每个区块B(xi,yi)所必需的增益值(步骤S24)。此时,所述计算控制电路20b的闪光发射影响程度确定功能部件49计算执行预闪光发射时的亮度信息与执行预闪光发射时的亮度信息之间的差作为闪光的影响的程度(闪光影响程度)。对每个区块B(xi,yi)计算闪光影响程度,并且当亮度信息的差越大时,则闪光影响程度越高。
并且,在计算闪光影响程度时,所述计算控制电路20b的闪光发射影响程度确定功能部件49计算将被应用到每个区块B(xi,yi)的增益值。在此,如图8所示,将被应用的增益值与离闪光灯的距离的平方成比例,并且其被设置成随着距离变长该增益值增加以及随着距离变短而增益值降低。
在计算增益值时,计算控制电路20b以在步骤S23中确定的光发射量以及执闪光灯23的用于静态图像拍摄的曝光行主闪光发射(步骤S25),并且将光从闪光灯23发射到摄影对象。摄影对象所反射的光经由成像透镜30a.在CMOS传感器32上形成摄影对象的图像。计算控制电路20b因此根据CMOS传感器32的输出信号(图像信号)获得图像数据,并且驱动和控制信号处理部件20a,并且向信号处理部件20a所获得的图像数据施加增益。此时在步骤S24中计算的增益值被应用到每个区块B(xi,yi)(步骤S26)。在信号处理部件20a中执行其他图像处理,并且图像数据被记录在存储器(SDRAM)25中(步骤S27)。
通过执行上述处理,信号处理部件20a的划分和方法功能部件47基于在所述闪光发射影响程度确定功能部件49中计算的闪光影响程度对图像中每个区块应用适当的增益,在对位于不同距离的多个摄影对象进行摄影的情况下,能够获得具有适当亮度的图像。
注意,作为通过闪光拍摄执行拍摄方法以获得适当图像的成像装置,已知有日本专利JP3873157所披露的照相机设备和在日本专利公开JP2009-094997所披露的成像装置。在日本专利JP3873157所披露的带女子照相机设备中,计算关于多个摄影对象的每一个最优光发射量,采用最优光发射量连续执行每次拍摄,并且将所拍摄的图像组合起来。不过,为了连续执行拍摄,会出现合成(composite)移位,需要较长时间来执行拍摄和组合图像,并且需要用于闪光灯的较大电容器用于连续闪光发射,并且因此不能获得根据本发明的上述实施例的操作和效果。在日本专利公开JP2009-094997所披露的成像装置,基于用于无需采用预闪光发射进行成像的信号以及采用预闪光发射进行成像的信号,图像被划分为向其贡献闪光的区块以及不向其贡献闪光的区块,并且对每一个应用最优白平衡增益。不过,在这种成像装置中,没有考虑整个图像的亮度差。因此,不能获得上述实例中描述的操作和效果。
(附加解释1)
如上所述,根据本发明实施例的成像装置包括:对摄影对象形成图像的图像传感器(CMOS传感器32);向摄影对象发射光的闪光灯23;以及控制器(系统控制器20),在其中形成于所述图像传感器上的被成像图像中的摄影对象的图像光照不足的情况下,其控制闪光灯向摄影对象发射光。此外,控制器(系统控制器20)包括划分和方法功能部件47,其将被成像图像划分成多个网格状区块,并对每个被划分区块应用数字增益;以及闪光发射影响程度确定功能部件49,其对每个划分区块确定闪光影响程度。在发射闪光以及进行拍摄时,根据由闪光发射影响程度功能部件49确定的每个划分其区块的闪光影响程度,确定由划分和方法功能部件47对每个划分区块应用的数字增益的值。
根据上述结构,通过应用数字增益的划分和方法功能部件47以及所述闪光发射影响程度确定功能部件49,在多个摄影对象处于不同距离的情况下,能够均匀地获得闪光灯23的效果。
(附加解释1-1)
可选择地,根据本发明实施例的成像装置包括对摄影对象形成图像的图像传感器(CMOS传感器32);信号处理部件20a,接收从图像传感器(CMOS传感器32)输出的被成像图像的图像信号;向摄影对象发射光的闪光灯23;以及主控制器(计算控制电路20b),在其中被成像图像中的摄影对象的图像光照不足的情况下,其控制闪光灯向摄影对象发射光。此外,信号处理部件20a包括划分和方法功能部件47,其将被成像图像划分成多个网格状区块,并对每个被划分区块应用数字增益。主控制器(计算控制电路20b)包括闪光发射影响程度确定功能部件49,其对每个划分区块确定闪光影响程度。在发射闪光以及进行拍摄时,主控制器(计算控制电路20b)根据由闪光发射影响程度功能部件49确定的每个划分其区块的闪光影响程度,确定由划分和方法功能部件47对每个划分区块应用的数字增益的值。
根据上述结构,通过主控制器(计算控制电路20b)的应用数字增益的划分和方法功能部件47以及所述闪光发射影响程度确定功能部件49,在多个摄影对象处于不同距离的情况下,能够均匀地获得闪光灯23的效果。
(附加解释2)
此外,在根据本发明实施例的成像装置中,所述控制器(系统控制器20)的闪光发射影响程度确定功能部件47通过比较根据在主闪光发射之前进行预闪光发射时的被成像图像获得的亮度值(Y值)与根据紧接着执行预闪光发射之前的被成像图像获得的亮度值(Y值),执行确定闪光影响程度。
根据上述结构,在多个摄影对象处于不同距离的情况下,能够均匀地获得闪光灯23的效果。
(附加解释3)
根据本发明实施例的成像装置还包括距离计算器48,其对每个划分区块计算离摄影对象的距离。并且所述闪光发射影响程度确定功能部件49根据距离计算器48对每个划分区块所计算的离摄影对象的距离确定闪光影响程度。
根据上述结构,在多个摄影对象处于不同距离的情况下,能够均匀地获得闪光灯23的效果。
(附加解释4)
此外,在根据本发明实施例的成像装置中,距离计算器48通过使用能够测量二维平面上距离的距离测量传感器(图13中所示的CMOS传感器(距离测量传感器)32(SL)以及用于距离测量的图像传感器(距离测量传感器)SR或用于距离测量的第一和第二图像传感器(距离测量传感器)SL、SR),计算离摄影对象的距离。
根据上述结构,能够以较高速度高精度地实现在二维平面上的距离计算。
(附加解释5)
此外,在根据本发明实施例的成像装置中,距离计算器48执行对不读自动聚焦(AF),并且对每个划分区块基于摄影对象的图像的对比度的峰位计算离摄影对象的距离。
根据上述结构,能够以较低成本实现在二维平面上的距离计算。
(附加解释6)
此外,在根据本发明实施例的成像装置中,控制器(系统控制器20)的划分和方法功能部件47将被成像图像划分成每个具有多个像素的多个区块(B1-B9),将作为每个划分区块(B1-B9中每一个)的数字增益作为数字增益设置给每个划分区块(B1-B9中每一个)的中心像素(P1-P9),以及以便在每个划分区块(B1-B9中每一个)中的除了中心像素(P1-P9)之外的像素的亮度之间不出现亮度差,通过线性插值法根据相邻区块(B1-B4、B6-B9)的中心像素(P2-P4、P7、P8)数字增益,确定每个划分区块(B1-B9中每一个)中除了中心像素(P1-P9)之外的像素(例如区块B5中的Q1、Q2)的数字增益。
根据上述结构,通过应用增益的改变能够抑制由于光量导致的图像中的亮度级别差的出现。
因此,即使在其中多个摄影对象处于与闪光灯不同距离的情况下,也能够通过将成像区域划分成网格状区块获得适当的亮度,计算闪光发射的影响的程度(闪光影响程度),以及根据所计算的闪光发射的影响的程度对每个区块应用增益。
尽管本发明已经根据示例实施例进行了描述,但是其不限于此。应该理解到,本领域技术人员在不脱离附后权利要求书所限定的本发明的范围的情况下可以在所描述的实施例中形成各种变化形式。
Claims (6)
1.一种成像装置,包括:
图像传感器,形成摄影对象的图像;
闪光灯,向所述摄影对象发射光;以及
控制器,在其中在所述图像传感器上形成的被成像图像中的所述摄影对象的图像光照不足的情况下,控制所述闪光灯向所述摄影对象发射光,
其中,所述控制器包括:划分和放大功能部件,其将被成像图像划分成多个网格状区块,并且对每个被划分区块应用数字增益;以及闪光发射影响程度确定功能部件,其对每个被划分区块确定闪光影响程度,并且在发射闪光以及执行拍摄时,根据由所述闪光发射影响程度确定功能部件对每被划分区块所确定的闪光影响程度,所述控制器确定由所述划分和放大功能部件对每被划分区块所应用的数字增益。
2.根据权利要求1所述的成像装置,其中所述闪光发射影响程度确定功能部件通过比较在执行主闪光发射之前从执行预闪光发射时的被成像图像获得的亮度值和从在紧接着执行所述预闪光发射之前的被成像图像获得的亮度值来确定所述闪光影响程度。
3.根据权利要求1所述的成像装置,还包括:
距离计算器,对每被划分区块计算离摄影对象的距离;
其中,所述闪光发射影响程度确定功能部件根据由所述距离计算器对每被划分区块所计算的离摄影对象的距离确定闪光影响程度。
4.根据权利要求3所述的成像装置,其中所述距离计算器通过使用能够测量在二维平面上的距离的距离测量传感器来计算离摄影对象的距离。
5.根据权利要求3所述的成像装置,其中所述距离计算器执行对比度自动聚焦,并对每划分区块基于摄影对象的图像的对比度的峰位来计算所述离摄影对象的距离。
6.根据权利要求1所述的成像装置,其中所述划分和放大功能部件将所述被成像图像划分成每个具有多个像素的多个区块,为每个划分区块中的中心像素设置数字增益作为每个划分区块的数字增益,并为了不导致在每个划分区块中除了中心像素之外的相邻像素之间的像素亮度值之间出现亮度差,通过线性插值法根据相邻区块的中心像素的数字增益确定每个划分区块的除了中心像素之外的像素的数字增益。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-187127 | 2012-08-28 | ||
JP2012187127A JP2014044345A (ja) | 2012-08-28 | 2012-08-28 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103685875A true CN103685875A (zh) | 2014-03-26 |
Family
ID=50187059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310382217.9A Pending CN103685875A (zh) | 2012-08-28 | 2013-08-28 | 成像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140063287A1 (zh) |
JP (1) | JP2014044345A (zh) |
CN (1) | CN103685875A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104113702A (zh) * | 2014-07-25 | 2014-10-22 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集装置 |
CN106060404A (zh) * | 2016-07-15 | 2016-10-26 | 深圳市金立通信设备有限公司 | 一种拍摄模式选择方法及终端 |
CN106204492A (zh) * | 2016-07-13 | 2016-12-07 | 合肥埃科光电科技有限公司 | 基于fpga实现的面阵相机平场矫正实时算法 |
CN106576141A (zh) * | 2014-05-20 | 2017-04-19 | 飞利浦照明控股有限公司 | 图像捕获系统、用于图像捕获系统的套件、移动电话、图像捕获系统的使用以及配置颜色匹配光源的方法 |
CN110740252A (zh) * | 2018-07-20 | 2020-01-31 | 华为技术有限公司 | 一种图像获取的方法、装置及终端 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8488055B2 (en) * | 2010-09-30 | 2013-07-16 | Apple Inc. | Flash synchronization using image sensor interface timing signal |
US9531961B2 (en) | 2015-05-01 | 2016-12-27 | Duelight Llc | Systems and methods for generating a digital image using separate color and intensity data |
US9918017B2 (en) | 2012-09-04 | 2018-03-13 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
US9179062B1 (en) * | 2014-11-06 | 2015-11-03 | Duelight Llc | Systems and methods for performing operations on pixel data |
US9807322B2 (en) | 2013-03-15 | 2017-10-31 | Duelight Llc | Systems and methods for a digital image sensor |
US9819849B1 (en) | 2016-07-01 | 2017-11-14 | Duelight Llc | Systems and methods for capturing digital images |
US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
US9218667B2 (en) * | 2013-11-25 | 2015-12-22 | International Business Machines Corporation | Spherical lighting device with backlighting coronal ring |
US9237275B2 (en) * | 2013-12-20 | 2016-01-12 | International Business Machines Corporation | Flash photography |
CN106576155B (zh) * | 2014-07-08 | 2019-04-16 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法以及程序 |
US9609200B2 (en) * | 2014-09-24 | 2017-03-28 | Panavision International, L.P. | Distance measurement device for motion picture camera focus applications |
US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
CN104796616A (zh) * | 2015-04-27 | 2015-07-22 | 惠州Tcl移动通信有限公司 | 一种基于移动终端距离传感器的对焦方法及对焦系统 |
JP6272387B2 (ja) * | 2015-05-29 | 2018-01-31 | キヤノン株式会社 | 撮像素子および撮像装置 |
US10270958B2 (en) | 2016-09-01 | 2019-04-23 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
US10447942B1 (en) * | 2018-06-07 | 2019-10-15 | Qualcomm Incorporated | Flash control for video capture |
JP6954391B2 (ja) * | 2018-06-14 | 2021-10-27 | 株式会社ニコン | 電子機器 |
WO2020240323A1 (en) | 2019-05-31 | 2020-12-03 | Ricoh Company, Ltd. | Imaging system, imaging method, and carrier means |
CN111866373B (zh) * | 2020-06-19 | 2021-12-28 | 北京小米移动软件有限公司 | 一种显示拍摄预览图像的方法、装置及介质 |
EP4013037B1 (en) | 2020-12-11 | 2023-05-03 | Axis AB | Space mapping illumination in image system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7394930B2 (en) * | 2005-01-07 | 2008-07-01 | Nokia Corporation | Automatic white balancing of colour gain values |
JP5049490B2 (ja) * | 2005-12-19 | 2012-10-17 | イーストマン コダック カンパニー | デジタルカメラ、ゲイン算出装置 |
JP5831033B2 (ja) * | 2011-08-16 | 2015-12-09 | リコーイメージング株式会社 | 撮像装置および距離情報取得方法 |
-
2012
- 2012-08-28 JP JP2012187127A patent/JP2014044345A/ja active Pending
-
2013
- 2013-08-23 US US13/974,267 patent/US20140063287A1/en not_active Abandoned
- 2013-08-28 CN CN201310382217.9A patent/CN103685875A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106576141A (zh) * | 2014-05-20 | 2017-04-19 | 飞利浦照明控股有限公司 | 图像捕获系统、用于图像捕获系统的套件、移动电话、图像捕获系统的使用以及配置颜色匹配光源的方法 |
CN104113702A (zh) * | 2014-07-25 | 2014-10-22 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集装置 |
CN104113702B (zh) * | 2014-07-25 | 2018-09-04 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集装置 |
CN106204492A (zh) * | 2016-07-13 | 2016-12-07 | 合肥埃科光电科技有限公司 | 基于fpga实现的面阵相机平场矫正实时算法 |
CN106204492B (zh) * | 2016-07-13 | 2020-03-31 | 合肥埃科光电科技有限公司 | 基于fpga实现的面阵相机实时平场矫正方法 |
CN106060404A (zh) * | 2016-07-15 | 2016-10-26 | 深圳市金立通信设备有限公司 | 一种拍摄模式选择方法及终端 |
CN110740252A (zh) * | 2018-07-20 | 2020-01-31 | 华为技术有限公司 | 一种图像获取的方法、装置及终端 |
US11810277B2 (en) | 2018-07-20 | 2023-11-07 | Huawei Technologies Co., Ltd. | Image acquisition method, apparatus, and terminal |
Also Published As
Publication number | Publication date |
---|---|
US20140063287A1 (en) | 2014-03-06 |
JP2014044345A (ja) | 2014-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103685875A (zh) | 成像装置 | |
TWI524709B (zh) | 影像擷取設備、影像擷取設備之控制方法及電子裝置 | |
US8274598B2 (en) | Image capturing apparatus and control method therefor | |
KR101756839B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
JP6046905B2 (ja) | 撮像装置、露出制御方法、及びプログラム | |
US8284294B2 (en) | Compound-eye image pickup apparatus | |
EP2212731B1 (en) | Image sensing apparatus | |
US20140071318A1 (en) | Imaging apparatus | |
CN105659159A (zh) | 相机系统、相机机身及通信方法 | |
CN101534396A (zh) | 能够控制闪光灯强度的数字成像设备和控制该设备的方法 | |
JP2007263926A (ja) | 測距装置及び方法 | |
JP2007135140A (ja) | 撮像装置 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
CN103649807A (zh) | 成像设备 | |
CN101373254B (zh) | 摄影装置及摄影装置的控制方法 | |
JP2006108759A (ja) | 撮像装置 | |
JP5800664B2 (ja) | 撮像装置およびその制御方法 | |
JP2018040929A (ja) | 撮像制御装置および撮像制御方法 | |
JP2008145583A (ja) | カメラおよび発光量演算プログラム | |
JP2001255451A (ja) | 自動合焦装置、デジタルカメラ、および携帯情報入力装置 | |
JP2012163679A (ja) | 撮像装置、ストロボ制御方法およびストロボ制御プログラム | |
JP2005037490A (ja) | デジタルカメラ | |
JP2009272799A (ja) | 撮像装置、及び、プログラム | |
JP3358584B2 (ja) | 3次元情報入力カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140326 |
|
WD01 | Invention patent application deemed withdrawn after publication |