CN1941853A - 成像设备、以及曝光控制设备、方法和程序 - Google Patents
成像设备、以及曝光控制设备、方法和程序 Download PDFInfo
- Publication number
- CN1941853A CN1941853A CNA2006101270944A CN200610127094A CN1941853A CN 1941853 A CN1941853 A CN 1941853A CN A2006101270944 A CNA2006101270944 A CN A2006101270944A CN 200610127094 A CN200610127094 A CN 200610127094A CN 1941853 A CN1941853 A CN 1941853A
- Authority
- CN
- China
- Prior art keywords
- signal
- exposure
- monochrome information
- control
- governor motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims description 13
- 238000012937 correction Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 44
- 229920006395 saturated elastomer Polymers 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 13
- 239000007787 solid Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000007812 deficiency Effects 0.000 claims description 5
- 230000001915 proofreading effect Effects 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims 4
- 238000003379 elimination reaction Methods 0.000 claims 4
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 description 20
- 238000003786 synthesis reaction Methods 0.000 description 20
- 230000001276 controlling effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000009711 regulatory function Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
一种用于使用固态成像装置摄取图像的成像设备,包括以下组件:一个或多个信号校正单元,用于基于颜色分量来校正通过摄取图像获得的图像信号;亮度检测单元,用于从在至少一个信号校正单元之前和之后的位置获得的图像信号检测亮度信息;曝光控制单元,用于基于由亮度检测单元检测的亮度信息来控制曝光调节机构。
Description
相关申请的交叉参考
本发明包含涉及于2005年9月28日向日本专利局提交的日本专利申请JP 2005-281379的主题,其全部内容结合于此作为参考。
技术领域
本发明涉及成像设备、以及曝光控制设备、方法和程序。更特别地,本发明涉及一种使用固态成像装置摄取图像的成像设备,以及一种用于在摄取图像时控制曝光调节机构的曝光控制设备、方法和程序。
背景技术
在使用固态成像装置的成像设备(诸如数字照相机和数字摄像机)中,通常,在诸如曝光控制的多种摄影(photographing)操作控制中都要检测亮度信息。在日本未审查专利申请公开第02-56180号中披露了相关技术的一种成像设备,其中,对摄取图像信号的多个区域中的每个检测亮度电平,从而基于优先区域的亮度电平执行曝光调节,并且根据每个区域的对比度来改变伽马校正值,从而减少在非优先区域中的曝光过度和曝光不足问题。
在相关技术的成像设备中,基于诸如白平衡调节的数字计算对摄取图像信号进行各种图像质量校正处理。最近,用于增强色彩再现的线性矩阵处理引起了人们的关注。
在相关技术中的成像设备中,在信号处理路径中的一个特定位置检测亮度信息,例如在线性矩阵计算单元之后的位置或白平衡调节单元之后的位置,并且使用检测的亮度信息来执行摄影操作控制等。然而,基于在一个位置检测的亮度信息的曝光控制会遇到如下问题,即,可能难以提供精确的曝光控制的问题。
图5示出了成像装置的输出信号中的光量与色度电平和亮度电平之间的关系。
通常,通过根据从摄取图像信号检测的亮度信息以及基于各种曝光设定的曝光控制值确定目标亮度控制值,并且对诸如孔径光阑和自动增益控制(AGC)装置的曝光调节功能执行反馈控制,实现了曝光控制,使得目标亮度控制值与亮度信息匹配。如果亮度信息的值大于目标亮度控制值,则关闭孔径光阑以减少射到光接收单元的光量,从而防止曝光过度。如果亮度信息的值小于目标亮度控制值,则打开孔径光阑或增大增益,以增加射到光接收单元的光量,从而防止曝光不足。
这种曝光控制是基于当射到光接收单元的光量增加时亮度信息有较大值的假设。然而,在将来自物体的入射光转换为RGB信号的典型光接收设备中,获得如图5所示的入射光量与光接收单元的输出信号之间的关系。就是说,一旦入射了大于预定量的光,则输出信号会饱和。另外,使每个RGB颜色的输出饱和的光量取决于滤色器的透射率或光接收装置的敏感特性。
通常,用于曝光控制的亮度信息用RGB信号值的加权平均值表示。如图5所示,当光接收单元的RGB输出信号电平(色度电平)饱和时,亮度信号电平(亮度电平)也饱和。如果入射了足以使光接收单元的输出信号饱和的光量,则即使控制了曝光调节功能,光接收单元的输出也不会改变,结果亮度信息没有改变。所以,不能实现精确的曝光调节。
为了避免上述问题,执行下述控制操作。如果亮度电平超过预定值或没有改变,则确定光量在可控制范围之外,并且终止上述反馈控制,直到光量落入可控制范围内。如果亮度电平很小,则确定光量低于可控制范围,并且终止上述反馈控制,直到光量落入可控制范围内。
实际上,在对光接收单元的输出图像信号执行诸如线性矩阵计算或白平衡调节的信号处理之后,图像将被显示在屏幕上。如果通过这种信号处理调节色度信息,则由色度信息生成的亮度信号也与从光接收单元输出的亮度信号存在差值。特别地,由线性矩阵计算或白平衡调节导致的信号的大的改变可能导致即使对光接收单元的输出图像的曝光是准确的,对显示(或记录)图像也会有错误曝光。因此,仅在信号处理单元之前的位置检测亮度信息的系统存在不能提供精确曝光控制的问题。
图6示出了通过使用负参数进行线性矩阵计算的图像信号中的光量与色度电平和亮度电平之间的关系。
在该线性矩阵计算中,通常将计算参数(矩阵系数)设置为负值以增强色彩再现。在负参数的影响很大的情况下,进行线性矩阵计算的RGB信号电平和亮度电平以图6示出的方式改变,并且出现了在一定的光量范围内,随着光量增加,亮度电平减少的现象。在这种情况下,如果使用从进行线性矩阵计算的图像信号检测到的亮度信息来执行类似于上述的曝光控制,则对于其中亮度电平随着光量增加而减少的区域,尽管射到光接收单元的光量可能被限制,但是射到光接收单元的光量增加。结果,没有实现准确的曝光控制。另外,未能确定光量是否在可控制范围之外。
当使用从进行白平衡调节的图像信号检测到的亮度信息执行曝光控制时,即使是在射到光接收单元的光量不变的情况下校正曝光,亮度信息也可能由于白平衡增益的改变而改变,因此抑制了准确的曝光控制。因此,即使当从进行线性矩阵计算或白平衡调节的图像信号检测到亮度信息时,也不能准确地执行曝光控制。
发明内容
如上所述,相关技术的成像设备存在如下问题,即,当使用在用于执行线性矩阵计算或白平衡调节的信号处理单元之前或之后的一个位置检测到的亮度信息执行曝光控制时,由于未考虑由信号处理导致的亮度信息改变,因此不能实现准确的曝光控制。
因此,需要提供一种成像设备以及曝光控制设备、方法和程序,其中,可以稳定地执行准确的曝光控制,而与摄取图像信号的色彩校正无关。
根据本发明的实施例,一种用于使用固态成像装置来摄取图像的成像设备,该成像设备包括以下组件:一个或多个信号校正装置,基于颜色分量校正通过摄取图像所获得的图像信号;亮度检测装置,从在至少一个信号校正装置之前和之后的位置获得的图像信号检测亮度信息;曝光控制装置,基于通过亮度检测装置检测到的亮度信息控制曝光调节机构。
在该成像设备中,通过亮度检测装置从在至少一个信号校正装置之前和之后的位置获得的图像信号检测亮度信息,并且基于检测到的亮度信息通过曝光控制装置控制曝光调节机构。因此,可以稳定地实现准确的曝光控制,而与由信号校正装置执行的任何校正无关。
因此,在根据本发明实施例的成像设备中,曝光控制装置通过使用由亮度检测装置从在至少一个信号校正装置之前和之后的位置获得的图像信号检测到的亮度信息来控制曝光调节机构,从而可以稳定地执行准确的曝光控制,而与任何校正无关,从而产生高质量的图像。
附图说明
图1是示出根据本发明实施例的成像设备的主要部分的结构的框图;
图2是示出相机信号处理电路的主要部分的结构的框图;
图3是示出由微控制器执行的曝光控制处理的第一部分的流程图;
图4是示出由微控制器执行的曝光控制处理的第二部分的流程图;
图5是示出成像装置的输出信号中的光量与色度电平和亮度电平之间的关系的示意图;以及
图6是示出进行了使用负参数的线性矩阵计算的图像信号中的光量与色度电平和亮度电平之间的关系的示意图。
具体实施方式
下面将参照附图详细描述本发明的实施例。
图1是示出根据本发明实施例的成像设备的主要部分的结构的框图。
图1所示的成像设备包括光学模块1、成像装置2、模数(A/D)转换电路3、AGC电路4、相机信号处理电路5、微控制器6、以及输入单元7。成像设备进一步包括:驱动器12,用于驱动位于光学模块1内部的诸如孔径光阑11的机构;以及定时发生器(TG)13,用于驱动成像装置2。
光学模块1包括:透镜,用于将来自物体的光束聚焦到成像装置2上;驱动机构,用于移动透镜以便聚焦或变焦;机械快门;以及孔径光阑11。响应于来微控制器6的控制信号,驱动器12控制位于光学模块1中的组件的驱动。
成像装置2可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)固态成像装置,并且根据从TG 13输出的定时信号被驱动,从而将来自物体的入射光转换为电信号。TG 13在微控制器6的控制下输出定时信号。
A/D转换电路3执行相关双采样(CDS)处理以对从成像装置2输出的图像信号进行采样和保持,从而维持高信噪(S/N)比,并且执行A/D转换以生成数字图像信号。AGC电路4在微控制器6控制下增加由A/D转换电路3输出的数字图像信号的增益。可以对没有被A/D转换电路3转换的模拟图像信号进行AGC处理。
相机信号处理电路5对从AGC电路4输出的图像信号执行各种相机处理的全部或部分,例如自动聚焦(AF)、自动曝光(AE)、或白平衡调节。在实施例中,相机信号处理电路5包括:线性矩阵(LM)计算单元51,对输入图像信号的各个颜色分量进行矩阵计算;以及白平衡(WB)调节单元52,用于调节各个颜色分量的增益。
微控制器6包括,例如,中央处理单元(CPU)、只读存储器(ROM)、以及随机存取存储器(RAM)。微控制器6执行存储在ROM等中的程序,以整体控制成像设备的各个组件,并且执行用于控制的各种计算。输入单元7包括操作键、拨盘、以及控制杆,用于接收用户输入的操作,并且将对应于输入操作的控制信号输出到微控制器6。
在成像设备中,通过光电转换由成像装置2接收的光所生成的信号顺序地被提供到A/D转换电路3,以将其转换为数字信号,并且通过AGC电路4调节数字信号的增益。相机信号处理电路5对由AGC电路4提供的数字图像信号执行图像质量校正,并且将所得信号转换为将被最后输出的亮度信号和色差信号。
从相机信号处理电路5输出的图像数据被提供到图形界面电路(未示出),并且被转换为用于显示的图像信号,并且在监视器(未示出)上显示经过相机(camera-through)的图像。当用户通过输入单元7执行输入操作以指示微控制器6记录图像时,来自相机信号处理电路5的图像数据被提供到编码器/解码器(CODEC)(未示出),并且在经过预定压缩编码后被记录到记录介质(未示出)上。通过将来自相机信号处理电路5的一帧图像数据提供到CODEC来记录静止图像,并且通过将经过处理的图像数据连续地提供到CODEC来记录活动图像。
图2是示出相机信号处理电路5主要部分的结构的框图。
如图2所示,相机信号处理电路5包括线性矩阵计算单元51a和51b、白平衡调节单元52a和52b、合成单元53、处理单元54、以及亮度检测单元55。
相机信号处理电路5包括:第一信号处理部,具有线性矩阵计算单元51a和白平衡调节单元52a;以及第二信号处理部,具有线性矩阵计算单元51b和白平衡调节单元52b。通过合成单元53以预定比率将第一和第二信号处理部中进行了图像质量校正处理的图像信号合成,并将所得的复合信号输入到信号处理单元54。
在相机信号处理电路5中,对来自AGC电路4的图像信号进行处理,诸如保证准确的黑色电平的数字电平箝位(digitalclamping)、成像装置2中的缺陷像素的信号校正、以及用于校正透镜渐晕(vignetting)的遮蔽、之后是去马赛克(de-mosaic)处理。线性矩阵计算单元51a和51b根据下面的等式(1)和(2)对经过上述处理的图像信号(R、G、和B)进行计算。微控制器6设置系数a至i和j至r。
白平衡调节单元52a根据下面的等式(3)对由线性矩阵计算单元51a确定的图像信号(RLM1、GLM1、和BLM1)执行计算。白平衡调节单元52b根据下面的等式(4)对由线性矩阵计算单元51b确定的图像信号(RLM2、GLM2、和BLM2)执行计算。微控制器6设置增益控制值Rgain1、Ggain1、Bgain1、Rgain2、Ggain2、和Bgain2。例如,微控制器6确定增益控制值,其使得基于输入到白平衡调节单元52a和52b的图像信号,相对于白色对象,各RGB分量彼此相等,并且微控制器设置白平衡调节单元52a和52b中的增益控制值。
在具有线性矩阵计算单元51a和白平衡调节单元52a的第一信号处理部中,确定操作参数(矩阵系数)以增强色彩再现。例如,确定系数使得RGB颜色的光谱特性接近于人类视觉敏感度特性。系数的非对角线(off-diagonal)分量(b、c、d、f、g、和h)可以为负数。另一方面,在具有线性矩阵计算单元51b和白平衡调节单元52b的第二信号处理部中,确定操作参数(矩阵系数)以使噪声较不明显。例如,确定系数使得将要与图像信号(R、G、和B)相乘的矩阵变为单位矩阵。
合成单元53根据下面的等式(5)将从第一信号处理部输出的图像信号(RWB1、GWB1、和BWB1)和从第二信号处理部输出的图像信号(RWB2、GWB2、和BWB2)进行合成。微控制器6设置合成比率k。在该实施例中,例如,合成比率k满足0≤k≤1。
从合成单元53输出的图像信号(RMIX、GMIX、和BMIX)被输入到处理单元54。处理单元54执行诸如γ校正和色彩空间转换的处理(以生成亮度信号和色差信号)。
亮度检测单元55从点A至点D的图像信号检测亮度信息,并且将检测结果发送至微控制器6。具体地,点A位于线性矩阵计算单元51a和51b的输入级;点B和点C分别位于线性矩阵计算单元51a和51b的输出级;以及点D位于合成单元53的输出级。将亮度信息确定为例如图像的预定区域中的亮度信号的积分值。
在点A至D检测的亮度信息具有以下意义:
在点A检测的亮度信息基于通过使用AGC电路4提高由光接收单元(成像装置2)摄取的图像信号的增益所产生的信号。就是说,在点A检测的亮度信息的值与在光接收单元获得的亮度信息的值接近。在点B检测的亮度信息基于通过线性矩阵计算单元51a进行了色彩再现校正的信号,以及在点C检测的亮度信息基于通过线性矩阵计算单元51b进行了噪声减少校正的信号。在点D检测的亮度信息基于通过使用合成单元53将从信号处理部输出的信号进行合成所获得的信号。
因此,亮度信息是在位于用于线性矩阵计算以及白平衡调节的处理模块之前和之后的多个点检测的,并且微控制器6基于检测的亮度信息执行曝光控制。所以,可以持续执行准确的曝光控制,而与由各处理模块执行的色度信号的调节无关。
下面将描述基于在点A至点D检测的亮度信息的曝光控制的具体实例。图3和图4是示出由微控制器6执行的曝光控制处理的流程图。
首先,微控制器6获得在点A检测的亮度信息Ya(步骤S11),并且确定合成单元53基于亮度信息Ya合成信号的合成比率k。在正常的曝光控制中,将合成比率k设置为1,并且仅使用由第一信号处理部获得的增强了色彩再现的图像信号。在孔径被打开使得光量不再光学地增加以及AGC电路4中设置的增益超过了预定阈值的状态下,使用由第二信号处理部获得的减小了噪声的图像信号。
在该实施例中,为满足那些条件的亮度信息Ya设置预定阈值Ymin。将亮度信息Ya与阈值Ymin进行比较(步骤S12),并且根据比较结果确定合成比率k。如果亮度信息Ya小于阈值Ymin,则根据下面的表达式(6)确定合成比率k(步骤S14)。如果亮度信息Ya等于或大于阈值Ymin,则根据下面的表达式(7)将合成比率k设置为1(步骤S13)。
如果Ya<Ymin,则k=1-(Ymin-Ya)/Ymin …(6)
如果Ya≥Ymin,则k=1 …(7)
通过根据这些条件确定合成比率k,当在低照明度下摄取对象的图像并且图像中包括很多噪声成分时,通过第二信号处理部进行图像质量校正使得噪声成分减少的图像信号可以以高于由第一信号处理部获得的图像信号的合成比率进行合成。因此,可以获得低噪声的高质量图像。
之后,微控制器6基于亮度信息Ya确定光接收单元(成像装置2)是否发生信号饱和或光线不足(步骤S15)。首先,将亮度信息Ya与预定阈值(上限)进行比较,并且确定输入信号是否由于入射光的高电平而相对于动态范围饱和(步骤S 16)。
如果出现饱和,则微控制器6基于当前为曝光调节机构设置的曝光控制值确定当前是否可以执行曝光控制(步骤S17)。就是说,微控制器6确定是否可以通过改变曝光控制值以减小光量来克服饱和。曝光控制值是控制孔径光阑11的开启和AGC电路4的增益的量的数量。增加曝光控制值以减小光量,以及减小曝光控制值以增大光量。
如果在步骤S17中确定能够执行曝光控制,则微控制器6将曝光控制增量值设置为预定正值(步骤S18)。曝光控制增量值是表示相对于当前曝光控制值的变化量的值。增加曝光控制增量值以减小目标亮度值(即光量),以及减小曝光控制增量值以增加目标亮度值(即光量)。处理进行到步骤S30,其中,将曝光控制增量值与先前的曝光控制值相加,以确定最终曝光控制值。在步骤S31中,根据确定的曝光控制值确定孔径光阑11的开启和AGC电路4的增益。这样形成了对曝光调节机构的反馈控制。之后,处理返回到步骤S11。
如果在步骤S19中基于亮度信息Ya确定光线不足,则微控制器6基于当前设置的曝光控制值确定当前是否可以执行曝光控制(步骤S20)。如果可以执行曝光控制,则微控制器6将曝光控制增量值设置为预定负值(步骤S21)。处理进行到步骤S30,其中,微控制器6使用曝光控制增量值确定最终曝光控制值。之后,在步骤S31中,根据确定的曝光控制值确定孔径光阑11的开启和AGC电路4的增益。这样形成了对曝光调节机构的反馈控制。之后,处理返回到步骤S11。
如果在步骤S17和步骤S20中确定不能执行曝光控制,则处理进行到步骤S30。在处理从步骤S17进行到步骤S30的情况下,当前设置的曝光控制值是最大值(即,使光量最小化的值),并且还没有设置曝光控制增量值。因此,在步骤S31中,曝光控制值仍为最大值,并且根据最大曝光控制值确定孔径光阑11的开启和AGC电路4的增益。之后,处理返回到步骤S11。在处理从步骤S20进行到步骤S30的情况下,当前设置的曝光控制值为最小值(即,使光量最大化的值)。在步骤S30中,将最小值设置为曝光控制值,其与先前的曝光控制值相同。由此,在步骤S31中,确定了孔径光阑11的开启和AGC电路4的增益。之后,处理返回到步骤S11。
如果在步骤S17和步骤S20中确定不能执行曝光控制,所以,通过固定当前设置的曝光控制值,终止对曝光调节机构的反馈控制。然后,当在步骤S16中确定没有出现饱和,或如果在步骤S19中确定克服了光线不足的问题时,处理进行到步骤S22,并且重新开始反馈控制。
如果在步骤S16和步骤S19中确定输入信号不饱和并且没有出现入射光不足,则基于其他点的检测信号执行曝光控制。如果合成比率k为1(步骤S22),就是说,如果仅使用从第一信号处理部获得的信号,则微控制器6获得在点B检测的亮度信息Yb,并且从检测的亮度信息Yb和当前的曝光控制值确定曝光控制增量值(步骤S23)。例如,当亮度信息Yb没有达到目标亮度值时,减少曝光控制增量值以增加入射光量,而当亮度信息Yb超过目标亮度值时,增大曝光控制增量值以减小入射光量。
如果合成比率k不是1(步骤S22),就是说,如果还使用从第二信号处理部获得的信号,则微控制器6获得在点B检测的亮度信息Yb和在点C检测的亮度信息Yc,并且通过以当前合成比率k合成亮度信息Yb和亮度信息Yc来确定合成亮度信息。之后,从确定的合成亮度信息和当前曝光控制值确定曝光控制增量值(步骤S24)。
之后,微控制器6获得在点D检测的亮度信息Yd(步骤S25),并且将亮度信息Yd与预定的上限Ydmax和下限Ydmin进行比较。如果亮度信息Yd超过上限Ydmax(步骤S26),则使曝光控制增量值增加预定量(步骤S27)。如果亮度信息Yd低于下限Ydmin(步骤S28),则使曝光控制增量值减少预定量(步骤S29)。
之后,将在上述处理中确定的曝光控制增量值与先前的曝光控制值相加,以确定最终曝光控制值(步骤S30)。根据确定的曝光控制值确定孔径光阑11的开启和AGC电路4的增益的控制值,并在对应功能中进行设置(步骤S31)。然后,处理返回至步骤S11,并且执行基于亮度信息Ya的控制。
根据上述处理,首先,在步骤S15至步骤S21的处理中,基于在最接近光接收单元的输出信号的点A检测的亮度信息Ya来检查图像信号的饱和以及光线的极端不足。因此,可以准确地确定信号饱和以及光线的不足。
之后,在步骤S23和步骤S24的处理中,基于从进行了线性矩阵计算的图像信号中检测的亮度信息来校正曝光控制值。所以,即使不对进行计算的图像信号执行准确的曝光调节或即使对未进行计算的图像信号执行准确的曝光调节,也可以校正曝光。特别地,当通过将线性矩阵计算参数设置为负系数使得不会由于光量增加而导致RGB分量的所有信号的简单增加时,能够执行准确的曝光调节。
之后,在步骤S25至步骤S29的处理中,基于从通过合成信号处理部的输出信号所获得的信号中检测的亮度信息Yd校正曝光控制值。因此,如果白平衡调节导致亮度信息的改变以及进行调节的图像曝光不准确,则可以校正曝光。另外,可以稳定地实现准确的曝光控制,而与从信号处理部获得的输出信号的合成比率k的变化无关。
上述处理允许持续准确的曝光校正,而与色度信号的调节无关,并且不会削弱通过线性矩阵计算和白平衡调节达到的图像质量校正的效果。因此,可以获得高质量的图像。
为了便于说明,以上的描述的曝光控制没有考虑快门速度控制。在快门速度固定的设置情况下,可以使用类似于上述的控制程序。在快门速度可变的设置情况下,例如,当检测的亮度信息超过目标亮度值时增加快门速度,以及当检测的亮度信息没有达到目标亮度值时减小快门速度。如果采用慢快门速度并且开启孔径光阑11照明度仍旧低,则增加AGC电路4的增益。
在相机信号处理电路5中的第一信号处理部和第二信号处理部可能不仅包括线性矩阵计算功能和白平衡调节功能,如上面实施例中所述,还包括能够单独调节色度信号成分的任何其他图像质量校正功能。通过使用在那些功能之前和之后的位置检测到的亮度信息,可以持续地实现准确的曝光控制。
包括固态成像装置的成像设备,诸如数字摄像机和数字照相机,以及具有这种成像功能的设备,诸如移动电话和个人数字助理(PDA)都在本发明的范围之内。另外,用于处理和记录由用于连接至个人计算机(PC)的视频电话系统或软件游戏的小型相机获得的成像信号的设备同样在本发明的范围之内。
上述曝光控制处理功能可以通过计算机实现。在这种情况,提供了描述将由设备具有的功能(诸如微控制器6的曝光控制功能)的处理内容的程序。该程序可由计算机来执行,从而在计算机上实现上述处理功能。可将该描述处理内容的程序记录在计算机可读记录介质上。计算机可读记录介质的实例包括磁记录设备、光盘、磁光盘、以及半导体存储器。
为了分发程序,例如,可以出售其上记录有程序的便携记录介质,诸如光盘或半导体存储器。程序可以存储在服务器计算机的存储装置中,并且可以通过网络从服务器计算机传送到其他计算机。
将要执行程序的计算机将记录在便携记录介质上的程序或从服务器计算机传送的程序存储在其存储装置中。计算机从其存储装置中读取程序,并且根据程序执行处理。可选地,计算机可以直接从便携记录介质读取程序,并且可以根据程序执行处理。每次从服务器计算机传送程序,计算机都会根据接收的程序顺序地执行处理。
本领域的技术人员应该理解,在本发明的权利要求及等同物的范围之内,根据设计需要和其他因素,可以对本发明做出各种修改、组合、再组合、以及改变。
Claims (16)
1.一种成像设备,用于使用固态成像装置摄取图像,所述成像设备包括:
一个或多个信号校正装置,用于基于颜色分量校正通过摄取图像获得的图像信号;
亮度检测装置,用于从在至少一个所述信号校正装置之前和之后的位置获得的图像信号检测亮度信息;以及
曝光控制装置,用于基于由所述亮度检测装置检测的所述亮度信息控制曝光调节机构。
2.根据权利要求1所述的成像设备,其中,所述曝光控制装置根据在所述信号校正装置之前的位置检测的所述亮度信息确定控制所述曝光调节机构的控制量,然后根据在所述信号校正装置之后的位置检测的所述亮度信息校正所述控制量。
3.根据权利要求1所述的成像设备,其中:
所述曝光控制装置基于在所述信号校正装置之前的位置检测的所述亮度信息确定所述图像信号的电平是否饱和;
当确定所述图像信号的电平饱和时,所述曝光控制装置控制所述曝光调节机构以使光量最小化,并且等待饱和消除;以及
当饱和消除时,所述曝光控制装置根据在所述信号校正装置之后的位置检测的所述亮度信息确定控制所述曝光调节机构的控制量。
4.根据权利要求1所述的成像设备,其中:
所述曝光控制装置基于在所述信号校正装置之前的位置检测的所述亮度信息确定所述固态成像装置上的入射光量;
当确定光量不足时,所述曝光控制装置控制所述曝光调节机构使光量最大化,并且等待直到光量变充足;以及
当光量变充足时,所述曝光控制装置根据在所述信号校正装置之后的位置检测的所述亮度信息确定控制所述曝光调节机构的控制量。
5.根据权利要求1所述的成像设备,其中,所述信号校正装置包括线性矩阵计算装置,用于对输入图像信号的颜色分量执行矩阵转换。
6.根据权利要求5所述的成像设备,其中,所述信号校正装置进一步包括白平衡调节装置,用于调节所述线性矩阵计算装置的输出信号的白平衡,以及
亮度检测装置,从所述线性矩阵计算装置的输入信号、所述白平衡调节装置的输入信号、以及所述白平衡调节装置的输出信号检测亮度信息。
7.根据权利要求6所述的成像设备,其中:
所述曝光控制装置基于从所述线性矩阵计算装置的所述输入信号检测的所述亮度信息确定所述图像信号的电平是否饱和;
当确定所述图像信号的电平饱和时,所述曝光控制装置控制所述曝光调节机构使光量最小化,并且等待饱和消除;以及
当饱和消除时,所述曝光控制装置根据从所述白平衡调节装置的所述输入信号检测的所述亮度信息确定控制所述曝光调节机构的控制量,并且根据从所述白平衡调节装置的所述输出信号检测的所述亮度信息校正所述控制量。
8.根据权利要求6所述的成像设备,其中:
所述曝光控制装置基于从所述线性矩阵计算装置的所述输入信号检测的所述亮度信息确定所述固态成像装置上的入射光量;
当确定光量不足时,所述曝光控制装置控制所述曝光调节机构使光量最小化,并且等待直到光量变充足;以及
当光量变充足时,所述曝光控制装置根据从所述白平衡调节装置的所述输入信号检测的所述亮度信息确定控制所述曝光调节机构的控制量,并且根据从所述白平衡调节装置的所述输出信号检测的所述亮度信息校正所述控制量。
9.根据权利要求1所述的成像设备,其中,所述信号校正装置包括白平衡调节装置,用于调节输入图像信号的白平衡。
10.根据权利要求1所述的成像设备,其中:
所述信号校正装置包括
多个线性矩阵计算装置,用于使用不同系数对输入图像信号的颜色分量执行矩阵转换;以及
信号合成装置,用于以预定比率合成所述多个线性矩阵计算装置的输出信号;以及
所述亮度检测装置从每个所述线性矩阵计算装置的输入信号和所述信号合成装置的输出信号检测亮度信息。
11.根据权利要求10所述的成像设备,其中,所述信号校正装置进一步包括多个白平衡调节装置,用于调节所述多个线性矩阵计算装置的输出信号的白平衡,并且将经过白平衡调节的信号输出至所述信号合成装置,以及
所述亮度检测装置从每个所述线性矩阵计算装置的所述输入信号、所述每个白平衡调节装置的输入信号、以及所述信号合成装置的所述输出信号检测亮度信息。
12.一种曝光控制设备,用于基于由固态成像装置获得的摄取图像信号控制曝光调节机构,所述曝光控制设备包括:
亮度获得装置,用于获得从在至少一个信号校正单元之前和之后的位置获得的图像信号检测的亮度信息,其中,所述信号校正单元基于颜色分量校正由摄取图像获得的图像信号;以及
控制量确定装置,用于根据由所述亮度获得装置检测的所述亮度信息确定控制所述曝光调节机构的控制量。
13.一种曝光控制方法,用于基于由固态成像装置获得的摄取图像信号控制曝光调节机构,所述曝光控制方法包括以下步骤:
获得从在至少一个信号校正单元之前和之后的位置获得的图像信号检测的亮度信息,其中,所述信号校正单元基于颜色分量校正由摄取图像获得的图像信号;以及
根据检测的亮度信息确定控制所述曝光调节机构的控制量。
14.一种曝光控制程序,使计算机执行基于由固态成像装置获得的摄取图像信号控制曝光调节机构的处理,所述曝光控制程序允许所述计算机作为:
亮度获得装置,用于获得从在至少一个信号校正单元之前和之后的位置获得的图像信号检测的亮度信息,其中,所述信号校正单元基于颜色分量校正由摄取图像获得的图像信号;以及
控制量确定装置,用于根据由所述亮度获得装置检测的所述亮度信息确定控制所述曝光调节机构的控制量。
15.一种成像设备,用于使用固态成像装置摄取图像,所述成像设备包括:
一个或多个信号校正单元,基于颜色分量校正通过摄取图像获得的图像信号;
亮度检测单元,从在至少一个所述信号校正单元之前和之后的位置获得的图像信号检测亮度信息;以及
曝光控制单元,基于由所述亮度检测单元检测的所述亮度信息控制曝光调节机构。
16.一种曝光控制设备,用于基于由固态成像装置获得的摄取图像信号控制曝光调节机构,所述曝光控制设备包括:
亮度获得单元,获得从在至少一个信号校正单元之前和之后的位置获得的图像信号检测的亮度信息,其中,所述信号校正单元基于颜色分量校正由摄取图像获得的图像信号;以及
控制量确定单元,根据由所述亮度获得单元检测的所述亮度信息确定控制所述曝光调节机构的控制量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005281379A JP4424292B2 (ja) | 2005-09-28 | 2005-09-28 | 撮像装置、露出制御方法およびプログラム |
JP2005281379 | 2005-09-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1941853A true CN1941853A (zh) | 2007-04-04 |
CN100568930C CN100568930C (zh) | 2009-12-09 |
Family
ID=37893358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006101270944A Expired - Fee Related CN100568930C (zh) | 2005-09-28 | 2006-09-26 | 成像设备、以及曝光控制设备和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7859589B2 (zh) |
JP (1) | JP4424292B2 (zh) |
KR (1) | KR20070035991A (zh) |
CN (1) | CN100568930C (zh) |
TW (1) | TW200719076A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101909150A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 成像设备和成像控制方法 |
CN102429624A (zh) * | 2010-09-29 | 2012-05-02 | 富士胶片株式会社 | 内视镜设备 |
CN101742336B (zh) * | 2008-11-21 | 2013-06-12 | 奥林巴斯映像株式会社 | 图像处理装置以及图像处理方法 |
CN103379289A (zh) * | 2012-04-18 | 2013-10-30 | 歌乐牌株式会社 | 摄像装置 |
CN104284096A (zh) * | 2013-07-02 | 2015-01-14 | 全视科技有限公司 | 基于像素强度分布的多目标自动曝光及增益控制的方法及系统 |
CN105611188A (zh) * | 2015-12-23 | 2016-05-25 | 北京奇虎科技有限公司 | 基于自动曝光的摄像头遮挡检测方法及装置 |
CN112567730A (zh) * | 2020-05-28 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 曝光控制方法、装置、设备、可移动平台和存储介质 |
WO2024083234A1 (zh) * | 2022-10-21 | 2024-04-25 | 安翰科技(武汉)股份有限公司 | 成像方法、染色成像的自动曝光控制方法及装置 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4293174B2 (ja) * | 2005-09-28 | 2009-07-08 | ソニー株式会社 | 撮像装置および画像処理装置 |
US8384801B2 (en) * | 2007-07-31 | 2013-02-26 | Qualcomm Incorporated | Scene-dependent auto exposure control |
TWI346499B (en) | 2007-09-19 | 2011-08-01 | Asustek Comp Inc | A method for dynamically adjusting the images of a web camera |
JP4544308B2 (ja) | 2008-01-11 | 2010-09-15 | ソニー株式会社 | 画像処理装置、撮像装置、方法およびプログラム |
JP5213966B2 (ja) * | 2008-11-25 | 2013-06-19 | 三菱電機株式会社 | 冷凍サイクル装置 |
JP5526950B2 (ja) * | 2009-05-29 | 2014-06-18 | 株式会社リコー | 画像処理装置及び方法、並びに撮像装置 |
KR101589310B1 (ko) * | 2009-07-08 | 2016-01-28 | 삼성전자주식회사 | 렌즈 쉐이딩 보정 방법 및 장치 |
CN102640500B (zh) * | 2009-12-04 | 2014-12-24 | 佳能株式会社 | 图像处理设备 |
US8704909B2 (en) * | 2010-02-23 | 2014-04-22 | Apple Inc. | Systems and methods for efficiently coding and processing image data |
KR101678691B1 (ko) * | 2010-05-12 | 2016-11-23 | 삼성전자주식회사 | 광원의 특성을 이용한 이미지 처리 장치 및 방법 |
JP5371920B2 (ja) * | 2010-09-29 | 2013-12-18 | 富士フイルム株式会社 | 内視鏡装置 |
JP5258869B2 (ja) | 2010-12-13 | 2013-08-07 | 富士フイルム株式会社 | 内視鏡装置 |
US9402034B2 (en) | 2011-07-29 | 2016-07-26 | Apple Inc. | Adaptive auto exposure adjustment |
JP6141137B2 (ja) * | 2013-07-31 | 2017-06-07 | キヤノン株式会社 | 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム |
CN103826066B (zh) * | 2014-02-26 | 2017-05-03 | 芯原微电子(上海)有限公司 | 一种自动曝光调整方法及系统 |
US9716871B2 (en) * | 2014-09-30 | 2017-07-25 | Apple Inc. | YUV signal generation for high dynamic range video content |
US9672341B2 (en) * | 2014-10-30 | 2017-06-06 | Delta ID Inc. | Systems and methods for spoof detection in iris based biometric systems |
JP6879268B2 (ja) * | 2018-06-18 | 2021-06-02 | 株式会社Jvcケンウッド | 色補正装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56104579A (en) * | 1980-01-23 | 1981-08-20 | Nec Corp | Television camera device |
JPS60167576A (ja) * | 1984-01-31 | 1985-08-30 | Canon Inc | 撮像装置 |
JP2645859B2 (ja) | 1988-05-20 | 1997-08-25 | 三洋電機株式会社 | 撮像装置 |
US6249317B1 (en) * | 1990-08-01 | 2001-06-19 | Minolta Co., Ltd. | Automatic exposure control apparatus |
JP3343921B2 (ja) | 1991-08-06 | 2002-11-11 | ミノルタ株式会社 | 人物適応露出制御装置 |
JP2766067B2 (ja) * | 1990-10-31 | 1998-06-18 | キヤノン株式会社 | 撮像装置 |
JP3207313B2 (ja) * | 1992-12-22 | 2001-09-10 | 富士写真フイルム株式会社 | 撮像装置およびその制御方法 |
US6011583A (en) * | 1995-09-08 | 2000-01-04 | Canon Kabushiki Kaisha | Image sensing apparatus using a non-interlace or progressive scanning type sensing device |
US6147707A (en) * | 1996-02-06 | 2000-11-14 | Canon Kabushiki Kaisha | Method and apparatus for gain adjustment of an image sensor |
JP3968489B2 (ja) * | 1998-07-27 | 2007-08-29 | ソニー株式会社 | リニアマトリックス回路 |
JP4004220B2 (ja) | 2000-10-05 | 2007-11-07 | 株式会社リコー | ホワイトバランス調整装置、ホワイトバランス調整方法、およびその方法をコンピュータで実行するためのプログラムを格納したコンピュータが読み取り可能な記録媒体 |
JP3631169B2 (ja) * | 2001-06-19 | 2005-03-23 | 三洋電機株式会社 | ディジタルカメラ |
JP4154157B2 (ja) * | 2002-02-25 | 2008-09-24 | 株式会社東芝 | 撮像装置 |
JP4000872B2 (ja) * | 2002-03-05 | 2007-10-31 | ソニー株式会社 | 画像撮影装置及び色収差補正方法 |
JP2003299115A (ja) | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | 画像信号処理装置 |
JP4025207B2 (ja) * | 2003-01-17 | 2007-12-19 | 富士フイルム株式会社 | 固体撮像素子及びデジタルカメラ |
KR100610478B1 (ko) * | 2004-05-06 | 2006-08-08 | 매그나칩 반도체 유한회사 | 이미지센서 및 그의 디지털 이득 보상 방법 |
-
2005
- 2005-09-28 JP JP2005281379A patent/JP4424292B2/ja not_active Expired - Fee Related
-
2006
- 2006-09-05 TW TW095132747A patent/TW200719076A/zh not_active IP Right Cessation
- 2006-09-08 US US11/517,298 patent/US7859589B2/en not_active Expired - Fee Related
- 2006-09-26 CN CNB2006101270944A patent/CN100568930C/zh not_active Expired - Fee Related
- 2006-09-27 KR KR1020060094075A patent/KR20070035991A/ko not_active Application Discontinuation
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101742336B (zh) * | 2008-11-21 | 2013-06-12 | 奥林巴斯映像株式会社 | 图像处理装置以及图像处理方法 |
CN101909150A (zh) * | 2009-06-03 | 2010-12-08 | 索尼公司 | 成像设备和成像控制方法 |
CN101909150B (zh) * | 2009-06-03 | 2012-09-05 | 索尼公司 | 成像设备和成像控制方法 |
CN102429624A (zh) * | 2010-09-29 | 2012-05-02 | 富士胶片株式会社 | 内视镜设备 |
CN102429624B (zh) * | 2010-09-29 | 2015-09-02 | 富士胶片株式会社 | 内视镜设备 |
CN103379289A (zh) * | 2012-04-18 | 2013-10-30 | 歌乐牌株式会社 | 摄像装置 |
CN104284096A (zh) * | 2013-07-02 | 2015-01-14 | 全视科技有限公司 | 基于像素强度分布的多目标自动曝光及增益控制的方法及系统 |
CN105611188A (zh) * | 2015-12-23 | 2016-05-25 | 北京奇虎科技有限公司 | 基于自动曝光的摄像头遮挡检测方法及装置 |
CN105611188B (zh) * | 2015-12-23 | 2019-06-04 | 北京奇虎科技有限公司 | 基于自动曝光的摄像头遮挡检测方法及装置 |
CN112567730A (zh) * | 2020-05-28 | 2021-03-26 | 深圳市大疆创新科技有限公司 | 曝光控制方法、装置、设备、可移动平台和存储介质 |
WO2021237575A1 (zh) * | 2020-05-28 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 曝光控制方法、装置、设备、可移动平台和存储介质 |
WO2024083234A1 (zh) * | 2022-10-21 | 2024-04-25 | 安翰科技(武汉)股份有限公司 | 成像方法、染色成像的自动曝光控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4424292B2 (ja) | 2010-03-03 |
TW200719076A (en) | 2007-05-16 |
JP2007096582A (ja) | 2007-04-12 |
KR20070035991A (ko) | 2007-04-02 |
US20070070216A1 (en) | 2007-03-29 |
TWI319116B (zh) | 2010-01-01 |
CN100568930C (zh) | 2009-12-09 |
US7859589B2 (en) | 2010-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1941853A (zh) | 成像设备、以及曝光控制设备、方法和程序 | |
CN1941917A (zh) | 成像装置及图像处理器 | |
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
CN101068311A (zh) | 摄像装置及其程序 | |
US20070019937A1 (en) | Image-taking apparatus | |
CN1992819A (zh) | 拍摄装置和方法 | |
KR101643613B1 (ko) | 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체 | |
CN1842133A (zh) | 成像设备 | |
CN1645914A (zh) | 图像处理方法、图像处理装置及其使用的计算机程序 | |
CN1993982A (zh) | 摄像装置、摄像方法及摄像控制程序 | |
JP2008529435A (ja) | 高ダイナミックレンジ画像を複数回の露光により生成するための方法および装置 | |
CN101031033A (zh) | 摄像装置以及摄像方法 | |
CN1801901A (zh) | 摄像装置以及摄像方法 | |
CN1514652A (zh) | 图像合成方法以及摄像装置 | |
CN101035205A (zh) | 具有相机抖动补偿和适应感光度转换功能的数字成像装置 | |
CN1925559A (zh) | 图像处理装置和图像处理方法 | |
CN1292582C (zh) | 数码照像机 | |
CN1700733A (zh) | 成像设备、图像处理方法和彩色区域设置程序 | |
JPH11215426A (ja) | オートフォーカス装置 | |
CN1863321A (zh) | 白平衡控制装置、方法、程序及图像摄取装置 | |
CN1703077A (zh) | 图像捕获设备和包括图像处理程序的计算机程序产品 | |
JP4335648B2 (ja) | デジタルカメラ及びデジタルカメラの撮像方法 | |
CN1249985C (zh) | 可调整感光特性曲线的影像处理方法与装置 | |
JP4054263B2 (ja) | 撮像装置及び撮像装置の撮影条件設定方法 | |
JP5803873B2 (ja) | 露出装置、露出方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091209 Termination date: 20120926 |