CN101494797B - 摄像装置及摄像方法 - Google Patents
摄像装置及摄像方法 Download PDFInfo
- Publication number
- CN101494797B CN101494797B CN2009100035885A CN200910003588A CN101494797B CN 101494797 B CN101494797 B CN 101494797B CN 2009100035885 A CN2009100035885 A CN 2009100035885A CN 200910003588 A CN200910003588 A CN 200910003588A CN 101494797 B CN101494797 B CN 101494797B
- Authority
- CN
- China
- Prior art keywords
- pixel
- output
- configuration
- filter
- behind
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本发明提供一种摄像装置及摄像方法。其不通过改变曝光量多次进行拍摄来合成图像,而是只需拍摄1次就可以扩大动态量程。当配置有G滤光器的像素的输出到达饱和电平以上时,根据配置在该像素周围没有饱和的R、B滤光器的像素输出,具备对上述G滤光器的像素输出进行补正的饱和像素校正处理部61,和对配置了R、B滤光器的像素输出值进行校正的非饱和像素补正处理部62,非饱和像素校正处理部62,通过校正配置R、B滤光器后的像素的各个输出值,使经过饱和像素校正处理部61校正后的配置G滤光器的像素的输出值,与该像素周围配置R、B滤光器后的像素的输出值之间的比率,根据色温检测手段检测出的色温,与像素输出比率存储手段所存储的像素输出比率相同。
Description
技术领域
本发明涉及数码静物照相机、数码录像摄像机等摄像装置及摄像方法,尤其是可以扩大拍摄图像的动态量程的摄像装置及摄像方法。
背景技术
与使用银盐照片胶卷的一种传统的银盐照相机拍摄图像的动态量程相比,具有CCD等固体摄像元件的数码静物照相机或数码录像摄像机等拍摄图像的动态量程极其狭窄。动态量程狭窄,会使被拍摄物体的阴暗部分产生所谓“泛黑模糊”现象,反之,会使被拍摄物体的明亮部分产生所谓“泛白失真”现象,导致图像质量下降。
因此,如一种人们已知悉的现有技术(如参照专利文献1),为了扩大CCD等固体摄像元件拍摄图像的动态量程,通过改变曝光量多次拍摄同一被拍摄物体,获得曝光量不同的多个图像之后,通过加计这些图像来生成扩大动态量程的合成图像。
专利文献1:特开2000-92378号公报
发明内容
然而,如所述专利文献1所示,为了扩大动态量程,采用一种通过改变曝光量多次进行拍摄的方法,拍摄移动的被拍摄物体,会使被拍摄物体形成2个重叠的偏移图像,从而不能正确地合成图像。
因此,本发明的目的并非在于通过改变曝光量多次进行拍摄来合成图像,而是在于提供一种只需拍摄1次就可以扩大动态量程的摄像装置及摄像方法。
为了达到所述目的,根据技术方案1所述的发明具有一种摄像元件,通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧;一种像素输出检测单元,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;一种饱和像素校正处理单元,通过利用所述像素输出检测单元,判定像素配置特定色彩滤光器后的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据像素配置其他色彩滤光器后的输出,校正已判定达到所述规定饱和电平以上的像素输出;一种非饱和像素校正处理单元,在配置特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的像素周围,校正未饱和的像素配置所述其他色彩滤光器后的输出值;一种色温检测单元,检测摄影时被拍摄物体的色温;一种像素输出比率存储单元,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,其特征在于所述非饱和像素校正处理单元,通过校正像素配置所述其他色彩滤光器后的各个输出值,使像素配置所述特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的输出值与该像素周围的像素配置所述其他色彩滤光器后的输出值之间的比率,与所述像素输出比率存储单元按照所述色温检测单元检测出的色温要求所存储的像素输出比率相同。
根据技术方案2所述的发明,其特征在于所述色温检测单元,将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域,按照每一个领域的各个像素配置所述特定色彩滤光器及其周围的各个像素配置所述其他色彩滤光器后的输出值进行摄影时,决定被拍摄物体的光源色温。
根据技术方案3所述的发明还具有一种校正系数计算单元,根据摄影时的光源计算求出谐调白色均匀所必需的校正系数,其特征在于所述校正系数计算单元,根据各个像素配置所述特定色彩滤光器及其周围的各个像素配置所述其他色彩滤光器后输出的输出值的比率,计算求出所述校正系数。
根据技术方案4所述的发明具有一种摄像元件,通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧;一种像素输出检测单元,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;一种饱和像素校正处理单元,通过利用所述像素输出检测单元,判定像素配置特定色彩滤光器后的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据像素配置其他色彩滤光器后的输出,校正已判定达到所述规定饱和电平以上的像素输出;一种非饱和像素校正处理单元,在配置特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的像素周围,校正未饱和的像素配置所述其他色彩滤光器后的输出值;一种像素输出比率存储单元,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,其特征在于所述非饱和像素校正处理单元,通过校正像素配置所述其他色彩滤光器后的各个输出值,使像素配置所述特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的输出值与该像素周围的像素配置所述其他色彩滤光器后的输出值之间的比率,与所述像素输出比率存储单元按照所述色温检测单元检测出的色温要求所存储的像素输出比率相同。
根据技术方案5所述的发明具有一种摄像元件,通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧;一种像素输出检测单元,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;一种饱和像素校正处理单元,通过利用所述像素输出检测单元,判定像素配置特定色彩滤光器后的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据像素配置其他色彩滤光器后的输出,校正已判定达到所述规定饱和电平以上的像素输出;一种非饱和像素校正处理单元,在配置特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的像素周围,校正未饱和的像素配置所述其他色彩滤光器后的输出值;一种像素输出比率计算单元,计算求出将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域后的每一个领域输出的比率,其特征在于所述非饱和像素校正处理单元,通过校正像素配置所述其他色彩滤光器后的各个输出值,使像素配置所述特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的输出值与该像素周围的像素配置所述其他色彩滤光器后的输出值之间的比率,与所述像素输出比率计算单元计算求出的像素输出比率相同。
根据技术方案6及技术方案12所述的发明,其特征在于检测所述多个像素的输出时的处理单位,水平和垂直方向的像素大小均为2×2个像素。
根据技术方案7所述的发明采用一种摄像装置的摄像方法,具有一种摄像元件,通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素前侧,其包括一种判定处理步骤,检测所述多个像素的输出的同时,判定像素输出是否达到规定饱和电平以上;一种饱和像素校正处理步骤,通过利用所述判定处理步骤,判定像素配置特定色彩滤光器后的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据像素配置其他色彩滤光器后的输出,校正已判定达到所述规定饱和电平以上的像素输出;一种非饱和像素校正处理步骤,在配置特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的像素周围,校正未饱和的像素配置所述其他色彩滤光器后的输出值;一种色温检测步骤,检测摄影时被拍摄物体的色温;一种像素输出比率存储步骤,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,其特征在于所述非饱和像素校正处理步骤,通过校正像素配置所述其他色彩滤光器后的各个输出值,使像素配置所述特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的输出值与该像素周围的像素配置所述其他色彩滤光器后的输出值之间的比率,与所述像素输出比率存储步骤按照所述色温检测步骤检测出的色温要求所存储的像素输出比率相同。
根据技术方案8所述的发明,其特征在于所述色温检测步骤,将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域,按照每一个领域的各个像素配置所述特定色彩滤光器及其周围的各个像素配置所述其他色彩滤光器后的输出值进行摄影时,决定被拍摄物体的光源色温。
根据技术方案9所述的发明还具有一种校正系数计算步骤,根据摄影时的光源计算求出谐调白色均匀所必需的校正系数,其特征在于所述校正系数计算步骤,根据各个像素配置所述特定色彩滤光器及其周围的各个像素配置所述其他色彩滤光器后输出的输出值的比率,计算求出所述校正系数。
根据技术方案10所述的发明具备采用一种摄像装置的摄像方法,具有一种摄像元件,通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素前侧,其具有一种判定处理步骤,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;一种饱和像素校正处理步骤,通过利用所述判定处理步骤,判定像素配置特定色彩滤光器后的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据像素配置其他色彩滤光器后的输出,校正已判定达到所述规定饱和电平以上的像素输出;一种非饱和像素校正处理步骤,在配置特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的像素周围,校正未饱和的像素配置所述其他色彩滤光器后的输出值;一种像素输出比率存储步骤,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,其特征在于所述非饱和像素校正处理步骤,通过校正像素配置所述其他色彩滤光器后的各个输出值,使像素配置所述特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的输出值与该像素周围的像素配置所述其他色彩滤光器后的输出值之间的比率,与所述像素输出比率存储步骤所存储的像素输出比率相同。
根据技术方案11所述的发明采用一种摄像装置的摄像方法,具有一种摄像元件,通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素前侧,其包括一种判定处理步骤,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;一种饱和像素校正处理步骤,通过利用所述判定处理步骤,判定像素配置特定色彩滤光器后的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据像素配置其他色彩滤光器后的输出,校正已判定达到所述规定饱和电平以上的像素输出;一种非饱和像素校正处理步骤,在配置特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的像素周围,校正未饱和的像素配置所述其他色彩滤光器后的输出值;一种像素输出比率计算步骤,将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域,计算求出每一个领域输出的比率,其特征在于所述非饱和像素校正处理步骤,通过校正像素配置所述其他色彩滤光器后的各个输出值,使像素配置所述特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的输出值与该像素周围的像素配置所述其他色彩滤光器后的输出值之间的比率,与所述像素输出比率计算步骤计算求出的像素输出比率相同。
根据本发明,判定像素配置特定色彩滤光器后的输出达到所述规定饱和电平以上时,不必根据其周围未饱和的像素配置其他色彩滤光器后的输出,校正大于饱和电平领域内的像素输出,扩大动态量程,改变曝光量多次进行拍摄来合成图像,只需拍摄1次就可以扩大摄像元件的动态量程。
并且,校正像素达到饱和电平以上并配置特定色彩滤光器后的像素时,还可以防止该像素周围未达到饱和电平的像素与配置其他色彩滤光器的像素之间的输出均衡失调,从而能够消除因色相(色调)偏差而产生的不谐调。
附图说明
参照下面对附图详细的说明可以更快·更好地理解对公开技术及其特征的完整描述。其中,
图1(a)为表示涉及本发明第1实施例有关的摄像装置中一种数码照相机的正视图,(b)为其俯视图,(c)为其后视图。
图2为表示涉及本发明第1实施例有关的摄像装置中一种数码照相机内部系统结构的示意方框图。
图3为表示根据本发明第1实施例配置RGB滤光器的CCD的像素配置位置和处理单位的示意图。
图4为根据本发明第1实施例说明动态量程扩大原理的说明示意图。
图5为表示根据本发明第1实施例采用YUV转换单元的结构示意方框图。
图6为表示根据本发明第1实施例采用D量程扩大预测内插单元的结构示意方框图。
图7为表示显示于液晶监控器上的摄像设定画面的一个例子的示意图。
图8为表示色温与RGB滤光器的像素输出之间关系的示意图。
图9(a)为表示根据本发明第1实施例具有一种可以将经过扩展后的G滤光器的像素输出的14比特数据压缩至12比特的转换特性的示意图,(b)为表示根据本发明第1实施例所列举的其他例子中具有一种可以将经过扩展后的G滤光器的像素输出的14比特数据压缩至12比特的转换特性的示意图。
图10为表示将12比特的RGB数据转换成8比特的RGB数据(γ转换)的转换列表的示意图。
图11(a)为表示根据本发明第1实施例执行动态量程扩大处理时的柱形标度图的示意图,(b)为表示根据本实施例不执行动态量程扩大处理时的柱形标度图的示意图。
图12(a)、(b)为表示列举了处于特定光源下其各自的灵敏度特性不同的RGB滤光器的像素输出的一个例子的示意图。
图13为表示根据本发明第3实施例采用D量程扩大预测内插单元的结构示意方框图。
具体实施方式
下面,根据附图说明本发明的各种实施例。
<第1实施例>
图1(a)为表示涉及本发明第1实施例有关的摄像装置中一种数码静物照相机(以下简称“数码照相机”)的正视图,图1(b)为其俯视图,图1(c)为其后视图;图2为表示图1(a)、(b)、(c)所示数码照相机内部系统结构的示意方框图。
(数码照相机的外观结构)
如图1(a)、(b)、(c)所示,在涉及本实施例有关的数码照相机1的上面侧,设有一个释放按钮(快门按钮)2,一个电源按钮3,一个摄像·回放切换转盘4;在数码照相机1的正面(前面)侧,设有一个包括摄像镜头系统5的镜筒组件6,一个频闪发光单元(闪光)7,一个光学取景器8。
在数码照相机1的背面侧,设有一个液晶监控器(LCD)9,一个所述光学取景器8的目镜8a,一个广角侧变焦(W)开关10,一个长焦侧变焦(T)开关11,一个菜单(MENU)按钮12,一个确定按钮(OK按钮)13等。而且,在数码照相机1的侧面内部,设有一个用于嵌装存储已拍摄图像数据的内存磁卡14(参照图2)的内存磁卡嵌装单元15。
(数码照相机的系统结构)
如图2所示,该数码照相机1具有一个模拟高频端单元(以下简称“AFE单元”)21,其包括用于使通过镜筒组件6的摄像镜头系统5入射的被拍摄物体图像在感光面上成像的固体摄像元件CCD20、CCD20,将其输出的电信号(模拟RGB图像信号)转换处理成数码信号;一个信号处理单元22,用于处理经由AFE单元21输出的数码信号;一个SDRAM23,用于暂时存放数据;一个ROM24,用于记忆控制程序等;一个电机驱动器25,用于驱动镜筒组件6等。
镜筒组件6包括一个设有变焦镜头和聚焦镜头等的摄像镜头系统5、一个光阑组件26、一个机械快门组件27;摄像镜头系统5、光阑组件26、机械快门组件27的各个驱动组件由电机驱动器25进行驱动;电机驱动器25根据从信号处理单元22的控制单元(CPU)28发出的驱动信号进行驱动控制。
CCD20如图3所示,在构成CCD20的多个像素20a上配置了一个拜耳排列的RGB原色滤光器(以下简称“RGB滤光器”),经由各个像素输出与RGB3原色相对应的电信号(模拟RGB图像信号)。
AFE单元21包括一个驱动CCD20的TG(定时信号发生单元)30,一个采集经由CCD20输出的电信号(模拟RGB图像信号)的取样CDS(相关双重取样单元)31,一个用于调整经由CDS31取样后的信号增益的AGC(模拟增益控制单元)32,一个用于将经由AGC32调整增益后的信号转换成数码信号(以下简称“RAW-RGB数据”)的A/D转换单元33。
信号处理单元22包括一个CCD接口(以下简称“CCDI/F”)34,用于向AFE单元21的TG30输出帧频水平同步信号(HD)和帧频垂直同步信号(VD),按照这些同步信号的指令要求,截取经由AFE单元21的A/D转换单元33输出的RAW-RGB数据;一个内存控制器35,用于控制SDRAM23;一个YUV转换单元36,用于将已截取的RAW-RGB数据转换成具有可以进行显示或记录的YUV格式的图像数据;一个重置尺寸处理单元37,用于按照显示或记录的图像数据尺寸要求改变图像尺寸;一个显示输出控制单元38,用于控制图像数据的显示输出;一个数据压缩单元39,用于利用JPEG格式等记录图像数据;一个媒体接口(以下简称“媒体I/F”)40,用于将图像数据写入内存磁卡14内,或读取写入内存磁卡14内的图像数据;一个控制单元(CPU)28,用于根据经由操作单元41传输的操作输入信息,按照ROM24所记忆的控制程序执行数码照相机1的整个系统控制等。
操作单元41包括一个设置于数码照相机1(参照图1(a)、(b)、(c))的外观表面上的释放按钮2、一个电源按钮3、一个摄像·回放切换转盘4、一个广角侧变焦开关10、一个长焦侧变焦开关11、一个菜单按钮12、一个确定按钮13等,经由摄影者进行操作,可以将规定的操作指令信号输入到控制单元28内。
SDRAM23用于存储截取到CCDI/F34内的RAW-RGB数据,存储经过YUV转换单元36进行转换处理后的YUV数据(YUV格式的图像数据),并可存储经过数据压缩单元39进行压缩处理后的JPEG格式等的图像数据。
另外,所述YUV数据的YUV具有一种利用辉度数据(Y)与色差(辉度数据和蓝色(B))组分数据之间的差分(U)、以及辉度数据与红色(R)组分数据之间的差分(V))信息来描述色彩的格式。
(数码照相机的监控操作、静态图像拍摄操作)
下面,说明所述数码照相机1的监控操作和静态图像拍摄操作的有关内容。该数码照相机1采用静态图像拍摄模式时,如下说明所示,可以在执行监控操作的同时,实施静态图像拍摄操作。
首先,摄影者将电源按钮3设至ON,将摄像·回放切换转盘4设定为拍摄模式,利用记录模式启动数码照相机1。控制单元28探测得知电源按钮3已设至ON,摄像·回放切换转盘4已设定为拍摄模式后,控制单元28向电机驱动器25输出控制信号,使镜筒组件6移动到可以进行拍摄的位置,并启动CCD20、AFE单元21、信号处理单元22、SDRAM23、ROM24、液晶监控器9等。
然后,将镜筒组件6的摄像镜头系统5对准被拍摄物体,使通过摄像镜头系统5入射的被拍摄物体图像在CCD20的各个像素感光面上成像。然后,经由CCD20输出与被拍摄物体图像相对应的电信号(模拟RGB图像信号),通过介于CDS31、AGC32将其输入到A/D转换单元33内,利用A/D转换单元33将其转换成12比特(bit)的RAW-RGB数据。
该RAW-RGB数据被截取到信号处理单元22的CCDI/F34内之后,通过介于内存控制器35存储于SDRAM23内。然后,将经由SDRAM23读取的RAW-RGB数据,利用YUV转换单元36转换成具有可以显示格式的YUV数据(YUV信号)之后,通过介于内存控制器35将YUV数据存储于SDRAM23内。
然后,将通过介于内存控制器35经由SDRAM23读取的YUV数据,通过介于显示输出控制单元38传输给液晶监控器(LCD)9,并显示出拍摄图像。监控所述液晶监控器(LCD)9上显示出的拍摄图像时,通过利用CCDI/F34执行像素数的间隔处理之后,按1/30秒的时间间隔,读取1帧图像。
另外,执行该监控操作时,只要具备电子取景器功能的液晶监控器(LCD)9上已显示出拍摄图像,释放按钮2则将处于未执行按压(包括按压一半)操作的状态。
通过将该拍摄图像显示于液晶监控器(LCD)9上,摄影者可以据此确认拍摄图像。另外,经由显示输出控制单元38将其作为TV录像信号予以输出之后,还可以通过介于录像电缆将拍摄图像显示于外设TV(电视)上。
然后,信号处理单元22的CCDI/F34,依据已截取的RAW-RGB数据,计算求出AF(自动对焦)评价值、AE(自动曝光)评价值、AWB(自动谐调白色均匀)评价值。
AF评价值可以依据如高频组分萃取滤波器的输出积分值、或邻近像素之间的辉度差的积分值予以计算求出。处于对焦状态时,由于被拍摄物体的边缘部分清晰可见,从而使高频组分达到最高。据此执行AF操作时(对焦检测操作时),获取摄像镜头系统5内的各个聚焦镜头位置的AF评价值,将其达到极大的点作为对焦検出位置执行AF操作。
AE评价值和AWB评价值,可以依据RAW-RGB数据的RGB值的各个积分值予以计算求出。例如:将与CCD20全部像素的感光面相对应的画面均匀分割成(水平分割成32个,垂直分割成32个)1024个区域,计算求出各个区域内的RGB累计值。
然后,控制单元28读取已计算求出的RGB累计值,经由AE处理,计算求出画面各个区域的辉度,依据辉度分布来决定合适的曝光量。根据已决定的曝光量,设定曝光条件(CCD20的电子快门次数、光阑组件26的光阑值等)。并且,经由AWB处理,依据RGB分布来判定被拍摄物体色彩和光源色彩,决定与光源的色彩相吻合的AWB控制值。通过执行该AWB处理,谐调利用YUV转换单元36将其转换处理成YUV数据时的白色均匀。另外,所述AE处理和AWB处理在执行所述监控时可以连续进行操作。
然后,执行所述监控操作时,按压操作释放按钮2(按压一半至全部按压),开始进行静态图像拍摄操作之后,执行对焦位置检测操作中的AF操作和静态图像记录处理。
也就是说,按压操作释放按钮2(按压一半至全部按压),经由控制单元28将驱动指令传递给电机驱动器25,使摄像镜头系统5的聚焦镜头移动,执行诸如所谓登山AF的对比度评价方式的AF操作。
AF(对焦)对象范围为无限到至近的全部领域时,摄像镜头系统5的聚焦镜头可以移动到从至近到无限、或从无限到至近之间的各个聚焦位置,控制单元28读取经由CCDI/F34计算求出的各个聚焦位置的所述AF评价值。然后,将各个聚焦位置的AF评价值达到极大的点作为对焦位置,使聚焦镜头移动对准对焦位置。
然后,执行所述AE处理,完成曝光时,经由控制单元28将驱动指令传递给电机驱动器25,关闭机械快门组件27,经由CCD20输出用于静态图像的模拟RGB图像信号。然后,与执行所述监控时相同,利用AFE单元21的A/D转换单元33将其转换成RAW-RGB数据。
然后,将该RAW-RGB数据截取到信号处理单元22的CCDI/F34内,利用后述的YUV转换单元36将其转换成YUV数据,通过介于内存控制器35将其存储于SDRAM23内。然后,经由SDRAM23读取该YUV数据,利用重置尺寸处理单元37将其转换成与记录像素数相匹配的尺寸,利用数据压缩单元39将其压缩成JPEG格式等图像数据。
将已压缩的JPEG格式等图像数据重新写入SDRAM23内之后,通过介入内存控制器35,经由SDRAM23予以读取,通过介入媒体I/F40将其存储于内存磁卡14内。
(本发明扩大动态量程的原理)
在构成数码照相机1的CCD20的各个像素上,配置拜耳排列的RGB滤光器(参照图3),然而对于诸如太阳光等具有宽频带的光,常规RGB滤光器的灵敏度会因各种色彩的辉度不同而异。
如图4所示,采用具有一个G(绿色)滤光器的灵敏度大于R(红色)滤光器、B(蓝色)滤光器的灵敏度2倍左右的R G B滤光器(图4のa、b、c)的CCD20时,只要与诸如太阳光等具有宽频带的光相同,其入射到RGB滤光器内时,G滤光器(图4的c所示斜线部分)的像素输出就会比R、B滤光器的各个像素输出先达到饱和电平A。另外,图4中,f表示G滤光器的像素灵敏度特性,g表示R、B滤光器的各个像素灵敏度特性,G滤光器具有其像素灵敏度特性大于R、B滤光器的各个像素灵敏度特性2倍左右的灵敏度。
然而,具有配置RGB滤光器的CCD等固体摄像元件的传统数码照相机,如图4的a、b、c所示RGB滤光器,根据高灵敏度G滤光器的像素输出,谐调饱和电平A,设定动态量程的范围。因此,G滤光器的像素输出达到饱和电平A时,R、B滤光器的像素输出也只能达到饱和电平A的1/2左右。
反之,根据本发明,如图4的d、e所示RGB滤光器,即使G滤光器的像素输出超过饱和电平A,只要R、B滤光器的各个像素输出处于未超过饱和电平A的范围以内,就可以依据R、B滤光器的各个像素输出电平进行校正,使其能够根据R、B滤光器的各个像素灵敏度特性(图4的g)和G滤光器的像素灵敏度特性(图4的f)来预测内插G滤光器的像素输出电平(点状虚线部分),按照该预测内插(校正)的量,相应地扩大动态量程。
如上述所示,根据本实施例,对于具有诸如太阳光等宽频带的光,G滤光器具有其像素灵敏度特性大于R、B滤光器的各个像素灵敏度特性2倍左右的灵敏度。因此,根据本实施例扩大动态量程的扩大程度最大值,比不进行动态量程扩大处理操作的情况下执行常规的拍摄操作时大2倍左右。
另外,根据本实施例,G滤光器具有其像素灵敏度特性大于R、B滤光器的各个像素灵敏度特性2倍左右的灵敏度,据此将扩大动态量程的扩大程度最大值设为2倍,从而可以通过改变RGB滤光器的各个像素灵敏度特性,将扩大动态量程的扩大程度最大值,设定为大于2倍的规定值、或小于2倍的规定值。
(利用YUV转换单元36执行动态量程扩大处理)
根据本实施例,数码照相机1的YUV转换单元36具有一种扩大所述动态量程所必需的动态量程扩大处理功能。
如图5所示,YUV转换单元36包括一个后述的动态量程扩大预测内插单元(以下简称“D量程扩大预测内插单元”)50,一个比特压缩转换单元51,一个白色均匀控制单元52,一个同步化单元53,一个音频转换单元54,一个RGB-YUV转换单元55,一个图像尺寸变频器单元56,一个辉度柱形标度图生成单元57,以及一个边缘突出显现单元58。
如图6所示,D量程扩大预测内插单元50包括一个辉度电平判定单元60,一个饱和像素校正处理单元61,一个非饱和像素校正处理单元62,以及一个比特扩展处理单元63。
辉度电平判定单元60可以在依据所输入的RAW-RGB数据来检测各个像素设置RGB滤光器后的像素输出的同时,判定像素设置具有最高灵敏度的G滤光器后的像素输出(以下简称“G滤光器的像素输出”)是否达到规定饱和电平以上。
饱和像素校正处理单元61通过利用辉度电平判定单元60,判定G滤光器的像素输出已达到规定饱和电平以上时,根据配置该G滤光器的像素周围的像素设置R、B滤光器后的像素输出(以下简称“R、B滤光器的像素输出”),校正已达到规定饱和电平以上的G滤光器的像素输出(预测内插处理)(详见后述内容)。非饱和像素校正处理单元62根据经过饱和像素校正处理单元61进行校正后的G滤光器的像素输出值,校正配置该G滤光器的像素周围的R、B滤光器的像素输出(详见后述内容)。
比特扩展处理单元63通过利用辉度电平判定单元60,判定G滤光器的像素输出未达到饱和电平时,不必依据G滤光器的像素输出、以及R、B滤光器的像素输出来校正输出电平,仅分别将其各自的比特从12比特扩展至14比特。
下面,根据本实施例,说明动态量程扩大处理操作的有关内容。
例如:希望拍摄的被拍摄物体的背景有一部分极其明亮而需要扩大动态量程等时,摄影者只需按压操作菜单按钮12(参照图1(C)),就能使如图7所示的摄像设定画面显示于液晶监控器(LCD)9上。
然后,如图7所示,根据按压操作菜单按钮12所选择的“动态量程2倍”项目,按下确定按钮(参照图1(C))13,决定选用“动态量程2倍”。由此启动(ON)动态量程扩大处理操作,经由控制单元28向辉度电平判定单元60输出动态量程的扩大倍率为2倍的控制信号。
另外,根据本实施例,动态量程的扩大倍率可以将所述2倍作为最大值,在1.1~2倍的范围内任意地进行设定。
然后,经由控制单元28向辉度电平判定单元60输出动态量程的扩大倍率为2倍的控制信号,执行动态量程扩大处理操作之后,D量程扩大预测内插单元50的辉度电平判定单元60,根据所输入的RAW-RGB数据,判定处理G滤光器的像素输出是否达到规定饱和电平以上。
执行该判定处理时,根据本实施例,设置RGB滤光器的CCD20的各个像素如图3所示,将粗线方框A内的2×2个像素(G滤光器为2个像素、R、B滤光器分别为1个像素)作为处理单位(最小单位)。
该处理单位(粗线方框A)内G滤光器的2个像素中,至少有1个像素输出达到规定饱和电平以上时,如上述所示,由于G滤光器的灵敏度大于R、B滤光器的灵敏度约2倍,因此,G滤光器的像素输出值(G)可以利用下列公式(1)计算求解。
G={(R+B)/2}×2 …公式(1)
如公式(1)所示,饱和像素校正处理单元61计算求出R、B滤光器的像素输出的平均值,乘以2倍,由此计算求出G滤光器的像素输出值。计算求出的G滤光器的像素输出值,可以置换成处理单位(2×2个像素)内G滤光器的2个像素输出值。另外,由于所述G滤光器的像素输出值将被转换成超过12比特的数据,所以,在此将其置换成14比特的数据。由此可见,因为R、B滤光器的像素输出最大值均为4095(12比特),所以,G滤光器的像素输出最大值应为8190,从而可以将其视为14比特的数据进行处理。
另外,根据所述公式(1),其用2×2个像素来计算求出G滤光器的像素输出值,但不受此限,也可以分别用校正对象中G滤光器的像素周围的R、B滤光器的n(2个以上)个像素,采用与公式(1)相同的方法,计算求出其平均值,乘以2倍。
然而,如上述所示,利用饱和像素校正处理单元61校正已达到规定饱和电平以上的G滤光器的像素输出时,如果仅校正已处于饱和的G滤光器的像素输出,则会使之与其周围处于未饱和的R、B滤光器的像素输出之间的均衡失调,致使色相(色调)紊乱。因此,非饱和像素校正处理单元62采取了如下所示方式,依据经过饱和像素校正处理单元61进行校正后的G滤光器的像素输出,相应地校正R、B滤光器的像素输出。
图8为表示与不同光源色温(2000K(开耳芬)以下~9000K(开耳芬)以上)相对应的RGB滤光器的各个像素输出比率中一个例子的特性图。依据图8可知,G滤光器的像素输出在色温发生变化的情况下,几乎没有变化。但是,R滤光器的像素输出会随着色温降低(泛红光源)而增大,B滤光器的像素输出会随着色温上升(泛蓝光源)而增大。
如图8所示色温与RGB滤光器的各个像素输出值之间的比率关系,取决于配置RGB滤光器的CCD。因此,将配置所述RGB滤光器的CCD20装配于数码照相机1上时,将与配置该RGB滤光器的CCD20相对应的如图8所示不同色温与RGB滤光器的各个像素输出值之间的比率关系的列表(以下简称“RGB输出比率列表”),存储于ROM24内。
然后,控制单元28依据经由CCDI/F34获取的AWB评价值中RGB分布,决定摄像时被拍摄物体的色温之后,从ROM24中读取所述RGB输出比率列表,将其输出到非饱和像素校正处理单元62内。由此,根据本实施例,“权利要求书”中的像素输出比率存储单元等同于ROM24,色温检测单元等同于控制单元28。
然后,非饱和像素校正处理单元62通过校正R、B滤光器的像素输出值,使摄影时被拍摄物体的色温,与经过饱和像素校正处理单元61进行校正后的G滤光器的像素输出值和该G滤光器的像素周围的R、B滤光器的像素输出值之间的比率,与所述RGB输出比率列表中的像素输出比率相同。
另外,利用辉度电平判定单元60判定G滤光器的像素输出未达到饱和电平时,比特扩展处理单元63不必依据G滤光器的像素输出、以及R、B滤光器的像素输出来校正输出电平,仅分别将其各自的比特从12比特扩展至14比特。
然而,利用辉度电平判定单元60判定处理G滤光器的像素输出是否达到饱和电平以上之前,必须完成缺陷像素的校正。也就是说,设置G滤光器的像素中有缺陷像素,且有输出经常处于饱和的值的像素时,会将相同处理单位内设置G滤光器的像素置换成较大值,从而会使其产生新的缺陷像素。
并且,配置R、B滤光器的像素中有缺陷像素时,根据所述公式(1),换算设置G滤光器的像素时,会得出不正确的值。因此,根据本实施例,CCDI/F34具有一个可以清除缺陷像素输出的缺陷像素输出清除处理单元(无图示)。
然后,将利用D量程扩大预测内插单元50的饱和像素校正处理单元61、非饱和像素校正处理单元62分别进行校正后的RGB滤光器的像素输出值数据,或者利用比特扩展处理单元63仅扩展比特后的RGB滤光器的像素输出值数据,输出到比特压缩转换单元51内。
比特压缩转换单元51根据如图9(a)所示转换特性(指定3个节点,用直线近似标注这些之间的4个区间的折线近似特性),将已扩展至14比特的RGB滤光器的像素输出中G滤光器的像素输出,压缩至12比特。另外,图9(a)中,a表示12比特的范围,b表示将最大值8190的数据转换成1/2倍的单线性转换特性(点状虚线部分)。
根据如图9(a)所示转换特性,因G滤光器的像素输出的最大值为8190,从而需将8190压缩至4095。然后,还应根据G滤光器的像素输出的压缩倍率,相应地压缩R、B滤光器的像素输出值。
如上述所示,根据本实施例,列举了将最大值扩展至8190之后,再将G滤光器的像素输出压缩至最大值为4095时的一个例子,据此利用具有图9(a)中用实线注明的3个节点的转换特性。根据本实施例,可以获得利用无单节点的线性转换特性(图9(a)的b)所不能得到的以下2个效果。
第1个效果就是可以依据具有较高数据可靠性的数据,分配多个比特数。也就是说,依据已达到饱和电平以上的G滤光器的像素输出来实施预测内插处理时,如上述所示,在G滤光器的像素输出值达到饱和电平附近规定值以上的范围内实施校正(预测内插),在该规定值以下的范围内不实施校正。由此可见,实施校正范围与不实施校正范围,其数据的精度不同。
也就是说,如利用所述公式(1)来校正处于饱和的G滤光器的像素输出值(预测内插)时,有时会由于主要被拍摄物体的色彩而不能在实施校正的范围内正确地再现被拍摄物体的辉度电平。反之,在不实施校正的范围内,由于其数据已将经由配置RGB滤光器的CCD20所输出的实际数据(模拟RGB图像信号)转换成A/D,因此,该数据具有较高的可靠性。
也就是说,根据如图9(a)所示本实施例所具备的转换特性(实线注明部分),如果输入14比特数据为1024时,输出12比特数据为1024,则如实使用原始数据。反之,如果输入14比特数据为3072时,输出12比特数据为2560,则会由于所分配的比特少于在该范围内进行校正之前所分配的比特,而或多或少地产生一些比特误差。
由此,如果不采用无单节点的线性转换特性(点状虚线注明部分),而根据本实施例采用有3个节点的转换特性(实线注明部分),则可以使分配比特逐渐减少,从而能够分配多于具有高数据可靠性的数据的比特数。
并且,第2个效果就是可以正确地存储低、中辉度的浓淡色调。也就是说,根据单线性转换特性(图9(a)的b)压缩比特时,在未实施低辉度侧的预测内插的范围内,分配比特只能达到1/4。从而使其形成为一个无浓淡色调感的图像。反之,根据图9(a)所示本实施例所具备的转换特性(实线部分)来压缩比特时,依据与饱和电平以下、低辉度电平的像素输出相对应的数据,通过采用经过比特压缩转换单元51压缩比特之前与压缩比特之后的值略为相同的压缩率,可以使低辉度电平保持良好的浓淡色调性。
另外,根据本实施例,将经过扩展后的G滤光器的像素输出的14比特数据缩小至12比特时,如图9(a)所示,其表示指定3个节点并根据用直线近似标注这些之间的4个区间的折线近似特性(转换特性)来压缩比特的一种结构,但并未特别限定该区间数。例如也可以采用指定1个节点来标注2个区间的折线近似特性,但由于其会使节点附近分配比特发生大的变化,从而降低所述2个效果。由此可见,最好是采用具有3个以上区间数的折线近似特性(转换特性)。
并且,如图9(b)所示,也可以将经过扩展后的G滤光器的像素输出的14比特数据缩小至12比特的转换特性,作为无多个节点的曲线所决定的转换特性予以使用。也就是说,与具有图9(a)中4个区间的转换特性不同,区间数为8192的转换特性取决于该曲线。另外,图9(b)中,a表示12比特的范围。
并且,依据输入14比特数据的0~8192,设置具有缩小转换至12比特之后的数值数据的检查列表,可以利用取决于该曲线的转换特性,将经过扩展后的G滤光器的像素输出的14比特数据,正确地压缩至12比特。
然后,将经过比特压缩转换单元51将14比特压缩转换至12比特后的RGB滤光器的像素输出数据,输入到白色均匀控制单元52内。
白色均匀控制单元52利用乘法计算求出依据输入的RGB滤光器的像素输出值数据来谐调白色均匀所必需的校正系数。根据利用CCDI/F34所生成的所述AWB评价值,利用控制单元28计算求出该校正系数。另外,该校正系数为可以使光源色彩改为白色的系数。由此,根据本实施例,“权利要求书”中的校正系数计算单元等同于白色均匀控制单元52。
按照具体情况,根据图8所示不同色温与RGB滤光器的像素输出值的比率,用R滤光器的像素输出值,乘法计算求出作为校正系数使用的G/R(G滤光器的像素输出值/R滤光器的像素输出值),用B滤光器的像素输出值,乘法计算求出作为校正系数使用的G/B(G滤光器的像素输出值/B滤光器的像素输出值),据此谐调RGB滤光器的像素输出值的电平。
然而,经过所述D量程扩大预测内插单元50的饱和像素校正处理单元61、非饱和像素校正处理单元62进行校正处理之后,RGB滤光器的像素输出值的比率就是由光源色彩所决定的RGB滤光器的像素输出值的比率。
由此可见,用经由D量程扩大预测内插单元50的输出,乘以经过白色均匀控制单元52进行校正后的所述校正系数所计算求出的输出,与RGB滤光器的电平略为相同,其就是接近无色的值。另外,RGB滤光器的全部像素输出值都处于饱和的图像领域会产生泛白失真,使图像变白而消失。并且,仅仅只有高灵敏度的G滤光器的像素输出值处于饱和的图像领域,也会由于极有可能入射高辉度的大光量,从而使像素输出成为校正对象的图像领域无色时也能减少不谐调。
然后,将经过白色均匀控制单元52谐调白色均匀后的RGB滤光器的像素输出值数据(12比特),输入到同步化单元53内。同步化单元53依据拜耳排列的1个像素仅具有单色数据的RAW数据来实施内插演算处理,依据1个像素来生成RGB全部数据。
然后,将经过同步化单元53所生成的RGB全部数据(12比特),输入到音频转换单元54内。音频转换单元54根据图10所示转换列表来实施γ转换,将12比特的RGB数据转换成8比特的RGB数据,生成8比特的RGB值,输出到RGB-YUV转换单元55内。
RGB-YUV转换单元55通过进行矩阵演算,将所输入的RGB数据(8比特)转换成YUV数据,输出到图像尺寸变频器单元56内。图像尺寸变频器单元56依据所输入的YUV数据(8比特),将其缩小或扩大至所希望的图像尺寸,输出到辉度柱形标度图生成单元57及边缘突出显现单元58内。
辉度柱形标度图生成单元57依据所输入的YUV数据,生成辉度柱形标度图。边缘突出显现单元58依据所输入的YUV数据,实施与图像谐调的边缘突出显现等处理,通过介入内存控制器35将其存储于SDRAM23内。
由此,根据本实施例,即使处理单位内高灵敏度的G滤光器的像素输出超过饱和电平时,也可以根据其周围未达到饱和电平的R、B滤光器的像素输出,校正(预测内插处理)处于饱和的G滤光器的像素输出之后,如图4所示,根据G滤光器(图4のd、e)的像素输出经过校正(预测内插处理)后的扩展领域(图4的d、e中标注的G滤光器的像素输出的点状虚线部分),只需拍摄1次就能将动态量程扩大2倍。
由此可见,拍摄图像内的背景等处有高辉度部分时,也可以通过防止发生泛白失真来得到良好的浓淡色调性。
并且,根据本实施例,如上述所示,利用非饱和像素校正处理单元62,校正R、B滤光器的像素输出值,使经过饱和像素校正处理单元61依据摄影时被拍摄物体的色温进行校正后的G滤光器的像素输出值与该G滤光器的像素周围的R、B滤光器的像素输出值之间的比率,与所述RGB输出比率列表中的像素输出比率相同。
据此,校正已达到饱和电平以上的G滤光器的像素输出时,也可以防止与该G滤光器的像素周围未达到饱和电平的R、B滤光器的像素输出之间的输出均衡失调,从而能够消除因色相(色调)偏差而产生的不谐调。
图11(a)中,列举了G滤光器的像素输出超过饱和电平时,根据所述本实施例来实施动态量程的扩大处理时经由辉度柱形标度图生成单元57所生成的柱形标度图的一个例子。由该柱形标度图可知,经过实施动态量程的扩大处理之后,最大辉度部分(255)几乎不会产生泛白失真,从而能以良好的浓淡色调予以再现。
反之,图11(b)中,列举了G滤光器的像素输出超过饱和电平时,根据所述本实施例来实施动态量程的扩大处理时经由辉度柱形标度图生成单元57所生成的柱形标度图的一个例子。由该柱形标度图可知,经过动态量程的扩大处理之后,最大辉度部分(255)具有度数,从而产生了泛白失真。
另外,根据所述第1实施例的说明及图4,说明了图4中规定饱和电平判定值的饱和电平A,已与校正后的12比特最大值4095一致,但不受此限。例如处于完全饱和的输出附近的高辉度部分,CCD具有不良输出直线性(线性)的RGB滤光器时,例如将小于处于完全饱和的4095的值4032作为规定的饱和电平值(图4中的饱和电平A)时,也可以将超过该值的像素输出列为校正处理(预测内插处理)的对象。
并且,根据数码照相机的系统结构,高辉度被拍摄物体也存在着不能达到12比特的最大值4095的情况。在这种情况下,也同样可以将规定的饱和电平设定为小于4095的值。
由此,将小于4095的值作为规定的饱和电平时,也可以根据其特性,相应地改变图10中的转换曲线,将比特压缩转换单元51的输出设为4095,从而不必改变后程序的处理,就能扩大动态量程。
<第2实施例>
根据所述第1实施例,按照摄影时被拍摄物体的色温要求,通过校正R、B滤光器的像素输出值,使经过校正后的G滤光器的像素输出值与该G滤光器的像素周围的R、B滤光器的像素输出值之间的比率,与所述RGB输出比率列表中的像素输出比率相同。但是,采用简易结构时,也可以通过预先测定与处于特定光源下的RGB滤光器的像素输出的灵敏度差相匹配的比率,将其记忆于ROM24(参照图2)内,通过校正R、B滤光器的像素输出值,使其与该预先测定的比率相同。采用其他结构时,与所述第1实施例中的数码照相机相同。
例如图12(a)、(b)中,列举了处于特定光源下其各自的灵敏度特性不同的2个RGB滤光器的像素输出的一个例子。
采用图12(a)中具有RGB滤光器的像素输出特性的数码照相机(摄像装置),可以预先记忆该RGB滤光器的像素输出比率。并且,采用图12(b)中具有RGB滤光器的像素输出特性的数码照相机(摄像装置),可以预先记忆该RGB滤光器的像素输出比率。
而且,采用如图12(a)所示已预先记忆RGB滤光器的像素输出比率的数码照相机(摄像装置),通过校正R、B滤光器的像素输出值,使其与该预先测定的比率相同。
另外,由于通常的白色均匀控制范围为2000~8000K(开耳芬)左右,因此,最好是预先记忆在该中心附近具有色温为4000~5000K(开耳芬)的光源下测定的RGB滤光器的像素输出比率。
由此,根据本实施例,其具有一种结构,可以预先测定并记忆与处于特定光源下的RGB滤光器的像素输出的灵敏度差相匹配的比率,通过校正R、B滤光器的像素输出值,使其与该预先测定的比率相同,从而能够采用比第1实施例更为简易的结构。
<第3实施例>
图13为表示根据本实施例具有一个D量程扩大预测内插单元50a结构的方框图,并具有一个像素输出比率设定单元64。其他结构与所述第1实施例相同,省略重复说明。
根据第1实施例的说明所示,经由CCDI/F34所生成的所述AWB评价值,可以依据将与CCD20全部像素的感光面相对应的画面均匀分割成(水平分割成32个,垂直分割成32个)1024个区域后计算求出的各个区域内的RGB累计值,予以计算求出。然后,控制单元28(参照图2)依据已生成的AWB评价值,计算求出所述各个区域内RGB滤光器的像素输出比率。将计算求出的所述各个区域内RGB滤光器的像素输出比率,设定于D量程扩大预测内插单元50a的像素输出比率设定单元64内。由此,根据本实施例,“权利要求书”中的像素输出比率计算单元等同于控制单元28。
然后,与所述第1实施例相同,执行动态量程扩大处理操作之后,D量程扩大预测内插单元50a的辉度电平判定单元60根据输入的RAW-RGB数据,判定处理G滤光器的像素输出是否达到规定饱和电平以上。经过该判定,判定G滤光器的像素输出已达到规定饱和电平以上时,通过利用饱和像素校正处理单元61,根据该G滤光器的像素周围的R、B滤光器的像素输出,校正(预测内插处理)已达到规定饱和电平以上的G滤光器的像素输出。
此时,将已达到饱和电平以上的G滤光器的像素位置信息,经由辉度电平判定单元60输出到像素输出比率设定单元64内。像素输出比率设定单元64判定已达到饱和电平以上的G滤光器的像素到底包括于所述1024区域(水平分割成32个,垂直分割成32个)中的哪一个区域内之后,将该区域内RGB滤光器的像素输出值比率输出到非饱和像素校正处理单元62内。
通过利用非饱和像素校正处理单元62,校正所述R、B滤光器的像素输出值,使经过饱和像素校正处理单元61进行校正后的G滤光器的像素输出值与其周围的R、B滤光器的像素输出值之间的比率,与设定于像素输出比率设定单元64内的像素输出比率相同。以下的处理,与所述第1实施例相同。
由此,根据本实施例,通过校正所述R、B滤光器的像素输出值,使经过饱和像素校正处理单元61进行校正后的G滤光器的像素输出值与配置该G滤光器的像素周围的R、B滤光器的像素输出值之间的比率,与设定于像素输出比率设定单元64内的像素输出比率相同,并可以将经过校正后的RGB滤光器的像素输出值比率,设为与其周围领域的色相(色调)接近的值。由此可见,扩大动态量程时,也可以消除因色相(色调)偏差而产生的不谐调。
另外,根据本实施例,已将与CCD20全部像素的感光面相对应的画面均匀分割成(水平分割成32个,垂直分割成32个)1024个区域,判定已达到饱和电平以上的G滤光器的像素到底包括于所述1024区域(水平分割成32个,垂直分割成32个)中的哪一个区域内,但是,最好是不要将与CCD20全部像素的感光面相对应的画面分割成诸如1个像素单位等更为微小的区域。
这是因为RGB滤光器的像素输出中,每一个像素都或多或少地存在着一些灵敏度差,并且存在着类似缺陷像素等不依靠入射光而传递特定输出的情况。因此,如果生成AWB评价值时的积分对象为10个像素以上,则最好是使用设置了具有一种能够通过平均化来吸收每一个像素的特性差异的RGB滤光器的CCD。
根据所述各种实施例,辉度电平判定单元60已判定了具有最高灵敏度的G滤光器的像素输出是否达到饱和电平以上,但不受此限,也可以判定具有最高灵敏度的G滤光器的像素输出以外的其他像素输出。例如也可以通过判定R滤光器的像素输出是否达到规定电平以上,判断是否需要执行所述校正(预测内插处理)。
采用图3所示拜耳排列的RGB滤光器,如果R滤光器的像素输出达到饱和电平的诸如70%,则可以判断G滤光器的像素输出达到饱和电平以上。另外,同样也可以通过判定R滤光器的像素输出是否达到规定电平以上,判断是否需要执行所述校正(预测内插处理)。
并且,由于RGB滤光器的像素输出比率会依据色温而发生如图8所示变化,因此,也可以通过判定R滤光器的像素输出与B滤光器的像素输出的平均值是否达到规定电平,判断是否需要执行所述校正(预测内插处理)。
另外,根据所述各种实施例,色彩分离滤光器具有一种配置了RGB的3种原色滤光器的结构,但是,色彩分离滤光器具有一种配置了互补色滤光器的结构时,也同样可以适用本发明。
并且,根据所述各种实施例,已说明了包括一个摄像镜头系统和一个CCD等固体摄像元件的数码照相机等摄像装置的有关内容,但是采用图像处理装置也同样可以适用本发明。如采用一种图像处理装置,其可以将经由单板式彩色摄像元件所传递的模拟输出转换成数码信号并输入已存储的RAW数据之后,输出RGB数据或YCbCr数据,其同样可以适用本发明。
本专利申请的基础和优先权要求是2008年1月22日、在日本专利局申请的日本专利申请JP2008-011414,和2008年10月21日、在日本专利局申请的日本专利申请JP2008-271065,其全部内容在此引作结合。
从以上所述还可以有许多的改良和变化。亦即,在权利要求的范围内,该专利说明书的公开内容不局限于上述的说明。
Claims (12)
1.一种摄像装置,其包括:
通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧的摄像元件;
像素输出检测单元,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;
饱和像素校正处理单元,根据所述像素输出检测单元,判定配置特定色彩滤光器后的像素的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据配置其他色彩滤光器后的像素的输出,校正已判定达到所述规定饱和电平以上的像素输出;
非饱和像素校正处理单元,在配置特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的像素周围,校正未饱和的配置所述其他色彩滤光器后的像素的输出值;
色温检测单元,检测摄影时被拍摄物体的色温;
像素输出比率存储单元,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,
其特征在于:
所述非饱和像素校正处理单元,通过校正配置所述其他色彩滤光器后的像素的各个输出值,使经过所述饱和像素校正处理单元校正后的配置所述特定色彩滤光器的像素的输出值,与该像素周围配置所述其他色彩滤光器后的像素的输出值之间的比率,根据所述色温检测单元检测出的色温,与所述像素输出比率存储单元所存储的像素输出比率相同。
2.根据权利要求1所述的摄像装置,其特征在于:
所述色温检测单元,将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域,根据每一个领域中配置所述特定色彩滤光器及其周围所述其他色彩滤光器后的各个像素的输出值的比率,来决定摄影时被拍摄物体的光源色温。
3.根据权利要求1或2所述的摄像装置,其包括:
校正系数计算单元,其根据摄影时的光源来计算谐调白色均匀所必需的校正系数,其特征在于:
所述校正系数计算单元,根据配置所述特定色彩滤光器及其周围的所述其他色彩滤光器后的各个像素输出的输出值的比率,来计算所述校正系数。
4.一种摄像装置,其包括:
通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧的摄像元件;
像素输出检测单元,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;
饱和像素校正处理单元,根据所述像素输出检测单元,判定配置特定色彩滤光器后的像素的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据配置其他色彩滤光器后的像素的输出,校正已判定达到所述规定饱和电平以上的像素输出;
非饱和像素校正处理单元,在配置特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的像素周围,校正未饱和的配置所述其他色彩滤光器后的像素的输出值;
像素输出比率存储单元,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,
其特征在于:
所述非饱和像素校正处理单元,通过校正配置所述其他色彩滤光器后的像素的各个输出值,使经过所述饱和像素校正处理单元校正后的配置所述特定色彩滤光器的像素的输出值,与该像素周围配置所述其他色彩滤光器后的像素的输出值之间的比率,与所述像素输出比率存储单元所存储的像素输出比率相同。
5.一种摄像装置,其包括:
通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧的摄像元件;
像素输出检测单元,依据所述多个像素的输出,判定其中任何一个像素的输出是否达到规定饱和电平以上;
饱和像素校正处理单元,根据所述像素输出检测单元,判定配置特定色彩滤光器后的像素的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据配置其他色彩滤光器后的像素的输出,校正已判定达到所述规定饱利电平以上的像素输出;
非饱和像素校正处理单元,在配置特定色彩滤光器并经过所述饱和像素校正处理单元进行校正后的像素周围,校正未饱和的配置所述其他色彩滤光器后的像素的输出值;
像素输出比率计算单元,计算将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域后的每一个领域的输出的比率,
其特征在于:
所述非饱和像素校正处理单元,通过校正配置所述其他色彩滤光器后的像素的各个输出值,使经过所述饱和像素校正处理单元校正后的配置所述特定色彩滤光器的像素的输出值,与该像素周围配置所述其他色彩滤光器后的像素的输出值之间的比率,与所述像素输出比率计算单元所计算的像素输出比率相同。
6.根据权利要求1、2、4和5中任何一项所述的摄像装置,其特征在于:
所述像素输出检测单元对像素的输出进行检测时的处理单位,为水平和垂直方向中2×2个像素的大小。
7.一种摄像方法,其通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧的摄像元件,其包括:
判定处理步骤,检测所述多个像素的输出的同时,判定所检测到的像素输出是否达到规定饱和电平以上;
饱和像素校正处理步骤,根据所述判定处理步骤,判定配置特定色彩滤光器后的像素的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据配置其他色彩滤光器后的像素的输出,校正已判定达到所述规定饱和电平以上的像素输出;
非饱和像素校正处理步骤,在配置特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的像素周围,校正未饱和的配置所述其他色彩滤光器后的像素的输出值;
色温检测步骤,检测摄影时被拍摄物体的色温;
像素输出比率存储步骤,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,
其特征在于:
所述非饱和像素校正处理步骤,通过校正配置所述其他色彩滤光器后的像素的各个输出值,使经过所述饱和像素校正处理步骤校正后的配置所述特定色彩滤光器的像素的输出值,与该像素周围配置所述其他色彩滤光器后的像素的输出值之间的比率,根据所述色温检测步骤检测出的色温,与所述像素输出比率存储步骤所存储的像素输出比率相同。
8.根据权利要求7所述的摄像方法,其特征在于:
所述色温检测步骤,将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域,根据每一个领域中配置所述特定色彩滤光器及其周围所述其他色彩滤光器后的各个像素的输出值的比率,来决定摄影时被拍摄物体的光源色温。
9.根据权利要求7或8所述的摄像方法,其包括:
校正系数计算步骤,其根据摄影时的光源来计算谐调白色均匀所必需的校正系数,其特征在于:
所述校正系数计算步骤,根据配置所述特定色彩滤光器及其周围的所述其他色彩滤光器后的各个像素输出的输出值的比率,来计算所述校正系数。
10.一种摄像方法,其通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧的摄像元件,其包括:
判定处理步骤,检测所述多个像素的输出的同时,判定所检测到的像素输出是否达到规定饱和电平以上;
饱和像素校正处理步骤,根据所述判定处理步骤,判定配置特定色彩滤光器后的像素的输出达到所述规定饱和电平以上时,除该像素周围的所述特定色彩以外,根据配置其他色彩滤光器后的像素的输出,校正已判定达到所述规定饱和电平以上的像素输出;
非饱和像素校正处理步骤,在配置特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的像素周围,校正未饱和的配置所述其他色彩滤光器后的像素的输出值;
像素输出比率存储步骤,按照色温要求,存储与所述多色彩分离滤光器的各种色彩相对应的像素输出比率,
其特征在于:
所述非饱和像素校正处理步骤,通过校正配置所述其他色彩滤光器后的像素的各个输出值,使经过所述饱和像素校正处理步骤校正后的配置所述特定色彩滤光器的像素的输出值,与该像素周围配置所述其他色彩滤光器后的像素的输出值之间的比率,与所述像素输出比率存储步骤所存储的像素输出比率相同。
11.一种摄像方法,其通过光学系统入射被拍摄物体图像,使其感光于有多个像素的感光面上,将其转换成电信号的同时,将一种多色彩分离滤光器配置于所述多个像素的前侧的摄像元件,其包括:
判定处理步骤,检测所述多个像素的输出的同时,判定所检测到的像素输出是否达到规定饱和电平以上;
饱和像素校正处理步骤,根据所述判定处理步骤,判定配置特定色彩滤光器后的像素的输出达到所述规定饱利电平以上时,除该像素周围的所述特定色彩以外,根据配置其他色彩滤光器后的像素的输出,校正已判定达到所述规定饱和电平以上的像素输出;
非饱和像素校正处理步骤,在配置特定色彩滤光器并经过所述饱和像素校正处理步骤进行校正后的像素周围,校正未饱和的配置所述其他色彩滤光器后的像素的输出值;
像素输出比率计算步骤,计算将与所述摄像元件的全部像素的感光面相对应的画面分割成多个纵横交错的领域后的每一个领域的输出的比率,
其特征在于:
所述非饱和像素校正处理步骤,通过校正配置所述其他色彩滤光器后的像素的各个输出值,使经过所述饱和像素校正处理步骤校正后的配置所述特定色彩滤光器的像素的输出值,与该像素周围配置所述其他色彩滤光器后的像素的输出值之间的比率,与所述像素输出比率计算步骤所计算的像素输出比率相同。
12.根据权利要求7、8、10和11中任何一项所述的摄像方法,其特征在于:
所述判定处理步骤对像素的输出进行检测时的处理单位,为水平和垂直方向中2×2个像素的大小。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008011414 | 2008-01-22 | ||
JP011414/08 | 2008-01-22 | ||
JP2008271065A JP5123137B2 (ja) | 2008-01-22 | 2008-10-21 | 撮像装置および撮像方法 |
JP271065/08 | 2008-10-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101494797A CN101494797A (zh) | 2009-07-29 |
CN101494797B true CN101494797B (zh) | 2010-12-22 |
Family
ID=40925148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100035885A Expired - Fee Related CN101494797B (zh) | 2008-01-22 | 2009-01-20 | 摄像装置及摄像方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5123137B2 (zh) |
CN (1) | CN101494797B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102843519A (zh) * | 2011-06-23 | 2012-12-26 | 鸿富锦精密工业(深圳)有限公司 | 影像处理系统及方法 |
JP6206299B2 (ja) * | 2013-08-29 | 2017-10-04 | 株式会社Jvcケンウッド | 撮像装置および撮像画像の色補正方法 |
CN105100576B (zh) * | 2014-04-21 | 2018-03-23 | 展讯通信(上海)有限公司 | 光源检测方法及装置 |
CN106303488A (zh) * | 2015-05-18 | 2017-01-04 | 小米科技有限责任公司 | 镜头模组、移动终端及纠正图像色偏的方法 |
KR20180036463A (ko) * | 2016-09-30 | 2018-04-09 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 지원하는 전자 장치 |
CN106851121B (zh) | 2017-01-05 | 2019-07-05 | Oppo广东移动通信有限公司 | 控制方法及控制装置 |
JP6789904B2 (ja) * | 2017-09-20 | 2020-11-25 | 株式会社東芝 | ダイナミックレンジ圧縮装置及び画像処理装置 |
EP3663801B1 (en) * | 2018-12-07 | 2022-09-28 | Infineon Technologies AG | Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data |
WO2020171576A1 (ko) * | 2019-02-20 | 2020-08-27 | 삼성전자 주식회사 | 이미지 효과 적용 방법 및 이를 지원하는 전자 장치 |
JP7262412B2 (ja) * | 2020-03-19 | 2023-04-21 | セコム株式会社 | 画像処理装置及び画像処理プログラム |
KR20210156553A (ko) * | 2020-06-18 | 2021-12-27 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
CN113691716B (zh) * | 2021-08-26 | 2023-07-11 | 维沃移动通信有限公司 | 图像传感器、图像处理方法、装置、电子设备和存储介质 |
CN113973197B (zh) * | 2021-11-29 | 2023-09-12 | 维沃移动通信有限公司 | 像素结构、像素阵列、图像传感器及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0713342B1 (en) * | 1994-11-18 | 2002-04-24 | Canon Kabushiki Kaisha | Color image sensing apparatus and method of expanding dynamic range |
CN1375166A (zh) * | 1999-09-17 | 2002-10-16 | 自然工艺株式会社 | 摄像系统和图像处理装置及摄像机 |
CN101072303A (zh) * | 2006-05-11 | 2007-11-14 | 精工爱普生株式会社 | 摄像元件及摄像装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3988457B2 (ja) * | 2001-12-25 | 2007-10-10 | ソニー株式会社 | 撮像装置及び固体撮像素子の信号処理方法 |
JP4666681B2 (ja) * | 2006-01-20 | 2011-04-06 | 株式会社日立国際電気 | 画像処理装置および画像処理方法 |
-
2008
- 2008-10-21 JP JP2008271065A patent/JP5123137B2/ja not_active Expired - Fee Related
-
2009
- 2009-01-20 CN CN2009100035885A patent/CN101494797B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0713342B1 (en) * | 1994-11-18 | 2002-04-24 | Canon Kabushiki Kaisha | Color image sensing apparatus and method of expanding dynamic range |
CN1375166A (zh) * | 1999-09-17 | 2002-10-16 | 自然工艺株式会社 | 摄像系统和图像处理装置及摄像机 |
CN101072303A (zh) * | 2006-05-11 | 2007-11-14 | 精工爱普生株式会社 | 摄像元件及摄像装置 |
Non-Patent Citations (1)
Title |
---|
JP特开2000-92378A 2000.03.31 |
Also Published As
Publication number | Publication date |
---|---|
JP2009201094A (ja) | 2009-09-03 |
CN101494797A (zh) | 2009-07-29 |
JP5123137B2 (ja) | 2013-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101494797B (zh) | 摄像装置及摄像方法 | |
EP2186345B1 (en) | Imaging apparatus and imaging method | |
US8081242B2 (en) | Imaging apparatus and imaging method | |
US7884866B2 (en) | Imaging apparatus and imaging method | |
US8319864B2 (en) | Imaging apparatus and imaging method | |
CN102447912A (zh) | 图像处理装置、白平衡校正方法以及摄像装置 | |
JP2011075675A (ja) | 複眼撮像装置 | |
JP2007053499A (ja) | ホワイトバランス制御装置及び撮像装置 | |
US8144216B2 (en) | Imaging apparatus and imaging method | |
JP5256947B2 (ja) | 撮像装置、撮像方法およびその方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
JP2008053931A (ja) | 撮像装置 | |
JP4158029B2 (ja) | ホワイトバランス調整方法および電子カメラ | |
JP5277863B2 (ja) | 撮像装置および撮像方法 | |
JP2020008886A (ja) | 合焦位置検出装置及び合焦位置検出方法 | |
JP2006253970A (ja) | 撮像装置、シェーディング補正データ作成方法およびプログラム | |
JP2010068331A (ja) | 撮像装置および撮像方法 | |
JP5310331B2 (ja) | 撮像装置および撮像方法 | |
CN102143319A (zh) | 摄像装置和摄像方法 | |
JP2010068064A (ja) | 撮像装置及び撮像方法 | |
JP5169540B2 (ja) | 撮像装置および撮像方法 | |
JP2007306064A (ja) | 撮像装置 | |
JP2004320634A (ja) | ディジタルカメラおよび撮像制御方法 | |
JP2004297449A (ja) | 固体撮像装置およびシェーディング補正方法 | |
JP2007053481A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101222 Termination date: 20190120 |