CN1703077A - 图像捕获设备和包括图像处理程序的计算机程序产品 - Google Patents

图像捕获设备和包括图像处理程序的计算机程序产品 Download PDF

Info

Publication number
CN1703077A
CN1703077A CNA200510074372XA CN200510074372A CN1703077A CN 1703077 A CN1703077 A CN 1703077A CN A200510074372X A CNA200510074372X A CN A200510074372XA CN 200510074372 A CN200510074372 A CN 200510074372A CN 1703077 A CN1703077 A CN 1703077A
Authority
CN
China
Prior art keywords
electric charge
signal
charge
translator unit
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200510074372XA
Other languages
English (en)
Other versions
CN100454976C (zh
Inventor
山崎博史
铃木政央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN1703077A publication Critical patent/CN1703077A/zh
Application granted granted Critical
Publication of CN100454976C publication Critical patent/CN100454976C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713Transfer or readout registers; Split readout registers or multiple readout registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14623Optical shielding
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • H01L27/14647Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements

Abstract

当沿对角方向进入电子照相机中图像捕获元件的光接收部分的光量较大并且由此在电荷传送线中很容易产生电荷时,执行色调修正处理来修正由于电荷传送线中产生的电荷而出现的任何色调变化。

Description

图像捕获设备和包括图像处理程序的计算机程序产品
所包括的参考文献
在这里把下面的在先申请内容引入作为参考:
2004年5月27日提交的日本专利申请No.2004-157279。
技术领域
本发明涉及修正在其中形成有片上微镜的固态图像捕获元件处出现的色调变化的图像捕获设备和包括图像处理程序的计算机可读计算机程序产品。
背景技术
在相关领域中已知一种技术,通过该技术形成与构成图像捕获元件处的像素的每个光接收部分对应的聚光透镜,从而能够提高每个像素处的光电转换信号的信号水平。日本待决专利公开No.H8-223587披露了一种技术,它用于修正当被拍体光在对角方向上进入聚光透镜时发生的与光波长对应的接收光量的变化,即色调变化。
但是,上述相关技术中的色彩修正意图修正与各个光波长对应的接收光的不同光量所引起的色调变化,这是由片上微镜中的轴上色差所引起的,该技术没有考虑进入固态图像捕获元件的电荷传送部分的光引起的色调变化。
发明内容
一种具有图像捕获元件的图像捕获设备,图像捕获元件包括:与指定像素列对应的第一电荷传送部分,它传送表示第一颜色组分的电荷;和与所述指定像素列对应的第二电荷传送部分,它传送表示第二颜色组分的电荷,并且图像捕获元件通过对被拍体光执行光电转换输出每个都与光接收像素对应的电荷信号,所述被拍体光是通过与每个光接收像素一起形成的聚光透镜输入的,图像捕获设备包括:一个修正装置,它通过使用在各个像素单元中从第二电荷传送部分输出的第二电荷信号修正从第一电荷传送部分输出的第一电荷信号,并且通过使用在各个像素单元中从第一电荷传送部分输出的第一电荷信号修正从第二电荷传送部分输出的第二电荷信号。
在图像捕获设备中,修正装置能够根据下述参数中至少一个参数调节修正量:在拍摄操作中实施的快门速度、拍摄光学系统处的出射光瞳位置和光圈值。修正装置进一步能够与图像捕获元件处的像素位置对应地调节修正量。
修正装置能够通过使用从外部装置输入的参数调节修正量。在这种情况下,图像捕获设备可以包括一个拍摄信号信息输出装置,它通过使用第一电荷信号和第二电荷信号输出所述参数所需的拍摄信号信息。
修正装置可以包括一个记录装置,它记录已经由修正装置修正过的第一电荷信号和第二电荷信号。
修正装置能够修正要记录的第一电荷信号和第二电荷信号,并且能够修正记录在记录装置中的第一电荷信号和第二电荷信号。
一种计算机可读的计算机程序产品,其中包括一个计算机设备能够执行的图像处理程序。图像处理程序具有:读出构成通过使用图像捕获元件捕获的图像的图像信号的处理,图像捕获元件包括与指定像素列对应的第一电荷传送部分,第一电荷传送部分传送表示第一颜色组分的电荷,图像捕获元件还包括与所述指定像素列对应的第二电荷传送部分,第二电荷传送部分传送表示第二颜色组分的电荷,并且图像捕获元件输出每个都与像素对应的电荷信号;通过使用在各个像素单元中从第二电荷传送部分输出的第二电荷信号修正从第一电荷传送部分输出的第一电荷信号的处理;和通过使用在各个像素单元中从第一电荷传送部分输出的第一电荷信号修正从第二电荷传送部分输出的第二电荷信号的处理。
附图说明
图1的结构图示出了一个实施例中实现的电子照相机的基本结构;
图2给出了图像捕获元件的截面的一个例子;
图3示出了图像捕获元件中的像素阵列;
图4给出了在进入光接收部分的光的位置和拖尾程度之间可能表现出的关系的一个例子;
图5给出了控制单元处执行的拍摄处理的流程图;
图6给出了执行用来以通过手动操作设置的色调修正量修正色调的处理的流程图;
图7给出了执行用来以通过手动操作设置的色调修正量修正色调的处理的一个变体的流程图;
图8给出了执行用来以通过手动操作设置的色调修正量修正色调的处理的另一个变体的流程图;
图9给出了为修正色调而对已经记录到记录介质中的图像信号执行的处理的流程图;
图10给出了根据图像处理程序执行的处理的流程图;和
图11示出了怎样通过CD-ROM或计算机给个人计算机提供该程序。
具体实施方式
下面是参考附图对本发明的优选实施例的解释。图1示出了一个例子,图中以结构图的形式示出了该实施例的电子照相机中所采用的基本结构,其中电子照相机中采用了根据本发明的图像捕获设备。如图1所示,光圈22和镜23放置在拍摄镜头21的光轴上,图像捕获元件24放置在拍摄镜头21的成像表面上。片上微镜25放置在图像捕获元件24的图像捕获表面所处的那一侧。
图2给出了图像捕获元件24的截面的一个例子。在图像捕获元件24的表面处形成了光接收部分(光敏元件)24a和电荷传送部分24b,根据像素所提供的每个光接收部分24a把光转换为电荷,所提供的电荷传送部分24b用来传送在光接收部分24a处产生的电荷。在图像捕获元件24上放置着片上微镜25,片上微镜25中形成有聚光透镜,每个聚光透镜与光接收部分24a对应。
由于进入片上微镜25的被拍体光通量聚集到光接收部分24a上,所以光接收部分24a接收到大量的光,因此就能够在具有上述结构的图像捕获元件24处输出具有较高SN比的图像信号。
在本说明书中给出了对一个示例的解释,在示例中,通过与光接收元件24处的各个像素位置对应的、布置成Bayer阵列的R(红色)、G(绿色)和B(蓝色)滤色器捕获图像。在这种图像捕获元件处捕获的图像颜色用RGB色度制表示。从具有这种滤色器的图像捕获元件24中输出的信号包含与颜色组分R、G和B中和每个像素对应的一个颜色组分有关的信息。也就是说,设有R色滤色器的像素输出R色信号,设有G色滤色器的像素输出G色信号,设有B色滤色器的像素输出B色信号。
在图1中,从图像捕获元件24输出的G色信号直接输入到信号处理单元28a中。从图像捕获元件24输出的R色信号经过可变增益放大器27a输入到信号处理单元28a中。另外,从图像捕获元件24输出的B色信号经过可变增益放大器27b输入到信号处理单元28a中。提供可变增益放大器27a和27b是为了进行白平衡调节。记录图像信号的记录单元28连接到信号处理单元28a的输出端。
测量被拍体亮度的光度计单元29a放置在从镜23反射出的光导向的位置处。光度计单元29a的输出信号输入给曝光计算单元29,曝光计算单元29的输出信号输入到光圈22、图像捕获元件24和色彩修正指令单元30的控制端。色彩修正指令单元30的输出信号输入到信号处理单元28a,随后信号处理单元28a根据色彩修正指令单元30提供的输出信号执行下面将详细描述的色调修正处理。
白平衡控制单元31的输出信号输入到可变增益放大器27a和27b的控制端。可变增益放大器27a和27b处的增益根据白平衡控制单元31提供的输出信号彼此独立变化。白平衡控制单元31根据测量环境光颜色的色度单元31a输入的色度信号通过改变可变增益放大器27a和27b处的增益执行白平衡调节。也就是说,它分别把与R色和B色对应的信号乘以为进行白平衡调节而确定出的R增益和B增益从而调节与R、G和B对应的信号组分以实现预定的信号组分比率。R增益和B增益都由白平衡控制单元31确定。
控制单元32产生的控制信号输入给放置在拍摄镜头21内部的变焦机构(未示出),并且把源于拍摄镜头21、表示出射光瞳位置的信息经过镜头接口单元传递给色彩修正指令单元30。
控制单元32提供的控制信号分别输入到图像捕获元件24、信号处理单元28a、记录单元28、曝光计算单元29、色彩修正指令单元30和白平衡控制单元31。来自快门释放按钮32a的操作信号输入给控制单元32。
该实施例中的图像捕获设备的特征在于在信号处理单元28a处响应色彩修正指令单元30发出的指令所执行的色调修正。
图3示出了图像捕获元件24中的像素阵列。在图3示出的光接收部分(像素)列24a1中交替放置着光敏元件,每个光敏元件具有滤色器G或滤色器R。在光接收部分(像素)列24a2中交替放置着光敏元件,每个光敏元件具有滤色器B或滤色器G。
在像素列24a1的左侧放置着电荷传送线24b1,而电荷传送线24b2放置在像素列24a1的右侧。在像素列24a2的左侧放置着电荷传送线24b3,而电荷传送线24b4放置在像素列24a2的右侧。从每个像素列输出的G色信号经过位于像素列左侧的电荷传送线进行传送,而从每个像素列输出的R色信号或B色信号经过位于像素列右侧的电荷传送线进行传送。
尽管遮光薄膜26使图像捕获元件24处的传送单元24b(电荷传送线24b1到24b4)处于遮光状态(见图2),但是由于发生在图像捕获元件24内部的多次反射等原因光仍然可能进入传送单元24b(图2中的光束La)。特别是如果进入光接收部分的光量较大,大量的光必然会在靠近光接收部分的区域进入传送单元24b。光的这种进入导致在电荷传送线中产生电荷。
当由于大量非常亮的光的进入使得在靠近像素的区域上的电荷传送线中产生电荷并且这些在该临近区域上已经产生的电荷又加到从已经产生附加电荷的位置处传送来的电荷上(存储在不是有大量光进入的像素的其它像素中的电荷,两种像素都出现在同一条传送线)时,就发生公知的拖尾现象。
当大量光在对角方向进入光接收部分24a中时,例如在通常的拍摄操作过程中进入图像捕获元件24的光量很大以及当拍摄非常亮的被拍体时,就很容易在电荷传送线中产生电荷。在对角方向进入的光量在下述情况T1到T3中可能很多。
T1:进入图像捕获元件的光量很大
T2:拍摄镜头21处的出射光瞳位置接近片上微镜25
T3:光圈22完全打开或设置在接近完全打开的状态
在上述的情况T1中,进入图像捕获元件的光量很大,绝对光量就很大,因此通过曝光计算单元29执行的曝光计算把快门速度设定在较高的设置(如1/1000秒或更高)。由于绝对光量很大,在对角方向进入光接收部分24a的光量也很大。
在上述的情况T2中,出射光瞳位置接近片上微镜25,拍摄镜头21处的变焦放大因子调节使得出射光瞳位置变得更接近片上微镜25。在这种情况下,也增加了在对角方向上进入光接收部分24a的光量。
在上述的情况T3中,光圈2大致处于完全打开状态(如小于F4),有大量的光偏离拍摄镜头21的光轴前进。在这种情况下,也增加了在对角方向上进入光接收部分24a的光量。
如上所述,当光在对角方向上进入光接收部分24a时在电荷传送线中产生电荷。例如,当光从对角方向进入和G色滤色器设在一起的光接收部分中时,如果在与R颜色组分对应的电荷传送线24b2中产生电荷,就会把来自该光接收部分的G色信号错误地当作R色信号进行处理。因此,出现在另一条电荷传送线中的电荷就会导致图像色调的改变。
图4给出了在进入光接收部分24a的光的位置和拖尾程度之间的关系的一个例子。图4中的水平轴表示光接收部分24a的尺寸(即沿水平方向测量的像素尺寸),水平轴的中心对应于片上微镜25的光轴。垂直轴表示引起色调变化的电荷量(在下面的解释中称之为拖尾程度)。
直线41表示G色组分拖尾的拖尾程度,如直线41所示,在光接收部分24a处越靠向左侧,即越接近G色电荷传送线24b1,传送单元处产生的当作G色组分处理的电荷量就进一步增加。反之,在光接收部分24a处越靠向右侧,即离G色电荷传送线24b1越远,传送单元处产生的当作G色组分处理的电荷量就进一步减少。
直线42表示R色组分(B色组分)拖尾的拖尾程度,如直线42所示,在光接收部分24a处越靠向右侧,即越接近R色(B色)电荷传送线24b2,传送单元处产生的当作R色组分(B色组分)处理的电荷量就进一步增加。反之,在光接收部分24a处越靠向左侧,即离R色(B色)电荷传送线24b2越远,传送单元处产生的当作R色组分(B色组分)处理的电荷量就进一步减少。
应该注意在对角方向实际进入光接收部分24a的光受到片上微镜25处轴上色差的影响,所以直线41和直线42可能不是总能实现如图4示出的对称关系。也就是说,聚集到光接收部分24a上的光点尺寸随着光波长(R组分、G组分或B组分)变化。由于光点的尺寸是不同的,没有包含在光接收部分24a中的多余光量也是不同的,并且拖尾程度在不同波长之间变化。
色彩修正指令单元30(见图1)给信号处理单元28a发出指令以处理与图像捕获元件24处所有光接收部分(所有像素)对应的信号从而分别修正拖尾程度中的这种差别。所执行的色调修正用下面的表达式(1)到(3)表示。
R′=R-(G·a·x/n)-(G·b)-(G·c·y/m)  (1)
B′=B-(G·a·x/n)-(G·b)-(G·c·y/m)  (2)
G′=G-((R+B)/2·a·(n-x)/n)-((R+B)/2·b)-((R+B)/2·c·y/m)  (3)
应该注意预修正图像信号表示为R(x,y)、B(x,y)和G(x,y),修正后图像信号表示为R′(x,y)、B′(x,y)和G′(x,y)。x和y是坐标。另外,上面的表达式包括黑点校正值,即“a”表示依赖于x坐标的拖尾程度系数,“b”表示不依赖于x坐标的拖尾程度系数,“c”表示依赖于y坐标的拖尾量系数。“n”表示沿着图像捕获元件24水平方向排列的像素总数,“m”表示沿着图像捕获元件24垂直方向排列的像素总数。
信号处理单元28a对输入给它的、与R输出、B输出和G输出对应的信号表示的值分别执行如表达式(1)到(3)所表示的修正操作。
图5给出了在控制单元32处执行的拍摄处理的流程图。在图5的步骤S11中,控制单元32响应从快门释放按钮32a输入给它的操作信号执行指定类型的拍摄处理,然后操作前进到步骤S12。在步骤S12中,控制单元32在操作前进到步骤S13前发出从图像捕获元件24读取图像信号的指令。更具体地说,控制单元32给图像捕获元件24输出驱动信号,响应于该驱动信号,已经存储在图像捕获元件24中、并且将作为图像信号存储到信号处理单元28a中的电荷信号从图像捕获元件24中顺序输出。
在步骤S13,控制单元32判断为拍摄操作设置的快门速度是否高于预定值表示的水平。如果控制单元32在步骤S13中的判断是肯定的,即如果为拍摄操作设置的快门速度高于例如1/1000秒,那么就前进到步骤S18,而如果在步骤S13中的判断是否定的,即如果快门速度等于或低于1/1000秒,那么就前进到步骤S14。操作前进到步骤S18执行色调修正。
在步骤S14,控制单元32判断在拍摄操作过程中出射光瞳位置相对于预定位置是否更接近图像捕获元件24。如果控制单元32在步骤S14中的判断是肯定的,即如果在拍摄操作过程中出射光瞳位置相对于预定位置更接近图像捕获元件,那么就前进到步骤S18,而如果在步骤S14中的判断是否定的,即如果出射光瞳位置相对于预定位置离图像捕获元件更远,那么就前进到步骤S15。操作前进到步骤S18执行色调修正。
在步骤S15,控制单元32判断为拍摄操作设置的光圈值是否表示相对于预定光圈值更宽的开口。如果控制单元32在步骤S15中的判断是肯定的,即如果为拍摄操作设置的光圈值表示比例如F4宽的光圈开口,那么就前进到步骤S18,而如果在步骤S15中的判断是否定的,即如果光圈值表示比F4小的光圈开口,那么就前进到步骤S16。操作前进到步骤S18执行色调修正。
在步骤S16,控制单元32在前进到步骤S17前给信号处理单元28a发出执行指定类型的信号处理如像素插值处理的指令。信号处理单元28a响应该指令对存储在它内部的图像信号执行信号处理。
在步骤S17,控制单元32在结束图5中的处理前发出记录图像信号的指令。于是记录单元28把已经经过信号处理的图像信号记录到记录介质(未示出)中。
在步骤S18,控制单元32在操作前进到步骤S19前给色彩修正指令单元30发出计算图像修正量的指令。响应该指令,色彩修正指令单元30根据拍摄操作过程中实施的快门速度、光圈值和出射光瞳位置来确定前面所解释的系数“a”、“b”和“c”。系数a、b、c和快门速度、光圈值以及出射光瞳位置之间的关系事先定义为一个表格,该表格存储在色彩修正指令单元30内的存储器(未示出)中。色彩修正指令单元30通过使用快门速度、光圈值和出射光瞳位置作为自变量来参考表格并且分别读取相应的系数a、b、c。
在步骤S19,控制单元32在操作前进到步骤S20前给色彩修正指令单元30发出执行图像处理(色调修正)的指令。色彩修正指令单元30响应该指令给信号处理单元28a发出通过利用前述表达式(1)到(3)和系数a、b、c执行色调修正操作的指令。
在步骤S20,控制单元32在前进到步骤S21前给信号处理单元28a发出执行指定类型的信号处理如像素插值处理的指令。信号处理单元28a响应该指令对存储在它内部的图像信号执行信号处理。
在步骤S21,控制单元32在结束图5中的处理前发出记录图像信号的指令。于是记录单元28把已经经过信号处理的图像信号记录到记录介质(未示出)中。
下面总结上述的实施例。
(1)当大量光在图像捕获元件24处沿对角方向进入光接收部分24a并且由此在电子照相机的电荷传送线中很容易产生电荷时,就对拍摄操作得到的图像信号执行色调修正处理,从而修正由于所产生的这种电荷而出现的任何色调变化。这样得到的图像信号就表示准确的色调并且实现较高的图像质量。
(2)下面分别提出的三种情况为光在对角方向进入光接收部分24a的情形,如果拍摄条件至少表示这三种情况中的一种(如果在图5的步骤S13到S15中一个步骤的判断结果是肯定的),那么就自动执行色调修正(步骤S18和S19)。由于自动执行色调修正而无需拍摄者执行任何操作,所以就提高了照相机的可操作性。
1当入射光量很大时(当选择了较高的快门速度时)
2当拍摄镜头21处的出射光瞳位置接近片上微镜25时
3当光圈22设置在完全打开设置或接近完全打开设置时。
(3)由于通过使用前面给出的表达式(1)到(3)执行色调修正,能够以最佳的方式修正与构成图像的像素对应的所有图像信号,而不管像素在图像捕获元件24上的具体位置(坐标)。
尽管在上面给出的解释中在电子照相机中自动确定色调修正量,拍摄者也可以通过手动操作设置色调修正量来执行色调修正。图6给出了在这种情况下控制单元32执行的拍摄处理的流程图。在图6的步骤S10中,控制单元32给色彩修正指令单元30提供由拍摄者通过手动操作输入的表示系数a、b、c的信息,然后操作前进到步骤S11。作为响应,系数a、b、c存储到色彩修正指令单元30中。
由于除了步骤S18B外,在步骤S11和随后的步骤中所执行的处理与在图5中具有相同步骤标号的步骤中所执行的处理完全一样,所以略去了对它们的解释。在步骤S18B中,控制单元32给色彩修正指令单元30发出计算色调修正量的指令,然后操作前进到步骤S19。色彩修正指令单元30响应该指令读取存储在它内部的系数a、b、c。通过图6中的处理,根据拍摄者的意愿执行色调修正,而不管拍摄操作过程中实施的快门速度、光圈值和出射光瞳位置。
尽管在图6的步骤S10中通过拍摄者进行的手动操作设定系数a、b、c,在电子照相机中也可以使用例如个人计算机等外设代替通过对电子照相机的手动操作来设定系数a、b、c。
图7给出了拍摄者通过手动操作设置色调修正量来执行的色调修正处理的一个变体的流程图。由于在步骤S11、S12和S16中所执行的处理与在图5中具有相同步骤标号的步骤中所执行的处理完全一样,所以略去了对它们的解释。
在步骤S30中,控制单元32接合信号处理单元28a输出存储在它内部的图像信号,然后操作前进到步骤S31。作为响应,拍摄信号信息(表示图像信号的信号水平和与各种颜色对应的色刺激值的柱状图)显示在显示器屏幕(未示出)上。
当拍摄者参考显示在显示器上的拍摄信号信息通过操作件(未示出)设置系数a、b、c时,在步骤S31控制单元32给色彩修正指令单元30提供表示拍摄者所确定的系数a、b、c的信息,然后操作前进到步骤S18B。从而系数a、b、c存储到色彩修正指令单元30中。
由于在步骤S18B和随后的步骤中所执行的处理与在图6中具有相同步骤标号的步骤中所执行的处理完全一样,所以略去了对它们的解释。通过图7中的处理,利用拍摄者通过检查显示在显示器屏幕上的拍摄信号信息而选择的系数a、b、c来执行色调修正,而与拍摄操作过程中实施的快门速度、光圈值和出射光瞳位置无关。
图8给出了通过手动操作设置色调修正量来执行的色调修正处理的另一个变体的流程图。在图8示出的处理中,暂时记录图像信号而不执行任何色调修正,然后通过读出所记录的图像信号执行色调修正。由于在图8的步骤S11、S12、S16和S17中所执行的处理与在图5中具有相同步骤标号的步骤中所执行的处理完全一样,所以略去了对它们的解释。
在步骤S30B中,控制单元32接合记录单元28读出记录在记录介质(未示出)中的图像信号,然后操作前进到步骤S31。如果已经对图像信号进行了压缩,那么此时还要执行解压处理。这样,拍摄信号信息(表示图像信号的信号水平和与各种颜色对应的色刺激值的柱状图)显示在显示器屏幕(未示出)上。
由于在步骤S31和随后的步骤中所执行的处理与在图6中具有相同步骤标号的步骤中所执行的处理完全一样,所以略去了对它们的解释。通过图8中示出的处理,拍摄操作得到的图像信号记录到记录介质中从而能够随后对记录在记录介质中的图像信号执行色调修正。
图9给出了对如下图像信号执行的色调修正处理的流程图,这些图像信号由在另一个电子照相机等中执行的拍摄操作得到并且已经记录在记录介质中。在图9的步骤S51中,控制单元32接合记录单元28读出记录在记录介质(未示出)中的图像信号,然后操作前进到步骤S30C。如果图像信号已经经过了压缩,那么此时还要执行解压处理。
在步骤S30C中,控制单元32在前进到步骤S31前能够输出已经读出的图像信号。这样,拍摄信号信息(表示图像信号的信号水平和与各种颜色对应的色刺激值的柱状图)显示在显示器屏幕(未示出)上。
由于在步骤S31和随后的步骤中所执行的处理与在图6中具有相同步骤标号的步骤中所执行的处理完全一样,所以略去了对它们的解释。通过图9中示出的处理,能够在以后对记录到记录介质中的图像信号执行色调修正。
尽管上面给出了在电子照相机中采用本发明的一个例子,但是可以事先准备好能够进行这种色调修正处理的图像处理程序,并且把该程序可以存入个人计算机等中从而能够把个人计算机用作色调修正设备。在这种情况下,应该把程序载入个人计算机的数据存储装置中,然后应该执行程序从而使得个人计算机能够起到色调修正设备的功能。载入程序可以通过把其中已经存储该程序的记录介质安装到个人计算机中来实现,或者通过网络把程序下载到个人计算机上来实现。
图10给出了根据图像处理程序所执行的处理的流程图。在图10的步骤S101中,个人计算机的CPU读出图像信号,这些图像信号由在电子照相机中执行的拍摄操作得到并且已经记录下来。如果所记录的数据已经压缩,那么此时还要执行解压处理。另外,如果已经发出自动设置色调修正量的指令,CPU前进到步骤S102(自动),而如果发出由操作者通过手动操作设置的色调修正量来执行色调修正的指令,CPU前进到步骤S106(手动)。
在步骤S102,CPU读出记录在文件头部中的拍摄信息,在该文件中记录了图像信号,然后操作前进到步骤S103。拍摄信息包含的数据至少表示出在拍摄图像时实施的快门速度、光圈值和出射光瞳位置。
在步骤S103中,CPU在操作前进到步骤S104前计算图像修正量。更具体地说,根据拍摄操作过程中实施的快门速度、光圈值和出射光瞳位置确定前面解释的系数a、b、c。系数a、b、c与快门速度、光圈值以及出射光瞳位置之间的关系事先定义在程序中包括的一个表格中。
在步骤S104中,CPU在前进到步骤S105前执行图像处理(色调修正)。CPU通过使用前面给出的表达式(1)到(3)和系数a、b、c执行色调修正操作。
在步骤S105,CPU执行用来把通过使用修正后的图像信号再生的图像显示在显示装置(未示出)上所需的信号处理并且在结束图10中示出的处理前记录修正后的图像信号。
当操作者通过例如键盘(未示出)等操作件设定系数a、b、c时,CPU在步骤S106中在寄存器处设置由操作者确定的系数a、b、c,然后操作前进到步骤S107。
在步骤S107中,CPU在前进到步骤S104前计算图像修正量。更具体地说,它读出已经设定的系数a、b、c。
通过上述图10中的处理,通过在以后使用个人计算机对已经通过拍摄操作得到的图像信号执行色调修正能够修正由拖尾等引起的任何色调变化。
图11示出了怎样可以通过CD-ROM104或计算机102把该程序提供给个人计算机100。个人计算机100通过CD-ROM104接收程序。另外,个人计算机100能够实现与通信线101的连接。计算机102是一个服务器计算机,它提供存储在例如硬盘103等记录介质中的程序。通信线101可以是用于Internet通信、个人计算机通信等的通信线,或者可以是专用通信线。计算机102从硬盘103中读出该程序并且通过通信线101把程序传递给个人计算机100。换言之,体现为载波上的数据信号的该程序通过通信线101进行传递。因此能够采取包括记录介质和载波在内的各种模式中的任何模式以计算机可读的计算机程序产品来分送该程序。
本发明不限于上述的实施例。例如,尽管在上面给出的解释中使用了三色R、G、B滤色器,但是也可以使用与四种或更多种颜色对应的滤色器,或使用分别与C(青色)、Y(黄色)或M(洋红色)对应的滤色器作为代替。

Claims (8)

1.一种具有图像捕获元件的图像捕获设备,图像捕获元件包括:与指定像素列对应的第一电荷传送部分,它传送表示第一颜色组分的电荷;和与所述指定像素列对应的第二电荷传送部分,它传送表示第二颜色组分的电荷,并且图像捕获元件通过对被拍体光执行光电转换输出每个都与光接收像素对应的电荷信号,所述被拍体光是通过与每个光接收像素一起形成的聚光透镜输入的,图像捕获设备包括:
一个修正装置,它通过使用在各个像素单元中从第二电荷传送部分输出的第二电荷信号修正从第一电荷传送部分输出的第一电荷信号,并且通过使用在各个像素单元中从第一电荷传送部分输出的第一电荷信号修正从第二电荷传送部分输出的第二电荷信号。
2.如权利要求1所述的图像捕获设备,其中:
修正装置根据下述参数中至少一个参数调节修正量:在拍摄操作过程中实施的快门速度、拍摄光学系统处的出射光瞳位置和光圈值。
3.如权利要求2所述的图像捕获设备,其中:
修正装置进一步与图像捕获元件处的像素位置对应地调节修正量。
4.如权利要求1所述的图像捕获设备,其中:
修正装置包括一个输入单元,用于修正处理的参数输入给输入单元,并且修正装置通过使用输入给输入单元的参数调节修正量。
5.如权利要求4所述的图像捕获设备,进一步包括:
一个拍摄信号信息输出装置,它通过使用第一电荷信号和第二电荷信号输出所述参数所需的拍摄信号信息。
6.如权利要求1到5中任何一项权利要求所述的图像捕获设备,进一步包括:
一个记录装置,它记录已经由修正装置修正过的第一电荷信号和第二电荷信号。
7.如权利要求1到5中任何一项权利要求所述的图像捕获设备,其中:
修正装置通过从记录了要修正的第一电荷信号和第二电荷信号的记录装置中读出第一电荷信号和第二电荷信号执行修正。
8.一种计算机可读的计算机程序产品,其中包括一个计算机设备能够执行的图像处理程序,图像处理程序包括:
读出构成通过使用图像捕获元件捕获的图像的图像信号的处理,图像捕获元件包括与指定像素列对应的第一电荷传送部分,第一电荷传送部分传送表示第一颜色组分的电荷,图像捕获元件还包括与所述指定像素列对应的第二电荷传送部分,第二电荷传送部分传送表示第二颜色组分的电荷,并且图像捕获元件输出每个都与像素对应的电荷信号;
通过使用在各个像素单元中从第二电荷传送部分输出的第二电荷信号修正从第一电荷传送部分输出的第一电荷信号的处理;和
通过使用在各个像素单元中从第一电荷传送部分输出的第一电荷信号修正从第二电荷传送部分输出的第二电荷信号的处理。
CNB200510074372XA 2004-05-27 2005-05-26 图像捕获设备和图像处理方法 Expired - Fee Related CN100454976C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004157279A JP4333478B2 (ja) 2004-05-27 2004-05-27 撮像装置および画像処理プログラム
JP2004157279 2004-05-27

Publications (2)

Publication Number Publication Date
CN1703077A true CN1703077A (zh) 2005-11-30
CN100454976C CN100454976C (zh) 2009-01-21

Family

ID=34939445

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200510074372XA Expired - Fee Related CN100454976C (zh) 2004-05-27 2005-05-26 图像捕获设备和图像处理方法

Country Status (6)

Country Link
US (1) US7777792B2 (zh)
EP (1) EP1601186B1 (zh)
JP (1) JP4333478B2 (zh)
CN (1) CN100454976C (zh)
AT (1) ATE433258T1 (zh)
DE (1) DE602005014707D1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102197640B (zh) * 2008-10-22 2014-03-12 佳能株式会社 图像传感器和摄像设备
CN103975584A (zh) * 2011-12-02 2014-08-06 索尼公司 图像拾取设备、颜色校正方法和颜色校正程序

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284272B2 (en) * 2008-02-28 2012-10-09 Sanyo Electric Co., Ltd. Electronic camera
JP4974121B2 (ja) * 2008-09-22 2012-07-11 東芝エレベータ株式会社 昇降機システム
JP5651976B2 (ja) * 2010-03-26 2015-01-14 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5651184A (en) 1979-10-03 1981-05-08 Hitachi Ltd Color solid image pickup device
FR2503502B1 (fr) * 1981-03-31 1985-07-05 Thomson Csf Dispositif d'analyse d'images en couleur utilisant le transfert de charges electriques et camera de television comportant un tel dispositif
JP3273080B2 (ja) 1992-10-30 2002-04-08 シャープ株式会社 固体撮像装置
JPH08223587A (ja) 1995-02-14 1996-08-30 Nikon Corp 撮像装置
US5602412A (en) * 1994-08-15 1997-02-11 Nikon Corporation Imaging device which adjusts the ratio of color excitation values produced by an image pickup element in accordance with an exit pupil position and the size of an aperture
JPH08220584A (ja) 1995-02-14 1996-08-30 Nikon Corp 撮像装置
US6690421B1 (en) * 1996-10-30 2004-02-10 Fuji Photo Film Co., Ltd. Structure of solid state image pickup device
JPH10136264A (ja) 1996-10-30 1998-05-22 Toshiba Corp 固体撮像装置
JP4265029B2 (ja) 1999-05-11 2009-05-20 株式会社ニコン 画像取り込み装置および交換レンズ
US7289154B2 (en) * 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
JP4022862B2 (ja) * 2002-06-11 2007-12-19 ソニー株式会社 固体撮像装置及びその制御方法
JP2004135206A (ja) 2002-10-15 2004-04-30 Matsushita Electric Ind Co Ltd 画素信号混色低減装置
JP4295149B2 (ja) 2004-03-26 2009-07-15 富士フイルム株式会社 色シェーディング補正方法および固体撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102197640B (zh) * 2008-10-22 2014-03-12 佳能株式会社 图像传感器和摄像设备
US8692917B2 (en) 2008-10-22 2014-04-08 Canon Kabushiki Kaisha Image sensor and image sensing apparatus with plural vertical output lines per column
US9294744B2 (en) 2008-10-22 2016-03-22 Canon Kabushiki Kaisha Image sensor and image sensing apparatus with plural vertical output lines
CN103975584A (zh) * 2011-12-02 2014-08-06 索尼公司 图像拾取设备、颜色校正方法和颜色校正程序

Also Published As

Publication number Publication date
US20050263677A1 (en) 2005-12-01
DE602005014707D1 (de) 2009-07-16
ATE433258T1 (de) 2009-06-15
US7777792B2 (en) 2010-08-17
EP1601186A3 (en) 2006-08-16
JP2005341205A (ja) 2005-12-08
EP1601186B1 (en) 2009-06-03
EP1601186A2 (en) 2005-11-30
JP4333478B2 (ja) 2009-09-16
CN100454976C (zh) 2009-01-21

Similar Documents

Publication Publication Date Title
JP5254762B2 (ja) 撮像装置、撮像システム、及び撮像装置における信号の補正方法
CN1226864C (zh) 图象感测设备及黑斑校正方法
US7154547B2 (en) Solid-state image sensor having control cells for developing signals for image-shooting control under poor illumination
US7626619B2 (en) Digital camera
CN1941853A (zh) 成像设备、以及曝光控制设备、方法和程序
US20090219419A1 (en) Peripheral Light Amount Correction Apparatus, Peripheral Light Amount Correction Method, Electronic Information Device, Control Program and Readable Recording Medium
CN1941917A (zh) 成像装置及图像处理器
CN1738364A (zh) 图像摄取设备及其控制方法
CN1917616A (zh) 摄影装置
CN1645943A (zh) 生成立体图像的电子照相机和图像生成装置
CN1812496A (zh) 摄像装置及其控制方法
CN101031032A (zh) 图像拾取设备、曝光控制方法、及计算机程序
CN1816110A (zh) 摄像装置及其控制方法
CN1649418A (zh) 摄像装置
CN1694506A (zh) 箝位电平调节设备,电子照相机,和图像处理设备
CN1812478A (zh) 图像摄取设备及该设备的控制方法
CN1703077A (zh) 图像捕获设备和包括图像处理程序的计算机程序产品
US7697043B2 (en) Apparatus for compensating for color shading on a picture picked up by a solid-state image sensor over a broad dynamic range
CN102780888B (zh) 图像处理装置、图像处理方法以及电子照相机
JP2001016598A (ja) カラー撮像素子及び撮像装置
CN101036380A (zh) 创建彩色图像的方法、成像设备和成像模块
CN1144446C (zh) 数字式照相机调整系统及调整装置
JP3501960B2 (ja) 画像表示制御装置及び方法
US20040141087A1 (en) Solid-state image pickup apparatus with influence of shading reduced and a method of controlling the same
JP4586578B2 (ja) デジタルカメラ及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090121

Termination date: 20200526