CN102948152A - 成像设备和成像方法 - Google Patents

成像设备和成像方法 Download PDF

Info

Publication number
CN102948152A
CN102948152A CN201180030764XA CN201180030764A CN102948152A CN 102948152 A CN102948152 A CN 102948152A CN 201180030764X A CN201180030764X A CN 201180030764XA CN 201180030764 A CN201180030764 A CN 201180030764A CN 102948152 A CN102948152 A CN 102948152A
Authority
CN
China
Prior art keywords
photo
signal
electric conversion
conversion element
color signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180030764XA
Other languages
English (en)
Other versions
CN102948152B (zh
Inventor
高桥宏辅
河村典子
河合智行
田中诚二
芦田哲郎
河口武弘
远藤恒史
井上知己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102948152A publication Critical patent/CN102948152A/zh
Application granted granted Critical
Publication of CN102948152B publication Critical patent/CN102948152B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

公开了成像设备和成像方法。利用该成像设备可以在宽范围的光条件下获得具有最佳颜色再现性的图像。该成像设备具有:固态成像装置(5)包括具有不同光谱敏感度特性的光电转换元件(51W、51N)。信号产生单元(172N、172W)使用从多个光电转换元件(51N)输出的成像信号来产生第一亮度信号和第一颜色信号,并且使用从多个光电转换元件(51W)输出的成像信号来产生第二亮度信号和第二颜色信号;信号产生单元(173)使用所述第一亮度信号和/或所述第二亮度信号来产生用于记录到记录介质(21)的亮度信号(Y),并且使用所述第一颜色信号和/或所述第二颜色信号来产生用于记录到记录介质(21)的色度信号(Cr、Cb);以及光测量单元(19)使用从光电转换元件(51W、51N)输出的成像信号来执行测光。信号产生单元(173)改变亮度信号(Y)的产生方法和色度信号(Cr、Cb)的产生方法。

Description

成像设备和成像方法
技术领域
本发明涉及成像设备和成像方法。
背景技术
迄今为止,已提出配备有固态成像装置的各种成像设备,这些固态成像装置包括能够获得具有不同敏感度的信号的两个类型的光电转换元件组(例如,见专利文件1至3)。
专利文件1中公开的成像设备具有如下固态成像装置,该固态成像装置包括:其中的每对像素部分都具有两个其上分别提供有不同波长选择性的红色滤色器的光电转换元件的多对像素部分;其中的每对像素部分都具有两个其上分别提供有不同波长选择性的绿色滤色器的光电转换元件的多对像素部分;以及其中的每对像素部分都具有两个其上分别提供有不同波长选择性的蓝色滤色器的光电转换元件的多对像素部分。因此,该成像设备通过对从每对像素部分的两个光电转换元件获得的信号进行组合来实现在颜色再现性上的改进。
当专利文件1中公开的成像设备执行成像时,要被该成像设备成像的对象的亮度根据环境而改变,于是,需要获得针对亮度的最佳颜色再现性。然而,专利文件1没有考虑针对亮度获得最佳颜色再现性。
专利文件2公开了一种固态成像装置,包括:主光敏部分和副光敏部分,其光接收区域彼此不同;以及具有不同光谱特性的滤色器,其分别布置在固态成像装置上。然而,专利文件2主要讲述了照明光源的分辨精度的改进,而没有考虑颜色再现性的改进。
专利文件3公开了一种固态成像装置,包括多对在光电转换灵敏度上彼此相同或不同的光电转换元件。然而,专利文件3只提及了动态范围的扩大,而没有公开颜色再现性的改进。
现有技术文件
专利文献
[专利文件1]JP-2009-268078A
[专利文件2]JP-2004-289728A
[专利文件3]JP-2008-270832A
发明内容
要解决的问题
本发明是考虑了上述情况而做出的,并且本发明的一个目的是提供能够在宽范围的光强条件下获得具有最佳颜色再现性的图像的成像设备和成像方法。
解决问题的手段
本发明提供了一种包括固态成像装置的成像设备,所述固态成像装置具有多个对的第一光电转换元件和第二光电转换元件,其分别具有不同的光谱敏感度特性。每对中的所述第一光电转换元件主要具有光谱敏感度的波长范围和该对中的所述第二光电转换元件主要具有光谱敏感度的波长范围分别处在可见光的特定颜色的波长范围之内。所述多个对包括具有不同特定颜色的多个类型的对。每对中的所述第二光电转换元件的光谱敏感度特性中的半值宽度大于该对中的所述第一光电转换元件的光谱敏感度特性中的半值宽度。所述成像设备还包括:第一信号产生单元,其使用从多个所述第一光电转换元件输出的成像信号来产生第一亮度信号和第一颜色信号,并且使用从多个所述第二光电转换元件输出的成像信号来产生第二亮度信号和第二颜色信号;第二信号产生单元,其使用所述第一亮度信号和所述第二亮度信号中的至少一个来产生用于记录到记录介质的第三亮度信号,并且使用所述第一颜色信号和所述第二颜色信号中的至少一个来产生用于记录到记录介质的第三颜色信号;以及光测量单元,其获得从每个所述第一光电转换元件和每个所述第二光电转换元件输出的成像信号以执行测光。所述第二信号产生单元基于由所述光测量单元执行的测光的结果来改变所述第三亮度信号的产生方法和所述第三颜色信号的产生方法。
本发明还提供了一种使用固态成像装置的成像方法,所述固态成像装置具有多个对的第一光电转换元件和第二光电转换元件,其分别具有不同的光谱敏感度特性。每对中的所述第一光电转换元件主要具有光谱敏感度的波长范围和该对中的所述第二光电转换元件主要具有光谱敏感度的波长范围分别处在可见光的特定颜色的波长范围之内。所述多个对包括具有不同特定颜色的多个类型的对。每对中的所述第二光电转换元件的光谱敏感度特性中的半值宽度大于该对中的所述第一光电转换元件的光谱敏感度特性中的半值宽度。所述成像方法包括:第一信号产生步骤,使用从多个所述第一光电转换元件输出的成像信号来产生第一亮度信号和第一颜色信号,并且使用从多个所述第二光电转换元件输出的成像信号来产生第二亮度信号和第二颜色信号;第二信号产生步骤,使用所述第一亮度信号和所述第二亮度信号中的至少一个来产生用于记录到记录介质的第三亮度信号,并且使用所述第一颜色信号和所述第二颜色信号中的至少一个来产生用于记录到记录介质的第三颜色信号;以及光测量步骤,获得从每个所述第一光电转换元件和每个所述第二光电转换元件输出的成像信号并且执行测光。所述第二信号产生步骤基于在所述光测量步骤执行的测光的结果来改变所述第三亮度信号的产生方法和所述第三颜色信号的产生方法。
本发明的效果
根据本发明,可以提供能够在宽范围的光强条件下获得具有最佳颜色再现性的图像的成像设备和成像方法。
附图说明
图1是示出用于描述本发明的一个示例实施例的成像设备的示意构造的示图。
图2是示出图1所示的数码相机中的固态成像装置的示意构造的平面图。
图3是示出图2所示的固态成像装置中的光电转换元件51W和光电转换元件51N的光谱敏感度特性的示意图。
图4是示出图1所示的数码相机中的数字信号处理单元的内部构造的示图。
图5是示出图1所示的数码相机在成像模式时的操作的流程图。
图6是示出图5所示的流程图中的窄优先处理(步骤S4)的详细说明的流程图。
图7是示出图5所示的流程图中的宽优先处理(步骤S7)的详细说明的流程图。
图8是示出图5所示的流程图中的窄宽相加处理(步骤S9)的详细说明的流程图。
图9是用于描述由图1所示的数码相机中的成像装置驱动单元10执行的宽优先驱动的示图。
图10是用于描述由图1所示的数码相机中的成像装置驱动单元10执行的窄优先驱动的示图。
图11是用于描述由图1所示的数码相机中的成像装置驱动单元10执行的宽优先驱动的示图。
图12是用于描述由图1所示的数码相机中的成像装置驱动单元10执行的窄优先驱动的示图。
具体实施方式
在下文中,将参照附图来描述本发明的示例实施例。
图1是示出用于描述本发明的示例实施例的成像设备的示意构造的示图。作为成像设备,存在诸如数码相机和数码摄影机之类的成像设备、安装在例如电子内窥镜中的成像模块、以及具有摄像机的移动电话。在下文中,描述数码相机作为一个示例。
所示的数码相机的成像系统包括拍摄透镜1、CCD类型的固态成像装置5、安装在拍摄透镜1和固态成像装置5之间的快门2、红外截止滤波器3、以及光学低通滤波器4。此外,在拍摄透镜1前面还安装有机械快门(未示出)。
系统控制单元11整体地控制数码相机的全部电子控制系统,并且控制闪光灯的发光单元12。而且,系统控制单元11控制透镜驱动单元8以将拍摄透镜1的位置调节到焦点位置或者以执行缩放调节。另外,系统控制单元11经由光圈驱动单元9控制光圈2的孔径尺寸以调节曝光量。
而且,系统控制单元11经由成像装置驱动单元10驱动固态成像装置5,以将通过拍摄透镜1拍摄到的对象图像输出为图像信号。成像装置驱动单元10还控制机械快门的开/关。来自用户的指令信号经由操作单元14输入至系统控制单元11。
数码相机的电子控制系统还包括:模拟信号处理单元6,其连接至固态成像装置5的输出并且执行诸如相关双采样处理的模拟信号处理;以及模拟/数字(A/D)转换电路7,其将从模拟信号处理单元6输出的成像信号转换为数字信号。模拟信号处理单元6和AD转换电路7由系统控制单元11控制。
而且,数码相机的电子控制系统包括:主存储器16;存储器控制单元15,其连接到主控制器16;数字信号处理单元17,其执行例如内插操作、伽马校正操作、同步处理、和RGB/YC转换处理以产生成像图像数据;压缩和解压缩处理单元18,其将由数字信号处理单元17产生的成像图像数据压缩成联合图像专家组(JPEG)格式或者将压缩的图像数据解压缩;光测量单元19,其基于从固态成像装置5输出的图像信号来执行光测量;外部存储器控制单元20,其与可拆卸的记录介质21相连;以及显示控制单元22,其连接至安装在例如相机的后部的液晶显示单元23。
存储器控制单元15、数字信号处理单元17、压缩和解压缩处理单元18、光测量单元19、外部存储器控制单元20、以及显示控制单元22通过控制总线24和数据总线25彼此互连,并且由来自系统控制单元11的指令控制。
图2是示出图1所示的数码相机中的固态成像装置5的示意构造的平面图。
如图2所示,固态成像装置5包括由多个光电转换元件51W组成的第一组、由多个光电转换元件51N组成的第二组、多个垂直电荷传输单元54、水平电荷传输单元52、以及输出单元53。
固态成像装置5包括的所有光电转换元件在半导体衬底的表面上以二维排列形式布置在列方向Y上和与列方向Y相交(图2的示例中,正交)的行方向X上。所有光电转换元件通过由在列方向Y上布置的多个光电转换元件51W组成的第一光电转换元件列、以及由在列方向Y上布置的多个光电转换元件51N组成的第二光电转换元件列而构成。第一光电转换元件列和第二光电转换元件列按恒定节距在行方向X上并行交替排列。而且,第一光电转换元件列布置成相对于第二光电转换元件列在列方向Y上偏移每个光电转换元件列的光电转换元件的列方向Y上的1/2阵列节距。该阵列可以通过将光电转换元件51N布置在相对于以四方晶格形式布置的各个光电转换元件51W倾斜偏离45°方向上的位置处而获得。
如上所述,光电转换元件51N在预定方向上与各个光电转换元件51W相邻地布置。每个光电转换元件51W和在预定方向上与光电转换元件51W相邻的光电转换元件51N形成一对像素。
固态成像装置5中包括的所有光电转换元件具有实质上相同的构造(设计中构造相同)。术语“实质上相同的构造”是指在半导体衬底内形成的光电转换区域(光电二极管)具有实质上相同的尺寸(在设计中相等),并且在光电转换区域上方形成的光屏蔽膜具有实质上相同的开口尺寸(在设计中相等)。
由光电转换元件51W形成的第一组和由光电转换元件51N形成的第二组配置成可以单独地控制第一组和第二组中每一个的曝光时间。
在固态成像装置5中,成对的光电转换元件51W和光电转换元件51N满足下列条件:
(1)每个光电转换元件51W的光谱敏感度特性与每个光电转换元件51N的光谱敏感度特性互不相同。
(2)光电转换元件51W主要具有光谱敏感度的波长范围和光电转换元件51N主要具有光谱敏感度的波长范围(例如,光电转换元件51N的光谱敏感度特性中的半值宽度)处在可见光中的特定颜色的光的波长范围之内。
(3)光电转换元件51N的光谱敏感度特性中的半值宽度窄于光电转换元件51W的光谱敏感度特性中的半值宽度。
(4)光电转换元件51W主要具有光谱敏感度的波长范围的每个波长处的光谱敏感度的值大于光电转换元件51N的对应波长处的光谱敏感度的值。
(5)光电转换元件51W的光谱敏感度特性中的半值宽度与光电转换元件51W的光谱敏感度的峰值的比值(半值宽度/峰值)大于光电转换元件51N的光谱敏感度特性中的半值宽度与光电转换元件51N的光谱敏感度的峰值的比值(半值宽度/峰值)。
同时,光电转换元件主要具有光谱敏感度的波长范围是指从光电转换元件输出的大部分信号是根据处在所述波长范围中的光的信号,并且是指这样一个范围:其中根据除了所述波长范围以外的光的信号分量几乎不对从光电转换元件输出的信号的颜色产生影响。在下文中,将每个光电转换元件的光谱敏感度特性中的半值宽度描述为每个光电转换元件主要具有光谱敏感度的波长范围。
作为对形成一对的光电转换元件51W和光电转换元件51N的光谱敏感度特性进行区分的方法,可以采用多种方法。在固态成像装置5中,采用了使布置在形成一对的光电转换元件51W和光电转换元件51N的每一个上方的滤色器的光谱敏感度特性彼此不同的方法。
使红光穿过的滤色器R1、使绿光穿过的滤色器G1、以及使蓝光穿过的滤色器B1,作为一个整体以Bayer模式布置,并且安装在每个光电转换元件51W上方。
在图2,字母“R1”被赋予给其上安装滤色器R1的光电转换元件51W。而且,字母“G1”被赋予给其上安装滤色器G1的光电转换元件51W。而且,字母“B 1”被赋予给其上安装滤色器B 1的光电转换元件51W。
使红光穿过的滤色器R2、使绿光穿过的滤色器G2、以及使蓝光穿过的滤色器B2,作为一个整体以Bayer模式布置,并且安装在每个光电转换元件51N上方。
在图2,字母“R2”被赋予给其上安装滤色器R2的光电转换元件51N。而且,字母“G2”被赋予给其上安装滤色器G2的光电转换元件51N。而且,字母“B2”被赋予给其上安装滤色器B2的光电转换元件51N。
在下文中,滤色器R1和滤色器R2被统称为红色滤色器。而且,滤色器G1和滤色器G2被统称为绿色滤色器。而且,滤色器B1和滤色器B2被统称为蓝色滤色器。
以此方式,相同颜色的滤色器(红色滤色器、绿色滤色器、或蓝色滤色器)布置在形成对的各个光电转换元件51W和各个光电转换元件51N上方。因此,固态成像装置5中包括其上侧安装了不同颜色的滤色器的三种类型的对(其上方具有红色滤色器的R对、其上方具有绿色滤色器的G对、以及其上方具有蓝色滤色器的B对)。
同时,针对R对的每个光电转换元件在上述条件(2)下的特定颜色是红色。针对G对的每个光电转换元件在上述条件(2)下的特定颜色是绿色。针对B对的每个光电转换元件在上述条件(2)下的特定颜色是蓝色。
在R对的各个光电转换元件中,对滤色器R1和滤色器R2的各个光谱敏感度特性进行了区分,因此在光电转换元件51W和光电转换元件51N之间的光谱敏感度特性上提供了差别。
在G对的各个光电转换元件中,对滤色器G1和滤色器G2的各个光谱敏感度特性进行了区分,因此在光电转换元件51W和光电转换元件51N之间的光谱敏感度特性上提供了差别。
在B对的各个光电转换元件中,对滤色器B1和滤色器B2的各个光谱敏感度特性进行了区分,因此在光电转换元件51W和光电转换元件51N之间的光谱敏感度特性上提供了差别。
在下文中,将描述R对的每个光电转换元件、G对的每个光电转换元件、B对的每个光电转换元件的光谱敏感度特性的具体示例。
图3是示出图2所示的固态成像装置5中的光电转换元件51W和光电转换元件51N的光谱敏感特性的一个示例的示图。在图3中,由符号R1(λ)、G1(λ)、B1(λ)表示的特性分别呈现具有滤色器R1、滤色器G1、滤色器B1的光电转换元件51W的光谱敏感度特性。而且,由符号R2(λ)、G2(λ)、B2(λ)表示的特性分别呈现安装了滤色器R2、滤色器G2、滤色器B2的光电转换元件51N的光谱敏感度特性。
在图3所示的示例中,R对的光电转换元件51W主要具有光谱敏感度的波长范围(半值宽度)的每个波长处的光谱敏感度的值大于R对的光电转换元件51N的每个对应波长处的光谱敏感度的值。而且,光谱敏感度特性R2(λ)中的半值宽度窄于光谱敏感度特性R1(λ)中的半值宽度并且位于R1(λ)之内。而且,光谱敏感度特性R1(λ)中的半值宽度处在红色波长范围之内。光谱敏感度特性R1(λ)的半值宽度与峰值的比值大于光谱敏感度特性R2(λ)的半值宽度与峰值的比值。同时,光谱敏感度特性R1(λ)和R2(λ)每个中的半值宽度被设置为可见光的波长范围中的值。
在图3所示的示例中,G对的光电转换元件51W主要具有光谱敏感度的波长范围(半值宽度)的每个波长处的光谱敏感度的值大于G对的光电转换元件51N的每个对应波长处的光谱敏感度的值。而且,光谱敏感度特性G2(λ)中的半值宽度窄于光谱敏感度特性G1(λ)中的半值宽度并且位于G1(λ)之内。而且,光谱敏感度特性G1(λ)中的半值宽度处在绿色波长范围之内。光谱敏感度特性G1(λ)的半值宽度与峰值的比值大于光谱敏感度特性G2(λ)的半值宽度与峰值的比值。
在图3所示的示例中,B对的光电转换元件51W主要具有光谱敏感度的波长范围(半值宽度)的每个波长处的光谱敏感度的值大于B对的光电转换元件51N的每个对应波长处的光谱敏感度的值。而且,光谱敏感度特性B2(λ)中的半值宽度窄于光谱敏感度特性B1(λ)中的半值宽度并且位于B1(λ)之内。而且,光谱敏感度特性B 1(λ)中的半值宽度处在蓝色波长范围之内。光谱敏感度特性B 1(λ)的半值宽度与峰值的比值大于光谱敏感度特性B2(λ)的半值宽度与峰值的比值。同时,光谱敏感度特性B1(λ)和B2(λ)每个中的半值宽度被设置为可见光的波长范围中的值。
因此,通过以此方式提供图3所示的光谱敏感度特性可以满足上述条件(1)至(5)。
一对中的光电转换元件51W具有宽光谱敏感度特性,其半值宽度大于该对中的光电转换元件51N的光谱敏感度特性的半值宽度。因此,第一组光电转换元件51W在下文中可以被称为宽元件组。而且,作为从宽元件组的每个光电转换元件51W输出的一组成像信号的成像图像信号在下文中可以被称为宽信号。
而且,一对中的光电转换元件51N具有窄光谱敏感度特性,其半值宽度小于该对中的光电转换元件51W的光谱敏感度特性的半值宽度。因此,第二组光电转换元件51N在下文中可以被称为窄元件组。而且,作为从窄元件组的每个光电转换元件51N输出的一组成像信号的成像图像信号在下文中可以被称为窄信号。
第一组光电转换元件51W的光谱特性与第二组光电转换元件51N的光谱特性相比具有较宽的光谱。因此,具有在不依赖于光源的情况下可以获得稳定的颜色再现性的优点。而且,因为光吸收量较大,所以该光谱特性具有可以实现高敏感度和低噪声的优点。
与此相反,第二组光电转换元件51N的光谱特性与第一组光电转换元件51W的相比具有较窄的光谱。因此,具有可以获得具有高色度的图像的优点。而且,因为光吸收量较小,所以该光谱特性具有颜色辨别良好和颜色再现区域宽的优点。
再参考图2,多个垂直电荷传输单元54与每个光电转换元件列相对应地逐个布置。每个垂直电荷传输单元54将从对应的光电转换元件列的每个光电转换元件读取的电荷传输至列方向Y。
每个垂直电荷传输单元54由形成在半导体衬底内的电荷传输通道54a和在电荷传输通道54a上方的列方向Y上布置的传输电极V1至V8而构成。传输电极V1至V8配置为将驱动脉冲从成像装置驱动单元10提供至这些电极。垂直电荷传输单元54由驱动脉冲驱动。
电荷读取区域56(由图2的箭头记号示意表示)形成在每个电荷传输通道54a和与电荷读取区域56相对应的光电转换元件列的每个光电转换元件之间。
传输电极V3覆盖了第一组光电转换元件51W当中从与固态成像装置5的水平电荷传输单元52的安装侧相对的一端(上端)计起的奇数行的光电转换元件51W的电荷读取区域56。即,传输电极V3用作从奇数行的光电转换元件51W读取电荷的读取电极。
传输电极V7覆盖了第一组光电转换元件51W当中从固态成像装置5的上端计起的偶数行的光电转换元件51W的电荷读取区域56。即,传输电极V7用作从偶数行的光电转换元件51W读取电荷的读取电极。
传输电极V5覆盖了第二组光电转换元件51N当中从固态成像装置5的上端计起的奇数行的光电转换元件51N的电荷读取区域56。即,传输电极V5用作从奇数行的光电转换元件51N读取电荷的读取电极。
传输电极V1覆盖了第二组光电转换元件51N当中从固态成像装置5的上端计起的偶数行的光电转换元件51N的电荷读取区域56。即,传输电极V1用作从偶数行的光电转换元件51N读取电荷的读取电极。
水平电荷传输单元52将从多个垂直电荷传输单元54传输来的电荷传输至行方向X。
输出单元53将从水平电荷传输单元52传输的电荷转换成与该电荷的量相对应的信号并且将其输出。
再参考图1,光测量单元19使用从宽元件组输出的宽信号来计算光测量值(宽光测量值)。而且,光测量单元19使用从窄元件组输出的窄信号来计算光测量值(窄光测量值)。
系统控制单元11具有自动曝光(AE)功能,其中基于窄光测量值或宽光测量值来确定适当的曝光值。
接下来,将描述图1所示的数码相机中的数字信号单元17的详细构造。
图4是示出图1所示的数码相机中的数字信号单元的内部构造的示图。如图4所示,数字信号处理单元17包括同步处理单元171W、171N,和亮度色度信号产生单元172W、172N,以及亮度色度信号产生单元173。
同步处理单元171W对从宽元件组输出的并且存储在主存储器16中的宽信号执行同步处理,并且产生宽成像图像数据。
同步处理是指在构成成像图像信号的每个成像信号的存储位置中使用相邻成像信号来对成像信号的颜色分量之外的颜色分量进行内插的处理。通过该处理,在与宽元件组的每个光电转换元件51W相对应的存储位置中产生了由红(R)、绿(G)、蓝(B)三个颜色分量组成的成像信号所构成的成像像素信号。宽成像图像数据由成像像素信号的集合产生。
同步处理单元171N对从窄元件组输出的并且存储在主存储器16中的窄信号执行同步处理,并且产生窄成像图像数据。通过同步处理,在与窄元件组的每个光电转换元件51N相对应的存储位置中产生了由红(R)、绿(G)、蓝(B)三个颜色分量组成的成像信号所构成的成像像素信号。窄成像图像数据由成像像素信号的集合产生。
亮度色度信号产生单元172W通过已知的操作使用在同步处理单元171W产生的宽成像图像数据的每个成像像素信号来产生亮度信号YW和作为颜色信号的色度信号CrW、CbW
亮度色度信号产生单元172N通过已知的操作使用在同步处理单元171N产生的窄成像图像数据的每个成像像素信号来产生亮度信号YN和作为颜色信号的色度信号CrN、CbN
亮度色度信号产生单元173使用亮度信号YW和亮度信号YN中的至少一个来产生作为用于记录到记录介质21的亮度信号的亮度信号Y。亮度色度信号产生单元173使用色度信号CrW和色度信号CrN中的至少一个来产生作为用于记录到记录介质21的颜色信号的色度信号Cr。亮度色度信号产生单元173使用色度信号CbW和色度信号CbN中的至少一个来产生作为用于记录到记录介质21的颜色信号的色度信号Cb。
由亮度色度信号产生单元173产生的亮度信号Y和色度信号Cr、Cb构成的成像图像数据被压缩/解压缩处理单元18压缩,然后被记录到记录介质21。
该数码相机的特征在于,亮度色度信号产生单元173根据通过光测量单元19的光测量结果来改变亮度信号Y和色度信号Cr、Cb的产生方法。
具体地,亮度色度信号产生单元173基于下面的等式1至3来产生亮度信号Y和色度信号Cr、Cb。
Y=ε1YN2YW    (1)
Cr=α1CrN2CrW    (2)
Cb=α1CbN2CbW    (3)
其中ε1、ε2、α1、α2每个都是系数。
在下文中,将详细描述通过亮度色度信号产生单元173的亮度信号Y和色度信号Cr、Cb的产生处理。
当窄光测量值大于或等于作为基于该窄光测量值确定的适当曝光值的阈值Th1时,在窄元件组中可以获得适当曝光(充分满足窄元件组处的曝光量)。在此情况下,亮度色度信号产生单元173基于ε1=1、ε2=0、0<α1≤1、α2=(1-α1)来产生亮度信号Y和色度信号Cr、Cb。
具体地,亮度色度信号产生单元173根据在获得窄光测量值时使用的窄信号来选择并执行下面第一处理和第二处理中的一个。
第一处理是这样的处理:当亮度信号YN自身作为亮度信号Y,将色度信号CrN和色度信号CrW以预定比例相加作为色度信号Cr,并且将色度信号CbN和色度信号CbW以预定比例相加作为色度信号Cb时,产生亮度信号Y和色度信号Cr、Cb。第一处理对应于当在等式1中ε1=1、ε2=0,并且在等式2和3中α1成为0<α1<1、α2成为(1-α1)时进行运算的处理。
第二处理是这样的处理:当亮度信号YN自身作为亮度信号Y,色度信号CrN自身作为色度信号Cr,并且色度信号CbN自身作为色度信号Cb时,产生亮度信号Y和色度信号Cr、Cb。第二处理对应于当在等式1中ε1=1、ε2=0,并且在等式2和3中α1=1、α2=0时进行运算的处理。
即使窄光测量值大于或等于阈值Th1,在通过同步处理根据在获得窄光测量值时使用的窄信号所产生的窄成像图像数据中颜色饱和的成像像素信号所占据的比例变得较大的情况下,在执行第二处理时也可以获得颜色饱和的成像图像数据。
因此,当基于在获得窄光测量值时使用的窄信号的窄成像图像数据的颜色饱和的成像像素信号的比例大于或等于阈值时,亮度色度信号产生单元173执行第一处理。而且,当该颜色饱和的成像像素信号的比例变得小于该阈值时,亮度色度信号产生单元173执行第二处理。即,亮度色度信号产生单元173根据基于在获得窄光测量值时使用的窄信号的窄成像图像数据的颜色饱和程度来选择并执行第一处理和第二处理中的一个。
因此,即使当大部分窄成像图像数据颜色饱和时,通过执行第一处理以改变色度信号Cr、Cb的动态范围(改变色度)来防止颜色饱和,从而提高颜色再现性。同时,此时的α值可被设置为能够防止颜色饱和的值。
而且,当窄光测量值小于阈值Th1,并且宽光测量值大于等于作为基于该窄光测量值确定的适当曝光值的阈值Th2时,在窄元件组中没有获得适当曝光,但在宽元件组中可以获得适当曝光(在宽元件组中充分满足曝光量)。出于这个原因,亮度色度信号产生单元173基于ε1=0、ε2=1、0≤α1<1、α2=(1-α1)来产生亮度信号Y和色度信号Cr、Cb。
具体地,亮度色度信号产生单元173根据在获得宽光测量值时使用的宽信号来选择并执行下面第三处理和第四处理中的一个。
第三处理是这样的处理:当亮度信号YW自身作为亮度信号Y,将色度信号CrN和色度信号CrW以预定比例相加作为色度信号Cr,并且将色度信号CbN和色度信号CbW以预定比例相加作为色度信号Cb时,产生亮度信号Y和色度信号Cr、Cb。第三处理对应于当在等式1中ε1=0、ε2=1,并且在等式2和3中α1成为0<α1<1、α2成为(1-α1)时进行运算的处理。
第四处理是这样的处理:当亮度信号YW自身作为亮度信号Y,色度信号CrW自身作为色度信号Cr,并且色度信号CbW自身作为色度信号Cb时,产生亮度信号Y和色度信号Cr、Cb。第四处理对应于当在等式1中ε1=0、ε2=1,并且在等式2和3中α1=0、α2=1时进行运算的处理。
即使宽光测量值大于或等于阈值Th2,在通过同步处理根据在获得宽光测量值时使用的宽信号所产生的宽成像图像数据中颜色饱和的成像像素信号占据的比例变得较大的情况下,在执行第四处理时也可以获得颜色饱和的成像图像数据。
因此,当基于在获得宽光测量值时使用的宽信号的宽成像图像数据的颜色饱和的成像像素信号的比例大于或等于阈值时,亮度色度信号产生单元173执行第三处理。而且,当颜色饱和的成像像素信号的比例小于该阈值时,亮度色度信号产生单元173执行第四处理。即,亮度色度信号产生单元173根据基于在获得宽光测量值时使用的宽信号的宽成像图像数据的颜色饱和程度来选择并执行第三处理和第四处理中的一个。
因此,即使当大部分宽成像图像数据颜色饱和,通过执行第三处理以改变色度信号Cr、Cb的动态范围(改变色度)来防止颜色饱和,从而提高颜色再现性。同时,此时的α值可以被设置为能够防止颜色饱和的值。
而且,当宽光测量值小于阈值Th2时,该情况表明的是窄元件组和宽元件组均未获得适当曝光的暗场景。出于这个原因,亮度色度信号产生单元173基于0<ε1≤1,0<ε2≤1、0<α1≤1、0<α2≤1来产生亮度信号Y和色度信号Cr、Cb。
具体地,亮度色度信号产生单元173根据对象场景来选择并执行下面第五处理、第六处理、和第七处理中的一个。
第五处理是这样的处理:当将亮度信号YW和亮度信号YN以预定比例相加作为亮度信号Y,以色度信号CrN大于色度信号CrW的比例将色度信号CrN和色度信号CrW相加作为色度信号Cr,并且以色度信号CbN大于色度信号CbW的比例将色度信号CbN和色度信号CbW相加作为色度信号Cb时,产生亮度信号Y和色度信号Cr、Cb。第五处理对应于当在等式1中0<ε1<1、0<ε2<1,并且在等式2和3中0<α1<1、0<α2<1、α21时进行运算的处理。
第六处理是这样的处理:当以预定比例将亮度信号YW和亮度信号YN相加作为亮度信号Y,以色度信号CrW大于色度信号CrN的比例将色度信号CrN和色度信号CrW相加作为色度信号Cr,并且以色度信号CbW大于色度信号CbN的比例将色度信号CbN和色度信号CbW相加作为色度信号Cb时,产生亮度信号Y和色度信号Cr、Cb。第五处理对应于当在等式1中0<ε1<1、0<ε2<1,并且在等式2和3中0<α1<1、0<α2<1、α21时操作的处理。
第七处理是这样的处理:当将亮度信号YW和亮度信号YN简单相加作为亮度信号Y,将色度信号CrN和色度信号CrW简单相加作为色度信号Cr,并且将色度信号CbN和色度信号CbW简单相加作为色度信号Cb时,产生亮度信号Y和色度信号Cr、Cb。第七处理对应于当在等式1中ε1=1、ε2=1,并且在等式2和3中α12=1时进行运算的处理。
在第五处理中,色度信号Cr、Cb中包括的色度信号CrN、CbN的比例较大,于是最终产生的成像图像数据的色度是增加的。因此,这是表现颜色清晰的对象的适当的处理。
在第六处理中,色度信号Cr、Cb中包括的色度信号CrW、CbW的比例较大,于是最终产生的成像图像数据的色度是减小的。因此,这是表现颜色不清晰的对象(例如,肤色)的适当的处理。
在第七处理中,色度信号Cr、Cb中包括的色度信号CrW、CbW和色度信号CrN、CbN的比例是一样的。因此,色度几乎没改变,但是敏感度会连同亮度信号Y和色度信号Cr、Cb一起增加。因此,这是一个针对例如夜景的暗场景适当的处理。
第五处理至第七处理具有上述特性。因此,当对象场景为把敏感度放在第一位的对象场景(例如包含夜景的场景)时,亮度色度信号产生单元173执行第七处理。而且,当对象场景为把颜色再现性放在第一位的对象场景(例如包含肖像或风景的场景)时,亮度色度信号产生单元173执行第五处理或第六处理。通过此做法,可以根据对象场景来获得最佳图像质量。
同时,在第五处理和第六处理中将亮度信号YW和亮度信号YN相加时的亮度信号YW和亮度信号YN的比例可以设置为使得亮度信号Y大于等于与基于适当曝光值Th2相对应的信号水平。
在下文中,将描述图1所示的数码相机在成像模式时的操作。
图5是示出图1所示的数码相机在成像模式下的操作的流程图。
当操作单元14中包括的快门按钮被半按时,系统控制单元11通过固态成像装置5执行用于进行自动曝光控制(AE)和自动聚焦控制(AF)的预备成像(步骤S1)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行预备成像。
接着,光测量单元19获得在预备成像时从固态装置5获得的窄信号,并且基于该窄信号来计算第一光测量值(步骤S2)。
接着,系统控制单元11基于第一光测量值来决定适当曝光值(阈值Th1),并且确定第一光测量值是否大于等于阈值Th1(步骤S3)。
当第一光测量值大于等于阈值Th1时(步骤S3:是),执行窄优先处理(步骤S4)。
当第一光测量值小于阈值Th1时(步骤S3:否),光测量单元19获得在预备成像时从固态装置5获得的宽信号,并且基于该宽信号来计算第二光测量值(步骤S5)。
接着,系统控制单元11基于第二光测量值来决定适当曝光值(阈值Th2),并且确定第二光测量值是否大于等于阈值Th2(步骤S6)。
当第二光测量值大于等于阈值Th2时(步骤S6:是),执行宽优先处理(步骤S7)。
当第二光测量值小于阈值Th2时(步骤S6:否),执行窄宽相加处理(步骤S9)。
接着,将详细说明窄优先处理、宽优先处理、和窄宽相加处理。
图6是示出图5所示的流程图中的步骤S4的内容的流程图。
当开始窄优先处理时,系统控制单元11基于在预备成像时获得的窄信号来确定色度动态范围(色度信号Cr、Cb的动态范围)是否改变(步骤S41)。
具体地,系统控制单元11在数字信号处理单元17中使在预备成像时获得的窄信号同步,以产生窄成像图像数据。系统控制单元11计算窄成像图像数据的颜色饱和的成像像素信号占整个窄成像图像数据的比例。系统控制单元11确定当该比例大于等于阈值时要改变色度动态范围,并且确定当该比例小于阈值时不需要改变色度动态范围。
当在步骤S41的确定为“是”时,系统控制单元11驱动成像装置驱动单元10以根据基于第一光测量值确定的适当曝光值Th1来执行主成像(步骤S42)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行主成像。
在步骤S42的成像中从固态成像装置5获得的窄信号和宽信号在数字信号处理单元17中被同步,以分别产生窄成像图像数据和宽成像图像数据(步骤S43)。
接着,数字信号处理单元17根据在步骤S43产生的窄成像图像数据产生亮度信号YN和色度信号CrN、CbN。而且,数字信号处理单元17根据在步骤S43产生的宽成像图像数据产生亮度信号YW和色度信号CrW、CbW。接着,数字信号处理单元17通过第一处理产生亮度信号Y和色度信号Cr、Cb(步骤S44)。即,数字信号处理单元17使亮度信号YN自身成为亮度信号Y,使以预定比例将色度信号CrN和色度信号CrW相加的结果成为色度信号Cr,并且使以预定比例将色度信号CbN和色度信号CbW相加的结果成为色度信号Cb。
当在步骤S41的确定为“否”时,系统控制单元11驱动成像装置驱动单元10以根据基于第一光测量值确定的适当曝光值Th1来执行主成像(步骤S45)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行主成像。
在步骤S45的成像中从固态成像装置5获得的窄信号和宽信号在数字信号处理单元17中被同步,以分别产生窄成像图像数据和宽成像图像数据(步骤S46)。
接着,数字信号处理单元17根据在步骤S46产生的窄成像图像数据产生亮度信号YN和色度信号CrN、CbN。而且,数字信号处理单元17根据在步骤S46产生的宽成像图像数据产生亮度信号YW和色度信号CrW、CbW。接着,数字信号处理单元17通过第二处理产生亮度信号Y和色度信号Cr、Cb(步骤S47)。即,数字信号处理单元17使亮度信号YN自身成为亮度信号Y,使色度信号CrN自身成为色度信号Cr,并且使色度信号CbN自身成为色度信号Cb。
由在步骤S44、S47产生的亮度信号Y和色度信号Cr、Cb构成的成像图像数据被压缩,然后记录到记录介质21。然后,成像的操作完成。
图7是示出图5所示的流程图中的步骤S7的内容的流程图。
当开始宽优先处理时,系统控制单元11基于在预备成像时获得的宽信号来确定色度动态范围是否改变(步骤S71)。
具体地,系统控制单元11在数字信号处理单元17中使在预备成像时获得的宽信号同步,以产生宽成像图像数据。系统控制单元11计算宽成像图像数据的颜色饱和的成像像素信号占整个宽成像图像数据的比例。而且,系统控制单元11确定当该比例大于等于阈值时要改变色度动态范围,并且确定当该比例小于阈值时不需要改变色度动态范围。
当在步骤S71的确定为“是”时,系统控制单元11驱动成像装置驱动单元10以根据基于第二光测量值确定的适当曝光值Th2来执行主成像(步骤S72)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行主成像。
从在步骤S72的成像中的固态成像装置5获得的窄信号和宽信号在数字信号处理单元17中被同步,以分别产生窄成像图像数据和宽成像图像数据(步骤S73)。
接着,数字信号处理单元17根据在步骤S73产生的窄成像图像数据产生亮度信号YN和色度信号CrN、CbN。而且,数字信号处理单元17根据在步骤S73产生的宽成像图像数据产生亮度信号YW和色度信号CrW、CbW。接着,数字信号处理单元17通过第三处理产生亮度信号Y和色度信号Cr、Cb(步骤S74)。即,数字信号处理单元17使亮度信号YW自身成为亮度信号Y,使以预定比例将色度信号CrN和色度信号CrW相加的结果成为色度信号Cr,并且使以预定比例将色度信号CbN和色度信号CbW相加的结果成为色度信号Cb。
同时,当在步骤S71的确定为“否”时,系统控制单元11驱动成像装置驱动单元10以根据基于第二光测量值确定的适当曝光值Th2来执行主成像(步骤S75)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行主成像。
在步骤S75的成像中从固态成像装置5获得的窄信号和宽信号在数字信号处理单元17中被同步,以分别产生窄成像图像数据和宽成像图像数据(步骤S76)。
接着,数字信号处理单元17根据在步骤S76产生的窄成像图像数据产生亮度信号YN和色度信号CrN、CbN。而且,数字信号处理单元17根据在步骤S76产生的宽成像图像数据产生亮度信号YW和色度信号CrW、CbW。接着,数字信号处理单元17通过第四处理产生亮度信号Y和色度信号Cr、Cb(步骤S77)。即,数字信号处理单元17使亮度信号YW自身成为亮度信号Y,使色度信号CrW自身成为色度信号Cr,并且使色度信号CbW自身成为色度信号Cb。
由在步骤S74、S77产生的亮度信号Y和色度信号Cr、Cb构成的成像图像数据被压缩,然后记录到记录介质21。然后,成像的操作完成。
图8是示出图5所示的流程图中的步骤S9的内容的流程图。
当开始窄宽相加处理时,系统控制单元11基于在预备成像时获得的窄信号或宽信号来确定色度动态范围是否改变(步骤S91)。
具体地,系统控制单元11基于在预备成像时获得的窄信号或宽信号来确定要成像的对象场景。系统控制单元11确定当对象场景为把颜色再现性放在第一位的对象场景(包含肖像或风景的场景)时改变色度动态范围,并且确定当对象场景为把敏感度放在第一位的对象场景(包含夜景的场景)时不需要改变色度动态范围。同时,系统控制单元11确定当没有确定对象场景时不需要改变色度动态范围。
当在步骤S91的确定为“是”时,系统控制单元11确定对象场景是包括作为主对象的风景的场景和包括作为主对象的肖像的场景中的一个(步骤S92)。
当在步骤S92的确定中对象场景为包含风景的场景时,系统控制单元11驱动成像装置驱动单元10以根据基于第二光测量值确定的适当曝光值Th2来执行主成像(步骤S93)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行主成像。
在步骤S93的成像中从固态成像装置5获得的窄信号和宽信号在数字信号处理单元17中被同步,以分别产生窄成像图像数据和宽成像图像数据(步骤S94)。
接着,数字信号处理单元17根据在步骤S94产生的窄成像图像数据产生亮度信号YN和色度信号CrN、CbN。而且,数字信号处理单元17根据在步骤S94产生的宽成像图像数据产生亮度信号YW和色度信号CrW、CbW。接着,数字信号处理单元17通过第五处理产生亮度信号Y和色度信号Cr、Cb(步骤S95)。即,数字信号处理单元17使以预定比例将亮度信号YW和亮度信号YN相加的结果成为亮度信号Y,使以其中色度信号CrN的比例大于色度信号CrW的比例的预定比例将色度信号CrN和色度信号CrW相加的结果成为色度信号Cr,并且使以其中色度信号CbN的比例大于色度信号CbW的比例的预定比例将色度信号CbN和色度信号CbW相加的结果成为色度信号Cb。
当在步骤S92的确定中对象场景为包含肖像的场景时,系统控制单元11驱动成像装置驱动单元10以根据基于第二光测量值确定的适当曝光值Th2来执行主成像(步骤S96)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行主成像。
在步骤S96的成像中从固态成像装置5获得的窄信号和宽信号在数字信号处理单元17中被同步,以分别产生窄成像图像数据和宽成像图像数据(步骤S97)。
接着,数字信号处理单元17根据在步骤S97产生的窄成像图像数据产生亮度信号YN和色度信号CrN、CbN。而且,数字信号处理单元17根据在步骤S97产生的宽成像图像数据产生亮度信号YW和色度信号CrW、CbW。接着,数字信号处理单元17通过第六处理产生亮度信号Y和色度信号Cr、Cb(步骤S98)。即,数字信号处理单元17使以预定比例将亮度信号YW和亮度信号YN相加的结果成为亮度信号Y,使以其中色度信号CrW的比例大于色度信号CrN的比例的预定比例将色度信号CrN和色度信号CrW相加的结果成为色度信号Cr,并且使以其中色度信号CbW的比例大于色度信号CbN的比例的预定比例将色度信号CbN和色度信号CbW相加的结果成为色度信号Cb。
当在步骤S91的确定为“否”时,系统控制单元11驱动成像装置驱动单元10以根据基于第二光测量值确定的适当曝光值Th2来执行主成像(步骤S99)。系统控制单元11在窄元件组和宽元件组的曝光时间为相同的状态下执行主成像。
在步骤S99的成像中从固态成像装置5获得的窄信号和宽信号在数字信号处理单元17中被同步,以分别产生窄成像图像数据和宽成像图像数据(步骤S100)。
接着,数字信号处理单元17根据在步骤S100产生的窄成像图像数据产生亮度信号YN和色度信号CrN、CbN。而且,数字信号处理单元17根据在步骤S100产生的宽成像图像数据产生亮度信号YW和色度信号CrW、CbW。接着,数字信号处理单元17通过第七处理产生亮度信号Y和色度信号Cr、Cb(步骤S101)。即,数字信号处理单元17使将亮度信号YW和亮度信号YN简单相加的结果成为亮度信号Y,使将色度信号CrN和色度信号CrW简单相加的结果成为色度信号Cr,并且使将色度信号CbN和色度信号CbW简单相加的结果成为色度信号Cb。
由在步骤S95、S98、和S101产生的亮度信号Y和色度信号Cr、Cb构成的成像图像数据被压缩,然后记录到记录介质21。然后,成像的操作完成。
以此方式,图1所示的数码相机使用当对象较亮时(当第一光测量值大于等于阈值Th1时)从作为主元件组的窄元件组获得的窄信号来产生成像图像数据。出于这个原因,可以实现针对较亮对象的良好颜色再现性。而且,当颜色饱和发生时,通过使用宽信号的信息改变色度来防止颜色饱和。
而且,图1所示的数码相机使用当对象较暗时(当第一光测量值小于阈值Th1并且第二光测量值大于等于阈值Th2时)从作为主元件组的宽元件组获得的宽信号来产生成像图像数据。出于这个原因,可以实现甚至针对较暗对象的良好颜色再现性。而且,当颜色饱和发生时,通过使用窄信号的信息改变色度来防止颜色饱和。
而且,图1所示的数码相机使用当对象更暗时(当第二光测量值小于阈值Th2时)从窄元件组获得的窄信号和从宽元件组获得的宽信号来产生成像图像数据。出于这个原因,可以实现甚至针对更暗对象的具有高敏感度的良好颜色再现性。而且,可以根据对象场景来改变窄信号和宽信号的使用比例,从而根据对象场景获得最佳的图像质量。
以此方式,根据图1所示的数码相机,可以在较好地确保颜色再现性的同时对对象(从较亮对象到较暗对象)进行成像。出于这个原因,即使不习惯于数码相机的使用方法的用户也可以只通过确定视角并按下快门按钮来在各种光亮下获得最佳图像质量。因此,可以实现良好可用性的相机。
同时,当在步骤S3的确定为“是”时(当对象为亮时),可以执行宽优先处理,而不是窄优先处理。在此情况下,根据窄元件组的光接收量确定适当曝光,于是需要基于宽元件组的光接收量来再次计算适当曝光。以此方式,当在再次计算适当曝光之后执行宽优先处理时,窄元件组的曝光量是缺乏的(S/N较低),与执行窄优先处理的情况相比颜色噪声增加。因此,如图5所示,当对象为亮时,执行窄优先处理。
同时,在上面的描述中,成像装置驱动单元10执行在主成像时窄元件组和宽元件组的曝光时间为相同的驱动。然而,成像装置驱动单元10可以执行在主成像时窄元件组和宽元件组的曝光时间为彼此不同的驱动。
例如,在图6的步骤S42的成像中,宽元件组的曝光时间可以短于窄元件组的曝光时间。
在图6的步骤S42的成像之后,如步骤S44所示,执行改变色度的第一处理。在第一处理的执行中,当从宽元件组获得的宽信号饱和时,通过第一处理得到的颜色再现性的改进效果降低。宽元件组的敏感度高于窄元件组的敏感度。出于这个原因,当宽元件组的曝光时间变得等于窄元件组的曝光时间时,宽元件组积累的电荷多于窄元件组积累的电荷,于是,宽元件组容易饱和。因此,当宽元件组的曝光时间短于窄元件组的曝光时间时,可以防止宽元件组饱和。当然,在宽元件组没有饱和的前提下,如上所述,宽元件组和窄元件组的曝光时间可以相同。
同时,在图6的步骤S45的成像中,宽元件组的曝光时间可以变得等于窄元件组的曝光时间,或者宽元件组的曝光时间可以短于窄元件组的曝光时间。考虑驱动的简单性,宽元件组和窄元件组的曝光时间可以相同。而且,在图6的步骤S45的成像中,不能从宽元件组读出信号。
而且,在图7的步骤S72的成像中,窄元件组的曝光时间可以短于宽元件组的曝光时间。
在图7的步骤S72的成像之后,如步骤S74所示,执行改变色度的第三处理。在第三处理的执行中,当从窄元件组获得的窄信号饱和时,通过第三处理得到的颜色再现性的改进效果降低。因此,当窄元件组的曝光时间变得短于宽元件组的曝光时间时,可以防止窄元件组饱和。当然,在窄元件组没有饱和的前提下,如上所述,宽元件组和窄元件组的曝光时间可以相同。
同时,在图7的步骤S75的成像中,窄元件组的曝光时间可以变得等于宽元件组的曝光时间,或者窄元件组的曝光时间可以短于宽元件组的曝光时间。考虑驱动的简单性,宽元件组和窄元件组的曝光时间可以相同。而且,在图7的步骤S75的成像中,不能从窄元件组读出信号。
而且,在上面描述中,数字信号处理单元17通过运算来改变亮度信号Y和色度信号Cr、Cb的产生方法。然而,只在窄宽相加处理的情况下,可以通过控制窄元件组和宽元件组的曝光时间来改变亮度信号Y和色度信号Cr、Cb的产生方法。
例如,在图8的步骤S93、S96的成像中,系统控制单元11根据对象场景或必要动态范围确定窄元件组和宽元件组的曝光时间比,然后执行成像。即,在步骤S93的成像中,系统控制单元11在窄元件组的曝光时间长于宽元件组的曝光时间的状态下执行成像,以及在步骤S96的成像中,系统控制单元11在宽元件组的曝光时间长于窄元件组的曝光时间的状态下执行成像。
以此方式,亮度色度信号产生单元173通过将亮度信号YW和亮度信号YN简单相加来产生亮度信号Y,通过将色度信号CrW和色度信号CrN简单相加来产生亮度信号Cr,并且通过将色度信号CbW和色度信号CbN简单相加来产生亮度信号Cb。
接下来,将描述窄元件组和宽元件组的曝光时间彼此互换的具体示例。在下文中,窄元件组的曝光时间长于宽元件组的曝光时间的驱动被称为“窄优先驱动”,以及宽元件组的曝光时间长于窄元件组的曝光时间的驱动被称为“宽优先驱动”。
图9是用于说明由图1所示的数码相机中的成像装置驱动单元11执行的宽优先驱动的示图。
在宽优先驱动中,当成像指令存在时,成像装置驱动单元11打开机械快门,并且停止此时正被施加到固态成像装置5的电子快门脉冲的供给。随着电子快门脉冲的停止,每个光电转换元件51W的曝光时间段a开始。接着,在曝光时间段a期间,成像装置驱动单元10将读出脉冲施加至传输电极V1和V5,并且将电荷从每个光电转换元件51N读出到垂直电荷传输单元54。随着读出脉冲的施加的停止,每个光电转换元件51N的曝光时间段b开始。
在曝光时间段b开始后,成像装置驱动单元10将脉冲施加至传输电极V1至V8以执行对从每个光电转换元件51N读出的电荷进行扫描的传输。
接着,当曝光时间段a达到终止的定时时,成像装置驱动单元10关闭机械快门。这样,曝光时间段a终止时,曝光时间段b也在同一时间终止。
此后,成像装置驱动单元10将读出脉冲施加至传输电极V1、V3、V5、和V7,并且将电荷从光电转换元件51W和51N的每一个读出到垂直电荷传输单元54。随后,成像装置驱动单元10将脉冲施加至传输电极V1至V8,并且从固态成像装置5输出与从光电转换元件51W和51N的每一个读出的电荷相对应的信号。
以此方式,可以实现这样的驱动,其中宽元件组的光电转换元件51W的曝光时间段长于窄元件组的光电转换元件51N的曝光时间段。
图10是用于说明由图1所示的成像装置驱动单元10执行的窄优先驱动的示图。
在窄优先驱动中,当成像指令存在时,成像装置驱动单元11打开机械快门,并且停止此时正被施加到固态成像装置5的半导体衬底的电子快门脉冲的供给。随着电子快门脉冲的停止,每个光电转换元件51N的曝光时间段a和每个光电转换元件51W的曝光时间段b同时开始。
接着,在曝光时间段a期间,成像装置驱动单元10将读出脉冲施加至传输电极V3和V7,并且将电荷从每个光电转换元件51W读出到垂直电荷传输单元54。随着读出脉冲的施加的停止,每个光电转换元件51W的曝光时间段b终止。
接着,当曝光时间段a达到终止的定时时,成像装置驱动单元10关闭机械快门。于是,曝光时间段a终止。
此后,成像装置驱动单元10将读出脉冲施加至传输电极V1和V5,并且将电荷从每个光电转换元件51N读出到垂直电荷传输单元54。随后,成像装置驱动单元10将脉冲施加至传输电极V1至V8,并且从固态成像装置5输出与从光电转换元件51W和51N的每一个读出的电荷相对应的信号。
以此方式,可以实现这样的驱动,其中窄元件组的光电转换元件51N的曝光时间段长于宽元件组的光电转换元件51W的曝光时间段。
在上面的描述中,尽管构成对的光电转换元件51W和光电转换元件51N满足上述的条件(1)至(5),但可以至少满足(1)至(3)以在宽范围的光强下获得最佳的图像质量。
这是因为,当未满足条件(1)和(3)时,不能获得根据光强的最佳的颜色再现性,并且当未满足条件(2)时,从所述对获得的信号的相关性降低。同时,当满足条件(4)时,图像质量可以进一步提高。而且,当满足条件(5)时,图像质量还可以进一步提高。
作为对形成对的光电转换元件51W和光电转换元件51N中的光谱敏感度特性进行区分的方法,可以采用下面的方法。
即,使滤色器R1和滤色器R2的光谱敏感度特性为彼此相同,使滤色器G1和滤色器G2的光谱敏感度特性为彼此相同,以及使滤色器B1和滤色器B2的光谱敏感度特性为彼此相同。另外,使成对的光电转换元件51W和光电转换元件51N在结构上不同,从而在光电转换元件51W和光电转换元件51N之间提供光谱敏感度特性上的差别。例如,存在这样一种方法,即在形成对的光电转换元件51W和51N当中对构成光电转换元件51W的光电二极管的pn结表面的深度和构成光电转换元件51N的光电二极管的pn结表面的深度进行改变。
而且,固态成像装置5的各个光电转换元件51W和51N的阵列可以形成为图11和图12所示的阵列。
图11是示出图2所示的固态成像装置的一个修改的示意图。该修改的固态成像装置中,多个光电转换元件以四方晶格形式布置,奇数行被设置为光电转换元件51W,偶数行被设置为光电转换元件51N。
图12是示出图2所示的固态成像装置的另一个修改的示意图。该修改的固态成像装置中,多个光电转换元件以四方晶格形式布置,光电转换元件51W布置在格子图案位置的一侧,而光电转换元件51N布置在格子图案位置的另一侧。
即使在图11所示的阵列情况下,通过将每个光电转换元件51W和与每个光电转换元件51W在下方相邻的光电转换元件51N作为一对,来应用上面描述的处理。而且,即使在图12所示的阵列中,通过在奇数列中将每个光电转换元件51W和与光电转换元件51W在右方相邻的光电转换元件51N作为一对,并且通过在偶数列中将每个光电转换元件51W和与光电转换元件51W在左方相邻的光电转换元件51N作为一对,来应用上面描述的处理。
在上面描述中,固态成像装置5适合于具有三种类型的对,并且使用该三种类型的对来检测R、G、和B三原色,但本发明不限于此。例如,可以配置青色、品红色、黄色的互补色来分别使用该三种类型的对进行检测。而且,这些对不限于三种类型。只要存在至少两种类型的对,就可以执行彩色成像。
而且,固态成像装置5不限于CCD类型,可以是金属氧化物半导体(MOS)类型。在此情况下,如在日本专利申请公开No.2007-124137中的描述,扫描电路和相关双采样(CDS)电路可以分别安装在第一组和第二组中。而且,在这种情况下,只有信号放大处理适于在模拟信号处理单元6中执行。
而且,本发明不限于图2所示的固态成像装置5,但可以适用于已知的固态成像装置,例如,背面照射型成像装置或堆叠型成像装置(其中光电转换元件布置在硅衬底上方的成像装置)。
如上所述,本文中公开了下列内容。
公开的成像设备是一种包括固态成像装置的成像设备,所述固态成像装置具有多个成对的第一光电转换元件和第二光电转换元件,其分别具有不同的光谱敏感度特性。在所述成像设备中,每对中的所述第一光电转换元件主要具有光谱敏感度的波长范围和该对中的所述第二光电转换元件主要具有光谱敏感度的波长范围处在可见光的特定颜色的波长范围之内,多个对包括具有不同特定颜色的多个类型的对,每对中的所述第二光电转换元件的光谱敏感度特性中的半值宽度大于该对中的所述第一光电转换元件的光谱敏感度特性中的半值宽度。所述成像设备包括:第一信号产生单元,配置成使用从多个所述第一光电转换元件输出的成像信号来产生第一亮度信号和第一颜色信号,并且使用从多个所述第二光电转换元件输出的成像信号来产生第二亮度信号和第二颜色信号;第二信号产生单元,配置成使用所述第一亮度信号和所述第二亮度信号中的至少一个来产生用于记录到记录介质的第三亮度信号,并且使用所述第一颜色信号和所述第二颜色信号中的至少一个来产生用于记录到记录介质的第三颜色信号;以及光测量单元,配置成获得并测量从每个所述第一光电转换元件和每个所述第二光电转换元件输出的成像信号。所述第二信号产生单元基于由所述光测量单元执行的测光的结果来改变所述第三亮度信号的产生方法和所述第三颜色信号的产生方法。
公开的成像设备配置成在通过使用从多个所述第一光电转换元件输出的成像信号进行光测量而获得的第一光测量值等于或大于作为基于所述第一光测量值确定的适当曝光值的第一阈值的第一情况下,所述第二信号产生单元根据从多个所述第一光电转换元件输出的成像信号来切换第一处理和第二处理,所述第一处理是所述第一亮度信号自身作为所述第三亮度信号、所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及所述第二处理是所述第一亮度信号自身作为所述第三亮度信号、所述第一颜色信号自身作为所述第三颜色信号的处理。
公开的成像设备配置成在所述第一光测量值小于所述第一阈值,并且通过使用从多个所述第二光电转换元件输出的成像信号进行光测量而获得的第二光测量值等于或大于作为基于所述第二光测量值确定的适当曝光值的第二阈值的第二情况下,所述第二信号产生单元根据从多个所述第二光电转换元件输出的成像信号来切换第三处理和第四处理,所述第三处理是所述第二亮度信号自身作为所述第三亮度信号、所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及所述第四处理是所述第二亮度信号自身作为所述第三亮度信号、所述第二颜色信号自身作为所述第三颜色信号的处理。
公开的成像设备配置成在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生单元根据对象场景来切换第五处理、第六处理、和第七处理,所述第五处理是所述第一亮度信号和所述第二亮度信号以预定比例相加的结果作为所述第三亮度信号、以其中所述第一颜色信号的比例大于所述第二颜色信号的比例这样的比例将所述第一颜色信号和所述第二颜色信号相加的结果作为所述第三颜色信号的处理,所述第六处理是所述第一亮度信号和所述第二亮度信号以预定比例相加的结果作为所述第三亮度信号、以其中所述第二颜色信号的比例大于所述第一颜色信号的比例这样的比例将所述第一颜色信号和所述第二颜色信号相加的结果作为所述第三颜色信号的处理,以及所述第七处理是所述第一亮度信号和所述第二亮度信号简单相加的结果作为所述第三亮度信号、所述第一颜色信号和所述第二颜色信号简单相加的结果作为所述第三颜色信号的处理。
公开的成像设备配置成在所述第三情况下,所述第二信号产生单元在优先考虑颜色再现性的对象场景下执行所述第五处理和所述第六处理中的一个,以及在优先考虑敏感度的对象场景下执行所述第七处理。
公开的成像设备配置成优先考虑颜色再现性的对象场景包括包含作为主对象的肖像的场景和包含作为主对象的风景的场景,优先考虑敏感度的对象场景包括包含夜景的场景,以及所述第二信号产生单元在包含风景的场景下执行所述第五处理以及在包含肖像的场景下执行所述第六处理。
公开的成像设备还包括驱动单元,所述驱动单元配置成驱动所述固态成像装置,所述成像设备配置成驱动单元切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且所述驱动单元在由所述第二信号产生单元执行所述第一处理时执行所述第一驱动,在由所述第二信号产生单元执行所述第三处理时执行所述第二驱动,以及在由所述第二信号产生单元执行所述第七处理时执行所述第三驱动。
公开的成像设备还包括驱动单元,所述驱动单元配置成驱动所述固态成像装置,所述成像设备配置成在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生单元执行其中将所述第一亮度信号和所述第二亮度信号简单相加的结果作为所述第三亮度信号、将所述第一颜色信号和所述第二颜色信号简单相加的结果作为所述第三颜色信号的第八处理,所述驱动单元切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且在所述第三情况下,所述驱动单元在优先考虑颜色再现性的对象场景下执行所述第一驱动和第二驱动中的一个,以及在优先考虑敏感度的对象场景下执行所述第三驱动。
公开的成像设备配置成优先考虑颜色再现性的对象场景包括包含作为主对象的肖像的场景和包含作为主对象的风景的场景,优先考虑敏感度的对象场景包括包含夜景的场景,以及所述驱动单元在包含风景的场景下执行所述第一驱动,以及在包含肖像的场景下执行所述第二驱动。
公开的成像设备,配置成所述固态成像装置包括安装在每个所述第一光电转换元件上方并且安装在每个所述第二光电转换元件上方的多个滤色器,以及根据在所述第一光电转换元件和所述第二光电转换元件上方的各个滤色器之间的光谱敏感度特性上的差别来获得每对中的所述第一光电转换元件和所述第二光电转换元件之间的光谱敏感度特性上的差别。
公开的成像设备配置成每个所述第一光电转换元件和每个所述第二光电转换元件布置为所述第一光电转换元件在列方向上布置的第一光电转换元件列和所述第二光电转换元件在列方向上布置的第二光电转换元件列在与列方向相交的行方向上交替布置,所述第二光电转换元件列布置成相对于所述第一光电转换元件列在列方向上偏移所述第一光电转换元件和所述第二光电转换元件的列方向上的阵列节距的一半,并且每个所述第一光电转换元件和在预定方向上与该第一光电转换元件相邻的第二光电转换元件形成一对。
公开的成像设备配置成所述固态成像装置中包括的所有所述第一光电转换元件和所述第二光电转换元件具有实质上相同的构造。
公开的成像方法是使用如下固态成像装置的成像方法,所述固态成像装置具有多个成对的第一光电转换元件和第二光电转换元件,其分别具有不同的光谱敏感度特性。在所述成像方法中,每对中的所述第一光电转换元件主要具有光谱敏感度的波长范围和该对中的所述第二光电转换元件主要具有光谱敏感度的波长范围分别处在可见光的特定颜色的波长范围之内,多个对包括具有不同特定颜色的多个类型的对,每对中的所述第二光电转换元件的光谱敏感度特性中的半值宽度大于该对中的所述第一光电转换元件的光谱敏感度特性中的半值宽度。所述成像方法包括:第一信号产生步骤,使用从多个所述第一光电转换元件输出的成像信号来产生第一亮度信号和第一颜色信号,并且使用从多个所述第二光电转换元件输出的成像信号来产生第二亮度信号和第二颜色信号;第二信号产生步骤,使用所述第一亮度信号和所述第二亮度信号中的至少一个来产生用于记录到记录介质的第三亮度信号,并且使用所述第一颜色信号和所述第二颜色信号中的至少一个来产生用于记录到记录介质的第三颜色信号;以及光测量步骤,获得并测量从每个所述第一光电转换元件和每个所述第二光电转换元件输出的成像信号。所述第二信号产生步骤基于在所述光测量步骤执行的测光的结果来改变所述第三亮度信号的产生方法和所述第三颜色信号的产生方法。
公开的成像方法配置成在通过使用从多个所述第一光电转换元件输出的成像信号进行测光而获得的第一光测量值等于或大于作为基于所述第一光测量值确定的适当曝光值的第一阈值的第一情况下,所述第二信号产生步骤根据从多个所述第一光电转换元件输出的成像信号来切换第一处理和第二处理,所述第一处理是所述第一亮度信号自身作为所述第三亮度信号、所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及所述第二处理是所述第一亮度信号自身作为所述第三亮度信号、所述第一颜色信号自身作为所述第三颜色信号的处理。
公开的成像方法配置成在所述第一光测量值小于所述第一阈值,并且通过使用从多个所述第二光电转换元件输出的成像信号进行测光而获得的第二光测量值等于或大于作为基于所述第二光测量值确定的适当曝光值的第二阈值的第二情况下,所述第二信号产生步骤根据从多个所述第二光电转换元件输出的成像信号来切换第三处理和第四处理,所述第三处理是所述第二亮度信号自身作为所述第三亮度信号、所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及所述第四处理是所述第二亮度信号自身作为所述第三亮度信号、所述第二颜色信号自身作为所述第三颜色信号的处理。
公开的成像方法配置成在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生步骤根据对象场景来切换第五处理、第六处理、和第七处理,所述第五处理是以预定比例将所述第一亮度信号和所述第二亮度信号相加的结果作为所述第三亮度信号、以其中所述第一颜色信号的比例大于所述第二颜色信号的比例这样的比例将所述第一颜色信号和所述第二颜色信号相加的结果作为所述第三颜色信号的处理,所述第六处理是所述第一亮度信号和所述第二亮度信号以预定比例相加的结果作为所述第三亮度信号、以其中所述第二颜色信号的比例大于所述第一颜色信号的比例这样的比例将所述第一颜色信号和所述第二颜色信号相加的结果作为所述第三颜色信号的处理,以及所述第七处理是将所述第一亮度信号和所述第二亮度信号简单相加的结果作为所述第三亮度信号、将所述第一颜色信号和所述第二颜色信号简单相加的结果作为所述第三颜色信号的处理。
公开的成像方法配置成在所述第三情况下,所述第二信号产生步骤在优先考虑颜色再现性的对象场景下执行所述第五处理和所述第六处理中的一个,以及在优先考虑敏感度的对象场景下执行所述第七处理。
公开的成像方法配置成优先考虑颜色再现性的对象场景包括包含作为主对象的肖像的场景和包含作为主对象的风景的场景,优先考虑敏感度的对象场景包括包含夜景的场景,以及所述第二信号产生步骤在包含风景的场景下执行所述第五处理以及在包含肖像的场景下执行所述第六处理。
公开的成像方法还包括驱动步骤,所述驱动步骤驱动所述固态成像装置,所述成像方法配置成所述驱动步骤切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且所述驱动步骤在所述第二信号产生步骤中执行所述第一处理时执行所述第一驱动,在所述第二信号产生步骤中执行所述第三处理时执行所述第二驱动,以及在所述第二信号产生步骤中执行所述第七处理时执行所述第三驱动。
公开的成像方法还包括驱动步骤,所述驱动步骤驱动所述固态成像装置,所述成像方法配置成在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生步骤执行将所述第一亮度信号和所述第二亮度信号简单相加作为所述第三亮度信号、将所述第一颜色信号和所述第二颜色信号简单相加作为所述第三颜色信号的第八处理,所述驱动步骤切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且在所述第三情况下,所述驱动步骤在优先考虑颜色再现性的对象场景下执行所述第一驱动和第二驱动中的一个,以及在优先考虑敏感度的对象场景下执行所述第三驱动。
公开的成像方法配置成优先考虑颜色再现性的对象场景包括包含作为主对象的肖像的场景和包含作为主对象的风景的场景,优先考虑敏感度的对象场景包括包含夜景的场景,以及所述驱动步骤在包含风景的场景下执行所述第一驱动,以及在包含肖像的场景下执行所述第二驱动。
公开的成像方法配置成其中所述固态成像装置包括安装在每个所述第一光电转换元件上方并且安装在每个所述第二光电转换元件上方的多个滤色器,以及根据在所述第一光电转换元件和所述第二光电转换元件上方的各个滤色器之间的光谱敏感度特性上的差别来获得每对中的所述第一光电转换元件和所述第二光电转换元件之间的光谱敏感度特性上的差别。
公开的成像方法配置成其中每个所述第一光电转换元件和每个所述第二光电转换元件布置成所述第一光电转换元件在列方向上布置的第一光电转换元件列和所述第二光电转换元件在列方向上布置的第二光电转换元件列在与列方向相交的行方向上交替布置,所述第二光电转换元件列布置成相对于所述第一光电转换元件列在列方向上偏移所述第一光电转换元件和所述第二光电转换元件的列方向上的阵列节距的一半,并且每个所述第一光电转换元件和在预定方向上与该第一光电转换元件相邻的第二光电转换元件形成一对。
公开的成像方法配置成所述固态成像装置中包括的所有所述第一光电转换元件和所述第二光电转换元件具有实质上相同的构造。
工业实用性
根据本发明,可以提供能够在宽范围的光强条件下获得具有最佳颜色再现性的图像的成像设备和成像方法。
虽然详细地并参照其具体的实施例来描述了本发明,但在不背离本发明的精神和范围的情况下,各种改变和修改的实施对于本领域技术人员来说是显而易见的。
本发明是基于2010年6月22号提交的日本专利申请(JP2010-142000),其公开的内容通过引用以全部内容并入本文。
附图标记说明
5:固态成像装置
10:成像装置驱动单元
51W、51N:光电转换元件

Claims (24)

1.一种成像设备,包括固态成像装置,所述固态成像装置具有多个对的第一光电转换元件和第二光电转换元件,所述第一光电转换元件和所述第二光电转换元件分别具有不同的光谱敏感度特性,
其中,每对中的所述第一光电转换元件主要具有光谱敏感度的波长范围和该对中的所述第二光电转换元件主要具有光谱敏感度的波长范围分别处在可见光的特定颜色的波长范围之内,
所述多个对包括具有不同特定颜色的多个类型的对,
每对中的所述第二光电转换元件的光谱敏感度特性中的半值宽度大于该对中的所述第一光电转换元件的光谱敏感度特性中的半值宽度,
所述成像设备还包括:
第一信号产生单元,其使用从多个所述第一光电转换元件输出的成像信号来产生第一亮度信号和第一颜色信号,并且使用从多个所述第二光电转换元件输出的成像信号来产生第二亮度信号和第二颜色信号;
第二信号产生单元,其使用所述第一亮度信号和所述第二亮度信号中的至少一个来产生用于记录到记录介质的第三亮度信号,并且使用所述第一颜色信号和所述第二颜色信号中的至少一个来产生用于记录到记录介质的第三颜色信号;以及
光测量单元,其获得从每个所述第一光电转换元件和每个所述第二光电转换元件输出的成像信号以执行测光,
所述第二信号产生单元基于由所述光测量单元执行的测光的结果来改变所述第三亮度信号的产生方法和所述第三颜色信号的产生方法。
2.根据权利要求1所述的成像设备,
其中,在通过使用从多个所述第一光电转换元件输出的成像信号进行测光而获得的第一光测量值等于或大于作为基于所述第一光测量值确定的适当曝光值的第一阈值的第一情况下,所述第二信号产生单元根据从多个所述第一光电转换元件输出的成像信号来切换第一处理和第二处理,
所述第一处理是将所述第一亮度信号自身作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及
所述第二处理是将所述第一亮度信号自身作为所述第三亮度信号、并且将所述第一颜色信号自身作为所述第三颜色信号的处理。
3.根据权利要求2所述的成像设备,
其中,在所述第一光测量值小于所述第一阈值,并且通过使用从多个所述第二光电转换元件输出的成像信号进行测光而获得的第二光测量值等于或大于作为基于所述第二光测量值确定的适当曝光值的第二阈值的第二情况下,所述第二信号产生单元根据从多个所述第二光电转换元件输出的成像信号来切换第三处理和第四处理,
所述第三处理是将所述第二亮度信号自身作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及
所述第四处理是将所述第二亮度信号自身作为所述第三亮度信号、并且将所述第二颜色信号自身作为所述第三颜色信号的处理。
4.根据权利要求3所述的成像设备,
其中,在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生单元根据对象场景来切换第五处理、第六处理、和第七处理,
所述第五处理是将所述第一亮度信号和所述第二亮度信号以预定比例相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号以所述第一颜色信号的比例大于所述第二颜色信号的比例相加的结果作为所述第三颜色信号的处理,
所述第六处理是将所述第一亮度信号和所述第二亮度信号以预定比例相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号以所述第二颜色信号的比例大于所述第一颜色信号的比例相加的结果作为所述第三颜色信号的处理,以及
所述第七处理是将所述第一亮度信号和所述第二亮度信号简单相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号简单相加的结果作为所述第三颜色信号的处理。
5.根据权利要求4所述的成像设备,
其中,在所述第三情况下,所述第二信号产生单元在优先考虑颜色再现性的对象场景下执行所述第五处理和所述第六处理中的一个,以及在优先考虑敏感度的对象场景下执行所述第七处理。
6.根据权利要求5所述的成像设备,
其中,所述优先考虑颜色再现性的对象场景包括包含肖像作为主对象的场景和包含风景作为主对象的场景,
所述优先考虑敏感度的对象场景包括包含夜景的场景,以及
所述第二信号产生单元在包含风景的场景下执行所述第五处理并且在包含肖像的场景下执行所述第六处理。
7.根据权利要求4至6中任一项所述的成像设备,还包括驱动单元,其驱动所述固态成像装置,
其中所述驱动单元切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且
所述驱动单元在由所述第二信号产生单元执行所述第一处理时执行所述第一驱动,在由所述第二信号产生单元执行所述第三处理时执行所述第二驱动,以及在由所述第二信号产生单元执行所述第七处理时执行所述第三驱动。
8.根据权利要求3所述的成像设备,还包括驱动单元,其驱动所述固态成像装置,
其中,在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生单元执行将所述第一亮度信号和所述第二亮度信号简单相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号简单相加的结果作为所述第三颜色信号的第八处理,
所述驱动单元切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且
在所述第三情况下,所述驱动单元在优先考虑颜色再现性的对象场景下执行所述第一驱动和第二驱动中的一个,以及在优先考虑敏感度的对象场景下执行所述第三驱动。
9.根据权利要求8所述的成像设备,
其中所述优先考虑颜色再现性的对象场景包括包含肖像作为主对象的场景和包含风景作为主对象的场景,
所述优先考虑敏感度的对象场景包括包含夜景的场景,以及
所述驱动单元在包含风景的场景下执行所述第一驱动,以及在包含肖像的场景下执行所述第二驱动。
10.根据权利要求1至9中任一项所述的成像设备,
其中所述固态成像装置包括安装在每个所述第一光电转换元件上方并且安装在每个所述第二光电转换元件上方的多个滤色器,以及
根据在所述第一光电转换元件和所述第二光电转换元件上方的各个滤色器之间的光谱敏感度特性上的差别来获得每对中的所述第一光电转换元件和所述第二光电转换元件之间的光谱敏感度特性上的差别。
11.根据权利要求1至10中任一项所述的成像设备,
其中每个所述第一光电转换元件和每个所述第二光电转换元件布置成使得所述第一光电转换元件在列方向上布置的第一光电转换元件列和所述第二光电转换元件在列方向上布置的第二光电转换元件列在与列方向相交的行方向上交替布置,
所述第二光电转换元件列布置成相对于所述第一光电转换元件列在列方向上偏移所述第一光电转换元件和所述第二光电转换元件的列方向上的阵列节距的一半,并且
每个所述第一光电转换元件和在预定方向上与该第一光电转换元件相邻的第二光电转换元件形成一对。
12.根据权利要求1至11中任一项所述的成像设备,其中所述固态成像装置中包括的所有所述第一光电转换元件和所述第二光电转换元件具有实质上相同的构造。
13.一种成像方法,其使用这样的固态成像装置,所述固态成像装置具有多个对的第一光电转换元件和第二光电转换元件,所述第一光电转换元件和所述第二光电转换元件分别具有不同的光谱敏感度特性,
其中每对中的所述第一光电转换元件主要具有光谱敏感度的波长范围和该对中的所述第二光电转换元件主要具有光谱敏感度的波长范围分别处在可见光的特定颜色的波长范围之内,
所述多个对包括具有不同特定颜色的多个类型的对,
每对中的所述第二光电转换元件的光谱敏感度特性中的半值宽度大于该对中的所述第一光电转换元件的光谱敏感度特性中的半值宽度,
所述成像方法包括:
第一信号产生步骤,使用从多个所述第一光电转换元件输出的成像信号来产生第一亮度信号和第一颜色信号,并且使用从多个所述第二光电转换元件输出的成像信号来产生第二亮度信号和第二颜色信号;
第二信号产生步骤,使用所述第一亮度信号和所述第二亮度信号中的至少一个来产生用于记录到记录介质的第三亮度信号,并且使用所述第一颜色信号和所述第二颜色信号中的至少一个来产生用于记录到记录介质的第三颜色信号;以及
光测量步骤,获得从每个所述第一光电转换元件和每个所述第二光电转换元件输出的成像信号并且执行测光,
其中所述第二信号产生步骤基于在所述光测量步骤执行的测光的结果来改变所述第三亮度信号的产生方法和所述第三颜色信号的产生方法。
14.根据权利要求13所述的成像方法,
其中,在通过使用从多个所述第一光电转换元件输出的成像信号进行测光而获得的第一光测量值等于或大于作为基于所述第一光测量值确定的适当曝光值的第一阈值的第一情况下,所述第二信号产生步骤根据从多个所述第一光电转换元件输出的成像信号来切换第一处理和第二处理,
所述第一处理是将所述第一亮度信号自身作为所述第三亮度信号,并且将所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及
所述第二处理是将所述第一亮度信号自身作为所述第三亮度信号,并且将所述第一颜色信号自身作为所述第三颜色信号的处理。
15.根据权利要求14所述的成像方法,
其中,在所述第一光测量值小于所述第一阈值,并且通过使用从多个所述第二光电转换元件输出的成像信号进行测光而获得的第二光测量值等于或大于作为基于所述第二光测量值确定的适当曝光值的第二阈值的第二情况下,所述第二信号产生步骤根据从多个所述第二光电转换元件输出的成像信号来切换第三处理和第四处理,
所述第三处理是将所述第二亮度信号自身作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号以预定比例相加的结果作为所述第三颜色信号的处理,以及
所述第四处理是将所述第二亮度信号自身作为所述第三亮度信号、并且将所述第二颜色信号自身作为所述第三颜色信号的处理。
16.根据权利要求15所述的成像方法,
其中,在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生步骤根据对象场景来切换第五处理、第六处理、和第七处理,
所述第五处理是将所述第一亮度信号和所述第二亮度信号以预定比例相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号以所述第一颜色信号的比例大于所述第二颜色信号的比例相加的结果作为所述第三颜色信号的处理,
所述第六处理是将所述第一亮度信号和所述第二亮度信号以预定比例相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号以所述第二颜色信号的比例大于所述第一颜色信号的比例相加的结果作为所述第三颜色信号的处理,以及
所述第七处理是将所述第一亮度信号和所述第二亮度信号简单相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号简单相加的结果作为所述第三颜色信号的处理。
17.根据权利要求16所述的成像方法,
其中,在所述第三情况下,所述第二信号产生步骤在优先考虑颜色再现性的对象场景下执行所述第五处理和所述第六处理中的一个,以及在优先考虑敏感度的对象场景下执行所述第七处理。
18.根据权利要求17所述的成像方法,
其中,所述优先考虑颜色再现性的对象场景包括包含肖像作为主对象的场景和包含风景作为主对象的场景,
所述优先考虑敏感度的对象场景包括包含夜景的场景,以及
所述第二信号产生步骤在包含风景的场景下执行所述第五处理以及在包含肖像的场景下执行所述第六处理。
19.根据权利要求16至18中任一项所述的成像方法,还包括驱动所述固态成像装置的驱动步骤,
其中所述驱动步骤切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且
所述驱动步骤在所述第二信号产生步骤中执行所述第一处理时执行所述第一驱动,在所述第二信号产生步骤中执行所述第三处理时执行所述第二驱动,以及在所述第二信号产生步骤中执行所述第七处理时执行所述第三驱动。
20.根据权利要求15所述的成像方法,还包括驱动所述固态成像装置的驱动步骤,
其中,在所述第二光测量值小于所述第二阈值的第三情况下,所述第二信号产生步骤执行将所述第一亮度信号和所述第二亮度信号简单相加的结果作为所述第三亮度信号、并且将所述第一颜色信号和所述第二颜色信号简单相加的结果作为所述第三颜色信号的第八处理,
所述驱动步骤切换第一驱动、第二驱动、和第三驱动,所述第一驱动中由多个所述第一光电转换元件构成的第一组的曝光时间长于由多个所述第二光电转换元件构成的第二组的曝光时间,所述第二驱动中所述第二组的曝光时间长于所述第一组的曝光时间,以及所述第三驱动中所述第一组和所述第二组的曝光时间相等,并且
在所述第三情况下,所述驱动步骤在优先考虑颜色再现性的对象场景下执行所述第一驱动和第二驱动中的一个,以及在优先考虑敏感度的对象场景下执行所述第三驱动。
21.根据权利要求20所述的成像方法,
其中所述优先考虑颜色再现性的对象场景包括包含肖像作为主对象的场景和包含风景作为主对象的场景,
所述优先考虑敏感度的对象场景包括包含夜景的场景,以及
所述驱动步骤在包含风景的场景下执行所述第一驱动,以及在包含肖像的场景下执行所述第二驱动。
22.根据权利要求13至21中任一项所述的成像方法,
其中所述固态成像装置包括安装在每个所述第一光电转换元件上方并且安装在每个所述第二光电转换元件上方的多个滤色器,以及
根据在所述第一光电转换元件和所述第二光电转换元件上方的各个滤色器之间的光谱敏感度特性上的差别来获得每对中的所述第一光电转换元件和所述第二光电转换元件之间的光谱敏感度特性上的差别。
23.根据权利要求13至22中任一项所述的成像方法,
其中每个所述第一光电转换元件和每个所述第二光电转换元件布置成使得所述第一光电转换元件在列方向上布置的第一光电转换元件列和所述第二光电转换元件在列方向上布置的第二光电转换元件列在与列方向相交的行方向上交替布置,
所述第二光电转换元件列布置成相对于所述第一光电转换元件列在列方向上偏移所述第一光电转换元件和所述第二光电转换元件的列方向上的阵列节距的一半,并且
每个所述第一光电转换元件和在预定方向上与该第一光电转换元件相邻的第二光电转换元件形成一对。
24.根据权利要求13至23中任一项所述的成像方法,其中所述固态成像装置中包括的所有所述第一光电转换元件和所述第二光电转换元件具有实质上相同的构造。
CN201180030764.XA 2010-06-22 2011-05-13 成像设备和成像方法 Expired - Fee Related CN102948152B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-142000 2010-06-22
JP2010142000 2010-06-22
PCT/JP2011/061101 WO2011162041A1 (ja) 2010-06-22 2011-05-13 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
CN102948152A true CN102948152A (zh) 2013-02-27
CN102948152B CN102948152B (zh) 2015-09-16

Family

ID=45371242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180030764.XA Expired - Fee Related CN102948152B (zh) 2010-06-22 2011-05-13 成像设备和成像方法

Country Status (4)

Country Link
US (1) US8848077B2 (zh)
JP (1) JP5663573B2 (zh)
CN (1) CN102948152B (zh)
WO (1) WO2011162041A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
WO2016074701A1 (de) * 2014-11-10 2016-05-19 Gna Biosolutions Gmbh Verfahren zum vervielfältigen von nukleinsäuren
JP7414538B2 (ja) * 2020-01-14 2024-01-16 キヤノン株式会社 撮像装置及びその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080190A (ja) * 2003-09-03 2005-03-24 Fuji Photo Film Co Ltd ホワイトバランス調整方法及び電子カメラ
US20070223059A1 (en) * 2006-03-24 2007-09-27 Fujifilm Corporation Image pickup apparatus and a method for producing an image of quality matching with a scene to be captured
CN101552873A (zh) * 2008-04-04 2009-10-07 索尼株式会社 成像设备、图像处理设备以及曝光控制方法
JP2009268078A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像素子及び撮像装置
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备
US20100073514A1 (en) * 2008-09-19 2010-03-25 Kenkichi Hayashi Imaging apparatus and imaging method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803955B1 (en) * 1999-03-03 2004-10-12 Olympus Corporation Imaging device and imaging apparatus
US7598986B2 (en) * 2003-01-10 2009-10-06 Fujifilm Corporation Image pick-up apparatus and white balance control method
JP3967690B2 (ja) * 2003-03-25 2007-08-29 富士フイルム株式会社 撮像装置
JP4735964B2 (ja) 2005-10-26 2011-07-27 ソニー株式会社 撮像装置
JP2008270832A (ja) 2008-06-10 2008-11-06 Fujifilm Corp 固体撮像素子及び撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080190A (ja) * 2003-09-03 2005-03-24 Fuji Photo Film Co Ltd ホワイトバランス調整方法及び電子カメラ
US20070223059A1 (en) * 2006-03-24 2007-09-27 Fujifilm Corporation Image pickup apparatus and a method for producing an image of quality matching with a scene to be captured
JP2009268078A (ja) * 2008-04-01 2009-11-12 Fujifilm Corp 撮像素子及び撮像装置
CN101552873A (zh) * 2008-04-04 2009-10-07 索尼株式会社 成像设备、图像处理设备以及曝光控制方法
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备
US20100073514A1 (en) * 2008-09-19 2010-03-25 Kenkichi Hayashi Imaging apparatus and imaging method

Also Published As

Publication number Publication date
US20130113965A1 (en) 2013-05-09
JPWO2011162041A1 (ja) 2013-08-19
CN102948152B (zh) 2015-09-16
US8848077B2 (en) 2014-09-30
JP5663573B2 (ja) 2015-02-04
WO2011162041A1 (ja) 2011-12-29

Similar Documents

Publication Publication Date Title
CN105120171B (zh) 摄像设备及其控制方法
EP2415254B1 (en) Exposing pixel groups in producing digital images
US7952623B2 (en) Solid state imaging device and image pickup apparatus
JP4421793B2 (ja) ディジタルカメラ
KR100580911B1 (ko) 화상합성방법 및 촬상장치
US7471329B2 (en) Digital camera that performs autofocusing according to chromatic and achromatic sensing elements
US20090268055A1 (en) Concentric exposure sequence for image sensor
CN102859995B (zh) 成像装置和驱动固态成像器件的方法
JP2010512050A (ja) イメージ・センサーにおける改善された光感度
US20110122301A1 (en) Imaging device and imaging method
US8111298B2 (en) Imaging circuit and image pickup device
JP5009880B2 (ja) 撮像装置及び撮像方法
US11626436B2 (en) Imaging device and image sensor
JP4129338B2 (ja) カラー撮像素子及び撮像装置
JP2003018445A (ja) 画像撮像装置
CN102948152B (zh) 成像设备和成像方法
JP2003163940A (ja) ディジタルカメラ及びディジタルカメラによる撮像方法
JP2003023555A (ja) 画像撮像装置
JP4682070B2 (ja) 画像信号処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150916

Termination date: 20210513

CF01 Termination of patent right due to non-payment of annual fee