CN102665043A - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN102665043A
CN102665043A CN2012100965602A CN201210096560A CN102665043A CN 102665043 A CN102665043 A CN 102665043A CN 2012100965602 A CN2012100965602 A CN 2012100965602A CN 201210096560 A CN201210096560 A CN 201210096560A CN 102665043 A CN102665043 A CN 102665043A
Authority
CN
China
Prior art keywords
pattern
under
reading
district
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100965602A
Other languages
English (en)
Inventor
根岸典央
诹访刚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006121271A external-priority patent/JP4875399B2/ja
Priority claimed from JP2006164067A external-priority patent/JP4993670B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102665043A publication Critical patent/CN102665043A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H04N3/1562—Control of the image-sensor operation, e.g. image processing within the image-sensor for selective scanning, e.g. windowing, zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

使用基于通过在第一模式下控制摄像单元从摄像单元输出的图像信号而获得的校正值，对通过在第二模式下控制摄像单元从摄像单元输出的图像信号进行白平衡处理，在第一模式下，从布置在摄像面的第一区中的第一光电转换元件组读出图像信号，并且在第二模式下，从布置在摄像面的小于第一区的第二区中的第二光电转换元件组读出图像信号。

Description

摄像设备及其控制方法
(本申请是申请日为2007年4月20日，申请号为2007800149245，发明名称为“摄像设备及其控制方法”的申请的分案申请。)
技术领域
本发明涉及一种具有光电转换元件的摄像设备及其控制方法，并且更具体地涉及一种使用CMOS图像传感器的摄像设备及其控制方法。
背景技术
CCD图像传感器和CMOS图像传感器已经广泛地用作固态摄像元件。在CCD图像传感器中，通过布置在像素中的光电转换元件将光转换为信号电荷，并且同时从所有像素读出信号电荷并且将其转移到CCD。将转移的信号电荷转换成电信号然后输出。另一方面，在CMOS图像传感器中，通过布置在像素中的光电转换元件将光转换为信号电荷，由每个像素将信号电荷放大并且转换成电信号然后输出。CMOS图像传感器具有能够读出摄像单元的一部分像素区(下文中称为“部分读出”)的独特特征。每次读出整个像素区的图像信号的CCD图像传感器不具有该特征。
图25是示出利用作为CMOS图像传感器的特征的部分读出的电子变焦(下文中称为“电子变焦”)的示意图。附图标记1301表示布置了a×b个像素的CMOS图像传感器的有效像素区。在这种情况下，电子变焦放大率是1(×1)。附图标记1302表示以读出(a/2)×(b/2)个像素的电子变焦放大率2(×2)来进行读出的像素区。附图标记1303表示以读出(a/3)×(b/3)个像素的电子变焦放大率3(×3)来进行读出的像素区。如图26中示出的，将从CMOS图像传感器输出的并且由A/D转换器(未示出)转换成数字信号的图像信号分割成根据拜尔排列(Bayer arrangement)进行排列的多个块，其中每个块由R、G、G和B的重复构成。对于每个块使用下面的等式(1)计算颜色评价值Cx、Cy和Y。
等式(1)
Cx＝(R-B)/Y
Cy＝(R+B-2G)/Y
Y＝(R+G+B)/2
将使用等式(1)计算出的每个块的颜色评价值Cx和Cy与预设的白检测区比较。
图27是示出白检测区的图。如下确定白检测区101。首先，使用具有以给定色温间隔从高到低的不同色温的光源来拍摄白色基准板等白色被摄体。然后，使用从摄像单元获得的信号值根据等式(1)计算颜色评价值Cx和Cy。分别在水平轴和垂直轴上标绘从光源获得的颜色评价值Cx和Cy(即，Cx在水平轴上并且Cy在垂直轴上)。通过直线连接标绘的点，或者使用多个直线近似标绘的点。从而，形成从高色温向低色温延伸的白检测轴102。对于同样的白色，可能存在略微的光谱差别，所以允许白检测轴102具有沿Y轴方向的一定宽度。将该区域定义为白检测区101。
如果计算出的颜色评价值Cx和Cy落入白检测区101内，则假定该块是白色。对于假定为白色的每个块，计算块的颜色像素的累加值(SumR、SumG和SumB)。使用计算出的累加值和下面给出的等式(2)，分别计算颜色R、G和B的白平衡增益(kWB_R、kWB_G和kWB_B)(见日本专利03513506和日本特开2003-244723)。
等式(2)
kWB_R＝1.0/SumR
kWB_G＝1.0/SumG
kWB_B＝1.0/SumB
然而，传统的CMOS图像传感器的白平衡调整存在如下问题。例如，白色被摄体在日光下的颜色评价值如图27中示出的区103所示分布。当设置成运动图像模式或EVF模式时，如果使用利用部分读出的电子变焦在具有高色温的光源(例如，日光)下近距离拍摄人脸，则人的肤色的颜色评价值如区105所示分布。区105几乎与在具有低色温的光源(例如，白色钨光源)下拍摄的白色颜色评价值所分布的区104一致。由于这个原因，当皮肤颜色占大的比例，如在近距离拍摄人脸的情况下，有时错误地将皮肤颜色判断成在色温低于实际色温的光源下拍摄的颜色。
发明内容
为了解决当通过部分读出摄像单元的像素区来生成图像时遇到的问题，做出了本发明。本发明的目的是提供即使在上述情况下也合适的白平衡处理。
本发明的第一方面是一种摄像设备，包括：摄像单元，其中在摄像面上布置有多个光电转换元件；以及控制单元，其中，所述控制单元具有第一模式和第二模式，在所述第一模式下，从布置在所述摄像面的第一区中的第一光电转换元件组读出图像信号，并且在所述第二模式下，从布置在所述摄像面的小于所述第一区的第二区中的第二光电转换元件组读出图像信号，以及使用基于通过在所述第一模式下控制所述摄像单元从所述摄像单元输出的图像信号而获得的校正值，对通过在所述第二模式下控制所述摄像单元从所述摄像单元输出的图像信号进行白平衡处理。
本发明的第二方面是一种摄像设备，包括：摄像单元，其中在摄像面上布置有多个光电转换元件；以及控制单元，其中，所述控制单元具有第一模式和第二模式，在所述第一模式下，从布置在所述摄像面的第一区中的第一光电转换元件组读出图像信号，所述图像信号是针对由所述第一区分割得到的多个分割区中的每一个分别读出的，并且在所述第二模式下，从布置在所述摄像面的小于所述第一区的第二区中的第二光电转换元件组读出图像信号，在所述第二模式下的图像信号的读出和随后的所述第二模式下的图像信号的读出之间，在所述第一模式下进行所述分割区的信号图像的读出，至少基于在所述第一模式下读出的所述分割区的图像信号来计算校正值，以及对在所述第二模式下读出的图像信号进行白平衡处理。
本发明的第三方面是一种用于控制摄像设备的方法，所述摄像设备具有第一模式和第二模式，在所述第一模式下，从布置在所述摄像面的第一区中的第一光电转换元件组读出图像信号，并且在所述第二模式下，从布置在所述摄像面的小于所述第一区的第二区中的第二光电转换元件组读出图像信号，所述方法包括如下步骤：使用基于通过在所述第一模式下控制所述摄像单元从所述摄像单元输出的图像信号而获得的校正值，对通过在所述第二模式下控制所述摄像单元从所述摄像单元输出的图像信号进行白平衡处理，以及生成基于布置在所述第二区中的所述第二光电转换元件组的图像。
本发明的第四方面是一种用于控制摄像设备的方法，所述摄像设备包括：摄像单元，其中在摄像面上布置有多个光电转换元件；以及控制单元，用于控制所述摄像单元，其中，所述控制单元具有第一模式和第二模式，在所述第一模式下，从布置在所述摄像面的第一区中的第一光电转换元件组读出图像信号，所述图像信号是针对由所述第一区分割得到的多个分割区中的每一个分别读出的，并且在所述第二模式下，从布置在所述摄像面的小于所述第一区的第二区中的第二光电转换元件组读出图像信号，在所述第二模式下的图像信号的读出和随后的所述第二模式下的图像信号的读出之间，在所述第一模式下进行所述分割区的信号图像的读出，所述方法包括如下步骤：至少基于在所述第一模式下读出的图像信号来计算校正值，以及基于所述校正值对在所述第二模式下读出的图像信号进行白平衡处理。
通过以下参照附图对示例性实施例的描述，本发明的其它的特征将变得显而易见。
附图说明
图1是使用CMOS图像传感器的摄像单元的整体图。
图2是根据本发明的优选实施例的摄像系统的示意图。
图3是示意性地示出根据本发明的第一优选实施例的信号读出方法的图。
图4是示出根据本发明的第一优选实施例的WB电路的示意结构的框图。
图5A和图5B是示出根据本发明的第一优选实施例的白检测区的图。
图6A和图6B是示出根据本发明的第一优选实施例的摄像画面的分割的图。
图7是示出说明根据本发明的第一优选实施例的白判断处理的流程图的图。
图8是示出说明根据本发明的第一优选实施例的在自动模式中判断是否存在人的皮肤的处理的流程图的图。
图9A和图9B是示出根据本发明的第二优选实施例的摄像画面的分割的图。
图10A和图10B是示出根据本发明的第二优选实施例的白检测区的图。
图11是示出检测根据被摄体的亮度的显示单元的摄像画面上的白色区的检测样式的例子的图。
图12是示出根据本发明的第三优选实施例的画面的分割的图。
图13A和图13B是示出根据本发明的第三优选实施例的白检测区的图。
图14A和图14B是示出根据本发明的第三优选实施例的白检测区的图。
图15是示出根据本发明的第五优选实施例的摄像设备的操作的概念图。
图16是根据本发明的第五优选实施例的摄像设备的示意图。
图17A和图17B是根据本发明的第五优选实施例的摄像设备的示意图。
图18是示出根据本发明的第五优选实施例的摄像设备中使用的颜色滤波器的图。
图19是根据本发明的第五优选实施例的摄像系统的示意图。
图20是示出涉及根据本发明的第五优选实施例的白平衡处理的部分的结构的例子的框图。
图21A和图21B是示出根据本发明的第五优选实施例的色温检测块的例子的图。
图22是示出白检测范围的例子的图。
图23是示出根据本发明的第五优选实施例的摄像设备的有效像素区的例子的图。
图24是示出根据本发明的第六优选实施例的摄像设备的操作的概念图。
图25是电子变焦的概念图。
图26是示出表示在白判断处理中使用的单位的摄像画面的分割的例子的图。
图27是示出白检测区的图。
具体实施方式
下面，将参照附图详细描述本发明的优选实施例。图1是使用CMOS图像传感器的摄像单元的整体图。将像素B11到Bmn(其中m和n是整数，以下相同)二维布置在摄像面上。每个像素至少包括光电转换元件和针对每个像素将由光电转换元件转换的信号电荷进行放大并输出的晶体管。垂直移位寄存器220输出用于从各水平输出线VSEL1到VSLEm的像素读出电信号的控制脉冲。通过垂直读出线VSIG1到VSIGn读出由水平输出线VSEL1到VSELm选择的像素的电信号，然后存储在相加电路221中。通过水平移位寄存器222的扫描，顺序读出存储在相加电路221中的电信号，然后以时间顺序输出。
当如上所述进行部分读出时，垂直移位寄存器220向水平输出线VSEL1到VSELm中连接到要读出的像素的水平输出线输出控制脉冲。水平移位寄存器222向垂直输出线VSIG1到VSIGn中连接到要读出的像素的垂直输出线输出控制脉冲。通过垂直输出线的控制脉冲，将由水平输出线的控制脉冲选择的像素的电信号读出到相加电路221，并且电信号通过相加电路221而不存储在相加电路221中。例如，当以电子变焦放大率2(×2)读出像素时，不将两个水平像素相加(并且当相加电路布置在垂直移位寄存器中时也不将两个垂直像素相加)。另一方面，当读出将在后面参照图2描述的摄像单元200的整个有效像素区的像素(即，电子变焦放大率为1(×1))时，将n个水平像素相加(并且当相加电路布置在垂直移位寄存器中时将m个垂直像素相加)。
图2是使用如在图1中示出的摄像单元的摄像系统的示意图。附图标记501表示用作光学系统的透镜单元(在图2中简称为“透镜”)，502表示透镜驱动单元，503表示机械快门(简称为“快门”)，504表示机械快门驱动单元(在图2中简称为“快门驱动单元”)，505表示A/D转换器，并且200表示如图1中所示配置的摄像单元200。附图标记506表示拍摄图像信号处理电路，507表示定时生成单元，508表示存储器单元，509表示控制单元，510表示记录介质控制接口单元(在图2中简称为“记录介质控制I/F单元”)，并且511表示显示单元。附图标记512表示记录介质，513表示外部接口单元(在图2中简称为“外部I/F单元”)，514表示测光单元，并且515表示焦点调整单元。拍摄图像信号处理电路506包括基于来自A/D转换器505的信号进行白平衡处理的WB电路516。将在后面参照图3详细描述WB电路516中的处理。
在摄像单元200附近形成通过透镜501的被摄体图像。在摄像单元200附近形成的被摄体图像由摄像单元200以图像信号的形式拍摄。将从摄像单元200输出的图像信号放大并从模拟信号转换为数字信号(A/D转换)。在A/D转换之后，拍摄图像信号处理电路506获得R、G、G、B信号，并且进行各种调整、图像数据压缩等。
通过透镜驱动单元502驱动并控制(变焦、调焦、光圈)透镜501。快门503是只具有与单透镜反光照相机中使用的焦平面快门的后帘幕相对应的帘幕的快门机构。通过快门驱动单元504驱动并控制快门503。定时生成单元507向摄像单元200和拍摄图像信号处理电路506输出各种定时信号。控制单元509进行整个摄像系统的控制和各种运算。存储器单元508临时存储图像数据。记录介质控制I/F单元510控制记录介质512，以记录图像数据或从记录介质512读取图像数据。在显示单元511上示出图像数据。记录介质512是半导体存储器等可移动存储介质，并且记录图像数据。外部I/F单元513是与外部计算机等通信的接口。测光单元514检测关于被摄体亮度的信息。焦点调整单元515检测到被摄体的距离。附图标记516表示白平衡电路(WB电路)。由操作单元517设置摄像设备的操作模式(自动模式、拍摄人物的肖像模式、拍摄风景的风景模式、由用户设置白平衡校正值的手动模式)。
第一实施例
图3是示意性地示出根据本发明的第一优选实施例的摄像设备的利用部分读出的电子变焦的方法的图。外部像素区301是摄像单元200的有效像素区。内部像素区302是通过电子变焦部分读出的像素区。区A到区I是在当设置了电子变焦时的记录运动图像或显示所使用的帧的读出之间的间隔中读出的像素区，并且是通过将利用电子变焦部分读出的像素区E以外的像素区分割成多个区而获得的分割区。通过控制单元509进行根据本实施例的控制。
为了提高图2中示出的WB电路516中的白平衡处理的准确度，需要增大用于获取白平衡系数的像素区(视角)。由于这个原因，在每预定数量的记录运动图像或显示所使用的帧(区域E)之间读出用于获取白平衡系数的像素区。例如，当拍摄运动图像时，按照如下从摄像单元200交替地读出像素区E和每一个分割区：E→A→E→B→E→C→E→D→E→F→E→G→E→H→E→I。可选地，例如，每当读出像素区EM次(M是等于或大于2的整数)时(下文中称为“E(M次读出)”)，读出分割区。更具体地，可以按照如下进行读取：E(M次读出)→A→E(M次读出)→B→E(M次读出)→C→E(M次读出)→D→E(M次读出)→F→E(M次读出)→G→E(M次读出)→H→E(M次读出)→I。用于获得白平衡系数的像素区可以包括或可以不包括像素区E。用于获得白平衡系数的像素区(分割区)的电信号临时存储在记录介质512中，直到积累了整个像素区301的电信号(即，单个图像的电信号)。当在记录介质512中积累了整个像素区301的电信号时，计算白平衡系数。
尽管在图3中将外部像素区301分成9个区，但是该数目不限于此。同样，分割区的读出顺序不限于上述顺序，并且可以以任何其它顺序进行读出。同样，不需要直到像素区E的大小等于所读出的分割区的整体大小才进行分割区的读出，并且在所读出的分割区的整体大小超过像素区E的大小之前收集电信号也足够了。即使在这样的情况下，也可以提高在设置了运动图像模式或EVF模式时的白平衡的准确度。
还可以通过疏化来读出在像素区之间的间隔中读出的分割区。可以通过减少由水平移位寄存器222和垂直移位寄存器220选择的像素B11到Bmn的数量来进行疏化读取。可以将从图1的像素B11到Bmn读出的一些信号在相加电路221中相加。在这种情况下，同样可以减少从水平移位寄存器222读出的信号的数量。在该疏化中，与上面的类似，当在记录介质512中积累了预定像素区(典型地，整个像素区301)的电信号时，计算用作校正值的白平衡系数。在下文中使用的“图像”指以上述方式获得的包括分割区的全视角的图像。
图4是示出根据本发明的第一优选实施例的WB电路516的示意性结构的框图。附图标记30表示判断由操作单元517设置的摄像设备的操作模式的模式判断单元，并且31表示将来自摄像单元200的输出信号分割成如图26中示出的多个评价块的评价块分割单元。附图标记32表示存储用作基准的白检测区(下文中称为“基准白调整区”)的白检测区存储单元，33表示使用限制值来适当地改变白检测区的白检测区改变单元，并且34表示样式存储单元，该样式存储单元按照模式的种类存储摄像画面上的位置和由白检测区改变单元改变后的并用于该位置上的评价块的白判断的白检测区的组合样式。附图标记35表示判断由评价块分割单元31分割得到的评价块中的每一个是否为白色的白判断单元，并且36表示基于由白判断单元35判断为白色的评价块的图像信号来计算WB调整中使用的白平衡(WB)系数的WB系数计算单元。附图标记37表示存储由WB系数计算单元36计算出的WB系数的WB系数存储单元。附图标记38表示使用存储在WB系数存储单元37中的WB系数对来自摄像单元200的输出信号进行白平衡调整的WB调整单元。可以由单个存储器或任何数量的存储器构成白检测区存储单元32、样式存储单元34和WB系数存储单元37。
现在给出存储在白检测区存储单元32中的基准白检测区的描述。作为例子，描述将原色滤波器用作摄像单元200的情况。
在图5A中，示出了第一白检测区201和白检测轴202。如前面描述的，首先通过使用具有以给定色温间隔从高到低的不同色温的光源拍摄白色基准板(未示出)等白色被摄体，并且使用从摄像单元200获得的信号值根据先前给出的等式(1)计算颜色评价值，来获得颜色评价值Cx和Cy。然后，分别在水平轴和垂直轴上标绘从各种光源获得的颜色评价值Cx和Cy(即，Cx在水平轴上并且Cy在垂直轴上)。通过直线连接标绘的点，或者使用多个直线近似标绘的点。从而，获得了从高色温向低色温延伸的白检测轴202。水平轴代表光源的色温，并且垂直轴代表在绿方向(即，辉度的色温方向和荧光灯的色温方向)上的调整量。对于相同的白色，可能存在略微的光谱差别，因此允许白检测轴202具有沿Y轴方向的一定的宽度。将该区定义为第一白检测区201。例如，在制造WB电路516时或在装运WB电路516之前，将这样定义的白检测区201的数据存储在白检测区存储单元32中。
在图5A中，通过在第一白检测区201中设置白检测限制值Ll1和Lh1，以将Cx的范围限制在Ll1和Lh1之间的范围，来形成第二白检测区203。在图5B中，通过在第一白检测区201中设置白检测限制值Ll2和Lh2，以从白检测区203移除低色温区，从而将Cx的范围限制在Ll2和Lh2之间的范围，来形成第三白检测区204。将限制值Lh2和Lh1设置成相同的值。
白判断单元35对每一个评价块进行白判断处理。WB系数计算单元36根据由白判断单元35判断为白色的评价块的像素值的累加值来计算WB系数(白平衡增益)，然后，将WB系数存储在WB系数存储单元37中。WB调整单元38使用存储在WB系数存储单元37中的WB系数，进行对输入图像的WB调整。
现在参照图5A、图5B、图6A、图6B和图7给出白判断处理的描述。
图6A示出当设置自动模式时图4的样式存储单元34中存储的样式设置的例子。图6B示出当设置肖像模式时样式设置的例子。外部矩形区401是摄像单元200的最大视角。内部矩形区402是通过电子变焦读出的像素区(视角)。区(1)是通过从矩形区401排除圆形区403a或403b获得的区。由斜线表示的区(2)对应于圆形区403a或403b。区(2)的尺寸可以根据拍摄模式而固定，或者响应于通过电子变焦的视角的大小的改变而增大或减小。包括区(1)和区(2)的样式表示各评价块的位置与在该位置上的评价块的白判断中使用的改变后的白检测区的大小的组合。可以在制造WB电路516时或在装运WB电路516之前将这些样式预存储在样式存储单元34中，或者用户可以改变区设置。
在图7中，示出了示出白判断处理的序列的流程图。
在步骤S11中，模式判断单元30判断设置了自动模式和肖像模式中的哪一个。当设置了自动模式时，处理进入到步骤S12。当设置了肖像模式时，处理进入到步骤S13。
在步骤S12中，白判断单元35从样式存储单元34获得如图6A中示出的样式的区数据。
在步骤S13中，白判断单元35从样式存储单元34获得如图6B中示出的样式的区数据。
在步骤S14中，白判断单元35针对每一个评价块判断它是位于区(1)还是区(2)。当评价块位于区(1)时(步骤S14中为“是”)，处理进入到步骤S15。当评价块位于区(2)时(步骤S14中为“否”)，处理进入到步骤S16。
在步骤S15中，白判断单元35将评价块的颜色评价值和如图5A中示出的、由白检测区改变单元33限制的第二白检测区203进行比较。
在步骤S16中，白判断单元35将评价块的颜色评价值和如图5B中示出的、由白检测区改变单元33限制的第三白检测区204进行比较。
人脸包含在摄像画面的中央的可能性很高。由于这个原因，对于摄像画面的中央，将在低色温侧的限制设置成高于围绕摄像画面的中央的周边区的限制。换而言之，使用白检测区204来避免将人的皮肤错误地判断为白色的可能性。
在步骤S15和S16中，当白判断单元35判断为评价块的颜色评价值落入第二白检测区203或第三白检测区204内时，处理进入到步骤S17。当评价块的颜色评价值没有落入第二白检测区203或第三白检测区204内时，白判断单元35进入到步骤S18。
在步骤S17中，白判断单元35将如下的评价块判断为白色：在步骤S15或步骤S16中已经判断为这些评价块的颜色评价值落入第二白检测区203或第三白检测区204内。
在步骤S18中，白判断单元35将如下的评价块判断为不是白色：在步骤S15或步骤S16中已经判断为这些评价块的颜色评价值没有落入第二白检测区203或第三白检测区204内。
对于通过参照比以上述方式通过电子变焦读出的信号的视角更宽的视角的信号而判断为白色的评价块，按照前面所述，将像素值累加以获得白平衡增益(WB系数)。
在步骤S19中，白判断单元35判断是否对所有评价块进行了白判断处理，并且重复步骤S14到S18直到对所有评价块进行了白判断处理。
根据实验，当将在低色温侧的白检测限制值Ll2固定为大约5000K时获得了良好的结果。然而，应当理解，检测限制值Ll2不限于5000K，并且可以适当地改变。
根据第一实施例，读出比通过电子变焦读出的像素区更宽的像素区(视角)的信号，并且依赖于摄像画面上的位置使用不同的白检测区，从而可以降低错误的白判断的可能性。结果，可以实现更好的白平衡调整。
当将照相机的拍摄模式设置为肖像模式时，通过扩大如图6B中示出的中央区(2)的面积，可以进一步降低对人的皮肤的错误的白判断的可能性。然而，当设置为肖像模式时，在肖像模式下人的皮肤出现在摄像画面的中央的可能性很高，但是当设置为自动模式时，在许多情况下，人的皮肤不出现在摄像画面的中央。
当人的皮肤不出现在摄像画面的中央时，产生将在光源下拍摄的图像的色温判断成高于该光源的实际色温的问题。这是因为，根据上述的摄像画面设置和白限制设置，检测的摄像画面的中央的色温没有落在低色温侧的白检测限制值Ll2(例如，5000K)之下。
为了解决该问题，在进行图7的步骤S12之前，检查是否存在人的皮肤。当判断为存在人的皮肤时，处理进入到步骤S12及随后的步骤。因此，可以实现更精确的白平衡调整。下面将参照图8的流程图描述该操作。
在步骤S21中，白判断单元35检测针对所有评价块使用一个白检测区进行判断的、判断为白色的评价块(下文中称为“白评价块”)，其中所有评价块包括摄像画面的中央(图6A的区(2))和周边区(图6A的区(1))的评价块。如在这里所使用的，“一个白检测区”指受白检测限制值限制或不受白检测限制值限制的、包含人的皮肤的色温区的区。具体地，该一个白检测区可以是第一白检测区201和第二白检测区203中的任意一个。
在步骤S22中，基于通过对摄像画面的周边区中的白评价块的图像数据进行累加和平均化而获得的数据来计算光源色温CtAround。
在步骤S23中，基于通过对摄像画面的中央的白块的图像数据进行累加和平均化而获得的数据来计算光源色温CtCenter。还可以颠倒步骤S22和步骤S23的顺序，或者同时进行步骤S22和步骤S23。
在步骤S24中，对CtAround和CtCenter进行比较。如果摄像画面的中央的色温CtCenter低于摄像画面的周边区的色温CtAround，则在步骤S25中，判断为摄像画面的中央存在人的皮肤的可能性高。换而言之，如果满足CtCenter＜CtAround，则判断为摄像画面的中央存在人的皮肤，并且进行图7的步骤S12(自动模式)中示出的白判断并计算光源色温(步骤S26)。
相反地，如果摄像画面的中央的色温CtCenter几乎等于或高于摄像画面的周边区的色温CtAround，则判断为在摄像画面的中央不存在人的皮肤的可能性高(步骤S27)。换而言之，如果满足CtCenter≥CtAround，则判断为摄像画面的中央不存在人的皮肤，并且将所有评价块与一个白检测区进行比较以检测白块，并使用获得的光源色温(步骤S28)。
通过添加上面的处理，可以降低错误的白判断的可能性，并且可以实现更好的白平衡调整。
在图7的步骤S11中，如果判断为模式是手动模式，则以与在判断为不存在人的皮肤时相同的方式检测白块，即，将所有评价块与同一白检测区进行比较以检测白块。另外，可以使用从白块的图像数据获得的光源色温。
在以上描述中，在通过结合分割区来产生图像之后，判断白平衡，其中通过分割摄像单元200的有效像素区来形成分割区。然而，还可以对每一个分割区判断白平衡并且使用所有区的平均值进行白平衡调整。
第二实施例
图9A和图9B是示出降低将蓝色天空错误地判断为白色的可能性的样式设置的例子的图。图9A示出当设置了自动模式时的样式的例子。图9B示出当设置了风景模式时的样式的例子。外部矩形区701是摄像单元200的最大视角。内部矩形区702是通过电子变焦读出的像素区(视角)。区(1)是通过从矩形区701排除由斜线表示的区(2)获得的区。与第一实施例类似，将评价块与由针对区(1)和区(2)不同的白检测限制值限制的白检测区进行比较以判断评价块是否为白色。
当拍摄略微多云的天空或接近地平线的天空时图像区的评价块的颜色评价值具有与前面描述的阴影中的白点的颜色评价值基本相同的分布。因此，可能将图像的天空部分的评价块错误地判断为白色。换而言之，由于视角变得更宽并且因此天空的比例增加，可能错误地将天空判断为具有高色温的白色。
为了解决该问题，如图9A中示出的，针对摄像画面的上部分(区(2))和下部分(区(1))使用不同的白检测区来进行白判断。通过由白检测区改变单元33在高色温侧应用不同的白检测限制值来限制上部分和下部分。
如图10A和图10B中示出的，将高色温侧的白检测限制值Lh4设置在高色温侧的白检测限制值Lh3的低色温侧，其中，Lh4限制用于对摄像画面的上部分中的评价块进行判断的白检测区，Lh3限制对摄像画面的下部分中的评价块进行判断的白检测区。这确保不将浅蓝色错误地判断为白色。将限制值Ll13和Ll14设置成与Ll1相同的值。
根据实验，在将白检测限制值Lh4设置成大约5500K时获得了良好的结果。然而，检测限制值Lh4不限于5500K，并且可以适当地改变。
根据上述的第二实施例，依赖于摄像画面的位置使用不同的白检测区，并且因此视角变得更宽。即使在天空的比例增加时，也可以降低错误的白判断的可能性。结果，可以实现更好的白平衡调整。
当将照相机的拍摄模式设置成风景模式时，通过进一步增加如图9B中示出的上部区(2)的面积，可以进一步降低将蓝色天空部分错误地判断为白色的可能性。
在第二实施例中，还可以从拍摄的图像数据中检测被摄体的亮度Bv，并且依赖于亮度，将用于白检测的检测样式改变成如图9A和图9B中示出的检测样式。例如，如图11中示出的，如果亮度Bv大于预设值Bv2，则图像很有可能是在户外拍摄的(即，天空的面积占据大的比例)，因而白检测范围由图14A中示出的白检测区209限制的摄像画面的上部分中的评价块的比例增加。相反地，如果亮度Bv小于预设值Bv1(＜Bv2)，则图像很有可能是在室内拍摄的，因而摄像画面的上部分中的评价块的比例减少。如果亮度Bv落入预设值Bv1和Bv2之间，则通过如图11的图中示出的利用Bv的线性计算，来确定白检测范围由白检测区209限制的摄像画面的上部分中的评价块的比例。该处理使得能够进行更合适的白平衡调整。
在以上描述中，在通过结合分割区来产生一个图像之后，判断白平衡，其中通过分割摄像单元200的有效像素区来形成分割区。然而，还可以对每一个分割区判断白平衡并且使用所有区的平均值进行白平衡调整。
第三实施例
图12是示出当拍摄人的皮肤和天空两者时减少错误的白判断的样式设置的例子的图。外部矩形区901是摄像单元200的最大视角。内部矩形区902是通过电子变焦部分读出的像素区(视角)。通过边界线905将矩形区901和矩形区902分割成上部区和下部区。同样地，也通过边界线905将中央圆形区分割成半圆区903和半圆区904。区(3)对应于半圆区903并且区(4)对应于半圆区904。区(1)是通过从矩形区901排除区(2)到区(4)而获得的区。区(2)是通过从矩形区901排除区(1)、区(3)和区(4)而获得的区。区(3)和区(4)的尺寸可以根据拍摄模式而固定，或者响应于通过电子变焦的视角的大小的改变而增大或减小。在本实施例中，作为例子，当将如下设置用于图12的区(1)、区(2)、区(3)和区(4)中的评价块的白判断时，可以获得良好的结果。
对于区(1)
高色温侧的白检测限制值Lh5：5500K
低色温侧的白检测限制值Ll 5：可变亮度(图13A)
对于区(2)
高色温侧的白检测限制值Lh6：可变亮度
低色温侧的白检测限制值Ll6：可变亮度(图13B)
对于区(3)
高色温侧的白检测限制值Lh7：5500K
低色温侧的白检测限制值Ll7：5000K(图14A)
对于区(4)
高色温侧的白检测限制值Lh8：可变亮度
低色温侧的白检测限制值Ll8：5000K(图14B)
应当理解，白检测限制值Lh5、Lh7、Ll7和Ll8的值仅是例子，并且本发明不限于此并可以适当地改变这些值。
如上所述，根据第三实施例，使用将摄像画面分割成更小的区的样式并且使用依赖于摄像画面的位置而不同的白检测区来进行白判断。因此，即使当拍摄人的皮肤和天空两者时也可以降低错误的白判断的可能性。结果，可以实现更精确的白平衡调整。
与第一实施例类似，可以根据拍摄模式来改变样式。
在以上描述中，在通过结合分割区来产生图像之后，判断白平衡，其中通过分割摄像单元200的有效像素区来形成分割区。然而，还可以对每一个分割区判断白平衡并且使用所有区的平均值进行白平衡调整。
第四实施例
在第一到第三实施例中，基于从分割区读出的电信号来计算白平衡系数，其中通过将摄像单元200的有效像素区分割成多个区来形成分割区。
然而，还可以针对如图26中示出的多个分割块中的每一个，基于前面给出的等式(1)计算颜色评价值Cx、Cy和Y。
将通过上面的等式(1)计算出的各个块的颜色评价值Cx和Cy与将在后面描述的预设白检测区进行比较。当颜色评价值落入白检测区内时，假定该块为白色。然后，计算假定为白色的块的颜色像素的累加值(SumR、SumG、SumB)。
根据累加值，使用下面的等式，用前面给出的等式(2)计算R、G和B的白平衡增益(kWB_R、kWB_G和kWB_B)。
在WB电路516中，可以使用这样获得的白平衡增益进行白平衡调整。
第五实施例
在下文中，将参照附图详细描述本发明的第五优选实施例。根据本实施例的摄像设备包括在摄像面上布置了光电转换元件的摄像单元和控制摄像单元的控制单元。图16是示出使用X-Y地址扫描方法的摄像设备(见图19)的摄像单元1200的结构的图。
在摄像单元1200中，布置了多个单位像素1201。在每一个单位像素1201中，布置了光电二极管等的光电转换元件1202、转移开关1203、浮动扩散(下文中称为“FD”)1204、放大晶体管1205、选择开关1206和复位开关1207。附图标记1208表示信号输出线，并且附图标记1209表示用作放大晶体管1205的负载的恒流源。附图标记1210表示选择开关，附图标记1211表示输出放大器，附图标记1212表示垂直扫描电路，附图标记1213表示读出电路，并且附图标记1214表示水平扫描电路。在图16中示出的摄像单元1200中，为了简化附图，以4行乘以4列(4×4)的矩阵布置单位像素1201，但是本发明不限于此并且可以布置任何数量的单位像素1201。
在光电转换元件1202中将进入摄像设备的光转换成电荷。响应于转移脉冲
Figure BDA0000149965390000211
通过转移开关1203将在光电转换元件1202中产生的电荷转移到FD 1204，在FD 1204中暂时存储电荷。FD 1204、放大晶体管1205和恒流源1209组成浮动扩散放大器。将响应于选择脉冲
Figure BDA0000149965390000212
而由选择开关1206选择的像素的信号电荷转换成电压，然后，将该电压通过信号输出线1208输出到读出电路1213。另外，通过以可选择的方式电连接由水平扫描电路1214驱动的选择开关1210来选择输出信号，然后，将输出信号经由输出放大器1211输出到摄像设备的外部。响应于复位脉冲
Figure BDA0000149965390000213
由复位开关1207清除存储在FD 1204中的电荷。垂直扫描电路1212在转移开关1203、选择开关1206和复位开关1207之间进行选择。
分别用
Figure BDA0000149965390000214
和
Figure BDA0000149965390000215
表示施加到第n(n为自然数)个扫描行并由垂直扫描电路1212选择的脉冲信号
Figure BDA0000149965390000216
和
Figure BDA0000149965390000217
图17A和图17B是示出根据本实施例的摄像设备的操作的图。图17A示出在第一模式下的操作，并且图17B示出在第二模式下的操作。
如图17A中示出的，在第一模式下，图19的控制单元1509控制摄像单元1200，以从布置在摄像面上的第一区1301中的光电转换元件1202的组中读出图像信号。使用第一模式，以基于读出的图像信号计算白平衡处理中使用的校正值。
另一方面，如图17B中示出的，在第二模式下，控制单元1509控制摄像单元1200，以从布置在摄像面上的第二区1302中的光电转换元件1202的组中读出图像信号。使用第二模式，以记录或显示图像。
只要第一区1301大于第二区1302，第一区1301就可以具有任意的大小。优选地，第一区1301包括第二区1302。更优选地，第一区1301包括布置在摄像面上的所有光电转换元件。在根据本实施例的摄像设备中，优选地，读出电路1213包括用于将在第一模式下从第一光电转换元件组中读出的多个信号中的一些信号相加的相加单元(未示出)。在这种情况下，优选地，控制单元1509设置要在相加单元中相加的信号的数量，以使得在第一和第二模式下使用的帧频相同(即，在第一和第二模式下，从摄像单元1200读出相同数量的信号)。通过将从第一光电转换元件组读出的多个信号中的一些信号相加并输出这些信号，可以减少从水平扫描电路1214读出的信号的数量。
在第一模式下，控制单元1509可以在进行疏化的同时读出第一光电转换元件组。在这种情况下，优选地，控制单元1509设置疏化率以使得在第一和第二模式下使用的帧频相同(即，在第一和第二模式下，从摄像单元1200读出相同数量的信号)。
根据上面的结构，即使在使用可能具有减少的白色比例的高电子变焦时，也可以使用从可能包括白色的第一区1301的图像中计算出的WB系数。因此，可以进行适当的WB处理。例如，即使在彩色的比例高于白色的比例时，如在使用变焦近距离拍摄人物的情况下，可以通过使用根据可能包括白色的第一区1301的图像指定的色温来进行适当的WB处理。
图18是示出图16的摄像设备中使用的颜色滤波器阵列的一部分的图。图18图示第一颜色滤波器的颜色是红色(R)、第二颜色滤波器的颜色是绿色(G)、第三颜色滤波器的颜色是绿色(G)并且第四颜色滤波器的颜色是蓝色(B)的情况。在原色的颜色滤波器排列中，将该颜色滤波器阵列的排列特别地称为“拜尔排列”。该颜色滤波器排列具有高分辨率和良好的颜色再现性。
图19是示出使用图16的摄像设备的摄像系统的概况的图。附图标记1501表示用作光学系统的透镜单元(在图19中简称为“透镜”)，附图标记1502表示透镜驱动单元，附图标记1503表示机械快门(简称为“快门”)，附图标记1504表示机械快门驱动单元(在图19中简称为“快门驱动单元”)，附图标记1505表示A/D转换器，并且附图标记1200表示如图16所示配置的摄像单元。
附图标记1506表示拍摄图像信号处理电路，附图标记1507表示定时生成单元，附图标记1508表示存储器单元，附图标记1509表示控制单元，附图标记1510表示记录介质控制接口单元(在图19中简称为“记录介质控制I/F单元”)，附图标记1511表示显示单元，附图标记1512表示记录介质，附图标记1513表示外部接口单元(在图19中简称为“外部I/F单元”)，附图标记1514表示测光单元，并且附图标记1515表示焦点调整单元。
在摄像单元1200上形成通过透镜1501的被摄体图像。以图像信号的形式输入在摄像单元1200上形成的被摄体图像。由拍摄图像信号处理电路1506将图像信号放大并从模拟信号形式转换成数字信号形式(A/D转换)。在A/D转换之后，拍摄图像信号处理电路1506获得如图21A中示出的R、G1、G2、B信号，并进行各种调整、图像数据压缩等。
通过透镜驱动单元1502驱动并控制透镜1501的变焦、调焦和光圈。机械快门1503是只具有与单透镜反光照相机中使用的焦平面快门的后帘幕相对应的帘幕的快门机构。通过快门驱动单元1504驱动并控制机械快门1503。定时生成单元1507向摄像单元1200和拍摄图像信号处理电路1506输出定时信号。控制单元1509进行整个摄像系统的控制和各种计算。存储器单元1508暂时存储图像数据。记录介质控制I/F单元1510将图像数据记录在记录介质1512上或从记录介质1512读出图像数据。显示单元1511显示图像数据。记录介质1512是半导体存储器等可移动存储介质，并且记录图像数据。外部I/F单元1513是与外部计算机等通信的接口。测光单元1514检测关于被摄体的亮度的信息。焦点调整单元1515检测到被摄体的距离。
图20是示出包括在图19的拍摄图像信号处理电路1506中的基于来自A/D转换器1505的信号R、G1、G2和B来进行处理的WB处理电路601和信号处理控制单元605的WB电路控制的结构的例子的框图。
附图标记601表示WB处理电路(在图20中简称为“WB”)，附图标记602表示颜色信号生成电路，附图标记603表示辉度信号生成电路，附图标记604表示用作调整单元的APC(AutomaticPower Control，自动功率控制)电路，并且附图标记605表示信号处理控制单元。附图标记606表示CPU，附图标记607表示ROM，并且附图标记608表示RAM。ROM 607包括WB控制程序607a、WB系数计算程序607b和白检测范围表607c。RAM 608包括图像数据存储区608a、颜色评价值存储区608b和算出WB系数存储区608c。
将图21A中示出的数字图像信号R、G1、G2和B以图21B中示出的块为单位输入到WB处理电路601和信号处理控制单元605。信号处理控制单元605将基于输入的数字图像信号R、G1、G2和B确定的WB系数提供给WB处理电路601，在WB处理电路601中进行WB处理。
信号处理控制单元605包括用于计算控制的CPU 606、用于存储固定程序和数据的ROM 607和用于临时存储的RAM 608。根据本实施例，在假定ROM 607已经存储了处理程序和表的情况下进行WB处理。然而，还可以将它们存储在可重写的非易失性RAM中以使得能够对它们进行改变。
ROM 607具有程序存储区和数据存储区。在本实施例中，程序存储区具有包含用于WB处理的过程的WB控制程序607a和用于如背景技术部分中所述确定WB系数的WB系数计算程序607b。数据存储区具有如图22中示出的白检测范围表607c。
RAM 608具有用于存储输入的图像数据中进行WB处理所需要的量的数据的图像数据存储区608a、用于存储颜色评价值的颜色评价值存储区608b和用于存储基于实际时间计算出的WB系数的算出WB系数存储区608c。
在本实施例中，根据包含在ROM 607中的程序来使用数据。基于由CPU 606输入的数字图像数据R、G1、G2和B，通过使用RAM 608的区，计算、选择并确定WB系数。将确定的WB系数传送到WB 601，在WB 601中进行适当的WB处理。
在WB 601中进行了WB处理之后，在颜色信号生成电路602中，生成色差信号U和V。同时，通过用于生成辉度信号的辉度生成电路603和用于放大辉度信号的高频分量的APC电路604来生成辉度信号Y。根据色差信号U、V和辉度信号Y，获得颜色图像。
处理生成的色差信号U、V和辉度信号Y的方法依赖于摄像设备的使用/应用而改变。然而，可以将任何处理方法应用到本实施例。
图15是示出根据本实施例的操作的概念图。作为本实施例的例子，示出了电子变焦放大率为4(×4)时运动图像模式下摄像设备的典型操作。
图15示出以时间顺序布置的连续帧M-3到N+1(其中N＞M，并且M和N是整数)中的运动图像的输出数据。当以m帧/秒(m是等于或大于2的整数)的速率读出图像信号时，在第一模式下读出m帧中的n帧(n是等于或大于1并且小于m的整数)，并且在第二模式下读出m帧中的m-n帧。帧M-3是设置电子变焦前电子变焦关闭的帧。在第一模式下驱动摄像单元时读出该帧。帧M-2和随后的帧是电子变焦开启的帧。在第一或第二模式下驱动摄像单元时读出这些帧。在第一模式下，在摄像单元1200中，通过例如在垂直方向上每隔两行进行读取，读出对应于有效像素区的图23的矩形区901。在第二模式下，在摄像单元1200中读出图23的矩形区902。矩形区901对应于图25的第一区1301。矩形区902对应于图25的第二区1302。矩形区902是例如从矩形区901的中心延伸到矩形区901的对角方向的一半的区。当将电子变焦放大率4(×4)应用到矩形区901时获得矩形区902。优选地，将在第一模式下驱动摄像单元1200的情况下的帧频和在第二模式下操作摄像单元1200的情况下的帧频设置成相同的帧频。
在帧M-3之前，在第一模式下驱动摄像单元1200。在帧M-2之后，在第一模式或第二模式下驱动摄像单元1200。如通过帧M和帧N示出的，在第一模式下驱动摄像单元1200，以在每预定数量的帧之间处理一个帧。例如，当每隔10秒钟处理一个帧并且将帧频设置为30帧/秒，则执行第一模式以在每300帧之间处理一个帧。然后，基于在第一模式下读出的帧M、N，计算用于WB处理的校正值，并且将该校正值反映到帧M+1、N+1和随后的帧。对于在第一模式下驱动摄像单元时读出的帧M、N，切割出小于读出帧的视角的区，并且调整切割出的图像的大小以获得输出图像。优选地，在拍摄图像信号处理电路1506中，切割出具有与在第二模式下读出的帧的视角相等的视角的区，并且调整图像的大小以获得输出图像。如上所述，通过使用在第一模式下读出的图像作为输出图像，可以将帧频保持在预定水平。在这种情况下，由于通过调整在第一模式下读出的图像的大小而获得的图像具有比在第二模式下读出的图像低的分辨率，优选地，在用作调整单元的APC电路604中进行调整以减少分辨率差。更具体地，进行APC处理以增加高频辉度信号的放大因数。
使用上述的方法，即使在如使用电子变焦拍摄运动图像的情况下降低时，也可以进行适当的WB处理。同样，通过将两种不同模式的帧频设置为相同，可以实现平滑的运动图像。
在上述方法中，将在第一模式下读出的帧用作输出图像。然而，当调整在第一模式下读出的帧的大小以具有与在第二模式下读出的图像的视角相等的视角时，在第一模式下读出的帧将具有比在第二模式下读出的图像更少的信息量和更低的分辨率，导致了低劣的图像质量。
为了解决该问题，仅以预定帧间隔读出在第二模式下读出的帧，并且在第二模式下驱动摄像单元时读出的帧之间的间隔中读出在第一模式下驱动摄像单元时读出以进行WB处理的帧。还可以只使用在第二模式下读出的帧来获得输出图像。在这种情况下，由于不使用在第一模式下读出的帧的图像数据，不会发生使用在第一模式下读出的帧可能导致的图像质量的劣化。此外，由于以恒定的帧间隔读出在第二模式下读出的帧，可以实现平滑的运动图像。
第六实施例
图24是示出根据本发明的第六优选实施例的操作的概念图。作为本实施例的例子，示出了当用于以设置成4(×4)的电子变焦放大率拍摄静止图像时摄像设备的典型操作。
图24示出从摄像设备读出的、以时间顺序从左到右布置的连续帧，在SW2之前的那些帧是在拍摄静止图像之前获取的，并且最后一帧代表静止图像。针对帧P-3到P-1，在第一模式下驱动摄像单元。在SW2，将模式切换成第二模式，并且读出帧P。在第一模式下，在摄像单元1200中，通过在垂直方向上每隔两行进行读取，来读出图23的矩形区901。在第二模式下，在摄像单元1200中读出图23的矩形区902。矩形区902是从矩形区901的中心延伸到矩形区901的对角方向的一半的区。当将电子变焦放大率4(×4)应用到矩形区901时获得矩形区902。通过在拍摄图像信号处理电路1506中切割出预定的区域，来调整帧P-3到帧P-1的图像数据的大小，以具有与帧P的视角相等的视角。利用显示单元1511显示产生的图像。同时，基于帧P-1的图像数据，利用拍摄图像信号处理电路1506进行WB处理。基于这样获得的WB系数和帧P的图像数据，产生静止图像。在这种情况下，优选进行APC处理，以使得从帧P-3到P-1获得的APC电路604中的高频辉度信号的放大因数大于从帧P(P为整数)获得的放大因数。
如上所述，通过使用上述方法，即使在如使用电子变焦拍摄静止图像的情况下白色的比例可能降低时，也可以进行适当的WB处理。
在上面给出的实施例中，描述了将本发明应用到数字照相机的情况，但是应当理解，本发明的应用不限于数字照相机，并且还可以应用到数字摄像机、装备有数字照相机的移动电话、扫描仪等。本发明可以应用到响应于从以有线或无线方式与照相机连接的个人计算机发送的释放命令，通过远程操作拍摄图像的照相机。另外，本发明的范围包括将实现上述实施例的功能的软件的程序代码提供给连接到各种装置的元件或系统中的计算机的情况。本发明的范围还包括根据存储在系统或装置的计算机(CPU或MPU)中的程序操作各种装置的情况。
在这种情况下，软件的程序代码实现上述实施例的功能。换而言之，程序代码和如存储程序代码的记录介质等用于将程序代码提供给计算机的单元可以构成本发明。存储程序代码的记录介质可以是例如软盘、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储器卡、ROM等。
本发明的范围不仅包括通过执行提供给计算机的程序代码来实现上述实施例的功能的情况，还包括运行程序代码的计算机的OS(操作系统)。同样，当通过与其它应用软件联合工作的程序代码实现上述实施例的功能时，这样的程序代码也包括在本发明的范围内。
另外，本发明的范围包括计算机的功能扩展板或连接到计算机的功能扩展单元中包括的CPU，该CPU基于存储在设置在功能扩展板或功能扩展单元中的存储器中的所提供的程序代码的指示来实现上述实施例的功能。本发明的范围还包括CPU进行部分或全部实际处理并且通过该处理实现上述实施例的功能的情况。
第七实施例
根据上面给出的第一到第六实施例的软件结构和硬件结构可以互换。在本发明中，可以根据需要结合上面给出的实施例或它们的技术特征。同样，在本发明中，可以使用权利要求中的任何一个以及实施例的结构的全部或部分来形成单个装置。本发明可以与摄像设备(例如，数字照相机或摄像机)或处理从摄像设备获得的信号的信号处理装置等其它装置结合。可选地，本发明可以是组成装置的元件。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这样的修改以及等同结构和功能。
本申请要求2006年4月25日提交的日本专利申请2006-121271和2006年6月13日提交的日本专利申请2006-164067的优先权，其内容在此通过引用被整体包括。

Claims (11)

1.一种摄像设备，包括：
摄像单元，其中在摄像面上布置有多个光电转换元件；以及
控制单元，
其中，所述控制单元具有第一模式和第二模式，在所述第一模式下，从布置在所述摄像面的第一区中的第一光电转换元件组读出图像信号，所述图像信号是针对由所述第一区分割得到的多个分割区中的每一个分别读出的，并且在所述第二模式下，从布置在所述摄像面的小于所述第一区的第二区中的第二光电转换元件组读出图像信号，
在所述第二模式下的图像信号的读出和随后的所述第二模式下的图像信号的读出之间，在所述第一模式下进行所述分割区的图像信号的读出，
至少基于在所述第一模式下读出的所述分割区的图像信号来计算校正值，以及
对在所述第二模式下读出的图像信号进行白平衡处理。
2.根据权利要求1所述的摄像设备，其特征在于，
所述控制单元进行控制，以使得交替地进行所述第一模式下的读出和所述第二模式下的读出。
3.根据权利要求1所述的摄像设备，其特征在于，
所述控制单元进行控制，以使得每当进行M次所述第二模式下的读出时，进行一次所述第一模式下的读出，其中，M是大于或等于2的整数。
4.根据权利要求1所述的摄像设备，其特征在于，
每次进行所述第一模式下的读出时，所述控制单元改变在所述第一模式下读出的所述分割区。
5.根据权利要求4所述的摄像设备，其特征在于，
当在所述第一模式下读出的所述分割区的总大小超过所述第二区的大小时，所述控制单元计算所述校正值。
6.根据权利要求5所述的摄像设备，其特征在于，
当在所述第一模式下读出的所述分割区的总大小等于所述第一区的大小时，所述控制单元计算所述校正值。
7.根据权利要求4所述的摄像设备，其特征在于，
每次在所述第一模式下进行从所述分割区的读出时，所述控制单元计算所述校正值。
8.根据权利要求1所述的摄像设备，其特征在于，
所述控制单元将所述摄像面上除所述第二区以外的区分割成所述分割区。
9.根据权利要求1所述的摄像设备，其特征在于，还包括读出部件，所述读出部件用于从所述光电转换元件读出图像信号。
10.根据权利要求9所述的摄像设备，其特征在于，
所述读出部件在预定数量的帧内从布置在全部所述分割区中的第一光电转换元件组读出图像信号。
11.一种用于控制摄像设备的方法，所述摄像设备包括：摄像单元，其中在摄像面上布置有多个光电转换元件；以及控制单元，用于控制所述摄像单元，其中，所述控制单元具有第一模式和第二模式，在所述第一模式下，从布置在所述摄像面的第一区中的第一光电转换元件组读出图像信号，所述图像信号是针对由所述第一区分割得到的多个分割区中的每一个分别读出的，并且在所述第二模式下，从布置在所述摄像面的小于所述第一区的第二区中的第二光电转换元件组读出图像信号，在所述第二模式下的图像信号的读出和随后的所述第二模式下的图像信号的读出之间，在所述第一模式下进行所述分割区的图像信号的读出，
所述方法包括如下步骤：
至少基于在所述第一模式下读出的图像信号来计算校正值，以及
基于所述校正值对在所述第二模式下读出的图像信号进行白平衡处理。
CN2012100965602A 2006-04-25 2007-04-20 摄像设备及其控制方法 Pending CN102665043A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006121271A JP4875399B2 (ja) 2006-04-25 2006-04-25 撮像装置及びその制御方法並びに撮像システム
JP2006-121271 2006-04-25
JP2006-164067 2006-06-13
JP2006164067A JP4993670B2 (ja) 2006-06-13 2006-06-13 撮像装置及びその制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2007800149245A Division CN101433095B (zh) 2006-04-25 2007-04-20 摄像设备及其控制方法

Publications (1)

Publication Number Publication Date
CN102665043A true CN102665043A (zh) 2012-09-12

Family

ID=38655557

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800149245A Expired - Fee Related CN101433095B (zh) 2006-04-25 2007-04-20 摄像设备及其控制方法
CN2012100965602A Pending CN102665043A (zh) 2006-04-25 2007-04-20 摄像设备及其控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2007800149245A Expired - Fee Related CN101433095B (zh) 2006-04-25 2007-04-20 摄像设备及其控制方法

Country Status (5)

Country Link
US (1) US8314850B2 (zh)
EP (1) EP2016775A1 (zh)
KR (1) KR101010988B1 (zh)
CN (2) CN101433095B (zh)
WO (1) WO2007126033A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365909A (zh) * 2013-09-30 2019-10-22 株式会社尼康 电子设备

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5116397B2 (ja) * 2007-08-06 2013-01-09 キヤノン株式会社 撮像装置、およびその制御方法
JP5489411B2 (ja) * 2008-03-17 2014-05-14 キヤノン株式会社 ホワイトバランス制御装置及びホワイトバランス制御方法
KR100978659B1 (ko) * 2008-07-17 2010-08-30 삼성전기주식회사 색신호 이득 제어 장치 및 방법
JP5576706B2 (ja) * 2010-05-10 2014-08-20 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
JP2012090145A (ja) * 2010-10-21 2012-05-10 Sony Corp 画像処理装置および方法、並びにプログラム
KR101139405B1 (ko) * 2011-01-25 2012-04-27 실리콘 디스플레이 (주) 프레임 메모리방식의 엑스선 이미지 센서 장치
US9595558B2 (en) 2013-11-12 2017-03-14 Intrinsix Corporation Photodiode architectures and image capture methods having a plurality of photodiode with a shared electrode
US9344660B2 (en) 2011-02-25 2016-05-17 Intrinsix Corporation Foveal imager readout integrated circuit (ROIC)
US9001234B2 (en) 2011-02-25 2015-04-07 Intrinsix Corporation Imager readout architecture utilizing A/D converters (ADC)
WO2013065518A1 (ja) 2011-10-31 2013-05-10 富士フイルム株式会社 撮像装置及び画像処理方法
JP6083974B2 (ja) * 2012-04-24 2017-02-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2014011754A (ja) * 2012-07-03 2014-01-20 Sony Corp 制御装置、制御方法、及びプログラム
JP5957705B2 (ja) 2013-12-20 2016-07-27 パナソニックＩｐマネジメント株式会社 撮像装置
US9787923B2 (en) 2014-01-13 2017-10-10 Intrinsix Corporation Correlated double sampled (CDS) pixel sense amplifier
US9676097B1 (en) 2014-11-11 2017-06-13 X Development Llc Systems and methods for robotic device authentication
JP6584122B2 (ja) * 2015-04-21 2019-10-02 キヤノン株式会社 画像処理装置及び画像処理方法
JP6852369B2 (ja) * 2016-11-30 2021-03-31 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
WO2019026929A1 (ja) * 2017-08-03 2019-02-07 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
JP2022034409A (ja) * 2020-08-18 2022-03-03 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1443009A (zh) * 2002-02-20 2003-09-17 佳能株式会社 白平衡校正装置和白平衡校正方法
CN1489862A (zh) * 2001-10-03 2004-04-14 ���ṫ˾ 图像拍摄装置和图像质量校正方法
US20040130632A1 (en) * 2002-07-31 2004-07-08 Kenji Shiraishi Imaging apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228180B2 (ja) * 2001-08-24 2009-02-25 富士フイルム株式会社 デジタルカメラ及びプリンタ
JP2004040432A (ja) 2002-07-03 2004-02-05 Hitachi Ltd 撮像装置
JP4533168B2 (ja) * 2005-01-31 2010-09-01 キヤノン株式会社 撮像装置及びその制御方法
JP4759293B2 (ja) * 2005-03-15 2011-08-31 キヤノン株式会社 撮像素子
US8045047B2 (en) * 2005-06-23 2011-10-25 Nokia Corporation Method and apparatus for digital image processing of an image having different scaling rates
US8106956B2 (en) * 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
JP2007043248A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
US7746391B2 (en) * 2006-03-30 2010-06-29 Jai Pulnix, Inc. Resolution proportional digital zoom

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489862A (zh) * 2001-10-03 2004-04-14 ���ṫ˾ 图像拍摄装置和图像质量校正方法
CN1443009A (zh) * 2002-02-20 2003-09-17 佳能株式会社 白平衡校正装置和白平衡校正方法
US20040130632A1 (en) * 2002-07-31 2004-07-08 Kenji Shiraishi Imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365909A (zh) * 2013-09-30 2019-10-22 株式会社尼康 电子设备

Also Published As

Publication number Publication date
EP2016775A1 (en) 2009-01-21
CN101433095A (zh) 2009-05-13
WO2007126033A1 (en) 2007-11-08
KR101010988B1 (ko) 2011-01-26
US8314850B2 (en) 2012-11-20
KR20080113122A (ko) 2008-12-26
US20100026835A1 (en) 2010-02-04
CN101433095B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
CN101433095B (zh) 摄像设备及其控制方法
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
US7154547B2 (en) Solid-state image sensor having control cells for developing signals for image-shooting control under poor illumination
US11641522B2 (en) Image-capturing device and image processing device
KR100580911B1 (ko) 화상합성방법 및 촬상장치
CN100534133C (zh) 摄像装置及图像处理方法
KR20050025275A (ko) 화상처리장치 및 방법과, 기록매체
US7336306B2 (en) Solid-state image sensor efficiently utilizing its dynamic range and image pickup apparatus using the same
JP4253634B2 (ja) デジタルカメラ
US20090135281A1 (en) Driving method of solid-state imaging device, solid-state imaging device, and imaging apparatus
CN106358030A (zh) 图像处理装置和图像处理方法
US7598986B2 (en) Image pick-up apparatus and white balance control method
TWI458342B (zh) Camera device and image processing device
US20070242147A1 (en) Imaging apparatus
US7697043B2 (en) Apparatus for compensating for color shading on a picture picked up by a solid-state image sensor over a broad dynamic range
CN107079092A (zh) 摄像装置、摄像方法、处理程序
US20240015406A1 (en) Image sensor and imaging device
JP4993670B2 (ja) 撮像装置及びその制御方法
WO2022073364A1 (zh) 图像获取方法及装置、终端和计算机可读存储介质
JP4170131B2 (ja) 撮像制御方法および撮像制御装置
JP5550333B2 (ja) 撮像装置、現像方法及びプログラム
JP4307862B2 (ja) 信号処理方法、信号処理回路、及び撮像装置
JPH09214984A (ja) 撮像装置、および撮像装置に備える手段
JP2003143491A (ja) 撮像装置
JP2000278590A (ja) デジタルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120912