CN101473658B - 摄像系统和摄像方法 - Google Patents

摄像系统和摄像方法 Download PDF

Info

Publication number
CN101473658B
CN101473658B CN2007800233279A CN200780023327A CN101473658B CN 101473658 B CN101473658 B CN 101473658B CN 2007800233279 A CN2007800233279 A CN 2007800233279A CN 200780023327 A CN200780023327 A CN 200780023327A CN 101473658 B CN101473658 B CN 101473658B
Authority
CN
China
Prior art keywords
mentioned
signal
dichroism
unit
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800233279A
Other languages
English (en)
Other versions
CN101473658A (zh
Inventor
鹤冈建夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN101473658A publication Critical patent/CN101473658A/zh
Application granted granted Critical
Publication of CN101473658B publication Critical patent/CN101473658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明的摄像系统根据来自彩色摄像系统的影像信号估计与被摄体或照明光相关的未知的分光特性，该摄像系统具有：控制单元，其进行如下控制：使上述彩色摄像系统中的规定的分光特性以时间序列方式变化，进行多个摄像；验证单元，其验证与上述多个影像信号相关的可信度；校正单元，其根据上述可信度对上述多个影像信号进行校正处理；以及估计单元，其根据进行了上述校正处理后的多个影像信号估计与被摄体或照明光相关的未知的分光特性。

Description

摄像系统和摄像方法
技术领域
本发明涉及进行与被摄体或照明光相关的分光特性的估计的摄像系统，特别涉及可防止由影像信号内包含的噪声、伴随插值处理的伪色、被摄体的移动偏差等的产生引起的估计误差的产生、可进行高精度的分光特性的估计的摄像系统。 
背景技术
作为进行与被摄体或照明光相关的未知的分光特性的估计的现有技术，有这样的方法：利用外部照明的有无、滤波器在光路中的插入、分光特性不同的摄像元件等来取得摄影时的分光特性不同的多个影像信号，根据这些影像信号近似地计算分光特性。例如，在日本特开2001-78202号公报中公开了这样的例子：根据闪光灯发光的有无或者滤波器在光路中的插入来取得摄影时的分光特性不同的2种影像信号，对要估计的分光特性通过少数的基础函数的线性结合进行建模，通过根据上述2种影像信号计算上述基础函数的权重系数来进行估计。由此，不依赖于摄影时的照明光而能获得被摄体的反射光的分光特性(以下简称为被摄体的分光特性)，可生成任意照明条件下的影像信号。并且，在日本特开2004-186879号公报中公开了这样的例子：使用分光特性不同的2种像素来取得摄影时的分光特性不同的2种影像信号，估计摄影时的照明光的光源的种类。由此，即使在多个光源下的摄影中也能进行良好的白平衡处理。而且，在日本特开2005-311581号公报中公开了这样的例子：通过事先拍摄分光特性已知的色卡等来估计任意照明条件下的被摄体的分光特性。由此，可进行多种的颜色处理。 
根据上述摄影时的分光特性不同的多个影像信号进行与被摄体或照明光相关的未知的分光特性的估计的方法利用了与摄像系统相关的系统 矩阵的逆矩阵和奇异值分解的伪逆矩阵。利用逆矩阵和伪逆矩阵的方法具有这样的课题：容易受影像信号内包含的噪声的影响，所估计的分光特性的精度不稳定。 
并且，在目前的摄像系统中成为主流的单板摄像系统中进行全彩色化需要插值处理，然而在插值处理中在边缘部等的高频区域内产生叫作伪色的伪影(artifact)。在根据这种伪色进行分光特性的估计的情况下，具有进行与本来的分光特性相差悬殊的估计的课题。 
并且，在使用外部照明和滤波器来以时间序列方式取得分光特性不同的多个影像信号的方法中，人等的主要被摄体产生移动偏差。在产生这种移动偏差的区域中，具有分光特性的估计精度大幅下降的课题。 
然而，在上述日本特开2001-78202号公报、日本特开2004-186879号公报、日本特开2005-311581号公报等的现有方法中，不能应对这样的课题：去除给分光特性的估计带来影响的要因，以稳定且适当的精度估计分光特性。 
发明内容
着眼于上述问题，本发明的目的是提供一种摄像系统，该摄像系统以局部区域为单位验证影像信号内包含的噪声、伴随插值处理的伪色、被摄体的移动偏差等给估计精度带来影响的要因，通过校正影像信号而可进行高精度的分光特性的估计。并且，本发明的目的是提供一种可根据估计出的分光特性进行多种的颜色处理的摄像系统。 
本发明的第1方式是一种摄像系统，该摄像系统根据来自彩色摄像系统的影像信号，估计与被摄体或照明光相关的未知的分光特性，该摄像系统的特征在于，该摄像系统具有：控制单元，其进行如下控制：使上述彩色摄像系统中的规定的分光特性以时间序列方式变化，进行多个摄像；验证单元，其验证与从上述多个摄像获得的多个影像信号相关的可信度；校正单元，其根据上述可信度，对上述多个影像信号进行校正处理；以及估计单元，其根据进行了上述校正处理后的多个影像信号，估计与被摄体或照明光相关的未知的分光特性。 
根据本发明的第1方式，由于根据影像信号的可信度校正影像信号，之后进行与被摄体或照明光相关的未知的分光特性的估计，因而可提供一种能进行高精度的分光特性的估计的摄像系统。并且，由于以时间序列方式取得分光特性不同的多个影像信号，因而与现有的摄像系统的亲和性和互换性高，可实现低成本化。 
本发明的第2方式是一种摄像系统，该摄像系统根据来自分光特性不同的多个彩色摄像系统的多个影像信号，估计与被摄体或照明光相关的未知的分光特性，该摄像系统的特征在于，该摄像系统具有：验证单元，其验证与上述多个影像信号相关的可信度；校正单元，其根据上述可信度，对上述多个影像信号进行校正处理；以及估计单元，其根据进行了上述校正处理后的多个影像信号，估计与被摄体或照明光相关的未知的分光特性。 
根据本发明的第2方式，由于通过一次摄影取得来自分光特性不同的多个彩色摄像系统的多个影像信号，并根据影像信号的可信度校正影像信号，之后进行与被摄体或照明光相关的未知的分光特性的估计，因而可提供一种能进行高精度的分光特性的估计的摄像系统。并且，由于从分光特性不同的多个彩色摄像系统通过一次摄影取得分光特性不同的多个影像信号，因而针对移动体也能进行高精度的分光特性的估计。 
本发明的第3方式是一种用于摄像处理的方法，该摄像处理根据来自彩色摄像系统的影像信号，估计与被摄体或照明光相关的未知的分光特性，该方法的特征在于，该程序包括以下步骤：进行如下控制：使上述彩色摄像系统中的规定的分光特性以时间序列方式变化，进行多个摄像；验证与从上述多个摄像获得的多个影像信号相关的可信度；根据上述可信度，对上述多个影像信号进行校正处理；以及根据进行了上述校正处理后的多个影像信号，估计与被摄体或照明光相关的未知的分光特性。 
本发明的第4方式是一种用于摄像处理的方法，该摄像处理根据来自分光特性不同的多个彩色摄像系统的多个影像信号，估计与被摄体或照明光相关的未知的分光特性，该方法的特征在于，该方法包括以下步 骤：验证与上述多个影像信号相关的可信度；根据上述可信度，对上述多个影像信号进行校正处理；以及根据进行了上述校正处理后的多个影像信号，估计与被摄体或照明光相关的未知的分光特性。 
附图说明
图1是本发明的第1实施方式的摄像系统的结构图。 
图2是与局部区域相关的说明图。 
图3是图1电的验证部的结构图。 
图4是图1中的校正部的结构图。 
图5是与信号的分离合成相关的说明图。 
图6是与平滑滤波器相关的说明图。 
图7是与平滑滤波器的选择相关的说明图。 
图8是图1中的估计部的结构图。 
图9是图1中的另一结构的估计部的结构图。 
图10是图1中的颜色处理部的结构图。 
图11是本发明的第1实施方式的另一方式的摄像系统的结构图。 
图12是本发明的第1实施方式的信号处理的流程图。 
图13是本发明的第2实施方式的摄像系统的结构图。 
图14是与局部区域相关的说明图。 
图15是图13中的验证部的结构图。 
图16是图13中的校正部的结构图。 
图17是图13中的估计部的结构图。 
图18是本发明的第2实施方式的信号处理的流程图。 
图19是本发明的第3实施方式的摄像系统的结构图。 
图20是图19中的验证部的结构图。 
图21是与标签赋予相关的说明图。 
图22是图19中的校正部的结构图。 
图23是图19中的估计部的结构图。 
图24是图19中的颜色处理部的结构图。 
图25是本发明的第3实施方式的信号处理的流程图。 
具体实施方式
参照附图说明本发明的实施方式。 
[第1实施方式] 
图1至图12涉及本发明的第1实施方式，图1是本发明的第1实施方式的摄像系统的结构图，图2是与局部区域相关的说明图，图3是验证部的结构图，图4是校正部的结构图，图5是与信号的分离合成相关的说明图，图6是与平滑滤波器相关的说明图，图7是与平滑滤波器的选择相关的说明图，图8是估计部的结构图，图9是另一结构的估计部的结构图，图10是颜色处理部的结构图，图11是第1实施方式的另一方式的结构图，图12是第1实施方式的信号处理的流程图。 
[结构] 
图1是本发明的实施方式的结构图。经由镜头系统100、光圈101和CCD 102所拍摄的影像信号在增益控制放大器(以下简记为Gain)104被放大，并在A/D转换器(以下简记为A/D)105被转换成数字信号。来自A/D 105的信号经由缓冲器106被转发到提取部111。缓冲器106还与预白平衡部(以下简记为PreWB部)107、测光评价部108和对焦检测部109连接。测光评价部108与光圈101、CCD 102和Gain 104连接，对焦检测部109与自动对焦电动机(以下简记为AF电动机)110连接。提取部111与验证部112、校正部113和颜色处理部115连接。验证部112与校正部113连接，校正部113与估计部114连接，估计部114与颜色处理部115和输出部117连接。颜色处理部115经由信号处理部116与输出部117连接。微计算机等的控制部118与Gain 104、A/D 105、PreWB部107、测光评价部108、对焦检测部109、提取部111、验证部112、校正部113、估计部114、颜色处理部115、信号处理部116以及输出部117双向连接。并且，电源开关、快门按钮、以及具有用于进行摄影时的各种模式的切换等的设定的接口的外部接口部119也与控制部118双向连接。而且，来自配置在CCD 102的附近的温度传感器103的信号与控制 部118连接。并且，配置在镜头系统100的附近的作为照明单元的闪光灯120与控制部118双向连接。 
[作用] 
下面，按照信号流程说明作用。 
在经由外部接口部119设定了ISO感光度等的摄影条件后，通过半按下快门按钮来进入预摄像模式。经由镜头系统100、光圈101和CCD 102所拍摄的信号作为模拟信号被输出。 
另外，在本实施方式中，摄像系统设想了将拜尔(以下简记为Bayer)型原色滤波器配置在前面的单板CCD。图2(a)示出Bayer型原色滤波器的结构。这里示出Bayer型原色滤波器的10×10像素的局部区域。Bayer型以2×2像素作为基本单位，红色(R)、蓝色(B)滤波器各配置1个像素，绿色(Gr，Gb)滤波器配置2个像素。另外，绿色滤波器是同一滤波器，然而在本例中为了便于处理将其区别为Gr、Gb。 
缓冲器106内的信号被转发到PreWB部107、测光评价部108和对焦检测部109。在PreWB部107中通过按各色信号累积规定亮度电平的信号来计算简易白平衡系数。上述系数被转发到Gain 104，通过按各色信号设定不同的增益来进行简易白平衡处理。在测光评价部108中，加进所设定的ISO感光度、手抖极限的快门速度等，求出信号中的亮度电平来控制光圈101和CCD 102的电子快门速度和Gain 104的放大率等，以得到适当曝光。并且，在对焦检测部109中检测信号中的边缘强度，通过控制AF电动机110以使该边缘强度达到最大来获得对焦信号。然后，通过经由外部接口部119全按下快门按钮来进行第1次的本摄影，影像信号与预摄像一样被转发到缓冲器106。第1次的本摄影是根据在PreWB部107求出的简易白平衡系数、在测光评价部108求出的曝光条件、以及在对焦检测部109求出的对焦条件来进行，这些摄影时的条件被转发到控制部118。然后，控制部118根据上述曝光条件和对焦条件来决定闪光灯120的发光量，进行使闪光灯120发光的第2次本摄影。控制部118和闪光灯120构成控制单元，该控制单元进行如下控制：使彩色摄像系统中的规定的分光特性以时间序列方式变化来进行多个摄像。上述第2 次本摄影的影像信号与第1次本摄影的影像信号一样被转发到缓冲器106。在缓冲器106内保存第1次和第2次的影像信号。缓冲器106内的影像信号被转发到提取部111。 
提取部111根据控制部118的控制，依次提取图2(a)所示的以由2×2像素构成的关注区域为中心的10×10像素尺寸的局部区域。10×10像素尺寸的局部区域由2×2像素尺寸的81个区域构成，即由1个2×2像素尺寸的关注区域和80个2×2像素尺寸的附近区域构成。由于上述局部区域是在相同位置从第1次本摄影的影像信号和第2次本摄影的影像信号中提取的，因而存在2个局部区域。并且，由于关注区域采用2×2像素，因而局部区域是在水平和垂直方向各8个像素进行重叠的同时被提取。 
验证部112根据控制部118的控制，从提取部111读入上述2个局部区域，验证分光特性估计中的可信度，将可信度的结果转发到校正部113。校正部113根据控制部118的控制，从提取部111读入上述2个局部区域，从验证部112读入可信度的结果，针对上述2个关注区域进行校正处理。校正后的2个关注区域被转发到估计部114。 
估计部114根据控制部118的控制，从校正部113读入校正后的2个关注区域，估计与被摄体或照明光相关的分光特性。估计出的分光特性被转发到颜色处理部115。另外，还能根据需要将估计出的分光特性转发到输出部117并另行保存。颜色处理部115根据控制部118的控制，从提取部111读入与第1次本摄影相关的关注区域，对从估计部114估计出的分光特性进行规定的颜色处理。在本实施方式中，假想了基于向日光光源的转换处理的白平衡处理。进行了颜色处理后的关注区域依次被转发到信号处理部116。上述提取部111、验证部112、校正部113、估计部114、颜色处理部115的处理是根据控制部118的控制以局部区域为单位同步进行。在信号处理部116中进行公知的边缘强调处理和压缩处理等，并被转发到输出部117。输出部117将影像信号记录保存在存储卡等的记录介质内。 
图3示出验证部112的结构一例，并由以下构成：亮度色差分离部200，缓冲器201，作为噪声量计算单元的噪声计算部202，作为边缘量 计算单元的边缘计算部203，作为色相信息计算单元的色相计算部204，作为移动量计算单元的移动计算部205，缓冲器206，以及可信度计算部207。提取部111经由亮度色差分离部200与缓冲器201连接。缓冲器201与噪声计算部202、边缘计算部203、色相计算部204以及移动计算部205连接。噪声计算部202、边缘计算部203、色相计算部204以及移动计算部205与缓冲器206连接。缓冲器206经由可信度计算部207与校正部113连接。控制部118与亮度色差分离部200、噪声计算部202、边缘计算部203、色相计算部204、移动计算部205以及可信度计算部207双向连接。亮度色差分离部200根据控制部118的控制，从提取部111读入2个局部区域，分离成亮度信号和色差信号。分离成亮度信号和色差信号是以2×2像素的关注区域和2×2像素的附近区域为单位来进行的。 
图2(a)示出本实施方式中的局部区域内的关注区域和附近区域的结构。在本实施方式中的10×10像素尺寸的局部区域中，假想2×2像素(R44，Gr54，Gb45，B55)的一个关注区域，并针对2×2像素假想包含其中一个关注区域且配置成每一行每一列进行重叠的计80个附近区域。关注区域中的亮度信号Y和色差信号Cb、Cr根据(1)式来计算。 
Y＝(Gr54+Gb45)/2 
Cb＝B55-(Gr54+Gb45)/2            (1) 
Cr＝R44-(Gr54+Gb45)/2 
在附近区域中也是同样计算的。图2(b)示出从图2(a)的局部区域分离成亮度/色差信号。如图2(b)所示，从1个局部区域计算81点的亮度信号Y和色差信号Cb、Cr。从2个局部区域计算出的亮度信号和色差信号被转发到缓冲器201。 
噪声计算部202根据控制部118的控制，从缓冲器201读入亮度信号，从控制部118读入摄影时的ISO感光度、简易白平衡系数、曝光条件，从温度传感器103读入温度信息，计算关注区域中的噪声量。关于噪声量的计算，使用例如日本特开2006-23959号公报所公开的方法来实现。上述噪声量针对2个局部区域各方独立来求出。噪声计算部202从计算出的2个噪声量中选择噪声量大的一方来转发到缓冲器206。 
边缘计算部203根据控制部118的控制，从缓冲器201读入亮度信 号，计算关注区域中的边缘量。边缘量是通过在例如以关注区域为中心的3×3的区域内进行例如二次微分滤波即公知的拉普拉斯算子处理等来计算的。上述边缘量针对2个局部区域各方独立来求出。边缘计算部203从计算出的2个边缘量中选择边缘量大的一方来转发到缓冲器206。 
色相计算部204根据控制部118的控制，从缓冲器201读入色差信号，计算局部区域中的色相信号的标准偏差。色相信号H根据(2)式来计算。 
H＝tan-1(Cb/Cr)            (2) 
在一个局部区域内计算81点的色相信号，据此计算色相信号的标准偏差。上述色相信号的标准偏差针对2个局部区域各方独立来求出。色相计算部204从计算出的2个标准偏差中选择标准偏差大的一方来转发到缓冲器206。 
移动计算部205根据控制部118的控制，从缓冲器201读入亮度信号，计算关注区域中的移动量。移动量是从通过第一次本摄影所获得的局部区域中提取以关注区域为中心的3×3的区域，并在通过第2次本摄影所获得的局部区域内进行公知的块匹配处理来获得的。移动计算部205将计算出的移动量转发到缓冲器206。在上述处理完成后，在缓冲器206内存在噪声量N、边缘量E、色相信号的标准偏差HD以及移动量M。另外，噪声、边缘、色相的标准偏差以及移动量的计算方法不限于上述方法。 
可信度计算部207根据控制部118的控制，读入缓冲器206内的噪声量N、边缘量E、色相信号的标准偏差HD以及移动量M。之后，根据(3)式计算关注区域的可信度R。 
R＝k1·N+k2·E+k3·HD+k4·M        (3) 
在(3)式中，k1、k2、k3、k4是规定的正的常数项。可信度R是0以上的正的数，噪声量N、边缘量E、色相信号的标准偏差HD、移动量M越大，则可信度R取越大的值。由于噪声量N、边缘量E、色相信号的标准偏差HD、移动量M越大则分光特性的估计精度就越下降，因而上述可信度R表示分光特性的估计中的可信度。即，求解(3)式的可信度 R和验证与影像信号相关的可信度是等效的。计算出的可信度R被转发到校正部113。另外，在上述例中可信度R是根据噪声量N、边缘量E、色相信号的标准偏差HD、移动量M这4个项目来计算的，然而无需受限于这种结构。也能采用尽管精度下降然而减少项目数来使处理速度高速化的结构，还能采用通过追加其他项目来提高精度的结构。 
图4示出校正部113的结构的一例，并由以下构成：滤波器选择部300，作为滤波器记录单元的滤波器用ROM 301，信号分离部302，缓冲器303，作为平滑处理单元的平滑部304，缓冲器305，以及信号合成部306。提取部111经由信号分离部302、缓冲器303、平滑部304、缓冲器305以及信号合成部306与估计部114连接。检测部112和滤波器用ROM301与滤波器选择部300连接，滤波器选择部300与平滑部304连接。控制部118与滤波器选择部300、信号分离部302、平滑部304以及信号合成部306双向连接。信号分离部302根据控制部118的控制，从提取部111读入2个局部区域，并针对摄像系统的颜色信号各方分离信号。在本实施方式中，作为摄像系统假想了将拜尔型原色滤波器配置在前面的单板CCD，作为局部区域假想了10×10像素尺寸。 
图5(a)示出上述10×10像素的局部区域，图5(b)示出从图5(a)的局部区域分离成5×5像素的R、Gr、Gb、B这4种色信号的状态。从2个局部区域所分离的颜色信号被转发到缓冲器303。滤波器选择部300根据控制部118的控制，从验证部112读入可信度R，并根据可信度R从滤波器用ROM 301中选择并读出在平滑处理中使用的滤波系数。 
图6示出记录在滤波器用ROM 301内的5×5的滤波系数的一例。 
图6(a)～(d)分别示出种类Type 1～Type 4的4种滤波系数，各系数放大了128倍。图6(a)的Type 1具有保留高频分量并针对图6(d)的Type 4依次抑制高频分量的频率特性。滤波器选择部300根据例如图7所示的可信度R和滤波器种类Type之间的关系，选择滤波器种类Type。给分光特性的估计带来影响的程度越大，则可信度R就取越大的值。即，可信度R的值一般来说可信度越高则为越小的值，可信度越低则为越大的值。并且，滤波器种类选择可信度R越大则越抑制高频分量的频率特 性。即，给分光特性的估计带来影响的程度越大则越抑制高频分量。所选择的滤波系数被转发到平滑部304。平滑部304根据控制部118的控制，从缓冲器303依次读入所分离的颜色信号，在本实施方式中是R、Gr、Gb、B这4种颜色信号。另外，颜色信号由于可从2个局部区域获得，因而作为整体读入8个颜色信号。所读入的颜色信号根据来自滤波器选择部300的滤波系数进行平滑处理，获得关注区域的平滑信号。平滑后的信号被转发到缓冲器305。在缓冲器305内存在位于2个局部区域内的2个关注区域的平滑后的信号。信号合成部306根据控制部118的控制，读入进行了平滑处理后的关注区域的信号。将该信号合成在摄像系统、在本实施方式中是Bayer型原色滤波器的配置中。图5(c)示出从图5(b)的R、Gr、Gb、B的各色的区域所合成的2×2像素的关注区域。上述合成处理针对2个局部区域独立来进行，将2个关注区域进行合成。合成后的2个关注区域被转发到估计部114。 
图8示出估计部114的结构的一例，并由以下构成：差分处理部400，缓冲器401，被摄体权重系数计算部402，作为分光特性记录单元的分光特性用ROM 403，以及缓冲器404。校正部113经由差分处理部400、缓冲器401、被摄体权重系数计算部402以及缓冲器404与颜色处理部115和输出部117连接。分光特性用ROM 403与被摄体权重系数计算部402连接。控制部118与差分处理部400和被摄体权重系数计算部402双向连接。差分处理部400根据控制部118的控制，从校正部113读入进行了校正处理后的2个关注区域。以后，在第1次摄影时的外部环境的照明光下拍摄的关注区域的RGB信号由CLR、CLG、CLB表记。另外，CLG为Gr和Gb的平均。并且，将第2次摄影时的外部环境的照明光和闪光灯光混合来拍摄的关注区域的RGB信号由CLSR、CLSG、CLSB表记。差分处理部400通过从第2次摄影的关注区域中进行第1次摄影的关注区域的差分来获得与仅在闪光灯光下拍摄的情况相当的RGB三信号即CSR、CSG、CSB。 
CSR＝CLSR-CLR
CSG＝CLSG-CLG    (4) 
CSB＝CLSB-CLB
计算出的仅闪光灯光的RGB三信号CSR、CSG、CSB被转发到缓冲器401。分光特性用ROM 403记录有与摄像系统的分光特性相关的信息。为了估计被摄体的分光特性，需要摄像系统、在本实施方式中是使用Bayer型原色滤波器的摄像系统的分光感光度特性SR(λ)、SG(λ)、SB(λ)和闪光灯光的分光放射率特性IS(λ)以及用于对被摄体的分光反射率特性O(λ)进行近似的三种基础函数O1(λ)、O2(λ)、O3(λ)。这里，意味着λ＝380～780nm的可见区域。被摄体的分光反射率特性O(λ)可使用三种基础函数O1(λ)、O2(λ)、O3(λ)的权重系数o1、o2、o3来如(5)式所示进行近似。 
O(λ)＝o1·O1(λ)+o2·O2(λ)+o3·O3(λ)     (5) 
上述权重系数o1、o2、o3根据(6)式来计算。 
o 1 o 2 o 3 = ∫ IS ( λ ) · O 1 ( λ ) · S R ( λ ) dλ ∫ IS ( λ ) · O 1 ( λ ) · S G ( λ ) dλ ∫ IS ( λ ) · O 1 ( λ ) · S B ( λ ) dλ ∫ IS ( λ ) · O 2 ( λ ) · S R ( λ ) dλ ∫ IS ( λ ) · O 2 ( λ ) · S G ( λ ) dλ ∫ IS ( λ ) · O 2 ( λ ) · S B ( λ ) dλ ∫ IS ( λ ) · O 3 ( λ ) · S R ( λ ) dλ ∫ IS ( λ ) · O 3 ( λ ) · S G ( λ ) dλ ∫ IS ( λ ) · O 3 ( λ ) · S B ( λ ) dλ - 1 CS R CS G CS B - - - ( 6 )
= Sys - 1 CS R CS G CS B
分光特性用ROM 403记录(6)式所示的摄像系统的系统矩阵的逆矩阵Sys-1。被摄体权重系数计算部402根据控制部118的控制，从缓冲器401读入仅闪光灯光的RGB三信号CSR、CSG、CSB，从分光特性用ROM 403读入系统矩阵的逆矩阵Sys-1，根据(6)式计算基础函数O1(λ)、O2(λ)、O3(λ)的权重系数o1、o2、o3。计算出的3种权重系数被转发到颜色处理部115。并且，可根据需要也转发到输出部117。另外，在上述估计部114的结构中，作为被摄体的分光特性仅计算出对被摄体的分光反射率特性进行近似的基础函数的权重系数，然而无需受限于这种结构。例如，还能采用如(5)式所示计算实际的分光反射率特性O(λ)的结构。 
图9示出估计部114的另一结构的一例，并采用这样的结构：对图8所示的估计部114追加被摄体分光特性计算部405和作为被摄体基础矢量记录单元的被摄体基础矢量用ROM 406。基本结构与图8相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
在图9中，被摄体权重系数计算部402和被摄体基础矢量用ROM 406与被摄体分光特性计算部405连接。被摄体分光特性计算部405与缓冲 器404连接。控制部118与被摄体分光特性计算部405双向连接。与图8所示的估计部114一样，被摄体权重系数计算部402计算基础函数O1(λ)、O2(λ)、O3(λ)的权重系数o1、o2、o3。计算出的3种权重系数被转发到被摄体分光特性计算部405。被摄体基础矢量用ROM 406记录用于对被摄体的分光反射率特性O(λ)进行近似的三种基础函数O1(λ)、O2(λ)、O3(λ)，将上述基础函数转发到被摄体分光特性计算部405。被摄体分光特性计算部405根据控制部118的控制，从被摄体权重系数计算部402读入权重系数o1、o2、o3，从被摄体基础矢量用ROM 406读入基础函数O1(λ)、O2(λ)、O3(λ)，根据(5)式计算被摄体的分光反射率特性O(λ)。计算出的被摄体的分光反射率特性O(λ)被转发到缓冲器404。根据上述结构，可计算被摄体的分光反射率特性。 
图10示出颜色处理部115的结构的一例，并由以下构成：再现色计算部500，作为分光特性记录单元的分光特性用ROM 501，作为照明光记录单元的照明光用ROM 502，以及混合部503。估计部114、分光特性用ROM 501以及照明光用ROM 502与再现色计算部500连接。再现色计算部500和提取部111与混合部503连接。混合部503与信号处理部116连接。控制部118与再现色计算部500和混合部503双向连接。为了根据被摄体的分光特性获得任意光源下的再现色，需要摄像系统、在本实施方式中是使用Bayer型原色滤波器的摄像系统的分光感光度特性SR(λ)、SG(λ)、SB(λ)和任意光源的分光放射率特性IA(λ)以及用于对被摄体的分光反射率特性O(λ)进行近似的三种基础函数O1(λ)、O2(λ)、O3(λ)和权重系数o1、o2、o3。任意光源下的再现色CAR、CAG、CAB根据(7)式来获得。 
CA R = ∫ IA ( λ ) · Σ i = 1,3 o i O i ( λ ) · S R ( λ ) dλ
CA O = ∫ IA ( λ ) · Σ i = 1,3 o i O i ( λ ) · S o ( λ ) dλ - - - ( 7 )
CA B = ∫ IA ( λ ) · Σ i = 1,3 o i O i ( λ ) · S B ( λ ) dλ
分光特性用ROM 501记录摄像系统的分光感光度特性SR(λ)、SG(λ)、SB(λ)和用于对被摄体的分光反射率特性O(λ)进行近似的三种基础函数O1(λ)、O2(λ)、O3(λ)，而照明光用ROM 502记录光源的分光放射率特性 IA(λ)。另外，在本实施方式中，作为光源的分光放射率特性IA(λ)假想了例如CIE的D65光源等的日光。这样，不依赖于摄影时的照明光，求解日光光源下的再现色与进行白平衡处理是等效的。再现色计算部500根据控制部118的控制，从估计部114读入权重系数o1、o2、o3，从分光特性用ROM 501读入分光感光度特性SR(λ)、SG(λ)、SB(λ)和基础函数O1(λ)、O2(λ)、O3(λ)，从照明光用ROM 502读入光源的分光放射率特性IA(λ)，根据(7)式计算再现色CAR、CAG、CAB。计算出的3种再现色被转发到混合部503。混合部503根据控制部118的控制，从提取部111读入与图2(a)所示的第1次本摄影相关的关注区域R44、Gr54、Gb45、B55，从再现色计算部500读入再现色CAR、CAG、CAB，根据规定的混合比例k(k＝0～1)将两者混合。 
CAR’＝k·R44+(1-k)·CAR
CAG’＝k·(Gr54+Gb45)/2+(1-k)·CAG    (8) 
CAB’＝k·B55+(1-k)·CAB
这是因为，在例如夕阳等的状况下，与进行完全的白平衡处理相比，保留本摄影中的光源的影响可获得主观上优选的图像。混合比例k可采用根据来自PreWB部107的简易白平衡系数自动设定的结构、经由外部接口部119手动设定的结构等。进行了混合处理后的再现色CAR’、CAG’、CAB’被转发到信号处理部116。 
另外，在上述颜色处理部115的结构中，为了获得再现色而每次进行了(7)式所示的积分运算，然而无需受限于这种结构。例如，还能对(7)式进行变形，根据摄像系统的系统矩阵Sys来计算。 
CA R CA G CA B = ∫ IA ( λ ) · O 1 ( λ ) · S R ( λ ) dλ ∫ IA ( λ ) · O 2 ( λ ) · S R ( λ ) dλ ∫ IA ( λ ) · O 3 ( λ ) · S R ( λ ) dλ ∫ IA ( λ ) · O 1 ( λ ) · S G ( λ ) dλ ∫ IA ( λ ) · O 2 ( λ ) · S G ( λ ) dλ ∫ IA ( λ ) · O 3 ( λ ) · S G ( λ ) dλ ∫ IA ( λ ) · O 1 ( λ ) · S B ( λ ) dλ ∫ IA ( λ ) · O 2 ( λ ) · S B ( λ ) dλ ∫ IA ( λ ) · O 3 ( λ ) · S B · ( λ ) dλ o 1 o 2 o 3 - - - ( 9 )
= Sys o 1 o 2 o 3
在该情况下，可采用这样的结构：将分光特性用ROM 501和照明光用ROM 502集成为一个，记录(9)式所示的摄像系统的系统矩阵Sys。 
根据上述结构，根据影像信号内包含的噪声、伴随插值处理的伪色、 被摄体的移动偏差等给估计精度带来影响的要因求出可信度，根据可信度使用所选择的平滑滤波器来校正影像信号，之后进行分光特性的估计。因此，可保证分光特性的估计精度在适当的范围内。并且，为了以时间序列方式取得分光特性不同的多个影像信号而使用了闪光灯，与现有的摄像系统之间的亲和性和互换性提高，可实现低成本化。并且，通过少数的基础函数的线性结合对要估计的分光特性进行建模，并计算与上述基础函数相关的权重系数，因此可使用现有的彩色摄像系统来进行被摄体的分光特性的估计。并且，由于权重系数的容量少，因而在保存和转发时是有利的。而且，由于求出被摄体的分光特性，因而容易供后级的颜色处理和其他用途利用。由于使用估计出的分光特性来计算在任意照明光下的再现色而不对摄影时的照明光产生影响，因而可实现高精度的白平衡处理。并且，由于使在摄影时的照明下的再现色混合，因而可实现主观上优选的白平衡处理。 
另外，在上述实施方式中，在摄像系统中针对将Bayer型原色滤波器配置在前面的单板CCD，作为局部区域假想了10×10像素尺寸，然而无需受限于这种结构。例如，还能应用于色差线序型补色滤波器和二板、三板CCD。并且，还能采用通过减小局部区域尺寸来使处理速度高速化的结构、以及通过增大局部区域尺寸来提高验证精度的结构。 
图2(c)示出色差线序型补色滤波器的结构。这里，示出色差线序型补色滤波器的8×8像素的局部区域。色差线序方式以2×2像素作为基本单位，青色(Cy)、品红色(Mg)、黄色(Ye)、绿色(G)各配置1像素。不过，M和G的位置按各行反转。并且，假定局部区域的尺寸为8×8像素，则关注区域由G33、Mg43、Ye34、Cy44构成。图2(d)示出从图2(c)的局部区域分离成亮度/色差信号。在该情况下，附近区域如图2(d)所示为计48。并且，关注区域中的亮度信号Y和色差信号Cb、Cr根据(10)式来计算。 
Y＝G33+Mg43+Ye34+Cy44
Cb＝(Mg43+Cy44)-(G33+Ye34)         (10) 
Cr＝(Mg43+Ye34)-(G33+Cy44) 
并且，在上述实施方式中，采用与由镜头系统100、光圈101、CCD 102、温度传感器103、Gain 104、A/D 105、PreWB部107、测光评价部108、对焦检测部109、AF电动机110以及闪光灯120构成的摄像部一体化的结构，然而无需受限于这种结构。例如，如图11所示，还能从将与摄像条件和摄像系统相关的分光特性等的附带信息记录在头部的存储卡等的记录介质，以未处理的原始数据(以下记为Raw数据)形式进一步对由分体的摄像部所拍摄的2幅的影像信号进行处理。 
图11采用这样的方式：从图1所示的结构中省略了镜头系统100、光圈101、CCD 102、温度传感器103、Gain 104、A/D 105、PreWB部107、测光评价部108、对焦检测部109、AF电动机110以及闪光灯120，并追加输入部600和头信息分析部601。基本结构与图1相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
在图11中，输入部600与缓冲器106和头信息分析部601连接。控制部118与输入部600和头信息分析部601双向连接。通过经由鼠标、键盘等的外部接口部119开始再现操作，从输入部600读入保存在存储卡等的记录介质内的信号和头信息。来自输入部600的信号被转发到缓冲器106，头信息被转发到头信息分析部601。头信息分析部601从头信息中提取摄影时的信息并将其转发到控制部118。以后的处理与图1相同。 
而且，在上述实施方式中，把使用硬件的处理作为前提，然而无需受限于这种结构。 
例如，还能采用这样的结构：把来自CCD 102的2种影像信号作为未处理状态的Raw数据，将来自控制部118的与摄像条件和摄像系统相关的分光特性等作为头信息来输出，另行使用软件进行处理。 
图12(a)示出本发明的第1实施方式中的与信号处理的软件处理相关的流程图。图12(a)是整体处理的流程。在步骤S1中，读入2种影像信号和与摄像条件及摄像系统相关的分光特性等的头信息。在步骤S2中，从2种影像信号中依次提取图2(a)所示的包含关注区域的局部区域。在步骤S3中，如另行说明那样计算可信度。在步骤S4中，如另行说明那样根据可信度校正影像信号。在步骤S5中，如另行说明那样估计分光特性。在步骤S6中，如另行说明那样根据估计出的分光特性进行颜 色处理。在步骤S7中，判断所有局部区域的提取是否完成，在未完成的情况下转到步骤S2，在已完成的情况下转到步骤S8。在步骤S8中，进行公知的边缘强调处理和压缩处理等。在步骤S9中，输出处理后的信号并结束。 
图12(b)是与上述步骤S3中的可信度验证相关的流程图。在步骤S20中，从局部区域根据(1)式计算图2(b)所示的亮度信号和色差信号。在步骤S21中，根据亮度信号计算与关注区域相关的噪声量。噪声量针对2个局部区域各方独立来求出，选择噪声量大的一方。在步骤S22中，根据亮度信号计算与关注区域相关的边缘量。边缘量针对2个局部区域各方独立来求出，选择边缘量大的一方。在步骤S23中，根据色差信号计算局部区域中的色相信号的标准偏差。另外，色相信号根据(2)式来计算。色相信号的标准偏差针对2个局部区域各方独立来求出，选择标准偏差大的一方。在步骤S24中，根据亮度信号计算与关注区域相关的移动量。在步骤S25中，根据上述噪声量、边缘量、色相信号的标准偏差以及移动量，按照(3)式计算关注区域的可信度。 
图12(c)是与上述步骤S4中的影像信号校正相关的流程图。在步骤S30中，将局部区域内的信号如图5(b)所示分离成各颜色信号。在步骤S31中，根据可信度从图7所示的关系选择在平滑处理中使用的滤波器。在步骤S32中，根据所选择的滤波器读入图6所示的滤波系数。在步骤S33中，根据所读入的滤波系数，针对各颜色信号进行平滑处理。在步骤S34中，从进行了平滑处理后的各颜色信号如图5(c)所示合成到关注区域。 
图12(d)是与上述步骤S5中的分光特性估计相关的流程图。在步骤S40中，在2个关注区域间进行(4)式所示的差分处理。在步骤S41中，读入(6)式所示的摄像系统的系统矩阵的逆矩阵Sys-1。在步骤S42中，根据(6)式计算对被摄体的分光反射率特性进行近似的基础函数的权重系数。 
图12(e)是与上述步骤S6中的颜色处理相关的流程图。在步骤S50中，读入摄像系统的分光感光度特性和用于对被摄体的分光反射率特性 进行近似的三种基础函数。在步骤S51中，读入光源的分光放射率特性。在步骤S52中，根据(7)式计算再现色。在步骤S53中，根据(8)式进行与原信号的混合。 
[第2实施方式] 
图13至图18涉及本发明的第2实施方式，图13是第2实施方式的摄像系统的结构图，图14是与局部区域相关的说明图，图15是验证部的结构图，图16是校正部的结构图，图17是估计部的结构图，图18示出第2实施方式的信号处理的流程图。 
[结构] 
图13是本发明的第2实施方式的结构图。本实施方式采用这样的结构：对图1所示的第1实施方式追加液晶滤波器700、插值部701、缓冲器702以及作为放大处理单元的放大部706，将验证部112置换为验证部703，将校正部113置换为校正部704，将估计部114置换为估计部705，去除闪光灯120。基本结构与第1实施方式相同，对相同的构成分配相同的名称和标号。以下，仅说明不同部分。 
经由镜头系统100、光圈101、液晶滤波器700以及CCD 102所拍摄的影像信号在Gain 104被放大，在A/D 105被转换成数字信号，并被转发到缓冲器106。缓冲器106与PreWB部107、测光评价部108、对焦检测部109以及插值部701连接。插值部701经由缓冲器702与提取部111连接。提取部111与验证部703、校正部704以及颜色处理部115连接。验证部703与校正部704连接，校正部704与估计部705连接，估计部705与放大部706连接。放大部706与颜色处理部115和输出部117连接。控制部118与液晶滤波器700、插值部701、验证部703、校正部704、估计部705以及放大部706双向连接。控制部118和液晶滤波器700构成控制单元，该控制单元进行如下控制：使彩色摄像系统中的规定的分光特性以时间序列方式变化，进行多个摄像。 
[作用] 
基本上与第1实施方式相同，仅说明不同部分。在图13中，沿着信号流进行说明。 
通过经由外部接口部119半按下快门按钮来进入预摄像模式。经由镜头系统100、光圈101以及液晶滤波器700所拍摄的影像信号经由Gain104和A/D 105被转发到缓冲器106。在该时刻液晶滤波器700打开，进行普通摄影。在PreWB部107、测光评价部108以及对焦检测部109，与第1实施方式一样设定本摄影用的摄影条件。 
然后，通过经由外部接口部119全按下快门按钮来进行第1次本摄影。在第1次本摄影中，液晶滤波器700打开(接通)，进行普通摄影。然后，控制部118控制成关闭(断开)液晶滤波器700，进行第2次本摄影。液晶滤波器700假想了不是中性灰色而是在可见区域中有偏向的着色的(例如类似于闪光灯的发光频谱)的滤波器。第1次和第2次的影像信号被转发到缓冲器106。 
插值部701根据控制部118的控制，对第1次和第2次的影像信号进行公知的插值处理，生成RGB三信号全部齐全的三板的信号。图14(a)示出插值处理后的5×5像素的局部区域的结构。在插值部701中生成图14(a)所示的三板的影像信号。在插值部701所生成的2个三板的影像信号被转发到缓冲器702。提取部111根据控制部118的控制，针对RGB三信号各方依次提取图14(a)所示的以1×1像素的关注区域为中心的5×5像素尺寸的局部区域。另外，由于上述局部区域是在相同位置从第1次本摄影的影像信号和第2次本摄影的影像信号中提取的，因而存在2个局部区域。 
验证部703根据控制部118的控制，从提取部111读入上述2个局部区域，验证分光特性估计中的可信度。上述提取部111和验证部112的处理根据控制部118的控制以局部区域为单位同步进行。在全部局部区域中可信度验证完成后，验证部112将与影像信号整体相关的可信度结果转发到校正部704。校正部704根据控制部118的控制，从提取部111读入上述2个影像信号，从验证部703读入可信度结果，针对上述2个影像信号进行校正处理。另外，在本实施方式中，作为上述校正处理假想了缩小处理。校正后的2个影像信号被转发到估计部705。 
估计部705根据控制部118的控制，从校正部704读入校正后的2 个影像信号，估计与被摄体或照明光相关的分光特性。估计出的分光特性被转发到放大部706。放大部706根据控制部118的控制，将估计出的分光特性放大处理成来自摄像元件的本来尺寸。放大处理后的分光特性被转发到颜色处理部115。另外，还能根据需要将估计出的分光特性转发到输出部117，另行保存在未作图示的记录介质内。 
图15示出验证部703的结构的一例，并采用这样的结构：将第1实施方式的图3所示的验证部112的亮度色差分离部200置换为亮度色差分离部800，将可信度计算部207置换为可信度计算部801，去除边缘计算部203、色相计算部204以及移动计算部205。基本结构与图3所示的验证部112相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
在图15中，提取部111经由亮度色差分离部800与缓冲器201连接。缓冲器201经由噪声计算部202和缓冲器206与可信度计算部801连接。可信度计算部801与校正部704连接。控制部118与亮度色差分离部800和可信度计算部801双向连接。亮度色差分离部800根据控制部118的控制，从提取部111读入2个局部区域，分离成亮度信号和色差信号。分离成亮度信号和色差信号是从5×5像素的RGB 3个局部区域进行的。 
图14(a)示出本实施方式中的由RGB三信号构成的局部区域内的1×1像素的关注区域和1×1像素的附近区域的结构。在本实施方式中，关注区域假想了R22、G22、B22，附近区域假想了包含关注区域的各像素计24。关注区域中的亮度信号Y和色差信号Cb、Cr根据(11)式来计算。 
Y＝G22
Cb＝B22-G22                 (11) 
Cr＝R22-G22
在附近区域中也是同样计算的。图14(b)示出从图14(a)的局部区域分离成亮度/色差信号。如图14(b)所示，从1个局部区域计算25点的亮度信号Y和色差信号Cb、Cr。从2个局部区域计算出的亮度信号和色差信号被转发到缓冲器201。噪声计算部202根据控制部118的控制，从缓冲器201读入亮度信号，从控制部118读入摄影时的ISO感光度、简易白平衡系数、曝光条件，从温度传感器103读入温度信息，计算关 注区域中的噪声量。上述噪声量针对2个局部区域各方独立来求出。噪声计算部202从计算出的2个噪声量中选择噪声量大的一方来转发到缓冲器206。上述过程根据控制部118的控制在所有局部区域中进行，从而在缓冲器206上记录所有局部区域的噪声量。在所有局部区域中的噪声量的计算完成后，可信度计算部801根据控制部118的控制，从缓冲器206读入噪声量并计算其平均值NAV。计算出的平均值NAV被转发到校正部704。 
图16示出校正部704的结构的一例，并由缩小率选择部900、缩小处理部901以及缓冲器902构成。验证部703与缩小率选择部900连接。缩小率选择部900和提取部111与缩小处理部901连接。缩小处理部901经由缓冲器902与估计部705连接。控制部118与缩小率选择部900和缩小处理部901双向连接。缩小率选择部900根据控制部118的控制，从验证部703读入噪声量的平均值NAV作为可信度。之后，按照计算出的平均值NAV，根据(12)式计算影像信号的缩小率Rate。(12)式示出用于求出缩小率的一例。 
Rate＝a·NAV 2+b·NAV+c               (12) 
这里，a、b、c是规定的常数项。在(12)式中，缩小率Rate被设定成噪声量越大则取越大的值。这样根据噪声量设定缩小率Rate是实用的，然而缩小率Rate不必受限于(12)式。即，可以加进边缘量、色相和移动量来决定缩小率Rate。计算出的缩小率Rate被转发到缩小处理部901。缩小处理部901根据控制部118的控制，依次从缩小率选择部900读入缩小率Rate，从提取部111读入2个影像信号。所读入的2个影像信号根据缩小率Rate进行缩小处理，并被转发到缓冲器902。缓冲器902上的缩小后的2个影像信号根据需要被转发到估计部705。 
图17示出估计部705的结构的一例，并采用对第1实施方式的图8所示的估计部114追加照明光权重系数计算部1000的结构。基本结构与图8所示的估计部114相同，对相同的结构分配相同的名称和标号。以下，仅说明不同部分。 
在图17中，校正部704与差分处理部400和照明光权重系数计算部 1000连接。分光特性用ROM 403与被摄体权重系数计算部402和照明光权重系数计算部1000连接。照明光权重系数计算部1000与缓冲器404连接。缓冲器404与放大部706连接。控制部118与照明光权重系数计算部1000双向连接。差分处理部400根据控制部118的控制，从校正部704读入进行了缩小处理后的2个影像信号。之后，通过进行第1次摄影的进行了缩小处理后的影像信号与第2次摄影的进行了缩小处理后的影像信号之间的差分来获得与仅在液晶滤波器700的透过光下拍摄的情况相当的RGB三信号CSR、CSG、CSB。差分处理后的RGB三信号CSR、CSG、CSB被转发到缓冲器401。分光特性用ROM 403记录有与摄像系统的分光特性相关的信息。作为分光特性，记录有：摄像系统的分光感光度特性SR(λ)、SG(λ)、SB(λ)和用于对被摄体的分光反射率特性O(λ)进行近似的三种基础函数O1(λ)、O2(λ)、O3(λ)，用于对在后述的照明光权重系数计算部1000中使用的照明光的分光放射率特性I(λ)进行近似的三种基础函数I1(λ)、I2(λ)、I3(λ)，以及(6)式所示的摄像系统的系统矩阵的逆矩阵Sys-1。另外，假定上述(6)式的系统矩阵中的闪光灯光的分光放射率特性IS(λ)的特性在本实施方式中被置换为液晶滤波器700的分光透过特性。被摄体权重系数计算部402根据控制部118的控制，从缓冲器401以像素为单位读入差分处理后的RGB三信号CSR、CSG、CSB，从分光特性用ROM 403读入系统矩阵的逆矩阵Sys-1，根据(6)式计算基础函数的权重系数o1、o2、o3。针对缩小处理后的影像信号的所有像素计算上述权重系数，并将其转发到缓冲器404。另一方面，照明光权重系数计算部1000进行估计照明光的分光特性1(λ)的处理。照明光的分光放射率特性I(λ)可使用3种基础函数I1(λ)、I2(λ)、I3(λ)的权重系数i1、i2、i3来如(13)式所示进行近似。 
I(λ)＝i1·I1(λ)+i2·I2(λ)+i3·I3(λ)         (13) 
上述权重系数i1、i2、i3根据(14)式来计算。 
i 1 i 2 i 3 = I 1 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S R ( λ ) I 1 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S G ( λ ) I 1 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S B ( λ ) I 2 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S R ( λ ) I 2 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S G ( λ ) I 2 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S B ( λ ) I 3 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S R ( λ ) I 3 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S G ( λ ) I 3 ( λ ) · Σ n = 1,3 o n O n ( λ ) · S B ( λ ) - 1 CL R CL G CL B - - - ( 14 )
照明光权重系数计算部1000根据控制部118的控制，从校正部704读入进行了缩小处理后的第1次的影像信号CLR、CLG、CLB。第1次的影像信号是在液晶滤波器700打开的状态下的外部环境的照明光下拍摄的影像信号。并且，从被摄体权重系数计算部402读入权重系数o1、o2、o3，从分光特性用ROM 403读入摄像系统的分光感光度特性SR(λ)、SG(λ)、SB(λ)和被摄体用的基础函数O1(λ)、O2(λ)、O3(λ)以及照明光用的基础函数I1(λ)、I2(λ)、I3(λ)。之后，根据(14)式计算基础函数的权重系数i1、i2、i3。针对缩小处理后的影像信号的所有像素计算上述权重系数，并将其转发到缓冲器404。缓冲器404内的权重系数被转发到放大部706，进行放大处理以达到与本来的影像信号的像素数相同的尺寸。 
利用上述结构，根据影像信号内包含的噪声求出可信度，选择根据可信度所选择的缩小率，在进行了缩小率处理后进行分光特性的估计。因此，可保证分光特性的估计精度在适当的范围内。并且，由于根据缩小后的信号进行分光特性的估计，因而可高速执行处理。估计出的分光特性由于被放大为与本来的影像信号相同的尺寸，因而针对后级的处理与现有的摄像系统之间的亲和性和互换性高，可实现低成本化。而且，为了以时间序列方式取得分光特性不同的多个影像信号而利用光路内的液晶滤波器，不会受距被摄体的距离和外部照明的强度等的影响而能稳定地取得影像信号。并且，由于可高速地进行液晶滤波器的接通和断开，因而针对移动体也能取得移动偏差少的影像信号。并且，通过少数的基础函数的线性结合对要估计的分光特性进行建模，并计算与上述基础函数相关的权重系数，因而可使用现有的彩色摄像系统来进行被摄体的分光特性的估计。并且，由于权重系数的容量少，因而在保存和转发时是有利的。 
另外，在上述实施方式中，作为摄像元件采用了使用Bayer型原色滤波器的结构，然而无需受限于这种结构。与第1实施方式一样，还能使用色差线序型补色滤波器，也能利用二板、三板摄像元件。并且，还能从将与摄像条件和摄像系统相关的分光特性等的附带信息记录在头部的存储卡等的记录介质，以未处理的Raw数据形式进一步对由分体的摄 像部所拍摄的2幅的影像信号进行处理。 
而且，在上述实施方式中，把使用硬件的处理作为前提，然而无需受限于这种结构。例如，还能采用这样的结构：把来自CCD 102的2种影像信号作为未处理状态的Raw数据，将来自控制部118的与摄像条件和摄像系统相关的分光特性等作为头信息来输出，另行使用软件进行处理。 
图18(a)示出本发明的第2实施方式中的与信号处理的软件处理相关的流程图。图18(a)是整体处理的流程。另外，关于与图12(a)所示的第1实施方式中的信号处理的流程图相同的处理步骤S，分配相同的标号。在步骤S1中，读入2种影像信号和与摄像条件及摄像系统相关的分光特性等的头信息。在步骤S60中，进行插值处理，生成三板的影像信号。在步骤S2中，从2种影像信号中依次提取图14(a)所示的包含关注区域的局部区域。在步骤S61中，计算与关注区域相关的噪声量。在步骤S62中，判断所有局部区域的提取是否完成，在未完成的情况下转到步骤S2，在已完成的情况下转到步骤S63。在步骤S63中，计算噪声量的平均值作为可信度。在步骤S64中，根据可信度求出(12)式所示的缩小率，进行2种影像信号的缩小处理。在步骤S65中，如另行说明那样估计分光特性。在步骤S66中，对估计出的分光特性进行放大处理以达到与本来的影像信号相同的尺寸。在步骤S6中，如图12(e)所示根据估计出的分光特性进行颜色处理。在步骤S8中，进行公知的边缘强调处理和压缩处理等。在步骤S9中，输出处理后的信号并结束。 
图18(b)是与上述步骤S65中的分光特性估计相关的流程图。另外，关于与图12(d)所示的第1实施方式中的分光特性估计的流程图相同的处理步骤S，分配相同的标号。在步骤S40中，在2个缩小处理后的影像信号间进行差分处理。在步骤S41中，读入摄像系统的分光感光度特性、被摄体用的基础函数、照明光用的基础函数以及(6)式所示的摄像系统的系统矩阵的逆矩阵。在步骤S42中，根据(6)式计算对被摄体的分光反射率特性进行近似的基础函数的权重系数。在步骤S70中，根据(14)式计算对照明光的分光反射率特性进行近似的基础函数的权重 系数。 
[第3实施方式] 
图19至图25涉及本发明的第3实施方式，图19是第3实施方式的摄像系统的结构图，图20是验证部的结构图，图21是与标签赋予相关的说明图，图22是校正部的结构图，图23是估计部的结构图，图24是颜色处理部的结构图，图25是第3实施方式的信号处理的流程图。 
[结构] 
图19是本发明的第3实施方式的结构图。本实施方式采用这样的结构：对图1所示的第1实施方式追加插值部1102和缓冲器1103，将CCD102置换为CCD1 1100和CCD2 1101，将验证部112置换为验证部1104，将校正部113置换为校正部1105，将估计部114置换为估计部1106，将颜色处理部115置换为颜色处理部1107，去除闪光灯120。基本结构与第1实施方式相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
经由镜头系统100和光圈101入射的光束通过棱镜系统朝2个方向分出并到达CCD1 1100和CCD2 1101。CCD1 1100和CCD2 1101的影像信号在Gain 104被放大，在A/D 105被转换成数字信号，并被转发到缓冲器106。缓冲器106与PreWB部107、测光评价部108、对焦检测部109以及插值部1102连接。插值部1102经由缓冲器1103与提取部111连接。提取部111与验证部1104和校正部1105连接。验证部1104与校正部1105连接，校正部1105与估计部1106连接。估计部1106与颜色处理部1107和输出部117连接。颜色处理部1107与信号处理部116连接。控制部118与CCD1 1100、CCD2 1101、插值部1102、验证部1104、校正部1105、估计部1106以及颜色处理部1107双向连接。而且，来自配置在CCD21101的附近的温度传感器103的信号与控制部118连接。 
[作用] 
基本上与第1实施方式相同，仅说明不同部分。在图19中，沿着信号流进行说明。 
通过经由外部接口部119半按下快门按钮来进入预摄像模式。经由 镜头系统100和光圈101入射的光束通过棱镜系统朝2个方向分出并在CCD1 1100和CCD2 1101生成影像信号。在本实施方式中，CCD1 1100和CCD2 1101都假想了将Bayer型原色滤波器配置在前面的单板CCD，然而假定两者的分光感光度特性不同。这可以使图2(a)所示的红色色(R)、蓝色(B)、绿色(Gr，Gb)滤波器的分光透过特性不同，也可以仅设置在CCD2 1101的前面进一步设置着色的滤波器。在本实施方式中，CCD1 1100假想具有普通的分光感光度特性，CCD2 1101假想具有不同的分光感光度特性。来自2个CCD的影像信号经由Gain 104和A/D 105被转发到缓冲器106。在PreWB部107、测光评价部108以及对焦检测部109，与第1实施方式一样，根据来自CCD1 1100的影像信号设定本摄影用的摄影条件。 
然后，通过经由外部接口部119全按下快门按钮来进行本摄影。在本实施方式中，在第1次本摄影中从CCD1 1100和CCD2 1101获得2个影像信号，然而为了便于说明，把来自CCD1 1100的影像信号称为第1次的影像信号，把来自CCD2 1101的影像信号称为第2次的影像信号。插值部1102根据控制部118的控制，对第1次和第2次的影像信号进行公知的插值处理，生成RGB三信号全部齐全的三板的信号。在插值部701中生成图14(a)所示的三板的影像信号。在插值部1102所生成的2个三板的影像信号被转发到缓冲器1103。提取部111根据控制部118的控制，针对RGB三信号各方依次提取第2实施方式中的图14(a)所示的以1×1像素的关注区域为中心的5×5像素尺寸的局部区域。另外，由于上述局部区域是在相同位置从第1次的影像信号和第2次的影像信号中提取的，因而存在2个局部区域。 
验证部1104根据控制部118的控制，从提取部111读入上述2个局部区域，验证分光特性估计中的可信度。此时，验证部1104与图14样将影像信号分离为亮度信号和色差信号，之后计算噪声之外还计算色相，从而使噪声和色相这两者合并来计算可信度。可信度结果被转发到校正部1105。校正部1105根据控制部118的控制，从提取部111读入上述2个局部区域，从验证部1104读入可信度结果，针对上述2个关注区 域进行校正处理。 
校正后的2个关注区域被转发到估计部1106。估计部1106根据控制部118的控制，从校正部1105读入校正后的2个关注区域，估计与被摄体或照明光相关的分光特性。估计出的分光特性被转发到颜色处理部1107。另外，还能根据需要将估计出的分光特性转发到输出部117，另行保存在未作图示的记录介质内。颜色处理部1107根据控制部118的控制，从估计部1106读入估计出的分光特性，进行规定的颜色处理。在本实施方式中，假想了将亮度、色相和彩度处理进行了组合的颜色处理。进行了颜色处理后的关注区域被依次转发到信号处理部116。上述提取部111、验证部1104、校正部1105、估计部1106、以及颜色处理部1107的处理根据控制部118的控制以局部区域为单位同步进行。 
图20示出验证部1104的结构的一例，并采用这样的结构：对第1实施方式的图3所示的验证部112追加标签赋予部1202，将亮度色差分离部200置换为亮度色差分离部1200，将可信度计算部207置换为可信度计算部1201，去除边缘计算部203和移动计算部205。基本结构与图3所示的验证部112相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
在图20中，提取部111经由亮度色差分离部1200与缓冲器201连接。缓冲器201与噪声计算部202和色相计算部204连接。噪声计算部202和色相计算部204与缓冲器206连接。缓冲器206经由可信度计算部1201和标签赋予部1202与校正部1105连接。控制部118与亮度色差分离部1200、可信度计算部1201以及标签赋予部1202双向连接。亮度色差分离部1200根据控制部118的控制，从提取部111读入2个局部区域，分离成亮度信号和色差信号。这由第2实施方式中的图14(a)和(b)示出。关注区域R22、G22、B22中的亮度信号Y和色差信号Cb、Cr根据(11)式来计算。从2个局部区域计算出的亮度信号和色差信号被转发到缓冲器201。噪声计算部202根据控制部118的控制，从缓冲器201读入亮度信号，从控制部118读入摄影时的ISO感光度、简易白平衡系数、曝光条件，从温度传感器103读入温度信息，按各像素计算噪声量。上 述噪声量针对2个局部区域各方独立来求出。噪声计算部202将计算出的2个局部区域间的噪声量以像素为单位进行比较，选择噪声量大的一方来转发到缓冲器206。色相计算部204根据控制部118的控制，从缓冲器201读入色差信号，根据(2)式计算各像素的色相信号。上述色相信号仅针对第1次的影像信号的局部区域来求出。色相计算部204将计算出的色相信号转发到缓冲器206。可信度计算部1201根据控制部118的控制，读入缓冲器206内的噪声量Nij和色相信号Hij(i＝0～4，j＝0～4)。之后，根据与关注区域对应的噪声量N22设定与噪声量相关的容许范围NA。 
NA＝N22±ΔN    (15) 
这里，ΔN是规定的噪声量。将与该噪声量相关的容许范围NA内有噪声量的像素作为与噪声相关的类似区域来提取。并且，根据与关注区域对应的色相信号H22设定与色相信号相关的容许范围HA。 
HA＝H22±ΔH    (16) 
这里，ΔH是规定的色相量。将与该色相信号相关的容许范围HA内有色相信号的像素作为与色相相关的类似区域来提取。在本实施方式中，不能直接求出如上述第1实施方式中的噪声的平均值NAV等那样的与可信度相关的数值。采用这样的结构：设定(15)、(16)式所示的与可信度相关的容许范围，根据是否属于该范围内来验证可信度。上述所提取的与噪声相关的类似区域和与色相相关的类似区域被转发到标签赋予部1202。标签赋予部1202根据控制部118的控制，针对来自可信度计算部1201的与噪声相关的类似区域和与色相相关的类似区域进行“与”(AND)处理。根据该结果，把针对噪声和色相的两者判断为类似区域的像素作为类似于关注区域的区域，赋予例如1的标签。另一方面，把不属于噪声和色相的任一方的类似区域的像素、以及仅其中一方属于类似区域的像素作为类似于关注区域的区域，赋予例如0的标签。另外，关注区域必定被赋予1的标签。上述标签信息被转发到校正部1105。 
图21是与上述标签赋予相关的说明图。图21(a)示出输入图像，作为一例是由(A)暗绿色、(B)白色、(C)明绿色这3个区域构成的 输入图像。图21(b)示出噪声量N的分布，即噪声量的分布和与噪声相关的类似区域的提取结果。由于产生的噪声量根据亮度电平而不同，因而(B)白色和(C)明绿色为相同电平的噪声量，而(A)暗绿色为不同的噪声量。颜色发暗则噪声多(显著)，当给出噪声分布时，明亮的绿色和白色部分在噪声上区别不大。因此，与关注区域对应的噪声量N22所属的(B)白色和(C)明绿色的区域作为类似区域被提取。图21(c)示出色相H的分布，即色相信号的分布和与色相相关的类似区域的提取结果。(A)暗绿色和(B)白色为中性灰色系的色相，(C)明绿色为线系的色相。暗绿色接近黑色，当接近黑色时颜色的成分很少，因而在色相上与白色相同。因此，与关注区域对应的色相信号H22所属的(A)暗绿色和(B)白色的区域作为类似区域被提取。图21(d)示出标签赋予，并示出这样的结果，即：在图21(b)所示的与噪声相关的类似区域和图21(c)所示的与色相相关的类似区域之间进行“与”处理，向两者的类似区域内共同包含的区域赋予标签1，向除此以外的区域赋予标签0。结果，向关注区域所属的(B)白色赋予标签1。将包含关注像素H22的被赋予标签1的区域在下级的校正部1105进行分离，针对上述分离后的区域计算平均。通过对与被赋予标签1的部分相当的区域的像素信号进行平均化并采用针对关注区域的校正值，可减少在后级的估计部1106的估计中的噪声影响。即，在校正部1105校正给估计带来不良影响的关注像素之后，在估计部1106进行估计。 
图22示出校正部1105的结构的一例，并采用这样的结构：对第1实施方式的图4所示的校正部113追加区域选择部1300，将平滑部304置换为作为平滑处理单元的平均计算部1301，去除信号分离部302和信号合成部306。基本结构与图4所示的校正部113相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
在图22中，提取部111与缓冲器303、平均计算部1301和缓冲器305与估计部1106连接。验证部1104与区域选择部1300连接，区域选择部1300与平均计算部1301连接。控制部118与区域选择部1300和平均计算部1301双向连接。根据控制部118的控制，从提取部111将图 14(a)所示的由5×5像素尺寸的RGB三信号构成的局部区域转发到缓冲器303。上述局部区域针对第1次和第2次的影像信号存在2个。区域选择部1300根据控制部118的控制，从验证部1104读入标签信息。另外，上述标签信息对2个局部区域和RGB三信号公共使用。验证部1104将选择信息转发到平均计算部1301，以便选择标签信息、在本实施方式中是被赋予了1的标签的像素。平均计算部1301根据控制部118的控制，从缓冲器303读入局部区域。此时，根据来自区域选择部1300的选择信息仅读入类似于关注区域的类似区域。针对所读入的类似区域进行加法平均处理，该平均值作为针对关注区域的校正值被转发到缓冲器305。上述校正值是针对2个局部区域的RGB三信号来计算的。缓冲器305内的校正后的关注区域根据需要被转发到估计部1106。 
在校正部1105结束了校正处理之后，如第1实施方式中所说明那样计算被摄体的分光特性，并如第2实施方式中所说明那样计算照明光的分光特性。在获得了被摄体的分光特性和照明光的分光特性的全部分光特性之后，在颜色处理部1107中使用该获得的分光特性，可自由进行各种调整(例如，亮度调整、色相调整、彩度调整)。 
图23示出估计部1106的结构的一例，并采用这样的结构：对第1实施方式的图8所示的估计部114追加被摄体分光特性计算部1400、被摄体基础矢量用ROM 1401、照明光权重系数计算部1402、照明光分光特性计算部1403、以及作为照明光基础矢量记录单元的照明光基础矢量用ROM 1404。基本结构与图8所示的估计部114相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
在图23中，校正部1105与差分处理部400和照明光权重系数计算部1402连接。分光特性用ROM 403与被摄体权重系数计算部402和照明光权重系数计算部1402连接。被摄体权重系数计算部402与被摄体分光特性计算部1400和照明光权重系数计算部1402连接。被摄体分光特性计算部1400与缓冲器404连接。照明光权重系数计算部1402经由照明光分光特性计算部1403与缓冲器404连接。缓冲器404与颜色处理部1107和输出部117连接。被摄体基础矢量用ROM 1401与被摄体分光特 性计算部1400连接，照明光基础矢量用ROM 1404与照明光分光特性计算部1403连接。控制部118与被摄体分光特性计算部1400、照明光权重系数计算部1402以及照明光分光特性计算部1403双向连接。 
差分处理部400根据控制部118的控制，从校正部1105读入进行了校正处理后的由RGB三信号构成的2个关注区域。在本实施方式中，将来自具有普通的分光感光度特性的CCD1 1100的影像信号假定为第1次的影像信号，将来自具有不同的分光感光度特性的CCD2 1101的影像信号假定为第2次的影像信号。差分处理部400在从第1次的影像信号获得的关注区域与从第2次的影像信号获得的关注区域之间，按R、G、B的信号各方进行差分处理。由此，获得与在基于CCD1 1100和CCD2 1101的分光感光度特性的差异的分光感光度特性下拍摄的情况相当的RGB三信号CSR、CSG、CSB。计算出的RGB三信号CSR、CSG、CSB被转发到缓冲器401。 
分光特性用ROM 403记录有与摄像系统的分光特性相关的信息。作为分光特性，记录有：摄像系统的分光感光度特性SR(λ)、SG(λ)、SB(λ)和用于对被摄体的分光反射率特性O(λ)进行近似的三种基础函数O1(λ)、O2(λ)、O3(λ)，用于对照明光的分光放射率特性I(λ)进行近似的三种基础函数I1(λ)、I2(λ)、I3(λ)，以及(6)式所示的摄像系统的系统矩阵的逆矩阵Sys-1。另外，假定上述(6)式的系统矩阵中的闪光灯光的分光放射率特性IS(λ)的特性在本实施方式中被置换为基于CCD1 1100和CCD2 1101的分光感光度特性的差异的分光感光度特性。 
被摄体权重系数计算部402根据控制部118的控制，从缓冲器401读入差分处理后的RGB三信号CSR、CSG、CSB，从分光特性用ROM 403读入系统矩阵的逆矩阵Sys-1，根据(6)式计算基础函数的权重系数o1、o2、o3。计算出的上述权重系数被转发到被摄体分光特性计算部1400和照明光权重系数计算部1402。被摄体基础矢量用ROM 1401记录有用于对被摄体的分光反射率特性O(λ)进行近似的三种基础函数O1(λ)、O2(λ)、O3(λ)，将上述基础函数转发到被摄体分光特性计算部1400。被摄体分光特性计算部1400根据控制部118的控制，从被摄体权重系数计算部402 读入权重系数o1、o2、o3，从被摄体基础矢量用ROM 1401读入基础函数O1(λ)、O2(λ)、O3(λ)，根据(5)式计算被摄体的分光反射率特性O(λ)。计算出的被摄体的分光反射率特性O(λ)被转发到缓冲器404。 
另一方面，照明光权重系数计算部1402根据控制部118的控制，从校正部1105读入第1次的影像信号CLR、CLG、CLB。第1次的影像信号是由具有普通的分光感光度特性的CCD1 1100拍摄的影像信号。并且，从被摄体权重系数计算部402读入权重系数o1、o2、o3，从分光特性用ROM 403读入摄像系统的分光感光度特性SR(λ)、SG(λ)、SB(λ)和被摄体用的基础函数O1(λ)、O2(λ)、O3(λ)以及照明光用的基础函数I1(λ)、I2(λ)、I3(λ)。之后，根据(14)式计算基础函数的权重系数i1、i2、i3。计算出的上述权重系数被转发到照明光分光特性计算部1403。照明光基础矢量用ROM 1404记录有用于对照明光的分光放射率特性I(λ)进行近似的三种基础函数I1(λ)、I2(λ)、I3(λ)，将上述基础函数转发到照明光分光特性计算部1403。 
照明光分光特性计算部1403根据控制部118的控制，从照明光权重系数计算部1402读入权重系数i1、i2、i3，从照明光基础矢量用ROM 1404读入基础函数I1(λ)、I2(λ)、I3(λ)，根据(13)式计算被摄体的照明光的分光放射率特性I(λ)。计算出的照明光的分光放射率特性I(λ)被转发到缓冲器404。缓冲器404内的被摄体的分光反射率特性O(λ)和照明光的分光放射率特性I(λ)被转发到颜色处理部1107。并且，根据需要还能转发到输出部117。另外，在上述估计部1106的结构中，为了便于说明，将处理所需要的分光特性分离为分光特性用ROM 403、被摄体基础矢量用ROM1401、以及照明光基础矢量用ROM 1404这三个部位，重复记录一部分的信息，然而还能采用将这些ROM汇总为一个ROM的结构。 
图24示出颜色处理部1107的结构的一例，并采用这样的结构：对第1实施方式的图10所示的颜色处理部115追加亮度调整部1500、色相调整部1501以及彩度调整部1502，去除混合部503。基本结构与图10所示的颜色处理部115相同，对相同的构成要素附上相同的名称和标号。以下，仅说明不同部分。 
在图24中，估计部1106经由亮度调整部1500、色相调整部1501以及彩度调整部1502与再现色计算部500连接。再现色计算部500与信号处理部116连接。控制部118与亮度调整部1500、色相调整部1501以及彩度调整部1502双向连接。 
亮度调整部1500根据控制部118的控制，从估计部1106读入被摄体的分光反射率特性O(λ)，对其乘以规定系数kL(kL是0以上的实数)。由此，可调整亮度电平。另外，在分光反射率特性O(λ)超过上限的1.0的情况下，被置换为1.0。进行了亮度电平调整后的分光反射率特性O(λ)被转发到色相调整部1501。 
色相调整部1501根据控制部118的控制，从亮度调整部1500读入进行了亮度电平调整后的分光反射率特性O(λ)。针对上述分光反射率特性O(λ)，在规定的色相范围内，例如与肤色相当的色相范围内朝波长方向平行移动kc(kc是正负实数)。由此，可使规定的色相范围接近任意色相。并且，为了确保色相的连续性，在要调整的色相范围的两端设置调整范围，通过对该调整范围进行压缩和解压缩来确保色相的连续性。上述色相的调整可在多个色相区域内进行。进行了色相调整后的分光反射率特性O(λ)被转发到彩度调整部1502。 
彩度调整部1502根据控制部118的控制，从色相调整部1501读入进行了色相调整后的分光反射率特性O(λ)。针对上述分光反射率特性O(λ)，通过使其曲率尖锐化或平滑化来进行彩度调整。尖锐化或平滑化处理使用公知的波形整形处理来执行。使曲率尖锐化意味着提高彩度，使曲率平滑化意味着降低彩度。上述彩度调整既能针对所有色相区域进行，也能仅针对特定的色相区域进行。进行了彩度调整后的分光反射率特性O(λ)被转发到再现色计算部500。 
再现色计算部500与第1实施方式一样，根据(7)式计算任意光源下的再现色CAR、CAG、CAB。另外，假定(7)式中的表示被摄体的分光反射率特性的∑oiOi(λ)被置换为从彩色调整部1502完成了亮度、色相、彩度调整后的被摄体的分光反射率特性O(λ)。计算出的再现色CAR、CAG、CAB被转发到信号处理部116。另外，在上述颜色处理部1107的结构中， 采用了这样的结构：仅使用被摄体的分光反射率特性O(λ)，而不使用照明光的分光放射率特性I(λ)，然而无需受限于这种结构。例如，还能与第1实施方式一样采用这样的结构：通过使记录在照明光用ROM 502内的光源的分光放射率特性IA(λ)与估计出的照明光的分光放射率特性I(λ)混合，获得主观上优选的图像。 
根据上述结构，根据影像信号内包含的噪声和色相求出可信度，对根据可信度所选择的类似区域进行平均化处理之后进行分光特性的估计。因此，可保证分光特性的估计精度处于适当的范围内。并且，由于使用分光特性不同的多个彩色摄像系统来通过一次摄影取得分光特性不同的多个影像信号，因而针对移动体也能进行高精度的分光特性的估计。并且，由于通过少数的基础函数的线性结合对要估计的分光特性进行建模，并计算与上述基础函数相关的权重系数，因而可使用现有的彩色摄像系统来进行被摄体的分光特性的估计。并且，由于权重系数的容量少，因而在保存和转发时是有利的。而且，由于求出被摄体和照明光的分光特性，因而容易供后级的颜色处理和其他用途利用。并且，由于使用估计出的分光特性来进行亮度调整、色相调整和彩度调整，因而可进行高精度的调整。 
另外，在上述实施方式中，作为摄像元件采用了使用Bayer型原色滤波器的结构，然而无需受限于这种结构。与第1实施方式一样，还能使用色差线序型补色滤波器。并且，还能从将与摄像条件和摄像系统相关的分光特性等的附带信息记录在头部的存储卡等的记录介质，以未处理的Raw数据形式进一步对由分体的摄像部所拍摄的2幅的影像信号进行处理。 
而且，在上述实施方式中，把使用硬件的处理作为前提，然而无需受限于这种结构。例如，还能采用这样的结构：把来自CCD1 1100和CCD21101的2种影像信号作为未处理状态的Raw数据，将来自控制部118的与摄像条件和摄像系统相关的分光特性等作为头信息来输出，另行使用软件进行处理。 
图25(a)示出本发明的第3实施方式中的与信号处理的软件处理相 关的流程图。图25(a)是整体处理的流程。另外，关于与图12(a)所示的第1实施方式中的信号处理的流程图相同的处理步骤S，分配相同的标号。在步骤S1中，读入2种影像信号和与摄像条件及摄像系统相关的分光特性等的头信息。在步骤S80中，进行插值处理，生成三板的影像信号。在步骤S2中，从2种影像信号中依次提取图14(a)所示的包含关注区域的局部区域。在步骤S81中，如另行说明那样计算可信度。在步骤S82中，如另行说明那样根据可信度校正影像信号。在步骤S83中，如另行说明那样估计分光特性。在步骤S84中，如另行说明那样根据估计出的分光特性进行颜色处理。在步骤S7中，判断所有局部区域的提取是否完成，在未完成的情况下转到步骤S2，在已完成的情况下转到步骤S8。在步骤S8中，进行公知的边缘强调处理和压缩处理等。在步骤S9中，输出处理后的信号并结束。 
图25(b)是与上述步骤S81中的可信度验证相关的流程图。另外，关于与图12(b)所示的第1实施方式中的可信度验证的流程图相同的处理步骤S，分配相同的标号。在步骤S90中，根据(11)式从局部区域计算图14(b)所示的亮度信号和色差信号。在步骤S21中，如图21(b)所示根据亮度信号，以像素为单位计算与局部区域相关的噪声量。噪声量针对2个局部区域各方独立来求出，选择噪声量大的一方。在步骤S23中，如图21(c)所示，根据色差信号，以像素为单位计算第1次的影像信号的与局部区域相关的色相信号。另外，色相信号根据(2)式来计算。在步骤S91中，根据(15)式计算与噪声相关的类似区域，根据(16)式计算与色相相关的类似区域，通过对这些类似区域进行“与”处理来求出可信度高的类似区域。在步骤S92中，根据上述类似区域如图21(d)所示赋予标签。 
图25(c)是与上述步骤S82中的影像信号校正相关的流程图。在步骤S100中，根据标签选择类似区域。在步骤S101中，计算所选择的类似区域的平均值。 
图25(d)是与上述步骤S83中的分光特性估计相关的流程图。另外，关于与图12(d)所示的第1实施方式中的分光特性估计的流程图相 同的处理步骤，分配相同的标号。在步骤S40中，在2个关注区域间进行差分处理。在步骤S41中，读入摄像系统的分光感光度特性和用于对被摄体的分光反射率特性进行近似的三种基础函数、用于对照明光的分光放射率特性进行近似的三种基础函数、以及(6)式所示的摄像系统的系统矩阵的逆矩阵。在步骤S42中，根据(6)式计算对被摄体的分光反射率特性进行近似的基础函数的权重系数。在步骤S110中，根据(5)式计算被摄体的分光反射率特性。在步骤S111中，根据(14)式计算对照明光的分光放射率特性进行近似的基础函数的权重系数。在步骤S112中，根据(13)式计算被摄体的照明光的分光放射率特性。 
图25(e)是与上述步骤S84中的颜色处理相关的流程图。另外，关于与图12(e)所示的第1实施方式中的颜色处理的流程图相同的处理步骤S，分配相同的标号。在步骤S120中，通过对被摄体的分光反射率特性乘以规定系数来进行亮度电平的调整。在步骤S121中，针对进行了亮度电平的调整后的被摄体的分光反射率特性，通过在规定的色相范围内朝波长方向平行移动，进行规定的色相范围的调整。在步骤S122中，针对进行了色相调整后的分光反射率特性，通过使其曲率尖锐化或平滑化来进行彩度调整。在步骤S50中，读入摄像系统的分光感光度特性和用于对被摄体的分光反射率特性进行近似的三种基础函数。在步骤S51中，读入光源的分光放射率特性。在步骤S52中，根据(7)式计算再现色。 
本发明可广泛用于需要测定并估计分光特性的数码相机等的摄像系统。 
本发明不限于上述的实施方式，可在不改变本发明主旨的范围内进行各种变更、改变等。 
本申请是以在2006年6月22日于日本提交申请的特願2006-172985号作为优先权主张的基础来提出申请的，上述的公开内容被引用在本申请说明书和权利要求书内。 

Claims (25)

1.一种摄像系统，其特征在于，
该摄像系统具有：
控制单元，其进行如下控制：使彩色摄像系统中的规定的分光特性以时间序列方式变化，进行多个摄像；
验证单元，其验证与从上述多个摄像获得的多个影像信号相关的可信度；
校正单元，其根据上述可信度，对上述多个影像信号进行校正处理；以及
估计单元，其根据进行了上述校正处理后的多个影像信号，估计与被摄体或照明光相关的未知的分光特性。
2.根据权利要求1所述的摄像系统，其特征在于，上述验证单元具有以下单元中的至少一个以上的单元：
噪声量计算单元，其根据上述多个影像信号，以规定的区域为单位计算噪声量；
边缘量计算单元，其根据上述多个影像信号，以规定的区域为单位计算边缘量；
色相信息计算单元，其根据上述多个影像信号，以规定的区域为单位计算与色相相关的信息；以及
移动量计算单元，其根据上述多个影像信号，以规定的区域为单位计算被摄体的移动量。
3.根据权利要求2所述的摄像系统，其特征在于，上述验证单元还具有可信度计算单元，该可信度计算单元根据上述噪声量、上述边缘量、上述与色相相关的信息、或者上述移动量中的至少一个以上的数据，计算与上述多个影像信号相关的可信度。
4.根据权利要求1所述的摄像系统，其特征在于，上述校正单元具有：
滤波器记录单元，其记录频率特性不同的多个平滑滤波器；
滤波器选择单元，其根据上述可信度，选择上述平滑滤波器；以及
平滑处理单元，其使用上述选择的平滑滤波器，来对上述多个影像信号进行平滑处理。
5.根据权利要求1所述的摄像系统，其特征在于，上述校正单元具有：
提取单元，其从上述多个影像信号中提取包含关注区域的规定尺寸的局部区域；
区域选择单元，其根据上述可信度，从上述局部区域中选择类似于上述关注区域的区域；以及
平滑处理单元，其对上述选择的区域进行规定的平滑处理。
6.根据权利要求1所述的摄像系统，其特征在于，上述校正单元具有：
缩小率选择单元，其根据上述可信度，选择缩小率；以及
缩小处理单元，其使用上述缩小率，来对上述多个影像信号进行缩小处理。
7.根据权利要求1所述的摄像系统，其特征在于，上述估计单元具有：
分光特性记录单元，其记录与上述彩色摄像系统相关的分光特性；
差分处理单元，其进行上述多个影像信号间的差分处理；以及
被摄体权重系数计算单元，其根据上述差分处理后的影像信号和与上述彩色摄像系统相关的分光特性，计算与被摄体的分光特性相关的权重系数。
8.根据权利要求7所述的摄像系统，其特征在于，上述估计单元还具有：
被摄体基础矢量记录单元，其记录被摄体的分光特性的估计中所使用的规定数的基础矢量；以及
被摄体分光特性计算单元，其根据上述被摄体的基础矢量和与上述被摄体的分光特性相关的权重系数，计算被摄体的分光特性。
9.根据权利要求7所述的摄像系统，其特征在于，上述估计单元还具有照明光权重系数计算单元，该照明光权重系数计算单元根据上述影像信号、与上述被摄体的分光特性相关的权重系数、以及与上述彩色摄像系统相关的分光特性，计算与照明光的分光特性相关的权重系数。
10.根据权利要求9所述的摄像系统，其特征在于，上述估计单元还具有：
照明光基础矢量记录单元，其记录照明光的分光特性的估计中所使用的规定数的基础矢量；以及
照明光分光特性计算单元，其根据上述照明光的基础矢量和与上述照明光的分光特性相关的权重系数，计算照明光的分光特性。
11.根据权利要求6所述的摄像系统，其特征在于，上述估计单元具有放大处理单元，该放大处理单元在根据上述缩小处理后的影像信号估计出与被摄体或照明光相关的分光特性之后，对估计出的分光特性进行放大处理，以达到与来自上述彩色摄像系统的影像信号相同的尺寸。
12.根据权利要求1所述的摄像系统，其特征在于，该摄像系统还具有颜色处理单元，该颜色处理单元根据上述估计出的与被摄体或照明光相关的分光特性，针对上述多个影像信号中的至少一个进行颜色处理。
13.根据权利要求12所述的摄像系统，其特征在于，上述颜色处理单元具有：
分光特性记录单元，其记录与上述彩色摄像系统相关的分光特性；
照明光记录单元，其记录规定的照明光的分光特性；以及
再现色计算单元，其根据与上述彩色摄像系统相关的分光特性、上述照明光的分光特性、以及上述估计出的与被摄体相关的分光特性，计算上述照明光中的上述影像信号的再现色。
14.根据权利要求13所述的摄像系统，其特征在于，上述颜色处理单元还具有混合单元，该混合单元将由上述再现色计算单元计算出的影像信号和来自上述彩色摄像系统的影像信号以规定的比例进行混合。
15.根据权利要求14所述的摄像系统，其特征在于，上述颜色处理单元具有以下单元中的至少一个以上的单元：
亮度调整单元，其对上述估计出的与被摄体相关的分光特性乘以规定系数；
色相调整单元，其使上述估计出的与被摄体相关的分光特性在规定的波长范围内朝波长方向平行移动；以及
彩度调整单元，其使上述估计出的与被摄体相关的分光特性改变曲率。
16.根据权利要求1所述的摄像系统，其特征在于，上述控制单元具有：
已知分光特性的照明单元；以及
照明控制单元，其控制上述照明单元的动作。
17.根据权利要求1所述的摄像系统，其特征在于，上述控制单元具有：
已知分光特性的滤波器单元；以及
滤波器控制单元，其对将上述滤波器单元装入到上述彩色摄像系统的光路内的动作进行控制。
18.根据权利要求1所述的摄像系统，其特征在于，作为上述彩色摄像系统使用将R（红色）、G（绿色）、B（蓝色）拜尔型原色滤波器配置在前面的单板摄像元件、或者将Cy（青色）、Mg（品红色）、Ye（黄色）、G（绿色）色差线序型补色滤波器配置在前面的单板摄像元件。
19.一种摄像方法，其特征在于，
该摄像方法包括以下步骤：
控制步骤，进行如下控制：使规定的分光特性以时间序列方式变化，进行多个摄像；
验证步骤，验证与从上述多个摄像获得的多个影像信号相关的可信度；
校正步骤，根据上述可信度，对上述多个影像信号进行校正处理；以及
估计步骤，根据进行了上述校正处理后的多个影像信号，估计与被摄体或照明光相关的未知的分光特性。
20.根据权利要求19所述的摄像方法，其特征在于，上述验证步骤包括以下步骤中的至少一个以上的步骤：
根据上述多个影像信号，以规定的区域为单位计算噪声量；
根据上述多个影像信号，以规定的区域为单位计算边缘量；
根据上述多个影像信号，以规定的区域为单位计算与色相相关的信息；以及
根据上述多个影像信号，以规定的区域为单位计算移动量。
21.根据权利要求20所述的摄像方法，其特征在于，上述验证步骤还包括以下步骤：根据上述噪声量、上述边缘量、上述与色相相关的信息、或者上述移动量中的至少一个以上的数据，计算与上述多个影像信号相关的可信度。
22.根据权利要求19所述的摄像方法，其特征在于，上述校正步骤包括如下步骤：
记录频率特性不同的多个平滑滤波器；
根据上述可信度，选择上述平滑滤波器；以及
使用上述选择的平滑滤波器，来对上述多个影像信号进行平滑处理。
23.根据权利要求19所述的摄像方法，其特征在于，上述校正步骤包括如下步骤：
从上述多个影像信号中提取包含关注区域的规定尺寸的局部区域；
根据上述可信度，从上述局部区域中选择类似于上述关注区域的区域；以及
对上述选择的区域进行规定的平滑处理。
24.根据权利要求19所述的摄像方法，其特征在于，上述校正步骤包括如下步骤：
根据上述可信度，选择缩小率；以及
使用上述缩小率，来对上述多个影像信号进行缩小处理。
25.根据权利要求19所述的摄像方法，其特征在于，该摄像方法还包括以下步骤：根据上述估计出的与被摄体或照明光相关的未知的分光特性，针对上述多个影像信号中的至少一个进行颜色处理。
CN2007800233279A 2006-06-22 2007-06-13 摄像系统和摄像方法 Active CN101473658B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006172985A JP4959237B2 (ja) 2006-06-22 2006-06-22 撮像システム及び撮像プログラム
JP172985/2006 2006-06-22
PCT/JP2007/061893 WO2007148576A1 (ja) 2006-06-22 2007-06-13 撮像システム及び撮像プログラム

Publications (2)

Publication Number Publication Date
CN101473658A CN101473658A (zh) 2009-07-01
CN101473658B true CN101473658B (zh) 2013-03-27

Family

ID=38833318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800233279A Active CN101473658B (zh) 2006-06-22 2007-06-13 摄像系统和摄像方法

Country Status (5)

Country Link
US (1) US8189063B2 (zh)
EP (1) EP2037687A1 (zh)
JP (1) JP4959237B2 (zh)
CN (1) CN101473658B (zh)
WO (1) WO2007148576A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5389380B2 (ja) * 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP4717103B2 (ja) 2008-07-18 2011-07-06 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP5087529B2 (ja) * 2008-12-01 2012-12-05 オリンパス株式会社 識別処理装置、識別処理プログラム及び識別処理方法
US8203620B2 (en) * 2010-04-28 2012-06-19 Nethra Imaging Inc Method and apparatus for sharpening digital images
JP5646705B1 (ja) * 2013-07-18 2014-12-24 アキュートロジック株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
CN105306788B (zh) * 2015-10-27 2018-05-15 广东欧珀移动通信有限公司 一种拍照图像的降噪方法和装置
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
WO2022054292A1 (ja) * 2020-09-14 2022-03-17 三菱電機株式会社 ロボット制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551854B2 (ja) * 1999-09-01 2004-08-11 ミノルタ株式会社 デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体
JP2002232907A (ja) * 2001-02-07 2002-08-16 Minolta Co Ltd デジタル撮像装置、プログラムおよび記録媒体
JP2003274180A (ja) * 2002-03-12 2003-09-26 Canon Inc 画像処理装置、画像処理方法、プリンタドライバ、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
US7231084B2 (en) * 2002-09-27 2007-06-12 Motorola, Inc. Color data image acquistion and processing
JP4049257B2 (ja) 2002-12-02 2008-02-20 富士フイルム株式会社 固体撮像装置及びデジタルカメラ
JP2005311581A (ja) 2004-04-20 2005-11-04 Konica Minolta Holdings Inc 画像入力システム、変換マトリックス算出方法、及びプログラム
JP2006014164A (ja) * 2004-06-29 2006-01-12 Sony Corp 画像撮像装置およびノイズ除去方法
JP2006023959A (ja) 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
JP2006090897A (ja) * 2004-09-24 2006-04-06 National Univ Corp Shizuoka Univ ２種類の光源を用いた分光反射率推定方式
JP4869588B2 (ja) 2004-12-17 2012-02-08 株式会社日立製作所 電源システム
ATE481696T1 (de) * 2005-01-14 2010-10-15 Morpho Inc Verfahren zur berechnung von bewegungsvektoren, vorrichtung zur korrektur von handbewegungen, die das verfahren verwendet, vorrichtung zur bildaufnahme und zur erzeugung von filmen

Also Published As

Publication number Publication date
JP4959237B2 (ja) 2012-06-20
US20090096889A1 (en) 2009-04-16
EP2037687A1 (en) 2009-03-18
WO2007148576A1 (ja) 2007-12-27
CN101473658A (zh) 2009-07-01
JP2008005246A (ja) 2008-01-10
US8189063B2 (en) 2012-05-29

Similar Documents

Publication Publication Date Title
CN101473658B (zh) 摄像系统和摄像方法
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
CN101322398B (zh) 照相机系统、曝光量调节方法
CN103621069B (zh) 光斑判定装置以及拍摄装置
CN104363434B (zh) 图像处理设备
KR100912873B1 (ko) 영상 생성 방법 및 장치
US8629919B2 (en) Image capture with identification of illuminant
US6727943B1 (en) Electronic camera with white balance adjustment recording medium storing image processing program for white balance adjustment
CN102387372B (zh) 图像处理设备和图像处理方法
JP2003284084A (ja) 画像処理装置および方法、並びに画像処理装置の製造方法
US20110243430A1 (en) Image input apparatus
CN102769760B (zh) 图像处理设备和图像处理方法
CN105306916A (zh) 执行白平衡控制的图像拾取装置及其控制方法
JP2009017457A (ja) 複眼撮影装置及びその調節方法
KR20050088335A (ko) 촬상 장치 및 방법
CN103813097A (zh) 摄像装置以及摄像方法
CN102377943A (zh) 摄像装置以及摄像方法
WO2007043325A1 (ja) 画像処理システム、画像処理プログラム
JP2007036462A (ja) 画像処理装置
WO2005099247A2 (en) The reproduction of alternative forms of light from an object using a digital imaging system
JP2009027619A (ja) 映像処理装置および映像処理プログラム
Lukac Single-sensor digital color imaging fundamentals
JP4649734B2 (ja) 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
WO2019146419A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2008050548A1 (fr) Dispositif de traitement d'image, programme de traitement d'image et procédé de traitement d'image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant