CN107409201B - 图像处理装置、图像处理方法和计算机可读取的记录介质 - Google Patents

图像处理装置、图像处理方法和计算机可读取的记录介质 Download PDF

Info

Publication number
CN107409201B
CN107409201B CN201580077653.2A CN201580077653A CN107409201B CN 107409201 B CN107409201 B CN 107409201B CN 201580077653 A CN201580077653 A CN 201580077653A CN 107409201 B CN107409201 B CN 107409201B
Authority
CN
China
Prior art keywords
pixel
correction coefficient
light
image processing
calculation part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580077653.2A
Other languages
English (en)
Other versions
CN107409201A (zh
Inventor
市川学
丸山裕辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107409201A publication Critical patent/CN107409201A/zh
Application granted granted Critical
Publication of CN107409201B publication Critical patent/CN107409201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6041—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis for controlling uniformity of color across image area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14868—CCD or CID colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor

Abstract

提供能够计算用于对构成摄像元件的多个像素各自的分光感光度的偏差进行校正的校正系数的图像处理装置、图像处理方法和程序。第1图像处理装置(30)具有校正系数计算部(307)，该校正系数计算部(307)针对由在多个像素各自的受光面上设置具有相互不同的分光透射率的多个颜色的滤色器中的任意滤色器的摄像元件(105)生成的图像数据，按照多个像素中的每一个像素，计算用于对关注像素中由分光感光度和预先设定的基准分光感光度在规定波段内的差导致的像素值差分进行校正的校正系数。

Description

图像处理装置、图像处理方法和计算机可读取的记录介质
技术领域
本发明涉及计算用于对构成摄像元件的多个像素的分光感光度特性进行校正的校正系数的图像处理装置、图像处理方法和计算机可读取的记录介质。
背景技术
以往，在数字照相机等摄像装置中，公知有按照每个摄像元件对由CCD(ChargeCoupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件的受光面上设置的滤色器的分光透射率的偏差引起的像素的分光感光度的偏差进行调整的技术(参照专利文献1)。在该技术中，利用摄像元件对被棱镜进行光谱分光后的可见光进行光电转换，由此，根据由R(红色)、G(绿色)和B(蓝色)各个颜色成分的组合构成的图像数据，按照每个波长计算R、G和B各自的值，计算与R、G和B各自的值相乘的系数，使得该计算出的R、G和B各自的值与预先按照每个波长计算出的基准值之间的差分分别减小。
现有技术文献
专利文献
专利文献1：日本特开2010-193378号公报
发明内容
发明要解决的课题
与摄像元件的细微化相伴，构成摄像元件的多个像素中分别配置的滤色器也减小，摄像元件的制造阶段中产生的每个像素的滤色器的分光透射率的偏差也增加。因此，如上述专利文献1那样，即使按照每个摄像元件对分光感光度特性的偏差进行调整，也按照每个像素产生分光感光度的偏差。其结果，在上述专利文献1中，存在像素值的输出结果按照每个像素而变化这样的问题。进而，在上述专利文献1中，在关注一个像素的情况下，分光感光度的偏差程度根据波长而不同，所以，存在像素值的偏差程度也根据接收的光的波长而变化这样的问题。
本发明是鉴于上述情况而完成的，其目的在于，提供能够计算用于对构成摄像元件的多个像素各自的分光感光度的偏差进行校正的校正系数的图像处理装置、图像处理方法和计算机可读取的记录介质。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有校正系数计算部，该校正系数计算部根据由摄像元件生成的图像数据，按照至少配置有多个颜色的滤色器中的规定滤色器的多个像素中的每一个像素，计算用于对关注像素中与分光感光度和预先设定的基准分光感光度在规定波段内的差对应的像素值差分进行校正的校正系数，该摄像元件中，使用具有相互不同的分光透射率的所述多个颜色的滤色器形成规定的排列图案，在与所述多个像素中的任意像素对应的位置配置有形成该排列图案的各个滤色器。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正系数计算部计算包含所述关注像素中设置的所述滤色器的分光透射率比其他颜色的所述滤色器的分光透射率低的波段在内的所述规定波段中的所述校正系数。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正系数计算部计算包含所述关注像素中设置的所述滤色器的分光透射率比其他颜色的所述滤色器的分光透射率高的波段在内的所述规定波段中的所述校正系数。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正系数计算部根据配置有与所述关注像素相同颜色的所述滤色器的所述多个像素各自的像素值，计算所述基准分光感光度。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正系数计算部计算配置有与所述关注像素相同颜色的所述滤色器的所述多个像素各自的分光感光度的平均值，或者按照每个所述关注像素计算位于该关注像素的周边且配置有与该关注像素相同颜色的所述滤色器的所述多个像素各自的分光感光度的平均值，作为所述基准分光感光度。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正系数计算部按照照射相互不同的波长特性的光的每个光源计算所述校正系数。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述摄像元件通过接收规定波段的分光放射亮度比其他波段高的均匀光，生成所述图像数据。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有随机噪声去除部，该随机噪声去除部去除所述图像数据的随机噪声，所述校正系数计算部针对由所述随机噪声去除部去除所述随机噪声后的所述图像数据计算所述校正系数。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述滤色器的颜色是红色、绿色和蓝色。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述滤色器的颜色是青色、品红、黄色和绿色。
并且，本发明的图像处理方法由图像处理装置来执行，其特征在于，所述图像处理方法包括以下步骤：取得步骤，取得由摄像元件生成的图像数据，该摄像元件中，使用具有相互不同的分光透射率的所述多个颜色的滤色器形成规定的排列图案，在与所述多个像素中的任意像素对应的位置配置有形成该排列图案的各个滤色器；以及校正系数计算步骤，根据所述取得步骤中取得的所述图像数据，按照至少配置有多个颜色的滤色器中的规定滤色器的多个像素中的每一个像素，计算用于对关注像素中由分光感光度和预先设定的基准分光感光度在规定波段内的差导致的像素值差分进行校正的校正系数。
并且，本发明的计算机可读取的记录介质记录有程序，其特征在于，所述程序使图像处理装置执行以下步骤：取得步骤，取得由摄像元件生成的图像数据，该摄像元件使用具有相互不同的分光透射率的所述多个颜色的滤色器形成规定的排列图案，在与所述多个像素中的任意像素对应的位置配置有形成该排列图案的各个滤色器；以及校正系数计算步骤，根据所述取得步骤中取得的所述图像数据，按照至少配置有多个颜色的滤色器中的规定滤色器的多个像素中的每一个像素，计算用于对关注像素中由分光感光度和预先设定的基准分光感光度在规定波段内的差导致的像素值差分进行校正的校正系数。
发明效果
根据本发明，发挥能够计算用于对构成摄像元件的多个像素各自的分光感光度的偏差进行校正的校正系数这样的效果。
附图说明
图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。
图2是示意地示出本发明的实施方式1的滤色器的结构的图。
图3是示出构成本发明的实施方式1的摄像元件的R像素、G像素和B像素各自的分光感光度特性的平均的图。
图4是示出构成本发明的实施方式1的摄像元件的R像素的分光感光度特性的图。
图5是示出构成本发明的实施方式1的摄像元件的G像素的分光感光度特性的图。
图6是示出构成本发明的实施方式1的摄像元件的B像素的分光感光度特性的图。
图7是示意地示出本发明的实施方式1的摄像元件拍摄了平坦的红色或平坦的绿色被摄体的情况下的构成摄像元件的多个G像素各自的像素值的图。
图8是示出本发明的实施方式1的第1图像处理装置执行的处理的概要的流程图。
图9是示出图8的拍摄处理的概要的流程图。
图10是示出图8的校正系数计算处理的概要的流程图。
图11是示意地示出使用通常光的情况下的校正系数计算时的分光特性的图。
图12是示意地示出使用窄带光的情况下的校正系数计算时的分光特性的图。
图13是示出本发明的实施方式1的第2图像处理装置执行的处理的概要的流程图。
图14是示出图13的校正量计算处理的概要的流程图。
图15是示出图14的R成分校正量计算处理的概要的流程图。
图16A是示意地说明在关注像素为B像素的情况下估计R成分的插值方法的图。
图16B是示意地说明在关注像素为G像素的情况下估计R成分的插值方法的图。
图16C是示意地说明在关注像素为G像素的情况下估计R成分的插值方法的图。
图16D是示意地说明在关注像素为R像素的情况下估计R成分的插值方法的图。
图17是示出图14的G成分校正量计算处理的概要的流程图。
图18A是示意地说明在关注像素为R像素的情况下估计G成分的插值方法的图。
图18B是示意地说明在关注像素为B像素的情况下估计G成分的插值方法的图。
图18C是示意地说明在关注像素为G像素的情况下估计G成分的插值方法的图。
图18D是示意地说明在关注像素为G像素的情况下估计G成分的插值方法的图。
图19是示出图14的B成分校正量计算处理的概要的流程图。
图20A是示意地说明在关注像素为G像素的情况下估计B成分的插值方法的图。
图20B是示意地说明在关注像素为G像素的情况下估计B成分的插值方法的图。
图20C是示意地说明在关注像素为R像素的情况下估计B成分的插值方法的图。
图20D是示意地说明在关注像素为B像素的情况下估计B成分的插值方法的图。
图21是示出本发明的实施方式2的第1图像处理装置执行的处理的概要的流程图。
图22是示意地示出本发明的实施方式2的第1图像处理装置执行的校正系数计算时的红色被摄体的分光特性的图。
图23是示意地示出本发明的实施方式2的第1图像处理装置执行的校正系数计算时的绿色被摄体的分光特性的图。
图24是示意地示出本发明的实施方式2的第1图像处理装置执行的校正系数计算时的蓝色被摄体的分光特性的图。
图25A是示意地说明关注像素为G像素的情况下的R成分的校正系数计算的图。
图25B是示意地说明关注像素为G像素的情况下的B成分的校正系数计算的图。
图26是示意地示出本发明的实施方式3的摄像装置的结构的框图。
图27是示意地示出本发明的实施方式1～3的变形例1的滤色器的结构的图。
图28是示意地示出本发明的实施方式1～3的变形例2的滤色器的结构的图。
图29是示意地示出本发明的实施方式1～3的变形例3的滤色器的结构的图。
具体实施方式
下面，参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。另外，本发明不由以下说明的实施方式进行限定。进而，在附图的记载中对相同部分标注相同标号进行说明。
(实施方式1)
〔摄像系统的结构〕
图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。图1所示的摄像系统1在计算后述校正系数的情况下，配置在形成有遮光空间的壳体100内，该遮光空间是对来自外部的光进行遮光而成的。并且，图1所示的摄像系统1在进行通常拍摄的情况下配置在壳体100外。摄像系统1具有摄像装置10、光源装置20(被摄体)、第1图像处理装置30、第2图像处理装置40、显示装置50。另外，第1图像处理装置30、第2图像处理装置40和显示装置50在计算后述校正系数的情况下，也可以配置在壳体100的外部。
〔摄像装置的结构〕
首先，对摄像装置10的结构进行说明。摄像装置10具有光学系统101、光圈102、快门103、驱动器104、摄像元件105、滤色器106、模拟处理部107、A/D转换部108、第1操作部109、存储器I/F部110、记录介质111、易失性存储器112、非易失性存储器113、总线114、摄像控制部115、第1外部I/F部116。
光学系统101使用一个或多个镜头构成。光学系统101例如使用对焦透镜和变焦镜头构成。
光圈102通过限制光学系统101会聚的光的入射量，进行曝光的调整。光圈102在摄像控制部115的控制下，对光学系统101会聚的光的入射量进行限制。也可以不使用光圈102，而使用快门103或摄像元件105中的电子快门来控制光的入射量。
快门103在摄像控制部115的控制下，将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦面式快门等构成。也可以不使用快门103，而使用摄像元件105中的电子快门。
驱动器104在后述摄像控制部115的控制下，对光学系统101、光圈102和快门103进行驱动。例如，驱动器104通过使光学系统101沿着光轴O1移动，进行摄像装置10的变焦倍率的变更或焦点位置的调整。
摄像元件105在后述摄像控制部115的控制下，接收光学系统101会聚的光，将其转换为图像数据(电信号)并进行输出。摄像元件105使用呈二维状配置有多个像素的CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)或CCD(ChargeCoupled Device：电荷耦合器件)等图像传感器构成。并且，摄像元件105具有能够以电子方式对受光量进行控制的电子快门功能。
滤色器106层叠设置在摄像元件105的受光面上。关于滤色器106，透射相互不同的波段的光的多个滤色器分别形成规定的排列图案，在与构成摄像元件105的多个像素中的任意像素对应的位置配置形成该排列图案的各个滤色器。
图2是示意地示出滤色器106的结构的图。图2所示的滤色器106在摄像元件105的各像素的受光面上分别设置拜耳排列中的透射红色波段的光的滤镜R、透射绿色波段的光的滤镜G和透射蓝色波段的光的滤镜B。另外，下面，设在受光面上配置有滤镜R的像素为R像素、在受光面上配置有滤镜G的像素为G像素、在受光面上配置有滤镜B的像素为B像素进行说明。
模拟处理部107对从摄像元件105输出的模拟信号实施规定的模拟处理，将其输出到A/D转换部108。具体而言，模拟处理部107对从摄像元件105输入的模拟信号进行噪声降低处理和增益放大处理等。例如，模拟处理部107针对模拟信号降低复位噪声等，然后进行波形整形，进而进行增益放大以成为目标明亮度。
A/D转换部108对从模拟处理部107输入的模拟信号进行A/D转换，由此生成数字图像数据(以下称为“RAW图像数据”)，经由总线114输出到易失性存储器112。另外，A/D转换部108也可以对后述摄像装置10的各部直接输出RAW图像数据。另外，也可以将上述滤色器106、模拟处理部107和A/D转换部108设置在摄像元件105上，摄像元件105直接输出数字的RAW图像数据。
第1操作部109给出摄像装置10的各种指示。具体而言，第1操作部109具有将摄像装置10的电源状态切换为接通状态或断开状态的电源开关、给出静态图像拍摄指示的释放开关、切换摄像装置10的各种设定的操作开关和给出动态图像拍摄指示的动态图像开关等。
记录介质111使用从摄像装置10的外部安装的存储卡构成，经由存储器I/F部110以拆装自如的方式安装在摄像装置10上。并且，记录介质111也可以在摄像控制部115的控制下，经由存储器I/F部110将程序和各种信息分别输出到非易失性存储器113。
易失性存储器112暂时存储经由总线114从A/D转换部108输入的图像数据。例如，易失性存储器112暂时存储经由模拟处理部107、A/D转换部108和总线114而由摄像元件105按照每帧依次输出的图像数据。易失性存储器112使用SDRAM(Synchronous DynamicRandom Access Memory：同步动态随机存储器)等构成。
非易失性存储器113记录用于使摄像装置10进行动作的各种程序、程序执行中使用的各种数据。并且，非易失性存储器113具有程序记录部113a和校正系数记录部113b，该校正系数记录部113b记录经由第1外部I/F部116输入的用于对构成摄像元件105的多个像素各自的分光感光度的偏差进行校正的校正系数。非易失性存储器113使用闪速存储器等构成。
总线114使用连接摄像装置10的各结构部位的传送路径等构成，将摄像装置10的内部产生的各种数据传输到摄像装置10的各结构部位。
摄像控制部115使用CPU(Central Processing Unit：中央处理单元)等构成，根据来自第1操作部109的指示信号或释放信号针对构成摄像装置10的各部进行指示和数据的传输等，对摄像装置10的动作进行总括控制。例如，摄像控制部115在从第1操作部109输入了第二释放信号的情况下，进行使摄像装置10中的拍摄动作开始的控制。这里，摄像装置10中的拍摄动作是指，模拟处理部107和A/D转换部108对摄像元件105输出的模拟信号实施规定处理的动作。这样实施处理后的图像数据在摄像控制部115的控制下，经由总线114和存储器I/F部110记录在记录介质111中。
第1外部I/F部116经由总线114将从外部设备输入的信息输出到非易失性存储器113或易失性存储器112，另一方面，经由总线114向外部设备输出易失性存储器112存储的信息、非易失性存储器113记录的信息和摄像元件105生成的图像数据。具体而言，第1外部I/F部116经由总线114向第1图像处理装置30和第2图像处理装置40输出摄像元件105生成的图像数据。
〔光源装置的结构〕
接着，对光源装置20的结构进行说明。光源装置20在计算后述校正系数的情况下，在第1图像处理装置30的控制下，将平行的照明光作为被摄体朝向摄像装置10照射规定波段的光。具体而言，光源装置20在第1图像处理装置30的控制下，以10nm间隔朝向摄像装置10照射例如380nm～780nm的可见光。光源装置20例如使用设置有多个滤镜的旋转滤镜、钨灯或氙灯等光源以及使旋转滤镜旋转的马达等驱动器构成，所述多个滤镜透射波段相互不同的光。另外，光源装置20也可以使用照射规定波段的平行光的荧光灯、LED(LightEmitting Diode：发光二极管)和激光等。并且，也可以不是10nm间隔，光源装置20也可以切换规定波段、例如红色、绿色和蓝色的各个波段的光而朝向摄像装置10进行照射。并且，在本实施方式中，假设摄像装置10是光学系统101和光圈102构成为一体型的小型数字照相机，但是，也能够应用使具有光学系统101和光圈102的镜头部相对于主体部(机身部)拆装自如的数字照相机。该情况下，优选来自光源装置20的光作为平行光入射到摄像装置10。因此，在能够拆装镜头部的数字照相机的情况下，优选在从主体部取下镜头部的状态下进行拍摄。另外，优选光源装置20朝向摄像装置10照射尽可能均匀的平行光。
〔第1图像处理装置的结构〕
接着，对第1图像处理装置30的结构进行说明。第1图像处理装置30具有第2外部I/F部301、光源控制部302、第2操作部303、第1记录部304、第1图像处理控制部305、第1总线306、校正系数计算部307。
第2外部I/F部301经由摄像装置10的第1外部I/F部116取得由摄像元件105生成的图像数据，将所取得的图像数据输出到校正系数计算部307或第1缓存部304b。并且，第2外部I/F部301将从校正系数计算部307输入的信息输出到摄像装置10。第2外部I/F部301和第1外部I/F部116例如经由能够双向交换信息的控制缆线或无线通信路径等进行连接。
光源控制部302使用CPU构成，对光源装置20照射的光的波段进行控制。具体而言，光源控制部302使光源装置20向摄像装置10照射每10nm波段的光。
第2操作部303给出第1图像处理装置30的各种指示。具体而言，第2操作部303给出使光源装置20依次照射波段不同的光的指示。
第1记录部304使用易失性存储器和非易失性存储器构成，记录从摄像装置10输入的图像数据、用于使第1图像处理装置30进行动作的各种程序、程序执行中使用的各种数据。并且，第1记录部304具有记录用于使第1图像处理装置30进行动作的各种程序的第1程序记录部304a、以及暂时存储从摄像装置10输入的图像数据等的第1缓存部304b。
第1图像处理控制部305使用CPU等构成，根据来自第2操作部303的指示针对构成第1图像处理装置30的各部进行指示和数据的传输等，对第1图像处理装置30的动作进行总括控制。
校正系数计算部307根据由摄像元件105生成的图像数据，按照摄像元件105的多个像素中的每一个像素计算校正系数，将计算出的计算结果记录在摄像装置10的校正系数记录部113b，该校正系数用于对关注像素中与分光感光度和预先设定的基准分光感光度之差对应的像素值差分进行校正。
第1总线306使用连接第1图像处理装置30的各结构部位的传送路径等构成，将第1图像处理装置30的内部产生的各种数据传输到第1图像处理装置30的各结构部位。
〔第2图像处理装置的结构〕
接着，对第2图像处理装置40的结构进行说明。
第2图像处理装置40具有第3外部I/F部401、第2记录部402、第2总线403、校正量计算部404、像素值校正部405、图像处理部406。
第3外部I/F部401经由摄像装置10的第1外部I/F部116分别取得由摄像元件105生成的图像数据和来自校正系数记录部113b的校正系数，将所取得的图像数据和校正系数输出到校正量计算部404或第2缓存部402b。第3外部I/F部401和第1外部I/F部116例如经由能够双向交换信息的控制缆线或无线通信路径等进行连接。
第2记录部402使用易失性存储器和非易失性存储器构成，记录从摄像装置10输入的图像数据、校正系数、用于使第2图像处理装置40进行动作的各种程序、程序执行中使用的各种数据。并且，第2记录部402具有用于驱动第2图像处理装置40的第2程序记录部402a、以及暂时存储从摄像装置10输入的图像数据和关注像素的校正系数等的第2缓存部402b。
校正量计算部404根据校正系数记录部113b记录的关注像素处的校正系数和关注像素处的周围像素的像素值，计算用于对关注像素的像素值进行校正的校正量。并且，校正量计算部404根据关注像素和周围像素的像素值，计算用于对关注像素的像素值进行校正的校正量。这里，周围像素是与关注像素相邻的像素或位于关注像素附近的像素。并且，与关注像素相邻的像素是以关注像素为基准位于左右上下方向上的像素。进而，位于关注像素附近的像素是以关注像素为基准位于倾斜方向上的像素、或与关注像素相同颜色且最接近关注像素的像素。进而，校正量计算部404从校正系数记录部113b中选择并取得与光源对应的校正系数，使用所取得的校正系数，计算用于对关注像素的像素值进行校正的校正量。
像素值校正部405使用校正量计算部404计算出的校正量对关注像素的像素值进行校正。
图像处理部406对由像素值校正部405校正了分光感光度偏差后的图像数据进行规定的图像处理，将其输出到显示装置50。这里，规定的图像处理是包括光学黑体减法处理、白平衡调整处理、摄像元件105为拜耳排列的情况下的图像数据的同时化处理、颜色矩阵运算处理、γ校正处理、颜色再现处理和边缘强调处理、噪声降低处理等的基本图像处理。并且，图像处理部406根据预先设定的各图像处理的参数，进行再现自然图像的图像处理。这里，各图像处理的参数是对比度、明锐度、彩度、白平衡和灰度的值。另外，也可以经由第3外部I/F部401将进行了规定图像处理的图像数据记录在非易失性存储器113或记录介质111中。
〔显示装置的结构〕
接着，对显示装置50的结构进行说明。显示装置50显示与从第2图像处理装置40输入的图像数据对应的图像。显示装置50使用液晶或有机EL(Electro Luminescence：电致发光)等显示面板等构成。
在具有以上结构的摄像系统1中，第1图像处理装置30计算用于对由摄像元件105的各像素的分光感光度与基准分光感光度之差引起的像素值的差进行校正的校正系数，第2图像处理装置40使用由第1图像处理装置30计算出的校正系数计算用于对关注像素的像素值进行校正的校正量，使用该计算出的校正量对关注像素的像素值进行校正，显示装置50显示与由第2图像处理装置40实施了图像处理的图像数据对应的图像。
〔分光感光度特性的概要〕
接着，对构成摄像元件105的R像素、G像素和B像素各自的分光感光度特性进行说明。图3是示出构成摄像元件105的R像素、G像素和B像素各自的分光感光度特性的平均的例子的图。图4是示出R像素的分光感光度特性的例子的图。图5是示出G像素的分光感光度特性的例子的图。图6是示出B像素的分光感光度特性的例子的图。在图3～6中，横轴示出波长，纵轴示出相对分光感光度。并且，在图3～图6中，曲线LB1示出对多个B像素各自的分光感光度进行平均后的平均分光感光度特性，曲线LG1示出对多个G像素各自的分光感光度进行平均后的平均分光感光度特性，曲线LR1示出对多个R像素各自的分光感光度进行平均后的平均分光感光度特性。并且，图4的曲线LR2示出R像素的分光感光度特性的一例，图5的曲线LG2示出G像素的分光感光度特性的一例，图6的曲线LB2示出B像素的分光感光度特性的一例。在图4～图6中，这里，分光感光度之差意味着各像素的分光感光度相对于平均分光感光度之差，是由摄像元件105的制造阶段中由于各滤镜的厚度的偏差等而产生的分光透射率的偏差、由于各像素的电路图案或电路特性的差异等而产生的分光反射率或分光吸收率的偏差等引起的。并且，也可以使用摄像元件105中的全部像素，计算分别针对R、G、B各像素的平均分光感光度特性，还可以使用关注像素及其相同颜色的周边像素，计算针对关注像素的平均分光感光度特性(即局部的平均分光感光度特性)。另外，也可以不包含关注像素，使用与关注像素相同颜色的周边像素计算针对关注像素的平均分光感光度特性。在计算针对关注像素的平均分光感光度特性时，在来自光源装置20的光不均匀的情况或由于光学系统101而产生阴影的情况等、对摄像元件105照射的光不均匀的情况下，得到排除了该不均匀的光造成的影响后的平均分光感光度特性。并且，平均分光感光度特性相当于本实施方式中的基准分光感光度特性。
如图4～图6所示，分光感光度之差根据波段而变化。具体举例时，在R像素中，如图4的曲线LR1和曲线LR2所示，相对于平均分光感光度，在比550nm附近更靠短波长侧的波段R1中产生分光感光度之差。在G像素中，如图5的曲线LG1和曲线LG2所示，相对于平均分光感光度，在比500nm附近更靠短波长侧的波段G1和比600nm附近更靠长波长侧的波段G2中产生分光感光度之差。并且，在B像素中，如图6的曲线LG1和曲线LG2所示，相对于平均分光感光度，在比550nm附近更靠长波长侧的波段B1中产生分光感光度之差。
另外，在图4～图6中，对在分光感光度较低的波段具有比平均分光感光度高的分光感光度的R像素、G像素和B像素各自的一例进行了说明，但是，根据构成摄像元件105的各像素，存在以下的(a)～(d)中的任意像素。
(a)在分光感光度较低的区域具有比平均分光感光度低的分光感光度或与平均分光感光度相同的分光感光度的像素
(b)在分光感光度较高的波段具有比平均分光感光度高的分光感光度或比平均分光感光度低的分光感光度或与平均分光感光度相同的分光感光度的像素
(c)在分光感光度较低的波段和较高的波段具有与平均分光感光度之间的大小关系变化或不变的分光感光度的像素
(d)与分光感光度的高低无关、具有大小根据波长而相对于平均分光感光度变化的分光感光度的像素
这样，摄像元件105在制造阶段中由于各滤色器的厚度的偏差等而以像素单位产生分光感光度的偏差。在本实施方式中，作为一例，关于分光感光度的偏差，在基于波长的变化较小、任意波长都具有相同程度的较小偏差的情况下，例如在拍摄平坦的红色被摄体时，R像素是分光感光度较高的波段，所以，由随机噪声引起的像素值的偏差成为支配性的，分光感光度的偏差不太影响画质。
与此相对，在拍摄平坦的红色被摄体时，G像素和B像素分别是分光感光度较低的波段，所以，由随机噪声引起的像素值的偏差较小，由分光感光度的偏差引起的像素值的偏差相对较大，由此，分光感光度的偏差影响画质。特别是在平坦的被摄体中，这种由分光感光度的偏差引起的像素值的偏差视为图像的粗糙。该粗糙依赖于像素的像素值，所以，即使具有些许凹凸的被摄体运动，粗糙看上去也是停止的，因此产生违和感。因此，期望优先校正具有比其他颜色的像素的分光感光度低的分光感光度的波段。
图7是示意地示出摄像元件105拍摄了平坦的红色或平坦的绿色被摄体的情况下的构成摄像元件105的多个G像素各自的像素值的图。在图7中，横轴示出像素列，纵轴示出像素值。并且，在图7中，直线MR2示出拍摄了平坦的红色被摄体时的各G像素处的像素值的平均值，直线MG2示出拍摄了平坦的绿色被摄体时的各G像素处的像素值的平均值。另外，在图7中，分别利用阴影表现各G像素中产生的随机噪声RN1、RN2、GN1和GN2。并且，在图7中，将构成摄像元件105的R像素、G像素和B像素中的6个G像素作为一例进行说明。
如图7所示，在摄像元件105拍摄了平坦的红色被摄体的情况下，G像素G1～G6分别是分光感光度较低的波段，所以，与随机噪声相比，更加受到由制造阶段中的各滤色器的厚度的偏差等引起的分光感光度偏差的影响，G像素G1～G6各自的像素值大幅偏差(参照图7(a))。与此相对，在摄像元件105拍摄了平坦的绿色被摄体的情况下，G像素G1～G6分别是分光感光度较高的波段，所以，与由制造阶段中的各滤色器的厚度的偏差等引起的分光感光度偏差相比，由随机噪声引起的像素值的偏差成为支配性的，G像素G1～G6各自的像素值大致恒定(参照图7(b))。由此，根据被摄体的分光特性，看到或看不到粗糙。这样，在各像素中，分光感光度的偏差按照每个像素而不同，所以，即使如以往那样对各像素施加统一的增益、加上或减去统一的偏置，也无法校正上述偏差。因此，在本实施方式中，通过进行后述校正系数的计算和校正处理，能够减少上述粗糙，在被摄体平坦的情况下，能够校正为MR2所示的像素值(参照图7(c))。因此，在本实施方式中，通过防止由于构成摄像元件105的多个像素各自的分光感光度之差而产生的画质劣化，得到高画质的图像。
〔第1图像处理装置的处理〕
接着，对第1图像处理装置30执行的处理进行说明。图8是示出第1图像处理装置30执行的处理的概要的流程图，示出主例程。另外，在图8中，对第1图像处理装置30执行的、计算用于对各像素的分光感光度偏差进行校正的校正系数的处理进行说明。在本实施方式中，摄像元件105的各像素具有RGB中的任意一方的滤色器106，所以，在各像素中计算使用R像素值进行校正用的校正系数、使用G像素值进行校正用的校正系数、使用B像素值进行校正用的校正系数。当然，也可以仅计算一部分校正系数。
如图8所示，光源控制部302将表示光源装置20照射的波段的λ设定为380nm(步骤S101)。另外，在本实施方式中，光源控制部302设定380nm～780nm作为可见光波段，但是不限于此，也可以是红外等其他波段。
接着，光源控制部302将光源装置20照射的照明光的波长设定为波长λ，使其照射照明光(步骤S102)。由此，光源装置20朝向摄像装置10照射波长λ的单波长平面的照明光作为被摄体。
然后，第1图像处理控制部305使摄像装置10执行如下的拍摄处理：对光源装置20照射的照明光进行规定次数的拍摄，计算构成摄像元件105的多个像素各自的像素值的平均值(步骤S103)。
图9是示出图8的步骤S103的拍摄处理的概要的流程图。如图9所示，第1图像处理控制部305对缓存区域进行初始化，该缓存区域用于计算第1记录部304的第1缓存部304b中存储的与摄像元件105生成的图像数据对应的各像素的像素值的蓄积值(步骤S201)。
接着，第1图像处理控制部305将计数器i设定为0(步骤S202)，经由第1总线306、第2外部I/F部301、第1外部I/F部116和总线114使摄像元件105开始进行曝光(开始进行光源装置20照射的照明光的拍摄)(步骤S203)，并且，从摄像元件105取入图像数据(步骤S204)。
然后，第1图像处理控制部305对第1缓存部304b中存储的各像素的像素值和从摄像元件105取入的最新的图像数据的每个像素的像素值进行相加，将该相加后的像素值置换为第1缓存部304b中存储的像素值(步骤S205)。
接着，第1图像处理控制部305对计数器i进行向上计数(i＝i+1)(步骤S206)，在取入图像数据的张数(i)小于规定张数(例如100张)的情况下(步骤S207：是)，第1图像处理装置30返回步骤S203。与此相对，在取入图像数据的张数(i)不小于规定张数的情况下(步骤S207：否)，第1图像处理装置30转移到步骤S208。
然后，第1图像处理控制部305将第1缓存部304b中存储的各像素的像素值除以取入图像数据的规定张数(例如100张)，将该相除后的结果置换为第1缓存部304b中存储的每个像素的像素值(步骤S208)。由此，第1缓存部304b中存储的每个像素的像素值成为平均像素值。另外，第1图像处理控制部305也可以在从摄像元件105取入的图像数据的各像素中包含缺陷像素的情况下，对该缺陷像素进行校正。在步骤S208之后，第1图像处理装置30返回上述图8的主例程。另外，在图9的拍摄处理中，计算平均像素值，但是，能够取得至少去除了图像数据中的随机噪声或RTS噪声等闪烁缺陷等随时间变动的噪声后的图像数据即可。因此，也可以使用公知的噪声降低方法等，取得降低了随时间变动的噪声后的图像数据。
返回图8，继续进行步骤S104以后的说明。
在步骤S104中，光源控制部302将光源装置20照射的照明光的波长设定为对波长λ加上10nm。另外，光源控制部302也可以是10nm间隔以外的间隔，例如可以是1nm间隔或5nm间隔。当然，光源控制部302也可以是20nm间隔或50nm间隔。进而，光源控制部302例如可以是红色、绿色和蓝色各自的3个波段的间隔。
接着，在光源装置20照射的照明光的波长λ为780nm以下(λ≦780nm)的情况下(步骤S105：是)，第1图像处理装置30返回步骤S102。与此相对，在光源装置20照射的照明光的波长λ不是780nm以下(λ≦780nm)的情况下(步骤S105：否)，第1图像处理装置30转移到步骤S106。
然后，校正系数计算部307使用第1缓存部304b中存储的拍摄380nm～780nm的被摄体(光源装置20照射的照明光)而得到的图像数据，按照每个像素计算分光感光度特性(步骤S106)。此时，在380nm～780nm中光的放射亮度不相同的情况下，校正系数计算部307在进行归一化之后，按照每个像素计算分光感光度特性。
接着，校正系数计算部307使用第1缓存部304b中存储的拍摄380nm～780nm的被摄体(光源装置20照射的照明光)而得到的图像数据，按照红色、绿色和蓝色的各个滤色器计算基准分光感光度特性(步骤S107)。具体而言，校正系数计算部307使用第1缓存部304b中存储的拍摄380nm～780nm的被摄体(光源装置20照射的照明光)而得到的多个图像数据，按照红色、绿色和蓝色的各个滤色器，通过分光感光度特性的平均值、最大值、最小值、中央值和最频值等的统计方法，计算分光感光度特性的平均值、最大值、最小值、中央值和最频值的任意一方，作为基准分光感光度特性。另外，在本实施方式中，将红色、绿色和蓝色的各个滤色器的分光感光度特性的平均值作为基准分光感光度特性进行说明。并且，在被摄体不是完全平坦的情况或由于光学系统101而产生阴影的情况等、未对摄像元件105照射均匀光的情况下，校正系数计算部307也可以按照每个关注像素，使用该关注像素的周围的相同颜色像素的分光感光度特性计算基准分光感光度。
然后，校正系数计算部307执行如下校正系数计算处理：按照摄像元件105的每个像素计算用于对分光感光度特性进行校正的校正系数(步骤S108)。
图10是示出图8的步骤S108的校正系数计算处理的概要的流程图。
如图10所示，校正系数计算部307根据基准分光感光度特性决定各颜色的波段(步骤S301)。具体而言，如图11所示，校正系数计算部307根据基准分光感光度特性，分别决定滤镜B的B波段、滤镜G的G波段和滤镜R的R波段。例如，在图11所示的情况下，校正系数计算部307将B波段决定为380nm～500nm，将G波段决定为500nm～600nm，并且将R波段决定为600nm～780nm。另外，校正系数计算部307也可以决定B波段、G波段和R波段的各个波段，使得波段的一部分重合。并且，相反，校正系数计算部307也可以决定各个波段，使得一部分波段不属于任意波段。并且，各颜色的波段也可以根据分光感光度特性的设计值等而预先决定。
接着，校正系数计算部307根据各像素的分光感光度特性计算各像素的像素值(步骤S302)。具体而言，校正系数计算部307计算与各像素相同颜色的波段中的像素的分光感光度特性的累积值，计算该值作为像素值。该像素值相当于对具有仅相同颜色的波段的特性为1、除此以外的波段的特性为0的矩形分光特性的被摄体(照明光)进行曝光时的像素值。另外，校正系数计算部307在能够限定或确定预先假设的被摄体(光源或照明光的波段)的情况下，也可以根据该被摄体的分光特性进行加权相加，由此求出与对该被摄体进行曝光时的像素值相当的值。
然后，校正系数计算部307使用关注像素的周围、即具有与关注像素处的滤镜的颜色不同的滤镜的不同颜色像素的像素值进行插值，由此，估计关注像素中与该像素不同颜色的不同颜色像素值(步骤S303)。具体而言，校正系数计算部307在关注像素为G像素的情况下，计算不同颜色即R波段和B波段的像素值。并且，在步骤S303中，校正系数计算部307使用具有与关注像素处的滤镜的颜色相同的滤镜的周边像素值进行插值，由此估计与该像素相同颜色的平均像素值。具体而言，校正系数计算部307在关注像素为G像素的情况下，计算G波段的平均像素值。
图11是示意地示出使用通常光的情况下的校正系数计算时的分光特性的图。图12是示意地示出使用窄带光的情况下的校正系数计算时的分光特性的图。在图11和图12中，横轴示出波长，纵轴示出相对分光感光度。这里，通常光是钨灯或氙灯的光源照射的可见光的光、太阳光等自然光的光、即分光特性连续变化的光。并且，窄带光是荧光灯、LED(LightEmitting Diode：发光二极管)灯或激光光源、具有使一部分波段穿过的滤镜的光源等光源照射的光、即分光特性离散的光。这里，分光特性离散的光包含一部分波段的强度较强、其他波段的强度明显弱的光的情况。
如图11所示，校正系数计算部307在拍摄时使用通常光(窄带光以外)的情况下，在关注像素为G像素时，分别计算与关注像素不同颜色即R波段的像素值Sr1和B波段的像素值Sb1、以及与关注像素相同颜色即G波段的平均像素值Sg1，由此，估计关注像素中与该关注像素不同颜色的不同颜色像素值和与关注像素相同颜色的平均像素值。并且，如图12所示，校正系数计算部307在拍摄时使用窄带光的情况下，在关注像素为G像素时，分别计算不同颜色即R波段的像素值Sr2和B波段的像素值Sb2、以及与关注像素相同颜色即G波段的平均像素值Sg2，由此，估计关注像素中与该关注像素不同颜色的不同颜色像素值和与关注像素相同颜色的平均像素值。在图12所示的状况下，校正系数计算部307结合要使用的窄带光的主要波段，将R波段、G波段和B波段的各个波段的宽度设定为较窄。具体而言，在图12所示的情况下，设定为窄带光NRL、窄带光NGL和窄带光NBL。另外，在图11和图12中，校正系数计算部307优选使像素值Sb1、像素值Sb2、像素值Sr1和像素值Sr2各自的插值方法与后述第2图像处理装置40执行的校正量计算处理中使用的插值方法相同。同样，优选使平均像素值Sg1和平均像素值Sg2各自的计算方法与后述第2图像处理装置40执行的校正量计算处理中使用的插值方法相同。因此，像素值Sb1、像素值Sb2、像素值Sg1、像素值Sg2、像素值Sr1和像素值Sr2各自的插值方法在后面叙述。
接着，校正系数计算部307在各像素中计算与该像素不同颜色的波段中的误差量(步骤S304)。具体而言，如图11所示，校正系数计算部307在各像素中，利用各波段中累积的值来计算分光感光度特性与基准分光感光度特性之差。例如，如图11的曲线LG1和曲线LG2所示，校正系数计算部307在关注像素为G像素的情况下，计算在R波段、G波段和B波段中分别对曲线LG2与曲线LG1之差进行累积而得到的值作为误差量Δr1、误差量Δg1和误差量Δb1。并且，在窄带光的情况下，如图12的曲线LG1和曲线LG2所示，校正系数计算部307在关注像素为G像素时，计算在R波段、G波段和B波段中分别对曲线LG1与曲线LG2之差进行累积而得到的值作为误差量Δr2、误差量Δg2和误差量Δb2。这里，在分光感光度特性大于(高于)基准分光感光度特性的情况下，误差量设为正值，在分光感光度特性小于(低于)基准分光感光度特性的情况下，误差量设为负值。
然后，校正系数计算部307在各像素中，将误差量除以估计出的不同颜色像素值或平均像素值，由此计算该像素处的校正系数(步骤S305)。例如，如图11所示，在关注像素为G像素时，校正系数计算部307计算上述步骤S304中计算出的R波段的误差量除以上述步骤S303中估计出的R波段的像素值而得到的值(Δr1/Sr1)作为R成分的校正系数，计算上述步骤S304中计算出的G波段的误差量除以上述步骤S303中估计出的G波段的平均像素值而得到的值(Δg1/Sg1)作为G成分的校正系数，计算上述步骤S304中计算出的B波段的误差量除以上述步骤S303中估计出的B波段的像素值而得到的值(Δb1/Sb1)作为B成分的校正系数。并且，如图12所示，在关注像素为G像素时，校正系数计算部307计算上述步骤S304中计算出的R波段的误差量除以上述步骤S303中估计出的R波段的像素值而得到的值(Δr2/Sr2)作为R成分的校正系数，计算上述步骤S304中计算出的G波段的误差量除以上述步骤S303中估计出的G波段的平均像素值而得到的值(Δg2/Sg2)作为G成分的校正系数，计算上述步骤S304中计算出的B波段的误差量除以上述步骤S303中估计出的B波段的像素值而得到的值(Δb2/Sb2)作为B成分的校正系数。进而，校正系数计算部307针对各像素，针对其他颜色、例如R像素和B像素也分别同样计算校正系数。在步骤S305之后，第1图像处理装置300返回图8的主例程。
返回图8，继续进行步骤S109以后的说明。
在步骤S109中，校正系数计算部307将摄像元件105的各像素中计算出的校正系数作为该像素的校正系数记录在摄像装置10的校正系数记录部113b中。在拍摄时，除了太阳光等自然光以外，特别是在暗处等，从图1中未图示的发光部发出光对被摄体进行照射，使摄像元件105对其反射光进行摄像。关于上述分光感光度偏差，有时偏差程度根据波长而不同。因此，优选校正系数计算部307进行与从发光部发出的光(对被摄体照射的光)一致的校正。特别地，发出的光越是窄带，则与自然光等通常光之间的偏差程度越容易不同。由此，校正系数计算部307将与拍摄时使用的光源的每个种类对应的校正系数记录在校正系数记录部113b中。具体而言，校正系数计算部307将拍摄时使用的光源的种类和校正系数对应起来记录在校正系数记录部113b中。例如，校正系数计算部307将表示是通常光的信息和如上述图11那样计算出的校正系数对应起来记录在校正系数记录部113b中。并且，将表示是窄带光的信息和如上述图12那样计算出的校正系数对应起来记录在校正系数记录部113b中。由此，能够记录与多个光源分别对应的各像素的校正系数。在步骤S109之后，第1图像处理装置30结束本处理。
这样，第1图像处理装置30根据由摄像元件105生成的图像数据，按照每个像素计算用于通过像素值之差对该图像数据中的关注像素的分光感光度与预先设定的基准分光感光度之差进行校正的校正系数，该摄像元件105以规定图案在多个像素各自的受光面上配置具有相互不同的分光透射率的多个滤色器。其结果，能够按照每个像素计算用于对构成摄像元件105的多个像素各自的分光感光度的偏差进行校正的校正系数。
〔第2图像处理装置的处理〕
接着，对第2图像处理装置40执行的处理进行说明。图13是示出第2图像处理装置40执行的处理的概要的流程图，示出主例程。
如图13所示，首先，校正量计算部404执行如下的校正量计算处理：从摄像装置10取得摄像元件105生成的图像数据和校正系数记录部113b记录的校正系数，计算所取得的图像数据中的关注像素的像素值的校正量(步骤S401)。另外，校正量计算处理的概要在后面叙述。
接着，像素值校正部405减去校正量计算部404计算出的各像素的校正量，由此对各像素的像素值进行校正(步骤S402)。在步骤S402之后，第2图像处理装置40结束本处理。
接着，对图13的步骤S401中说明的校正量计算处理进行详细说明。图14是示出校正量计算处理的概要的流程图。
如图14所示，首先，校正量计算部404对计数器y进行初始化(计数器y＝0)，该计数器y表示与第2记录部402的第2缓存部402b中存储的图像数据对应的图像的高度方向(纵向)上的像素的位置(步骤S501)，并对计数器x进行初始化(计数器x＝0)，该计数器x表示与图像数据对应的图像的宽度方向(横向)上的像素的位置(步骤S502)。
接着，针对图像数据中的坐标(x,y)的关注像素，在对R波段的分光感光度偏差进行校正的情况下(步骤S503：是)，校正量计算部404转移到后述步骤S504。与此相对，针对坐标(x,y)的关注像素，在不对R波段的分光感光度偏差进行校正的情况下(步骤S503：否)，校正量计算部404转移到后述步骤S505。
在步骤S504中，校正量计算部404执行计算R成分的校正量的R成分校正量计算处理。这里，R成分是R波段的像素值。
图15是示出上述步骤S504的R成分校正量计算处理的概要的流程图。如图15所示，校正量计算部404从第2缓存部402b取得坐标(x,y)的关注像素的周围的R像素的像素值(步骤S601)。
接着，校正量计算部404使用步骤S601中取得的周围的R像素的像素值进行插值，由此估计坐标(x,y)的关注像素处的R成分的像素值(步骤S602)。例如，如图16A～图16D所示，作为校正量计算部404进行的插值方法，根据坐标(x,y)的关注像素处的滤镜的颜色，通过设为关注像素的周围的R像素的像素值的平均值，估计坐标(x,y)的关注像素处的R成分的像素值。具体而言，如图16A所示，校正量计算部404在坐标(x,y)的关注像素处的滤镜的颜色为蓝色的B像素的情况下，估计倾斜4个方向的R像素的像素值的平均值(参照图16A)作为坐标(x,y)的关注像素处的R成分的像素值，在坐标(x,y)的关注像素处的滤镜的颜色为绿色的G像素的情况下，估计相邻的R像素的像素值的平均值(参照图16B和图16C)作为坐标(x,y)的关注像素处的R成分的像素值。并且，校正量计算部404在关注像素处的滤镜的颜色为红色的R像素的情况下，估计上下左右的距离为2个像素的4个R像素值的平均值(参照图16D)作为坐标(x,y)的关注像素处的R成分的平均像素值。这里，校正量计算部404在关注像素为R像素的情况下，也可以计算包含关注像素的平均值作为R成分的平均像素值。并且，也可以检测边缘方向等而增大边缘方向的像素值的权重等，计算进行了加权的平均值。
然后，在对被摄体照射窄带光而进行拍摄的情况下(步骤S603：是)，校正量计算部404转移到后述步骤S604。与此相对，在不对被摄体照射窄带光而进行拍摄的情况下(步骤S603：否)，校正量计算部404转移到后述步骤S605。另外，关于光源的判定，例如可以从菜单进行选择，校正量计算部404也可以根据与图像数据对应的图像的颜色分布进行判定。并且，校正量计算部404还可以直接取得外部的光源的信息。并且，校正量计算部404也可以在通常光和窄带光混合的混合光的情况下(例如LED灯的光+通常光的情况下)，在LED灯照射的光到达的范围内优先选择窄带光，另一方面，在除此以外的范围内选择通常光。此时，校正量计算部404也可以针对构成与图像数据对应的图像的多个像素，分别检测是否映入多个光源，根据该检测结果判定是否是混合光，然后，按照每个像素选择窄带光的校正系数或通常光的校正系数，或者根据混合光的混合比例，按照每个像素对窄带光的校正系数和通常光的校正系数进行混合。
在步骤S604中，校正量计算部404从第2缓存部402b取得与窄带光的光源对应的坐标(x,y)的关注像素处的R成分的校正系数。在步骤S604之后，校正量计算部404转移到后述步骤S606。
在步骤S605中，校正量计算部404从第2缓存部402b取得与通常光对应的坐标(x,y)的关注像素处的R成分的校正系数。在步骤S605之后，校正量计算部404转移到后述步骤S606。
接着，校正量计算部404对上述步骤S602中估计出的坐标(x,y)的关注像素处的R成分的像素值(在关注像素为R像素的情况下为R成分的平均像素值)乘以坐标(x,y)的关注像素处的R成分的校正系数，由此计算针对坐标(x,y)的关注像素处的像素值的R成分的校正量(步骤S606)。在步骤S606之后，校正量计算部404返回图14的校正量计算处理。
返回图14，继续进行步骤S505以后的说明。
在步骤S505中，针对坐标(x,y)的关注像素，在对G波段的分光感光度偏差进行校正的情况下(步骤S505：是)，校正量计算部404转移到后述步骤S506。与此相对，针对坐标(x,y)的关注像素，在不对G波段的分光感光度偏差进行校正的情况下(步骤S505：否)，校正量计算部404转移到后述步骤S507。
在步骤S506中，校正量计算部404执行计算G成分的校正量的G成分校正量计算处理。这里，G成分是G波段的像素值。
图17是示出上述步骤S506的G成分校正量计算处理的概要的流程图。如图17所示，校正量计算部404从第2缓存部402b取得坐标(x,y)的关注像素的周围的G像素的像素值(步骤S701)。
接着，校正量计算部404使用步骤S701中取得的周围的G像素的像素值进行插值，由此估计坐标(x,y)的关注像素处的G成分的像素值(步骤S702)。例如，如图18A～图18D所示，校正量计算部404在坐标(x,y)的关注像素处的滤镜的颜色为红色的R像素的情况下，估计上下左右的G像素的像素值的平均值(参照图18A)作为坐标(x,y)的关注像素处的G成分的像素值，在坐标(x,y)的关注像素处的滤镜的颜色为蓝色的B像素的情况下，估计上下左右的G像素的像素值的平均值(参照图18B)作为坐标(x,y)的关注像素处的G成分的像素值。并且，校正量计算部404在关注像素中的滤镜的颜色为绿色的G像素的情况下，估计倾斜4个方向的G像素值的平均值(参照图18C和图18D)作为坐标(x,y)的关注像素处的G成分的平均像素值。这里，校正量计算部404在关注像素为G像素的情况下，也可以计算包含关注像素的平均值作为G成分的平均像素值。并且，校正量计算部404也可以检测边缘方向等而增大边缘方向的像素值的权重等，计算进行了加权的平均值。
然后，在对被摄体照射窄带光而进行拍摄的情况下(步骤S703：是)，校正量计算部404转移到后述步骤S704。与此相对，在不对被摄体照射窄带光而进行拍摄的情况下(步骤S703：否)，校正量计算部404转移到后述步骤S705。
在步骤S704中，校正量计算部404从第2缓存部402b取得与窄带光的光源对应的坐标(x,y)的关注像素处的G成分(G波段的像素值)的校正系数。在步骤S704之后，校正量计算部404转移到后述步骤S706。
在步骤S705中，校正量计算部404从第2缓存部402b取得与通常光对应的坐标(x,y)的关注像素处的G成分的校正系数。在步骤S705之后，校正量计算部404转移到后述步骤S706。
接着，校正量计算部404对上述步骤S702中估计出的坐标(x,y)的关注像素处的G成分的像素值(在关注像素为G像素的情况下为G成分的平均像素值)乘以坐标(x,y)的关注像素处的G成分的校正系数，由此计算针对坐标(x,y)的关注像素的像素值的G成分的校正量(步骤S706)。在步骤S706之后，校正量计算部404返回图14的校正量计算处理。
返回图14，继续进行步骤S507以后的说明。
在步骤S507中，针对坐标(x,y)的关注像素，在对B波段的分光感光度偏差进行校正的情况下(步骤S507：是)，校正量计算部404转移到后述步骤S508。与此相对，针对坐标(x,y)的关注像素，在不对B波段的分光感光度偏差进行校正的情况下(步骤S507：否)，校正量计算部404转移到后述步骤S509。
在步骤S508中，校正量计算部404执行计算B成分的校正量的B成分校正量计算处理。这里，B成分是B波段的像素值。
图19是示出上述步骤S508的B成分校正量计算处理的概要的流程图。如图19所示，校正量计算部404从第2缓存部402b取得坐标(x,y)的关注像素的周围的B像素的像素值(步骤S801)。
接着，校正量计算部404使用步骤S801中取得的周围的B像素的像素值进行插值，由此估计坐标(x,y)的关注像素处的B成分的像素值(步骤S802)。例如，如图20A～图20D所示，校正量计算部404在坐标(x,y)的关注像素处的滤镜的颜色为绿色的G像素的情况下，估计上下或左右的B像素的像素值的平均值(参照图20A和图20B)作为坐标(x,y)的关注像素处的B成分的像素值，在坐标(x,y)的关注像素处的滤镜的颜色为红色的R像素的情况下，估计倾斜方向的B像素的像素值的平均值(参照图20C)作为坐标(x,y)的关注像素处的B成分的像素值。并且，校正量计算部404在关注像素处的滤镜的颜色为蓝色的B像素的情况下，估计上下左右的距离为2个像素的4个B像素值的平均值(参照图20D)作为坐标(x,y)的关注像素处的B成分的平均像素值。这里，校正量计算部404在关注像素为B像素的情况下，也可以计算包含关注像素的平均值作为B成分的平均像素值。并且，校正量计算部404也可以检测边缘方向等而增大边缘方向的像素值的权重等，计算进行了加权的平均值。
然后，在对被摄体照射窄带光而进行拍摄的情况下(步骤S803：是)，校正量计算部404转移到后述步骤S804。与此相对，在不对被摄体照射窄带光而进行拍摄的情况下(步骤S803：否)，校正量计算部404转移到后述步骤S805。
在步骤S804中，校正量计算部404从第2缓存部402b取得与窄带光的光源对应的坐标(x,y)的B成分的校正系数。在步骤S804之后，校正量计算部404转移到后述步骤S806。
在步骤S805中，校正量计算部404从第2缓存部402b取得与通常光对应的坐标(x,y)的B成分的校正系数。在步骤S805之后，校正量计算部404转移到后述步骤S806。
接着，校正量计算部404对上述步骤S802中估计出的坐标(x,y)的关注像素处的B成分的像素值(在关注像素为B像素的情况下为B成分的平均像素值)乘以坐标(x,y)的关注像素处的B成分的校正系数，由此计算针对坐标(x,y)的关注像素的像素值的B成分的校正量(步骤S806)。在步骤S806之后，校正量计算部404返回图14的校正量计算处理。
返回图14，继续进行步骤S509以后的说明。
在步骤S509中，校正量计算部404计算上述步骤S503～步骤S508中计算出的坐标(x,y)的关注像素处的校正量(设未计算的成分的校正量为0)之和作为坐标(x,y)的关注像素的校正量。
接着，校正量计算部404对计数器x进行向上计数(x＝x+1)(步骤S510)。
然后，在计数器x小于与图像数据对应的图像的宽度的情况下(步骤S511：是)，校正量计算部404返回步骤S503。与此相对，在计数器x不小于与图像数据对应的图像的宽度的情况下(步骤S511：否)，校正量计算部404转移到步骤S512。
接着，校正量计算部404对计数器y进行向上计数(y＝y+1)(步骤S512)。
然后，在计数器y小于与图像数据对应的图像的高度的情况下(步骤S513：是)，校正量计算部404返回步骤S502。与此相对，在计数器y不小于与图像数据对应的图像的高度的情况下(步骤S513：否)，校正量计算部404返回图13的主例程。
这样，在第2图像处理装置40中，校正量计算部404取得摄像装置10的校正系数记录部113b记录的校正系数，根据所取得的校正系数和关注像素处的周围像素的像素值，计算用于对关注像素的像素值进行校正的校正量，像素值校正部405使用由校正量计算部404计算出的校正量对关注像素的像素值进行校正。由此，能够对构成摄像元件105的多个像素各自的分光感光度的偏差进行校正。另外，第2图像处理装置40对R像素、G像素和B像素各自的像素值进行校正，但是，例如也可以仅对G像素的R成分的像素值进行校正。
并且，如上所述，在第2图像处理装置40中，分光感光度相对较低的波段与相对较高的波段相比，分光感光度偏差造成的影响较大，所以，也可以仅对与关注像素处的滤镜不同颜色的波段进行校正。该情况下，在步骤S503中关注像素不是R像素的情况下判定为“是”，在步骤S505中关注像素不是G像素的情况下判定为“是”，在步骤S507中关注像素不是B像素的情况下判定为“是”即可。由此，与上述相比，能够削减运算量。
根据以上说明的本发明的实施方式1，校正系数计算部307针对由摄像元件105生成的图像数据，按照多个像素中的每一个像素计算用于对关注像素中由分光感光度与预先设定的基准分光感光度之差引起的像素值差分进行校正的校正系数，该摄像元件105在多个像素各自的受光面上设置具有相互不同的分光透射率的多个颜色的滤色器106中的任意一方，所以，能够高效地计算用于按照每个像素对构成摄像元件105的多个像素各自的分光感光度的偏差进行校正的校正系数。
并且，根据本发明的实施方式1，校正系数计算部307根据拍摄时使用的光源对检测方法进行变更，由此，能够根据光源，按照每个像素计算用于对分光感光度的偏差进行校正的适当的校正系数。
并且，根据本发明的实施方式1，校正量计算部404根据由校正系数记录部113b记录的关注像素处的校正系数和关注像素处的周围像素的像素值，计算用于对关注像素的像素值进行校正的校正量，像素值校正部405根据由校正量计算部404计算出的校正量，对关注像素的像素值进行校正，所以，能够按照每个像素对由于分光感光度的偏差而产生的像素值之差进行校正。
并且，根据本发明的实施方式1，校正量计算部404从校正系数记录部113b取得与拍摄时使用的光源对应的校正系数，所以，能够根据光源计算关注像素的像素值的适当的校正量。
另外，在本发明的实施方式1中，摄像装置10和第1图像处理装置30分别分开设置，但是，也可以在摄像装置10内设置第1图像处理装置30。
并且，在本发明的实施方式1中，摄像装置10和第2图像处理装置40分别分开设置，但是，也可以在摄像装置10内设置第2图像处理装置40。
(实施方式2)
接着，对本发明的实施方式2进行说明。本实施方式2的摄像系统具有与上述实施方式1的摄像系统1相同的结构，第1图像处理装置执行的处理不同。具体而言，在上述实施方式1中，作为被摄体的光源装置20照射通常光或特定波长的光，但是，在本实施方式2中，使光源装置20照射红色、绿色和蓝色各个波段的光。因此，对本实施方式2的第2图像处理装置执行的处理进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。
〔第2图像处理装置的处理〕
图21是示出第1图像处理装置30执行的处理的概要的流程图，示出主例程。另外，在图21中，对第1图像处理装置30执行的、计算用于对各像素的分光感光度进行校正的校正系数的处理进行说明。
如图21所示，光源控制部302将光源装置20照射的光(被摄体)的波段设定为红色波段，作为红色均匀被摄体这一被摄体而照射照明光(步骤S901)。具体而言，如图22的曲线LR10所示，光源控制部302将光源装置20照射的光的波段设定为600nm～780nm，朝向摄像装置10照射分光放射亮度比其他波段高的均匀红色光作为被摄体。另外，如图22的曲线LR11所示，光源控制部302也可以使光源装置20照射波段比波段600nm～780nm窄的窄带光。
接着，第1图像处理装置30使摄像装置10执行如下的拍摄处理：多次拍摄光源装置20照射的红色照明光，计算构成摄像元件105的各像素的像素值的平均值(步骤S902)。另外，拍摄处理与上述图9的拍摄处理相同，所以省略说明。
然后，光源控制部302将光源装置20照射的光的波段设定为绿色波段而进行照射(步骤S903)。具体而言，如图23的曲线LG10所示，光源控制部302将光源装置20照射的光的波段设定为500nm～600nm，朝向摄像装置10照射分光放射亮度比其他波段高的均匀绿色光作为被摄体。另外，如图23的曲线LG11所示，光源控制部302也可以使光源装置20照射波段比波段500nm～600nm窄的窄带光。
接着，第1图像处理装置30使摄像装置10执行如下的拍摄处理：多次拍摄光源装置20照射的绿色照明光，计算构成摄像元件105的各像素的像素值的平均值(步骤S904)。另外，拍摄处理与上述图9的拍摄处理相同，所以省略说明。
然后，光源控制部302将光源装置20照射的光的波段设定为蓝色波段而进行照射(步骤S905)。具体而言，如图24的曲线LB10所示，光源控制部302将光源装置20照射的光的波段设定为380nm～500nm，朝向摄像装置10照射分光放射亮度比其他波段高的均匀蓝色光作为被摄体。另外，如图24的曲线LB11所示，光源控制部302也可以使光源装置20照射波段比波段380nm～500nm窄的窄带光。
接着，第1图像处理装置30使摄像装置10执行如下的拍摄处理：多次拍摄光源装置20照射的蓝色照明光，计算构成摄像元件105的各像素的像素值的平均值(步骤S906)。另外，拍摄处理与上述图9的拍摄处理相同，所以省略说明。
然后，校正系数计算部307对计数器y进行初始化(计数器y＝0)，该计数器y表示与第1缓存部304b中记录的图像数据对应的图像的高度方向(纵向)上的像素的位置(步骤S907)，并且，对计数器x进行初始化(计数器x＝0)，该计数器x表示与图像数据对应的图像的宽度方向(横向)上的像素的位置(步骤S908)。
接着，校正系数计算部307使用滤色器的颜色与坐标(x,y)的关注像素为相同颜色的周围像素，计算坐标(x,y)的关注像素处的附近平均值(步骤S909)。具体而言，校正系数计算部307使用拍摄与关注像素的颜色不同颜色的照明光而得到的像素的周围像素，计算坐标(x,y)的关注像素处的附近平均值。例如，如图25A和图25B所示，校正系数计算部307在关注像素为G像素的情况下，使用对红色照明光进行摄像而得到的图像PR和对蓝色照明光进行摄像而得到的图像PB各自的周围像素，分别计算坐标(x,y)的关注像素处的附近平均值R和附近平均值B。这里，周围像素是以关注像素为中心在5×5的范围内包含的像素，是除了关注像素以外的与关注像素相同颜色的像素。另外，校正系数计算部307也可以使用以关注像素为中心在3×3或7×7等其他大小的范围内包含的像素、且除了关注像素以外的周围像素，分别计算附近平均值R和附近平均值B。并且，校正系数计算部307也可以使用以关注像素为中心在3×3或5×5、7×7等大小的范围内包含的像素、且包含关注像素的周围像素，分别计算附近平均值R和附近平均值B。
然后，校正系数计算部307使用对与坐标(x,y)的关注像素不同颜色的照明光进行摄像而得到的图像中的位于坐标(x,y)的关注像素周围、且与被摄体相同颜色的像素的像素值进行插值，由此估计坐标(x,y)的关注像素处的不同颜色像素值(步骤S910)。这里，位于周围的像素是与关注像素相邻的位置的像素或位于关注像素附近的像素。具体而言，如图25A和图25B所示，校正系数计算部307在坐标(x,y)的关注像素为G像素的情况下，使用对红色照明光进行摄像而得到的图像PR中的坐标(x,y)的关注像素周围的R像素，估计坐标(x,y)的关注像素处的R像素的不同颜色像素值(R)，使用对蓝色照明光进行摄像而得到的图像PB中的坐标(x,y)的关注像素周围的B像素，估计坐标(x,y)的关注像素处的B像素的不同颜色像素值(B)。
接着，校正系数计算部307计算步骤S909中计算出的坐标(x,y)的关注像素处的附近平均值与计算附近平均值的图像中的坐标(x,y)的关注像素的像素值之差作为误差量(步骤S911)。这里，在坐标(x,y)的关注像素的像素值大于附近平均值的情况下，误差量设为正值，在坐标(x,y)的关注像素的像素值小于附近平均值的情况下，误差量设为负值。
然后，校正系数计算部307将上述步骤S911中计算出的坐标(x,y)的关注像素处的误差量除以步骤S910中估计出的不同颜色像素值，由此计算校正系数(步骤S912)。具体而言，校正系数计算部307在关注像素为G像素的情况下，将根据对红色照明光进行摄像而得到的图像计算出的误差量除以根据相同图像使用位于关注像素周围的R像素的像素值估计出的不同颜色像素值(R)，并将根据对蓝色照明光进行摄像而得到的图像计算出的误差量除以根据相同图像使用位于关注像素周围的B像素的像素值估计出的不同颜色像素值(B)，由此分别计算R成分的校正系数和B成分的校正系数。
接着，校正系数计算部307对计数器x进行向上计数(x＝x+1)(步骤S913)。
然后，在计数器x小于与图像数据对应的图像的宽度的情况下(步骤S914：是)，校正系数计算部307返回步骤S909。与此相对，在计数器x不小于与图像数据对应的图像的宽度的情况下(步骤S914：否)，校正系数计算部307转移到步骤S915。
接着，校正系数计算部307对计数器y进行向上计数(y＝y+1)(步骤S915)。
然后，在计数器y小于与图像数据对应的图像的高度的情况下(步骤S916：是)，校正系数计算部307返回步骤S908。与此相对，在计数器y不小于与图像数据对应的图像的高度的情况下(步骤S916：否)，校正系数计算部307转移到步骤S917。
接着，校正系数计算部307将摄像元件105的各像素中在与滤色器106相同的波段以外的波段中计算出的校正系数作为该像素的校正系数记录在第1记录部304中(步骤S917)。例如，校正系数计算部307在滤色器106为RGB的拜耳排列的情况下，在R像素时，将在B和G各自的波段中计算出的校正系数作为该像素的校正系数记录在摄像装置10的校正系数记录部113b中，在G像素时，将在R和B各自的波段中计算出的校正系数作为该像素的校正系数记录在摄像装置10的校正系数记录部113b中，在B像素时，将在R和G各自的波段中计算出的校正系数作为该像素的校正系数记录在摄像装置10的校正系数记录部113b中。在步骤S917之后，第2图像处理装置40结束本处理。
根据以上说明的本发明的实施方式2，照射红色、绿色和蓝色各个波段的光作为被摄体，由此，校正系数计算部307能够简易地计算用于对每个像素的分光感光度的偏差进行校正的校正系数。
并且，根据本发明的实施方式2，校正系数计算部307使用关注像素处的周围像素的像素值计算附近平均值，根据该附近平均值和关注像素的像素值，按照每个像素计算用于对分光感光度的偏差进行校正的校正系数，所以，即使在被摄体中产生些许不均，也能够高精度地计算校正系数。
并且，根据本发明的实施方式2，校正量计算部404计算针对规定波段中的一部分颜色的校正量，所以，能够计算在视觉上维持校正效果并削减了运算量的校正量。
另外，在本发明的实施方式2中，有时在关注像素的颜色成分(例如G像素的G成分)中也产生分光感光度的偏差，所以，可以同样计算关注像素的颜色成分的校正系数。该情况下，校正系数计算部307基于对与关注像素相同颜色的照明光进行摄像而得到的图像，根据具有与关注像素相同的滤色器的周围像素的像素值，计算关注像素的附近平均值，计算该附近平均值与关注像素的像素值之差作为误差量，将该误差量除以关注像素的附近平均值，由此计算关注像素的颜色成分的校正系数即可。
(实施方式3)
接着，对本发明的实施方式3进行说明。在上述实施方式1、2中，摄像装置10、第1图像处理装置30和第2图像处理装置40分别单独设置，但是，在本实施方式3中，在摄像装置内设置第1图像处理装置和第2图像处理装置。因此，下面，对本实施方式3的摄像系统进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。
〔摄像系统的结构〕
图26是示意地示出本发明的实施方式3的摄像装置的结构的框图。图26所示的摄像装置10a在计算校正系数的情况下配置在壳体100内，在通常拍摄时配置在壳体100外。并且，在计算校正系数的情况下，摄像装置10a经由通信缆线等而与光源装置20连接。摄像装置10a在上述实施方式1的摄像装置10的结构的基础上，具有光源控制部302a、第1图像处理部60、第2图像处理部70、第3图像处理部80、显示部90。
第1图像处理部60具有随机噪声去除部501、校正系数计算部307。
随机噪声去除部501去除摄像元件105生成的图像数据的随机噪声，将该去除了随机噪声后的图像数据输出到校正系数计算部307。随机噪声去除部501使用公知的技术，去除构成与图像数据对应的图像的多个像素中分别产生的随机噪声。
第2图像处理部70具有随机噪声去除部502、校正量计算部404、像素值校正部405。
随机噪声去除部502具有与上述随机噪声去除部501相同的功能，去除摄像元件105生成的图像数据的随机噪声，将该去除了随机噪声后的图像数据输出到校正量计算部404。
第3图像处理部80具有与上述图像处理部406相同的功能，对由像素值校正部405校正了像素值后的图像数据进行规定的图像处理，将进行了该图像处理后的图像数据输出到显示部90。
显示部90显示与摄像装置10a有关的各种信息、与图像数据对应的图像。显示部90使用液晶或有机EL等显示面板构成。
在这样构成的摄像装置10a中，第1图像处理部60和第2图像处理部70分别执行与上述实施方式1、2相同的处理。具体而言，第1图像处理部60执行计算校正系数的处理，第2图像处理部70执行对校正量进行校正的处理。
根据以上说明的本发明的实施方式3，具有与上述实施方式1、2相同的效果。
(其他实施方式)
本发明的实施方式1～3的滤色器106是由R滤镜、G滤镜和B滤镜构成的拜耳排列的滤色器，但是，即使是其他滤色器，也能够应用本发明。如图27所示，在本发明中，代替上述实施方式1～3的滤色器106的R滤镜，也可以是由补色的Mg(品红)滤镜、G滤镜和B滤镜构成的滤色器106a。并且，如图28所示，在本发明中，也可以是分别倾斜配置R滤镜、G滤镜和B滤镜的滤色器106b。另外，在图28所示的状况下，摄像元件的各像素也倾斜配置。进而，如图29所示，在本发明中，也可以是使用Cy(青色)滤镜、Mg滤镜和Ye(黄色)滤镜的补色滤镜的滤色器。在使用图29所示的滤色器106c的情况下，通过公知的根据补色对原色进行插值的插值方法进行插值即可。
并且，在本发明的实施方式1～3中，在一个摄像元件中设置具有相互不同的分光透射率的多个滤色器，但是，例如，即使是使用在各像素的受光面或摄像元件整面仅设置透射绿色波段的G滤镜而成的摄像元件、以及如方格图案那样交替在各像素的受光面设置透射红色或蓝色波段的R滤镜和B滤镜而成的摄像元件的双板式摄像装置，也能够应用本发明。该情况下，在计算一个摄像元件中的G像素的校正系数的情况下，使用与该G像素的坐标对应的另一个摄像元件的R像素或B像素的像素值，由此能够计算本发明的校正系数和校正量。
本发明不限于上述实施方式，当然能够在本发明的主旨的范围内进行各种变形和应用。例如，除了本发明的说明中使用的摄像装置以外，还能够应用于通过具有便携电话或智能手机中的摄像元件的便携设备、摄像机、内窥镜、监视照相机、显微镜这样的光学设备拍摄被摄体的摄像装置等能够对被摄体进行摄像的任何设备。
并且，在本说明书中，在所述各动作流程图的说明中，为了简便而使用“首先”、“接着”、“接下来”、“然后”等对动作进行说明，但是，并不意味着必须按照该顺序来实施动作。
并且，上述实施方式中的图像处理装置的各处理的方法、即各流程图所示的处理都可以作为能够使CPU等控制部执行的程序来存储。除此之外，可以存储在存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，CPU等控制部读入该外部存储装置的存储介质中存储的程序，通过该读入的程序对动作进行控制，由此能够执行上述处理。
并且，本发明不限于上述实施方式和变形例原样，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述实施方式所公开的多个结构要素，能够形成各种发明。例如，也可以从上述实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，还可以适当组合各实施例和变形例中说明的结构要素。
并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。
标号说明
1：摄像系统；10、10a：摄像装置；20：光源装置；30：第1图像处理装置；40：第2图像处理装置；50：显示装置；60：第1图像处理部；70：第2图像处理部；80：第3图像处理部；90：显示部；100：壳体；101：光学系统；102：光圈；103：快门；104：驱动器；105：摄像元件；106、106a、106b、106c：滤色器；107：模拟处理部；108：A/D转换部；109：第1操作部；110：存储器I/F部；111：记录介质；112：易失性存储器；113：非易失性存储器；113a：程序记录部；113b：校正系数记录部；114：总线；115：摄像控制部；116：第1外部I/F部；301：第2外部I/F部；302：光源控制部；302a：光源控制部；303：第2操作部；304：第1记录部；304a：第1程序记录部；304b：第1缓存部；305：第1图像处理控制部；306：第1总线；307：校正系数计算部；401：第3外部I/F部；402：第2记录部；402a：第2程序记录部；402b：第2缓存部；403：第2总线；404：校正量计算部；405：像素值校正部；406：图像处理部；501、502：随机噪声去除部。

Claims (12)

1.一种图像处理装置，其特征在于，所述图像处理装置具有校正系数计算部，该校正系数计算部根据由摄像元件生成的图像数据，按照至少配置有多个颜色的滤色器中的规定滤色器的多个像素中的每一个像素，计算用于对关注像素中由分光感光度和预先设定的基准分光感光度在规定波段内的差导致的像素值的偏差进行校正的校正系数，该摄像元件中，使用具有相互不同的分光透射率的所述多个颜色的滤色器形成规定的排列图案，在与所述多个像素中的任意像素对应的位置配置有形成该排列图案的各个滤色器。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述校正系数计算部计算包含如下波段在内的所述规定波段中的所述校正系数：在该波段中，所述关注像素中设置的所述滤色器的分光透射率比其他颜色的所述滤色器的分光透射率低。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述校正系数计算部计算包含如下波段在内的所述规定波段中的所述校正系数：在该波段中，所述关注像素中设置的所述滤色器的分光透射率比其他颜色的所述滤色器的分光透射率高。
4.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
所述校正系数计算部根据配置有与所述关注像素相同颜色的所述滤色器的所述多个像素各自的像素值，计算所述基准分光感光度。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述校正系数计算部计算配置有与所述关注像素相同颜色的所述滤色器的所述多个像素各自的分光感光度的平均值，或者按照每个所述关注像素计算位于该关注像素的周边且配置有与该关注像素相同颜色的所述滤色器的所述多个像素各自的分光感光度的平均值，作为所述基准分光感光度。
6.根据权利要求4所述的图像处理装置，其特征在于，
所述校正系数计算部按照照射相互不同的波长特性的光的每个光源计算所述校正系数。
7.根据权利要求4所述的图像处理装置，其特征在于，
所述摄像元件通过接收规定波段的分光放射亮度比其他波段高的均匀光，生成所述图像数据。
8.根据权利要求4所述的图像处理装置，其特征在于，
所述图像处理装置还具有随机噪声去除部，该随机噪声去除部去除所述图像数据的随机噪声，
所述校正系数计算部针对由所述随机噪声去除部去除所述随机噪声后的所述图像数据计算所述校正系数。
9.根据权利要求4所述的图像处理装置，其特征在于，
所述滤色器的颜色是红色、绿色和蓝色。
10.根据权利要求4所述的图像处理装置，其特征在于，
所述滤色器的颜色是青色、品红、黄色和绿色。
11.一种图像处理方法，其由图像处理装置来执行，其特征在于，所述图像处理方法包括以下步骤：
取得步骤，取得由摄像元件生成的图像数据，该摄像元件中，使用具有相互不同的分光透射率的多个颜色的滤色器形成规定的排列图案，在与多个像素中的任意像素对应的位置配置有形成该排列图案的各个滤色器；以及
校正系数计算步骤，根据所述取得步骤中取得的所述图像数据，按照至少配置有所述多个颜色的滤色器中的规定滤色器的所述多个像素中的每一个像素，计算用于对关注像素中由分光感光度和预先设定的基准分光感光度在规定波段内的差导致的像素值的偏差进行校正的校正系数。
12.一种计算机可读取的记录介质，其记录有程序，其特征在于，所述程序使图像处理装置执行以下步骤：
取得步骤，取得由摄像元件生成的图像数据，该摄像元件中，使用具有相互不同的分光透射率的多个颜色的滤色器形成规定的排列图案，在与多个像素中的任意像素对应的位置配置有形成该排列图案的各个滤色器；以及
校正系数计算步骤，根据所述取得步骤中取得的所述图像数据，按照至少配置有所述多个颜色的滤色器中的规定滤色器的所述多个像素中的每一个像素，计算用于对关注像素中由分光感光度和预先设定的基准分光感光度在规定波段内的差导致的像素值的偏差进行校正的校正系数。
CN201580077653.2A 2015-03-12 2015-03-12 图像处理装置、图像处理方法和计算机可读取的记录介质 Active CN107409201B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/057377 WO2016143139A1 (ja) 2015-03-12 2015-03-12 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN107409201A CN107409201A (zh) 2017-11-28
CN107409201B true CN107409201B (zh) 2019-02-05

Family

ID=56878661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077653.2A Active CN107409201B (zh) 2015-03-12 2015-03-12 图像处理装置、图像处理方法和计算机可读取的记录介质

Country Status (5)

Country Link
US (1) US10419685B2 (zh)
EP (1) EP3270587A4 (zh)
JP (1) JP6538819B2 (zh)
CN (1) CN107409201B (zh)
WO (1) WO2016143139A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6862229B2 (ja) * 2017-03-15 2021-04-21 キヤノン株式会社 解析装置、撮像装置、解析方法、および、プログラム
JP2019105463A (ja) * 2017-12-08 2019-06-27 キヤノン株式会社 分光測色器及び画像形成装置
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
JP2022016851A (ja) * 2020-07-13 2022-01-25 キヤノン株式会社 撮像装置、及び撮像システム
CN112164005B (zh) * 2020-09-24 2023-03-17 Oppo（重庆）智能科技有限公司 图像颜色校正方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1533160A (zh) * 2003-01-17 2004-09-29 ��ʿ��Ƭ��ʽ���� 固态图像传感器缺陷像素校正及信息生成方法、成像设备
JP2010190741A (ja) * 2009-02-18 2010-09-02 Nikon Corp 測定装置、測定方法および撮像装置
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
CN102739918A (zh) * 2011-03-29 2012-10-17 索尼公司 图像处理装置、方法、记录介质和程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3750830B2 (ja) * 1996-08-30 2006-03-01 ソニー株式会社 撮像装置における色補正装置
US6943837B1 (en) * 1999-12-31 2005-09-13 Intel Corporation Method and apparatus for colormetric channel balancing for solid state image sensor using time division multiplexed sampling waveforms
US7760253B2 (en) * 2005-02-08 2010-07-20 Hewlett-Packard Development Company, L.P. Imaging device analysis methods, imaging device analysis systems, and articles of manufacture
JP4660694B2 (ja) * 2005-06-28 2011-03-30 コニカミノルタセンシング株式会社 分光装置の波長校正方法及び分光装置
JP4804422B2 (ja) * 2007-05-31 2011-11-02 オリンパス株式会社 信号処理装置、信号処理プログラム
WO2009142641A1 (en) * 2008-05-22 2009-11-26 Hewlett-Packard Development Company, L.P. Camera sensor correction
DE112009004707T5 (de) * 2009-04-22 2012-09-13 Hewlett-Packard Development Co., L.P. Räumlich variierende Spektralantwort-Kalibrierungsdaten
JP5460202B2 (ja) * 2009-09-18 2014-04-02 キヤノン株式会社 画像処理装置及び撮像システム
US8619163B2 (en) * 2009-09-18 2013-12-31 Canon Kabushiki Kaisha Solid state imaging using a correction parameter for correcting a cross talk between adjacent pixels
WO2014185209A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1533160A (zh) * 2003-01-17 2004-09-29 ��ʿ��Ƭ��ʽ���� 固态图像传感器缺陷像素校正及信息生成方法、成像设备
JP2010190741A (ja) * 2009-02-18 2010-09-02 Nikon Corp 測定装置、測定方法および撮像装置
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
CN102739918A (zh) * 2011-03-29 2012-10-17 索尼公司 图像处理装置、方法、记录介质和程序

Also Published As

Publication number Publication date
US20170374260A1 (en) 2017-12-28
JP6538819B2 (ja) 2019-07-03
JPWO2016143139A1 (ja) 2017-12-21
EP3270587A4 (en) 2018-10-24
CN107409201A (zh) 2017-11-28
EP3270587A1 (en) 2018-01-17
US10419685B2 (en) 2019-09-17
WO2016143139A1 (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
CN107409201B (zh) 图像处理装置、图像处理方法和计算机可读取的记录介质
CN107409200B (zh) 图像处理装置、图像处理方法和计算机可读取的记录介质
JP6404923B2 (ja) 撮像センサおよび撮像装置
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
US8355074B2 (en) Exposing pixel groups in producing digital images
EP2594062B1 (en) Flash system for multi-aperture imaging
US8805070B2 (en) Image processing apparatus and image processing method
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US20170230638A1 (en) Depth Measurement Techniques for a Multi-Aperture Imaging System
JP2004023784A (ja) デジタルカメラのための較正データを生成する方法および装置
CN108024056B (zh) 基于双摄像头的成像方法和装置
KR102069533B1 (ko) 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
US20160255334A1 (en) Generating an improved depth map using a multi-aperture imaging system
CN108476309A (zh) 图像处理装置、图像处理方法以及程序
JP5185253B2 (ja) デジタル画像上の相対照度現象の処理方法及び関連する処理システム
JP2003199115A (ja) デジタル画像の品質を改善する改善方法
JP2005292784A (ja) 測色機能を備えた測光装置およびその測光装置を備えたカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant