CN105308950A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

图像处理装置、图像处理方法以及图像处理程序 Download PDF

Info

Publication number
CN105308950A
CN105308950A CN201480034125.4A CN201480034125A CN105308950A CN 105308950 A CN105308950 A CN 105308950A CN 201480034125 A CN201480034125 A CN 201480034125A CN 105308950 A CN105308950 A CN 105308950A
Authority
CN
China
Prior art keywords
control information
shading correction
light source
color
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480034125.4A
Other languages
English (en)
Other versions
CN105308950B (zh
Inventor
山田勋
小林俊一
奥野勉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RDA Microelectronics Co., Ltd.
Original Assignee
Acutelogic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acutelogic Corp filed Critical Acutelogic Corp
Publication of CN105308950A publication Critical patent/CN105308950A/zh
Application granted granted Critical
Publication of CN105308950B publication Critical patent/CN105308950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40093—Modification of content of picture, e.g. retouching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

提供能够准确地进行光源的区分且能够进行黑点校正的图像处理装置。摄像装置(1)具有：黑点校正试行部(315)，其基于校正信息存储部(311)存储的关于多个种类的光源的校正信息，按照光源试行性地对图像数据进行黑点校正；校正信息选择部(316)，其将黑点校正试行部(315)对多个种类的光源进行黑点校正的结果进行相互比较，从校正信息存储部(311)存储的关于多个种类的光源的校正信息中选择与适当的黑点校正的结果对应的所述校正信息；以及黑点校正部(317)，其基于校正信息选择部(316)选择出的校正信息，对图像数据进行颜色黑点校正。

Description

图像处理装置、图像处理方法以及图像处理程序
技术领域
本发明涉及对图像数据进行黑点校正(shading-correction)的图像处理装置、图像处理方法以及图像处理程序。
背景技术
当拍摄被摄体时，会发生作为摄像图像的像素而被再现的颜色和/或亮度在像素位置彼此之间偏离的黑点(shading)。当发生黑点时，即使被摄体是相同颜色的情况下，例如在摄影图像的周边部，像素值也偏离上述相同颜色。为了抑制该黑点，提出了各种技术。例如，存在通过图像处理进行黑点校正的情况。在专利文献1中，按照每个像素位置和/或颜色信号预先设定不同的校正系数，使用该校正系数对图像数据进行黑点校正。但是，因为黑点也取决于拍摄时的环境光、光源的分光特性以及被摄体的分光反射特性，因此有时利用单一的校正系数不能获得足够的校正效果。
另外，在专利文献2中公开了通过累计与图像数据的R、G、B对应的信号，根据表示颜色成分的这些信号之比R/G、B/G来求出色度坐标，根据等色温度上的到黑体放射曲线的距离来调整黑点校正量的方法。根据该方法，即使对每种光源的不同的黑点也能够良好地进行黑点校正。
另外，在专利文献3中公开了基于白平衡估计部计算的色温来计算黑点的校正特性的方法。
在先技术文献
专利文献
专利文献1：日本特开平8-079773号公报
专利文献2：日本特开2006-229425号公报
专利文献3：日本特开2005-278004号公报
发明内容
发明要解决的课题
以往主要根据光源的色温、色度坐标来计算对黑点进行校正的校正特性。但是，即使光源的色温、色度坐标大致相同，也存在黑点特性不同的光源。例如，电灯泡和暖白色荧光灯。虽然这两个光源的色温、色度坐标大致相同，但因为分光特性存在较大不同，因此会发生不同的黑点。若如以往那样基于色温、色度坐标来计算对黑点进行校正的校正特性，则因为色温、色度坐标大致相同的光源无法被区别开来，因此存在不能准确地校正黑点的问题。
本发明的目的在于提供一种能够更准确地进行光源的区别且能够进行黑点校正的图像处理装置、图像处理方法以及图像处理程序。
用于解决课题的手段
本发明涉及的图像处理装置的特征在于，该图像处理装置具有：存储单元，其按照每个光源种类将多个种类的光源与校正信息关联起来作为摄影状况进行存储，其中，该校正信息示出表示黑点关于摄影图像中的位置如何分布的黑点特性和用于校正黑点的校正特性中的任意特性，所述黑点是指在拍摄了相同颜色的被摄体的情况下，包含于该摄影图像中的像素值偏离所述相同颜色的现象；校正试行单元，其基于所述存储单元关于至少两种光源所存储的所述校正信息，按照每个光源试行性地对图像数据进行黑点校正；第1选择单元，其将所述校正试行单元关于所述至少两种光源进行黑点校正的结果进行相互比较，从所述存储单元关于所述多个种类的光源所存储的所述校正信息中选择与适当的黑点校正的结果对应的所述校正信息；以及校正单元，其基于所述第1选择单元选择出的所述校正信息，对所述图像数据进行黑点校正。
本发明涉及的图像处理方法的特征在于，该方法具有：校正试行步骤，基于存储单元的校正信息，关于至少两种光源按照每个光源试行性地对图像数据进行黑点校正，其中，该存储单元按照每个光源种类将多个种类的光源与校正信息关联起来作为摄影状况进行存储，其中，该校正信息示出表示黑点关于摄影图像中的位置如何分布的黑点特性和用于校正黑点的校正特性中的任意特性，所述黑点是指在拍摄了相同颜色的被摄体的情况下，包含于该摄影图像中的像素值偏离所述相同颜色的现象；选择步骤，对在所述校正试行步骤中关于所述至少两种光源进行黑点校正的结果进行相互比较，从所述存储单元存储的关于所述多个种类的光源的所述校正信息中选择与适当的黑点校正的结果对应的所述校正信息；以及校正步骤，基于在所述选择步骤中选择出的所述校正信息，对所述图像数据进行黑点校正。
本发明涉及的使计算机发挥对图像数据进行黑点校正的功能的图像处理程序，其使计算机执行以下步骤：校正试行步骤，基于存储单元的校正信息，关于至少两种光源按照每个光源试行性地对图像数据进行黑点校正，其中，该存储单元按照每个光源种类将多个种类的光源与校正信息关联起来作为摄影状况进行存储，其中，该校正信息示出表示黑点关于摄影图像中的位置如何分布的黑点特性和用于校正黑点的校正特性中的任意特性，所述黑点是指在拍摄了相同颜色的被摄体的情况下，包含于该摄影图像中的像素值偏离所述相同颜色的现象；选择步骤，对在所述校正试行步骤中关于所述至少两种光源进行黑点校正的结果进行相互比较，从所述存储单元存储的关于所述多个种类的光源的所述校正信息中选择与适当的黑点校正的结果对应的所述校正信息；以及校正步骤，基于在所述选择步骤中选择出的所述校正信息，对所述图像数据进行黑点校正。
发明效果
在本发明中，比较对至少两种光源试行黑点校正的结果，在黑点校正中使用产生适当的黑点校正结果的校正信息。因此，不像以往那样使用色温或色度信息等，能够根据图像数据估计出黑点特性对图像数据进行黑点校正。即，能够根据图像数据更准确地进行光源的区分地来进行黑点校正。
附图说明
图1是示出本发明的实施方式涉及的摄像装置的结构的框图。
图2是示出拜耳阵列的模式图。
图3是示出图像处理部的结构的框图。
图4是示出数据库的一例的图。
图5的(a)和(b)是未发生颜色黑点的情况下的图表。(c)和(d)是发生颜色黑点情况下的图表。
图6是对被摄体呈现相同颜色情况下的图像数据进行了颜色黑点校正的例子。(a)和(b)是利用与光源A对应的校正信息进行了颜色黑点校正的情况下的图表。(c)和(d)是利用与光源B对应的校正信息进行了颜色黑点校正的情况下的图表。(e)和(f)是利用与光源C对应的校正信息进行了颜色黑点校正的情况下的图表。
图7是对被摄体未呈现相同颜色的情况下的图像数据进行了颜色黑点校正的例子。(a)和(b)是利用与光源A对应的校正信息进行了颜色黑点校正的情况下的图表。(c)和(d)是利用与光源B对应的校正信息进行了颜色黑点校正的情况下的图表。(e)和(f)是利用与光源C对应的校正信息进行了颜色黑点校正的情况下的图表。
图8是示出黑点校正部对图像数据执行颜色黑点校正处理的流程图。
图9是分割成8×6的块的图像数据的例子。
图10是对被摄体呈现相同颜色的情况下的图像数据进行了颜色黑点校正的例子。(a)和(b)是利用与光源A对应的校正信息进行了颜色黑点校正的情况下的图表。(c)和(d)是利用与光源B对应的校正信息进行了颜色黑点校正的情况下的图表。(e)和(f)是利用与光源C对应的校正信息进行了颜色黑点校正的情况下的图表。
具体实施方式
以下，对本发明的第1实施方式进行说明。如图1所示，摄像装置1由以下部分构成：摄像光学系统100，其将被摄体像导入摄像元件200而成像；摄像元件200，其对成像的被摄体像进行光电转换，输出图像数据；图像处理部300，其除了对从摄像元件200输出的图像数据实施规定的图像处理之外还对被摄体像进行再现；以及摄影控制部400，其对摄像光学系统100和摄像元件200进行控制。根据从图像处理部300输出的与1帧图像对应的图像数据生成静态图像的图像数据，根据从图像处理部300按时间顺序连续输出的与多帧图像对应的图像数据生成动态图像数据。
摄像光学系统100具有：前部镜头组111，其由用于向摄像装置1内取入来自摄像对象的光而进行摄像对象的变焦的镜头等构成；校正用镜头112；对焦镜头113，其能够在前后方向上移动调整焦点位置；光圈(光阑)121，其能够调整对来自摄像对象的光进行取入的光圈量；以及机械式快门122，其遮蔽朝向摄像元件200的入射光或者解除遮蔽。对焦镜头113、光圈121以及快门122分别由对焦驱动部131、光圈驱动部132以及快门驱动部133驱动。基于从摄影控制部400发送的控制信号，控制对焦驱动部131、光圈驱动部132以及快门驱动部133的动作。
摄像元件200具有：多个光电转换元件210，它们输出与受光量对应的模拟信号；以及A/D转换器220，其将从多个光电转换元件210输出的模拟信号转换成数字信号。
在各光电转换元件210中具有滤色器。各滤色器是与R(红)、G(绿)和B(蓝)这三原色的颜色成分中的任意一种对应的滤光器。由摄像光学系统100成像的来自被摄体像的光透射过各颜色的滤色器而成为单一颜色的光被光电转换元件210接收。光电转换元件210将与透射过各滤色器的单一颜色的光的强度对应的量的电荷作为模拟电信号输出。这样，摄像元件200作为单片式摄像元件构成。基于从摄影控制部400发送的控制信号控制光电转换元件210的灵敏度。
图2表示拜耳阵列。以拜耳阵列排列的滤色器在列方向上交替配置了在行方向上交替配置了G色滤光器和R色滤光器的行、以及在行方向上交替配置了G色滤光器和B色滤光器的行。其中G色滤光器配置成相间的方格图案状。在本实施方式中，在行方向上与R交替排列的G颜色表示成Gr，在行方向上与B交替排列的G颜色表示成Gb。以下，将各像素排列为拜耳阵列的图像称为“拜耳图像”。
从光电转换元件210输出的模拟信号通过A/D转换器220被转换成数字信号，作为图像数据输出给图像处理部300。
摄影控制部400控制摄像光学系统100的对焦镜头113的焦点位置、光圈121的光圈量以及机械式快门122的快门速度。具体地说，摄影控制部400通过向对对焦镜头113进行驱动的对焦驱动部131、对光圈121进行驱动的光圈驱动部132、对机械式快门122进行控制的快门驱动部133发送控制信号来进行上述控制。另外，摄影控制部400对摄像元件200的光电转换元件210的灵敏度进行控制。具体地说，摄影控制部400通过向光电转换元件210发送控制信号来进行上述控制。此外，对焦镜头113的焦点位置、光圈121的光圈量、机械式快门122的快门速度、光电转换元件210的灵敏度(以下也将这些条件称为“摄影条件”。)能够从未图示的操作部进行变更。
接着，说明对从摄像元件200输出的图像数据施加规定的图像处理的图像处理部300。如图3所示，图像处理部300具有：黑点校正部310、WB(白平衡)校正部330、颜色插值部340、颜色校正部350和伽马校正部360。图像处理部300由CPU(CentralProcessingUnit：中央处理单元)、ROM(ReadOnlyMemory：只读存储器)以及其它各种硬件、和存储于ROM中的程序以及其它软件构成。通过该软件使硬件以实现黑点校正部310等的各功能部的方式发挥作用来实现图像处理部300。或者，既可以由专用于各功能部中的运算处理的电子电路等构成黑点校正部310等，也可以以专用于各功能部中的运算处理的电子电路等与硬件和软件的组合来实现各功能部的结构彼此协同工作的方式构成。
黑点校正部310对图像数据中进行颜色黑点校正。后面进行详细叙述。
WB校正部330对来自黑点校正部310的图像数据实施白平衡校正处理。白平衡校正处理是当拍摄无彩色的被摄体时对信号整体的RGB水平的平衡进行校正，以使得该像素值正确地成为R＝G＝B的处理。颜色插值部340按照每个像素将来自WB校正部330的图像数据转换成R、G以及B全部被决定的信号。
颜色校正部350使用颜色再现矩阵对来自颜色插值部340的RGB信号进行线性变换校正成规定的信号电平。伽马校正部360基于预先存储的适当曝光量对来自颜色校正部350的RGB信号实施灰度变换，并且实施与输出图像的显示器等的颜色显示特性对应的伽马变换。因为图像数据的各像素是由不具有规定灰度例如28＝256灰度的数据构成的信号，因此为了成为具有上述灰度的信号而通过伽马校正部360实施灰度变换。图像处理部300将来自伽马校正部360的输出信号从RGB信号转换成由亮度信号Y以及颜色差信号Cb、Cr构成的信号并输出。基于输出的图像数据在未图示的显示部显示图像，或者作为图像文件保存于存储介质等中。此外，图像处理部300除了之前说明的图像处理之外，还可以进行噪声去除、缺陷像素校正、像差校正、图像的放大/缩小、图像数据的压缩处理等。
接着，对黑点校正部310进行说明。首先，对本实施方式中的黑点校正的概要进行说明。相对于从摄像光学系统100向摄像元件200的受光区域的中央部入射的光主要是垂直入射光来说，在受光区域的周边部以一定角度入射的光较多。因此，像素在受光区域的中央部和周边部接收的光强度不同，发生黑点。另外，因为摄像光学系统100中的各种镜头的折射率、透射率等具有波长依赖性、入射角依赖性，因此有时产生颜色黑点。当发生黑点时，即使被摄体是相同颜色的情况下，例如在摄像图像的周边部，像素值也偏离上述相同颜色。在这样的黑点现象中，存在图像中的颜色成分偏离本来的被摄体的颜色成分的颜色黑点、和图像中的亮度成分偏离本来的被摄体的亮度成分的亮度黑点。在本实施方式中对校正图像数据的颜色黑点(颜色黑点校正)的情况进行说明。
在本实施方式中，作为用于校正颜色黑点的校正信息使用与颜色黑点特性对应的表示函数(以下称为“特性函数”。)的信息。该特性函数表示使用摄像光学系统100和摄像元件200拍摄相同颜色的被摄体(例如摄像图像中的全部像素成为白色那样的被摄体)的情况下的摄影图像中的各位置处的像素值。本实施方式的特性函数成为与构成图像数据的中心的像素(光轴中心)的距离对应的函数。当将图像中的位置设定为(X，Y)时，可以用X和Y的函数表示特性函数，但如本实施方式那样，通过成为关于距光轴中心的距离的函数，则能够降低运算量。
此外，如本实施方式的特性函数那样，之所以成为以光轴为中心的各向同性的特性是考虑近年来摄像装置中存在以下的设计倾向。第一，像高-主线光角特性为非线性且并非单调增加。这例如像便携终端那样，与降低高度而减小出射光瞳距离时对应。第二，光学系统和摄像系统的分光特性拥有主线光角依赖性和波长依赖性。这被视为伴随有低成本化的情况、或者通过价廉的薄膜蒸镀而设置有IRCF(红外线截止滤光器)的情况。
另外，在本实施方式中，将R像素值对G像素值之比R/G、和B像素值对G像素值之比B/G作为颜色成分，将它们作为颜色黑点校正的对象。由此，从校正对象中除去亮度信息，仅提取颜色信息。
特性函数的具体示例如下述那样。当将距构成图像数据的中心的像素的距离设为x时，以以下所示的式(1)、式(2)近似地表达关于颜色成分R/G的特性函数fr(x)以及关于颜色成分B/G的特性函数fb(x)。
fr(x)＝jr0(1+jr1*x2+jr2*x4+jr3*x6+jr4*x8)···式(1)
fb(x)＝jb0(1+jb1*x2+jb2*x4+jb3*x6+jb4*x8)···式(2)
此外，在本实施方式中，以使从图像数据的中心像素到边缘的像素的距离为1的方式进行了归一化。即，x满足0≤x≤1。在式(1)中，fr(0)＝jr0表示图像数据的中心像素(x＝0的位置的像素)的颜色成分R/G。同样，在式(2)中，fb(0)＝jb0表示图像数据的中心像素的颜色成分B/G。fr(x)/jr0和fb(x)/jb0表示关于位置x的像素的颜色相对于上述相同颜色(颜色成分R/G和B/G)的相对强度。因此，作为包含于fr(x)/jr0和fb(x)/jb0的系数的jr1～jr4和jb1～jb4成为表示摄像光学系统100和摄像元件200的摄像图像中的颜色的不均匀性即颜色黑点特性的参数。本来，在拍摄相同颜色的被摄体的情况下，这些参数应该为0。但是，如上述那样，当由于光源、被摄体的分光特性的差异、或光学系统、摄像系统的分光特性主线光角依赖性、波长依赖性而发生颜色黑点时，这些参数不为0。此外，以下也将系数jr1～jr4、系数jb1～jb4称为“黑点系数”。
此外，特性函数的次数不是必须为8次。另外，根据光学系统，既存在能够以更低次的函数表达的情况，也存在必须以更高次的函数表达的情况。在那种情况下，也可以适当扩展、缩减次数。另外，式(1)、(2)虽然为了降低运算量而仅包括偶数次的项，也可以包括奇数次的项。另外，上述式子所示出的曲线根据参数不同而成为各种形状，但在0≤x≤1的范围内既不需要单调增加，也不需要单调减少。对于像高x具有非线性且不是单调增加的主线光角特性的光学设计、颜色黑点特性，也存在不是单调增加的情况。而且，也可以利用R/G、B/G以外的不同的颜色空间来表示颜色黑点特性。例如，也可以利用CIExyz或L*a*b等空间来表示。
因为基于以上所述进行颜色黑点校正，因此黑点校正部310具有：校正信息存储部311(存储单元)、颜色成分计算部312、候选列表选择部313(第2选择单元)、校正信息生成部314(校正信息生成单元)、黑点校正试行部315(校正试行单元)、校正信息选择部316(第1选择单元)和黑点校正执行部317(校正单元)。
校正信息存储部311按照每个光源种类将校正信息以及多种光源关联起来作为拍摄状况进行存储。在本实施方式中，预先计算在多个光源(太阳光、普通荧光灯/LED光源等人工光源)下的黑点系数。具体地说，通过在各光源下利用摄像装置1拍摄颜色均匀的被摄体，并通过最小平方法等进行拟合来计算黑点系数。另外，使摄影条件(对焦镜头113的焦点位置、光圈121的光圈量、机械式快门122的快门速度、光电转换元件210的灵敏度)变化，利用摄像装置1拍摄被摄体，计算黑点系数。而且，将计算出的黑点系数、光源的种类、摄影条件对应起来存储于校正信息存储部311中。在本实施方式中，式(1)、式(2)和黑点特性的在每种光源下不同的黑点系数存储于校正信息存储部311中。
图4是存储有校正信息的数据库(表)的一例。如图示那样，数据库具有“编号”、“光源”、“太阳光/人工光源”、“黑点系数”、“摄影条件”的各个字段(各列)。
在“编号”字段中存储有包含于数据库中的用于唯一地确定各条记录(各行)的编号。在“光源”字段中存储有光源的种类(蓝天、多云、普通荧光灯、LED光源等)信息。在“太阳光/人工光源”字段中，存储有拍摄时的光源是太阳光还是人工光源的信息。在“黑点系数”字段中，存储有与各光源对应的黑点系数(jr1～jr4，jb1～jb4)。在“摄影条件”字段中存储有拍摄时的摄影条件。在各条记录中，也可以与摄影条件对应地包含多个黑点系数的集合。在图4的编号4中，作为一例，包含有对焦镜头113的焦点位置是p1的情况下的黑点系数的集合即系数集合1、对焦镜头113的焦点位置是p2的情况下的黑点系数的集合即系数集合2。
颜色成分计算部312根据从摄像元件200输出的图像数据计算与R/G、B/G对应的颜色成分。颜色成分计算部312将图像数据分割成由多个像素构成的块(像素块)。例如，如图2的粗线所示那样，颜色成分计算部312以4行×4列的像素作为单位块，将拜耳图像分割成多个块进行处理。而且，颜色成分计算部312对包含于各块中的R像素、G像素、B像素的像素值进行累计。设该累计值为ΣR、ΣG、ΣB。接着，颜色成分计算部312以各块内的R像素的数量、G像素的数量、B像素的数量分别去除ΣR、ΣG、ΣB来计算各块的平均值。设关于R、G以及B的平均值为AveR、AveG和AveB。并且，颜色成分计算部312分别以AveG来除AveR、AveB而除去亮度成分。由此，计算出AveR/AveG、和AveB/AveG来作为块单位的颜色成分。以下将这些表述为颜色成分Ave(R/G)和颜色成分Ave(B/G)。
此外，既可以将图像数据分割成上述那样的格子状(行×列)，也可以从图像数据的中心起分割成同心圆状。另外，分割图像数据的块的数量(包含于单位块中的像素数)能够任意设定，块数越多(包含于单位块中的像素数越少)，单位块内的混色的影响越小，因此后面叙述的校正信息的选择精度越高。但是，因为与块数成正比，运算量也增加，因此可以兼顾运算量和校正信息的选择精度来进行适当设定。
候选列表选择部313根据摄像光学系统100和摄像元件200的摄影条件，从校正信息存储部311存储的关于多种光源的校正信息中选择成为候选的校正信息(以下也称为“候选列表”。)，该成为候选的校正信息用于后面叙述的校正信息选择部316选择与适当的颜色黑点校正结果对应的校正信息。具体地说，候选列表选择部313首先从摄影控制部400获取拍摄时的摄影条件的信息。而且，候选列表选择部313基于从摄影控制部400获取的拍摄时的摄影条件中的机械式快门122的快门速度、光圈121的光圈量以及摄像元件200的传感器灵敏度来估计拍摄时的照度。候选列表选择部313在估计出的照度为规定值以上的情况下，从数据库选择以太阳光为光源的情况下的校正信息(第1校正信息，数据库的编号1～5)作为候选列表。另一方面，候选列表选择部313在估计出的照度不足规定值的情况下，从数据库选择人工光源的情况下的校正信息(第2校正信息，数据库的编号6～11)作为候选列表。
关于候选列表选择部313选择出的候选列表，在存在不适合从摄影控制部400获取的摄影条件的内容的情况下，校正信息生成部314根据校正信息存储部311存储的校正信息新生成与该摄影条件对应的校正信息。
例如，在候选列表中包含与图4的编号4对应的光源的情况下，从摄影控制部400获取的对焦镜头113的焦点位置与p1、p2都不同。在这种情况下，对焦镜头113的焦点位置和校正信息视为具有线性的关系，根据系数集合1和系数集合2并通过线性插值新生成(合成)各黑点系数。例如，根据p1和p2的位置关系来计算系数集合1涉及的jr1和系数集合2涉及的jr1的线性组合，并将该计算值作为新的黑点系数jr1。由校正信息生成部314新生成的校正信息在黑点校正试行部315和黑点校正执行部317中使用。此外，在对焦镜头113的焦点位置与校正信息不存在线性关系的情况下，也能够通过以适当的N次函数进行近似等来生成校正信息。
黑点校正试行部315基于校正信息存储部311存储的校正信息按照光源试行性地对图像数据进行颜色黑点校正。黑点校正试行部315使用候选列表的校正信息对图像数据进行颜色黑点校正。在本实施方式中，试行性地对颜色成分计算部312计算出的图像数据的各块的颜色成分Ave(R/G)、Ave(B/G)进行颜色黑点校正。试行的颜色黑点校正通过进行下式(3)、式(4)的运算来执行。此外，此时的x是从图像的中心到各块内的任意的代表像素为止的距离。例如，也可以将在图2中的以粗线示出的各块中的中心像素作为代表像素。
Ave(R/G)’＝Ave(R/G)/(1+jr1*x2+jr2*x4+jr3*x4+jr4*x8)···式(3)
Ave(B/G)’＝Ave(B/G)/(1+jb1*x2+jb2*x4+jb3*x4+jb4*x8)···式(4)
关于进行了颜色黑点校正的结果，校正信息选择部316将块分类成与颜色成分的值有关的多个类别。而且，校正信息选择部316按光源对各类别的块的数量进行合计，将与多个类别中的合计值的最大值最大的光源对应的校正信息选择为与适当的颜色黑点校正的结果对应的校正信息。该方法对应于按照光源对校正结果进行直方图合计，选择与度数的最大值为最大的光源对应的校正信息。
以下对能够通过该方法选择与适当的颜色黑点校正的结果对应的校正信息的理由进行说明。
(1)第一，假定被摄体呈现相同颜色的情况。在这种情况下，若未发生颜色黑点，则如图5的(a)所示，颜色成分Ave(R/G)与距图像数据的中心像素(光轴中心)的距离x无关地为固定值。而且，当对颜色成分Ave(R/G)进行直方图合计时，如图5的(b)所示，合计在直方图的一个类别中。另一方面，在发生颜色黑点的情况下，如图5的(c)所示，颜色成分Ave(R/G)不是恒定值。即，未成为均匀的颜色。而且，当对颜色成分Ave(R/G)进行直方图合计时，如图5(b)所示，合计在直方图的多个类别中。此外，对颜色成分Ave(B/G)也同样。
因此，在发生颜色黑点的情况下，若通过适当的校正信息对图像数据进行颜色黑点校正，则颜色黑点被校正，理想的如图5的(a)所示，与距图像数据的中心像素(光轴中心)的距离x无关地，颜色成分成为固定值即均匀的颜色。在本实施方式中，校正信息选择部316根据该值对黑点校正试行部315进行了颜色黑点校正的图像数据的各块的颜色成分分类成多个类别(例如值0.0～0.2的类别、值0.2～0.4的类别、……)，并对属于该类别的块的数量进行合计即进行直方图合计。而且，校正信息选择部316将与合计出的直方图的最大度数为最大的(包括了最多的大致均匀颜色的)光源对应的校正信息选择为与适当的黑点校正的结果对应的校正信息。
图6是利用与3种光源A、光源B、光源C对应的校正信息对被摄体呈现相同颜色的情况下的图像数据进行了颜色黑点校正的例子。图6的(a)和(b)是利用与光源A对应的校正信息进行了颜色黑点校正的情况。在这种情况下，如图6的(a)所示，因为过度校正，因此存在随着距离x变大，颜色成分也变大的倾向。直方图合计的结果为如图6的(b)所示，最大度数为5。图6的(c)和(d)是利用与光源B对应的校正信息进行了颜色黑点校正的情况。在这种情况下，如图6的(c)所示，因为进行适当地校正，因此与距离x无关地，颜色成分为固定值。直方图合计的结果如图6的(d)所示，最大度数为10。图6的(e)和(f)是利用与光源C对应的校正信息进行了颜色黑点校正的情况。在这种情况下，如图6的(e)所示，因为校正不足，因此存在随着距离x变大，颜色成分的值变小的倾向。直方图合计的结果如图6的(f)所示，最大度数为6。在该示例的情况下，校正信息选择部316将与合计出的直方图的度数为10即为最大的光源B对应的校正信息选择为与适当的颜色黑点校正的结果对应的校正信息。
(2)第二，假定被摄体未呈现相同颜色即为一般的被摄体的情况。在这种情况下，被摄体像由具有不同颜色的区域构成。在这些区域中的适于颜色黑点特性估计的区域是占据一定面积的相同颜色的区域。与此相对，与所涉及的区域不同颜色的区域是不适于颜色黑点特性估计的希望排除在外的区域。
图7是对被摄体未呈现相同颜色的情况下的图像数据利用与3个光源A、光源B、光源C对应的校正信息进行了颜色黑点校正的例子。但是，对于此时的被摄体来说，假定呈现相同颜色的区域一定程度地包含于图像中。图7的(a)和(b)是利用与光源A对应的校正信息进行了颜色黑点校正的情况。在这种情况下，如图7的(a)所示，因为进行了过度校正，因此除一部分以外，存在随着距离x变大，颜色成分也变大的倾向。直方图合计的结果为如图7的(b)所示，最大度数为4。图7的(c)和(d)是利用与光源B对应的校正信息进行了颜色黑点校正的情况。在这种情况下，如图7的(c)所示，因为进行适当地校正，因此除一部分以外，与距离x无关地，颜色成分为固定值。直方图合计的结果如图7的(d)所示，最大度数为6。图7的(e)和(f)是利用与光源C对应的校正信息进行了颜色黑点校正的情况。在这种情况下，如图7的(e)所示，因为校正不足，因此除一部分以外，存在随着距离x变大，颜色成分的值变小的倾向。直方图合计的结果如图7的(f)所示，最大度数为4。在该示例的情况下，校正信息选择部316将与合计出的直方图的度数是6即为最大的光源B对应的校正信息选择为与适当的颜色黑点校正的结果对应的校正信息。
根据以上的方法，对于相同颜色区域的面积比较大的被摄体来说，适当的校正信息的选择比较正确。另一方面，公知有与相同颜色区域的面积比较小的情况相比，在相同颜色区域的面积越比较大的情况下，作为人类的知觉特性越容易认知颜色黑点的情况。因此，根据上述方法，在知觉特性中容易认知颜色黑点的被摄体、与在本实施方式的方法中容易选择适当的校正信息的被摄体一致。因此，根据本实施方式的方法，能够有效地进行颜色黑点校正。
黑点校正执行部317如以下这样评价关于校正信息选择部316选择出的校正信息的可靠度。对于该可靠度的评价来说，关于校正信息选择部316选择出的校正信息，使用校正信息选择部316计算出的直方图合计的最大度数。对于合计总体参数来说，最大度数越大，可靠度被评价为越高，对于合计总体参数来说，最大度数越小，可靠度被评价为越低。例如，也可以通过对相对于合计总体参数的最大度数与阈值进行比较来评价可靠度。该值之所以表示可靠度，是因为相对于合计总体参数的最大度数与被摄体中的均匀颜色区域的面积对应。合计总体参数与以图2的粗线表示的块的数量对应，最大度数相当于这些块中的与具有均匀颜色的最大区域对应的块的数量。因此，相对于合计总体参数的最大度数的大小与相对于被摄体整体来说具有均匀颜色的最大的区域的大小对应。另一方面，根据本实施方式的方法，具有均匀颜色区域的面积越大越容易选择适当的校正信息。即，相对于合计总体参数的最大度数的大小如上述那样能够适当地表示可靠度。
黑点校正执行部317在校正信息选择部316选择出的校正信息的可靠度某种程度较高的情况下，基于该校正信息对图像数据进行颜色黑点校正。黑点校正试行部315对多个块试行性地进行颜色黑点校正，黑点校正执行部316按照图像数据的像素进行颜色黑点校正。颜色黑点校正通过进行以下式(5)、式(6)的运算来执行。这些公式中的jr1、jb3等系数是与校正信息选择部316选择出的校正信息对应的系数。此外，因为以G成分为基准进行颜色黑点校正，因此G成分未被校正。
R’＝R/(1+jr1*x2+jr2*x4+jr3*x4+jr4*x8)···式(5)
B’＝B/(1+jb1*x2+jb2*x4+jb3*x4+jb4*x8)···式(6)
G’＝G···式(7)
黑点校正执行部317在校正信息选择部316选择出的校正信息的可靠度某种程度较低的情况下，基于对校正信息选择部316选择出的校正信息进行了调整的调整校正信息对图像数据进行黑点校正。在本实施方式中，黑点校正执行部317将校正信息存储部311存储的不同于校正信息选择部316选择出的校正信息的校正信息作为调整校正信息使用，对图像数据进行颜色黑点校正。例如，在日光曲线上将色温为5500K的光源作为默认的光源，将与该光源有关的黑点系数存储于校正信息存储部311中。于是，在可靠度较低的情况下，也可以将该与光源有关的校正信息作为调整校正信息来使用。或者，也可以不进行这样的单纯的置换，而使用根据可靠度对与默认光源有关的校正信息和校正信息选择部316选择出的校正信息进行适当加权相加而得到的值。而且，也可以使用根据可靠度对校正信息选择部316过去选择的校正信息和校正信息选择部316这次选择的校正信息进行加权相加而得到的值。
以下基于图7所示的流程图对黑点校正部310对图像数据执行颜色黑点校正的处理进行说明。这些处理例如在摄像装置1进行了图像的拍摄后执行。
颜色成分计算部311计算从摄像元件200输出的图像数据的各块的颜色成分Ave(R/G)、Ave(B/G)(S1)。接着，候选列表选择部313从校正信息存储部311存储的多个校正信息中选择候选列表(S2)。接着，校正信息生成部313判断摄像光学系统100和摄像元件200的摄影条件是否是与校正信息存储部311的存储内容对应的摄影条件(S3)。校正信息生成部313在判断为不是对应的摄影条件的情况下(S3：否)，基于校正信息存储部311存储的校正信息，新生成与摄像光学系统100和摄像元件200的摄影条件对应的校正信息，且将其加入候选列表(S4)。在校正信息生成部313判断为是对应的摄影条件的情况下(S3：是)，或者在S4之后，黑点校正试行部315基于候选列表的校正信息，按照光源，试行性地对图像数据进行颜色黑点校正(S5)。
接着，校正信息选择部316比较黑点校正试行部315试行性地进行了颜色黑点校正的结果，关于多个种类的光源，从校正信息存储部311存储的校正信息中选择与适当的黑点校正的结果对应的校正信息(S6)。接着，黑点校正执行部317判断校正信息选择部316选择出的校正信息的可靠度是否较低(S7)。在黑点校正执行部317判断为校正信息选择部316选择出的校正信息的可靠度较低的情况下(S7：是)，从校正信息存储部311选择调整校正信息(S8)。在黑点校正执行部317判断为校正信息选择部316选择出的校正信息的可靠度不低的情况下(S7：否)或者在S8之后，基于校正信息选择部316选择出的校正信息或者调整校正信息，对图像数据进行颜色黑点校正(S9)。
如以上说明的那样，在本实施方式中黑点校正部310比较关于多个光源试行性地进行了颜色黑点校正的结果，并在颜色黑点校正中使用产生适当的颜色黑点校正的结果的校正信息。因此，不像以往那样使用色温或色度信息等，而能够根据图像数据估计颜色黑点的特性，并对图像数据进行颜色黑点校正。即，能够根据图像数据更准确地进行光源的区分地来进行颜色黑点校正。
另外，在本实施方式中，校正信息选择部316通过比较对多个种类的光源进行了颜色黑点校正的结果，而将产生了包含最多的大致均匀颜色的结果的校正信息选择为与适当的颜色黑点校正的结果对应的校正信息。因此，关于多个种类的光源，能够从校正信息存储部311存储的校正信息中高精度地选择与适当的颜色黑点校正的结果对应的校正信息。
另外，在本实施方式中，校正信息选择部316关于对多个种类的光源进行了颜色黑点校正的结果，将由多个像素构成的块分类成与颜色成分的值有关的多个类别中，按照光源对各类别的块的数量进行合计，将与多个类别中的合计值的最大值为最大的光源对应的校正信息选择为与适当的黑点校正的结果对应的校正信息。因此，关于多个种类的光源，能够从校正信息存储部311存储的校正信息中更高精度地选择与适当的颜色黑点校正的结果对应的校正信息。
另外，在本实施方式中，候选列表选择部313根据摄像光学系统100和摄像元件200的摄影条件，从与多个种类的光源有关的校正信息中选择成为用于选择与适当的颜色黑点校正的结果对应的校正信息的候选的校正信息(候选列表)。而且，校正信息选择部316从候选列表选择部313选择出的作为候选的校正信息中选择与适当的颜色黑点校正的结果对应的校正信息。因此，黑点校正试行部315基于与多个种类的光源有关的校正信息中的成为筛选的候选的校正信息，按照光源试行性地对图像数据进行颜色黑点校正，校正信息选择部316选择与适当的颜色黑点校正的结果对应的校正信息，因此运算量减少。由此，用于选择与适当的颜色黑点校正的结果对应的校正信息所需要的时间也减少。
另外，在本实施方式中，候选列表选择部313能够基于摄影条件估计照度，且根据估计出的照度判断是以太阳光作为光源的情况下的校正信息还是人工光源的情况下的校正信息。
另外，在本实施方式中，在摄像光学系统100和摄像元件200的摄影条件是不与校正信息存储部311的存储内容对应的摄影条件的情况下，校正信息生成部314基于校正信息存储部311存储的校正信息新生成与摄像光学系统100和摄像元件200的摄影条件对应的校正信息。因此，不需要事先存储与摄影条件对应的校正信息。由此，能够削减校正信息存储部311的容量。
另外，在本实施方式中，校正信息是与距构成图像数据中心的像素的距离对应的函数。即，因为不是以往那样的与图像数据的像素位置对应的二维数据，因此能够削减校正信息存储部311的容量。另外，颜色黑点校正的运算量减少。由此，颜色黑点校正所需要的时间也减少。
另外，在本实施方式中，黑点校正执行部317在与多个类别中的合计值的最大值为最大的光源有关的最大值为规定大小以下的情况下，基于对选择出的校正信息进行了调整的调整校正信息，对图像数据进行颜色黑点校正。因此，提高黑点校正的精度。
另外，在本实施方式中，调整校正信息是校正信息存储部311存储的校正信息，是不同于校正信息选择部316选择出的校正信息的校正信息。即，黑点校正执行部317利用不同于校正信息选择部316选择出的校正信息的其它的置换的校正信息对图像数据进行颜色黑点校正。因此，不根据选择出的校正信息进行运算处理等即能够获得调整校正信息。
接着，对本发明的第2实施方式进行说明。第2实施方式除了采用与校正信息选择部316不同的校正信息选择部以外，具有与第1实施方式同样的结构。第2实施方式涉及的校正信息选择部与校正信息选择部316在选择与适当的颜色黑点校正的结果对应的校正信息的方法方面不同。以下对该方法进行说明。
第2实施方式涉及的校正信息选择部在关于多个种类的光源基于进行了颜色黑点校正的结果对像素块进行直方图合计这一点上与第1实施方式相同。但是，在第1实施方式中，是基于表示块的颜色成分的Ave(R/G)和Ave(B/G)来进行合计，而在第2实施方式中，是基于颜色的梯度来进行合计。颜色的梯度通过计算在切向上彼此相邻的块彼此的Ave(R/G)或者Ave(B/G)之差来获取。图9的箭头示出各块中的切向的一例。与在各箭头的两端对应的块彼此间计算差值。
而且，校正信息选择部基于计算出的梯度对这些块进行直方图合计。在对图9所示的块进行合计的情况下，例如在使位于箭头的始端的像素和与该箭头的两端对应的块彼此的颜色梯度(差值)相关联的基础上，各块分类成与梯度有关的多个类别(区间)。而且，对各类别的块数进行合计。校正信息选择部按照光源进行这样的直方图合计，并且在各光源中将最大度数所属的类别(区间)作为特征值导出。而且，校正信息选择部将与作为特征值的区间最接近于梯度值零的光源对应的校正信息选择为与适当的颜色黑点校正的结果对应的校正信息。由此，试行性的校正结果为块集中于梯度值最接近于零的位置的校正信息被选择为适当的校正信息。这样，在本实施方式中，因为梯度值接近于零的位置的合计结果重要，因此也可以仅对梯度值在零附近的范围进行合计。
图10是对于被摄体呈现相同颜色的情况下的图像数据利用与3种光源A、光源B、光源C对应的校正信息进行了颜色黑点校正的例子。图10的(a)和(b)是利用与光源A对应的校正信息进行了颜色黑点校正的情况。在这种情况下，如图10的(a)所示，因为进行了过度校正，因此存在随着距离x变大，Ave(R/G)也变大的倾向。因为图10的(a)的曲线图的横轴表示距光轴中心的距离，因此相当于沿上述切向的轴。因此，在曲线图中相邻的点彼此的Ave(R/G)的差值与梯度值对应。图10的(a)的箭头表示梯度的大小和方向。在图10的(b)中示出关于图10(a)的校正结果按照与颜色梯度有关的各类别(区间)对块进行了合计的直方图合计的结果。如图10的(b)所示，在第2实施方式中，在梯度值接近零的规定范围(在此，-0.05≤梯度≤0.05)内进行合计。这是因为在本实施方式中，如上所述，梯度值接近于零的位置的合计结果重要。
图10的(c)和(d)是利用与光源B对应的校正信息进行了颜色黑点的情况。在这种情况下，如图10的(c)所示，因为进行适当的校正，因此与距离x无关地，Ave(R/G)大致固定。在图10的(d)中示出关于图10的(c)的校正结果按照与颜色梯度有关的类别对块进行了合计的直方图合计的结果。与图10的(b)相同，在梯度值接近于零的规定范围内进行合计。
图10的(e)和(f)是利用与光源C对应的校正信息进行了颜色黑点的情况。在这种情况下，如图10的(e)所示，因为校正不足，因此存在随着距离x变大，Ave(R/G)变小的倾向。与图10的(a)相同，图10的(e)的箭头表示梯度的大小和方向。在图10的(f)中示出关于图10(e)的校正结果按照与颜色梯度有关的类别对块进行了合计的直方图合计的结果。与图10的(b)相同，在梯度值接近于零的规定范围内进行合计。
在此，校正信息选择部将在上述合计范围内示出最大度数的区间(类别)提取为特征值，选择与位于该区间最接近于梯度值零的位置的光源对应的校正信息。在图10的例子中，因为示出最大度数的区间的与梯度值零最接近的是光源B，因此选择与光源B对应的校正信息。
此外，在特征值的导出方法中除了上述以外还能够采用各种方法。例如，也可以将在梯度接近于零的规定范围内的直方图的分布范围的中值作为特征值。例如，在值分布于-0.05～0.025的范围内的情况下，将中值＝(-0.05+0.025)/2＝-0.0125作为特征值。而且，也可以选择与该特征值最小(接近于零)的光源对应的校正信息。因为将直方图的分布范围的中值作为特征值，因此特征值表示块大致集中于哪个梯度值。
另外，也可以在最大度数的半值的范围内计算平均值，且将该平均值作为特征值。所谓的最大度数的半值的范围，是指最大度数的区间和与该最大度数的区间连续的区间，是包含具有该最大度数的半值以上的度数的区间的范围。例如，在图10的(f)的直方图中，示出最大度数的区间和与该区间的负侧相邻的区间与上述范围对应。如果这样限定获取平均值的范围，则在包含最大度数的区间的峰值附近存在其它峰值的情况下，能够抑制该其它峰值对校正信息的选择所带来的影响。而且，平均值通过以下这样计算。此外，在下述式子中，∑f对应于对属于最大度数的半值范围内的所有区间的f值进行合计而得到的值。
平均值＝[∑{(各区间的度数)*该区间的梯度值)}/{∑(各区间的度数)}
而且，也可以选择与作为该特征值的平均值为最小(接近于零)的光源对应的校正信息。因为将包含最大度数的峰值的平均值作为特征值，因此特征值表示块集中的峰值的大致的位置。
这样，在本实施方式中，校正信息选择部通过在梯度为零的附近将对多个种类的光源进行了黑点校正的结果中的关于切向的颜色梯度的像素分布进行彼此比较，来选择作为与适当的黑点校正的结果对应的校正信息。因此，能够从校正信息存储部311存储的关于多个种类的光源的校正信息中高精度地选择与适当的黑点校正的结果对应的校正信息。
另外，在本实施方式中，校正信息选择部按照光源对多个种类的光源进行了黑点校正的结果进行(a)将像素或者由多个像素构成的像素块划分为与颜色梯度有关的多个分类，(b)对各分类的块的数量进行合计，并且(c)在该合计中，导出表示块集中于哪个梯度值的特征值，并且校正信息选择部将与特征值所表示的梯度值最接近于零的光源对应的校正信息选择为与适当的黑点校正的结果对应的校正信息。因此，能够从校正信息存储部311存储的关于多个种类的光源的校正信息中更高精度地选择与适当的黑点校正的结果对应的校正信息。
以上对本发明的实施方式进行了说明，能够应用本发明的方式不限于上述实施方式，如以下例示的那样，能够在不脱离本发明的主旨的范围施加适当的变更。
在上述实施方式中，作为校正信息，在校正信息存储部311中存储了颜色黑点特性。但也可以代替它，而存储用于校正颜色黑点的颜色黑点校正特性来作为校正信息。颜色黑点校正特性是颜色黑点特性的反函数，通过以下的式(8)、式(9)表示。
(1+ir1*x2+ir2*x4+ir3*x6+ir4*x8)＝1/(1+jr1*x2+jr2*x4+jr3*x4+jr4*x8)
…式(8)
(1+ib1*x2+ib2*x4+ib3*x4+ib4*x8)＝1/(1+jb1*x2+jb2*x4+jb3*x4+jb4*x8)
…式(9)
在本变形例的情况下，黑点校正试行部315代替式(3)、式(4)使用以下的式(10)、式(11)对图像数据试行性地进行颜色黑点校正。
Ave(R/G)’＝Ave(R/G)*(1+ir1*x2+ir2*x4+ir3*x6+ir4*x8)···式(10)
Ave(B/G)’＝Ave(B/G)*(1+ib1*x2+ib2*x4+ib3*x4+ib4*x8)···式(11)
另外，在本变形例的情况下，黑点校正执行部317代替式(5)～式(7)使用以下的式(12)～式(14)对图像数据进行颜色黑点校正。
R’＝R*(1+ir1*x2+ir2*x4+ir3*x6+ir4*x8)···式(12)
B’＝B*(1+ib1*x2+ib2*x4+ib3*x4+ib4*x8)···式(13)
G’＝G···式(14)
在本变形例中，若与上述的实施方式进行比较，则因为除法被置换成乘法，因此运算量被削减，颜色黑点校正所需的时间也被削减。
在上述的实施方式中，作为与颜色黑点特性对应的校正信息，在校正信息存储部311中存储有特性函数涉及的黑点系数。不限于函数，也可以以其它形式在校正信息存储部311中存储与颜色黑点特性对应的校正信息。例如，也可以以表的形式在校正信息存储部311中存储图像中的各位置处的颜色黑点特性或者用于校正颜色黑点的校正值。
在上述的实施方式中，黑点校正部310对图像数据仅进行颜色黑点校正。除了颜色黑点校正之外，黑点校正部310也可以对图像数据进行亮度黑点校正。在校正信息存储部311中作为校正信息存储有表示亮度黑点在摄影图像中的位置如何分布的亮度黑点特性。亮度黑点特性也与颜色黑点特性同样，作为距图像数据的中心像素的距离x的函数，以下式(15)表示。
fg(x)＝jg0/(1+jg1*x2+jg2*x4+jg3*x6+jg4*x8)···式(15)
在此，能够与颜色黑点校正的情况同样地选择与光源对应的系数jg1～jg4。例如，也可以与上述的实施方式同样地对各R、G、B试行性地进行黑点校正，并且从校正结果中提取亮度成分进行直方图合计，将与最大度数最大的光源对应的校正信息选择为与适当的光源对应的校正信息。而且，也能够通过基于选择出的校正信息，代替仅关于颜色黑点的式(5)～(7)来进行以下的式(16)～(18)的运算，而与颜色黑点校正一同进行亮度黑点校正。
R’＝R/(1+jr1*x2+jr2*x4+jr3*x4+jr4*x8)/(1+jg1*x2+jg2*x4+jg3*x6+jg4*x8)
…式(16)
B’＝B/(1+jb1*x2+jb2*x4+jb3*x4+jb4*x8)/(1+jg1*x2+jg2*x4+jg3*x6+jg4*x8)
…式(17)
G’＝G/(1+jg1*x2+jg2*x4+jg3*x6+jg4*x8)···式(18)
在上述的实施方式中，候选列表选择部313能够选择将太阳光作为光源的情况下的校正信息以及人工光源的情况下的校正信息中的任意一种，除此之外在能够获得拍摄环境下的光源的色温、色度坐标的情况下，可以由候选列表选择部313从以太阳光为光源的情况下的校正信息和人工光源的情况下的校正信息中进一步筛选校正信息。例如，在色温较高的情况下，能够从以太阳光为光源的情况下的校正信息中除去“落日”等色温低的光源。由此，因为减少黑点试行校正部315试行性地对图像数据进行黑点校正的次数，因此能够降低运算量。
在上述的实施方式中，校正信息生成部314在摄像光学系统100和摄像元件200的摄影条件是不与校正信息存储部311的存储内容对应的摄影条件的情况下，基于校正信息存储部311存储的校正信息，新生成与摄像光学系统100和摄像元件200的摄影条件对应的校正信息。在此基础上，在能够获得拍摄环境下的光源的色温的情况下，也能够生成未存储于校正信息存储部311中的色温的校正信息。例如，在存储于校正信息存储部311中的光源存在色温6500K的校正信息和5500K的校正信息、且在拍摄环境下的色温是6000K的情况下，校正信息生成部314通过对6500K的校正信息和5500K的校正信息进行线性插值而新生成(合成)6000K的校正信息。
在上述的实施方式中，将图像数据分割成块，且使用以亮度成分去除分割后的块内的颜色成分的平均值而得到的颜色成分Ave(R/G)、Ave(B/G)，进行试行性的颜色黑点校正和校正信息的选择。也可以不像这样将图像数据分割成块而使用以亮度成分除图像数据的像素而得到的颜色成分R/G、B/G进行试行性的颜色黑点校正和校正信息的选择。即，在第1实施方式中，校正信息选择部316关于对图像数据的全部像素进行颜色黑点校正的结果，也可以按照光源将像素分类成与颜色成分的值有关的多个类别，且对各类别的像素的数量进行合计，从而选择与适当的颜色黑点校正的结果对应的校正信息。另外，在第2实施方式中，关于对图像数据的全部像素进行颜色黑点校正的结果，也可以按照光源将像素分类到与颜色的梯度有关的多个类别中，且对各类别的像素的数量进行合计，并且在该合计中导出表示像素集中于哪个梯度值的特征值，将与特征值所表示的梯度值最接近于零的光源对应的校正信息作为与适当的黑点校正的结果对应的校正信息进行选择。
在上述的第1实施方式中，黑点校正执行部317在与多个类别中的合计值的最大值为最大的光源有关的最大值在规定大小以下的情况下，判断为校正信息选择部316选择出的校正信息的可靠度较低，基于对校正信息选择部316选择出的校正信息进行了调整的调整校正信息，对图像数据进行黑点校正。但并不限于此，黑点校正执行部317也可以在多个类别中的合计值最大值与合计总体参数之比在规定大小以下的情况下，判断为校正信息选择部316选择出的校正信息的可靠度较低，基于对校正信息选择部316选择出的校正信息进行了调整的调整校正信息，对图像数据进行黑点校正。例如，在图6的(b)中，因为按照多个类别对10个块进行合计的结果为直方图的最大度数(合计值的最大值)是5，因此其与合计总体参数10之比是1/2。在这样的情况下，黑点校正执行部317可以判断为校正信息选择部316选择出的校正信息的可靠度较低。
在上述的第1实施方式中，在黑点校正执行部317判断为校正信息选择部316选择出的校正信息的可靠度较低的情况下，将校正信息存储部311所存储的不同于校正信息选择部316选择出的校正信息的其它校正信息作为调整校正信息使用，对图像数据进行颜色黑点校正。但并不限于此，黑点校正执行部317也可以对校正信息选择部316选择出的校正信息进行运算处理等来计算调整校正信息。
在上述的实施方式中，在校正信息存储部311中存储多个与单一的光源对应的校正信息。但并不限于此，也可以存储与多个光源混合的光源对应的校正信息。
产业上的可利用性
能够用于以与分光特性不同的多个光源对应的方式对图像进行校正的用途。
标号说明
1：摄像装置；100：摄像光学系统；200：摄像元件；300：图像处理部；310：黑点校正部；311：校正信息存储部；312：颜色成分计算部；313：候选列表选择部；314：校正信息生成部；315：黑点校正试行部；316：校正信息选择部；317：黑点校正执行部。

Claims (14)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
存储单元，其按照每个光源种类将多个种类的光源与校正信息关联起来作为摄影状况进行存储，其中，该校正信息示出表示黑点关于摄影图像中的位置如何分布的黑点特性和用于校正黑点的校正特性中的任意特性，所述黑点是指在拍摄了相同颜色的被摄体的情况下，包含于该摄影图像中的像素值偏离所述相同颜色的现象；
校正试行单元，其基于所述存储单元关于至少两种光源所存储的所述校正信息，按照每个光源试行性地对图像数据进行黑点校正；
第1选择单元，其将所述校正试行单元关于所述至少两种光源进行黑点校正的结果进行相互比较，从所述存储单元关于所述多个种类的光源所存储的所述校正信息中选择与适当的黑点校正的结果对应的所述校正信息；以及
校正单元，其基于所述第1选择单元选择出的所述校正信息，对所述图像数据进行黑点校正。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述第1选择单元通过将关于所述至少两种光源进行黑点校正的结果进行相互比较，而选择产生了包含最多的大致均匀颜色的结果的所述校正信息作为所述与适当的黑点校正的结果对应的所述校正信息。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述第1选择单元关于对所述至少两种光源进行黑点校正的结果，将像素或者由多个像素构成的像素块分类成与颜色成分的值有关的多个类别，并且按照每个光源对各类别的像素或者所述像素块的数量进行合计，选择与所述多个类别中的合计值的最大值为最大的光源对应的所述校正信息作为所述与适当的黑点校正的结果对应的所述校正信息。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述第1选择单元通过对关于所述至少两种光源进行黑点校正的结果中的针对关于切向方向的颜色梯度的像素分布在所述梯度为零的附近进行相互比较，来选择所述与适当的黑点校正的结果对应的所述校正信息。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述第1选择单元关于对所述至少两种光源进行黑点校正的结果，按照每个光源进行(a)将像素或者由多个像素构成的像素块分类到与所述颜色的梯度有关的多个类别中，(b)对各类别的像素或者所述像素块的数量进行合计，并且(c)在该合计中导出表示像素或者所述像素块集中于哪个梯度值的特征值，选择与所述特征值所表示的所述梯度值最接近于零的光源对应的所述校正信息作为所述与适当的黑点校正的结果对应的所述校正信息。
6.根据权利要求1～5中的任意一项所述的图像处理装置，其特征在于，
该图像处理装置还具有第2选择单元，该第2选择单元基于输出所述图像数据的摄影装置的摄影条件，从所述存储单元存储的与所述多个种类的光源有关的校正信息中选择成为候选的所述校正信息，该候选是指用于所述第1选择单元选择所述与适当的黑点校正的结果对应的所述校正信息的候选，
所述第1选择单元从所述第2选择单元选择出的成为所述候选的校正信息中选择所述与适当的黑点校正的结果对应的所述校正信息。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述存储单元存储以太阳光为光源的情况下的所述校正信息即第1校正信息、和人工光源的情况下的所述校正信息即第2校正信息，
所述第2选择单元基于所述摄影条件估计摄影时的照度，在估计出的所述照度为规定值以上的情况下，选择所述第1校正信息，在估计出的所述照度不足所述规定值的情况下，选择所述第2校正信息。
8.根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，
该图像处理装置还具有校正信息生成单元，该校正信息生成单元在输出所述图像数据的摄影装置的摄影条件为与所述存储单元的存储内容不对应的摄影条件的情况下，基于所述存储单元存储的所述校正信息，新生成与输出所述图像数据的摄影装置的摄影条件对应的所述校正信息。
9.根据权利要求1～8中的任意一项所述的图像处理装置，其特征在于，
所述校正信息是与构成所述图像数据的中心像素的距离对应的函数。
10.根据权利要求1～9中的任意一项所述的图像处理装置，其特征在于，
所述存储单元在存储有所述黑点特性的情况下，存储表示如下函数的信息，该函数示出所述相同颜色的被摄体在摄影图像中的像素值相对于所述相同颜色的相对强度，
在存储有所述校正特性的情况下，存储表示所述函数的反函数的信息。
11.根据权利要求3所述的图像处理装置，其特征在于，
所述校正单元在与所述多个类别中的合计值的最大值为最大的光源有关的所述最大值或者该最大值与合计总体参数之比为规定大小以下的情况下，基于对所述第1选择单元选择出的所述校正信息进行调整后的调整校正信息，对所述图像数据进行黑点校正。
12.根据权利要求11所述的图像处理装置，其特征在于，
所述调整校正信息是所述存储单元存储的所述校正信息且是与所述第1选择单元选择出的所述校正信息不同的所述校正信息。
13.一种图像处理方法，其特征在于，该图像处理方法具有：
校正试行步骤，基于存储单元的校正信息，关于至少两种光源按照每个光源试行性地对图像数据进行黑点校正，其中，该存储单元按照每个光源种类将多个种类的光源与校正信息关联起来作为摄影状况进行存储，其中，该校正信息示出表示黑点关于摄影图像中的位置如何分布的黑点特性和用于校正所述黑点的校正特性中的任意特性，所述黑点是指在拍摄了相同颜色的被摄体的情况下，包含于该摄影图像中的像素值偏离所述相同颜色的现象；
选择步骤，对在所述校正试行步骤中关于所述至少两种光源进行黑点校正的结果进行相互比较，从所述存储单元关于所述多个种类的光源存储的所述校正信息中选择与适当的黑点校正的结果对应的所述校正信息；以及
校正步骤，基于在所述选择步骤中选择出的所述校正信息，对所述图像数据进行黑点校正。
14.一种使计算机发挥对图像数据进行黑点校正的功能的图像处理程序，其使计算机执行以下步骤：
校正试行步骤，基于存储单元的校正信息，关于至少两种光源按照每个光源试行性地对图像数据进行黑点校正，其中，该存储单元按照每个光源种类将多个种类的光源与校正信息关联起来作为摄影状况进行存储，其中，该校正信息示出表示黑点关于摄影图像中的位置如何分布的黑点特性和用于校正所述黑点的校正特性中的任意特性，所述黑点是指在拍摄了相同颜色的被摄体的情况下，包含于该摄影图像中的像素值偏离所述相同颜色的现象；
选择步骤，对在所述校正试行步骤中关于所述至少两种光源进行黑点校正的结果进行相互比较，从所述存储单元关于所述多个种类的光源存储的所述校正信息中选择与适当的黑点校正的结果对应的所述校正信息；以及
校正步骤，基于在所述选择步骤中选择出的所述校正信息，对所述图像数据进行黑点校正。
CN201480034125.4A 2013-07-18 2014-07-10 图像处理装置以及图像处理方法 Active CN105308950B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-149225 2013-07-18
JP2013149225A JP5646705B1 (ja) 2013-07-18 2013-07-18 画像処理装置、画像処理方法、及び、画像処理プログラム
PCT/JP2014/068376 WO2015008681A1 (ja) 2013-07-18 2014-07-10 画像処理装置、画像処理方法、及び、画像処理プログラム

Publications (2)

Publication Number Publication Date
CN105308950A true CN105308950A (zh) 2016-02-03
CN105308950B CN105308950B (zh) 2018-07-06

Family

ID=52139262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480034125.4A Active CN105308950B (zh) 2013-07-18 2014-07-10 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US9479708B2 (zh)
JP (1) JP5646705B1 (zh)
KR (1) KR101685887B1 (zh)
CN (1) CN105308950B (zh)
WO (1) WO2015008681A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881697A (zh) * 2021-01-13 2021-06-01 北京中检葆泰生物技术有限公司 一种稳定检测黄曲霉毒素含量的方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9186909B1 (en) * 2014-09-26 2015-11-17 Intel Corporation Method and system of lens shading color correction using block matching
JP6561479B2 (ja) * 2015-01-28 2019-08-21 株式会社シグマ 色シェーディング補正が可能な撮像装置
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
JP6563751B2 (ja) 2015-09-09 2019-08-21 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置及び画像処理方法
JP6450498B2 (ja) 2016-03-17 2019-01-09 富士フイルム株式会社 画像処理装置、画像処理システム、及び画像処理方法
JP6819629B2 (ja) * 2018-02-23 2021-01-27 オムロン株式会社 画像センサ
JP7014122B2 (ja) * 2018-10-03 2022-02-01 株式会社豊田自動織機 物体検出装置及び物体検出方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313361A (ja) * 2004-04-27 2005-11-10 Konica Minolta Medical & Graphic Inc 医用画像記録装置及び医用画像記録方法
CN101072365A (zh) * 2006-05-11 2007-11-14 奥林巴斯映像株式会社 白平衡控制方法及摄像装置
US20080074515A1 (en) * 2006-09-25 2008-03-27 Fujifilm Corporation Image taking apparatus
JP2008153848A (ja) * 2006-12-15 2008-07-03 Konica Minolta Opto Inc 画像処理装置
JP2008277926A (ja) * 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
CN101473658A (zh) * 2006-06-22 2009-07-01 奥林巴斯株式会社 摄像系统和摄像程序
JP2011041056A (ja) * 2009-08-12 2011-02-24 Samsung Techwin Co Ltd 撮像装置及び撮像方法
CN102131040A (zh) * 2010-06-04 2011-07-20 苹果公司 自适应镜头黑点校正
CN102236896A (zh) * 2010-03-30 2011-11-09 株式会社尼康 图像处理方法及装置、计算机可读取存储介质及摄影装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879773A (ja) 1994-08-31 1996-03-22 Sony Corp シェーディング補正装置
JP4283704B2 (ja) * 2004-02-25 2009-06-24 富士フイルム株式会社 撮影装置
JP4295149B2 (ja) 2004-03-26 2009-07-15 富士フイルム株式会社 色シェーディング補正方法および固体撮像装置
JP4134991B2 (ja) 2005-02-16 2008-08-20 三菱電機株式会社 撮像装置および撮像装置を備えた携帯電話
JP4018705B2 (ja) * 2005-04-18 2007-12-05 キヤノン株式会社 シェーディング補正装置及び補正方法並びに撮像装置
US7755671B2 (en) * 2007-04-23 2010-07-13 Hewlett-Packard Development Company, L.P. Correcting a captured image in digital imaging devices
JP6004221B2 (ja) * 2012-03-22 2016-10-05 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313361A (ja) * 2004-04-27 2005-11-10 Konica Minolta Medical & Graphic Inc 医用画像記録装置及び医用画像記録方法
CN101072365A (zh) * 2006-05-11 2007-11-14 奥林巴斯映像株式会社 白平衡控制方法及摄像装置
CN101473658A (zh) * 2006-06-22 2009-07-01 奥林巴斯株式会社 摄像系统和摄像程序
US20080074515A1 (en) * 2006-09-25 2008-03-27 Fujifilm Corporation Image taking apparatus
JP2008153848A (ja) * 2006-12-15 2008-07-03 Konica Minolta Opto Inc 画像処理装置
JP2008277926A (ja) * 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
JP2011041056A (ja) * 2009-08-12 2011-02-24 Samsung Techwin Co Ltd 撮像装置及び撮像方法
CN102236896A (zh) * 2010-03-30 2011-11-09 株式会社尼康 图像处理方法及装置、计算机可读取存储介质及摄影装置
CN102131040A (zh) * 2010-06-04 2011-07-20 苹果公司 自适应镜头黑点校正

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112881697A (zh) * 2021-01-13 2021-06-01 北京中检葆泰生物技术有限公司 一种稳定检测黄曲霉毒素含量的方法

Also Published As

Publication number Publication date
CN105308950B (zh) 2018-07-06
JP2015023376A (ja) 2015-02-02
US20160156851A1 (en) 2016-06-02
KR20160025631A (ko) 2016-03-08
JP5646705B1 (ja) 2014-12-24
US9479708B2 (en) 2016-10-25
WO2015008681A1 (ja) 2015-01-22
KR101685887B1 (ko) 2016-12-12

Similar Documents

Publication Publication Date Title
CN105308950A (zh) 图像处理装置、图像处理方法以及图像处理程序
CN108024055B (zh) 白平衡处理的方法、装置、移动终端和存储介质
JP4287179B2 (ja) デジタル画像の自動ホワイトバランスのための方法
US8805070B2 (en) Image processing apparatus and image processing method
CN102883107B (zh) 摄像设备及其控制方法
US8208037B2 (en) Digital camera and gain computation method
US8958009B2 (en) Image-capturing device
CN104869380A (zh) 图像处理设备和图像处理方法
CN105245863A (zh) 进行白平衡控制的图像处理装置及其控制方法和摄像设备
JP6013284B2 (ja) 撮像装置及び撮像方法
CN104641276B (zh) 摄像装置及信号处理方法
JP2008011289A (ja) デジタルカメラ
US8531579B2 (en) Image processing apparatus that corrects for chromatic aberration for taken image, image pickup apparatus, method of correcting for chromatic aberration of magnification therefor, and storage medium
JP2007202128A (ja) 撮像装置および画像データ補正方法
TWI491974B (zh) 圖像黑印查找系統及方法
JP2007311895A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2021002707A (ja) ホワイトバランス客観評価方法、ホワイトバランス客観評価プログラム及び撮像装置
US9113121B2 (en) Method for white balance adjustment of images
JP2007293686A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007221678A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2007288245A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP2007235204A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
KR100566571B1 (ko) 이미지 센서에서의 렌즈 셰이딩 현상 자동 보정 방법 및장치
JP2007201679A (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP5409158B2 (ja) 単板カラー２次元撮像素子を備える撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190812

Address after: Room 303-305, 3rd floor, Integrated Circuit Development Centre, 6 West Science and Technology Avenue, Hong Kong Science Park, Shatian, Hong Kong, China

Patentee after: RDA Microelectronics Co., Ltd.

Address before: Tokyo, Japan, Japan

Patentee before: Acutelogic Corp.