CN103621069A - 光斑判定装置、拍摄装置以及光斑判定程序 - Google Patents

光斑判定装置、拍摄装置以及光斑判定程序 Download PDF

Info

Publication number
CN103621069A
CN103621069A CN201280032006.6A CN201280032006A CN103621069A CN 103621069 A CN103621069 A CN 103621069A CN 201280032006 A CN201280032006 A CN 201280032006A CN 103621069 A CN103621069 A CN 103621069A
Authority
CN
China
Prior art keywords
pixel
value
image
region
hot spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280032006.6A
Other languages
English (en)
Other versions
CN103621069B (zh
Inventor
伊藤悠一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN103621069A publication Critical patent/CN103621069A/zh
Application granted granted Critical
Publication of CN103621069B publication Critical patent/CN103621069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明的光斑判定装置，其特征在于，具备：图像输入部，其被输入图像；图像校正部，其利用基于与光源种类相应的白平衡处理用的增益值所设定的校正系数对图像进行校正；区域检测部，其从通过图像校正部校正了的图像中检测出包括在预定的色分量的范围中的区域；和判定部，其判定在由区域检测部检测出的区域中是否产生光斑。

Description

光斑判定装置、拍摄装置以及光斑判定程序
技术领域
本发明涉及光斑判定装置、拍摄装置以及光斑判定程序。
背景技术
以往已知一种拍摄元件，其在将多个拍摄用像素按二维状排列的受光面的一部分排列有焦点检测用的多个像素（专利文献1）。多个拍摄用像素具有与多个色分量的每个相对应的分光特性，另外，焦点检测用的像素（焦点检测用像素）具有与多个拍摄用像素不同的分光特性。从多个拍摄用像素读出用于生成图像的信号而确定拍摄用像素的像素值，还从焦点检测用像素读出用于焦点检测的信号而确定焦点检测用像素的像素值。在进行像素插补时，对拍摄用像素的像素值中所缺少的色分量的像素值进行插补，并且对与焦点检测用像素的位置相对应的拍摄用像素值进行插补。
在专利文献1所记载的发明中，为了进行对于焦点检测用像素的插补处理，利用处于焦点检测用像素附近的拍摄用像素的像素值来生成焦点检测用像素的插补像素值，计算出评价像素值即所述附近的拍摄用像素具有与焦点检测用像素相同的分光特性的情况下的像素值，利用所述焦点检测用像素的像素值和所述评价像素值计算出图像的高频分量，并对所述插补像素值附加所述高频分量从而计算出与焦点检测用像素的位置相对应的拍摄用像素的像素值。
现有技术文献
专利文献
专利文献1:日本特开2009-303194号公报
发明内容
发明所要解决的问题
一般而言在拍摄装置中，若在拍摄元件的受光部周边的像素之间因来自布线区域的反射光而产生光斑，则在受光部周边由于微透镜之间的入射光漏入相邻像素的串扰而发生混色。如出现这样的现象，则不仅焦点检测用像素而且其周边的像素也受到影响，由于上述的像素插补而受到混色的焦点检测用像素及其周围的像素成为对观感造成不协调感的插补残留而显现。如果能够事先检测到该光斑的产生则能够适当地进行与上述的像素插补相关的处理，但是成为因光斑而引起的混色的色分量的范围因光源种类不同而不同，所以存在难以适当地对光斑进行检测的问题。
本发明是鉴于这一点而完成的，其目的在于提供即使在拍摄时的光源种类不同的情况下也能够适当地对产生的光斑进行检测的光斑判定装置、拍摄装置以及光斑判定程序。
用于解决问题的技术方案
例示本发明的光斑判定装置的一个方式，其特征在于，具备：图像输入部，其被输入图像；图像校正部，其利用校正系数对所述图像进行校正，该校正系数基于与光源种类相应的白平衡处理用的增益值而设定；区域检测部，其从通过所述图像校正部校正了的图像中检测出预定的色分量的范围所包括的区域；和判定部，其判定在由所述区域检测部检测出的所述区域中是否产生光斑。
另外，还具备矩阵确定部，该矩阵确定部，利用校正系数对第1色空间转换用矩阵进行校正，从而求出第2色空间转换用矩阵，所述校正系数根据与光源种类相应的白平衡处理用的增益值而设定，所述第1色空间转换用矩阵在对通过所述图像输入部所输入的所述图像的色空间进行转换时使用，所述图像校正部利用所述第2色空间转换用矩阵对所述图像的色空间进行转换，所述区域检测部从对所述色空间进行转换后的所述图像中检测出所述预定的色分量的范围所包括的区域。
另外，所述第2色空间转换用矩阵将发生因所述光斑而引起的混色的区域中所包括的像素的像素值转换成所述预定的色分量的范围所包括的像素值。
另外，具备高辉度区域提取部，该高辉度区域提取部提取出所述图像所包括的像素中的、辉度值超过预先设定的阈值的像素的区域，所述区域检测部对由所述高辉度区域提取部提取出的区域执行利用所述第2色空间转换用矩阵的色空间的转换。
该情况下，优选，具备阈值算出部，该阈值算出部基于利用所述图像所包括的各像素的各个辉度值生成的直方图求出所述阈值。
另外，所述高辉度区域提取部从所述图像所包括的各像素中的所述辉度值未饱和的像素中，提取超过了所述阈值的像素的区域。
另外，所述区域检测部从所述图像所包括的像素中的除去像素值未饱和的像素后的区域中检测出包括在所述预定色分量的范围中的区域。
另外，优选，所述判定部，利用包括：包括在所述预定的色分量的范围中的像素的区域的总面积、空间分散值/所述总面积或辉度分量的边缘量的平均值中的至少2个的评价值，判定在所述区域中是否产生所述光斑。
另外，优选，所述判定部，利用包括：包括在所述预定的色分量的范围中的像素的区域的总面积、空间分散值/所述总面积以及辉度分量的平均边缘量的评价值，判定在所述区域中是否产生所述光斑。
另外，优选，所述预定的色分量的范围为成为品红色的色分量的范围。
另外，本发明的光斑判定装置，其特征在于，具备：图像输入部，其被输入图像；图像校正部，其利用根据与光源种类相应的白平衡处理用的增益值所设定的校正系数对所述图像进行校正；区域检测部，其利用通过所述图像校正部校正了的所述图像对包括在预定的色分量的范围中的区域进行检测；和判定部，其对根据与由所述区域检测部检测出的所述区域相关的信息所求出的多个种类的评价值进行判定，从而检测是否产生光斑。
另外，本发明的拍摄装置，其特征在于，具备：上述的光斑判定装置；拍摄元件，其对被拍摄体光进行受光并输出成为所述图像来源的图像信号；和图像处理部，其对所述图像信号进行包括所述白平衡处理的图像处理。
这里，优选，被输入所述光斑判定装置的图像包括在设定所述白平衡处理中的增益值时所用的评价用图像。
另外，优选，所述拍摄元件具备拍摄用像素以及焦点检测用像素，所述拍摄装置还具备插补处理部，该插补处理部对所述拍摄用像素的像素值以及所述焦点检测用像素的像素值执行基于所述光斑判定装置中的判定结果的处理内容的插补处理。
另外，本发明的存储介质是一种计算机可读存储介质，存储有能使计算机执行下述步骤的光斑判定程序，该步骤为：输入图像的图像输入步骤；校正步骤，该步骤中利用基于与光源种类相应的白平衡处理用的增益值所设定的校正系数对所述图像进行校正；区域检测步骤，该步骤中从通过所述校正部校正了的图像中检测出包括在预定的色分量的范围中的区域；和判定步骤，该步骤中判定在通过所述区域检测部所检测出的所述区域中是否产生光斑。
发明的效果
根据本发明，即使在拍摄时的光源种类不同的情况下也能够适当地对产生的光斑进行检测。
附图说明
图1是表示本发明的电子相机的电结构的功能框图。
图2是表示拍摄用像素以及AF像素的配置例的图。
图3是表示以配置有AF像素的区域为中心的图像数据的一部分的图。
图4是表示具备噪声判定部以及光斑判定部的AF像素插补部的图。
图5是表示光斑判定部的图。
图6是对AF像素插补部的作用进行说明的流程图。
图7是对光斑判定部的作用进行说明的流程图。
图8（a）是根据AWB评价用数据求出的直方图，（b）是示出求出的直方图与提取高辉度像素时使用的阈值的关系的图。
图9是示出基于Y数据的Y图像与被进行矩形提取的对象区域的关系的图。
图10是示出变量a与Sb/St值的关系的曲线图。
图11（a）是表示基于式9的色分量的范围的图、（b）是表示基于式10和式11的色分量的范围的图。
图12是示出第2像素插补处理的流程的流程图。
图13是示出发挥本实施方式的效果的图像结构的一例的图。
图14是示出第3像素插补处理的流程的流程图。
具体实施方式
如图1所示，应用了本发明的电子相机10具备CPU11。在CPU11连接有非易失性存储器12以及工作存储器13，在非易失性存储器12中存储有CPU11在进行各种控制时所参照的控制程序等。而且，非易失性存储器12中存储有表示详情后述的拍摄元件17的AF像素的位置坐标的数据、预先求出的在图像处理程序中使用的各种阈值和/或加权系数等数据、以及各种判定用表等。
CPU11按照非易失性存储器12所存储的控制程序，利用工作存储器13作为暂时存储作业区域来进行各部分的控制，使构成电子相机10的各部分（电路）发挥功能。
从拍摄透镜14入射的被拍摄体光经由光圈15、快门16在CCD和/或CMOS等拍摄元件17的受光面成像。拍摄元件驱动电路18基于来自于CPU11的控制信号使得拍摄元件17驱动。拍摄元件17为拜尔排列型单板拍摄元件，在前侧的面安装有原色透射滤色器19。
原色透射滤色器19为相对于拍摄元件17的总像素数N例如G（绿色）的分辨率为N/2、R（红色）以及B（蓝色）的分辨率为N/4的原色拜尔排列。
在拍摄元件17的受光面成像的被拍摄体像被转换成模拟的图像信号。图像信号被依次输出到构成AFE（Analog Front End，模拟前端）电路的CDS21以及AMP22，并在AFE电路中被实施预定的模拟处理，之后在A/D（模拟/数字转换器）23中被转换成数字的图像数据而被送到图像处理部25。
图像处理部25具备分离电路、白平衡处理电路、像素插补（demosaicing，去马赛克）电路、矩阵处理电路、非线性转换（γ校正）处理电路以及轮廓强调处理电路等，对数字的图像数据实施白平衡、像素插补、矩阵、非线性转换（γ校正）以及轮廓强调等处理。分离电路对从详情后述的拍摄用像素输出的信号和从焦点检测用像素输出的信号进行分离。像素插补电路将每1个像素的1色的拜尔排列信号转换成每1个像素的包括3色的通常的彩色图像信号。
从图像处理部25输出的3色图像数据通过总线26被存储于SDRAM27。SDRAM27所存储的图像数据通过CPU11的控制而被读出并送到显示控制部28。显示控制部28将所输入的图像数据转换成显示用的预定方式的信号（例如NTSC方式的彩色复合影像信号）并作为直通（through）图像输出到显示部29。
另外，响应快门释放（release）而取得的图像数据，在从SDRAM27读出后被送到压缩扩展处理部30，在此被实施压缩处理后经由介质控制器31被存储于记录介质即存储卡32中。
在CPU11连接有释放按钮33和/或电源开关（未图示），并且从检测拍摄元件17的温度的温度检测部34对CPU11输入温度信息。该信息被送到图像处理部25，在对详情后述的噪声进行判定时使用。
AWB/AE/AF检测部35基于焦点检测用像素（AF像素）的信号通过光瞳分割型相位差检测方式对散焦量以及散焦的方向进行检测。CPU11基于通过AWB/AE/AF检测部35所得到的散焦量以及散焦的方向对驱动器36进行控制从而驱动对焦马达37使聚焦透镜在光轴方向上进退从而进行焦点调整。
另外，AWB/AE/AF检测部35根据基于拍摄用像素的信号计算出的测光辉度值（Bv）和拍摄者通过ISO灵敏度设定部38设定的ISO灵敏度值（Sv）来计算光值（Lv＝Sv＋Bv）。接着，AWB/AE/AF检测部35确定光圈值和快门速度使得曝光值（Ev＝Av＋Tv）为求出的光值Lv。基于该确定，CPU11使光圈驱动部39驱动来对光圈15的光圈直径进行调整使得其成为求出的光圈值。并且，CPU11使快门驱动部40驱动、执行快门16的开闭工作，使得快门16按求出的快门速度开放。
AWB/AE/AF检测部35在自动白平衡调整时从取入SDRAM27中的1个画面的图像数据进行中间部分剔除读出，例如生成24×16的AWB评价用数据。接着，AWB/AE/AF检测部35利用生成的AWB评价用数据进行光源种类判别，按照与判别出的光源种类相应的白平衡调整值对各色信道的信号实施校正。
拍摄元件17在处于其受光面上的多个拍摄用像素的每个中按拜尔排列型设置有R（红）、G（绿）、B（蓝）的任一色的原色透射滤色器19，在其上适当地选择使用设有微透镜阵列的CCD和/或CMOS的半导体影像传感器等。而且，本实施方式的拍摄元件17在受光面上的一部分区域具有沿水平扫描方向一维配置的多个AF像素41。在这些AF像素41中没有设置原色透射滤色器19。另外，AF像素41存在对在拍摄透镜14的光学系统的光瞳的左侧或右侧通过的光束进行受光的2种类型。拍摄元件17能够分别读出来自于拍摄用像素组以及AF像素组的像素信号。
如图2所示，AF像素41具有从单元中心（微透镜的中心）偏向一方的传感器开口部41a、41b，沿该偏置方向一维状地排列。传感器开口部41a、41b的偏置方向为相互相反方向，其偏置距离相同。具有传感器开口部41a的AF像素41代替RGB原色拜尔排列中的G像素而设置，另外具有传感器开口部41b的AF像素41代替RGB原色拜尔排列中的B像素而设置。通过具有这样的传感器开口部41a、41b的AF像素41来实现光瞳分割相位差AF方式。也就是，如果通过具有传感器开口部41a的AF像素41和具有传感器开口部41b的AF像素41，分别对通过射出瞳的光束中的相对于拍摄透镜14的光轴处于对称位置的2个部分光束进行受光，则根据从2个像素41输出的信号的相位差而可以知道焦点偏离的方向(聚焦透镜（focusing lens）的移动方向)和焦点偏离的量(聚焦透镜的移动量)。由此能够进行快速的对焦。
因此，本实施方式中的每个AF像素41输出与白色光的辉度相应的左侧或右侧的光瞳分割后的检测信号。图3示出通过拍摄元件17拍摄到的图像数据中的、以配置有AF像素41的区域为中心的图像数据的一部分。各个单元表示1个像素。各单元的开头的标记R、G以及B表示具有各原色透射滤色器19的拍摄用像素。另一方面，标记X和Y表示对来自于左侧或右侧的光束有灵敏度的AF像素，它们交替地沿水平扫描方向按一维排列。接在这些标记后的2位编号表示像素的位置。
像素插补部具备：利用拍摄用像素的像素值对AF像素41的像素值进行插补的AF像素插补部45；和像素插补部，在对AF像素的像素值进行了插补后，该像素插补部进行从拜尔排列向RGB的线性插补法所实现的色插补。
如图4所示，AF像素插补部45具备噪声判定部46和光斑判定部47，基于这些判定进行不同的AF像素插补处理。噪声判定部46基于拍摄时的拍摄条件对是否是噪声多发的条件进行判定。拍摄条件为拍摄元件17的温度、ISO灵敏度以及快门速度等。拍摄元件17的温度信息是从CPU11得到的。另外，和温度信息一并，从CPU11还得到在拍摄时所设定的ISO灵敏度和/或快门速度的信息。
噪声判定部46基于拍摄元件17的温度、ISO灵敏度以及快门速度的信息，对噪声是多还是少进行判定。此外，也可以在安装拍摄元件17的主基板设置温度检测部，利用主基板的温度或拍摄元件17的周围的温度来代替拍摄元件17的温度。而且，作为用于噪声判定的信息，不限于拍摄元件17的温度、ISO灵敏度以及快门速度这3个信息，也可以设为这其中的任意一个或2个的信息。
在噪声判定部46判定为噪声多的情况下，进行第1像素插补处理：不使用AF像素的像素值而利用其周围的拍摄用像素的像素值进行例如单纯平均插补。在判定为噪声少的情况下，通过光斑判定部47进行光斑判定，与是否发生光斑相应地，进行与所述第1像素插补处理不同的第2或第3像素插补处理。
光斑判定部47具备直方图生成部51、阈值算出部52、对象区域提取部53、矩阵确定部54、品红色区域确定部55和评价值判定部56。该光斑判定部47除AWB评价用数据（YRGB数据）外还从CPU11取得白平衡用的增益值。此外，作为该AWB评价用数据，使用24×16像素的YRGB数据。
如图5所示，直方图生成部51利用AWB评价用数据中的Y数据而生成直方图。阈值算出部52根据通过直方图生成部51生成的直方图，计算出在提取成为高辉度的区域（高辉度区域）时用的阈值（高辉度判定用阈值）。对象区域提取部53利用Y数据和高辉度判定用阈值，提取成为高辉度的矩形的区域作为对象区域。矩阵确定部54确定在将AWB评价用数据的RGB数据转换成CrCb数据时用的矩阵。品红色区域检测部55检测包括在通过对象区域提取部53提取出的对象区域中的品红色存在的区域（品红色区域）。在该检测之际，品红色区域检测部55计算出品红色区域的总面积、Y分量的总边缘量等。评价值判定部56求出品红色区域的总面积、分散值/品红色区域的总面积、Y分量的平均边缘量，对求出的值分别进行阈值判定从而判定是否产生了光斑。
AF像素插补部45，在判定为没有产生光斑的情况下，执行第2像素插补处理：利用AF像素的像素值以及拍摄用像素的像素值对AF像素的像素值进行插补。该第2像素插补处理，通过根据AF像素的像素值（白（W）分量）以拍摄用像素的像素值为基础通过加权和进行预测，从而对该AF像素的像素值进行插补。
AF像素插补部45，在判定为产生光斑的情况下，执行第3像素插补处理。第3像素插补处理多次（本实施方式为2次）执行通过权重系数对AF像素的周围的拍摄用像素的像素值进行校正、并将校正后的拍摄用像素的像素值平滑化的处理。详情将后述，但是在进行第2次校正时，将加权系数设为“0”。也就是，在第2次处理中，不执行通过权重系数对AF像素周围的拍摄用像素的像素值进行校正的处理，而只进行将拍摄用像素的像素值平滑化的处理。在该多次处理之后执行第2像素插补处理：根据AF像素的像素值（白（W）分量）以校正后的拍摄用像素的像素值为基础通过加权和来进行预测，从而对该AF像素的像素值进行插补。由此，能够抑制光斑中的混色对AF像素周围的拍摄用像素的影响。因此，在进行第2像素插补处理时，在生成AF像素作为拍摄用像素的像素值中也抑制混色的影响。
下面，一边参照图6一边对于AF像素插补部45的作用进行说明。此外，在本实施方式中，因为在每个拍摄用像素所设置的原色透射滤色器19为拜尔排列的图形，所以在图3所示的标记X的AF像素的位置插补绿色（G）的拍摄用像素的像素值，在标记Y的AF像素的像素位置插补蓝色（B）的拍摄用像素的像素值。在以下的说明中，关于分别对Y44的蓝色的拍摄用像素的像素值和X45的绿色的拍摄用像素的像素值进行插补的情况进行说明。对其他AF像素中的拍摄用像素的像素值进行插补的步骤也相同。
（噪声判定）
CPU11将从A/D23送来的图像数据送到噪声判定部46。另外，CPU11将拍摄时的拍摄元件17的温度、ISO灵敏度以及快门速度的信息送到噪声判定部46。这样，CPU11对噪声判定部46进行控制，通过噪声判定部46对于图像数据判定噪声是多还是少（S-1）。
噪声判定部46的判定参照噪声判定用表来执行。噪声判定用表按拍摄元件17的每个温度范围准备多个，它们预先存储在非易失性存储器12中。CPU11将与取得图像数据时的拍摄元件17的温度相对应的噪声判定用表发送到噪声判定部46。
作为噪声用判定表，例如在拍摄元件17的温度低于T1时选择（表1）中所记载的表，另外在温度大于等于T1且低于T2的范围时选择（表2）中所记载的表。各表中，基于预先进行的实验确定利用快门速度（P）和ISO灵敏度（Q）所确定的噪声的预测结果。
（表1）
Figure BDA0000448059550000101
（表2）
Figure BDA0000448059550000111
在判定为噪声多的情况下（S-2中“是”的情况下），不使用AF像素的像素值而使用其周围的拍摄用像素的像素值来进行第1像素插补处理（S-3）。
（光斑判定）
CPU11，在噪声判定部46判定为噪声少的情况下（S-2中“否”的情况下），对光斑判定部47进行控制从而通过光斑判定部47对是否产生了光斑进行判定（S-4）。
AF像素插补部45，在通过光斑判定部47判定出没有产生光斑的情况下（S-5中“否”的情况下），执行第2像素插补处理（S-6），另外在判定为产生了光斑的情况下（S-5中“是”的情况下）执行第3像素插补处理（S-7）。此外，关于通过这些判定所执行的第1像素插补处理、第2像素插补处理以及第3像素插补处理，将后述。
以下，关于光斑判定基于图7的流程图进行说明。
（直方图的生成）
AF像素插补部45利用从CPU11输出的AWB评价用数据的Y数据来生成直方图（S-11）。这里，在Y数据为16比特数据的情况下，AF像素插补部45将Y数据从16比特数据转换成8比特数据，生成直方图。图8（a）是使用了Y数据的直方图的一例。
（利用直方图计算出高辉度判定用阈值）
AF像素插补部45利用生成的直方图计算出在提取对象区域时使用的阈值（高辉度判定用阈值）Th_high（S-12），该对象区域是对后述的品红色区域进行检测时使用的区域。AF像素插补部45如图8（b）所示，利用Y数据和对像素值是否饱和进行判定的阈值（饱和判定用阈值）Th1来特定未饱和的像素值。该饱和判定用阈值Th1，因为直方图是利用8比特数据生成的，所以优选按8比特数据设定，但是在为16比特数据的情况下只要使用转换成8比特数据后的值即可。
在该特定之后，AF像素插补部45将直方图中的、阈值Th1以下的像素值与像素数相乘所得的值从像素值高的起依次相加。而且，在相加的过程中，将满足（式1）时的像素值作为高辉度判定用阈值Th_high。
（式1）
直方图的相加值（像素值×像素数）＞（256-Th2）×所有像素数
此外，Th2为表示成为高辉度分量的比例的阈值。另外，所有像素数因为使用24×16像素的Y数据，所以为24×16（＝384）个像素。
AF像素插补部45将求出的高辉度判定用阈值Th_high从8比特数据转换成16比特数据。
（对在使用高辉度判定用阈值对品红色区域进行检测时使用的区域（对象区域）进行矩形提取）
AF像素插补部45使用转换成16比特后的高辉度判定用阈值Th_high和AWB评价用的Y数据对对象区域进行矩形提取（S-13）。AF像素插补部45，如图9所示，在基于Y数据的图像（Y图像）60的各像素中检测下述像素：沿水平扫描方向将像素每次1个像素地偏移的、目的像素的像素值和目的像素的前1个的像素的像素值这两方都为高辉度判定用阈值Th_high以上的像素值的像素。AF像素插补部45，若对于水平扫描方向的1行的处理结束，则沿垂直扫描方向偏移1个像素并执行同样的处理。由此，AF像素插补部45对Y数据的所有像素检测：目的像素的像素值和目的像素的前一个的像素的像素值这两方为高辉度判定用阈值Th_high以上的像素值的像素。在图9中，符号61所示的区域为检测到的像素的区域。AF像素插补部45，提取检测到的区域（符号61）中小1个像素的量的矩形区域（符号62）作为对象区域。这防止了如下情况：若将检测到的像素的区域直接提取为对象区域，则在求后述的相邻的4个方向的Y分量的边缘量的整体差量和时，会使用低辉度像素的像素值。AF像素插补部45生成位于提取出的对象区域的四角的像素的位置数据作为被矩形提取的对象区域的位置信息。
这里，AF像素插补部45对于Y数据的所有像素进行上述的处理，但没有必要限定于此，也能够对辉度值低于上述的饱和判定用阈值Th1的像素执行上述处理。
（矩阵的计算）
AF像素插补部45计算出将AWB评价用数据的RGB数据转换成CrCb数据时的矩阵（S-14）。
已知由在拍摄时产生的光斑引发的混色在图像中显现为品红色。作为成为该品红色的原因，可以举出：在将用在白平衡处理中的R、G、B增益值分别与各像素的各色分量的像素值相乘时，R色分量以及B色分量的值比G色分量的值大的情况。
这里，在改变光源的种类对同一被拍摄体进行拍摄的情况下，白平衡处理中用到的R、G、B增益值使用与光源的种类相对应的值。因此，即使在对同一色的被拍摄体进行拍摄的情况下，其输出值也因光源的种类而大幅变动。由于该输出值的变动，难以可靠地对光斑进行检测。
因此，在本发明中，对于在将RGB数据转换成CrCb数据时用到的色空间转换用矩阵乘以利用在白平衡处理中用的增益值所求出的校正系数的矩阵，从而计算出新的色空间转换用矩阵。而且，用新求出的色空间用矩阵将RGB数据转换成CrCb数据。
这里，用（式2）来表示下述情况：将对于R色分量的新增益值，通过对白平衡用的R增益值与基准值（512×2）用了权重系数所得的加权和来设定。
（式2）
αR＝a×Rgain＋（1-a）×512×2
基准值（512×2）是考虑了即使光源种类变化、Rgain的值也是Ggain的约2倍这一情况而设定的值。
这里，关于在晴天室外的拍摄和室内拍摄中分别使a的值变化时所得的Sb/St值进行考虑。Sb是等级（class）（晴天室外的拍摄以及室内拍摄）之间的分散，St是所有采样中的分散。此外，该Sb/St值的值越小，表示等级之间（晴天室外的拍摄以及室内拍摄间）的距离越小、不同光源之间输出值的变动越小。这里，如图10所示，可知若使a的值变化、则在a＝0.5的情况下Sb/St值变得最小。
若考虑到这一点，则在R色分量、G色分量、B色分量的信号值分别为LSB＝512的情况下，校正后的R增益值αR、G增益值αG、B增益值αB分别用（式3）表示。此外，Rgain，Ggain，Bgain分别是白平衡处理用的各色分量的增益值。
（式3）
αR＝0.5×Rgain＋512
αG＝Ggain＝512
αB＝0.5×Bgain＋512
另外，在R色分量、B色分量的信号值为LSB＝256、G色分量的信号值为LSB＝512的情况下，校正后的R增益值αR、G增益值αG、B增益值αB分别为（式4）。
（式4）
αR＝Rgain＋512
αG＝Ggain＝512
αB＝Bgain＋512
用该αR、αG、αB将RGB数据转换成CrCb数据。这里，一般的RGB→YCrCb转换用（式5）示出。
（式5）
Y Cr Cb = 0.299 0.587 0.110 0.500 - 0.419 - 0.081 - 0.169 - 0.331 0.500 × R G B
如上所述，在本发明中，在色空间的转换时对校正后的R增益值αR、G增益值αG、B增益值αB进行乘法运算。因此，在从RGB向CrCb转换的色空间的转换时用的式子为（式6）。
（式6）
Cr Cb = - 0.500 - 0.419 - 0.081 - 0.169 - 0.331 0.500 × α R 0 0 0 α G 0 0 0 α B × R G B = C × R G B
也就是，在根据RGB数据求CrCb数据时用的矩阵Ｃ，根据（式5）和（式6）为（式7）。
（式7）
C = C 00 C 01 C 02 C 10 C 11 C 12 = 0.500 α R - 0.419 α G - 0.081 α B - 0.169 α R - 0.331 α G 0.500 α B
此外，矩阵的各值也可以如（式8）那样使用整数化了的值。
（式8）
Ｃ00＝（50×αR）/100
Ｃ01＝（-42×αG）/100
Ｃ02＝（―8×αB）/100
Ｃ10＝（-17×αR）/100
Ｃ11＝（-33×αG）/100
Ｃ12＝（50×αB）/100
（将RGB数据向CrCb数据转换）
AF像素插补部45利用求出的矩阵将提取出的对象区域中所包括的像素的RGB数据转换成CrCb数据（S-15）。AF像素插补部45参照对象区域的位置信息利用（式6）和（式7）将对象区域中所包括的像素的RGB数据矩阵转换成CrCb数据。
此外，在AWB评价用数据不是YRGB数据而是YCrCb数据的情况下，无需执行上述的色空间的转换处理。该情况下，对于Cr值、Cb值，只要用校正在白平衡处理中使用的各色增益值后的值，对Cr值、Cb值进行校正即可。
另外，关于将提取出的对象区域中所包括的像素的RGB数据转换成CrCb数据的情况进行了说明，但是也能够将RGB数据整体转换成CrCb数据。
（对象区域中所包括的品红色区域的检测）
AF像素插补部45判定被转换成了CrCb数据的各像素的像素值是否满足（式9）～（式11）（S-16）。
（式9）
Cr＜Th3×Cb并且Cr＞（Th4/256）×Cb
（式10）
Cb＞Th5或Cr＞Th5
（式11）
R＜Th1并且G＜Th1并且B＜Th1
这里，（式9）是用于判定对象区域所包括的像素的像素值（Cr，Cb）是否为品红色的色域的条件式。如图11（a）所示，色度图中用斜线示出的范围为用（式9）所示的范围。另外，（式10）是用于判定像素的像素值（Cr，Cb）是否有预定强度的值的条件式。这里，在Cr值、Cb值分别取“0”或接近于0的值的情况下，品红色的强度弱。因此，只要考虑Cr值、Cb值中的某一个的值为超过预定值（这里为阈值Th5）的值的情况即可。因此，将根据（式10）和（式11）求出的范围（图11（b）中用阴影线示出的范围）作为品红色的色域，判定在该色域中是否包括在高辉度区域中所包括的像素的像素值。而且，（式11）是用于判定对象区域中所包括的像素的R、G、B色分量的像素值是否饱和的条件式。
AF像素插补部45提取对象区域中所包括的像素中的满足上述（式9）～（式11）的像素。此时，AF像素插补部45用（式12）来求相邻的4个方向的Y分量的边缘量的绝对差量和SAD。
（式12）
SAD = Σ ( i , j ) { ± 1 , ± 1 } abs ( Y _ plane [ y + i ] [ x + j ] - Y _ plane [ y ] [ x ] )
AF像素插补部45通过用通过（式12）求出的Y分量的边缘量的绝对差量和SAD除以该边缘量的标准化因子值（＝4）从而求出Y分量的边缘量的平均值。AF像素插补部45对Y分量的边缘量的平均值是否在阈值Th6以下进行判定。这里，AF像素插补部45，在计算出Y分量的边缘量的平均值后将其与阈值Th6进行比较，但是没有必要限定于此，也可以将Y分量的边缘量与阈值进行比较。
AF像素插补部45，每次特定了满足（式9）～（式11）且Y分量的边缘量的平均值在阈值Th6以下的像素时都会加上所特定的像素的数量。另外，AF像素插补部45通过加上所求出的Y分量的边缘量的绝对差量和SAD从而计算出总边缘量edge_sum，另外，加上在求Y分量的边缘量的平均值时使用的标准化因子值edge_count。
而且，AF像素插补部45将所特定的像素的x坐标、x坐标的平方值、y坐标以及y坐标的平方值分别加起来。下面，将x坐标相加所得的值称为x坐标相加值ave_x、将x坐标的平方值相加所得的值称为x坐标的平方相加值sqr_x、将y坐标相加所得的值称为y坐标相加值ave_y、将y坐标的平方值相加所得的值称为y坐标平方相加值sqr_y，来进行说明。
（评价值判定）
AF像素插补部45求出下面说明的从第1到第3评价值，对这些评价值进行判定（S-17）。AF像素插补部45，通过分别对这些评价值进行判定，来判定是否产生了光斑。
第1评价值为“品红色区域的总面积”，它与作为品红色区域所特定的像素的总数相对应。AF像素插补部45对第1评价值是否超过阈值Th7（第1评价值＞阈值Th7？）进行判定。
第2评价值是“分散值/品红色区域的总面积”。一般而言，分散值通过（式13）求出。
（式13）
var = 1 n Σ j n ( x j - x ‾ ) 2 = 1 n Σ j n ( x j 2 ) - X ‾ 2
若将由（式13）表示的分散值置换成与空间分散值（空间矩）相对应的式子就成为（式14）。
（式14）
var = 1 area _ sum ( sqr _ x + sqr _ y ) - ( ave _ x area _ sum ) 2 + ( ave _ y area _ sum ) 2
利用该式子，AF像素插补部45用（式15）计算出分散值/品红色区域的总面积。
（式15）
var area _ sum = 1 area _ su m 2 ( sqr _ x + sqr _ y ) - ave _ x 2 area _ sum 3 + ave _ y 2 area _ su m 3
AF像素插补部45将通过（式15）求出的“分散值/品红色区域的总面积”作为第2评价值，对该第2评价值是否低于阈值Th8（第2评价值＜阈值Th8？）进行判定。此外，虽然设为第2评价值＜阈值Th8，但是不需限定于此，也可以设为第2评价值＜阈值Th8/32。该情况下，32是对第2评价值分配的标准化因子值。
第3评价值为“Y分量的边缘量的平均值”。AF像素插补部45用（式16）计算出Y分量的边缘量的平均值。
（式16）
Yedge＝edge_sum/edge_count
AF像素插补部45将通过（式16）求出的“Y分量的边缘量的平均值”作为第3评价值，对该第3评价值是否低于阈值TH9（第3评价值＜阈值Th9？）进行判定。
而且，AF像素插补部45在全部满足“第1评价值＞阈值Th7”、“第2评价值＜阈值Th8”、“第3评价值＜阈值Th9”的条件的情况下判定为产生了光斑。另一方面，AF像素插补部45在未满足这些条件中的某一个的情况下，判定为未产生光斑。
此外，在评价值判定中，将“品红色区域的总面积”作为第1评价值、将“分散值/品红色区域的总面积”作为第2评价值、将“Y分量的边缘量的平均值”作为第3评价值，进行利用各个评价值的评价值判定，但是不必限定于此，也可以将“品红色区域的总面积”、“分散值/品红色区域的总面积”、“Y分量的边缘量的平均值”中的至少2个设为评价值，进行评价值判定。
这样，在光斑判定中，利用AWB评价用数据的Y数据来提取高辉度区域，对在该高辉度区域中是否有品红色区域进行判定。在进行该品红色区域是否存在的判定时用的数据是下述数据：是进行采用了如下矩阵的色空间转换处理所得的数据，该矩阵是通过对色空间转换用矩阵的各分量的每个乘以利用在白平衡处理中用的增益值所求出的校正系数所得的矩阵。这里，通过用生成的矩阵进行色空间转换处理，从而成为由于光斑的发生而在图像中产生的混色的区域的像素的像素值包括在品红色的范围中。
而且，在求出的高辉度区域中存在品红色区域的情况下，求出“品红色区域的总面积”、“分散值/品红色区域的总面积”、“Y分量的边缘量的平均值”，通过对这些求出的值进行阈值判定，从而进行光斑判定。也就是，高辉度部分的作为品红色集中出现且没有边缘的区域，被判断为发生因光斑而引起的混色的区域，在即使有成为品红色的区域、但无法全部满足对于第1～第3评价值的上述条件的情况下，能够判定出不是光斑而是被拍摄体所具有的颜色。由此，能够确切地判定是否产生了光斑。
此外，在本实施方式中，作为AWB评价用数据用了YRGB数据，但是无需限定于此，也可以用例如YCrCb数据。该情况下，用在白平衡处理中用的各色增益值求出校正系数，将该校正系数与所输入的YCrCb数据相乘。接着，只要用乘上了校正系数所得的YCrCb数据进行由光斑判定部实施的各处理即可。
下面，分别关于由AF像素插补部45基于噪声判定和光斑判定的结果所执行的第1像素插补处理、第2像素插补处理、第3像素插补处理进行说明。
（第1像素插补处理）
作为第1像素插补处理，通过进行平均插补求出例如位于AF像素周围的拍摄用像素的像素值。具体而言，在图3中，代替B像素而设置的AF像素Y42的像素值根据（式17）所记载的式子求出，另外，AF像素Y44的像素值根据（式18）所记载的式子求出，而且AF像素Y46的像素值根据（式19）所记载的式子求出。
（式17）
Y42＝（B22＋B62）/2
（式18）
Y44＝（B24＋B64）/2
（式19）
Y46＝（B26＋B66）/2
另外，代替G像素而设置的AF像素X43的像素值根据（式20）所记载的式子求出，另外，AF像素X45的像素值根据（式21）所记载的式子求出。
（式20）
X43＝（G32＋G34＋G52＋G54）/4
（式21）
X45＝（G34＋G36＋G54＋G56）/4
这样，在噪声多的情况下，不用AF像素的像素值仅根据其周边的像素值对AF像素的像素值进行预测，所以要预测的AF像素的像素值不均、进行预想以上的插补、产生被称为伪色的实际上并不存在的颜色和/或产生被称为伪结构的不存在的结构这样的情况，能够尽可能地被抑制。此外，将AF像素的像素值插补到拍摄用像素的像素值中所得的图像数据，在图像处理部25中被进行通过从拜尔排列向RGB的线性插补法所实现的色插补，作为RGB每色的图像数据存储到SDRAM27中。
（第2像素插补处理）
利用AF像素周边的拍摄用像素的像素值，求出像素值的变化率即变动值最小的方向。接着，利用变动最小的方向上的拍摄用像素的像素值对AF像素的像素值进行插补。
（计算最小的变动值的方向）
AF像素插补部45，为了进行相对于X45以及Y44的AF像素的插补，利用X45以及Y44周边的拍摄用像素的像素值利用（式22）～（式25）分别求出4个方向的像素值的变化率即方向变动H1～H4的值（S-21）。此外，所谓本实施方式中的4个方向为水平扫描方向、垂直扫描方向以及相对于水平扫描方向为45度以及135度的方向。
（式22）
水平扫描方向的方向变动H1＝
2×（｜G34-G36｜＋｜G54-G56｜）＋｜R33-R35｜＋｜R53-R55｜＋｜B24-B26｜＋｜B64-B66｜
（式23）
垂直扫描方向的方向变动H2＝
2×（｜G34-G54｜＋｜G36-G56｜）＋｜R33-R53｜＋｜R35-R55｜＋｜B24-B64｜＋｜B26-B66｜
（式24）
相对于水平扫描方向为45度的方向变动H3＝
2×（｜G27-G36｜＋｜G54-G63｜）＋｜R35-R53｜＋｜R37-R55｜＋｜B26-B62｜＋｜B28-B64｜
（式25）
相对于水平扫描方向为135度的方向变动H4＝
2×（｜G23-G34｜＋｜G56-G67｜）＋｜R33-R55｜＋｜R35-R57｜＋｜B22-B66｜＋｜B24-B68｜
（利用与最小变动值的方向相应的周边的拍摄用像素的像素值对AF像素的像素值进行插补）
AF像素插补部45，从在步骤（S-21）中求出的方向变动H1～H4中选择最小值的方向变动的方向，用该方向上的拍摄用像素的像素值，用（式26）～（式29）中与选择的方向相对应的式，求出在AF像素X45的位置处的G的拍摄用像素的像素值GX45以及在AF像素Y44的位置处的B的拍摄用像素的像素值BY44（S-22）。由此，通过用变动小的方向上的拍摄用像素的像素值，能够更准确地进行对于X45以及Y44等的AF像素的插补。
（式26）
方向变动H1最小时
BY44＝（B24＋B64）/2
GX45＝（G34＋G36＋G54＋G56）/4
（式27）
方向变动H2最小时
BY44＝（B24＋B64）/2
GX45＝（G25＋G65）/2
（式28）
方向变动H3最小时
BY44＝（B26＋B62）/2
GX45＝（G36＋G54）/2
（式29）
方向变动H4最小时
BY44＝（B22＋B66）/2
GX45＝（G34＋G56）/2
AF像素插补部45，在AF像素的排列方向即水平扫描方向上，用例如AF像素的Y44以及X45的白色光的像素值W44以及W45和（式30）计算AF像素的像素值的方向变动H5。
（式30）
H5＝｜W44-W45｜
AF像素插补部45，对该方向变动H5的值是否超过阈值Th10进行判定（S-23）。在方向变动H5是超过阈值Th10的值时（“是”侧），AF像素插补部45将在步骤（S-22）中求出的BY44以及GX45的插补后的值作为Y44以及X45的拍摄用像素的像素值，对图像数据进行更新。图像处理部25，对更新了的图像数据实施3色的像素插补从而生成3色图像数据，并将3色图像数据经由总线26存储到SDRAM27中（S-24）。
另一方面，在方向变动H5为阈值Th10以下的情况下（“否”侧），图像处理部25进行（S-25）。此外，阈值Th10在例如对12比特图像进行处理的情况下，只要是512左右的值即可。
AF像素插补部45，对在步骤（S-21）中求出的方向变动H2是否超过阈值Th11进行判定（S-24）。在方向变动H2是超过阈值Th11的值的情况下（“是”侧），AF像素插补部45，将在步骤（S-22）中求出的BY44以及GX45的插补后的值作为Y44以及X45的拍摄用像素的像素值，对图像数据进行更新。图像处理部25对更新了的图像数据实施3色像素插补从而生成3色图像数据，并将3色图像数据经由总线26存储到SDRAM27中（S-24）。
另一方面，在方向变动H2在阈值Th11以下的情况下（“否”侧），图像处理部25进行（S-26）。此外，阈值Th11在例如对12比特图像进行处理的情况下，只要是64左右的值即可。
之后，AF像素插补部45，对关于来自右侧的光束有灵敏度的Y44等AF像素中的白色光的平均像素值＜W44＞等，利用处于附近的色分量R、G以及B的拍摄用像素的像素值进行计算（S-26）。具体而言，在步骤（S-21）中，例如在图像处理部25判定为方向变动H2最小的情况下，B的拍摄用像素的像素值使用（式27）中记载的式子中的B24和B64。另一方面，关于R以及G的像素值，用（式31）中记载的4个式子对B的拍摄用像素B24和B64的位置处的R以及G的像素值进行插补计算。
（式31）
(1)RB24＝（R13＋R15＋R33＋R35）/4
(2)GB24＝（G14＋G23＋G25＋G34）/4
(3)RB64＝（R53＋R55＋R73＋R75）/4
(4)GB64＝（G54＋G63＋G65＋G74）/4
而且，AF像素插补部45，用从CPU11传送来的R、G以及B的加权系数WR、WG以及WB并用（式32）所记载的式子的加权和，来计算拍摄用像素B24以及B64的位置处的白色光的像素值W24以及W64。此外，关于加权系数WR、WG以及WB的求法后述。
（式32）
W24＝WR×RB24＋WG×GB24＋WB×B24
W64＝WR×RB64＋WG×GB64＋WB×B64
而且，图像处理部25计算出Y44的白色光的平均像素值＜W44＞＝（W24＋W64）/2。
AF像素插补部45，与步骤（S-26）的情况同样地，对关于来自左侧的光束有灵敏度的X45等的AF像素中的白色光的平均像素值＜W45＞等，用处于附近的色分量R、G以及B的拍摄用像素的像素值计算（S-27）。在步骤（S-21）中，在图像处理部25判定为方向变动H2最小的情况下，G的拍摄用像素的像素值用（式27）所记载的式子中的G25和G65。另一方面，关于R以及B的像素值，利用（式33）所记载的4个式子对G的拍摄用像素G25和G65的位置处的R以及B的像素值进行插补计算。
（式33）
(1)RG25＝（R15＋R35）/2
(2)BG25＝（B24＋B26）/2
(3)RG65＝（R55＋R75）/2
(4)BG65＝（B64＋B66）/2
而且，AF像素插补部45通过（式34）所记载的式子的加权和计算拍摄用像素G25以及G65的位置处的白色光的像素值W25以及W65。
（式34）
W25＝WR×RG25＋WG×G25＋WB×BG25
W65＝WR×RG64＋WG×G25＋WB×BG65
而且，图像处理部25计算出X45处的白色光的平均像素值＜W45＞＝（W25＋W65）/2。
AF像素插补部45，用在（S-26）以及（S-27）中求出的白色光的平均像素值来求拍摄元件17的各AF像素中的白色光的像素值的高频分量（S-28）。AF像素插补部45，根据拍摄元件17的各AF像素的像素值，首先求出各AF像素的像素位置处的白色光的平均像素值。也就是，各AF像素的像素值为对来自左侧或右侧的光束进行光瞳分割所得的值。因此，为了得到各AF像素的位置处的白色光的像素值，就必须将来自于左侧和右侧的光束的像素值相互相加。因此，本实施方式的AF像素插补部45，用各AF像素的像素值以及相邻的AF像素的像素值，用（式35）所记载的式子计算出例如AF像素Y44和/或X45的位置处的白色光的平均像素值。
（式35）
＜W44＞’＝W44＋（W43＋W45）/2
＜W45＞’＝W45＋（W44＋W46）/2
此外，在步骤（S-27）中说明了的（式35）中，用在AF像素的排列方向上相邻的AF像素的像素值计算出各AF像素的位置处的白色光的像素值，所以在强变动出现在排列方向上的情况下，高频分量的计算不正确，白色光的像素值的排列方向的分辨率可能会丧失。因此，在上述步骤（S-23）中，在强变动出现在排列方向上的情况下，中止高频分量的附加。
之后，AF像素插补部45根据（式36）所记载的式子求出Y44以及X45的位置处的白色光的高频分量HFY44以及HFX45。
（式36）
HFY44＝＜W44＞’-＜W44＞
HFX45＝＜W45＞’-＜W45＞
AF像素插补部45判定：在步骤（S-28）中求出的各AF像素的位置处的白色光的像素值的高频分量HF在该白色光的像素值中所占的比例是否比阈值Th13（本实施方式中例如为10％左右）小（S-29）。在高频分量HF比阈值Th13小的情况下（“是”侧），AF像素插补部45将在步骤S26中求出的BY44以及GX45的插补后的值作为Y44以及X45的拍摄用像素的像素值，并对图像数据进行更新。图像处理部25，对更新后的图像数据实施3色像素插补从而生成3色图像数据，并将3色图像数据经由总线26存储到SDRAM27中（S-24）。
另一方面，在高频分量HF在阈值Th13以上的情况下（“否”侧），AF像素插补部45进行步骤（S-30）。此外，对于阈值Th13的值的说明，与后面的对加权系数WR、WG以及WB的说明一起进行。
AF像素插补部45计算出在Y44和/或X45附近的各色分量R、G或B的拍摄用像素的像素值的色变动VR、VGr、VB以及VGb（S-30）。这里，色变动VGr以及VGb表示R或B的拍摄用像素的位置处的G的色变动。AF像素插补部45基于（式37）所记载的2个式子求出色变动VR和VGr。
（式37）
(1)VR＝｜R33-R53｜＋｜R35-R55｜＋｜R37-R57｜
(2)VGr＝｜（G32＋G34）/2-（G52＋G54）/2｜＋｜（G34＋G36）/2-（G54＋G56）/2｜＋｜（G36＋G38）/2-（G56＋G58）/2｜
此外，本实施方式的AF像素插补部45求出R的拍摄用像素的位置R33、R35、R37、R53、R55以及R57处的G的像素值的平均值后计算出VGr的值。
另一方面，AF像素插补部45基于（式38）所记载的2个式子求出色变动VB和VGb。
（式38）
(1)VB＝｜B22-B62｜＋｜B24-B64｜＋｜B26-B66｜
(2)VGb＝｜（G21＋G23）/2-（G61＋G63）/2｜＋｜（G23＋G25）/2-（G63＋G65）/2｜＋｜（G25＋G27）/2-（G65＋G67）/2｜
此外，本实施方式的AF像素插补部45求出B的拍摄用像素的位置B22、B24、B26、B62、B64以及B66处的G的像素值的平均值后计算出VGb的值。
AF像素插补部45，用在步骤（S-30）中计算出的色变动VR、VGr、VB以及VGb来计算色分量G以及B相对于白色光的色变动率KWG以及KWB（S-31）。首先，AF像素插补部45根据色变动VR、VGr、VB以及VGb由（式39）所记载的3个式子求出色变动VR2、VG2以及VB2。
（式39）
(1)VR2＝（VR＋α）×（VGb＋α）
(2)VB2＝（VB＋α）×（VGr＋α）
(3)VG2＝（VGb＋α）×（VGr＋α）
这里，α为用于使色变动率的值稳定的适当的常数，例如在对12比特图像进行处理的情况下，只要设为α＝256左右的值即可。
而且，图像处理部25用色变动VR2、VG2以及VB2通过（式40）所记载的式子计算出白色光的色变动VW。
（式40）
VW＝VR2＋VG2＋VB2
因此，AF像素插补部45根据（式41）计算出色变动率KWG以及KWB。
（式41）
KWG＝VG2/VW
KWB＝VB2/VW
AF像素插补部45，利用在步骤（S-28）中求出的各AF像素的位置处的白色光的像素值的高频分量HF和在步骤（S-31）中计算出的色变动率KWG以及KWB，根据（式42）所记载的式子，计算出各AF像素的位置处的色分量G以及B的像素值的高频分量（S-32）。
（式42）
HFBY44＝HFY44×KWB
HFGX45＝HFX45×KWG
AF像素插补部45，将在步骤（S-32）中求出的各AF像素中的各色分量的高频分量附加到在步骤（S-22）中插补求出的拍摄用像素的像素值（S-33）。CPU11例如基于（式43）所记载的式子分别计算出Y44以及X45的拍摄用像素值B’以及G’。
（式43）
B’Y44＝BY44＋HFBY44
G’X45＝GX45＋HFGX45
AF像素插补部45，将在Y44和/或X45等AF像素的位置插补求出的B’Y44以及G’X45等的像素值作为各个位置处的拍摄用像素的像素值，对图像数据进行更新。图像处理部25，对更新了的图像数据转换为每1个像素为3色的图像数据并存储到SDRAM27中（S-24）。
此外，即使在AF像素的排列方向上没有变动，由于各色分量的拍摄用像素的分光特性的加权和与AF像素的分光特性的偏差等，导致白色光的像素值的高频分量具有些许误差。在垂直扫描方向（与AF像素的排列方向相交的方向）上无图像的大幅变动的情况下，即使不附加高频分量、插补值的精度也是足够的，由于附加高频分量反倒可能产生因误差而引起的伪结构。因此，在步骤（S-25）中，在那样的情况下抑制高频分量的附加。另外，在计算出的高频分量足够小的情况下，即使不附加该高频分量、插补值的精度也是足够的，由于附加高频分量反倒可能产生因误差而引起的伪结构。因此，在（S-25）中在那样的情况下抑制高频分量的附加。
接下来，关于加权系数WR、WG以及WB的求法，与阈值Th13一并进行说明。在这样求加权系数和/或阈值时，准备要组装到产品中的拍摄元件17或者具有与该拍摄元件17相同的性能的拍摄元件。将波段变为各种各样地对该拍摄元件17照射大致同一照度的照明光，获取关于各个波段的拍摄图像数据。接着，关于各波段的拍摄图像数据n，通过如（式35）所记载的式子那样加上光瞳分割不同的AF像素的像素值，从而计算出白色光的像素值Wn。同时，关于处于AF像素附近的各色分量的拍摄用像素的像素值Rn、Gn、Bn，也进行提取。
接着，作为未知的加权系数WR、WG以及WB的函数，如（式44）那样定义二次方误差E。
（式44）
E＝Σn（WR×Rn＋WG×Gn＋WB×Bn-Wn）2
而且，求使E最小的加权系数WR、WG以及WB（求出使利用WR、WG或WB分别对E进行偏微分所得的值为0的加权系数WR、WG以及WB）。这样一来，通过求出加权系数WR、WG以及WB，从而求出通过各色分量R、G以及B的拍摄用像素的分光特性的加权和表示AF像素的分光特性的加权系数。将这样求出的加权系数WR、WG以及WB存储到电子相机10的非易失性存储器12中。
进而，基于求出的加权系数WR、WG以及WB，用（式45）所记载的式子求出各拍摄图像数据n的误差率Kn。
（式45）
Kn＝｜WR×Rn＋WG×Gn＋WB×Bn-Wn｜/Wn
然后，求出Kn的最大值，并将其作为阈值Th13存储到非易失性存储器12中。
图13示出发挥本实施方式的效果的图像结构的一例。图13是将包括凸结构（明线或点）的纵5像素的图像结构纵切所得的图，横轴是垂直扫描方向（y坐标）、纵轴是光量或像素值。而且，凸结构正好位于在水平扫描方向上排列的AF像素列上。
图13的○印记是用G的拍摄用像素所拍摄到的像素值。但是，在AF像素的位置不存在G的拍摄用像素，所以得不到该位置处的G的像素值。因此，在凸结构正好位于AF像素的位置的情况下，仅根据AF像素附近的G的拍摄用像素的像素值无法再现图13的凸结构。实际上，在（S-22）中用AF像素附近的G的拍摄用像素的像素值在AF像素的位置插补求出的G的像素值（图13的●印记），未再现凸结构。
另一方面，在AF像素的位置，得到白色光的像素值。但是，通常的像素对通过光瞳的整个区域的光进行受光，相对于此，AF像素仅对通过光瞳的右侧或左侧的光进行受光，所以通过将光瞳分割不同的相邻的AF像素相加，从而计算出通常的（通过光瞳的整个区域的光的）白色光的像素值（（式35））。
另外，在AF像素附近的G的拍摄用像素的位置，插补生成其他的色分量R以及B，求出色分量R、G以及B的加权和，从而在多数情况下能够以足够的精度求出白色光的像素值（（式32）以及（式34））。
图13的□印记为这样求出的白色光的像素值的分布。在多数情况下，白色光的像素值的高频分量与色分量G的像素值的高频分量成比例，所以根据白色光的像素值计算出的高频分量具有G的像素值的凸结构分量的信息。因此，基于白色光的像素值的高频分量求出G的像素值的高频分量，并将该值加到●印记的数据上，从而得到☆印记的G的像素值，再现凸结构（（式42））。
（第3像素插补处理）
AF像素插补部45，在根据噪声判定部46中的判定结果判断为噪声少、且光斑判定部47中判断为光斑容易产生的情况下，选择第3像素插补处理并执行。
第3像素插补处理是如下处理：在改变对于拍摄用像素的像素值的权重系数，进行2次利用权重系数对AF像素周围的拍摄用像素的像素值进行校正并使校正后的拍摄用像素的像素值平滑化的处理后，执行上述的第2像素插补处理。下面，关于对于图3的AF像素X43以及AF像素Y44这2列的第3像素插补处理进行说明。
（利用权重系数对AF像素列周围的拍摄用像素的像素值进行校正）
AF像素插补部45如图14所示，对配置在AF像素列周围的拍摄用像素的像素值是否在阈值MAX＿RAW以上进行判定，并基于该判定结果，利用所设定的权重系数进行校正（S-41）。这里，阈值MAX＿RAW是用于对像素值是否饱和进行判定的阈值。
AF像素插补部45，在拍摄用像素的像素值在阈值MAX＿RAW以上的情况下，对拍摄用像素的像素值不进行校正。另一方面，AF像素插补部45，在拍摄用像素的像素值小于阈值MAX＿RAW的情况下，通过将利用权重系数所得的加权和的值从原来的像素值中减去，来校正拍摄用像素的像素值。
AF像素插补部45利用（式46）～（式49）对R色分量的拍摄用像素的像素值进行校正。
（式46）
R13’＝R13-（R3U＿0×R33＋R3U＿1×G34＋R3U＿2×B24）
（式47）
R33’＝R33-（R1U＿0×R33＋R1U＿1×G34＋R1U＿2×B24）
（式48）
R53’＝R53-（R1S＿0×R53＋R1S＿1×G54＋R1S＿2×B64）
（式49）
R73’＝R73-（R3S＿0×R53＋R3S＿1×G54＋R3S＿2×B64）
这里，R1U＿0、R1U＿1、R1U＿2、R1S＿0、R1S＿1、R1S＿2、R3U＿0、R3U＿1、R3U＿2、R3S＿0、R3S＿1、R3S＿2为权重系数。此外，权重系数中，文字S表示位于AF像素的上方，文字U表示位于AF像素的下方。
AF像素插补部45用（式50）～（式55）对G色分量的拍摄用像素的像素值进行校正。
（式50）
G14’＝G14-（G3U＿0×R33＋G3U＿1×G34＋G3U＿2×B24
（式51）
G23’＝G23-（G2U＿0×R33＋G2U＿1×G34＋G2U＿2×B24）
（式52）
G34’＝G34-（G1U＿0×R33＋G1U＿1×G34＋G1U＿2×B24）
（式53）
G54’＝G54-（G1S＿0×R53＋G1S＿1×G54＋G1S＿2×B64）
（式54）
G63’＝G63-（G2S＿0×R53＋G2S＿1×G54＋G2S＿2×B64）
（式55）
G74’＝G74-（G3S＿0×R53＋G3S＿1×G54＋G3S＿2×B64）
这里，G1U＿0、G1U＿1、G1U＿2、G1S＿0、G1S＿1、G1S＿2、G2U＿0、G2U＿1、G2U＿2、G2S＿0、G2S＿1、G2S＿2、G3U＿0、G3U＿1、G3U＿2、G3S＿0、G3S＿1、G3S＿2为权重系数。
另外，AF像素插补部45用（式56）、（式57）对B色分量的拍摄用像素的像素值进行校正。
（式56）
B24’＝B24-（B2U＿0×R33＋B2U＿1×G34＋B2U＿2×B24）
（式57）
B64’＝B64-（B2S＿0×R53＋B2S＿1×G54＋B2S＿2×B64）
这里，B2U＿0、B2U＿1、B2U＿2、B2S＿0、B2S＿1、B2S＿2为权重系数。
（用相邻的AF像素的像素值计算出限幅（clip）量）
AF像素插补部45读出相邻的AF像素的像素值X43、Y44，用（式58）求出限幅量Th＿LPF（S-42）。
（式58）
Th＿LPF＝（X43＋Y44）×K＿Th＿LPF
这里，K＿Th＿LPF是系数，采用“127”左右的值。该系数K＿Th＿LPF的值越大，平滑化处理的效果越高。
（计算出每个色分量的预测误差）
AF像素插补部45利用（式59）、（式60）计算在同一列配置的成为同一色分量的拍摄用像素中的处于离AF像素41较远的位置的拍摄用像素（远位置（远位）拍摄用像素）的像素值与处于离AF像素41较近的位置的拍摄用像素（近位置（近位）拍摄用像素）的像素值的差量，并作为预测误差（S-43）。
（式59）
deltaRU＝R13’-R33’
deltaRS＝R73’-R53’
（式60）
deltaGU＝G14’-G34’
deltaGS＝G74’-G54’
（对预测误差是否超出限幅范围进行判定）
AF像素插补部45判定：通过（式59）、（式60）求出的预测误差deltaRU、deltaRS、deltaGU以及deltaGS的各值是否包括在基于通过（式58）求出的限幅量得出的限幅范围（-Th＿LPF～Th＿LPF）内（S-44）。
（限幅处理）
AF像素插补部45对预测误差deltaRU、deltaRS、deltaGU以及deltaGS中的脱离限幅范围的预测误差进行限幅处理（S-45）。这里，所谓限幅处理是对脱离了限幅范围的预测误差的值进行限幅使得其被包含在限幅范围内的处理。
（将预测误差加到近位置拍摄用像素的像素值上）
AF像素插补部45利用（式61）将预测误差加到各列近位置拍摄用像素的像素值上（S-46）。这里，预测误差是通过（式59）、（式60）求出的值或是被限幅后的值。
（式61）
R33”＝R33’＋deltaRU
R53”＝R53’＋deltaRS
G34”＝G34’＋deltaGU
G54”＝G54’＋deltaGS
由此，AF像素列周围的拍摄用像素的像素值即远位置拍摄用像素的像素值以及近位置拍摄用像素的像素值分别被校正，进而通过利用了预测误差的平滑化处理来校正近位置拍摄用像素的像素值。
（将校正后的拍摄用像素的像素值存储到SDRAM中）
AF像素插补部45将通过权重系数校正后的远位置拍摄用像素的像素值和通过预测误差校正后的近位置拍摄用像素的像素值存储到SDRAM27中（S-47）。
若第1次处理完成，则执行第2次处理。
（通过权重系数对AF像素列周围的拍摄用像素的像素值进行校正）
AF像素插补部45利用通过第1次处理校正了的拍摄用像素的像素值对这些拍摄用像素的像素值是否在阈值MAX＿RAW以上进行判定。基于该判定结果，用所设定的权重系数进行校正（S-48）。这里，阈值MAX＿RAW是用于对像素值是否饱和进行判定的阈值，使用与第1次处理（S-41）相同的值。
AF像素插补部45，在拍摄用像素的像素值在阈值MAX＿RAW以上的情况下，对拍摄用像素的像素值不进行校正。AF像素插补部45，在拍摄用像素的像素值低于阈值MAX＿RAW的情况下，将上述（式46）～（式57）中所有的权重系数变为0来进行校正。也就是，在进行了该处理的情况下，在AF像素列周围配置的拍摄用像素的像素值为原像素值不变。
（利用相邻的AF像素的像素值计算限幅量）
AF像素插补部45，读出相邻的AF像素的像素值X43、Y44，并利用上述（式58）求出限幅量Th＿LPF（S-49）。这里，K＿Th＿LPF的值，使用与第1次处理相同的值。
（计算每个色分量的预测误差）
AF像素插补部45利用上述（式59）、（式60）计算在同一列配置的成为同一色分量的拍摄用像素中的远位置拍摄用像素的像素值与近位置拍摄用像素的像素值的差量，并作为预测误差（S-50）。
（对预测误差是否超出限幅范围进行判定）
AF像素插补部45判定：利用上述（式59）、（式60）求出的预测误差deltaRU、deltaRS、deltaGU以及deltaGS的各值，是否包括在基于通过（式58）求出的限幅量得出的限幅范围（-Th＿LPF～Th＿LPF）内（S-51）。
（限幅处理）
AF像素插补部45对预测误差deltaRU、deltaRS、deltaGU以及deltaGS中的脱离了限幅范围的预测误差进行限幅处理（S-52）。
（将预测误差加到近位置拍摄用像素的像素值上）
AF像素插补部45利用上述（式61）将预测误差加到各列的近位置拍摄用像素的像素值上（S-53）。
由此，在第2次处理中，利用预测误差进一步校正近位置拍摄用像素的像素值。
（将校正后的拍摄用像素的像素值存储到SDRAM中）
AF像素插补部45将通过权重系数校正了的远位置拍摄用像素的像素值和通过预测误差校正了的近位置拍摄用像素的像素值存储到SDRAM27中（S-54）。
这样在第3像素插补处理中，上述的校正处理反复执行2次。在该校正处理反复执行2次后，执行第2像素插补处理。
（第2像素插补处理）
AF像素插补部45用在SDRAM27中存储的拍摄用像素的像素值来执行上述的第2像素插补处理（S-55）。由此，计算出与AF像素相对应的拍摄用像素的像素值。也就是，插补AF像素的像素值。
（将插补后的AF像素的像素值存储到SDRAM中）
AF像素插补部45将通过第2像素插补处理（S-55）插补了的AF像素的像素值存储到SDRAM27中。
在该第3像素插补处理中，通过反复执行2次校正处理，有效地进行相对于AF像素列附近的拍摄用像素的像素值的平滑化处理。通过有效地进行该平滑化处理，能够降低由在与AF像素相邻的拍摄用像素中产生的光斑所导致的混色的影响。另外，利用降低了混色的影响的拍摄用像素的像素值来进行对于AF像素的插补处理，所以在AF像素中，也得到降低了由产生的光斑所导致的混色的影响的像素值。也就是，能够得到降低了光斑的影响的图像。
此外，在本实施方式中，将AF像素的排列方向设为水平扫描方向，但是本发明不限定于此，AF像素也可以在垂直扫描方向或其他方向上排列。
此外，在本实施方式中，各个AF像素设为对来自左侧或右侧的光束进行光瞳分割的焦点检测像素，但是本发明并不限定于此，各个AF像素也可以是具有对来自左侧以及右侧的光束进行光瞳分割的像素的焦点检测像素。
此外，在本实施方式中关于电子相机作了说明，但不必限定于此，对于读入通过电子相机获取到的图像并进行图像处理的图像处理装置，也能够使其执行图6、图7、图12以及图14的流程图中的处理。另外，在此之外，对于用于通过计算机来实现图6、图7、图12以及图14的流程图中的处理的程序也能够适用。此外，该程序，优选存储到存储卡、光盘、磁盘等计算机可读存储介质中。

Claims (15)

1.一种光斑判定装置，其特征在于，具备：
图像输入部，其被输入图像；
图像校正部，其利用校正系数对所述图像进行校正，该校正系数基于与光源种类相应的白平衡处理用的增益值而设定；
区域检测部，其从通过所述图像校正部校正了的图像中检测出包括在预定的色分量的范围中的区域；和
判定部，其判定在由所述区域检测部所检测出的所述区域中是否产生光斑。
2.根据权利要求1所记载的光斑判定装置，其特征在于，
还具备矩阵确定部，该矩阵确定部利用根据与光源种类相应的白平衡处理用的增益值所设定的校正系数，对第1色空间转换用矩阵进行校正，从而求出第2色空间转换用矩阵，所述第1色空间转换用矩阵在对通过所述图像输入部所输入的所述图像的色空间进行转换时使用，
所述图像校正部利用所述第2色空间转换用矩阵，对所述图像的色空间进行转换，
所述区域检测部从对所述色空间进行转换后的所述图像中，检测出包括在所述预定的色分量的范围中的区域。
3.根据权利要求2所记载的光斑判定装置，其特征在于，
所述第2色空间转换用矩阵，将发生因所述光斑而引起的混色的区域中所包括的像素的像素值，转换成包括在所述预定的色分量的范围中的像素值。
4.根据权利要求2所记载的光斑判定装置，其特征在于，
具备高辉度区域提取部，该高辉度区域提取部提取出所述图像所包括的像素中的、辉度值超过预先设定的阈值的像素的区域，
所述区域检测部对由所述高辉度区域提取部所提取的区域，执行利用所述第2色空间转换用矩阵的色空间的转换。
5.根据权利要求4所记载的光斑判定装置，其特征在于，
具备阈值算出部，该阈值算出部基于直方图求出所述阈值，该直方图利用所述图像所包括的各像素的各个辉度值而生成。
6.根据权利要求4所记载的光斑判定装置，其特征在于，
所述高辉度区域提取部从所述图像所包括的各像素中的、所述辉度值未饱和的像素中，提取超过所述阈值的像素的区域。
7.根据权利要求1所记载的光斑判定装置，其特征在于，
所述区域检测部从所述图像所包括的像素中的、除去像素值未饱和的像素后的区域中，检测出包括在所述预定的色分量的范围中的区域。
8.根据权利要求1所记载的光斑判定装置，其特征在于，
所述判定部，利用评价值判定在所述区域中是否产生所述光斑，该评价值包括：包括在所述预定的色分量的范围中的像素的区域的总面积、空间分散值/所述总面积或辉度分量的边缘量的平均值中的至少2个。
9.根据权利要求1所记载的光斑判定装置，其特征在于，
所述判定部，利用评价值判定在所述区域中是否产生所述光斑，该评价值包括：包括在所述预定的色分量的范围中的像素的区域的总面积、空间分散值/所述总面积以及辉度分量的平均边缘量。
10.根据权利要求1所记载的光斑判定装置，其特征在于，
所述预定的色分量的范围为成为品红色的色分量的范围。
11.一种光斑判定装置，其特征在于，具备：
图像输入部，其被输入图像；
图像校正部，其利用校正系数对所述图像进行校正，该校正系数基于与光源种类相应的白平衡处理用的增益值而设定；
区域检测部，其采用通过所述图像校正部校正了的所述图像，检测出包括在预定的色分量的范围中的区域；和
判定部，其对多个种类的评价值进行判定，从而检测是否产生光斑，该多个种类的评价值根据与由所述区域检测部所检测出的所述区域相关的信息求出。
12.一种拍摄装置，其特征在于，具备：
权利要求1所记载的光斑判定装置；
拍摄元件，其对被拍摄体光进行受光，输出成为所述图像来源的图像信号；和
图像处理部，其对所述图像信号进行包括所述白平衡处理的图像处理。
13.根据权利要求12所记载的拍摄装置，其特征在于，
被输入所述光斑判定装置的图像包括在设定所述白平衡处理中的增益值时所用的评价用图像。
14.根据权利要求12所记载的拍摄装置，其特征在于，
所述拍摄元件具备拍摄用像素以及焦点检测用像素，
所述拍摄装置还具备插补处理部，该插补处理部对所述拍摄用像素的像素值以及所述焦点检测用像素的像素值，执行基于所述光斑判定装置的判定结果的处理内容的插补处理。
15.一种计算机能读取存储介质，其特征在于，存储有能够使计算机执行下述步骤的光斑判定程序，该步骤包括：
输入图像的图像输入步骤；
图像校正步骤，该步骤中，利用校正系数对所述图像进行校正，该校正系数基于与光源种类相应的白平衡处理用的增益值而设定；
区域检测步骤，该步骤中，从通过所述图像校正步骤校正了的图像中检测出包括在预定的色分量的范围中的区域；和
判定步骤，该步骤中，判定在通过所述区域检测步骤所检测出的所述区域中是否产生光斑。
CN201280032006.6A 2011-06-30 2012-06-26 光斑判定装置以及拍摄装置 Active CN103621069B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011145705 2011-06-30
JP145705/2011 2011-06-30
PCT/JP2012/004124 WO2013001790A1 (ja) 2011-06-30 2012-06-26 フレア判定装置、撮像装置及びフレア判定プログラム

Publications (2)

Publication Number Publication Date
CN103621069A true CN103621069A (zh) 2014-03-05
CN103621069B CN103621069B (zh) 2016-12-14

Family

ID=47390282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280032006.6A Active CN103621069B (zh) 2011-06-30 2012-06-26 光斑判定装置以及拍摄装置

Country Status (4)

Country Link
US (1) US8908062B2 (zh)
JP (1) JP5994778B2 (zh)
CN (1) CN103621069B (zh)
WO (1) WO2013001790A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9160937B2 (en) * 2011-08-30 2015-10-13 Sharp Kabushika Kaisha Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP2014053855A (ja) * 2012-09-10 2014-03-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP2015007739A (ja) * 2012-10-01 2015-01-15 キヤノン株式会社 表示装置及びその制御方法
JP6056511B2 (ja) * 2013-01-30 2017-01-11 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9497427B2 (en) 2013-07-15 2016-11-15 Semiconductor Components Industries, Llc Method and apparatus for image flare mitigation
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US9979909B2 (en) * 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
JP2018196083A (ja) * 2017-05-22 2018-12-06 オリンパス株式会社 画像処理装置
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP2019197985A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) * 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
WO2020230610A1 (ja) * 2019-05-15 2020-11-19 富士フイルム株式会社 漏れ光検出装置、撮像装置、漏れ光検出方法、及び漏れ光検出プログラム
CN114066785A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法及装置、终端和存储介质
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093992A1 (en) * 2003-10-31 2005-05-05 Canon Kabushiki Kaisha Image processing apparatus, image-taking system, image processing method and image processing program
CN101939997A (zh) * 2007-12-10 2011-01-05 豪威科技有限公司 采用与光源相关的色彩校正矩阵进行色彩校正的图像传感器装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3944151B2 (ja) * 2003-10-31 2007-07-11 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP4250506B2 (ja) * 2003-10-31 2009-04-08 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム
JP5020615B2 (ja) * 2006-12-08 2012-09-05 キヤノン株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
US7876229B2 (en) * 2007-08-14 2011-01-25 Honeywell International Inc. Flare monitoring
JP4571179B2 (ja) * 2007-12-07 2010-10-27 パナソニック株式会社 撮像装置
JP5200955B2 (ja) 2008-02-14 2013-06-05 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050093992A1 (en) * 2003-10-31 2005-05-05 Canon Kabushiki Kaisha Image processing apparatus, image-taking system, image processing method and image processing program
CN101939997A (zh) * 2007-12-10 2011-01-05 豪威科技有限公司 采用与光源相关的色彩校正矩阵进行色彩校正的图像传感器装置及方法

Also Published As

Publication number Publication date
CN103621069B (zh) 2016-12-14
JPWO2013001790A1 (ja) 2015-02-23
US8908062B2 (en) 2014-12-09
US20130002902A1 (en) 2013-01-03
JP5994778B2 (ja) 2016-09-21
WO2013001790A1 (ja) 2013-01-03

Similar Documents

Publication Publication Date Title
CN103621069A (zh) 光斑判定装置、拍摄装置以及光斑判定程序
JP6040594B2 (ja) 撮像装置、画像処理装置及び画像処理プログラム
US6947080B2 (en) Device for image processing, method of adjusting white-balance, and computer products
CN101322398B (zh) 照相机系统、曝光量调节方法
US8854483B2 (en) Image processing device, image processing method and image processing program
US7911516B2 (en) Camera module and electronic apparatus provided with it
CN102474628B (zh) 图像处理方法和设备
CN107018395B (zh) 图像处理装置、图像处理方法和摄像装置
US20150237314A1 (en) Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium
US8542920B2 (en) Image processing apparatus, image processing method, and program
CN102472882B (zh) 进行自动调焦控制的摄像设备以及摄像设备的控制方法
JP5589073B2 (ja) 撮像装置及びホワイトバランスゲイン算出方法
US20100277625A1 (en) Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
US20140211076A1 (en) Image capturing apparatus and method for calculating sensitivity ratio of phase difference pixel
CN101335900A (zh) 图像处理装置、图像处理方法、程序和摄像装置
CN102595031A (zh) 摄像装置以及图像处理方法
US8559711B2 (en) Method for correcting chromatic aberration
CN104641276A (zh) 摄像装置及信号处理方法
JP2014036262A (ja) 撮像装置
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP5834542B2 (ja) 撮像装置、画像処理装置、及びプログラム、並びに記録媒体
JP2013125046A (ja) 撮像装置及びカメラシステム
JP2013247597A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2013013006A (ja) 撮像装置、撮像装置の製造方法、画像処理装置、及びプログラム、並びに記録媒体
JP2014164236A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant