CN102857692A - 摄像装置、图像处理装置和图像处理方法 - Google Patents

摄像装置、图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102857692A
CN102857692A CN2012102278667A CN201210227866A CN102857692A CN 102857692 A CN102857692 A CN 102857692A CN 2012102278667 A CN2012102278667 A CN 2012102278667A CN 201210227866 A CN201210227866 A CN 201210227866A CN 102857692 A CN102857692 A CN 102857692A
Authority
CN
China
Prior art keywords
pixel
mentioned
image
shooting
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102278667A
Other languages
English (en)
Inventor
平间宣孝
高桥秋彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN102857692A publication Critical patent/CN102857692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种摄像装置、图像处理装置和图像处理方法。本发明的摄像装置的特征在于，包括：摄像元件，具有摄像用像素和焦点检测用像素；判定部，判定在通过摄像元件的驱动而得到的图像上重叠的噪声量；和像素内插部，通过对图像执行处理内容不同的多个内插处理中的、与判定部的噪声量的判定结果对应的内插处理，而生成对焦点检测用像素的内插像素值。

Description

摄像装置、图像处理装置和图像处理方法
技术领域
本发明涉及摄像装置、图像处理装置和图像处理方法。
背景技术
以往，已知有如下的摄像元件：在二维地排列有多个摄像用像素的受光面的一部分上排列有焦点检测用的多个像素(参照JP特开2009-303194号公报)。多个摄像用像素具有与多个颜色成分分别对应的光谱特性，此外，焦点检测用的像素(焦点检测用像素)具有与多个摄像用像素不同的光谱特性。从多个摄像用像素读出用于生成图像的信号并决定摄像用像素的像素值，此外从焦点检测用像素读出用于焦点检测的信号并决定焦点检测用像素的像素值。进行像素内插时，内插摄像用像素的像素值中欠缺的颜色成分的像素值，并且内插与焦点检测用像素的位置对应的摄像用像素值。
在将JP特开2009-303194号公报所记载的发明中，为了进行对焦点检测用像素的内插处理，使用位于焦点检测用像素附近的摄像用像素的像素值而生成焦点检测用像素的内插像素值，计算上述附近的摄像用像素具有与焦点检测用像素相同的光谱特性时的像素值即评价像素值，使用上述焦点检测用像素的像素值和上述评价像素值来计算图像的高频成分，对上述内插像素值附加上述高频成分，而计算出与焦点检测用像素的位置对应的摄像用像素的像素值。
但是，在成为产生较多噪声的摄影状态的情况下，焦点检测用像素的周边的摄像用像素的像素值波动非常大。从而，在使用波动的摄像用像素的像素值计算与焦点检测用像素的位置对应的摄像用像素的像素值时，有时会进行预计以上的内插，而在图像中产生成为伪色的像素。例如，当沿着水平线配置了设于摄像元件的焦点检测用像素时，若各焦点检测用像素各自产生伪色，则伪色的像素的区域沿着图像的水平方向而变得明显，会成为对用户的眼睛带来不适感的图像。
发明内容
本发明鉴于上述情况，其目的在于提供一种即使在产生较多噪声时也能够以不在图像中产生伪色的方式进行像素内插的摄像装置、图像处理装置及图像处理方法。
对本发明进行例示的摄像装置的一个方式的特征在于，包括：摄像元件，具有摄像用像素和焦点检测用像素；判定部，判定在通过上述摄像元件的驱动而得到的图像上重叠的噪声量；和像素内插部，通过对上述图像执行处理内容不同的多个内插处理中的、与上述判定部的上述噪声量的判定结果对应的内插处理，而生成对上述焦点检测用像素的内插像素值。
此外，上述判定部使用摄影时的摄影灵敏度和上述摄像元件中的电荷存储时间，判定在上述图像上重叠的上述噪声量。
此外，包括温度检测部，该温度检测部用于检测上述摄像元件或设于上述摄像装置中的控制基板的温度，上述判定部除了使用上述摄影时的摄影灵敏度和上述摄像元件中的电荷存储时间之外，还使用上述摄像元件或上述控制基板的温度，判定在上述图像上重叠的上述噪声量。
此外，在由上述判定部判定为在上述图像上重叠的噪声量多时，上述像素内插部通过执行使用了位于上述焦点检测用像素附近的上述摄像用像素的像素值的内插处理，而生成对上述焦点检测用像素的上述内插像素值。
此外，在由上述判定部判定为在上述图像上重叠的噪声量少时，上述像素内插部通过执行使用了上述焦点检测用像素以及位于该焦点检测用像素附近的上述摄像用像素的像素值的内插处理，而生成对上述焦点检测用像素的上述内插像素值。
此外，包括快门，该快门在向上述摄像元件照射被摄体光的开放位置和遮住上述被拍摄体光的遮光位置之间移动，上述图像由第1图像和第2图像构成，其中，当上述快门在上述开放位置保持了上述电荷存储时间时得到上述第1图像，当上述快门在上述遮光位置保持了上述电荷存储时间时得到上述第2图像，上述像素内插部对上述第1图像和上述第2图像执行基于上述噪声量的推定结果的上述内插处理。
此时优选，还包括图像处理部，该图像处理部从由上述像素内插部进行内插处理后的上述第1图像的各像素值减去上述第2图像的各像素值。
此外，本发明的图像处理装置的特征在于，包括：图像取入部，取入利用摄像元件取得的图像，该摄像元件具有摄像用像素和焦点检测用像素；判定部，判定在上述图像上重叠的噪声量；和像素内插部，通过对上述图像执行处理内容不同的多个内插处理中的、与上述判定部的上述噪声量的判定结果对应的内插处理，而生成对上述焦点检测用像素的内插像素值。
此外，本发明的图像处理方法包括：图像取入步骤，取入利用摄像元件取得的图像，该摄像元件具有摄像用像素和焦点检测用像素；判定步骤，判定在上述图像上重叠的噪声量；和像素内插步骤，通过对上述图像执行处理内容不同的多个内插处理中的、与上述判定步骤的上述噪声量的判定结果对应的内插处理，而生成对上述焦点检测用像素的内插像素值。
附图说明
图1是表示本发明的电子相机的电结构的功能框图。
图2是表示摄像用像素及AF像素的配置例的图。
图3是表示以配置有AF像素的区域为中心的图像数据的一部分的图。
图4是表示具备噪声判定部及闪光(flare)判定部的AF像素内插部的图。
图5是说明AF像素内插部的作用的流程图。
图6是表示第2像素内插处理的流程的流程图。
图7是表示发挥本实施方式的效果的图像结构的一例的图。
图8是表示第3像素内插处理的流程的流程图。
图9是说明AF像素内插部的作用的流程图。
具体实施方式
如图1所示，应用了本发明的电子相机10具备CPU11。在CPU11上连接非易失性存储器12及工作存储器13，在非易失性存储器12中存储有CPU11进行各种控制时所参照的控制程序等。进而，在非易失性存储器12中存储：表示详情后述的摄像元件的AF像素的位置坐标的数据；预先求出的用于图像处理程序的各种阈值、加权系数等数据；以及各种判定用表格等。
CPU11按照存储于非易失性存储器12中的控制程序，将工作存储器13用作暂时存储作业区域而进行各部的控制，使构成电子相机10的各部(电路)功能工作。
从摄影透镜14入射的被摄体光经由光圈15、快门16而成像于CCD、CMOS等摄像元件17的受光面。摄像元件驱动电路18根据来自CPU11的控制信号而驱动摄像元件17。摄像元件17为拜耳(Bayer)排列式单板摄像元件，在前面安装有原色透射滤波器19。
原色透射滤波器19成为如下的原色拜耳排列：相对于摄像元件17的总像素数N，例如G(绿色)的分辨率为N/2、R(红色)和B(蓝色)的分辨率为N/4。
成像于摄像元件17的受光面的被摄体像被转换成模拟的图像信号。图像信号被依次输出到构成AFE(Analog Front End，模拟前端)电路的CDS21以及AMP22，在AFE电路中进行预定的模拟处理，之后在A/D(模拟/数字转换器)23中转换成数字的图像数据，并发送到图像处理部25。
图像处理部25包括分离电路、白平衡处理电路、像素内插(去马赛克/demosaicing)电路、矩阵处理电路、非线性变换(γ校正)处理电路以及轮廓强调处理电路等，对数字的图像数据进行白平衡、像素内插、矩阵、非线性变换(γ校正)以及轮廓强调等处理。分离电路分离从详情后述的摄像用像素输出的信号、和从焦点检测用像素输出的信号。像素内插电路将每1像素1色的拜耳排列信号转换成每1像素由3色构成的通常的彩色图像信号。
从图像处理部25输出的3色的图像数据通过总线26存储到SDRAM27。存储于SDRAM27的图像数据通过CPU11的控制而被读出，并发送到显示控制部28。显示控制部28将所输入的图像数据转换成显示用的预定方式的信号(例如NTSC方式的彩色复合影像信号)并作为取景图像输出到显示部29。
此外，响应快门释放而取得的图像数据在从SDRAM27读出后被发送至压缩扩展处理部30，在此进行了压缩处理后，经由媒体控制器31记录到作为记录介质的存储卡32中。
在CPU11上连接有释放按钮33、电源开关(未图示)，并且从用于检测摄像元件17的温度的温度检测部34输入温度信息。该信息被发送至图像处理部25，在详情后述的判定噪声时被利用。
AWB/AE/AF检测部35根据焦点检测用像素(AF像素)的信号，通过光瞳分割式相位差检测方式而检测散焦量以及散焦的方向。CPU11根据由AWB/AE/AF检测部35获得的散焦量以及散焦的方向，控制驱动器36而驱动对焦马达37，使聚焦透镜在光轴方向进退而进行焦点调节。
此外，AWB/AE/AF检测部35由基于摄像用像素的信号算出的测光亮度值(Bv)和摄影者在ISO灵敏度设定部38中设定的ISO灵敏度(Sv)，来计算光值(Lv=Sv+Bv)。并且，AWB/AE/AF检测部35决定光圈值和快门速度以使曝光值(Ev=Av+Tv)成为所求出的光值Lv。根据该决定，CPU11使光圈驱动部39驱动而调整光圈15的光圈直径以成为所求出的光圈值。与此同时，CPU11使快门驱动部40驱动，按求出的快门速度执行快门16的开闭动作以便打开快门16。
AWB/AE/AF检测部35在自动白平衡调整时，从取入于SDRAM27的1画面的图像数据进行间隔剔除读出，生成例如24×16的AWB评价用数据。并且，AWB/AE/AF检测部35利用所生成的AWB评价用数据进行光源种类判别，按照适于所判别出的光源种类的白平衡调整值对各色通道的信号进行校正。
摄像元件17适当选择使用如下的CCD、CMOS的半导体图像传感器等：分别对处于其受光面上的多个摄像用像素，以拜耳排列的方式设置R(红色)、G(绿色)、B(蓝色)的任意原色透射滤波器19，在其上设置有微透镜阵列。进而，本实施方式的摄像元件17具有在受光面上的一部分区域中在水平扫描方向上一维地配置的多个AF像素41。这些AF像素41中没有设置原色透射滤波器19。此外，AF像素存在两种，即，接收在摄影透镜14的光学系统的光瞳的左侧或右侧通过的光束。摄像元件17能够单独地读出来自摄像用像素组以及AF像素组的像素信号。
如图2所示，AF像素41具有自单元格中心(微透镜的中心)偏于一方的传感器开口部41a、41b，沿着其所偏的方向一维状地排列。传感器开口部41a、41b的偏向彼此为相反方向，所偏的距离相同。具有传感器开口部41a的AF像素41替代RGB原色拜耳排列中的G像素而设置，此外，具有传感器开口部41b的AF像素41替代RGB原色拜耳排列中的B像素而设置。通过这种具有传感器开口部41a、41b的AF像素41而实现光瞳分割相位差AF方式。即，对于通过出瞳的光束中相对于摄影透镜14的光轴处于对称位置的两个部分光束，若在具有传感器开口部41a的AF像素41和具有传感器开口部41b的AF像素41分别受光，则通过从两个像素41输出的信号的相位差可知焦点偏移的方向(聚焦透镜的移动方向)和焦点偏移的量(聚焦透镜的移动量)。从而可以迅速对焦。
因此，本实施方式中的AF像素41分别输出与白色光的亮度对应的左侧或右侧的光瞳分割的检测信号。图3表示由摄像元件17拍摄到的图像数据中以配置有AF像素41的区域为中心的图像数据的一部分。各个单元格表示一个像素。各单元格开头的记号R、G和B表示具有各原色透射滤波器19的摄像用像素。另一方面，记号X和Y表示对来自左侧或右侧的光束具有灵敏度的AF像素，它们交替地在水平扫描方向上一维地排列。紧接着这些记号的两位号码表示像素的位置。
像素内插部包括：利用摄像用像素的像素值来内插AF像素41的像素值的AF像素内插部45；和在内插了AF像素的像素值之后进行从拜耳排列向RGB的线性内插法下的颜色内插的像素内插部。
如图4所示，AF像素内插部45包括噪声判定部46和闪光判定部47，根据这些判定进行不同的AF像素内插处理。噪声判定部46根据摄影时的摄影条件来判定是否为产生较多噪声的条件。摄影条件为摄像元件17的温度、ISO灵敏度以及快门速度等。摄像元件17的温度信息由CPU11获得。此外，摄影时设定的ISO灵敏度、快门速度的信息也与温度信息一起由CPU11获得。
噪声判定部46根据摄像元件17的温度、ISO灵敏度以及快门速度的信息来判定噪声是多还是少。另外，也可以在安装摄像元件17的主基板上设置温度检测部，并使用主基板的温度或摄像元件17周围的温度来代替摄像元件17的温度。进而，作为用于噪声判定的信息，不限于摄像元件17的温度、ISO灵敏度以及快门速度这三个信息，也可以是其中的任一个或两个信息。
噪声判定部46判定为噪声多时，不使用AF像素的像素值，而使用其周围的摄像用像素的像素值来进行第1像素内插处理，该第1像素内插处理例如进行单纯平均内插。在判定为噪声少时，由闪光判定部47进行闪光判定，对应于是否产生了闪光，来进行与上述第1像素内插处理不同的第2或第3像素内插处理。
闪光判定部47在根据图像数据的亮度直方图提取出亮度高的区域(高亮度区域)之后，对所提取出的高亮度区域判定是否存在例如品红色，当存在品红色时，计算成为品红色的区域(品红色区域)中的亮度成分的边缘量和色散值，分别对“品红色区域的总面积”、“色散值/品红色区域的总面积”、“品红色区域中的亮度成分的平均边缘量”进行阈值判定，来判定是否产生了闪光。
另外，作为闪光判定还可以如下进行，即，设置陀螺传感器或加速度传感器等姿势检测部，由CPU11通过基于从姿势检测部获得的输出值的运算，求出摄影透镜14相对于水平的仰角，将该仰角与被摄体距离、被摄体亮度、摄影模式等信息一起发送到闪光判定部47，在闪光判定部47中根据仰角、被摄体距离、被摄体亮度、摄影模式等信息，进行是屋外还是屋内的区分、昼夜的区分、以及在相机朝上时的摄影视角中作为被摄体是否拍入天空的区分，来进行是否产生闪光的判定。
在判定为未产生闪光的情况下，AF像素内插部45执行第2像素内插处理，即，使用AF像素的像素值以及摄像用像素的像素值来内插AF像素的像素值。该第2像素内插处理从AF像素的像素值(白色(W)成分)以摄像用像素的像素值为基础通过加权和进行预测，从而内插该AF像素的像素值。
在判定为产生了闪光的情况下，AF像素内插部45执行第3像素内插处理。第3像素内插处理多次(本实施方式中为2次)执行以下处理：通过权重系数校正AF像素的周围的摄像用像素的像素值，并使校正后的摄像用像素的像素值平滑化。在进行第二次校正时使加权系数为“0”，详情后述。即，在第二次处理中，不进行通过权重系数校正AF像素的周围的摄像用像素的像素值的处理，仅进行使摄像用像素的像素值平滑化的处理。在该多次处理之后，执行第2像素内插处理，即，从AF像素的像素值(白色(W)成分)以校正后的摄像用像素的像素值为基础通过加权和进行预测，从而内插该AF像素的像素值。由此能够对AF像素的周围的摄像用像素抑制闪光中的混色的影响。从而，在进行第2像素内插处理时，对于作为摄像用像素生成了AF像素的像素值也抑制了混色的影响。
接下来参照图5说明AF像素内插部45的作用。另外，在本实施方式中，设于各摄像用像素的原色透射滤波器19为拜耳排列的图案，因此在图3所示的记号X的AF像素的位置内插绿色(G)的摄像用像素的像素值，在记号Y的AF像素的像素位置内插蓝色(B)的摄像用像素的像素值。在以下的说明中，对于分别内插Y44的蓝色的摄像用像素的像素值和X45的绿色的摄像用像素的像素值的情况进行说明。内插其他AF像素中的摄像用像素的像素值的顺序也同样。
[噪声判定]
CPU11将从A/D23传送来的图像数据发送到噪声判定部46。此外，CPU11将摄影时的摄像元件17的温度、ISO灵敏度以及快门速度的信息发送到噪声判定部46。从而，CPU11控制噪声判定部46，并通过噪声判定部46对图像数据判定噪声是多还是少(S-1)。
噪声判定部46的判定参照噪声判定用表格来执行。噪声判定用表格按照各摄像元件17的温度范围准备多个，并被预先存储于非易失性存储器12中。CPU11将与取得图像数据时的摄像元件17的温度对应的噪声判定用表格发送到噪声判定部46。
作为噪声判定用表格，例如在摄像元件17的温度低于T1时选择[表1]所记载的表格，此外在为T1以上且低于T2的范围时选择[表2]所记载的表格。在各表格中，根据预先进行的实验来决定通过快门速度(P)和ISO灵敏度(Q)决定的噪声的预测结果。
[表1]
Figure BDA00001840640400101
[表2]
Figure BDA00001840640400102
在判定为噪声多时，不使用AF像素的像素值，而使用其周围的摄像用像素的像素值进行第1像素内插处理(S-2)。
[第1像素内插处理]
作为第1像素内插处理，例如对位于AF像素周围的摄像用像素的像素值进行平均内插而求出。具体地说，图3中代替B像素而设置的AF像素Y42的像素值根据[数学式1]所记载的公式求出，此外，AF像素Y44的像素值根据[数学式2]所记载的公式求出，进而，AF像素Y46的像素值根据[数学式3]所记载的公式求出。
[数学式1]
Y42=(B22+B62)/2
[数学式2]
Y44=(B24+B64)/2
[数学式3]
Y46=(B26+B66)/2
此外，代替G像素而设置的AF像素X43的像素值根据[数学式4]所记载的公式求出，此外，AF像素X45的像素值根据[数学式5]所记载的公式求出。
[数学式4]
X43=(G32+G34+G52+G54)/4
[数学式5]
X45=(G34+G36+G54+G56)/4
由此，在噪声多时不使用AF像素的像素值，而仅从其周边的像素值来预测AF像素的像素值，因此可以极力抑制以下情况的发生：预测的AF像素的像素值波动而进行了预计以上的内插，产生被称为伪色的实际不存在的颜色；或产生被称为伪结构的实际不存在的结构。另外，在摄像用像素的像素值内插了AF像素的像素值的图像数据，在图像处理部25中被进行从拜尔排列到RGB的线性内插法下的颜色内插，而作为各RGB的图像数据存储于SDRAM27中。
[闪光判定]
在噪声判定部46判定为噪声少时，CPU11控制闪光判定部47，而在闪光判定部47中判定是否产生了闪光(S-3)。由闪光判定部47判定为未产生闪光时AF像素内插部45执行第2像素内插处理(S-4)，当判定为产生闪光时执行第3像素内插处理(S-5)。
[第2像素内插处理]
使用AF像素周边的摄像用像素的像素值，求出像素值的变化率即变动值最小的方向。并且，使用处于变动最小的方向的摄像用像素的像素值，内插AF像素的像素值。
(计算最小的变动值的方向)
AF像素内插部45为了进行对X45和Y44的AF像素的内插，使用X45和Y44周边的摄像用像素的像素值，并利用[数学式6]～[数学式9]分别求出四个方向的像素值的变化率、即方向变动H1～H4的值(S-6)。另外，本实施方式中的四个方向是指水平扫描方向、垂直扫描方向以及相对于水平扫描方向为45度和135度的方向。
[数学式6]
水平扫描方向的方向变动H1＝
2×(|G34-G36|+|G54-G56|)+|R33-R35|+|R53-R55|+
|B24-B26|+|B64-B66|
[数学式7]
垂直扫描方向的方向变动H2=
2×(|G34-G54|+|G36-G56|)+|R33-R53|+|R35-R55|+
|B24-B64|+|B26-B66|
[数学式8]
相对于水平扫描方向为45度的方向变动H3=
2×(|G27-G36|+|G54-G63|)+|R35-R53|+|R37-R55|+
|B26-B62|+|B28-B64|
[数学式9]
相对于水平扫描方向为135度的方向变动H4=
2×(|G23-G34|+|G56-G67|)+|R33-R55|+|R35-R57|+
|B22-B66|+|B24-B68|
(使用与最小变动值的方向对应的周边的摄像用像素的像素值来内插AF像素的像素值)
AF像素内插部45选择在步骤(S-6)中求出的方向变动H1～H4中值最小的方向变动的方向，使用处于该方向的摄像用像素的像素值，利用[数学式10]～[数学式13]中与所选择的方向对应的公式，求出AF像素X45的位置处的G的摄像用像素的像素值GX45以及AF像素Y44的位置处的B的摄像用像素的像素值BY44(S-7)。从而，通过使用处于变动小的方向的摄像用像素的像素值，能够更正确地对X45和Y44等AF像素进行内插。
[数学式10]
方向变动H1最小时
BY44=(B24+B64)/2
GX45=(G34+G36+G54+G56)/4
[数学式11]
方向变动H2最小时
BY44=(B24+B64)/2
GX45=(G25+G65)/2
[数学式12]
方向变动H3最小时
BY44=(B26+B62)/2
GX45=(G36+G54)/2
[数学式13]
方向变动H4最小时
BY44=(B22+B66)/2
GX45=(G34+G56)/2
AF像素内插部45在作为AF像素的排列方向的水平扫描方向上，例如利用AF像素的Y44和X45的白色光的像素值W44和W45、以及[数学式14]，计算AF像素的像素值的方向变动H5。
[数学式14]
H5=|W44-W45|
AF像素内插部45判定该方向变动H5的值是否超过阈值Th1(S-8)。方向变动H5为超过阈值Th1的值时(“是”侧)，AF像素内插部45将步骤(S-7)中求出的BY44和GX45的内插的值作为Y44和X45中的摄像用像素的像素值，更新图像数据。图像处理部25对更新后的图像数据进行3色的像素内插而生成3色的图像数据，并将3色的图像数据经由总线26记录到SDRAM27中(S-9)。
另一方面，方向变动H5为阈值Th1以下时(“否”侧)，图像处理部25转移到(S-10)。另外，阈值Th1在处理例如12位图像时为512左右的值即可。
AF像素内插部45判定步骤(S-6)中求出的方向变动H2是否超过阈值Th2(S-10)。方向变动H2为超过阈值Th2的值时(“是”侧)，AF像素内插部45将步骤(S-7)中求出的BY44和GX45的内插的值作为Y44和X45中的摄像用像素的像素值，更新图像数据。图像处理部25对更新后的图像数据进行3色的像素内插而生成3色的图像数据，并将3色的图像数据经由总线26存储到SDRAM27中(S-9)。
另一方面，方向变动H2为阈值Th2以下时(“否”侧)，图像处理部25转移到(S-11)。另外，阈值Th2在处理例如12位图像时为64左右的值即可。
之后，AF像素内插部45利用位于附近的颜色成分R、G和B的摄像用像素的像素值，计算对来自右侧的光束具有灵敏度的Y44等AF像素中的白色光的平均像素值<W44>等(S-11)。具体地说，在步骤(S-6)中例如图像处理部25判定为方向变动H2最小时，B的摄像用像素的像素值使用处于[数学式11]所记载的公式中的B24和B64。另一方面，关于R和G的像素值，使用[数学式15]中记载的四个公式对B的摄像用像素B24和B64的位置处的R和G的像素值进行内插计算。
[数学式15]
(1)RB24=(R13+R15+R33+R35)/4
(2)GB24=(G14+G23+G25+G34)/4
(3)RB64=(R53+R55+R73+R75)/4
(4)GB64=(G54+G63+G65+G74)/4
AF像素内插部45利用从CPU11传送来的R、G和B的加权系数WR、WG和WB，并通过[数学式16]所记载的公式的加权和，来计算摄像用像素B24和B64的位置处的白色光的像素值W24和W64。
[数学式16]
W24=WR×RB24+WG×GB24+WB×B24
W64=WR×RB64+WG×GB64+WB×B64
并且，图像处理部25计算Y44处的白色光的平均像素值<W44>=(W24+W64)/2。
AF像素内插部45与步骤(S-11)的情况同样地，利用位于附近的颜色成分R、G和B的摄像用像素的像素值，计算对来自左侧的光束具有灵敏度的X45等AF像素中的白色光的平均像素值<W45>等(S-12)。在步骤(S-6)中图像处理部25判定为方向变动H2最小时，G的摄像用像素的像素值使用处于[数学式11]所记载的公式中的G25和G65。另一方面，关于R和G的像素值，使用[数学式17]中记载的四个公式对G的摄像用像素G25和G65的位置处的R和G的像素值进行内插计算。
[数学式17]
(1)RG25=(R15+R35)/2
(2)BG25=(B24+B26)/2
(3)RG65=(R55+R75)/2
(4)BG65=(B64+B66)/2
AF像素内插部45通过[数学式18]所记载的公式的加权和，来计算摄像用像素G25和G65的位置处的白色光的像素值W25和W65。
[数学式18]
W25=WR×RG25+WG×G25+WB×BG25
W65=WR×RG64+WG×G25+WB×BG65
并且，图像处理部25计算X45处的白色光的平均像素值<W45>=(W25+W65)/2。
AF像素内插部45利用在(S-11)和(S-12)中求出的白色光的平均像素值，而求出摄像元件17的各AF像素中的白色光的像素值的高频成分(S-13)。AF像素内插部45从摄像元件17的各AF像素的像素值，首先求出各AF像素的像素位置处的白色光的平均像素值。即，各AF像素的像素值为对来自左侧或右侧的光束进行了光瞳分割的值。因此，为了获得各AF像素的位置处的白色光的像素值，需要将来自左侧和右侧的光束的像素值彼此相加。因此，本实施方式的AF像素内插部45利用各AF像素的像素值以及相邻的AF像素的像素值，并利用[数学式19]所记载的公式计算例如AF像素Y44、X45的位置处的白色光的平均像素值。
[数学式19]
<W44>’=W44+(W43+W45)/2
<W45>’=W45+(W44+W46)/2
另外，在步骤(S-13)中说明的[数学式19]中，利用在AF像素的排列方向上相邻的AF像素的像素值，计算各AF像素的位置处的白色光的像素值，因此当在排列方向上存在较强的变动时，高频成分的计算变得不正确，有可能降低白色光的像素值的排列方向的分辨率。因此，在上述的步骤(S-8)中，当在排列方向存在较强的变动时，中止高频成分的附加。
之后，AF像素内插部45根据[数学式20]所记载的公式，求出Y44和X45的位置处的白色光的高频成分HFY44和HFX45。
[数学式20]
HFY44=<W44>’-<W44>
HFX45=<W45>’-<W45>
AF像素内插部45判定在步骤(S-13)中求出的各AF像素的位置处的白色光的像素值的高频成分HF在该白色光的像素值中所占的比例是否小于阈值Th3(在本实施方式中例如为10%左右)(S-14)。高频成分HF小于阈值Th3时(“是”侧)，AF像素内插部45将步骤S12中求出的BY44和GX45的内插的值作为Y44和X45的摄像用像素的像素值，更新图像数据。图像处理部25对更新的图像数据进行3色的像素内插而生成3色的图像数据，并将3色的图像数据经由总线26存储到SDRAM27(S-9)。
另一方面，高频成分HF为阈值Th3以上时(“否”侧)，AF像素内插部45转移到步骤(S-15)。另外，关于阈值Th3的值的说明，与之后的加权系数WR、WG和WB的说明一起进行。
AF像素内插部45对Y44、X45附近的各色成分R、G或B的摄像用像素的像素值的颜色变动VR、VGr、VB和VGb进行计算(S-15)。在此，颜色变动VGr和VGb表示R或B的摄像用像素的位置处的G的颜色变动。AF像素内插部45根据[数学式21]所记载的两个公式来求出颜色变动VR和VGr。
[数学式21]
(1)VR=|R33-R53|+|R35-R55|+|R37-R57|
(2)VGr=|(G32+G34)/2-(G52+G54)/2|+|(G34+G36)/2-(G54+G56)/2|+
|(G36+G38)/2-(G56+G58)/2|
另外，本实施方式的AF像素内插部45求出R的摄像用像素的位置R33、R35、R37、R53和R57处的G的像素值的平均值，然后计算VGr的值。
另一方面，AF像素内插部45根据[数学式22]所记载的两个公式求出颜色变动VB和VGb。
[数学式22]
(1)VB=|B22-B62|+|B24-B64|+|B26-B66|
(2)VGb=|(G21+G23)/2-(G61+G63)/2+|(G23+G25)/2-(G63+G65)/2|+
|(G25+G27)/2-(G65+G67)/2|
另外，本实施方式的AF像素内插部45求出B的摄像用像素的位置B22、B24、B26、B62和B66处的G的像素值的平均值，然后计算VGb的值。
AF像素内插部45利用在步骤(S-15)中算出的颜色变动VR、VGr、VB和VGb，计算颜色成分G和B相对于白色光的颜色变动率KWG和KWB(S-16)。首先，AF像素内插部45根据颜色变动VR、VGr、VB和VGb，并通过[数学式23]所记载的三个公式来求出颜色变动VR2、VG2和VB2。
[数学式23]
(1)VR2=(VR+α)×(VGb+α)
(2)VB2=(VB+α)×(VGr+α)
(3)VG2=(VGb+α)×(VGr+α)
在此，α为用于使颜色变动率的值稳定的适当的常数，例如在处理12位图像时，α=256左右的值即可。
并且，图像处理部25利用颜色变动VR2、VG2和VB2，并通过[数学式24]所记载的公式来计算白色光的颜色变动VW。
[数学式24]
VW=VR2+VG2+VB2
从而，AF像素内插部45根据[数学式25]计算颜色变动率KWG和KWB。
[数学式25]
KWG=VG2/VW
KWB=VB2/VW
AF像素内插部45利用在步骤(S-13)中求出的各AF像素的位置处的白色光的像素值的高频成分HF以及在步骤(S-16)中算出的颜色变动率KWG和KWB，并通过[数学式26]所记载的公式来计算各AF像素的位置处的颜色成分G和B的像素值的高频成分(S-17)。
[数学式26]
HFBY44=HFY44×KWB
HFGX45=HFX45×KWG
AF像素内插部45将在步骤(S-17)中求出的各AF像素的各色成分的高频成分，附加到在步骤(S-7)中内插并求出的摄像用像素的像素值(S-18)。CPU11例如根据[数学式27]所记载的公式分别计算Y44和X45的摄像用像素值B’和G’。
[数学式27]
B’Y44=BY44+HFBY44
G’X45=GX45+HFGX45
AF像素内插部45将在Y44、X45等AF像素的位置处内插并求出的B’Y44和G’X45等像素值作为各自的位置处的摄像用像素的像素值，更新图像数据。图像处理部25对更新的图像数据变换为每1像素3色的图像数据并存储到SDRAM27中(S-9)。
另外，即使AF像素的排列方向上没有变动，也会因各色成分的摄像用像素的光谱特性的加权和与AF像素的光谱特性间的偏差等原因，而使白色光的像素值的高频成分具有些许误差。当在垂直扫描方向(与AF像素的排列方向相交的方向)上没有图像的较大变动时，即使不附加高频成分，内插值的精度也足够，若附加高频成分反而可能产生起因于误差的伪结构。因此，在步骤(S-10)中在这种情况下抑制高频成分的附加。此外，当算出的高频成分足够小时，即使不附加该高频成分，内插值的精度也足够，若附加高频成分反而可能产生起因于误差的伪结构。因此，在(S-10)中在这种情况下抑制高频成分的附加。
接下来，对于加权系数WR、WG和WB的求出方法，与阈值Th3一起进行说明。在求出这样的加权系数、阈值时，准备组装到产品中的摄像元件17或与该摄像元件17具有相同性能的摄像元件。向该摄像元件17分别改变波长频带并照射基本均匀的照度的照明，而取得关于各个波长频带的摄像图像数据。并且，对于各波长频带的摄像图像数据n，如[数学式19]所记载的公式那样将光瞳分割的不同的AF像素的像素值相加，从而计算白色光的像素值Wn。同时，对位于AF像素附近的各色成分的摄像用像素的像素值Rn、Gn、Bn也进行提取。
并且，作为未知的加权系数WR、WG和WB的函数，如[数学式28]那样定义平方误差E。
[数学式28]
E=Σn(WR×Rn+WG×Gn+WB×Bn-Wn)2
并且，求出使E最小的加权系数WR、WG和WB(求出使得通过WR、WG和WB分别对E进行偏微分后的值为“0”的加权系数WR、WG和WB)。通过这样求出加权系数WR、WG和WB，而求出利用各色成分R、G和B的摄像用像素的光谱特性的加权和表示AF像素的光谱特性的加权系数。将这样求出的加权系数WR、WG和WB记录到电子相机10的非易失性存储器中。
进而，根据求出的加权系数WR、WG和WB，并利用[数学式29]所记载的公式对各摄像图像数据n求出误差率Kn。
[数学式29]
Kn=|WR×Rn+WG×Gn+WB×Bn-Wn|/Wn
并且，求出Kn的最大值，并作为阈值Th3记录到非易失性存储器12中。
图7表示发挥本实施方式的效果的图像结构的一例。图7是将包含凸结构(明亮的线或点)的纵向5像素的图像结构纵向切断的图，横轴为垂直扫描方向(y坐标)，纵轴为光量或像素值。凸结构正好处于在水平扫描方向上排列的AF像素列上。
图7的○标记为在G的摄像用像素拍摄的像素值。然而，由于在AF像素的位置不存在G的摄像用像素，因此得不到该位置处的G的像素值。因此，当恰好在AF像素的位置存在凸结构时，仅从AF像素附近的G的摄像用像素的像素值，无法再现图7的凸结构。实际上，在(S-7)中利用AF像素附近的G的摄像用像素的像素值而在AF像素的位置内插求出的G的像素值(图7的●标记)没有再现凸结构。
另一方面，在AF像素的位置得到白色光的像素值。然而，通常的像素接收在光瞳的全部区域通过的光，与此相对，AF像素仅接收在光瞳的右侧或左侧通过的光，因此通过将光瞳分割的不同的相邻AF像素相加，计算通常的(在光瞳的全部区域通过的光的)白色光的像素值([数学式19])。
此外，在AF像素附近的G的摄像用像素的位置，内插生成其他颜色成分R和B，并求出颜色成分R、G和B的加权和，从而在多数情况下能够以充分的精度求出白色光的像素值([数学式16]和[数学式18])。
图7的□标记是这样求出的白色光的像素值的分布。多数情况下，白色光的像素值的高频成分和颜色成分G的像素值的高频成分成比例，因此从白色光的像素值计算出的高频成分具有G的像素值的凸结构成分的信息。从而，根据白色光的像素值的高频成分求出G的像素值的高频成分，并将其值加到●标记的数据上，从而获得☆标记的G的像素值，再现凸结构([数学式25])。
[第3像素内插处理]
AF像素内插部45在通过噪声判定部46中的判定结果判断为噪声少、且在闪光判定部47中判断为容易产生闪光时，选择并执行第3像素内插处理。
第3像素内插处理为改变对摄像用像素的像素值的权重系数进行了2次如下的处理后执行上述第2像素内插处理的处理：通过权重系数校正AF像素周围的摄像用像素的像素值，并将校正后的摄像用像素的像素值平滑化。以下，说明对图3的AF像素X43和AF像素Y44这2列的第3像素内插处理。
[通过权重系数校正AF像素列的周围的摄像用像素的像素值]
如图8所示，AF像素内插部45判定配置于AF像素列周围的摄像用像素的像素值是否为阈值MAX_RAW以上，并根据其判定结果，利用设定的权重系数进行校正(S-21)。在此，阈值MAX_RAW为用于判定像素值是否饱和的阈值。
当摄像用像素的像素值为阈值MAX_RAW以上时，AF像素内插部45对摄像用像素的像素值不进行校正。另一方面，在摄像用像素的像素值低于阈值MAX_RAW时，AF像素内插部45从原来的像素值减去使用了权重系数的加权和的值，从而校正摄像用像素的像素值。
AF像素内插部45利用[数学式30]～[数学式33]校正R色成分的摄像用像素的像素值。
[数学式30]
R13’=R13-(R3U_0×R33+R3U_1×G34+R3U_2×B24)
[数学式31]
R33’=R33-(R1U_0×R33+R1U_l×G34+R1U_2×B24)
[数学式32]
R53’=R53-(R1S_0×R53+R1S_1×G54+R1S_2×B64)
[数学式33]
R73’=R73-(R3S_0×R53+R3S_1×G54+R3S_2×B64)
在此，R1U_0、R1U_1、R1U_2、R1S_0、R1S_1、R1S_ 2、R3U_0、R3U_1、R3U_2、R3S_0、R3S_1、R3S_2为权重系数。另外，权重系数中，字母S表示与AF像素相比位于上方，字母U表示与AF像素相比位于下方。
AF像素内插部45利用[数学式34]～[数学式39]校正G色成分的摄像用像素的像素值。
[数学式34]
G14’=G14-(G3U_0×R33+G3U_1×G34+G3U_2×B24)
[数学式35]
G23’=G23-(G2U_0×R33+G2U_1×G34+G2U_2×B24)
[数学式36]
G34’=G34-(G1U_0×R33+G1U_1×G34+G1U_2×B24)
[数学式37]
G54’=G54-(G1S_0×R53+G1S_1×G54+G1S_2×B64)
[数学式38]
G63’=G63-(G2S_0×R53+G2S_1×G54+G2S_2×B64)
[数学式39]
G74’=G74-(G3S_0×R53+G3S_1×G54+G3S_2×B64)
在此，G1U_0、G1U_1、G1U_2、G1S_0、G1S_1、G1S_2、G2U_0、G2U_1、G2U_2、G2S_0、G2S_1、G2S_2、G3U_0、G3U1、G3U_2、G3S_0、G3S_1、G3S_2为权重系数。
此外，AF像素内插部45利用[数学式40]、[数学式41]校正B色成分的摄像用像素的像素值。
[数学式40]
B24’=B24-(B2U_0×R33+B2U_1×G34+B2U_2×B24)
[数学式41]
B64’=B64-(B2S_0×R53+B2S_1×G54+B2S_2×B64)
在此，B2U_0、B2U_1、B2U_2、B2S_0、B2S_1、B2S_2为权重系数。
[使用了相邻AF像素的像素值的限幅量计算]
AF像素内插部45读出相邻的AF像素的像素值X43、Y44，并利用[数学式42]求出限幅量Th_LPF(S-22)。
[数学式42]
Th_LPF=(X43+Y44)×K_Th_LPF
在此，K_Th_LPF为系数，适用“127”左右的值。该系数K_Th_LPF的值越大，平滑化处理的效果越好。
[计算各颜色成分的预测误差]
AF像素内插部45利用[数学式43]、[数学式44]，对配置于同一列的成为相同颜色成分的摄像用像素中、处于远离AF像素41的位置的摄像用像素(远位摄像用像素)的像素值和处于接近AF像素41的位置的摄像用像素(近位摄像用像素)的像素值之间的差分进行计算，并将其作为预测误差(S-23)。
[数学式43]
deltaRU=R13’-R33’
deltaRS=R73’-R53’
[数学式44]
deltaGU=G14’-G34’
deltaGS=G74’-G54’
[判定预测误差是否从限幅范围超出]
AF像素内插部45判定通过[数学式43]、[数学式44]求出的预测误差deltaRU、delataRS、deltaGU和deltaGS的各值是否包含在基于由[数学式42]求出的限幅量的限幅范围(-Th_LPF～Th_LPF)内(S-24)。
[限幅处理]
AF像素内插部45对于预测误差deltaRU、delataRS、deltaGU和deltaGS中脱离限幅范围的预测误差，进行限幅处理(S-25)。在此，限幅处理是指以使脱离限幅范围的预测误差的值包含在限幅范围内的方式进行限幅。
[对近位摄像用像素的像素值加上预测误差]
AF像素内插部45通过[数学式45]而将预测误差与各列的近位摄像用像素的像素值相加(S-26)。在此，预测误差为通过[数学式43]、[数学式44]求出的值或被限幅后的值。
[数学式45]
R33”=R33’+deltaRU
R53”=R53’+deltaRS
G34”=G34’+deltaGU
G54”=G54’+deltaGS
从而，对AF像素列周围的摄像用像素的像素值、即远位摄像用像素的像素值和近位摄像用像素的像素值分别进行校正，进而通过使用了预测误差的平滑化处理，校正近位摄像用像素的像素值。
[将校正后的摄像用像素的像素值存储到SDRAM]
AF像素内插部45将通过加权系数校正的远位摄像用像素的像素值和通过预测误差校正的近位摄像用像素的像素值存储到SDRAM27(S-27)。
第一次处理完成后，执行第二次处理。
[通过权重系数校正AF像素列周围的摄像用像素的像素值]
AF像素内插部45利用通过第一次处理校正后的摄像用像素的像素值，判定这些摄像用像素的像素值是否为阈值MAX_RAW以上。根据其判定结果，利用设定的权重系数进行校正(S-28)。在此，阈值MAX_RAW为用于判定像素值是否饱和的阈值，使用与第一次处理(S-21)相同的值。
当摄像用像素的像素值为阈值MAX_RAW以上时，AF像素内插部45对摄像用像素的像素值不进行校正。而在摄像用像素的像素值低于阈值MAX_RAW时，AF像素内插部45将上述[数学式30]～[数学式41]中的所有权重系数变为“0”而进行校正。即，进行该处理时，配置于AF像素列周围的摄像用像素的像素值为原来的像素值。
[使用了相邻AF像素的像素值的限幅量计算]
AF像素内插部45读出相邻的AF像素的像素值X43、Y44，并利用上述[数学式42]求出限幅量Th_LPF(S-29)。在此，K_Th_LPF的值使用与第一次处理相同的值。
[计算各颜色成分的预测误差]
AF像素内插部45利用上述[数学式43]、[数学式44]，对配置于同一列的成为相同颜色成分的摄像用像素中的远位摄像用像素的像素值和近位摄像用像素的像素值之间的差分进行计算，并将其作为预测误差(S-30)。
[判定预测误差是否从限幅范围超出]
AF像素内插部45判定通过上述[数学式43]、[数学式44]求出的预测误差deltaRU、delataRS、deltaGU和deltaGS的各值是否包含在基于由[数学式42]求出的限幅量的限幅范围(-Th_LPF～Th_LPF)内(S-31)。
[限幅处理]
AF像素内插部45对于预测误差deltaRU、delataRS、deltaGU和deltaGS中脱离限幅范围的预测误差，进行限幅处理(S-32)。
[对近位摄像用像素的像素值加上预测误差]
AF像素内插部45使用上述[数学式45]而与各列的近位摄像用像素的像素值相加(S-33)。
由此，在第二次处理中利用预测误差对近位摄像用像素的像素值进行进一步校正。
[将校正后的摄像用像素的像素值存储到SDRAM]
AF像素内插部45将通过加权系数校正的远位摄像用像素的像素值和通过预测误差校正的近位摄像用像素的像素值存储到SDRAM27(S-34)。
由此，在第3像素内插处理中反复执行2次上述校正处理。在执行了2次该校正处理后，执行第2像素内插处理。
[第2像素内插处理]
AF像素内插部45利用存储于SDRAM27中的摄像用像素的像素值，执行上述第2像素内插处理(S-35)。从而，计算与AF像素对应的摄像用像素的像素值。即，内插AF像素的像素值。
[将内插的AF像素的像素值存储到SDRAM]
AF像素内插部45将通过第2像素内插处理(S-35)内插的AF像素的像素值存储到SDRAM27中。
在该第3像素内插处理中，通过反复执行2次校正处理，而有效地进行了对AF像素列附近的摄像用像素的像素值的平滑化处理。通过有效进行该平滑化处理，可以降低因在与AF像素相邻的摄像用像素产生的闪光所引起的混色的影响。此外，由于使用降低了混色影响的摄像用像素的像素值进行对AF像素的内插处理，因此在AF像素中也可以获得降低了因产生的闪光所引起的混色的影响的像素值。即，可以获得降低了闪光的影响的图像。
在本实施方式中，以对图像中的AF像素执行内插处理为前提进行了说明。但是，对于具备降低噪声(NR)功能的电子相机也可以应用本实施方式。例如在将快门16打开30秒以上的所谓长时间曝光的摄影中，分别依次进行打开快门16的摄影和关闭快门16的摄影。分别对于通过这些摄影得到的图像(记录用图像、黑暗图像)，进行噪声判定部46的噪声判定以及闪光判定部47的闪光判定，并实施上述像素内插处理的某一处理。并且，从实施了这些处理的记录用图像的各像素值减去黑暗图像的各像素值，而生成除去了固定图案噪声的记录用图像。此时，分别对记录用图像和黑暗图像进行上述像素内插处理，从而生成抑制了伪色产生的记录用图像和黑暗图像。即，在最终获得的记录用图像中，成为抑制了伪色产生的图像。
这种长时间摄影大多在夜间的星空等被摄体亮度低的摄影条件下进行，因此也可以不进行闪光判定部47的闪光判定，而仅执行噪声判定部46的噪声判定，决定执行第1像素内插处理或第2像素内插处理的哪一个像素内插处理。
另外，在本实施方式中，使AF像素的排列方向为水平扫描方向，但本发明不限于此，AF像素也可以排列在垂直扫描方向或其他方向。
另外，在本实施方式中，各个AF像素为对来自左侧或右侧的光束进行光瞳分割的焦点检测像素，但本发明不限于此，各个AF像素也可以是具有对来自左侧和右侧的光束进行光瞳分割的像素的焦点检测像素。
另外，在本实施方式中，对参照了噪声判定用表格的噪声判定(图5的流程图)进行了说明，但不限于此，例如也可以实施基于条件式的噪声判定。以下，根据图9的流程图对使用了条件式的噪声判定进行说明。
[摄像元件的温度是否低于T3的判定]
CPU11将摄影时的摄像元件17的温度、ISO灵敏度以及快门速度的信息发送到噪声判定部46。噪声判定部46判定从CPU11发送的摄影时的摄像元件17的温度是否低于T3(S-41)。
[是否满足-24log2P-24log2(Q/3.125)≤Th4的判定]
噪声判定部46在摄像元件17的温度低于T3时，判定发送的ISO灵敏度Q和快门速度P是否满足[数学式46](S-42)。
[数学式46]
-24log2P-24log2(Q/3.125)≤Th4
另外，Th4为阈值。满足上述公式时判定为噪声多，不满足时判定为噪声少。
例如由噪声判定部46判定为噪声多时，AF像素内插部45执行第1像素内插处理。另一方面，由噪声判定部46判定为噪声少时，由闪光判定部47判定是否产生闪光(S-45)。
[是否产生闪光的判定]
当噪声判定部46判定为噪声少时，CPU11控制闪光判定部47，由闪光判定部47判定是否产生闪光(S-44)。AF像素内插部45在由闪光判定部47判定为未产生闪光时执行第2像素内插处理(S-45)，此外在判定为产生闪光时执行第3像素内插处理(S-46)。
[摄像元件的温度是否为T3以上且低于T4的判定]
在上述的摄像时的摄像元件17的温度判定(S-41)中，摄像元件17的温度为T3以上时，噪声判定部46判定摄像元件的温度是否为T3以上且低于T4(S-47)。
[是否满足-24log2P-24log2(Q/3.125)≤Th5的判定]
噪声判定部46在摄像元件17的温度为T3以上且低于T4时，判定发送的ISO灵敏度Q和快门速度P是否满足[数学式47](S-48)。
[数学式47]
-24log2P-24log2(Q/3.125)≤Th5
另外，Th5为阈值(Th5>Th4)。满足上述公式时判定为噪声多，不满足时判定为噪声少。
例如在噪声判定部46判定为噪声多时，AF像素内插部45执行第1像素内插处理(S-43)。另一方面，在噪声判定部46判定为噪声少时，通过闪光判定部47判定是否产生闪光(S-44)。AF像素内插部45在由闪光判定部47判定为未产生闪光时，执行第2像素内插处理(S-45)，此外在判定为产生闪光时执行第3像素内插处理(S-46)。
[是否满足-24log2P-24log2(Q/3.125)≤Th6的判定]
噪声判定部46在摄像元件17的温度为T4以上时，判定发送的ISO灵敏度Q和快门速度P是否满足[数学式48](S-49)。
[数学式48]
-24log2P-24log2(ISO灵敏度/3.125)≤Th6
另外，Th6为阈值(Th6>Th5)。满足上述公式时判定为噪声多，不满足时判定为噪声少。
例如在噪声判定部46判定为噪声多时，AF像素内插部45执行第1像素内插处理(S-43)。另一方面，在噪声判定部46判定为噪声少时，通过闪光判定部47判定是否产生闪光(S-44)。AF像素内插部45在由闪光判定部47判定为未产生闪光时，执行第2像素内插处理(S-45)，此外在判定为产生闪光时执行第3像素内插处理(S-46)。
通过这样判定是否满足条件式，而根据摄像元件17的温度进行分类，此外，通过利用ISO灵敏度和快门速度来判定是否满足条件式，能够选择像素内插处理的内容。即，即使不参照噪声判定用表格，也能够获得与使用了噪声判定用表格的噪声判定同样的效果。
另外，在本实施方式中对电子相机进行了说明，但并不需要限于此，对于取入由电子相机取得的图像并进行图像处理的图像处理装置，也可以执行图5、图6和图8的流程图中的处理。此外，也可以适用于通过计算机实现图5、图6和图8的流程图中的处理的程序。另外，该程序优选存储于存储卡、光盘、磁盘等可由计算机读取的记录介质。

Claims (9)

1.一种摄像装置，其特征在于，包括：
摄像元件，具有摄像用像素和焦点检测用像素；
判定部，判定在通过上述摄像元件的驱动而得到的图像上重叠的噪声量；和
像素内插部，通过对上述图像执行处理内容不同的多个内插处理中的、与上述判定部的上述噪声量的判定结果对应的内插处理，而生成对上述焦点检测用像素的内插像素值。
2.根据权利要求1所述的摄像装置，其特征在于，上述判定部使用摄影时的摄影灵敏度和上述摄像元件中的电荷存储时间，判定在上述图像上重叠的上述噪声量。
3.根据权利要求2所述的摄像装置，其特征在于，
包括温度检测部，该温度检测部用于检测上述摄像元件或设于上述摄像装置中的控制基板的温度，
上述判定部除了使用上述摄影时的摄影灵敏度和上述摄像元件中的电荷存储时间之外，还使用上述摄像元件或上述控制基板的温度，判定在上述图像上重叠的上述噪声量。
4.根据权利要求1所述的摄像装置，其特征在于，在由上述判定部判定为在上述图像上重叠的噪声量多时，上述像素内插部通过执行使用了位于上述焦点检测用像素附近的上述摄像用像素的像素值的内插处理，而生成对上述焦点检测用像素的上述内插像素值。
5.根据权利要求1所述的摄像装置，其特征在于，在由上述判定部判定为在上述图像上重叠的噪声量少时，上述像素内插部通过执行使用了上述焦点检测用像素以及位于该焦点检测用像素附近的上述摄像用像素的像素值的内插处理，而生成对上述焦点检测用像素的上述内插像素值。
6.根据权利要求1所述的摄像装置，其特征在于，
包括快门，该快门在向上述摄像元件照射被摄体光的开放位置和遮住上述被拍摄体光的遮光位置之间移动，
上述图像由第1图像和第2图像构成，其中，当上述快门在上述开放位置保持了上述电荷存储时间时得到上述第1图像，当上述快门在上述遮光位置保持了上述电荷存储时间时得到上述第2图像，
上述像素内插部对上述第1图像和上述第2图像执行基于上述噪声量的推定结果的上述内插处理。
7.根据权利要求6所述的摄像装置，其特征在于，还包括图像处理部，该图像处理部从由上述像素内插部进行内插处理后的上述第1图像的各像素值减去上述第2图像的各像素值。
8.一种图像处理装置，其特征在于，包括：
图像取入部，取入利用摄像元件取得的图像，该摄像元件具有摄像用像素和焦点检测用像素；
判定部，判定在上述图像上重叠的噪声量；和
像素内插部，通过对上述图像执行处理内容不同的多个内插处理中的、与上述判定部的上述噪声量的判定结果对应的内插处理，而生成对上述焦点检测用像素的内插像素值。
9.一种图像处理方法，其特征在于，包括：
图像取入步骤，取入利用摄像元件取得的图像，该摄像元件具有摄像用像素和焦点检测用像素；
判定步骤，判定在上述图像上重叠的噪声量；和
像素内插步骤，通过对上述图像执行处理内容不同的多个内插处理中的、与上述判定步骤的上述噪声量的判定结果对应的内插处理，而生成对上述焦点检测用像素的内插像素值。
CN2012102278667A 2011-06-30 2012-07-02 摄像装置、图像处理装置和图像处理方法 Pending CN102857692A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011145704 2011-06-30
JP2011-145704 2011-06-30

Publications (1)

Publication Number Publication Date
CN102857692A true CN102857692A (zh) 2013-01-02

Family

ID=47390297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102278667A Pending CN102857692A (zh) 2011-06-30 2012-07-02 摄像装置、图像处理装置和图像处理方法

Country Status (3)

Country Link
US (2) US20130002936A1 (zh)
JP (1) JP6040594B2 (zh)
CN (1) CN102857692A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016041133A1 (en) * 2014-09-15 2016-03-24 SZ DJI Technology Co., Ltd. System and method for image demosaicing
CN105580354A (zh) * 2013-09-27 2016-05-11 奥林巴斯株式会社 摄像装置和图像处理方法
CN105744242A (zh) * 2014-12-26 2016-07-06 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN111989910A (zh) * 2018-04-12 2020-11-24 三菱电机株式会社 图像处理装置、图像处理方法和图像处理程序

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
WO2012147515A1 (ja) * 2011-04-28 2012-11-01 富士フイルム株式会社 撮像装置及び撮像方法
US9160937B2 (en) * 2011-08-30 2015-10-13 Sharp Kabushika Kaisha Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
CN104521231B (zh) * 2012-08-10 2016-12-21 株式会社尼康 图像处理装置和摄像装置
CN104919352B (zh) * 2013-01-10 2017-12-19 奥林巴斯株式会社 摄像装置和图像校正方法以及图像处理装置和图像处理方法
CN105103537B (zh) * 2013-02-27 2018-11-06 株式会社尼康 成像元件及电子设备
JP6116301B2 (ja) * 2013-03-21 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP2015144194A (ja) * 2014-01-31 2015-08-06 ソニー株式会社 固体撮像素子および電子機器
JP6630058B2 (ja) * 2014-06-16 2020-01-15 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
US9409529B2 (en) * 2014-10-06 2016-08-09 GM Global Technology Operations LLC Camera system and vehicle
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
JP6598496B2 (ja) * 2015-04-22 2019-10-30 キヤノン株式会社 撮像装置及び信号処理方法
US9979909B2 (en) * 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US9420164B1 (en) 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
US9804357B2 (en) 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10567636B2 (en) * 2017-08-07 2020-02-18 Qualcomm Incorporated Resolution enhancement using sensor with plural photodiodes per microlens
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP2019197985A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CN114549870A (zh) * 2022-02-17 2022-05-27 山东大学 一种基于质心点搜索的动态点云快速全局运动匹配方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013794A1 (en) * 2004-02-19 2007-01-18 Olympus Corporation Image pickup system and image processing program
CN101510040A (zh) * 2008-02-14 2009-08-19 株式会社尼康 图像处理装置、摄像装置及图像处理程序
US20090256952A1 (en) * 2008-04-11 2009-10-15 Nikon Corporation Correlation calculation method, correlation calculation device, focus detection device and image-capturing apparatus
US20090278964A1 (en) * 2004-10-19 2009-11-12 Mcgarvey James E Method and apparatus for capturing high quality long exposure images with a digital camera
CN101651774A (zh) * 2008-08-12 2010-02-17 佳能株式会社 图像处理装置、摄像设备和图像处理方法
CN102089697A (zh) * 2008-07-09 2011-06-08 佳能株式会社 摄像设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
JP4979482B2 (ja) * 2007-06-28 2012-07-18 オリンパス株式会社 撮像装置及び画像信号処理プログラム
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP2010210810A (ja) * 2009-03-09 2010-09-24 Olympus Imaging Corp 焦点検出装置
JP5359553B2 (ja) * 2009-05-25 2013-12-04 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013794A1 (en) * 2004-02-19 2007-01-18 Olympus Corporation Image pickup system and image processing program
US20090278964A1 (en) * 2004-10-19 2009-11-12 Mcgarvey James E Method and apparatus for capturing high quality long exposure images with a digital camera
CN101510040A (zh) * 2008-02-14 2009-08-19 株式会社尼康 图像处理装置、摄像装置及图像处理程序
US20090256952A1 (en) * 2008-04-11 2009-10-15 Nikon Corporation Correlation calculation method, correlation calculation device, focus detection device and image-capturing apparatus
CN102089697A (zh) * 2008-07-09 2011-06-08 佳能株式会社 摄像设备
CN101651774A (zh) * 2008-08-12 2010-02-17 佳能株式会社 图像处理装置、摄像设备和图像处理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105580354A (zh) * 2013-09-27 2016-05-11 奥林巴斯株式会社 摄像装置和图像处理方法
CN105580354B (zh) * 2013-09-27 2018-10-30 奥林巴斯株式会社 摄像装置和图像处理方法
WO2016041133A1 (en) * 2014-09-15 2016-03-24 SZ DJI Technology Co., Ltd. System and method for image demosaicing
US10565681B2 (en) 2014-09-15 2020-02-18 Sj Dji Technology Co., Ltd. System and method for image demosaicing
CN105744242A (zh) * 2014-12-26 2016-07-06 佳能株式会社 图像处理设备、摄像设备和图像处理方法
US9936105B2 (en) 2014-12-26 2018-04-03 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN105744242B (zh) * 2014-12-26 2018-05-11 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN111989910A (zh) * 2018-04-12 2020-11-24 三菱电机株式会社 图像处理装置、图像处理方法和图像处理程序
CN111989910B (zh) * 2018-04-12 2021-12-14 三菱电机株式会社 图像处理装置、图像处理方法和记录有图像处理程序的记录介质

Also Published As

Publication number Publication date
JP2013034194A (ja) 2013-02-14
US20130002936A1 (en) 2013-01-03
JP6040594B2 (ja) 2016-12-07
US20160142656A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
CN102857692A (zh) 摄像装置、图像处理装置和图像处理方法
JP5994778B2 (ja) フレア判定装置、撮像装置及びフレア判定プログラム
US8149302B2 (en) Method of processing noise in image data, noise reduction unit, and imaging apparatus
US6947080B2 (en) Device for image processing, method of adjusting white-balance, and computer products
US8514293B2 (en) Moving image processing device and method for performing different image processings to moving object region and still object region
KR101263888B1 (ko) 화상처리장치 및 화상처리방법과 컴퓨터·프로그램
KR100799215B1 (ko) 카메라
JP5000413B2 (ja) 撮像システム及び画像信号処理プログラム
CN103907345A (zh) 图像处理装置、摄像装置和存储了图像处理程序的存储介质
CN102065310B (zh) 摄像装置和摄像处理方法
JP6227084B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5589073B2 (ja) 撮像装置及びホワイトバランスゲイン算出方法
JP2018196083A (ja) 画像処理装置
CN104641276A (zh) 摄像装置及信号处理方法
US5872643A (en) Film image reproducing apparatus using a domestic light condition or an undomestic light condition for generation of a designated area
US9756239B2 (en) Image processing device, image pickup apparatus, and image processing method
JP2014036262A (ja) 撮像装置
CN107111106A (zh) 对焦控制装置、对焦控制方法、对焦控制程序、镜头装置、摄像装置
JP5834542B2 (ja) 撮像装置、画像処理装置、及びプログラム、並びに記録媒体
CN106973194A (zh) 拍摄装置、图像处理装置、图像处理方法
JP2013247597A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2013125046A (ja) 撮像装置及びカメラシステム
JP2013013006A (ja) 撮像装置、撮像装置の製造方法、画像処理装置、及びプログラム、並びに記録媒体
CN105359517A (zh) 图像处理装置和图像处理方法
JP2014164236A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20170531

AD01 Patent right deemed abandoned