CN105744242B - 图像处理设备、摄像设备和图像处理方法 - Google Patents

图像处理设备、摄像设备和图像处理方法 Download PDF

Info

Publication number
CN105744242B
CN105744242B CN201510993992.7A CN201510993992A CN105744242B CN 105744242 B CN105744242 B CN 105744242B CN 201510993992 A CN201510993992 A CN 201510993992A CN 105744242 B CN105744242 B CN 105744242B
Authority
CN
China
Prior art keywords
value
imaging pixels
pixel
focusing
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510993992.7A
Other languages
English (en)
Other versions
CN105744242A (zh
Inventor
古谷浩平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105744242A publication Critical patent/CN105744242A/zh
Application granted granted Critical
Publication of CN105744242B publication Critical patent/CN105744242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种图像处理设备、摄像设备和图像处理方法，其能够以良好的精度判别在与调焦像素邻接的像素的值中发生的图像劣化的原因，并且适当地进行校正。在校正与调焦像素邻接的摄像像素的值的情况下，基于校正对象像素的附近所存在的与调焦像素邻接的摄像像素的值和附近所存在的与调焦像素不邻接的多个摄像像素的值，来判断校正对象像素的值是否受到光斑影响。在判断为校正对象像素的值受到光斑影响的情况下，使用用于校正光斑的影响的适当方法。

Description

图像处理设备、摄像设备和图像处理方法
技术领域
本发明涉及图像处理设备、摄像设备和图像处理方法，并且特别涉及像素值校正技术。
背景技术
传统上，已知有如下的图像传感器，其中在该图像传感器中，一部分像素被配置成调焦像素，并且该图像传感器使用这些调焦像素的输出以使得能够进行根据相位差检测方法的焦点检测(日本特开2000-156823)。
然而，由于调焦像素的结构不同于正常像素(摄像像素)的结构，因此存在对调焦像素周围的像素值产生影响并且导致发生图像劣化的情况。日本特开2009-124573提出了如下方法，其中该方法基于摄像像素附近的调焦像素的值，使用与光圈值相对应的串扰率来对调焦像素周围的这些摄像像素的值进行校正。另外，日本特开2013-247597提出了如下方法，其中该方法根据大于或等于预定像素数的品红色区域的有无来判断是否发生了由于来自布线区域的反射光所引起的光斑(flare)，并且在调焦像素周围的摄像像素属于品红色区域的情况下应用平滑化处理。还判断为属于品红色深的区域的像素越多，受到光斑的影响越强烈，并且平滑度增加。
由于入射到调焦像素上的光的光谱特性不同于摄像像素的情况，因此关于对与调焦像素邻接的摄像像素的值所产生的影响，存在串扰和光斑(重影(ghost))这两个原因，并且这两个影响有可能混合在一个图像内。由于在存在明亮光源的情况下更有可能发生光斑，因此与串扰相比，可以对像素值产生更大影响。
如果向没有受到光斑影响的像素应用对光斑的影响进行校正的处理，则误校正成为图像劣化的原因，因此需要以良好的精度对受到光斑影响的像素进行检测。然而，在日本特开2013-247597所述的技术中，由于检测到品红色区域作为受到光斑影响的像素的集合，因此存在将品红色的被摄体的区域误检测为由于光斑而变成品红色的区域的可能性。
发明内容
本发明是有鉴于传统技术的这些问题而想到的。本发明提供能够以良好的精度对在与调焦像素邻接的像素的值中发生的图像劣化的原因进行判别并且适当地进行校正的图像处理设备、摄像设备和图像处理方法。
根据本发明的方面，提供一种图像处理设备，包括：获得部件，用于获得在第一方向上与第一调焦像素邻接的第一摄像像素的值以及在所述第一方向上与所述第一摄像像素附近存在的第二调焦像素邻接的第二摄像像素的值；以及校正部件，用于基于将以下两者进行比较的结果来校正所述第一摄像像素的值：所述第一摄像像素和所述第二摄像像素的值；以及基于所述第一摄像像素和所述第二摄像像素附近存在的与调焦像素不邻接的多个第三摄像像素的值的值。
根据本发明的另一方面，提供一种摄像设备，包括：图像传感器，其包括多个调焦像素和多个摄像像素；获得部件，用于获得在第一方向上与第一调焦像素邻接的第一摄像像素的值以及在所述第一方向上与所述第一摄像像素附近存在的第二调焦像素邻接的第二摄像像素的值；以及校正部件，用于基于将以下两者进行比较的结果来校正所述第一摄像像素的值：所述第一摄像像素和所述第二摄像像素的值；以及基于所述第一摄像像素和所述第二摄像像素附近存在的与调焦像素不邻接的多个第三摄像像素的值的值。
根据本发明的又一方面，提供一种图像处理设备，包括：获得部件，用于获得与第一调焦像素邻接的多个第一摄像像素的值以及所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；以及校正部件，用于获得所述多个第一摄像像素的各个值与基于所述多个第二摄像像素的值的值的差，并且在所述差的最大值比其它各个差大了阈值以上的情况下，校正所述多个第一摄像像素中的所述差是最大值的像素的值。
根据本发明的另一方面，提供一种摄像设备，包括：图像传感器，其包括多个调焦像素和多个摄像像素；获得部件，用于获得与第一调焦像素邻接的多个第一摄像像素的值以及所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；以及校正部件，用于获得所述多个第一摄像像素的各个值与基于所述多个第二摄像像素的值的值的差，并且在所述差的最大值比其它各个差大了阈值以上的情况下，校正所述多个第一摄像像素中的所述差是最大值的像素的值。
根据本发明的又一方面，提供一种图像处理设备，包括：获得部件，用于获得以下值：与第一调焦像素邻接的多个第一摄像像素的值、所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值、与第二调焦像素邻接的多个第三摄像像素的值、以及所述多个第三摄像像素附近存在的与所述第二调焦像素不邻接的多个第四摄像像素的值；以及校正部件，用于在以下方向相同的情况下，校正所述多个第一摄像像素中的与基于所述多个第二摄像像素的值的值的第一差是最大值的像素的值：从所述第一调焦像素至所述多个第一摄像像素中的所述第一差是最大值的像素的方向；以及从所述第二调焦像素至所述多个第三摄像像素中的与基于所述多个第四摄像像素的值的值的第二差是最大值的像素的方向。
根据本发明的另一方面，提供一种摄像设备，包括：图像传感器，其包括多个调焦像素和多个摄像像素；获得部件，用于获得以下值：与第一调焦像素邻接的多个第一摄像像素的值、所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值、与第二调焦像素邻接的多个第三摄像像素的值、以及所述多个第三摄像像素附近存在的与所述第二调焦像素不邻接的多个第四摄像像素的值；以及校正部件，用于在以下方向相同的情况下，校正所述多个第一摄像像素中的与基于所述多个第二摄像像素的值的值的第一差是最大值的像素的值：从所述第一调焦像素至所述多个第一摄像像素中的所述第一差是最大值的像素的方向；以及从所述第二调焦像素至所述多个第三摄像像素中的与基于所述多个第四摄像像素的值的值的第二差是最大值的像素的方向。
根据本发明的又一方面，提供一种图像处理方法，包括以下步骤：获得在第一方向上与第一调焦像素邻接的第一摄像像素的值；获得在所述第一方向上与所述第一摄像像素附近存在的第二调焦像素邻接的第二摄像像素的值；将所述第一摄像像素和所述第二摄像像素的值与基于所述第一摄像像素和所述第二摄像像素附近存在的不邻接于调焦像素的多个第三摄像像素的值的值进行比较；以及基于比较的结果来校正所述第一摄像像素的值。
根据本发明的另一方面，提供一种图像处理方法，包括以下步骤：获得与第一调焦像素邻接的多个第一摄像像素的值；获得所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；获得所述多个第一摄像像素的各个值与基于所述多个第二摄像像素的值的值之间的差；以及在所述差的最大值比其它各个差大了阈值以上的情况下，校正所述多个第一摄像像素中的所述差是最大值的像素的值。
根据本发明的又一方面，提供一种图像处理方法，包括以下步骤：获得与第一调焦像素邻接的多个第一摄像像素的值；获得所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；获得与第二调焦像素邻接的多个第三摄像像素的值；获得所述多个第三摄像像素附近存在的与所述第二调焦像素不邻接的多个第四摄像像素的值；以及在以下方向相同的情况下，校正所述多个第一摄像像素中的与基于所述多个第二摄像像素的值的值的第一差是最大值的像素的值：从所述第一调焦像素至所述多个第一摄像像素中的所述第一差是最大值的像素的方向；以及从所述第二调焦像素至所述多个第三摄像像素中的与基于所述多个第四摄像像素的值的值的第二差是最大值的像素的方向。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1A和图1B是根据本发明实施例的摄像设备和信息处理设备的框图。
图2A和图2B是用于示出在与调焦像素邻接的像素中发生的由于串扰和光斑所引起的图像劣化的示例的图。
图3A～图3C是示出根据实施例的像素校正处理的示例的流程图。
图4A～图4C是用于说明根据实施例的像素校正处理的图案图。
图5A～图5G是用于说明根据实施例的像素校正处理的示例和阈值的效果的图案图。
图6A～图6C是用于说明第一实施例中的光斑判断处理的示例的图案图。
图7是用于说明第二实施例中的光斑判断处理的示例的图案图。
具体实施方式
现在将根据附图来详细说明本发明的典型实施例。注意，在以下实施例中，给出将本发明应用于摄像设备的示例，但根据本发明的图像处理设备不必具有诸如与所拍摄图像的拍摄或记录有关的功能等的摄像设备特有的结构。本发明可以体现在能够获得通过拍摄所获取到的图像数据和与该拍摄中所使用的图像传感器的缺陷像素有关的信息的任何电子装置中。摄像设备不限于诸如数字照相机等的主要功能是拍摄的设备；摄像设备还意味着具有摄像能力的电子装置。
注意，附图中的诸如“单元”和“部”等的各个功能块可以由专用硬件(即，离散电路、ASIC、可编程逻辑装置等)、软件(即，软件与执行该软件的诸如CPU和MPU等的处理器的组合)或者这两者的组合来实现。还注意，可以将多个功能块实现为单个硬件实体。因此，以下说明仅表示这些功能块的多个可能实现其中之一。
●第一实施例
图1A是用于示出作为根据本发明实施例的图像处理设备的示例的摄像设备100的功能结构的示例的框图。
摄像设备100是诸如数字照相机或数字摄像机等的用于拍摄被摄体并且获得表示该被摄体的图像的数据(图像数据)的设备。光学系统101具有透镜、快门和光圈，并且根据CPU 103的控制使得光学系统101在图像传感器102上形成被摄体的光学图像。作为CCD或CMOS图像传感器等的图像传感器102按各像素对所形成的被摄体的光学图像进行光电转换，并且对模拟图像信号进行转换。CPU 103将该模拟图像信号转换成数字图像信号(图像数据)，并且应用诸如白平衡控制或颜色插值处理等的所谓的显像处理或者编码处理等。通过执行程序以控制各功能块，CPU 103实现摄像设备100的各种功能。
主存储设备104例如是诸如RAM等的易失性存储设备，并且用作诸如CPU 103的工作区域等的临时数据存储区域。辅助存储设备105例如是诸如EEPROM等的非易失性存储设备，并且存储用于控制摄像设备100(固件)的程序、CPU 103执行的程序或者各种设置信息等。
例如作为半导体存储卡的存储介质106将通过拍摄而获取到的图像数据存储作为预定格式的数据文件。存储介质106可以从摄像设备100移除，并且还可以由具有访问存储介质106的功能的其它设备(例如，个人计算机)使用。换句话说，摄像设备100具有访问存储介质106的功能并且可以相对于存储介质106进行数据的读取/写入就足够了。
显示单元107用于显示拍摄时的取景器图像、显示所拍摄到的或从存储介质106所读取的图像或者显示交互操作所用的用户界面等。控制台单元108例如具有诸如按钮、开关、杆或触摸面板等的输入装置，并且使得用户能够对摄像设备100进行各种指示或设置。注意，实现诸如音频输入或视线输入等的不需要物理操作的输入方法的结构包含在控制台单元108中。
通信设备109使得摄像设备100能够与外部设备进行控制命令或数据的发送/接收。没有特别限制与外部设备的通信所使用的协议，而且例如，该协议可以是PTP(图片传输协议)。注意，通信设备109可以通过例如USB(通用串行总线)线缆等的有线连接与外部设备进行通信，或者可以通过诸如无线LAN等的无线连接与外部设备进行通信。另外，可以直接连接至外部设备，可以经由服务器连接至外部设备，或者可以经由诸如因特网等的网络连接至外部设备。
接着，通过使用图2A和图2B来说明由于调焦像素所引起的图像质量的劣化的发生原因的示例。图2A示意性示出由于串扰所引起的图像劣化，其中该串扰是因通过在像素中进行光电转换所生成的电荷泄漏到邻接像素中而发生的。图2A的上部提取并示出图像传感器的一部分的像素阵列，并且针对图像传感器中所包括的摄像像素配置具有特定颜色模式的颜色滤波器。
具体地，针对摄像像素301和303设置同一颜色(例如，红色(R))的颜色滤波器，并且针对摄像像素302设置不同颜色(例如，绿色(G))的颜色滤波器。摄像像素301的上下的摄像像素设置有与摄像像素302的颜色相同的颜色(绿色(G))的颜色滤波器。摄像像素302和调焦像素304的上下的摄像像素设置有与摄像像素301、302的颜色不同的共通颜色(例如，蓝色(B))的颜色滤波器。
另外，该图的下部示意性示出邻接的摄像像素301和302以及邻接的摄像像素303和调焦像素304的垂直截面。针对各个像素设置微透镜311和321、颜色滤波器312和322、布线层313和323以及光电二极管314和324。注意，可以配置除图2A和图2B所示的结构以外的结构。例如，布线层313和323仅示出最下层的图案，并且没有图示其它布线层。
首先，说明由于串扰所引起的图像劣化。在光电二极管314的外部处对入射到摄像像素302上的入射光315的一部分进行光电转换的情况下，所生成的电子可能泄漏到邻接像素中并且影响邻接像素的值(串扰)。串扰与像素的类型无关并且可能在任意的邻接像素之间发生，但在针对调焦像素所设置的颜色滤波器的颜色不同于原来的颜色模式的情况下，可能发生问题。在图2A的示例中，尽管传统上在调焦像素304的位置中设置颜色与摄像像素302的颜色相同的颜色滤波器，但这里设置无色(透明)滤波器。因而，入射到调焦像素304上的光的光谱特性不同于穿过颜色与摄像像素302的颜色相同的颜色滤波器的入射光的光谱特性。因而，在光电二极管324的外部处进行光电转换得到的电子326泄漏到摄像像素303中的方式不同于从摄像像素302向摄像像素301发生泄漏的方式。结果，来自调焦像素的串扰对邻接像素的值的影响不同于来自邻接像素配置与调焦像素的邻接像素配置相同的摄像像素的串扰对邻接像素的值的影响，并且这被识别为图像劣化。
接着，说明由于光斑所引起的图像劣化。图2B针对与图2A的情况相同的图像传感器的一部分，示意性示出像素阵列以及一部分像素的垂直截面结构。然而，图2B示出图像传感器的盖玻璃430。摄像像素405示出具有与摄像像素402相同颜色的颜色滤波器并且在同一像素行内与调焦像素404分开的像素。
入射到摄像像素405上的光435的一部分在被摄像像素405的微透镜431以及盖玻璃430反射的同时，在图像传感器内传播，并且入射到其它像素(这里为摄像像素404和402)上(图中的A)。由于这些反射光越多则入射光量越大，因此如果包括诸如太阳等的高亮度被摄体，则这从视觉上被识别为由于反射光因而图像的一部分变得明亮(光斑)的现象。由于如图2B所示、作为光斑的原因的反射光可以以大的角度入射到像素上，因此反射光在到达所入射的像素的光电二极管之前入射到邻接像素上，并且邻接像素的值受到影响。
与串扰的情况相同，光斑是不依赖于像素的类型的现象，并且可以与像素的类型无关地在任意的邻接像素之间发生。然而，如果调焦像素的颜色滤波器的颜色不同于应用于摄像像素的颜色滤波器的颜色模式所分配的颜色，则从调焦像素(焦点检测像素)入射到邻接像素上的光的光谱特性不同于从摄像像素入射到邻接像素上的光的光谱特性。因而，在图2B中由于反射光A而对摄像像素401产生的影响不同于由于反射光A而对摄像像素403产生的影响，并且这被识别为图像劣化。
如上所述，由于在存在高亮度被摄体的情况下发生光斑，因此存在由于泄漏到邻接像素中的光而产生的影响大于由于串扰而产生的影响的趋势。
本实施例抑制由于调焦像素具有的颜色滤波器的颜色差异或者入射到调焦像素上的光的光谱特性的差异而发生的、调焦像素的周围像素中的这种图像劣化。
图3A～图3C是用于说明根据本实施例的针对各校正对象像素所执行的用于抑制这种图像劣化的像素校正处理的流程图。注意，在以下说明中，说明如下情况：如果如图4A所示、在配备有原色拜尔阵列颜色滤波器的图像传感器中在绿色(G)像素的位置设置调焦像素601，则对右侧邻接的红色(R)像素602的值进行校正。
首先，在步骤S501a中，CPU 103获得校正对象像素(像素602)的值Rc。这里，由于如图4A所示、像素602的值是R33，因此CPU 103获得值R33作为校正对象像素值Rc。换句话说，
Rc＝R33 (1)。
接着，在步骤S502a中，CPU 103计算目标值Rt。目标值Rt是针对像素602没有受到调焦像素601的影响的情况的预测值。可以基于与调焦像素不邻接的摄像像素(例如，附近的相同颜色(R)的像素603～605)的值来计算该预测值。这里，例如如图4A所示，如果像素603～605的值是R11、R13和R15，因此CPU 103计算出该预测值作为平均值：
Rt＝(R11+R13+R15)/3 (2)。
注意，用于计算预测值的方法以及该计算中所使用的像素的位置和数量不限于此。
CPU 103例如可以执行利用目标值Rt立即替换校正对象像素602的像素值Rc的像素校正，但有可能该操作将导致误校正。因而，在本实施例中，在获得目标值Rt的情况下，在步骤S503a中，在进行像素校正值之前，CPU 103判断是否执行该校正。
图4B和4C用于说明步骤S503a中所进行的判断的具体示例。图4B和4C示出与图4B所示的调焦像素704、705、706邻接的三个像素701a、702a、703a是校正对象像素的示例。这里，假定如图4C所示，在针对各个校正对象像素701a、702a、703a的处理中，在步骤S501a中获得校正对象像素值Rc1、Rc2和Rc3。
注意，为了简便，假定针对各个校正对象像素701a、702a、703a在步骤S502a中所计算出的目标值Rt均相同。首先，在步骤S501b中，CPU 103设置阈值Th1和Th2。关于这些阈值，例如以步骤S502a中所计算出的目标值Rt作为基准，可以将这些阈值设置为Th1＝(Rt+Rt的n％)和Th2＝(Rt–Rt的n％)的值、或者Th1＝(Rt+n)和Th2＝(Rt-n)的值。注意，如果|Th1-Rt|＝|Th2-Rt|，则可以设置一个共通阈值Th。
在步骤S502b中，CPU 103使用阈值Th1和Th2来判断是否针对各校正对象像素进行校正。这里，如果满足以下条件：
在校正对象像素值Rc≥Rt的情况下，(Rc-Rt)<(Th1-Rt)；或者
在校正对象像素值Rc<Rt的情况下，(Rt-Rc)<(Rt-Th2)，
(在Th是共通阈值的情况下，|Rc-Rt|<|Th-Rt|)
则CPU 103判断为要执行校正，并且处理进入步骤S503b；如果不满足这些条件，则CPU 103判断为不执行校正，并且处理进入步骤S504b。
因此，在图4C的示例中，判断为要针对校正对象像素701a和702a执行校正，并且判断为针对校正对象像素703a不执行校正。
在步骤S503b中，CPU 103将表示校正执行的有无的标志cFlag设置成表示执行校正的值TRUE(真)，并且用于判断校正执行的处理终止。
在步骤S504b中，CPU 103将表示校正执行的有无的标志cFlag设置成表示不执行校正的值FALSE(假)，并且校正执行判断处理终止。
返回至图3A，在步骤S504a中，CPU 103基于标志cFlag的值来针对各校正对象像素判断校正执行的有无。如果判断为执行校正，则CPU 103使处理进入步骤S505a，例如应用利用目标值Rt替换像素值Rc的像素值校正处理，并且图像校正处理终止。对于在步骤S504a中判断为不执行校正的校正对象像素，CPU 103维持原样地终止像素校正处理。
图5A～图5G用于说明进行步骤S503a的校正执行判断处理的效果。例如，假定与诸如图5A所示等的被摄体相对应地，获得图5B所示的像素值(仅例示出与校正对象像素相同颜色的像素)。这里，为了简便，假定仅与调焦像素801和802的右侧邻接的摄像像素803和804受到来自这些调焦像素的串扰的影响，并且相对于本来的值增加了3。
如果没有对校正对象像素803和804的值进行校正，则输出图像例如如图5C那样。由于仅校正对象像素803的值不同而周围的相同颜色的像素具有相同值，因此校正对象像素803中的串扰的影响作为图像劣化而明显。然而，由于校正对象像素804是被摄体的边缘部分，因此比较难注意到串扰的影响。
这里，考虑步骤S502b的阈值判断中所使用的阈值例如是Th1＝(Rt+5)和Th2＝(Rt-5)的情况。在步骤S502a中，如果如上述的公式(2)那样、计算调焦像素附近的但与该调焦像素不邻接的相同颜色的像素的平均值作为目标值Rt，则校正对象像素803的目标值Rt变为0。因此，校正对象像素803满足(Rc-Rt)≤Th1的条件，判断为校正对象像素803是要执行校正的像素，并且在步骤S505a中，将像素值校正为目标值0。
针对校正对象像素804同样计算出的目标值Rt也为0，但由于校正对象像素值Rc为53，因此不满足(Rc-Rt)≤Th1的条件。因此，针对校正对象像素804不执行像素校正，并且维持值Rc作为53。因此，在应用根据本实施例的像素校正处理之后，像素值变为如图5D所示，并且对于输出图像，如图5E那样，在防止误校正的情况下进行所需校正，并且较难注意到由于串扰所引起的图像劣化。
由于图5A～图5G的示例属于由于串扰所引起的图像劣化，因此可以通过将阈值Th设置为Rt±5来进行适当校正，但由于光斑所引起的图像劣化大于由于串扰所引起的图像劣化，并且存在利用该阈值不能进行适当校正的情况。例如，如果在校正对象像素803中发生的由于光斑所引起的图像劣化(目标值Rt和像素值Rc之间的差)超过阈值，则在校正执行判断处理中判断为校正对象像素803是不进行校正的像素。
为了在发生由于光斑所引起的图像劣化的情况下也进行校正，可以考虑将阈值Th1和Th2设置得更大。然而，如果阈值被设置得大而使得图5B的校正对象像素804满足上述条件，则将会向校正对象像素804应用不适当的校正，并且像素校正处理之后的像素值和图像将变为如图5F和图5G所示那样。
换句话说，为了在可能发生由于串扰所引起的图像劣化和由于光斑所引起的图像劣化这两者的情况下进行适当的像素校正，需要根据是否发生了光斑来改变阈值。注意，这里假定设置大于53的阈值，以说明由于过大的阈值所引起的误校正的可能性，但这并没有限制由于光斑所引起的图像劣化的大小。可以通过实验或模拟，根据图像传感器的结构或特性或者摄像镜头的特性等来预先确定适合由于串扰所引起的图像劣化的校正的阈值和适合由于光斑所引起的图像劣化的校正的阈值。
因此，在本实施例中，在步骤S501b中设置阈值的情况下，CPU 103判断在校正对象像素中是否发生了由于光斑所引起的图像劣化，并且根据该判断结果来设置阈值。
这里，说明用于判断由于光斑所引起的图像劣化的有无的方法的示例。在位于与光源的相反方向上的夹持调焦像素的邻接像素中发生由于光斑所引起的图像劣化的趋势大。例如，如果在面向调焦像素的受光面的情况下在左侧存在光源，则在右侧邻接的像素中发生由于光斑所引起的图像劣化的趋势大。在本实施例中，使用这些特性来判断由于光斑所引起的图像劣化的有无。
具体地，对于周围的多个调焦像素(包括与校正对象像素邻接的调焦像素)，CPU103获得跟调焦像素的位置关系(邻接方向)与校正对象像素的跟调焦像素的位置关系相同的摄像像素的值。然后，作为判断部件的CPU 103在这些像素的像素值同附近的与调焦像素不邻接的相同颜色的像素的值相比明显较大(与由于串扰引起的情况相比较大)的情况下，判断为发生了由于光斑所引起的图像劣化。
图6A～图6C示意性示出这种光斑判断处理的示例。如图6A所示，与调焦像素907～909的右侧邻接的摄像像素901～903和周围的相同颜色的像素的值约为像素值50。例如，这与在像素值50的区域中存在随机噪声的情况相对应。
在这种状态下，图6B示出在与调焦像素907～909的右侧邻接的摄像像素901～903中发生了由于串扰所引起的图像劣化，并且图6C示出发生了由于光斑所引起的图像劣化的示例。为了简便，假定以下情况：仅在调焦像素907～909的右侧发生光斑或串扰的影响，由于串扰所引起的图像劣化(像素值的变化)为+3，并且由于光斑所引起的图像劣化(像素值的变化)为+10。
例如，图3C的流程图用于说明在设置针对校正对象像素902的阈值的情况下的阈值设置处理。在步骤S501c中，CPU 103获得校正对象像素902的值、以及在与校正对象像素902相同的方向上与周围的调焦像素邻接的多个校正对象像素的像素值。这里，由于预期在调焦像素的右侧发生光斑，因此获得在与校正对象像素902相同的像素行上存在于左右的调焦像素的右侧所邻接的校正对象像素901、903的值。实际上，可以配置成：基于根据图像中的高亮度被摄体的位置所估计出的光源方向，来从预期将发生光斑的方向上所存在的校正对象像素获得值。
假定校正对象像素901～903的值分别为Rl、Rc和Rr。接着，在步骤S502c中，作为判断部件的CPU 103获得如下的摄像像素作为用于比较的像素值，其中这些摄像像素与校正对象像素颜色相同，与调焦像素不邻接，并且存在于从各个校正对象像素901～903附近且在特定方向上。这里，例如，通过将特定方向设置为上方向，CPU 10获得摄像像素904～906的值以供比较(假定这些值分别为Rtl、Rtc和Rtr)。注意，可以从校正对象像素周围的相同颜色的像素中，将获得用于比较的值的摄像像素设置为与调焦像素不邻接且存在于与预期将发生光斑的方向不同的方向上的像素。
接着，在步骤S503c中，作为判断部件的CPU 103将校正对象像素901～903的值Rl、Rc和Rr分别与用于比较的像素值Rtl、Rtc和Rtr进行比较，并且如果如下公式成立，
Rl>Rtl+α且Rc>Rtc+α且Rr>Rtr+α (3)
则判断为校正对象像素902的值受到光斑影响，处理进入S505c，并且设置光斑用阈值。由此，在步骤S503a～步骤S505a中，执行使用光斑用阈值的根据第一校正方法的校正处理。如上所述，假定光斑用阈值是与目标值的差大于串扰用阈值与目标值的差的值。注意，公式(3)中的α是大于或等于0的常数，并且被设置为用于对由于串扰所引起的像素值的变化和由于光斑所引起的像素值的变化进行分割的值。这里，假定α＝5，但与阈值相同，可以通过实验或模拟，根据图像传感器的结构或特性或者摄像镜头的特性等预先确定α的值。
将使用图6B和图6C的示例给出详细说明。在校正对象像素902受到串扰影响但不受光斑影响的图6B的状态下，由于校正对象像素902的值Rc<比较值(摄像像素905的值)Rtc，因此与α的值无关地，不满足公式(3)的条件。在图3C的阈值设置处理中，CPU 103使得处理从步骤S503c进入步骤S504c，并且设置正常阈值(即，串扰用阈值)。由此，在步骤S503a～步骤S505a中，执行使用串扰用阈值的根据第二校正方法的校正处理。
作为对比，在校正对象像素902受到光斑影响的图6C的状态下，校正对象像素901～903的值Rl、Rc和Rr相对于用于比较的摄像像素904～906的值Rtl、Rtc和Rtr满足公式(3)的条件。因此，在图3C的阈值设置处理中，CPU 103使得处理从步骤S503c进入步骤S505c，并且设置与目标值的差大于正常阈值与目标值的差的光斑用阈值。
这样，如果判断为校正对象像素的值受到光斑影响，则通过设置与其它情况相比更大的阈值，可以配置成在抑制误校正的同时适当地对需要校正的像素进行校正。
注意，这里说明了如下示例：通过将在调焦像素(校正对象像素)的右侧所邻接的摄像像素的值与校正对象像素的上方所存在的相同颜色的摄像像素的值进行比较，来判断是否发生光斑的影响。然而，例如，可以通过针对调焦像素的上下左右的各校正对象像素应用相同的方法来进行该判断。另外，对于用于比较的像素的值Rtl、Rtc和Rtr，可以配置成：与周围的相同颜色的多个像素的平均值进行比较，判断用于比较的像素自身是否受到光斑影响，并且如果判断为这些像素受到光斑影响，则通过将该平均值与校正对象像素的值进行比较来进行光斑判断。
另外，可以配置成：如公式(3)那样，如果在构成用于光斑的判断条件的多个公式中存在不满足的公式，则根据满足的公式的数量来将正常阈值和光斑用阈值之间的值设置作为阈值。此外，可以配置成：通过例如根据与用于比较的像素值相对应的校正对象像素的值的大小的程度而从多个阈值中选择一个阈值，来改变阈值。
如上所述，凭借本实施例，可以在抑制误校正的同时适当地校正在与调焦像素邻接的像素中发生的由于串扰或光斑所引起的图像劣化。另外，由于基于多个相同颜色像素值来判断是否发生了由于光斑所引起的图像劣化，因此可以进行不依赖于被摄体颜色的判断，并且可以以良好的精度判断应校正的像素。
●第二实施例
在第一实施例中，说明了如下示例：根据在预定方向上邻接的多个校正对象像素各自的值是否大于在相同方向(其与预定方向不同)上邻接的相同颜色的摄像像素(其与调焦像素不邻接)的值，来判断光斑的发生。
在本实施例中，图3C的步骤S501c～步骤S503c的处理的详情(其特征在于：基于与一个调焦像素邻接的多个校正对象像素的值来判断光斑的发生)不同于第一实施例的情况。因此，以下参考图7仅说明本实施例中的阈值设置处理。
图7是提取并例示图像传感器102的一部分的像素阵列的图，并且左图和右图示出相同的像素组。这里，将关注的校正对象像素(在步骤S501a中获得值的像素)设置为像素1001。在本实施例中，在步骤S501c中，CPU 103获得校正对象像素1001以及与校正对象像素1001同样地与同一调焦像素1000邻接的像素1002、1003和1004的值；并且假定这些值分别为R1、B2、R3和B4。
接着，在步骤S502c中，针对在步骤S501c中获得值的各个像素1001～1004，CPU103获得在上方向或下方向上邻接的相同颜色的像素1011、1012、1013和1014的像素值作为用于比较的像素值。将这些像素值分别设置为Rt1、Bt2、Rt3和Bt4。
接着，在步骤S503c中，CPU 103进行与校正对象像素1001是否受到光斑影响的判断，但首先如在图7中利用箭头所示，如下所述计算各个像素1001～1004的值和相应的用于比较的像素之间的差。
ΔR1＝R1-Rt1
ΔB2＝B2-Bt2
ΔR3＝R3-Rt3
ΔB4＝B4-Bt4 (4)
还如在第一实施例中所论述的那样，如果发生光斑，则在存在高亮度被摄体或光源的方向上以及在夹持调焦像素的相反方向上发生光斑的影响的趋势大。因此，关于在公式(4)中所计算出的各差ΔR1、ΔB2、ΔR3和ΔB4，例如如果以下公式成立，则CPU 103可以预测到在图中的左方向上存在光源，并且在调焦像素的右侧发生由于光斑所引起的图像劣化。
ΔR1>>ΔB2且ΔR1>>ΔR3且ΔR1>>ΔB4(5)
因此，例如，预先指定所预测的阈值Th作为串扰的影响，并且如果以下公式(6)成立，则可以配置成将校正对象像素1001的像素校正处理中所使用的阈值设置为光斑用阈值。
ΔR1-MAX(ΔB2,ΔR3,ΔB4)>Th (6)
如果校正对象像素是像素1003，则通过代替ΔR1而评价ΔR3，可以预测到在图的右方向上存在光源，并且在调焦像素的左侧发生由于光斑所引起的图像劣化。
利用相同原理，如果校正对象像素是像素1002或像素1004，则通过针对在左/右方向上邻接的相同颜色像素计算并评价差，可以预测到上方向或下方向上的光斑的发生。
这样，在本实施例中，根据与调焦像素相关联的多个邻接像素的值、以及分别在预定方向上与该多个邻接像素邻接的并且与调焦像素不邻接的相同颜色的摄像像素的值，来判断光斑的影响的有无。借助本实施例，还可以进行与光斑的有无相对应的适当校正处理。
注意，可以组合第一实施例和第二实施例。例如，可以配置成：如果利用第二实施例的方法判断为针对多个调焦像素、相同方向的邻接像素受到光斑影响，则判断为进行光斑校正。如果使用该方法，则可以进一步提高光斑的影响的有无的检测精度。
图1B是用于示出作为根据实施例的图像处理设备的另一示例的信息处理设备200的功能结构的示例的框图。在图1B中，显示单元201用于显示所拍摄图像或者显示交互操作所用的用户界面等。控制台单元202例如具有键盘、鼠标或触摸垫等，并且使得用户能够针对信息处理设备200进行各种指示或设置。通过执行OS或应用程序并控制各功能块，CPU203实现根据上述实施例的像素校正处理。
主存储设备204例如是诸如RAM等的易失性存储设备，并且用作诸如CPU 203的工作区域等的临时数据存储区域。辅助存储设备205例如是诸如硬盘驱动器、SSD或EEPROM等的非易失性存储设备，并且存储OS、固件、应用程序或各种设置信息等。
通信设备206使得信息处理设备200能够与外部设备进行控制命令或数据的发送/接收。注意，通信设备206可以通过例如USB(通用串行总线)线缆等的有线连接与外部设备进行通信，或者可以通过诸如无线LAN等的无线连接与外部设备进行通信。另外，可以直接连接至外部设备，可以经由服务器连接至外部设备，或者可以经由诸如因特网等的网络连接至外部设备。
另外，通信设备206可以配备有访问诸如摄像设备100的存储介质106等的以可拆卸的方式可安装的存储介质的功能。通过将从摄像设备移除的存储介质安装至通信设备206，可以从该存储介质向信息处理设备200读取图像数据。
其它实施例
在上述实施例中，如果没有判断为校正对象像素受到光斑影响，则向校正对象像素应用对串扰的影响进行校正的处理。然而，由于如果可以针对受到光斑影响的像素值设置适当阈值、则可以实现本发明的效果，因此并非必须应用用以校正串扰对被判断为没有受到光斑的影响的校正对象像素所产生的影响的处理。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (15)

1.一种图像处理设备，其特征在于，包括：
获得部件，用于获得在第一方向上与第一调焦像素邻接的第一摄像像素的值以及在所述第一方向上与所述第一摄像像素附近存在的第二调焦像素邻接的第二摄像像素的值；以及
校正部件，用于基于将所述第一摄像像素的值与基于所述第一摄像像素附近存在的与所述第一调焦像素不邻接的第三摄像像素的值的值进行比较的结果、以及将所述第二摄像像素的值与基于所述第二摄像像素附近存在的与所述第二调焦像素不邻接的第三摄像像素的值的值进行比较的结果，来校正所述第一摄像像素的值，
其中，所述校正部件在所述第一摄像像素的值与基于所述第一摄像像素附近存在的与所述第一调焦像素不邻接的第三摄像像素的值的值的差超过第一阈值、以及所述第二摄像像素的值与基于所述第二摄像像素附近存在的与所述第二调焦像素不邻接的第三摄像像素的值的值的差超过第一阈值的情况下，校正所述第一摄像像素的值，以及
所述校正是利用基于所述第三摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
2.根据权利要求1所述的图像处理设备，其中，
针对所述第一摄像像素、所述第二摄像像素和所述第三摄像像素设置有相同颜色的颜色滤波器。
3.根据权利要求1所述的图像处理设备，其中，
针对所述第一调焦像素和所述第二调焦像素，设置有光谱特性与针对所述第一摄像像素、所述第二摄像像素和所述第三摄像像素所设置的颜色滤波器的光谱特性不同的颜色滤波器。
4.根据权利要求1所述的图像处理设备，其中，
所述第一方向是基于高亮度被摄体的位置而预期会发生光斑的方向。
5.根据权利要求1所述的图像处理设备，其中，
在所述差没有超过所述第一阈值的情况下，如果所述差超过比所述第一阈值小的第二阈值，则所述校正部件校正所述第一摄像像素的值。
6.一种摄像设备，包括：
图像传感器，其包括多个调焦像素和多个摄像像素，
其特征在于，还包括：
获得部件，用于获得在第一方向上与第一调焦像素邻接的第一摄像像素的值以及在所述第一方向上与所述第一摄像像素附近存在的第二调焦像素邻接的第二摄像像素的值；以及
校正部件，用于基于将所述第一摄像像素的值与基于所述第一摄像像素附近存在的与所述第一调焦像素不邻接的第三摄像像素的值的值进行比较的结果、以及将所述第二摄像像素的值与基于所述第二摄像像素附近存在的与所述第二调焦像素不邻接的第三摄像像素的值的值进行比较的结果，来校正所述第一摄像像素的值，
其中，所述校正部件在所述第一摄像像素的值与基于所述第一摄像像素附近存在的与所述第一调焦像素不邻接的第三摄像像素的值的值的差超过第一阈值、以及所述第二摄像像素的值与基于所述第二摄像像素附近存在的与所述第二调焦像素不邻接的第三摄像像素的值的值的差超过第一阈值的情况下，校正所述第一摄像像素的值，以及
所述校正是利用基于所述第三摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
7.一种图像处理设备，其特征在于，包括：
获得部件，用于获得与第一调焦像素邻接的多个第一摄像像素的值以及所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；以及
校正部件，用于获得所述多个第一摄像像素的各个值与基于所述多个第二摄像像素的值的值的差，并且在所述差的最大值比其它各个差大了阈值以上的情况下，校正所述多个第一摄像像素中的所述差是最大值的像素的值，
其中，所述校正是利用基于所述多个第二摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
8.根据权利要求7所述的图像处理设备，其中，
针对所述第一摄像像素和所述第二摄像像素设置有相同颜色的颜色滤波器。
9.根据权利要求7所述的图像处理设备，其中，
针对所述第一调焦像素，设置有光谱特性与针对所述第一摄像像素和所述第二摄像像素所设置的颜色滤波器的光谱特性不同的颜色滤波器。
10.一种摄像设备，包括：
图像传感器，其包括多个调焦像素和多个摄像像素，
其特征在于，还包括：
获得部件，用于获得与第一调焦像素邻接的多个第一摄像像素的值以及所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；以及
校正部件，用于获得所述多个第一摄像像素的各个值与基于所述多个第二摄像像素的值的值的差，并且在所述差的最大值比其它各个差大了阈值以上的情况下，校正所述多个第一摄像像素中的所述差是最大值的像素的值，
其中，所述校正是利用基于所述多个第二摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
11.一种图像处理设备，其特征在于，包括：
获得部件，用于获得以下值：与第一调焦像素邻接的多个第一摄像像素的值、所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值、与第二调焦像素邻接的多个第三摄像像素的值、以及所述多个第三摄像像素附近存在的与所述第二调焦像素不邻接的多个第四摄像像素的值；以及
校正部件，用于在以下方向相同的情况下，校正所述多个第一摄像像素中的与基于所述多个第二摄像像素的值的值的第一差是最大值的像素的值：从所述第一调焦像素至所述多个第一摄像像素中的所述第一差是最大值的像素的方向；以及从所述第二调焦像素至所述多个第三摄像像素中的与基于所述多个第四摄像像素的值的值的第二差是最大值的像素的方向，
其中，所述校正是利用基于所述多个第二摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
12.一种摄像设备，包括：
图像传感器，其包括多个调焦像素和多个摄像像素，
其特征在于，还包括：
获得部件，用于获得以下值：与第一调焦像素邻接的多个第一摄像像素的值、所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值、与第二调焦像素邻接的多个第三摄像像素的值、以及所述多个第三摄像像素附近存在的与所述第二调焦像素不邻接的多个第四摄像像素的值；以及
校正部件，用于在以下方向相同的情况下，校正所述多个第一摄像像素中的与基于所述多个第二摄像像素的值的值的第一差是最大值的像素的值：从所述第一调焦像素至所述多个第一摄像像素中的所述第一差是最大值的像素的方向；以及从所述第二调焦像素至所述多个第三摄像像素中的与基于所述多个第四摄像像素的值的值的第二差是最大值的像素的方向，
其中，所述校正是利用基于所述多个第二摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
13.一种图像处理方法，其特征在于，包括以下步骤：
获得在第一方向上与第一调焦像素邻接的第一摄像像素的值；
获得在所述第一方向上与所述第一摄像像素附近存在的第二调焦像素邻接的第二摄像像素的值；
将所述第一摄像像素的值与基于所述第一摄像像素附近存在的不邻接于所述第一调焦像素的第三摄像像素的值的值进行比较，以及将所述第二摄像像素的值与基于所述第二摄像像素附近存在的不邻接于所述第二调焦像素的第三摄像像素的值的值进行比较；以及
基于比较的结果来校正所述第一摄像像素的值，
其中，在所述第一摄像像素的值与基于所述第一摄像像素附近存在的不邻接于所述第一调焦像素的第三摄像像素的值的值的差超过第一阈值、以及所述第二摄像像素的值与基于所述第二摄像像素附近存在的不邻接于所述第二调焦像素的第三摄像像素的值的值的差超过第一阈值的情况下，校正所述第一摄像像素的值，以及
所述校正是利用基于所述第三摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
14.一种图像处理方法，其特征在于，包括以下步骤：
获得与第一调焦像素邻接的多个第一摄像像素的值；
获得所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；
获得所述多个第一摄像像素的各个值与基于所述多个第二摄像像素的值的值之间的差；以及
在所述差的最大值比其它各个差大了阈值以上的情况下，校正所述多个第一摄像像素中的所述差是最大值的像素的值，
其中，所述校正是利用基于所述多个第二摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
15.一种图像处理方法，其特征在于，包括以下步骤：
获得与第一调焦像素邻接的多个第一摄像像素的值；
获得所述多个第一摄像像素附近存在的与所述第一调焦像素不邻接的多个第二摄像像素的值；
获得与第二调焦像素邻接的多个第三摄像像素的值；
获得所述多个第三摄像像素附近存在的与所述第二调焦像素不邻接的多个第四摄像像素的值；以及
在以下方向相同的情况下，校正所述多个第一摄像像素中的与基于所述多个第二摄像像素的值的值的第一差是最大值的像素的值：从所述第一调焦像素至所述多个第一摄像像素中的所述第一差是最大值的像素的方向；以及从所述第二调焦像素至所述多个第三摄像像素中的与基于所述多个第四摄像像素的值的值的第二差是最大值的像素的方向，
其中，所述校正是利用基于所述多个第二摄像像素的值的值其中之一来替换所述第一摄像像素的值的处理。
CN201510993992.7A 2014-12-26 2015-12-25 图像处理设备、摄像设备和图像处理方法 Active CN105744242B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014265779A JP2016127389A (ja) 2014-12-26 2014-12-26 画像処理装置およびその制御方法
JP2014-265779 2014-12-26

Publications (2)

Publication Number Publication Date
CN105744242A CN105744242A (zh) 2016-07-06
CN105744242B true CN105744242B (zh) 2018-05-11

Family

ID=56165832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510993992.7A Active CN105744242B (zh) 2014-12-26 2015-12-25 图像处理设备、摄像设备和图像处理方法

Country Status (3)

Country Link
US (1) US9936105B2 (zh)
JP (1) JP2016127389A (zh)
CN (1) CN105744242B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3407592B1 (en) * 2016-01-18 2020-01-29 Fujifilm Corporation Image capture device and image data generation method
JP2018093257A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 撮像装置
JP2018196083A (ja) 2017-05-22 2018-12-06 オリンパス株式会社 画像処理装置
US10848693B2 (en) * 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) * 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10382712B1 (en) * 2018-08-01 2019-08-13 Qualcomm Incorporated Automatic removal of lens flares from images
WO2020230610A1 (ja) 2019-05-15 2020-11-19 富士フイルム株式会社 漏れ光検出装置、撮像装置、漏れ光検出方法、及び漏れ光検出プログラム
KR20210156553A (ko) 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857692A (zh) * 2011-06-30 2013-01-02 株式会社尼康 摄像装置、图像处理装置和图像处理方法
CN103828344A (zh) * 2011-11-30 2014-05-28 佳能株式会社 图像处理设备、图像处理方法和程序、以及包括该设备的摄像设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
WO2009022634A1 (en) * 2007-08-10 2009-02-19 Canon Kabushiki Kaisha Image-pickup apparatus and control method therof
JP5163068B2 (ja) 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
WO2011155297A1 (ja) 2010-06-09 2011-12-15 富士フイルム株式会社 撮像装置及び画像処理方法
CN104285435B (zh) 2012-05-10 2016-09-28 富士胶片株式会社 摄像装置及信号校正方法
JP2013247597A (ja) 2012-05-29 2013-12-09 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
JP6087674B2 (ja) 2013-02-27 2017-03-01 キヤノン株式会社 撮像装置
JP6052057B2 (ja) * 2013-05-22 2016-12-27 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器
JP6295526B2 (ja) * 2013-07-11 2018-03-20 ソニー株式会社 固体撮像装置および電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857692A (zh) * 2011-06-30 2013-01-02 株式会社尼康 摄像装置、图像处理装置和图像处理方法
CN103828344A (zh) * 2011-11-30 2014-05-28 佳能株式会社 图像处理设备、图像处理方法和程序、以及包括该设备的摄像设备

Also Published As

Publication number Publication date
CN105744242A (zh) 2016-07-06
JP2016127389A (ja) 2016-07-11
US20160191826A1 (en) 2016-06-30
US9936105B2 (en) 2018-04-03

Similar Documents

Publication Publication Date Title
CN105744242B (zh) 图像处理设备、摄像设备和图像处理方法
US8805070B2 (en) Image processing apparatus and image processing method
CN101778203B (zh) 图像处理装置
JP2020536327A (ja) 単一のカメラを使用した深度の推定
TWI489858B (zh) 使用三維重建之影像捕捉
US8199229B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
CN102422630B (zh) 摄像设备
US8253828B2 (en) Image capture device including edge direction determination unit, and image processing method for the same
RU2527198C2 (ru) Устройство обработки изображения и способ управления устройством обработки изображения
CN104869380B (zh) 图像处理设备和图像处理方法
US20100166305A1 (en) Method for detecting and correcting chromatic aberration, and apparatus and method for processing image using the same
CN103444183B (zh) 彩色摄像元件及摄像装置
CN108134888A (zh) 摄像装置、图像校正方法以及记录介质
JP6013284B2 (ja) 撮像装置及び撮像方法
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
JP2016151955A (ja) 画像処理装置、撮像装置、距離計測装置、および画像処理方法
TWI394434B (zh) The method of eliminating the color dislocation of digital images
WO2003105467A1 (ja) デジタルスチルカメラ装置、ビデオカメラ装置及び情報端末装置
JP2016048815A (ja) 画像処理装置、画像処理方法、及び、画像処理システム
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN110519585A (zh) 一种应用于图像采集设备的成像校准方法及装置
JP5782311B2 (ja) 撮像装置及びその制御方法
CN105122787B (zh) 摄像装置、校准系统、校准方法
JP5600812B2 (ja) 撮像装置
CN109300186B (zh) 图像处理方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant