CN101946519B - 图像处理装置、成像装置、校正系数计算方法 - Google Patents

图像处理装置、成像装置、校正系数计算方法 Download PDF

Info

Publication number
CN101946519B
CN101946519B CN2009801048594A CN200980104859A CN101946519B CN 101946519 B CN101946519 B CN 101946519B CN 2009801048594 A CN2009801048594 A CN 2009801048594A CN 200980104859 A CN200980104859 A CN 200980104859A CN 101946519 B CN101946519 B CN 101946519B
Authority
CN
China
Prior art keywords
pixel
imaging
correction coefficient
calibration object
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801048594A
Other languages
English (en)
Other versions
CN101946519A (zh
Inventor
宇津木晓彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN101946519A publication Critical patent/CN101946519A/zh
Application granted granted Critical
Publication of CN101946519B publication Critical patent/CN101946519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

图像处理装置包括:位置信息存储部,存储在其中成像像素以二维排列并且具有多种色的彩色滤波器的图像传感器的多个成像像素当中,在彩色滤波器中具有问题的成像像素的位置信息;校正系数存储部,存储校正具有问题的成像像素的像素值的校正系数;校正对象像素位置设置部,通过使用位置信息来设置校正对象像素的位置;校正对象像素数据提取部,提取校正对象像素的像素值;其他色像素数据提取部,其提取其他色像素值,该其他色像素值为存在于校正对象像素附近的并且其色不同于校正对象像素的彩滤波器的色的成像像素的像素值;以及像素数据校正部,通过使用校正系数来计算校正对象像素的像素值和其他色像素值的加权和,从而对校正对象像素的像素值进行校正。

Description

图像处理装置、成像装置、校正系数计算方法
技术领域
本发明涉及图像处理装置、成像装置、校正系数计算的方法、以及图像处理程序。
背景技术
公知的成像装置包括其中在同一基板上以混合状态布置成像像素和焦点检测像素的图像传感器,其捕获由成像透镜在图像传感器上形成的被摄体图像,并且检测图像的对焦状态(例如,专利文献1)。在每个成像像素上装配有R(红色)、G(绿色)、或者B(蓝色)中的任何一个彩色滤波器,以形成Bayer(贝尔)阵列类型的图案。另一方面,在焦点检测像素上装配有白色滤波器,使得可以为任何色的被摄体进行焦点检测。因此,在由上述成像装置捕获的图像数据中,不能够在焦点检测像素的位置处获取根据正常彩色滤波器的像素值。通过使用在焦点检测像素附近的成像像素的像素值,在专利文献1等中,提议了一种在焦点检测像素的位置处内插用于成像的像素值的方法。
专利文献1:日本未审专利申请公开No.2007-282109
发明内容
本发明待解决的问题
然而,本发明人发现:由于使焦点检测像素的滤波器为白的工艺的影响,在焦点检测像素附近的成像像素的彩色滤波器的光谱特征中出现一些错误。因此,存在如下问题,即,如果通过在专利文献1等中的公知方法,仅仅通过校正在焦点检测像素位置处的像素值,则彩色滤波器的错误将导致在所拍摄的图像中出现不自然的带状结构。
考虑到在现有技术中的上述问题,本发明提供了一种建议,其能够校正由成像像素的彩色滤波器中的错误所导致的在所拍摄图像中的缺陷。
用于解决问题的方法
为了解决上述问题,根据本发明的图像处理装置包括:位置信息存储部,其对在图像传感器的多个成像像素当中在彩色滤波器中存在问题的成像像素的位置信息进行存储,所述图像传感器中成像像素是二维排列的并且具有多种色的彩色滤波器;校正系数存储部,其存储对具有问题的成像像素的像素值进行校正的校正系数;校正对象像素位置设置部,其通过使用位置信息来设置校正对象像素的位置;校正对象像素数据提取部,其提取校正对象像素的像素值;其他色像素数据提取部,其提取其他色像素值,该其他色像素值为存在于校正对象像素附近并且其色不同于校正对象像素的彩色滤波器的色的成像像素的像素值;以及像素数据校正部,其通过使用校正系数,来计算校正对象像素的像素值和其他色像素值的加权和,从而校正所述校正对象像素的像素值。
此外,图像传感器的区域包括作为其光谱特征不同于成像像素的光谱特征的焦点检测像素的一部分,所述位置信息存储部存储焦点检测像素的位置信息,在校正系数存储部中存储的校正系数是与自焦点检测像素的距离相应的系数,并且校正对象像素位置设置部可以将在焦点检测像素的附近的成像像素的位置设置为校正对象像素的位置。
图像处理装置可以进一步包括成像像素数据估计部,其通过使用由像素数据校正部校正的校正对象像素的像素值,来内插用于在焦点检测像素的位置处成像的像素值。
本发明的成像装置包括根据本发明的图像传感器和图像处理装置。
一种用于计算在根据本发明的图像处理装置的校正系数存储部中存储的校正系数的校正系数计算方法包括:检查图像生成操作,其通过将多个检查光照射到图像传感器上来生成多个检查图像,所述检查光具有不同的光谱特征;检查对象像素位置设置操作,其将具有问题的成像像素的位置设置为检查对象像素的位置;检查对象像素数据提取操作,其将具有问题的成像像素的像素值提取为检查对象像素值;其他色像素数据提取操作,其提取作为存在于检查对象像素的附近并且其色不同于检查对象像素的彩色滤波器的色的成像像素的像素值的其他色像素值;正常像素数据生成操作,其提取如下的成像像素的像素值来作为正常像素值,即,所述成像像素具有与检查对象像素相同色的彩色滤波器,并且其彩色滤波器是正常的;以及加权系数生成操作,其通过计算所述检查对象像素值和其他色像素值的加权和来计算与所述正常像素值近似的加权系数,作为多个检查图像所公用的系数。
本发明的图像处理程序使得可以在计算机上进行根据本发明的图像处理装置的处理。
根据本发明,可以校正由于成像像素的彩色滤波器的问题而导致的所拍摄图像的缺陷。
附图说明
图1是示出根据本发明的实施例的电子照相机10的构造的框图。
图2是示出图像传感器的单元的排列的视图。
图3是示出在电子照相机10的图像处理部12和存储部9之间的图像数据流的视图。
图4是本实施例的电子照相机10中的图像处理的流程图。
具体实施方式
图1是根据本发明实施例的电子照相机10的构造图。
电子照相机10由成像透镜1、图像传感器2、A/D转换部3、缓存4、CPU 5、卡接口(卡I/F)6、操作构件8、存储部9、显示部11、以及图像处理部12来构成。缓存4、CPU 5、卡I/F 6、操作构件8、存储部9、显示部11、以及图像处理部12经由总线13而耦合,使得可以彼此相互通信。注意到,图1仅仅示出了电子照相机10的主要部分。例如,根据CPU 5的指令而生成到图像传感器2和A/D转换部3的拍摄指令的时序脉冲的时序生成器等没有在图1中显示。
成像透镜1由多个光学透镜构成,并且在图像传感器2的光接收表面上形成被摄体图像。
其中为布置在光接收表面上的多个成像像素的每一个,以Bayer阵列类型来设置R(红色)、G(绿色)、B(蓝色)的任何一种彩色滤波器的CCD和CMOS半导体图像传感器等可以被相应地选择和被用于图像传感器2。此外,本实施例的图像传感器2在光接收表面上的区域的一部分处,具有被一维布置在水平扫描方向上的多个焦点检测像素(AF像素)。白色滤波器被装配在每个AF像素上,并且存在两种AF像素,其中的每个均在左侧或者右侧接收通过成像透镜1的光学系统的光瞳传输的光通量。即,根据白光的亮度,每个AF像素输出被光瞳分离到左侧和右侧的检测信号。图2示出了在由图像传感器2捕获的图像数据中,以布置了AF像素的区域为中心的图像数据的一部分。每个单元代表一个像素。各个单元的第一符号R、G、和B表示具有各个彩色滤波器的成像像素。另一方面,符号X和Y表示从左侧到右侧的每个均对光通量敏感的AF像素,并且在水平扫描方向上将其交替和一维地排列。在这些符号之后的两位数字表示像素的位置。
图像传感器2基于由接收CPU 5的指令的时序生成器(未示出)生成的时序脉冲来进行操作,并且获取由设置在其前侧的成像透镜1形成的被摄体图像。从图像传感器2输出的图像信号被通过A/D转换部3转换为数字信号。数字图像信号被暂时记录在帧存储器(未示出)中,并且之后,被记录在缓存4中。附带提及,来自半导体存储器中的任意的非易失性存储器可以被相应地选择并用于缓存4。
当由用户通过操作构件8的电源按钮操作而导通电子照相机10的电源时,CPU 5读取在存储部9中储存的控制程序和图像处理程序,并且初始化电子照相机10。当通过操作构件8从用户接收指令时,CPU5基于控制程序,向时序生成器(未示出)输出被摄体的成像指令;使得图像处理部12基于图像处理程序来执行对所捕获的图像进行的图像处理;并且执行控制以记录到卡存储器7中,以及在显示部11上进行显示等。普通计算机的CPU可以被用于CPU 5。
卡存储器7以可附接的方式而被装配到卡I/F 6上。在基于CPU 5的指令通过图像处理部12对图像进行处理之后,被记录到缓存4的图像被记录到卡存储器7上,来作为JPEG格式、YUV格式等的文件。
操作构件8根据用户对构件的操作的内容来向CPU 5输出操作信号。例如,诸如电源按钮、用于拍摄模式等的模式设置按钮、以及释放按钮这样的操作构件被包括在操作构件8中。注意到,操作构件8可以是在随后描述的显示部11的屏幕的前表面设置的触摸面板形式的按钮。
存储部9记录由电子照相机10捕获的图像数据,并且存储各种程序等,例如,用于通过CPU 5控制电子照相机10的控制程序、通过图像处理部12执行的图像处理程序。此外,存储部9还存储由图像处理程序使用的、事先要求的图像传感器2的AF像素的位置信息、校正系数的数据等。经由总线13,可以从CPU 5中相应地参考在存储部9中存储的程序和数据。诸如通用硬盘器件、磁光盘器件这样的存储器件可以被相应地选择并且被使用于存储部9。
显示部11显示直通图像、所拍摄的图像、模式设置屏幕等。液晶显示器等可以被相应地选择并且被用于显示部11。
图像处理部12是如下的数字前端电路,其执行诸如边缘增强处理和白平衡校正这样的图像处理,并且基于通过CPU 5的用于图像处理的指令而执行在AF像素的像素位置处的成像像素值的内插计算。
接下来,将参考图3中的基于CPU 5的在图像处理部12和存储部9处的图像数据流和图4中的图像处理的流程图,来描述根据本实施例的电子照相机10。
当由用户按压操作构件8的电源按钮时,CPU 5读取存储在电子照相机10的存储部9中的控制程序和图像处理程序,并且初始化电子照相机10。CPU 5等待直到从用户发出对被摄体的成像指令。当操作构件8的释放按钮被用户按压时,CPU 5判定成像指令被发出,并且执行从步骤S10至步骤S19的处理。顺带提及,因为在本实施例中,装配在各个成像像素上的彩色滤波器是Bayer阵列图案,所以在具有符号“X”的AF像素的位置处,内插绿色(G)的成像像素值;并且在具有符号“Y”的AF像素的位置处,内插蓝色(B)的成像像素值。在以下的描述中,假设在本实施例中,在以AF像素行为中心的一侧中的三个像素宽度的区域是图像传感器2的彩色滤波器的光谱特征中存在错误的区域。
步骤S10:CPU 5发出用于时序生成器(未示出)的成像指令。时序生成器(未示出)向图像传感器2生成时序脉冲,并且图像传感器2捕获由成像透镜1形成的被摄体的图像。经由A/D转换部3,所捕获的图像数据被记录到缓存4中。CPU 5发出用于缓存4的指令,以将图像数据传输到图像处理部12。经由总线13,缓存4将在步骤S10中拍摄的图像数据传输到图像处理部12。
步骤S11:图像处理部12的校正对象像素位置设置部101从存储部9的位置信息存储部102中读取AF像素位置信息。在此,在垂直扫描方向中的坐标V和作为在AF像素行的水平扫描方向中的开始点和结束点的坐标H1、H2被存储在位置信息存储部102中。注意到,H1、H2是在垂直扫描方向中存在R的成像像素的行的坐标。校正对象像素位置设置部101将离AF像素行三个像素的范围内存在的成像像素的位置设置为校正对象像素位置,同时在校正对象像素的水平扫描方向中顺序地将坐标从H1移动到H2,每次两个像素,与左侧和右侧的作为一对的进行光瞳分离的焦点检测像素有关。例如,当AF像素行的对为X51和Y52时,校正对象像素位置设置部101将成像像素R21、G31、R41、G22、B32、G42、R61、G71、R81、G62、B72、和G82的位置设置为校正对象像素位置。接下来,校正对象像素位置设置部101将成像像素R23、G33、R43、G24、B34、G44、R63、G73、R83、G64、B74、和G84的位置设置为X53和Y54的AF像素行的对的校正对象像素位置。
步骤S12:图像处理部12的校正对象像素数据提取部103提取由校正对象像素位置设置部101在步骤S11设置的校正对象像素位置的像素值。
步骤S13:图像处理部12的另一个色像素数据提取部104从邻近的成像像素的像素值的平均值求与校正对象像素不同的色的其他色像素值,以校正该校正对象像素。例如,通过以下的表达式(1)来求其他色像素值G(x1,y1+1)和B(x1,y1+1),以校正作为校正对象像素的成像像素R43的像素值R(x1,y1+1)。注意到,坐标(x1,y1)表示AF像素X53的坐标。
G(x1,y1+1)=(G(x1-1,y1+1)+G(x1+1,y1+1)+G(x1,y1+2))/3
B(x1,y1+1)=(B(x1-1,y1+2)+B(x1+1,y1+2))/2...(1)
相似地提取其他色像素值以用于其他的校正对象像素。
步骤S14:图像处理部12的像素数据校正部105从存储部9的校正系数存储部106中读取校正系数。在本实施例中,校正系数的种类如下:
与AF像素相距一个像素距离而存在的R像素的校正系数(kR1_R,kR1_G,kR1_B)
与AF像素相距一个像素距离而存在的G像素的校正系数(KG1_R,KG1_G,KG1_B)
与AF像素相距两个像素距离而存在的B像素的校正系数(kB2_R,kB2_G,kB2_B)
与AF像素相距两个像素距离而存在的G像素的校正系数(KG2_R,KG2_G,kG2_B)
与AF像素相距三个像素距离而存在的R像素的校正系数(KR3_R,kR3_G,kR3_B)
与AF像素相距三个像素距离而存在的G像素的校正系数(KG3_R,kG3_G,kG3_B)
校正系数的值根据在AF像素的附近的彩色滤波器的特征而不同,但是,例如,它们可以具有如下的值。
(KR1_R,kR1_G,kR1_B)=(0.015,0.011,0.012)
注意到,当AF像素附近的彩色滤波器的特征不太取决于AF像素行的排列方向(水平扫描方向)时,可以将相同的校正系数用于与AF像素行的距离相等并且色相同的成像像素。另一方面,当AF像素附近的彩色滤波器的特征很大取决于水平扫描方向中的坐标时,需要根据水平扫描方向中的坐标来使用校正系数的值。注意到,校正系数的计算方法将随后进行描述。
步骤S15:图像处理部12的像素数据校正部105通过使用在步骤S13中求的其他色像素值来计算在每个校正对象像素位置处的校正的像素值。例如,当在成像像素R23、G33、R43、G24、B34、G44、R63、G73、R83、G64、B74、和G84的坐标值通过使用上述的X53的坐标(x1,y1)来表示时,其为R(x1,y1+3)、G(x1,y1+2)、R(x1,y1+1)、G(x1+1,y1+3)、B(x1+1,y1+2)、G(x1+1,y1+1)、R(x1,y1-1)、G(x1,y1-2)、G(x1,y1-3)、G(x1+1,y1-1)、B(x1+1,y1-2)、和G(x1+1,y1-3)。当校正的像素值被设为R’(x1,y1+3)、G’(x1,y1+2)、R’(x1,y1+1)、G’(x1+1,y1+3)、B’(x1+1,y1+2)、G’(x1+1,y1+1)、R’(x1,y1-1)、G’(x1,y1-2)、G’(x1,y1-3)、G’(x1+1,y1-1)、B’(x1+1,y1-2)、和G’(x1+1,y1-3)时,例如,通过使用校正系数,如如下表达式(2)至(4)地来计算在成像像素R43、B34、G24处的各个校正的像素值。
R’(x1,y1+1)=R(x1,y1+1)+kR1_R×R(x1,y1+1)+kR1_G×G(x1,y1+1)+
kR1_B×B(x1,y1+1)...(2)
B’(x1+1,y1+2)=B(x1+1,y1+2)+kB2_R×R(x1+1,y1+2)+
kB2_G×G(x1+1,y1+2)+kB2_B×B(x1+1,y1+2)...(3)
G’(x1+1,y1+3)=G(x1+1,y1+3)+kB3_R×R(x1+1,y1+3)+
KB3_G×G(x1+1,y1+3)+kB3_B×B(x1+1,y1+3)...(4)
相似地求用于其他像素值的校正的像素值。
步骤S16:图像处理部12判断是否执行了所有的校正对象像素的校正。当为所有的校正对象像素执行了校正处理时,图像处理部12转到步骤S17(是的一侧)。当校正处理没有完成时,图像处理部12转到步骤S12(否的一侧)。图像处理部12执行用于下一对在AF像素行的附近存在的校正对象像素的从步骤S12到步骤S15的处理。
步骤S17:图像处理部12的像素数据替代部107更新图像数据,同时使用在步骤S15中求的校正的像素值来作为校正对象像素的像素值。
步骤S18:图像处理部12的像素数据估计部108通过使用,例如在专利文献1等中描述的公知的方法来计算用于在校正的图像数据中AF像素的位置处成像的像素值,并且生成校正了由AF像素的影响导致的错误的图像数据。图像处理部12为在步骤S18处生成的图像数据执行公知的图像处理,诸如,白平衡处理、Bayer内插处理、饱和度增强、边缘增强、噪声减小,用于生成值得观看的图像。图像处理部12传输和记录该图像数据到缓存4中。
步骤S 19:CPU 5将记录到缓存4中的图像数据变为JPEG格式、YUV格式等的文件,经由总线13和卡I/F 6而将其记录到卡存储器7中,并且完成一系列的工作。
接下来,将描述用于求在校正系数存储部16中存储的校正系数的方法。
内建在产品中的图像传感器2或者具有与图像传感器2相同性能的图像传感器被准备用于求校正系数。在多种不同光谱强度分布中的光被照射到图像传感器2,使得光亮度不会根据位置而发生变化,并且获取检查图像数据来用于在各个光谱强度分布中的光。
接下来,通过执行与用于在步骤S11中设置校正对象像素位置的由校正对象像素设置部101执行的处理相同的处理来设置检查对象像素位置。随后,与在其中在步骤S12中提取校正对象像素数据的步骤相同地,提取检查对象像素值。通过执行与在步骤S13中提取其他色像素值的处理相似的处理来求在检查对象像素位置处的其他色像素值。此外,在与AF像素位置完全分离的位置处存在的彩色滤波器中不存在任何错误的情况下,提取R、G、B的正常成像像素的像素值,并且这些值被设置为正常像素值R”、G”、B”。这些检查对象像素值、其他色像素值、以及正常像素值被从多个检查图像数据中的每个中提取。
待求的校正系数被设置为与离AF像素行的距离相应的与多个检查图像数据相关的公共的未确定系数。例如,在与AF像素行相距一个像素的距离处存在的成像像素R的校正系数被设置为“kR1_R、kR1_G、和kR1_B”,并且由以下表达式(5)求的值“F”被计算用于AF像素X53(坐标(x1,y1))的两侧的R的成像像素R43和R63。
F=(R”-R(x1,y1+1)-(kR1_R×R(x1,y1+1)+kR1_G×G(x1,y1+1)+kR1_B×B(x1,y1+1)))2+(R”-R(x1,y1-1)-(kR1_R×R(x1,y1-1)+kR1_G×G(x1,y1-1)+kR1_B×B(x1,y1-1)))2...(5)
因此,为在与AF像素行相距一个像素的距离处的水平扫描方向上的从H1到H2的坐标处中存在的所有的R成像像素,相似地为每一个求表达式(5)的“F”值。将在各个检查图像数据中求的所有的“F”值进行积分(integrate)。通过最小二乘法来计算使得所积分的“F”值最小的校正系数(kR1_R、kR1_G、kR1_B)的值。具体地,可以通过分别使用kR1_R、kR1_G、或kR1_B来对表示积分值的表达式进行偏微分,并且通过根据其中偏微分值变为“0”(零)的情况来推导联立的线性方程式,来求该值。可以相似地求在与AF像素行相距一个像素的距离处存在的G成像像素的校正系数等。
当在AF像素附近的彩色滤波器的特征不太取决于作为排列方向的水平扫描方向的位置时,因为如如上所述地求的校正系数不太依赖于在水平扫描方向上的位置,所以在水平扫描方向中的各个位置处求的校正系数或者在适当位置处求的校正系数的平均值可以被存储到校正系数存储部106中。另一方面,当在AF像素的附近的彩色滤波器的特征很大依赖于水平扫描方向中的位置时,需要将根据各个位置的校正系数存储在校正系数存储部106中。
如果在彩色滤波器中存在错误,则存在当在正常情况下传输穿过彩色滤波器的色分量的光强度缺乏的情况,或者当在正常情况下基本上不会传输穿过的色分量被过量地传输的情况。根据该实施例,通过调整像素值的短缺和过量,方式为通过将其中将适当的校正系数与表示传输播穿过RGB的彩色滤波器的光亮度的每个RBG成像像素的像素值相乘的值添加到彩色滤波器具有错误的像素值上,可以再重现与于正常像素值相等的输出。通过在如上所述地校正彩色滤波器的错误之后执行求在AF像素位置处的像素值的处理,可以校正由AF像素的影响导致的错误。
描述了当在AF像素行附近的彩色滤波器的错误于被如上述实施例中被地校正时的情况,但是本发明可以应用到一般的彩色滤波器的错误上。例如,当因为由于图像传感器的制造处理中的缺陷而导致的某个像素的彩色滤波器的剥离,而在光谱敏感度上存在错误时,可以通过由检查来求像素的位置信息和校正系数,通过将每个值存储到位置信息存储部102和校正系数存储部106中,并且通过对由安装了图像传感器的电子照相机10拍摄的图像执行本发明的处理,从而校正由于彩色滤波器的错误而导致的图像的错误。
在本发明中处理由具有AF像素的图像传感器2捕获的图像,但是本发明不限于上述实施例。其可以应用到通过在其中没有设置AF像素的图像传感器所捕获的图像。
在本实施例中,AF像素的排列方向被设置为水平扫描方向,但是本发明不限于此。AF像素可以以垂直扫描方向或者其他方向来排列。
在本实施例中,各个AF像素被设置为焦点检测像素,其将来自左侧或右侧的光通量进行光瞳分离,但是本发明不限于此。各个AF像素可以是具有将来自左侧和右侧的光通量进行光瞳分离的像素的焦点检测像素。
在本实施例中,具有在图像传感器2的彩色滤波器的光谱特征中的错误的区域被设置为在以AF像素行为中心的、一侧具有三个像素宽度的区域,但是本发明不限于此。本发明还可以应用于以AF像素行为中心的、具有任意尺寸的宽度的区域上。
本发明可以应用到如下的程序,该程序使得可以在计算机上进行根据本发明的图像处理装置中的处理。

Claims (5)

1.一种图像处理装置,包括:
位置信息存储部,所述位置信息存储部存储在图像传感器的多个成像像素当中,在彩色滤波器中光谱敏感度出现错误的像素的位置信息,在所述图像传感器中,成像像素以二维排列并且具有多种色的彩色滤波器;
校正系数存储部,所述校正系数存储部存储校正系数,所述校正系数校正所述光谱敏感度出现错误的像素的像素值;
校正对象像素位置设置部,所述校正对象像素位置设置部通过使用所述位置信息来设置校正对象像素的位置;
校正对象像素数据提取部,所述校正对象像素数据提取部提取所述校正对象像素的像素值;
其他色像素数据提取部,所述其他色像素数据提取部通过使用如下的成像像素的像素值,即,所述成像像素存在于所述校正对象像素附近并且具有其色与所述校正对象像素的彩色滤波器的色不同的彩色滤波器,提取其他色像素值,所述其他色像素值的色不同于在所述校正对象像素的位置处的彩色滤波器的色;以及
像素数据校正部,所述像素数据校正部通过使用所述校正系数来计算所述校正对象像素的像素值和所述其他色像素值的加权和,从而对所述校正对象像素的像素值进行校正。
2.根据权利要求1所述的图像处理装置,其中,
所述图像传感器的区域包括一部分,所述一部分为其光谱特征与所述成像像素的光谱特征不同的焦点检测像素,
所述位置信息存储部存储所述焦点检测像素的位置信息,
在所述校正系数存储部中存储的所述校正系数是与自所述焦点检测像素的距离相应的系数,并且
所述校正对象像素位置设置部将在所述焦点检测像素的附近的成像像素的位置设置为所述校正对象像素的位置。
3.根据权利要求2所述的图像处理装置,进一步包括:
成像像素数据估计部,所述成像像素数据估计部通过使用由所述像素数据校正部校正的所述校正对象像素的像素值,来内插用于在焦点检测像素的位置处成像的像素值。
4.一种成像装置,包括:
图像传感器;以及
根据权利要求1至3中的任何一项所述的图像处理装置。
5.一种用于对在根据权利要求1至3中任何一项所述的图像处理装置的所述校正系数存储部中存储的所述校正系数进行计算的校正系数计算方法,包括:
检查图像生成操作,所述检查图像生成操作通过将多个检查光照射到所述图像传感器上来生成多个检查图像,所述检查光具有不同的光谱特征;
检查对象像素位置设置操作,所述检查对象像素位置设置操作将所述光谱敏感度出现错误的像素的位置设置为检查对象像素的位置;
检查对象像素数据提取操作,所述检查对象像素数据提取操作将所述光谱敏感度出现错误的像素的像素值提取为检查对象像素值;
其他色像素数据提取操作,所述其他色像素数据提取操作通过使用如下的成像像素的像素值,即,所述成像像素存在于所述检查对象像素的位置附近并且具有其色与所述检查对象像素的彩色滤波器的色不同的彩色滤波器,提取其他色像素值,所述其他色像素值的色不同于在所述校正对象像素的位置处的彩色滤波器的色;
正常像素数据生成操作,所述正常像素数据生成操作提取如下的成像像素的像素值来作为正常像素值,即,所述成像像素具有与所述检查对象像素相同色的彩色滤波器,并且所述成像像素的彩色滤波器是正常的;以及
加权系数生成操作,所述加权系数生成操作通过计算所述检查对象像素值和所述其他色像素值的加权和,来计算与所述正常像素值近似的加权系数,作为多个检查图像所公用的系数。
CN2009801048594A 2008-02-14 2009-01-27 图像处理装置、成像装置、校正系数计算方法 Active CN101946519B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2008-033511 2008-02-14
JP2008033511 2008-02-14
JP2008132920A JP5298638B2 (ja) 2008-02-14 2008-05-21 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
JP2008-132920 2008-05-21
PCT/JP2009/000307 WO2009101767A1 (ja) 2008-02-14 2009-01-27 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN101946519A CN101946519A (zh) 2011-01-12
CN101946519B true CN101946519B (zh) 2013-04-03

Family

ID=40956802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801048594A Active CN101946519B (zh) 2008-02-14 2009-01-27 图像处理装置、成像装置、校正系数计算方法

Country Status (5)

Country Link
US (1) US8284278B2 (zh)
EP (1) EP2242278A4 (zh)
JP (1) JP5298638B2 (zh)
CN (1) CN101946519B (zh)
WO (1) WO2009101767A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP5379664B2 (ja) * 2009-12-11 2013-12-25 キヤノン株式会社 画像表示装置およびその制御方法
CN102176742B (zh) * 2011-03-14 2012-10-10 浙江兆晟科技有限公司 图像校正系数的获取方法、非均匀图像校正方法及系统
JP2013152207A (ja) * 2011-12-31 2013-08-08 Shibaura Mechatronics Corp 検査装置及び検査方法
JP5556823B2 (ja) * 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
JP6264284B2 (ja) 2012-03-30 2018-01-24 株式会社ニコン 撮像装置
JP5968025B2 (ja) * 2012-04-11 2016-08-10 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6363889B2 (ja) * 2014-07-01 2018-07-25 キヤノン株式会社 撮像素子、撮像装置およびその制御方法
CN109479100B (zh) * 2016-07-29 2021-02-09 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN116074495B (zh) * 2023-03-07 2023-06-16 合肥埃科光电科技股份有限公司 一种图像传感器坏点的检测校正方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1533160A (zh) * 2003-01-17 2004-09-29 ��ʿ��Ƭ��ʽ���� 固态图像传感器缺陷像素校正及信息生成方法、成像设备
US6829008B1 (en) * 1998-08-20 2004-12-07 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, image sensing apparatus, basic layout of photoelectric conversion cell, and storage medium

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6229395A (ja) * 1985-07-30 1987-02-07 Matsushita Electric Ind Co Ltd 固体撮像素子の画素欠陥検出装置
JP4421793B2 (ja) * 2001-07-13 2010-02-24 富士フイルム株式会社 ディジタルカメラ
CN1732682B (zh) * 2002-12-27 2010-04-21 株式会社尼康 图像处理装置
JP3941698B2 (ja) * 2003-01-23 2007-07-04 ソニー株式会社 画素補正回路及び画素補正方法
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
US7542082B2 (en) * 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP4457874B2 (ja) * 2004-12-06 2010-04-28 ソニー株式会社 映像信号処理装置及び方法
TWI283833B (en) * 2005-07-07 2007-07-11 Sunplus Technology Co Ltd Color image dead pixel calibration method and its system
JP4935162B2 (ja) 2006-04-11 2012-05-23 株式会社ニコン 撮像装置、カメラおよび画像処理方法
JP4857877B2 (ja) 2006-04-11 2012-01-18 株式会社ニコン 撮像装置およびカメラ
US7711261B2 (en) * 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP5615155B2 (ja) * 2009-12-22 2014-10-29 キヤノン株式会社 画像処理装置及び方法
JP5665508B2 (ja) * 2010-11-30 2015-02-04 キヤノン株式会社 画像処理装置及び方法、並びにプログラム及び記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829008B1 (en) * 1998-08-20 2004-12-07 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, image sensing apparatus, basic layout of photoelectric conversion cell, and storage medium
CN1533160A (zh) * 2003-01-17 2004-09-29 ��ʿ��Ƭ��ʽ���� 固态图像传感器缺陷像素校正及信息生成方法、成像设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP昭62-29395A 1987.02.07

Also Published As

Publication number Publication date
WO2009101767A1 (ja) 2009-08-20
JP2009219096A (ja) 2009-09-24
CN101946519A (zh) 2011-01-12
EP2242278A1 (en) 2010-10-20
US20100277625A1 (en) 2010-11-04
EP2242278A4 (en) 2011-07-06
JP5298638B2 (ja) 2013-09-25
US8284278B2 (en) 2012-10-09

Similar Documents

Publication Publication Date Title
CN101946519B (zh) 图像处理装置、成像装置、校正系数计算方法
CN102959958B (zh) 彩色成像设备
CN102768412B (zh) 红外成像系统和操作方法
US8860857B2 (en) System and method for a high performance color filter mosaic array
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
EP3416369B1 (en) Image processing method and apparatus for terminal, and terminal
US8120665B2 (en) Image processing method and apparatus, digital camera, and recording medium recording image processing program
CN101080022B (zh) 成像设备
US20060221218A1 (en) Image sensor with improved color filter
CN107113408A (zh) 图像处理装置、图像处理方法、程序和系统
CN101304484A (zh) 成像装置、缺陷像素校正装置、装置中的处理方法和程序
KR20140126606A (ko) 비디오 월의 색좌표 또는 휘도의 보정장치 및 보정방법
US11889083B2 (en) Image display method and device, image recognition method and device, storage medium, electronic apparatus, and image system
JP2015050494A (ja) 撮像装置
CN110447223A (zh) 成像元件以及摄像装置
US7860329B2 (en) Edge enhancement processing unit, endoscope processor, and computer program product
US20140098258A1 (en) Color distortion correction method and device for imaging systems and image output systems
JP5058128B2 (ja) 撮像装置及び携帯機器
CN101860760A (zh) 多镜头和多传感器成像系统性能的提高
JP2007102270A (ja) 画像処理装置
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
CN105359517B (zh) 图像处理装置和图像处理方法
CN109644258A (zh) 用于变焦摄影的多相机系统
JP4799483B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP2810867B2 (ja) 特定色抽出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant