CN104025581B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN104025581B CN104025581B CN201280065257.4A CN201280065257A CN104025581B CN 104025581 B CN104025581 B CN 104025581B CN 201280065257 A CN201280065257 A CN 201280065257A CN 104025581 B CN104025581 B CN 104025581B
- Authority
- CN
- China
- Prior art keywords
- pixel
- mentioned
- defect
- sparse
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title abstract description 12
- 230000007547 defect Effects 0.000 claims abstract description 426
- 238000012545 processing Methods 0.000 claims abstract description 211
- 230000002950 deficient Effects 0.000 claims description 194
- 238000010586 diagram Methods 0.000 claims description 64
- 239000003086 colorant Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 67
- 230000008569 process Effects 0.000 description 60
- 230000000875 corresponding effect Effects 0.000 description 40
- 238000012360 testing method Methods 0.000 description 36
- 238000011156 evaluation Methods 0.000 description 26
- 238000003860 storage Methods 0.000 description 23
- 230000008034 disappearance Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 206010034972 Photosensitivity reaction Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000036211 photosensitivity Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 101100192387 Arabidopsis thaliana NPF2.10 gene Proteins 0.000 description 1
- TWDJIKFUVRYBJF-UHFFFAOYSA-N Cyanthoate Chemical compound CCOP(=O)(OCC)SCC(=O)NC(C)(C)C#N TWDJIKFUVRYBJF-UHFFFAOYSA-N 0.000 description 1
- 101150110003 GTR1 gene Proteins 0.000 description 1
- 241001484259 Lacuna Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- NNBFNNNWANBMTI-UHFFFAOYSA-M brilliant green Chemical compound OS([O-])(=O)=O.C1=CC(N(CC)CC)=CC=C1C(C=1C=CC=CC=1)=C1C=CC(=[N+](CC)CC)C=C1 NNBFNNNWANBMTI-UHFFFAOYSA-M 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003405 preventing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
在彩色摄像元件(26)的滤色器排列中,将沿水平及垂直方向相邻有其他G滤光片(34G)的G滤光片(34G)和不与其他G滤光片(34G)相邻的G滤光片(34G)分别设为密集、稀疏的G滤光片。比密集的G滤光片所对应的密集G缺陷像素的缺陷信息优先地对稀疏的G滤光片所对应的稀疏G缺陷像素的缺陷信息进行登记。由此,比密集G缺陷像素的像素值的插值处理优先地进行稀疏G缺陷像素的像素值的插值处理。
Description
技术领域
本发明涉及具备单板式的彩色摄像元件的摄像装置,更详细而言,涉及从周边的周边像素的像素值通过插值处理来求出缺陷像素的像素值的摄像装置。
背景技术
数码相机等摄像装置多具备对通过摄影光学系统而成像于摄像面上的被摄体像进行拍摄的单板式的彩色摄像元件。多个红(R)、绿(G)、蓝(B)像素以预定图案排列于单板式的彩色摄像元件的摄像面上(参照专利文献1)。在单板式的彩色摄像元件中,在各像素上分别设有单色的滤色器,因此各像素仅具有单色的颜色信息。因此,彩色摄像元件的输出图像为RAW图像(马赛克图像),因此通过从周边的像素对缺失的颜色的像素(以下,称为缺失像素)进行插值的插值处理(也称为去马赛克算法处理,或去马赛克算法处理,以下相同),能得到多通道图像。
彩色摄像元件有时因制造工序上的各种原因(例如,损伤等)而不输出信号、或存在由暗电流等产生的暗输出的电平大的像素即所谓缺陷像素。此时,当缺失像素的周边像素为缺陷像素时,无法得到缺失像素的准确的颜色信息。因此,进行如下的插值处理:不使用缺陷像素的像素值(输出值),而使用位于其周边的同色的周边像素的像素值进行插值。
在专利文献2记载的摄像装置中,若曝光时间为标准曝光时间以内,则基于预先取得的缺陷像素的检测结果进行插值处理,另一方面,在曝光时间比标准曝光时间长时,进行测试摄影而检测缺陷像素,并基于该检测结果进行插值处理。
在专利文献3记载的摄像装置中,进行缺陷检测而从缺陷电平大的缺陷像素起依次存储于EEPROM,基于存储在该EEPROM内的缺陷像素信息,从缺陷电平大的缺陷像素起依次进行插值处理。
专利文献1:日本特开2009-27684号公报
专利文献2:日本特开2001-36821号公报
专利文献3:日本特开2002-330353号公报
发明内容
然而,在彩色摄像元件的滤色器排列为周知的拜耳排列时,G像素排列成棋盘式格纹(方格花纹图案)状。因此,沿各个G像素的水平及垂直方向没有相邻配置其他G像素。然而,在滤色器排列中,如专利文献1的图9等记载那样,有时包括沿水平及垂直方向相邻配置有其他G像素的G像素(以下,称为密集的G像素)和未相邻配置其他G像素的G像素(以下,称为稀疏的G像素)。
此时,例如当密集的G像素为缺陷像素时,无需对与该缺陷像素沿水平及垂直方向相邻配置的G像素进行插值处理,因此缺陷像素的影响难以扩展(例如参照图5)。反之,在稀疏的G像素为缺陷像素时,沿水平/垂直方向相邻配置有R像素或B像素,插值处理需要求出与这些RB像素的位置对应的G像素(缺失像素)的像素值。因此,在稀疏像素为缺陷像素时,该缺陷像素的影响容易扩展(例如参照图6)。
在进行彩色摄像元件的缺陷像素的像素值的插值处理时,优选使用周边的同色像素的像素值对全部缺陷像素的像素值进行插值处理。然而,伴随着近年来的彩色摄像元件的高分辨率化而缺陷像素的个数增加,因此若将与全部缺陷像素相关的信息登记于存储器等进行插值处理,则所需的存储器的容量庞大。而且,在这种情况下,处理花费时间,因此并不现实。因此,在摄像装置中,通常不进行关于全部缺陷像素的插值处理。
此时,在未进行插值处理的缺陷像素为稀疏的G像素的情况下,与为密集的G像素的情况相比,影响容易扩展,因此对摄影图像的影响变大。在上述专利文献1至3中,完全没有考虑在稀疏像素为缺陷像素时和密集像素为缺陷像素时对摄影图像造成的影响不同这一情况,因此可能会发生由稀疏像素的缺陷引起的摄影图像的品质下降。
本发明的目的在于提供一种能得到良好的摄影图像的摄像装置。
为了实现上述目的,本发明的一方案的发明具备:彩色摄像元件,在由沿着水平方向及垂直方向排列的光电转换元件构成的多个像素上将多种颜色的滤色器以预定的滤色器排列配设而成,至少一种颜色的滤色器包括沿水平方向及垂直方向相邻的同色的滤色器的第一相邻数相对少、或者在第一相邻数均为M(0≤M≤4)时沿倾斜方向相邻的同色的滤色器的第二相邻数相对少的稀疏滤光片及相对多的密集滤光片,多个像素包括与稀疏滤光片对应的稀疏像素和与密集滤光片对应的密集像素;取得单元,取得与多个像素中包含的缺陷像素相关的缺陷像素信息,该缺陷像素包括与稀疏滤光片对应的稀疏缺陷像素和与密集滤光片对应的密集缺陷像素;及插值单元,基于取得单元所取得的缺陷像素信息,根据位于该缺陷像素的周边且位于同色的滤色器的下方的周边像素的像素值并通过插值处理来求出缺陷像素的像素值,使稀疏缺陷像素的插值相对于稀疏像素的总像素数的第二比例高于密集缺陷像素的插值相对于密集像素的总像素数的第一比例。
在本发明的另一方案的摄像装置中,优选的是,具备缺陷像素信息存储单元,该缺陷像素信息存储单元登记有缺陷像素信息,且使稀疏缺陷像素的缺陷像素信息的登记数相对于稀疏像素的总像素数的比例高于密集缺陷像素的缺陷像素信息的登记数相对于密集像素的总像素数的比例,取得单元从缺陷像素信息存储单元取得缺陷像素信息。由此,基于登记在缺陷像素信息存储单元中的缺陷像素信息,进行密集缺陷像素及稀疏缺陷像素的插值,由此能够使第二比例高于第一比例。
在本发明的又一方案的摄像装置中,优选的是,在缺陷像素信息存储单元中登记有在摄影条件发生了变化时因各摄影条件中的任一摄影条件而产生的缺陷像素的缺陷像素信息,取得单元从缺陷像素信息存储单元取得与摄影条件对应的缺陷像素信息。由此,即使在因摄影条件而使像素的暗输出增减的情况下,也能够基于与摄影条件对应的缺陷像素信息进行像素插值。
在本发明的又一方案的摄像装置中,优选的是,摄影条件包括彩色摄像元件的增益、曝光时间及温度中的至少任一个。
在本发明的又一方案的摄像装置中,优选的是,滤色器排列具有:一种颜色的滤色器以对应于2×2像素以上的排列图案相邻配置而成的正方排列;及一种颜色的滤色器沿水平方向及垂直方向与不同于一种颜色的颜色的滤色器相邻配置而成的孤立排列。由此,滤色器排列包含稀疏滤光片和密集滤光片。
在本发明的又一方案的摄像装置中,优选的是,一种颜色的滤色器是最有助于获得亮度信号的第一色所对应的第一滤光片,滤色器排列包括第一滤光片和第一色以外的两种颜色以上的第二色所对应的第二滤光片以对应于N×N(N:3以上的奇数)像素的排列图案排列而成的基本排列图案,该基本排列图案沿水平方向及垂直方向反复配置。并且,优选的是,第一滤光片配置于基本排列图案内的两条对角线上,滤色器排列包括由第一滤光片构成的2×2像素所对应的排列图案的正方排列。由此,滤色器排列包括稀疏滤光片和密集滤光片。
在本发明的又一方案的摄像装置中,优选的是,在多个像素中,包括多个使稀疏像素和密集像素在水平、垂直、倾斜的各方向中的任一方向上相邻而成的第一连像素,插值单元基于缺陷像素信息,在缺陷像素之中包含使稀疏缺陷像素与密集缺陷像素在各方向中的任一方向上相邻而成的第一连缺陷像素时,使第一连缺陷像素的插值相对于第一连像素的总数的第三比例高于第二比例。由此,优先地进行对摄影图像数据的画质造成的影响强的第一连缺陷像素的插值处理。其结果是,能得到良好的摄影图像数据。
在本发明的又一方案的摄像装置中,优选的是,在多个像素中,包括多个使两个稀疏像素在水平、垂直、倾斜的各方向中的任一方向上接近而成的第二连像素,插值单元基于缺陷像素信息,在缺陷像素之中包含使两个稀疏缺陷像素在各方向中的任一方向上接近而成的第二连缺陷像素的情况下,使第二连缺陷像素的插值相对于第二连像素的总数的第四比例高于第二比例。由此,优先地进行对摄影图像数据的画质造成的影响强的第二连缺陷像素的插值处理。其结果是,能得到良好的摄影图像数据。
在本发明的又一方案的摄像装置中,优选的是,在多个像素中,包括多个使两个密集像素在水平、垂直、倾斜的各方向中的任一方向上相邻或接近而成的第三连像素,插值单元基于缺陷像素信息,在缺陷像素之中包含使两个密集缺陷像素在各方向中的任一方向上相邻或接近而成的第三连缺陷像素时,使第三连缺陷像素的插值相对于第三连像素的总数的第五比例高于第二比例。由此,优先地进行对摄影图像数据的画质造成的影响强的第三连缺陷像素的插值处理。其结果是,能得到良好的摄影图像数据。
在本发明的又一方案的摄像装置中,优选的是,在多个像素中,分别包括多个使稀疏像素及密集像素在水平、垂直、倾斜的各方向中的任一方向上相邻而成的第一连像素及使两个稀疏像素在各方向中的任一方向上接近而成的第二连像素,插值单元基于缺陷像素信息,在缺陷像素之中包含使稀疏缺陷像素与密集缺陷像素在各方向中的任一方向上相邻而成的第一连缺陷像素和使两个稀疏缺陷像素在各方向中的任一方向上接近而成的第二连缺陷像素时,使第二连缺陷像素的插值相对于第二连像素的总数的第四比例高于第一连缺陷像素的插值相对于第一连像素的总数的第三比例。由此,优先地进行若不进行插值处理则存在被识别为一个大的线状缺陷的可能性的第二连缺陷像素的插值处理,因此能得到良好的摄影图像数据。
在本发明的又一方案的摄像装置中,优选的是,在多个像素中,包括多个使两个密集像素在水平、垂直、倾斜的各方向中的任一方向上相邻或接近而成的第三连像素,插值单元基于缺陷像素信息,在缺陷像素之中包含第一连缺陷像素、第二连缺陷像素、使两个密集缺陷像素在各方向中的任一方向上相邻或接近而成的第三连缺陷像素时,使第三连缺陷像素的插值相对于第三连像素的总数的第五比例低于第三比例及第四比例。
发明效果
根据本发明的摄像装置,在进行缺陷像素的像素值的插值处理时,使稀疏缺陷像素的插值相对于稀疏像素的总像素数的比例高于密集缺陷像素的插值相对于密集像素的总像素数的比例,因此对摄影图像数据的画质造成的影响强的稀疏缺陷像素的插值比密集缺陷像素的插值优先地进行。因此,从防止缺陷像素信息的存储容量的上限、插值处理的处理时间的增大的观点出发,即使无法实施全部缺陷像素的插值,也能够减少稀疏缺陷像素对摄影图像数据造成的影响。其结果是,能得到良好的摄影图像数据。
附图说明
图1是表示第1实施方式的数码相机的电结构的框图。
图2是第1实施方式的彩色摄像元件的概略图。
图3是构成彩色摄像元件的滤色器排列的基本排列图案的概略图。
图4是表示数码相机的像素插值处理的结构的框图。
图5是用于说明密集G缺陷像素对周边像素的影响的说明图。
图6是用于说明稀疏G缺陷像素对周边像素的影响的说明图。
图7是表示缺陷像素信息向缺陷像素信息数据的登记处理的流程的流程图。
图8是用于说明稀疏G缺陷像素及密集G缺陷像素的像素值的插值处理的说明图。
图9是用于说明第1实施方式的数码相机的作用的流程图。
图10是第1-1实施方式的彩色摄像元件的概略图。
图11是图10所示的彩色摄像元件的另一实施方式的彩色摄像元件的概略图。
图12是第1-2实施方式的彩色摄像元件的概略图。
图13是第1-3实施方式的彩色摄像元件的概略图。
图14是表示第2实施方式的数码相机的电结构的框图。
图15是用于说明稀疏/密集G缺陷像素的说明图。
图16是用于说明稀疏/稀疏G缺陷像素的说明图。
图17是用于说明密集/密集G缺陷像素的说明图。
图18是表示第2实施方式的缺陷像素的判定处理的流程的流程图。
图19是表示第2实施方式的缺陷像素信息的登记处理的流程的流程图。
图20是表示第3实施方式的数码相机的电结构的框图。
图21是表示第3实施方式的缺陷像素信息的登记处理的流程的流程图。
图22是用于说明第3实施方式的数码相机的作用的流程图。
图23是表示第3实施方式的另一实施方式的数码相机的电结构的框图。
图24是表示第3实施方式的又一实施方式的数码相机的电结构的框图。
图25是表示第4实施方式的数码相机的电结构的框图。
图26是用于说明评价值计算的第一例的说明图。
图27是用于说明评价值计算的第二例的说明图。
图28是用于说明评价值计算的第三例的说明图。
图29是用于说明评价值计算的第四例的说明图。
图30是用于说明评价值计算的第五例的说明图。
图31是表示第5实施方式的数码相机的电结构的框图。
图32是表示第3实施方式的又一实施方式的数码相机的电结构的框图。
图33是用于说明与图15所示的稀疏/密集G连缺陷像素的像素值的插值处理不同的插值处理的说明图。
具体实施方式
[第1实施方式的数码相机的整体结构]
如图1所示,本发明的第1实施方式的数码相机(摄像装置)10的CPU11基于来自包含快门按钮或快门开关、各种操作按钮的操作部12的控制信号,依次执行从未图示的存储器读出的各种程序、数据,集中地控制数码相机10的各部。
向透镜单元13装入变焦透镜14、聚焦透镜15、机械快门16等。变焦透镜14及聚焦透镜15分别由变焦机构17、聚焦机构18驱动,沿着两透镜14、15的光轴前后移动。
机械快门16具有可动部(图示省略),该可动部在阻止被摄体光向彩色摄像元件20的入射的关闭位置与容许被摄体光的入射的打开位置之间移动。机械快门16通过使可动部向各位置移动,而将从各透镜14、15至彩色摄像元件20的光路打开/切断。另外,机械快门16包括对向彩色摄像元件20入射的被摄体光的光量进行控制的光圈。机械快门16、变焦机构17及聚焦机构18经由透镜驱动器21而由CPU11进行动作控制。
在透镜单元13的背后配置有单板式的彩色摄像元件20。彩色摄像元件20将来自各透镜14、15的被摄体光转换成电输出信号而输出。另外,彩色摄像元件20可以是CCD(Charge Coupled Device)彩色摄像元件、CMOS(Complementary Metal Oxide Semiconductor)彩色摄像元件等各个种类的摄像元件。摄像元件驱动器23在CPU11的控制下对彩色摄像元件20的驱动进行控制。
信号调整电路24具有相关双重采样处理电路、自动增益校正电路等,对来自彩色摄像元件20的输出信号实施相关双重采样处理、增益放大处理。
图像处理电路25对从信号调整电路24输入的输出信号实施灰度转换、白平衡校正、γ校正处理、像素插值处理等各种处理而生成图像数据。在该图像处理电路25设有插值处理部(取得单元、插值单元)26。
插值处理部26取得存储于与本发明的缺陷像素信息存储单元相当的缺陷像素信息存储部(以下,简称为存储部)27中的信息,使用位于周边的周边像素的像素值对缺陷像素的像素值(输出值)进行插值处理。另外,在此所说的“取得”也包括“参照”存储于存储部27的信息这一情况。而且,插值处理部26使用周边像素的像素值对前述的缺失像素的像素值进行插值处理。
压缩扩展处理电路29对由图像处理电路25处理后的图像数据实施压缩处理。而且,压缩扩展处理电路29对经由媒介I/F30从存储卡31得到的压缩图像数据实施扩展处理。媒介I/F30进行对存储卡31的图像数据的记录及读出等。显示部32是液晶显示器等,对实时取景图像、再生图像等进行显示。
另外,虽然图示省略,但是在数码相机10设有自动聚焦用的AF检测电路、AE检测电路等。CPU11基于AF检测电路的检测结果,经由透镜驱动器21对聚焦机构18进行驱动,由此执行AF处理。而且,CPU11基于AE检测电路的检测结果,经由透镜驱动器21对机械快门16进行驱动,由此执行AE处理。
[彩色摄像元件的结构]
如图2及图3所示,彩色摄像元件20包括具有沿水平方向及垂直方向排列(二维排列)的光电转换元件33的多个像素、在各像素的受光面的上方以预定的滤色器排列配置而成的滤色器。在此,“上方”是指被摄体光向彩色摄像元件20的摄像面入射的一侧的方向。另外,“下方”是“上方”的相反侧。
在各像素的上方配置有RGB三原色的滤色器(以下,称为R滤光片、G滤光片、B滤光片)34R、34G、34B中的任一个。另外,G滤光片34G相当于本发明的第一滤光片,R滤光片34R及B滤光片34B相当于本发明的第二滤光片。
以下,将配置有R滤光片34R的像素称为“R像素”,将配置有G滤光片34G的像素称为“G像素”,将配置有B滤光片34B的像素称为“B像素”。另外,图中的“a、b、c、d、e、f、…”及“1、2、3、4、5、6、…”表示RGB像素的地址。而且,关于图中的G滤光片34G的下标(G「1」,G「2」),在后文叙述。
<滤色器排列的特征>
彩色摄像元件20的滤色器排列(以下,简称为滤色器排列)具有下述的特征(1)、(2)、(3)、(4)、(5)及(6)。
〔特征(1)〕
滤色器排列包括由对应于6×6像素的正方排列图案构成的基本排列图案P(图中的粗框所示的图案),该基本排列图案P沿水平方向及垂直方向反复配置。即,该滤色器排列中,R滤光片34R、G滤光片34G、B滤光片34B以预定的周期性排列。
这样一来,R滤光片34R、G滤光片34G、B滤光片34B以预定的周期性排列,因此与以往已知的随机排列相比,在进行从彩色摄像元件20读出的R、G、B信号的去马赛克算法处理(去马赛克算法处理)等时,能够按照重复图案进行处理。
另外,在以基本排列图案P为单位进行间拔处理而使图像缩小时,间拔处理后的滤色器排列能够与间拔处理前的滤色器排列相同,能够使用共通的处理电路。
〔特征(2)〕
滤色器排列中,最有助于获得亮度信号的颜色(在该实施方式中,为G色)所对应的G滤光片34G在滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内配置1个以上。在此,NE表示斜右上及斜左下方向,NW表示斜右下及斜左上方向。例如,在正方形的像素的排列的情况下,倾斜(NE及NW)方向成为相对于水平方向分别呈45°的方向,但若是长方形的像素的排列,则是长方形的对角线的方向,其角度根据长边/短边的长度而变化。
与亮度系像素对应的G滤光片34G配置于滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内,因此无论成为高频的方向如何,都能够提高高频区域的像素插值处理(去马赛克算法处理等)的重现精度。
〔特征(3)〕
基本排列图案P中,R像素、G像素、B像素的像素数分别为8像素、20像素、8像素。即,RGB像素的各像素数的比率为2:5:2,G像素的像素数的比率大于其他颜色的R像素、B像素各自的像素数的比率。
如上述那样,G像素的像素数与R、B像素的像素数的比率不同,尤其是最有助于获得亮度信号的G像素的像素数的比率大于R、B像素的像素数的比率。因此,能够抑制像素插值处理(去马赛克算法处理等)时的混淆,并且也能够使高频重现性良好。
〔特征(4)〕
滤色器排列的G色以外的两种颜色以上的其他颜色(在该实施方式中,为R、B色)所对应的R滤光片34R、B滤光片34B在基本排列图案P内,在滤色器排列的水平及垂直方向的各行内配置1个以上。
R滤光片34R及B滤光片34B分别配置于滤色器排列的水平及垂直方向的各行内,因此能够减少彩色莫尔条纹(伪色)的发生。由此,能够不将用于抑制伪色发生的光学低通滤波器配置于从光学系统的入射面到摄像面的光路上,或者即使在应用光学低通滤波器的情况下也可以应用用于防止伪色发生的、切断高频成分的作用较弱的结构。由此,能够避免损害分辨率。
基本排列图案P也可以被当作3×3像素的A排列35a与3×3像素的B排列35b沿水平、垂直方向交替排列而成的排列。
在A排列35a及B排列35b中,G滤光片34G配置于四角和中央,配置于两对角线上。而且,A排列35a中,隔着中央的G滤光片34G沿水平方向排列有R滤光片34R,沿垂直方向排列有B滤光片34B。另一方面,B排列35b是使A排列35a的R滤光片34R和B滤光片34B的配置颠倒而得到的排列。
另外,A排列35a和B排列35b的四角的G滤光片34G通过将A排列35a和B排列35b沿水平、垂直方向交替配置,而成为对应于2×2像素的正方排列的G滤光片34G。
以下,将对应于2×2像素的正方排列的G滤光片34G即沿水平及垂直方向相邻地配置有其他G滤光片34G的G滤光片34G称为“密集的G滤光片34G”,在图中显示为“G1”。而且,将密集的G滤光片34G所对应的G像素称为“密集的G像素”。
另一方面,A排列35a及B排列35b的中心的G滤光片34G成为沿水平及垂直方向相邻地配置有不同颜色的R、B滤光片34R、34B的孤立排列。以下,将这样的沿水平及垂直方向未相邻地配置其他G滤光片34G的G滤光片34G称为“稀疏的G滤光片34G”,在图中显示为“G2”。而且,将稀疏的G滤光片34G所对应的G像素称为“稀疏的G像素”。
另外,在彩色摄像元件20的滤色器排列中,在R、B滤光片34R、34B各自的水平及垂直方向上未配置同色的滤色器。
〔特征(5)〕
滤色器排列包括如前述那样设有密集的G滤光片34G的对应于2×2像素的正方排列。将这样的设有密集的G滤光片34G的2×2像素取出,求出水平方向的G像素的像素值的差的绝对值、垂直方向的G像素的像素值的差的绝对值、倾斜方向(NE,NW)的G像素的像素值的差的绝对值。由此,能够判断为在水平方向、垂直方向及倾斜方向中的差的绝对值小的方向存在相关性。
即,根据该滤色器排列,能够使用最小像素间隔的G像素的信息,进行水平方向、垂直方向及倾斜方向中的相关性高的方向判别。该方向判别结果可以使用于从周边的像素进行插值的插值处理(去马赛克算法处理等)。
〔特征(6)〕
基本排列图案P关于其中心(4个密集的G滤光片34G的中心)形成点对称。而且,基本排列图案P内的A排列35a及B排列35b也分别关于中心的G滤光片34G形成点对称。通过这样的对称性,能够减小或简化后段的处理电路的电路规模。
[缺陷像素信息存储部的结构]
如图4所示,在存储部27中存储有与彩色摄像元件20的缺陷像素相关的缺陷像素信息数据37。在缺陷像素信息数据中,对应各个缺陷像素,将“登记No”、“缺陷种类”、“地址”、“像素值”登记作为单独的缺陷像素信息(以下,简称为缺陷像素信息)。
“登记No”表示向缺陷像素信息数据37的登记顺序。而且,“缺陷种类”表示缺陷像素的种类。在缺陷像素为密集的G像素时,登记作为密集G缺陷像素,在缺陷像素为稀疏的G像素时,登记作为稀疏G缺陷像素,在缺陷像素为R像素时,登记作为R缺陷像素,在缺陷像素为B像素时,登记作为B缺陷像素。另外,在以下的说明中,将包含密集G缺陷像素及稀疏G缺陷像素的G像素的缺陷像素称为“G缺陷像素”。
“地址”是彩色摄像元件20的摄像面上的缺陷像素的地址[坐标(X、Y)]。例如,X坐标(x1、x2、…)由图2及图3所示的“1、2、3、…”中的任一个表示,Y坐标(y1、y2、…)由“a、b、c、…”中的任一个表示。而且,“像素值”是在后述的缺陷像素检查时检测出的缺陷像素的像素值。
在缺陷像素信息数据37中,由于存储部27的存储容量的关系,无法登记与彩色摄像元件20的全部缺陷像素相关的信息,而对登记数设定上限。另外,RGB像素的各像素数的比率如前述那样为2:5:2,因此例如在本实施方式中,“G缺陷像素的登记上限数”>“R缺陷像素的登记上限数”=“B缺陷像素的登记上限数”。这样的缺陷像素信息向缺陷像素信息数据37的登记例如在数码相机10的制造厂商的检查工序中,由缺陷像素检查装置(以下,简称为检查装置)40进行。
[缺陷像素检查装置的结构]
检查装置40对于彩色摄像元件20的全部像素分别检查是否为缺陷像素,将与缺陷像素相关的缺陷像素信息登记于缺陷像素信息数据37中。此时,“稀疏G缺陷像素”比“密集G缺陷像素”优先地登记于缺陷像素信息数据37中。在此,“优先地”登记是指在“密集G缺陷像素的登记数”相对于“密集的G像素的总像素数”的比例为R1且“稀疏G缺陷像素的登记数”相对于“稀疏的G像素的总像素数”的比例为R2时,以满足R1<R2的方式进行登记。
将“稀疏G缺陷像素”比“密集G缺陷像素”优先地登记于缺陷像素信息数据37中基于以下理由。
如图5所示,在处于地址(3,d)的密集的G像素为密集G缺陷像素(图中,标注×记号的像素)时,对于沿其水平及垂直方向相邻配置的G像素(密集的G像素),未成为缺失像素。在这种情况下,使用G缺陷像素的像素值对与密集G缺陷像素沿水平及垂直方向相邻的两个R、B像素的位置(图中由阴影表示)所对应的G像素(以下,称为缺失G像素)的像素值进行插值处理。因此,特别强地受到密集G缺陷像素的影响的是两个缺失G像素的像素值。因此,密集G缺陷像素的影响难以扩展。
另一方面,如图6所示,在处于地址(2,e)的稀疏的G像素为稀疏G缺陷像素时,沿水平及垂直方向相邻的4个像素为R像素、B像素,因此需要使用G缺陷像素的像素值对这些相邻4个像素的位置所对应的缺失G像素的像素值进行插值处理。通过像素插值算出的像素值较强地受到沿水平、垂直方向相邻的像素值的影响,因此在稀疏G缺陷像素中,影响会波及相邻4个像素的位置所对应的缺失G像素的像素值的值。因此,稀疏G缺陷像素的影响比密集G缺陷像素容易扩展,对摄影图像的影响变大。因此,稀疏G缺陷像素的缺陷像素信息比密集G缺陷像素的缺陷信息优先地登记。
返回到图4,检查装置40具有:判定彩色摄像元件20的各个像素是否为缺陷像素的判定处理部42;用于该判定的像素信息43和阈值信息44;及将缺陷像素信息登记于缺陷像素信息数据37中的登记处理部45。
像素信息43包括与彩色摄像元件20的各像素的地址信息、像素的种类(例如,稀疏的G像素、密集的G像素、R像素、B像素等)相关的信息等。
在阈值信息44中存储有在稀疏的G像素是否为稀疏G缺陷像素的判定中使用的阈值A及在密集的G像素是否为密集G缺陷像素的判定中使用的阈值B。在作为检查对象的像素的像素值(输出值)为阈值以上时,被看作暗输出的电平大的缺陷像素。阈值B被设定为比阈值A大的值。
另外,在检查装置40中,在判定处理部42的判定之前,例如在利用机械快门16对彩色摄像元件20的摄像面进行了遮光的遮光状态下,进行基于彩色摄像元件20的摄像。即,预先求出遮光状态下的彩色摄像元件20的各像素的像素值(输出值)。如此得到的各像素的像素值表示各像素的暗输出的电平。在此,求出各像素的暗输出的电平的方法没有限定为上述的方法,可以使用公知的各种方法。
判定处理部42判定在遮光状态下得到的各像素的像素值是否为阈值以上,并且在成为阈值以上时判定为是缺陷像素。此时,判定处理部42基于像素信息43,在检查对象像素为稀疏的G像素时,使用“阈值A”进行判定,在检查对象像素为密集的G像素时,使用“阈值B”进行判定。
另外,判定处理部42在检查对象像素为R像素或B像素时,例如使用阈值A(阈值A以外的值也可)进行判定处理。
登记处理部45将与利用判定处理部42判定为缺陷像素的像素相关的缺陷像素信息在登记上限数的范围内登记于缺陷像素信息数据37中。此时,G缺陷像素的总像素数有时会多于G缺陷像素的登记上限数。在这种情况下,登记处理部45例如从稀疏G缺陷像素的缺陷像素信息起先登记于缺陷像素信息数据37中。
[缺陷像素信息的登记处理]
接下来,使用图7,对检查装置40的缺陷像素信息的登记处理的流程进行说明。首先,基于来自检查装置40的摄像指令,在机械快门16关闭的遮光状态下,执行基于彩色摄像元件20的摄像。从彩色摄像元件20的各像素输出的输出信号作为像素值向检查装置40输入。
接下来,检查装置40的判定处理部42工作。判定处理部42开始对第一个(例如,地址(1,a))像素的判定处理。另外,检查对象的像素的地址例如能够根据来自彩色摄像元件20的像素值的输出顺序等来判别。判定处理部42基于检查对象的像素的地址,参照像素信息43来判别像素的种类。
判定处理部42在第一个像素为例如“稀疏的G像素”时比较阈值A与像素值的大小。并且,在像素值≥阈值A时,判定为稀疏的G像素是稀疏G缺陷像素,反之在像素值<阈值A时,判定为稀疏的G像素是正常像素。
另外,判定处理部42在第一个像素为例如“密集的G像素”时比较阈值B与像素值的大小。在像素值≥阈值B时,判定为密集的G像素是密集G缺陷像素,反之,在像素值<阈值B时,判定为密集的G像素是正常像素。另外,判定处理部42在第一个像素的种类为R像素或B像素时,例如使用阈值A来判定是否为缺陷像素。
以下,判定处理部42对于第二个以后的像素,也与第一个像素的判定处理同样地判定是否为缺陷像素。判定处理部42的判定结果向登记处理部45依次输入。
登记处理部45在判定处理部42的判定处理结束之后,将与各缺陷像素(稀疏G缺陷像素、密集G缺陷像素、R/B缺陷像素)相关的缺陷像素信息登记于数码相机10的缺陷像素信息数据37中。另外,如前述那样,在G缺陷像素的总像素数多于G缺陷像素的登记上限数时,从稀疏G缺陷像素的缺陷像素信息起先登记。
在检查装置40中,由于设定为阈值A<阈值B,因此稀疏的G像素比密集像素的像素值小,即,即使在暗输出的电平低的情况下,有时也判定为稀疏G缺陷像素。因此,稀疏的G像素与密集的G像素相比被判定为缺陷像素的概率升高。其结果是,登记于缺陷像素信息数据37中的“稀疏G缺陷像素的登记数的比例R2”大于“密集G缺陷像素的登记数的比例R1”。由此,在缺陷像素信息数据37中,稀疏G缺陷像素的缺陷像素信息比密集G缺陷像素的缺陷像素信息优先地登记。
另外,在上述实施方式中,在判定处理部42对全部像素的判定处理结束之后,将缺陷像素信息一并登记于缺陷像素信息数据37中,但也可以依次将缺陷像素信息登记于缺陷像素信息数据37中。此时,在登记于缺陷像素信息数据37的G缺陷像素的登记数达到登记上限数时,例如,只要将新的稀疏G缺陷像素的缺陷像素信息覆盖于先登记于缺陷像素信息数据37中的密集G缺陷像素的缺陷像素信息上即可。
[缺陷像素的像素值的插值处理]
插值处理部26从存储部27取得缺陷像素信息数据37,基于该缺陷像素信息数据37,判别缺陷像素的地址。并且,基于其判别结果,插值处理部26使用同色的周边像素的像素值对登记于缺陷像素信息数据37中的各个缺陷像素的像素值进行插值处理。
如图8所示,插值处理部26在地址(3,d)的密集的G像素为密集G缺陷像素时,例如使用沿其水平、垂直及倾斜(NE)方向相邻的地址(3,c)、(4,c)、(4,d)、(2,e)的各G像素的像素值,通过插值处理来求出密集G缺陷像素的像素值。
另外,插值处理部26在地址(5,b)的稀疏的G像素为稀疏G缺陷像素时,例如使用沿其倾斜(NE,NW)方向相邻的地址(4,a)、(4,c)、(6,a)、(6,c)的各G像素的像素值,通过插值处理来求出稀疏G缺陷像素的像素值。
而且,插值处理部26在R、B像素分别为R、B缺陷像素时,使用处于接近的位置的同色的像素的像素值进行插值处理。另外,各缺陷像素的插值处理所使用的周边像素没有特别限定为图8所示的例子,可以适当变更。而且,通过插值处理算出像素值的方法(式)也没有特别限定,可以使用例如通过模拟等决定的最佳的方式等。
[第1实施方式的数码相机的作用]
接下来,使用图9说明上述结构的数码相机10的作用。在利用操作部12将数码相机10的动作模式设为进行摄影的摄影模式时,CPU11经由透镜驱动器21来控制机械快门16的动作,并经由摄像元件驱动器23来驱动彩色摄像元件20。
以预定的快门速度使机械快门16开闭,向彩色摄像元件20的RGB像素蓄积信号电荷。并且,在摄像元件驱动器23的控制下,将来自各RGB像素的输出信号向信号调整电路24输出。信号调整电路24在对来自各RGB像素的输出信号实施了相关双重采样处理、增益放大处理等各种处理之后,将处理完的输出信号向图像处理电路25输出。
图像处理电路25的插值处理部26在数码相机10的动作模式被设定为摄影模式时等的预定的时机进行工作,取得(参照)存储于存储部27的缺陷像素信息数据37。基于该缺陷像素信息数据37,插值处理部26判别成为插值处理的对象的缺陷像素的地址。
接下来,插值处理部26例如按照登记于缺陷像素信息数据37中的顺序,使用图8所示的周边像素的像素值,通过插值处理来求出缺陷像素的输出信号所对应的像素值。由此,执行登记于缺陷像素信息数据37中的全部缺陷像素的插值处理。
此时,稀疏G缺陷像素的插值相对于“稀疏的G像素的总像素数”的比例(第二比例)等于缺陷像素信息数据37中包含的“稀疏G缺陷像素的登记数的比例R2”。而且,密集G缺陷像素的插值相对于“密集的G像素的总像素数”的比例(第一比例)等于“密集G缺陷像素的登记数的比例R1”。由此,“稀疏G缺陷像素的插值的比例R2”>“密集G缺陷像素的插值的比例R1”。因此,在插值处理部26中,稀疏G缺陷像素的插值处理比密集G缺陷像素的插值处理优先地进行。
插值处理部26在进行了缺陷像素的插值处理之后,进行缺失像素的插值处理。另外,缺失像素的插值处理为周知技术,因此省略具体的说明。伴随着这样的插值处理部26进行的插值处理,由图像处理电路25实施灰度转换、白平衡校正、γ校正处理等各种图像处理,生成摄影图像数据。
由图像处理电路25生成的摄影图像数据以一定的时机向显示部32输出。由此,在显示部32显示实时取景图像。而且,同时地,AF处理、AE处理等摄影准备处理也同时进行。
当通过操作部12进行摄影指示时,在图像处理电路25生成1帧量的摄影图像数据。该摄影图像数据由压缩扩展处理电路29压缩之后,经由媒介I/F30记录于存储卡31中。
在数码相机10中,对摄影图像数据的画质造成的影响强的稀疏G缺陷像素的像素值的插值处理比密集G缺陷像素的像素值的插值处理优先地进行。因此,从防止存储部27的存储容量的上限、插值处理的处理时间的增大的观点出发,即使无法实施全部缺陷像素的插值处理,也能够减少稀疏G缺陷像素对摄影图像数据造成的影响。其结果是,能得到良好的摄影图像数据。
[第1-1实施方式的彩色摄像元件]
在上述第1实施方式的彩色摄像元件20的G像素(G滤光片34G)中包含2个种类的稀疏/密集的G像素(G滤光片34G),但也可以包含3个种类的稀疏/密集的G像素(G滤光片34G)。
例如,图10所示的彩色摄像元件48的G像素中包含沿水平及垂直方向相邻有3个其他G像素的G1像素、相邻有1个其他G像素的G2像素、1个也不相邻的G3像素。在这种情况下,G2像素相对于G1像素成为“稀疏的G像素”,但是相对于G3像素成为“密集的G像素”。而且,G1像素及G3像素分别相对于其他各G像素成为“密集的G像素”、“稀疏的G像素”。另外,图中的附图标记“P1”是构成彩色摄像元件48的滤色器排列的基本排列图案。
在包含这样的3个种类的稀疏/密集的G像素时,按照G3像素>G2像素>G1像素的优先顺序,与第1实施方式同样地,进行缺陷像素信息的登记、缺陷像素的插值处理。
另外,图11所示的彩色摄像元件49除了仅在G1像素的水平方向(垂直方向也可)上相邻有两个G像素这一点之外,与图10所示的彩色摄像元件48基本上相同。另外,图中的附图标记“P2”是构成彩色摄像元件49的滤色器排列的基本排列图案。
这样一来在本发明中,将沿水平及垂直方向相邻的G像素的个数相对少的G像素作为“稀疏的G像素”,比相对多的“密集的G像素”优先地进行缺陷像素信息的登记、缺陷像素的插值处理。另外,在图10及图11所示的实施方式中,对于G像素包含3个种类的稀疏/密集的G像素(G滤光片34G)的情况进行了说明,但是本发明也可以应用于包含4个种类以上的稀疏/密集的G像素(G滤光片34G)的情况。
[第1-2实施方式的彩色摄像元件]
在上述第1实施方式的彩色摄像元件20中,将沿水平及垂直方向相邻的G像素的个数相对少的G像素作为“稀疏的G像素”,将相对多的G像素作为“密集的G像素”,但是即使沿水平及垂直方向相邻的G像素的个数相同,有时也设为稀疏/密集的G像素。
例如,图12所示的彩色摄像元件50的G像素包括与上述各实施方式不同的G1像素、G2像素。另外,在图中,R、B像素(R、B滤光片34R、34B省略了图示)。而且,图中的附图标记“P3”是构成彩色摄像元件50的滤色器排列的基本排列图案。
在G1像素的水平及垂直方向上未相邻配置其他G像素,但沿倾斜(NE)方向相邻有1个其他G像素。另一方面,在G2像素的水平、垂直及倾斜(NE、NW)的各方向上1个其他G像素也未相邻。
虽然比沿水平、垂直方向相邻的G像素的影响低,但是通过插值处理算出的缺失G像素的像素值也受到沿倾斜(NE、NW)方向相邻的G像素的影响。因此,可以说G2像素为缺陷像素时的影响比G1像素为缺陷像素时的影响容易扩展,对摄影图像数据的影响变大。因此,即使是沿水平及垂直方向相邻的G像素的个数相同的M个(0≤M≤4),也将沿倾斜(NE、NW)方向相邻的G像素(G滤光片34G)的个数相对少的G2像素设为“稀疏的G像素”,将相对多的G1像素设为“密集的G像素”。并且,与上述各实施方式同样地,优先地进行稀疏G缺陷像素的登记、插值处理。
另外,在图12所示的彩色摄像元件50中,沿稀疏的G像素及密集的G像素的水平、垂直方向相邻的其他G像素的个数为0,但即使为1个以上,也可以同样地设为稀疏/密集的G像素。
[第1-3实施方式的彩色摄像元件]
在上述第1实施方式中,说明了G像素(G滤光片34G)包含“稀疏的G像素(稀疏的G滤光片34G)”和“密集的G像素(密集的G滤光片34G)”的情况,但本发明没有限定于此。例如,如图13所示的彩色摄像元件52那样,R像素(R滤光片34R)也可以包含“稀疏的R像素(稀疏的R滤光片34R,由图中“R2”表示)”和“密集的R像素(密集的R滤光片34R,由图中“R1”表示)”。在这种情况下,也与第1实施方式同样地优先地进行稀疏R缺陷像素的登记、插值处理。另外,图中的附图标记“P4”是构成彩色摄像元件52的滤色器排列的基本排列图案。
另外,在图13所示的实施方式中,沿稀疏/密集的R像素的水平、垂直方向相邻的其他R像素的个数没有差别,但是与第1实施方式的G像素同样地,沿水平、垂直方向相邻的其他R像素的个数可以不同。
另外,在图13所示的实施方式中,说明了稀疏/密集的R像素(R滤光片34R),但是本发明也同样地能够应用于B像素(B滤光片34B)包含稀疏/密集的B像素(B滤光片34B)的情况。
[第2实施方式的数码相机的整体结构]
接下来,使用图14,对本发明的第2实施方式的数码相机55进行说明。在上述第1实施方式的数码相机10中,将各个缺陷像素(稀疏G缺陷像素、密集G缺陷像素、R/B缺陷像素)的缺陷像素信息登记于缺陷像素信息数据37中,进行缺陷像素的插值处理。相对于此,在数码相机55中,进行各个缺陷像素相邻或接近地配置而成的连缺陷像素的缺陷信息的登记及插值处理。
数码相机55除了与第1实施方式不同的将缺陷像素信息数据57存储于存储部27中这一点之外,与第1实施方式基本上为相同的结构。因此,关于与上述第1实施方式在功能/结构上相同的要素,标注同一附图标记而省略其说明。另外,在第2实施方式以后的各实施方式中,为了防止说明的复杂化,对仅G像素产生缺陷的情况进行说明。
在缺陷像素信息数据57中,作为G缺陷像素,除了前述的稀疏G缺陷像素、密集G缺陷像素的缺陷像素信息以外,还包括稀疏/密集G连缺陷像素(第一连缺陷像素)、稀疏/稀疏G连缺陷像素(第二连缺陷像素)及密集/密集G连缺陷像素(第三连缺陷像素)的缺陷像素信息。
如图15所示,稀疏/密集G连缺陷像素是稀疏G缺陷像素与密集G缺陷像素沿水平、垂直及倾斜(NE、NW)的各方向中的任一方向(在图中,为NE方向)上相邻而成的连缺陷像素。另外,不管有无缺陷,都将稀疏的G像素与密集的G像素在各方向中的任一方向上相邻而成的结构称为“稀疏/密集G像素”(第一连像素)。
如图16所示,稀疏/稀疏G连缺陷像素是将两个稀疏G缺陷像素沿水平、垂直及倾斜(NE、NW)的各方向中的任一方向(在图中,为水平方向)上接近而成的连缺陷像素。在此所说的“接近”是指虽然未相邻但处于接近的位置(例如几像素间距以内)。另外,不管有无缺陷,都将两个稀疏的G像素在各方向中的任一方向上接近而成的结构称为“稀疏/稀疏G像素”(第二连像素)。
如图17所示,密集/密集G连缺陷像素是将两个密集G缺陷像素沿水平、垂直及倾斜(NE、NW)的各方向中的任一方向(在图中,为水平方向)上相邻而成的连缺陷像素。另外,不管有无缺陷,都将两个密集的G像素沿各方向中的任一方向上相邻而成的结构称为“密集/密集G像素”(第三连像素)。而且,密集/密集G连缺陷像素也可以包含将两个密集G缺陷像素沿各方向中的任一方向上接近而成的连缺陷像素(由图中的虚线的×记号表示)。
返回到图14,各缺陷像素的缺陷像素信息向缺陷像素信息数据57的登记使用检查装置59进行。检查装置59将各G连缺陷像素的缺陷像素信息比稀疏G缺陷像素的缺陷像素信息优先地登记。而且,检查装置59按照稀疏/稀疏G连缺陷像素>稀疏/密集G连缺陷像素>密集/密集G连缺陷像素的顺序将缺陷像素信息优先地登记于缺陷像素信息数据57中。
在此所说的“优先地”登记是指,在将“稀疏/密集G连缺陷像素的登记数”相对于“稀疏/密集G像素的总数”的比例设为R3、将“稀疏/稀疏G连缺陷像素的登记数”相对于“稀疏/稀疏G像素的总数”的比例设为R4且将“密集/密集G连缺陷像素的登记数”相对于“密集/密集G像素的总数”的比例设为R5时,以满足R4>R3>R5>R2>R1的方式进行登记。
各G连缺陷像素的影响因两个缺陷像素相邻或接近而比稀疏G缺陷像素容易扩展,因此对摄影图像的影响更大。因此,各G连缺陷像素的缺陷像素信息比稀疏G缺陷像素的缺陷信息优先地登记。尤其是稀疏/稀疏G连缺陷像素的情况下,稀疏G缺陷像素彼此虽然未相邻,但是若不进行插值处理则存在被识别为一个大的线状缺陷的可能性。而且,这是因为,在稀疏/密集G连缺陷像素的情况下,虽然其一方是密集G缺陷像素,但使用该密集G缺陷像素的插值处理后的像素值进行另一方的稀疏G缺陷像素的插值处理。
检查装置59除了前述的像素信息43之外,还具有与第1实施方式的检查装置40不同的阈值信息60、判定处理部61及登记处理部62。
在阈值信息60中,除了前述的阈值A、B之外,还存储有在稀疏/密集G像素是否为稀疏/密集G连缺陷像素的判定中使用的阈值C、在稀疏/稀疏G像素是否为稀疏/稀疏G连缺陷像素的判定中使用的阈值D、在密集/密集G像素是否为密集/密集G连缺陷像素的判定中使用的阈值E。各阈值基于前述的登记的优先顺序,以该优先顺序高的一方比低的一方的阈值小的方式成为阈值D<阈值C<阈值E<阈值A<阈值B。
判定处理部61基于与前述的第1实施方式同样地在遮光状态下得到的各像素的像素值和阈值A~E,判定各像素是否为缺陷像素,并且在是缺陷像素时判定其种类。以下,具体说明判定处理部61的缺陷像素判定处理。
[第2实施方式的缺陷像素判定处理]
如图18所示,判定处理部61首先判定检查对象的G像素(以下,简称为检查对象像素)的像素值是否小于阈值A~E中的最小的阈值D(S1)。并且,在像素值小于阈值D时,判定处理部61判定检查对象像素是否为正常像素。
另一方面,在判定S1中检查对象像素的像素值为阈值D以上时,判定处理部61基于像素信息43,判定处于检查对象像素的周边(相邻或接近位置)的G像素(以下,称为周边像素)是否存在成为G缺陷像素的可能性(S2)。具体而言,判定周边像素的像素值是否为阈值D以上。
在判定S2中周边像素没有成为G缺陷像素的可能性时,判定处理部61基于像素信息43,判定检查对象像素是否为稀疏的G像素(S3)。并且,在检查对象像素为稀疏的G像素的情况下,若该检查对象像素的像素值为阈值A以上,则判定为检查对象像素为稀疏G缺陷像素,反之若小于阈值A,则判定为检查对象像素为正常像素(S4)。
另外,在判定S3中判定为检查对象像素为密集的G像素时,若该检查对象像素的像素值为阈值B以上,则判定处理部61判定为检查对象像素为密集G缺陷像素,反之若小于阈值B,则判定处理部61判定为正常像素(S5)。
返回到判定S2,在周边像素存在成为G缺陷像素的可能性(像素值≥阈值D)时,判定处理部61基于像素信息43,判定检查对象像素(阈值D以上:判定S1)是否为稀疏的G像素(S6)。
在判定S6中检查对象像素(阈值D以上)为稀疏的G像素时,判定处理部61基于像素信息43,判定周边像素(阈值D以上:判定S2)是否为稀疏的G像素(S7)。在周边像素(阈值D以上)为稀疏的G像素时,检查对象像素及周边像素均为稀疏的G像素,且两者的像素值为阈值D以上。因此,判定处理部61将检查对象像素及周边像素判定为稀疏/稀疏G连缺陷像素。
反之,在判定S7中判定为周边像素(阈值D以上)为密集的G像素时,判定处理部61判定检查对象像素(稀疏的G像素、阈值D以上)及周边像素(密集的G像素、阈值D以上)的像素值是否均为阈值C以上(S8)。
在判定S8中检查对象像素及周边像素的像素值均为阈值C以上时,判定处理部61将检查对象像素及周边像素判定为稀疏/密集G连缺陷像素。而且,在两者的像素值的一方小于阈值C时,前进至前述的判定S4,判定处理部61判定检查对象像素(稀疏的G像素、阈值D以上)是否为稀疏G缺陷像素。
返回到判定S6,在检查对象像素(阈值D以上)为密集的G像素时,判定处理部61基于像素信息43,判定周边像素(阈值D以上)是否为稀疏的G像素(S9)。并且,在周边像素(阈值D以上)为稀疏的G像素时,前进至前述的判定S8。
另外,在判定S9中判定为周边像素(阈值D以上)为密集的G像素时,判定处理部61判定检查对象像素(密集的G像素,阈值D以上)及周边像素(密集的G像素,阈值D以上)的像素值是否均为阈值E以上(S10)。
在检查对象像素及周边像素的像素值均为阈值E以上时,判定处理部61将检查对象像素及周边像素判定为密集/密集G连缺陷像素。而且,在两者的像素值的一方小于阈值E时,前进至前述的判定S5,判定处理部61判定检查对象像素(密集的G像素、阈值D以上)是否为密集G缺陷像素。以上,判定处理部61进行的缺陷像素判定处理全部结束。
返回到图14,登记处理部62与第1实施方式的登记处理部45基本上相同,将由判定处理部61判定出的缺陷像素的缺陷像素信息在登记上限数的范围内登记于缺陷像素信息数据57。其中,登记处理部62以满足“稀疏/稀疏G连缺陷像素的登记数的比例R4”>“稀疏/密集G连缺陷像素的登记数的比例R3”>“密集/密集G连缺陷像素的登记数的比例R5”>“稀疏G缺陷像素的登记数的比例R2”>“密集G缺陷像素的登记数的比例R1”的方式进行登记。
[第2实施方式的缺陷像素信息的登记处理]
如图19所示,检查装置59的缺陷像素信息的登记处理除了进行图18所示的缺陷像素判定处理这一点之外,与第1实施方式的缺陷像素信息的登记处理基本上相同,因此省略具体的说明。通过该登记处理,按照稀疏/稀疏G连缺陷像素>稀疏/密集G连缺陷像素>密集/密集G连缺陷像素>稀疏G缺陷像素>密集G缺陷像素的优先顺序,来登记缺陷像素信息。
另外,也可以取代将各缺陷像素信息一并登记于缺陷像素信息数据57这一情况,而依次将缺陷像素信息向缺陷像素信息数据57登记。此时,在全部像素的判定处理结束之前而缺陷像素的登记数达到了登记上限数的情况下,只要将优先顺序相对高的缺陷像素的缺陷像素信息覆盖于先登记的优先顺序相对低的缺陷像素的缺陷像素信息上即可。
[缺陷像素的像素值的插值处理]
返回到图14,插值处理部26与第1实施方式同样地,从存储部27取得缺陷像素信息数据57,进行各缺陷像素的插值处理。另外,在缺陷像素为稀疏/密集G连缺陷像素时,如图15中的箭头所示,通过插值处理求出密集G缺陷像素及稀疏G缺陷像素的像素值。具体而言,使用沿水平、垂直及倾斜方向(在图中,为上、右、斜右上方向)相邻的3个G像素的像素值,通过插值处理来求出密集G缺陷像素的像素值。而且,使用沿倾斜方向(在图中,斜左上、斜左下、斜右下方向)相邻的3个G像素的像素值,通过插值处理来求出稀疏G缺陷像素的像素值。
稀疏/密集G连缺陷像素的插值相对于稀疏/密集G像素的总数的比例等于前述的比例R3(第三比例)。而且,稀疏/稀疏G连缺陷像素的插值相对于稀疏/稀疏G像素的总数的比例等于前述的比例R4(第四比例)。此外,密集/密集G连缺陷像素的插值相对于密集/密集G像素的总数的比例等于前述的比例R5(第五比例)。另外,稀疏G缺陷像素及密集G缺陷像素的插值的比例分别为前述的比例R2、比例R1。
另外,第2实施方式的数码相机55的作用与图9所示的第1实施方式基本上相同,因此这里省略说明。在数码相机55中,也是前述的优先顺序相对高的缺陷像素的插值处理比优先顺序相对低的缺陷像素的插值处理优先地进行,因此能得到良好的摄影图像数据。
[第3实施方式的数码相机的整体结构]
接下来,使用图20,对于本发明的第3实施方式的数码相机65进行说明。在上述第1及第2实施方式的数码相机10、55中,与彩色摄像元件20的摄影增益(例如ISO感光度)的高低无关地使用共通的缺陷像素信息数据37、57进行像素插值处理,但是在数码相机65中,根据摄影增益的高低而使用不同的缺陷像素信息数据进行像素插值处理。
数码相机65除了在存储部27中存储有3个种类的第一、第二及第三缺陷像素信息数据57a、57b、57c这一点之外,与第2实施方式基本上为相同结构。因此,对于与上述第2(第1)实施方式在功能/结构上相同的要素,标注同一附图标记而省略其说明。
在第一缺陷像素信息数据57a中登记有摄影增益被设定为例如ISO100以上且小于ISO800时的缺陷像素的缺陷像素信息。在第二缺陷像素信息数据57b中登记有摄影增益被设定为例如ISO800以上且小于ISO6400时的缺陷像素的缺陷像素信息。在第三缺陷像素信息数据57c中登记有摄影增益被设定为例如ISO6400以上时的缺陷像素的缺陷像素信息。这是因为,摄影增益越高则各像素的暗输出越增加,由此存在有如下像素:在摄影增益低时,几乎不会对摄影图像数据的画质造成影响,但是在摄影增益高时,会对摄影图像数据的画质造成影响。
缺陷像素信息向各缺陷像素信息数据57a~57c的登记通过检查装置67进行。检查装置67除了具备阈值信息表68、判定处理部69这一点之外,与第2实施方式的检查装置59基本上为相同结构。
在阈值信息表68中,根据摄影增益的各范围(“ISO100以上且小于ISO800:在图中显示为ISO100”,“ISO800以上且小于ISO6400:在图中显示为ISO800以上”,“ISO6400以上”),分别设定有在前述的各缺陷像素的判定中使用的阈值。
摄影增益越高则各像素的暗输出越增加,因此越容易检测出缺陷像素。因此,当摄影增益越高而未较高地设定阈值时,缺陷像素的登记数增大,从存储部27读出缺陷像素信息的时间增加,并且缺陷像素的插值处理所需的时间增加。而且,在高频的被摄体中,由于缺陷像素的插值处理而可能会产生误插值。因此,各阈值被设定为随着摄影增益升高而升高。另外,在摄影增益高的情况下,缺陷像素埋藏于噪声中,因此与增益倍数相比将各阈值较低地设定。
判定处理部69基于阈值信息表68的在各ISO感光度的范围内确定出的阈值和各像素的像素值(暗输出),在各ISO感光度的范围内判定各像素是否为缺陷像素,并且在为缺陷像素时判定其种类。
[第3实施方式的缺陷像素信息的登记处理]
如图21所示,在取得了全部像素的像素值之后,判定处理部69首先将阈值信息表68的以“ISO100以上且小于ISO800”设定的各阈值决定作为在缺陷像素判定处理中使用的阈值。并且,判定处理部69基于所决定的阈值和各像素的像素值(暗输出),对全部像素如图18所示地进行缺陷像素判定处理。
接下来,登记处理部62与第2实施方式同样地将与由判定处理部69判定为缺陷像素的像素相关的缺陷像素信息登记于第一缺陷像素信息数据57a中。在该登记处理后,判定处理部69将阈值信息表68的以“ISO800以上且小于ISO6400”设定的各阈值决定作为在下一缺陷像素判定处理中使用的阈值。以下,同样地,进行判定处理部69的缺陷像素判定处理,将缺陷像素信息登记于第二缺陷像素信息数据57b中。
而且,在将缺陷像素信息向第二缺陷像素信息数据57b登记后,基于阈值信息表68的以“ISO6400以上”设定的阈值,进行缺陷像素判定处理,将缺陷像素信息登记于第三缺陷像素信息数据57c中。在各缺陷像素信息数据57a、57b、57c中,与第2实施方式同样地,以满足前述的比例R4>比例R3>比例R5>比例R2>比例R1的方式登记缺陷像素信息。
[第3实施方式的数码相机的作用]
如图22所示,第3实施方式的数码相机65的作用基本上与第2(第1)实施方式相同。其中,数码相机65的插值处理部26例如基于从CPU11等取得的摄影增益(在本实施方式中,为ISO感光度)的信息,从存储部27内的各缺陷像素信息数据57a~57c之中选择/取得与摄影增益对应的数据,进行缺陷像素的插值处理。与第2实施方式同样地,前述的优先顺序相对高的缺陷像素的插值处理比优先顺序相对低的缺陷像素的插值处理优先地进行,因此能得到良好的摄影图像数据。
[第3-1实施方式的数码相机]
在上述第3实施方式的数码相机65中,使用根据摄影增益而不同的缺陷像素信息数据进行像素插值处理,但例如如图23所示,也可以使用根据彩色摄像元件20的曝光时间而不同的缺陷像素信息数据进行插值处理。这是因为,在曝光时间长的情况下,也与摄影增益高的情况同样地使各像素的暗输出增加。另外,具体的缺陷像素信息数据的登记处理、缺陷像素的插值处理与第3实施方式相同,因此这里省略说明。
[第3-2实施方式的数码相机]
另外,如图24所示,也可以使用根据彩色摄像元件20的温度(以下,称为元件温度)而不同的缺陷像素信息数据进行插值处理。这是因为,在元件温度高的情况下,也与摄影增益高的情况同样地使各像素的暗输出增加。
第3-2实施方式的插值处理部26基于来自对元件温度进行计测的温度传感器71的元件温度信息,从存储部27内的各缺陷像素信息数据57a~57c之中选择/取得对应的数据,进行缺陷像素的插值处理。另外,缺陷像素信息的登记处理、缺陷像素的插值处理与第3实施方式相同,因此这里省略说明。
[第3、第3-1、第3-2实施方式的其他]
在上述第3、第3-1、第3-2实施方式中,将摄影增益、曝光时间、元件温度等摄影条件分成3个阶段的范围而设置与各个范围对应的缺陷像素信息数据,但也可以将摄影条件分成2个阶段或4个阶段以上的范围而设置各范围的缺陷像素信息数据。而且,还可以将存储于存储部27内的各缺陷像素信息数据汇总为1个数据进行存储。
在上述第3、第3-1、第3-2实施方式中,作为对像素的暗输出造成影响的摄影条件,列举了摄影增益、曝光时间、元件温度作为例子,但也可以设置根据除此以外的对像素的暗输出造成影响的各种摄影条件而不同的缺陷像素信息数据。另外,在缺陷像素的判定中使用的阈值也同样。
[第4实施方式的数码相机的结构]
接下来,使用图25,对本发明的第4实施方式的数码相机75进行说明。在上述第1实施方式的数码相机10中,对于稀疏G缺陷像素彼此的插值处理、缺陷像素信息的登记处理未设置优先顺序,但是在数码相机75中,对于各个稀疏G缺陷像素的插值处理、登记处理也设置优先顺序。
数码相机75除了与第1实施方式的数码相机10不同的将缺陷像素信息数据76存储于存储部27这一点之外,与第1实施方式基本上为相同的结构。因此,对于与上述第1实施方式在功能/结构上相同的要素,标注同一附图标记而省略其说明。而且,为了防止说明的复杂化,缺陷像素的种类仅限定为稀疏G缺陷像素进行说明。
在缺陷像素信息数据76中,将稀疏G缺陷像素的缺陷像素信息按对应各个稀疏G缺陷像素求出的评价值高的顺序优先地登记。该评价值通过检查装置78求出。检查装置78根据与相邻于稀疏G缺陷像素的周边的R、B像素的进一步周边相邻的G像素(以下,称为接近G像素)的位置、个数来求出评价值。
如图26所示,在地址(3,c)的稀疏的G像素为稀疏G缺陷像素且其周边不存在接近G像素时,使用稀疏G缺陷像素的像素值来求出与周围的全部R、B像素的位置对应的缺失G像素的像素值。因此,稀疏G缺陷像素的影响较强地波及相邻的全部缺失G像素的像素值。在这样的情况下,将评价值设为“1”×8=8。
如图27所示,在地址(1,e)存在1个接近G像素时,地址(2,d)的缺失G像素的像素值受到稀疏G缺陷像素的一半影响。因此,地址(2,d)的缺失G像素为“0.5”,其他缺失G像素为“1”,因此评价值为0.5+(1×7)=7.5。
如图28所示,在地址(2、d)的缺失G像素的沿垂直方向(图中下方)相邻的位置存在接近G像素[地址(2、e)]时,该缺失G像素的像素值与沿倾斜方向相邻的稀疏G缺陷像素相比,较强地受到沿垂直方向(水平方向也同样)相邻的接近G像素的影响。因此,若在水平及垂直方向上进行倾斜方向的倍数的加权,则对于缺失G像素的稀疏G缺陷像素的影响为1/3,因此地址(2、d)的缺失G像素为“0.33”。而且,地址(3、d)的缺失G像素受到稀疏G缺陷像素的影响变强,因此为“0.67”,其他缺失G像素为“1”。其结果是,评价值为0.33+0.67+(1×6)=7。
如图29所示,在地址(2,e)、(3,e)存在接近G像素时,也按照同样的法则,将地址(2,d)、(3,d)、(4,d)的缺失G像素分别设为“0.25”、“0.4”、“0.5”,将其他缺失G像素设为“1”。其结果是,评价值为0.25+0.4+0.5+(1×5)=6.15。
如图30所示,在地址(2,e)、(3,e)、(4,e)存在接近G像素时,也按照同样的法则,将地址(2,d)、(3,d)、(4,d)的缺失G像素分别设为“0.25”、“0.16”、“0.25”,将其他缺失G像素设为“1”。其结果是,评价值为0.25+0.16+0.25+(1×5)=5.66。
如此根据接近像素的位置、个数来确定评价值。另外,在上述的评价值计算中,将沿水平/垂直方向相邻的接近G像素的加权设为沿倾斜方向相邻的接近G像素的加权的倍数,但加权的量可以适当变更。
返回到图25,检查装置78除了具备评价值计算部79、登记处理部80这一点之外基本上与第1实施方式的检查装置40相同。在通过判定处理部42将检查对象像素判定为“稀疏G缺陷像素”时,评价值计算部79如前述的图26至图30所示那样算出评价值。
登记处理部80与第1实施方式的登记处理部45同样地,将稀疏G缺陷像素的缺陷像素信息比密集G缺陷像素的缺陷像素信息优先地登记于缺陷像素信息数据76中。而且,登记处理部80在登记与稀疏G缺陷像素相关的缺陷像素信息时,对由评价值计算部79算出的评价值高的缺陷像素信息优先地登记。
在此,“优先地登记”是指以“评价值相对高的稀疏G缺陷像素的登记数”相对于“稀疏的G像素的总像素数”的比例高于“评价值相对低的稀疏G缺陷像素的登记数”相对于“稀疏的G像素的总像素数”的比例的方式,进行缺陷像素信息的登记。另外,可以将评价值相对高的稀疏G缺陷像素的缺陷像素信息比评价值相对低的稀疏G缺陷像素的缺陷像素信息先登记于缺陷像素信息数据76中。
另外,第4实施方式的缺陷像素信息的登记处理如前述那样,除了将评价值相对高的稀疏G缺陷像素的缺陷像素信息向缺陷像素信息数据76优先地登记这一点之外,与上述第1实施方式基本上相同,因此这里省略说明。而且,第4实施方式的数码相机75的作用也与图9所示的第1实施方式基本上相同,因此这里省略说明。在数码相机75中,将稀疏G缺陷像素之中的对周围的缺失G像素的像素值造成的影响大(评价值高)的像素的缺陷像素信息也优先地登记于缺陷像素信息数据76中而优先地进行插值处理,因此能得到更良好的摄影图像数据。
[第4实施方式的其他]
在上述第4实施方式中,举例说明了对稀疏G缺陷像素的像素插值处理、登记处理设置优先顺序的情况,但是对于其他种类的G缺陷像素也可以同样地对像素插值处理、登记处理设置优先顺序。另外,关于R、B缺陷像素也同样。
[第5实施方式的数码相机的结构]
接下来,使用图31,对本发明的第5实施方式的数码相机83进行说明。在上述各实施方式的数码相机中,将通过外部的检查装置而得到的缺陷像素信息登记于缺陷像素信息数据中,但数码相机83具有进行缺陷像素的判定和缺陷像素信息的登记的功能。
数码相机83除了例如在图像处理电路25内具有缺陷像素检查电路84这一点之外,与第1实施方式的数码相机10基本上为相同结构。缺陷像素检查电路84具有与上述各实施方式的检查装置40、59、67、78的任一个同等的功能。缺陷像素检查电路84在数码相机75的电源为接通时,在动作模式切换为摄影模式时,或者在每一定期间的任意的时机,进行前述的缺陷像素的判定处理和登记处理。由此,也能够应对因经时变化而新产生的像素缺陷、即所谓的后发性缺陷。
[其他]
在上述第3实施方式的数码相机65中,如图20所示,将根据摄影条件(例如摄影增益、曝光时间、元件温度)而不同的缺陷像素信息数据存储于存储部27,从该存储部27取得与摄影条件对应的缺陷像素信息数据而进行像素插值处理,但本发明没有限定于此。例如也可以如图32所示的数码相机55a那样,具备缺陷像素信息数据57作为1个数据,从该缺陷像素信息数据57取出与摄影条件对应的缺陷像素信息。
在缺陷像素信息数据57中,登记有在摄影条件发生了变化时因各摄影条件(图20等所示的摄影条件的范围)中的任一摄影条件而产生的缺陷像素的缺陷像素信息。
插值处理部26a在登记于缺陷像素信息数据57的缺陷像素信息之中,取得像素值为例如对应各摄影条件(摄影条件的种类、范围)及对应各缺陷像素的种类而分别预先规定的阈值以上的缺陷像素信息,进行像素插值处理。或者,插值处理部26a例如将登记于缺陷像素信息数据57中的各缺陷像素信息的像素值乘以对应各摄影条件及对应各缺陷像素的种类而分别预先规定的系数或函数,取得乘以系数等之后的像素值为预定值以上的缺陷像素信息。另外,与摄影条件对应的缺陷图像信息的取得方法并未限定为上述方法,可以采取各种方法。
这样一来,即使在从1个缺陷像素信息数据57取得与摄影条件对应的缺陷像素信息的情况下,也能得到与前述的第3实施方式同样的效果。
另外,在数码相机55a中,也可以与第5实施方式的数码相机65同样地进行缺陷像素的判定和缺陷像素信息的登记。在这种情况下,例如可以存储全部像素的像素值,将像素值为前述的阈值以上的像素、或者乘以前述的系数等的像素值为预定值以上的像素作为缺陷像素,取得与该缺陷像素相关的缺陷像素信息。在这种情况下,也能防止插值处理的处理时间的增加。
在上述第2实施方式中,在进行稀疏/密集G连缺陷像素的像素值的插值处理时,如图15所示,使用与稀疏G缺陷像素及密集G缺陷像素分别相邻的3个G像素的像素值进行插值处理,但本发明没有限定于此。例如也可以如图33中的箭头所示,在通过插值处理先求出密集G缺陷像素的像素值之后,使用该像素值和沿倾斜方向与稀疏G缺陷像素相邻的其他G像素的像素值,通过插值处理来求出稀疏G缺陷像素的像素值。
本发明的彩色摄像元件的滤色器排列没有限定为图2等所示的排列图案,只要是在至少一种颜色的滤色器中包含“稀疏滤光片”和“密集滤光片”那样的排列图案即可。例如,滤色器排列可以由沿水平及垂直方向反复配置的N×N像素(N为3以上)所对应的排列图案的基本排列图案构成,且沿着该基本排列图案的两条对角线配置G滤光片34G(第一色的滤光片)。在这种情况下,滤色器排列包括G滤光片34G(第一色的滤光片)以2×2像素以上所对应的排列图案相互沿水平及垂直方向相邻配置的正方排列、G滤光片34G(第一色的滤光片)的孤立排列。
在上述第2实施方式以后的各实施方式中,说明了在G像素(G滤光片34G)中包含“稀疏的G像素(稀疏的G滤光片34G)”和“密集的G像素(密集的G滤光片34G)”的情况,但是在R、B像素(R、B滤光片34R、34B)中也可以包含“稀疏的R、B像素(稀疏的R滤光片34R、34B)”和“密集的R、B像素(密集的R滤光片34R、34B)”。而且,在全部实施方式中,在两种颜色以上的像素(滤色器)中可以包含“稀疏像素(稀疏滤光片)”和“密集像素(密集滤光片)”。
在上述第1实施方式中,将“稀疏G缺陷像素的插值处理数/登记数的比例R2”>“密集G缺陷像素的插值处理数、登记数的比例R1”这一情况定义为优先地进行稀疏G缺陷像素的插值处理/登记,但本发明没有限定于此。例如,也可以将“稀疏G缺陷像素的插值处理/登记”比“密集G缺陷像素的插值处理、登记”先进行这一情况作为优先。如前述那样,由于数码相机的缺陷像素的插值处理数/登记数存在上限,因此在先进行“稀疏G缺陷像素的插值处理/登记”的情况下,前述的比例R2>比例R1。而且,对于第1实施方式以外的各实施方式,也可以使优先顺序相对高的缺陷像素的插值处理/登记比优先顺序相对低的缺陷像素的插值处理/登记先进行。
另外,在上述第1实施方式中,可以将“稀疏G缺陷像素的插值处理数/登记数”大于“密集G缺陷像素的插值处理数、登记数”这一情况作为“优先地插值处理/登记”。此外,对于第1实施方式以外的各实施方式,也可以设为“优先顺序相对高的缺陷像素的插值处理数/登记数”>“优先顺序相对低的缺陷像素的插值处理数/登记数”。
在上述各实施方式中,说明了RGB三原色的滤色器的滤色器排列,但也可以是例如RGB三原色+其他颜色(例如、翠绿色(E))这四种颜色的滤色器的滤色器排列,滤色器的种类没有特别限定。而且,本发明也可以应用于原色RGB的互补色的C(青色)、M(品红色)、Y(黄色)的滤色器的滤色器排列中。
在上述的各实施方式中,举例说明了数码相机作为本发明的具备彩色摄像元件的摄像装置,但是本发明也可以应用于例如内窥镜等各种摄像装置中。
此外,本发明没有限定为上述的实施方式,在不脱离本发明的主旨的范围内能够进行各种变形,这是不言而喻的。
附图标记说明
10、48、49、50、52、55、65、75…数码相机,20…彩色摄像元件,25…图像处理电路,26…插值处理部,27…缺陷像素信息存储部,34R…R滤光片,34G…G滤光片,34B…B滤光片,37、57a~57c、76…缺陷像素信息数据,40、67、78…缺陷像素检查装置,42、69…判定处理部,43…像素信息,44…阈值信息,45、62…登记处理部,P、P1、P2、P3、P4…基本排列图案
Claims (12)
1.一种摄像装置,具备:
彩色摄像元件,在由沿着水平方向及垂直方向排列的光电转换元件构成的多个像素上将多种颜色的滤色器以预定的滤色器排列进行配设而成,至少一种颜色的上述滤色器包括沿上述水平方向及垂直方向相邻的同色的上述滤色器的第一相邻数相对少、或者在上述第一相邻数均为M时沿倾斜方向相邻的同色的上述滤色器的第二相邻数相对少的稀疏滤光片及上述第一相邻数或上述第二相邻数相对多的密集滤光片,上述多个像素包括与上述稀疏滤光片对应的稀疏像素和与上述密集滤光片对应的密集像素,其中0≤M≤4;
取得单元,取得与上述多个像素中包含的缺陷像素相关的缺陷像素信息,上述缺陷像素包括与上述稀疏滤光片对应的稀疏缺陷像素和与上述密集滤光片对应的密集缺陷像素;及
插值单元,基于上述取得单元所取得的上述缺陷像素信息,根据位于上述缺陷像素的周边且位于同色的上述滤色器的下方的周边像素的像素值并通过插值处理来求出上述缺陷像素的像素值,使上述稀疏缺陷像素的插值相对于上述稀疏像素的总像素数的第二比例高于上述密集缺陷像素的插值相对于上述密集像素的总像素数的第一比例。
2.根据权利要求1所述的摄像装置,其中,
上述摄像装置具备缺陷像素信息存储单元,上述缺陷像素信息存储单元登记有上述缺陷像素信息,且使上述稀疏缺陷像素的上述缺陷像素信息的登记数相对于上述稀疏像素的总像素数的比例高于上述密集缺陷像素的上述缺陷像素信息的登记数相对于上述密集像素的总像素数的比例,
上述取得单元从上述缺陷像素信息存储单元取得上述缺陷像素信息。
3.根据权利要求2所述的摄像装置,其中,
在上述缺陷像素信息存储单元中登记有在摄影条件发生了变化时因各摄影条件中的任一摄影条件而产生的上述缺陷像素的上述缺陷像素信息,
上述取得单元从上述缺陷像素信息存储单元取得与上述摄影条件对应的上述缺陷像素信息。
4.根据权利要求3所述的摄像装置,其中,
上述摄影条件包括上述彩色摄像元件的增益、曝光时间及温度中的至少任一个。
5.根据权利要求1所述的摄像装置,其中,
上述滤色器排列具有:
上述一种颜色的上述滤色器以对应于2×2像素以上的排列图案相邻配置而成的正方排列;及
上述一种颜色的上述滤色器沿上述水平方向及垂直方向与颜色不同于上述一种颜色的上述滤色器相邻配置而成的孤立排列。
6.根据权利要求5所述的摄像装置,其中,
上述一种颜色的上述滤色器是最有助于获得亮度信号的第一色所对应的第一滤光片,
上述滤色器排列包括基本排列图案,上述基本排列图案是上述第一滤光片和除了上述第一色以外的两种颜色以上的第二色所对应的第二滤光片以对应于N×N像素的排列图案排列而成的,并且,上述基本排列图案沿水平方向及垂直方向重复配置,其中N为3以上的奇数。
7.根据权利要求6所述的摄像装置,其中,
上述第一滤光片配置于上述基本排列图案内的两条对角线上,
上述滤色器排列包括由上述第一滤光片构成的对应于2×2像素的排列图案的正方排列。
8.根据权利要求5~7中任一项所述的摄像装置,其中,
在上述多个像素中,包括多个使上述稀疏像素和上述密集像素在上述水平、垂直、倾斜的各方向中的任一方向上相邻而成的第一连像素,
基于上述缺陷像素信息,在上述缺陷像素中包含使上述稀疏缺陷像素与上述密集缺陷像素在上述各方向中的任一方向上相邻而成的第一连缺陷像素时,上述插值单元使上述第一连缺陷像素的插值相对于上述第一连像素的总数的第三比例高于上述第二比例。
9.根据权利要求5~7中任一项所述的摄像装置,其中,
在上述多个像素中,包括多个使两个上述稀疏像素在上述水平、垂直、倾斜的各方向中的任一方向上接近而成的第二连像素,
基于上述缺陷像素信息,在上述缺陷像素中包含使两个上述稀疏缺陷像素在上述各方向中的任一方向上接近而成的第二连缺陷像素的情况下,上述插值单元使上述第二连缺陷像素的插值相对于上述第二连像素的总数的第四比例高于上述第二比例。
10.根据权利要求5~7中任一项所述的摄像装置,其中,
在上述多个像素中,包括多个使两个上述密集像素在上述水平、垂直、倾斜的各方向中的任一方向上相邻或接近而成的第三连像素,
基于上述缺陷像素信息,在上述缺陷像素中包含使两个上述密集缺陷像素在上述各方向中的任一方向上相邻或接近而成的第三连缺陷像素时,上述插值单元使上述第三连缺陷像素的插值相对于上述第三连像素的总数的第五比例高于上述第二比例。
11.根据权利要求5~7中任一项所述的摄像装置,其中,
在上述多个像素中,分别包括多个使上述稀疏像素及上述密集像素在上述水平、垂直、倾斜的各方向中的任一方向上相邻而成的第一连像素及使两个上述稀疏像素在上述各方向中的任一方向上接近而成的第二连像素,
基于上述缺陷像素信息,在上述缺陷像素中包含使上述稀疏缺陷像素与上述密集缺陷像素在上述各方向中的任一方向上相邻而成的第一连缺陷像素和使两个上述稀疏缺陷像素在上述各方向中的任一方向上接近而成的第二连缺陷像素时,上述插值单元使上述第二连缺陷像素的插值相对于上述第二连像素的总数的第四比例高于上述第一连缺陷像素的插值相对于上述第一连像素的总数的第三比例。
12.根据权利要求11所述的摄像装置,其中,
在上述多个像素中,包括多个使两个上述密集像素在上述水平、垂直、倾斜的各方向中的任一方向上相邻或接近而成的第三连像素,
基于上述缺陷像素信息,在上述缺陷像素中包含上述第一连缺陷像素、上述第二连缺陷像素及使两个上述密集缺陷像素在上述各方向中的任一方向上相邻或接近而成的第三连缺陷像素时,上述插值单元使上述第三连缺陷像素的插值相对于上述第三连像素的总数的第五比例低于上述第三比例及上述第四比例。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011289365 | 2011-12-28 | ||
JP2011-289365 | 2011-12-28 | ||
PCT/JP2012/083595 WO2013099917A1 (ja) | 2011-12-28 | 2012-12-26 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104025581A CN104025581A (zh) | 2014-09-03 |
CN104025581B true CN104025581B (zh) | 2015-06-03 |
Family
ID=48697401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280065257.4A Expired - Fee Related CN104025581B (zh) | 2011-12-28 | 2012-12-26 | 摄像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8970747B2 (zh) |
EP (1) | EP2800377A4 (zh) |
JP (1) | JP5600812B2 (zh) |
CN (1) | CN104025581B (zh) |
WO (1) | WO2013099917A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9077941B2 (en) * | 2013-09-03 | 2015-07-07 | Himax Imaging Limited | Image processing method and image processing device |
DE112015005531T5 (de) * | 2015-01-08 | 2017-09-21 | Olympus Corporation | Bildverarbeitungsvorrichtung, Verfahren zum Betreiben einer Bildverarbeitungsvorrichtung, Programm zum Betreiben einer Bildverarbeitungsvorrichtung und Endoskopeinrichtung |
WO2018123174A1 (ja) * | 2016-12-28 | 2018-07-05 | オリンパス株式会社 | 撮像装置、内視鏡および内視鏡システム |
CN111201779B (zh) * | 2017-10-19 | 2022-11-01 | 索尼公司 | 成像装置和信号处理装置 |
WO2020042083A1 (zh) * | 2018-08-30 | 2020-03-05 | 深圳市大疆创新科技有限公司 | 图像坏点校正方法及设备、存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101304484A (zh) * | 2007-05-07 | 2008-11-12 | 索尼株式会社 | 成像装置、缺陷像素校正装置、装置中的处理方法和程序 |
US8023017B2 (en) * | 2007-01-08 | 2011-09-20 | United Microelectronics Corp. | Pattern of color filter array |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4305989B2 (ja) * | 1998-12-21 | 2009-07-29 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP4365483B2 (ja) * | 1999-07-22 | 2009-11-18 | オリンパス株式会社 | 撮像装置 |
US7218348B2 (en) * | 2000-06-02 | 2007-05-15 | Fujifilm Corporation | Solid-state electronic imaging device and method of controlling opertion thereof |
JP4546664B2 (ja) | 2001-04-27 | 2010-09-15 | オリンパス株式会社 | 撮像装置および画素欠陥補正方法 |
US7015961B2 (en) * | 2002-08-16 | 2006-03-21 | Ramakrishna Kakarala | Digital image system and method for combining demosaicing and bad pixel correction |
TWI228320B (en) * | 2003-09-09 | 2005-02-21 | Ind Tech Res Inst | An avalanche photo-detector(APD) with high saturation power, high gain-bandwidth product |
US7483596B2 (en) * | 2004-01-13 | 2009-01-27 | International Business Machines Corporation | Performance digital image sensing |
US20090027527A1 (en) | 2007-07-23 | 2009-01-29 | Visera Technologies Company Limited | Color filter arrays and image sensors using the same |
KR100915970B1 (ko) * | 2007-09-10 | 2009-09-10 | 연세대학교 산학협력단 | 이미지 센서에 의해 획득된 영상의 컬러를 보정하는 방법및 장치 |
JP2010239492A (ja) * | 2009-03-31 | 2010-10-21 | Olympus Corp | 撮像装置および映像信号のノイズ低減方法 |
RU2548566C1 (ru) * | 2011-02-21 | 2015-04-20 | Фуджифилм Корпорэйшн | Элемент формирования цветного изображения |
BR112012027306A2 (pt) * | 2011-02-28 | 2016-08-02 | Fujifilm Corp | aparelho de geração de imagem colorida |
CN103563361B (zh) * | 2011-09-29 | 2015-04-29 | 富士胶片株式会社 | 图像处理设备和方法以及成像设备 |
-
2012
- 2012-12-26 WO PCT/JP2012/083595 patent/WO2013099917A1/ja active Application Filing
- 2012-12-26 JP JP2013551723A patent/JP5600812B2/ja not_active Expired - Fee Related
- 2012-12-26 CN CN201280065257.4A patent/CN104025581B/zh not_active Expired - Fee Related
- 2012-12-26 EP EP12862054.9A patent/EP2800377A4/en not_active Withdrawn
-
2014
- 2014-06-27 US US14/317,766 patent/US8970747B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8023017B2 (en) * | 2007-01-08 | 2011-09-20 | United Microelectronics Corp. | Pattern of color filter array |
CN101304484A (zh) * | 2007-05-07 | 2008-11-12 | 索尼株式会社 | 成像装置、缺陷像素校正装置、装置中的处理方法和程序 |
Also Published As
Publication number | Publication date |
---|---|
EP2800377A4 (en) | 2015-07-15 |
JPWO2013099917A1 (ja) | 2015-05-07 |
CN104025581A (zh) | 2014-09-03 |
JP5600812B2 (ja) | 2014-10-01 |
US8970747B2 (en) | 2015-03-03 |
EP2800377A1 (en) | 2014-11-05 |
WO2013099917A1 (ja) | 2013-07-04 |
US20140307130A1 (en) | 2014-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104041009B (zh) | 摄像元件及摄像装置 | |
JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
CN104041020B (zh) | 彩色摄像元件 | |
CN103444183B (zh) | 彩色摄像元件及摄像装置 | |
CN103828345B (zh) | 用于图像处理的设备、方法以及图像拾取设备 | |
JP5528627B2 (ja) | 撮像装置、撮像素子及び感度差補正方法 | |
CN104025581B (zh) | 摄像装置 | |
CN102461175A (zh) | 用于四通道彩色滤光片阵列的内插 | |
CN104025584B (zh) | 彩色摄像元件及摄像装置 | |
US8730360B2 (en) | Color imaging apparatus having color imaging element, method of controlling operation of same and image sensing system | |
CN103460704B (zh) | 彩色摄像元件及摄像装置 | |
CN103460703B (zh) | 彩色摄像元件及摄像装置 | |
CN104412579A (zh) | 彩色摄像元件以及摄像装置 | |
CN104412581A (zh) | 彩色摄像元件及摄像装置 | |
CN104025577B (zh) | 图像处理装置、方法以及摄像装置 | |
CN104025580A (zh) | 彩色摄像元件及摄像装置 | |
CN104025583B (zh) | 图像处理装置、方法及摄像装置 | |
CN103621070B (zh) | 摄像装置及摄像装置的控制方法 | |
CN103430552B (zh) | 摄像装置 | |
WO2012124183A1 (ja) | 撮像装置およびその動作制御方法 | |
CN104041019B (zh) | 摄像装置及摄像装置的控制方法 | |
CN103563360B (zh) | 摄像装置及摄像装置的控制方法 | |
JP5411390B2 (ja) | カラー撮像素子 | |
CN104011575B (zh) | 摄像装置及摄像装置的控制方法 | |
CN104025575B (zh) | 摄像装置及摄像装置的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150603 Termination date: 20191226 |
|
CF01 | Termination of patent right due to non-payment of annual fee |