CN109565558A - 图像处理装置、图像处理方法和程序 - Google Patents
图像处理装置、图像处理方法和程序 Download PDFInfo
- Publication number
- CN109565558A CN109565558A CN201680088003.2A CN201680088003A CN109565558A CN 109565558 A CN109565558 A CN 109565558A CN 201680088003 A CN201680088003 A CN 201680088003A CN 109565558 A CN109565558 A CN 109565558A
- Authority
- CN
- China
- Prior art keywords
- pixel
- defect
- saturated
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 148
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 230000007547 defect Effects 0.000 claims abstract description 283
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 241
- 238000012937 correction Methods 0.000 claims description 120
- 238000012360 testing method Methods 0.000 claims description 79
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 36
- 238000001514 detection method Methods 0.000 description 24
- 230000015654 memory Effects 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 20
- 230000002950 deficient Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 238000004088 simulation Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003827 upregulation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000005570 vertical transmission Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种即使在关注像素的周围存在低饱和像素的情况下，也能够准确地处理缺陷像素的图像处理装置、图像处理方法和程序。图像处理装置(30)包括获取摄像元件(105)生成的图像数据和多个像素各自的饱和水平的第三外部I/F部(31)，和基于第三外部I/F部(31)获取的饱和水平对图像数据中包含的因缺陷像素导致的噪声进行处理的噪声处理部(32)。
Description
技术领域
本发明涉及能够处理因摄像元件中产生的缺陷像素造成的噪声的图像处理装置、图像处理方法和程序。
背景技术
通常，在摄像装置使用的摄像元件中，在因制造时的偏差和劣化等导致构成像素的电路产生了缺陷的情况下，从该像素读取的像素值会比周围的像素(下文称“周围像素”)的像素值高或低。作为对这种产生了缺陷的像素(下文称“缺陷像素”)的像素值进行校正的技术，已知一种技术(参照专利文献1)，将关注像素的周围像素的像素值作为集合来计算像素值的方差，并基于该方差将关注像素的像素值与周围像素的像素值的差值归一化来计算显著度——其表示关注像素的像素值在周围像素中的显著程度，由此对缺陷像素的像素值进行校正。该技术中，对关注像素的像素值的显著度和与关注像素位于相同位置的不同滤光镜处的像素值的显著度进行比较，来进行是否为缺陷像素的判断，在关注像素是缺陷像素的情况下，使用周围像素的像素值对关注像素的像素值进行校正。
摄像元件读取与基于曝光量而产生的电荷对应的像素值。由于摄像元件的制造误差等，摄像元件各像素中的电荷的最大储存量(饱和电荷量)会随像素的不同而存在偏差。例如，在拍摄没有对比度的、高亮度的平坦被摄体的情况下，理想的是，读取到的像素值一致地发生饱和、全部像素呈现出相同的像素值，然而却存在这样的问题：由于各像素的偏差，饱和电荷量低的像素会在比其他像素低的像素值下发生饱和，像素值无法得到相同的值。已知一种技术(参照专利文献2)，对于这样的在比其他像素的像素值低的像素值下发生饱和的像素(下文称“低饱和像素”)，通过将其像素值置换为周围像素的像素值的平均值，来对关注像素的像素值进行校正。
现有技术文献
专利文献
专利文献1：日本专利第4453332号公报
专利文献2：国际公开第2013/154105号
发明内容
发明要解决的技术问题
然而，在上述专利文献1中，在使用关注像素的像素值和周围像素的像素值进行缺陷像素的检测和校正的情况下，在缺陷像素的周围存在低饱和像素时，会产生缺陷像素的检测精度降低、缺陷像素的校正精度降低这一问题。
尤其是，在要观察的被摄体和观察条件受到限制的设备——例如医疗用内窥镜设备中，被设计成在最重要的条件下达到最好的画质。例如在医疗用内窥镜中，以在用户即医师最容易进行诊断的曝光条件下，噪声较小、观察对象即活体等受检体最容易被观察的方式，决定该曝光条件下平均储存的电荷量。其结果是，在不重要的条件(例如饱和的条件或黑暗的条件——在这样的条件下使用医疗用内窥镜的可能性非常低)下，上述问题将变得更加显著。
本发明是鉴于上述情况而作出的，其目的在于提供一种即使在关注像素的周围存在低饱和像素的情况下也能够准确地处理缺陷像素的图像处理装置、图像处理方法和程序。
解决问题的技术手段
为解决上述问题，实现其目的，本发明的图像处理装置对摄像元件生成的图像数据进行处理，其中，摄像元件包括多个像素和多个读取电路，所述多个像素呈二维状配置，能够从外部接收光并生成与受光量对应的信号，所述多个读取电路读取所述信号作为像素值，所述图像处理装置对所述图像数据中包含的因与低饱和像素不同的缺陷像素导致的噪声进行处理，其特征在于，包括：获取部，其获取所述摄像元件生成的所述图像数据和所述多个像素各自的饱和水平；和噪声处理部，其基于所述获取部获取的所述饱和水平，对所述噪声进行处理。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述噪声处理部包括缺陷像素检测部，所述缺陷像素检测部基于所述多个像素中的关注像素的像素值和该关注像素的所述饱和水平，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部基于所述关注像素的像素值与该关注像素的所述饱和水平的比较，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部在所述关注像素的像素值比该关注像素的所述饱和水平低的情况下，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部在所述关注像素的像素值为该关注像素的所述饱和水平以上的情况下，使用前一帧的检测结果作为检测结果。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部基于所述关注像素周围的参照像素的像素值与所述参照像素的所述饱和水平的比较，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部在所述参照像素的像素值小于所述参照像素的所述饱和水平的情况下，或者多个所述参照像素各自的像素值的至少一个分别小于多个所述参照像素的所述饱和水平的情况下，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部判断所述参照像素是否包括2个以上像素、且是否是所述参照像素的像素值小于所述参照像素的所述饱和水平的非饱和像素，至少使用所述参照像素内的非饱和像素检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部在所述参照像素的像素值为所述参照像素的所述饱和水平以上的情况下，相比所述非饱和像素降低该像素值为所述饱和水平以上的所述参照像素的权重，来检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素检测部在所述参照像素的像素值为所述参照像素的所述饱和水平以上的情况下，或者所述参照像素的像素值为所述参照像素的所述饱和水平以上的像素的数量为规定阈值以上的情况下，使用前一帧的检测结果作为检测结果。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述噪声处理部包括缺陷像素校正部，所述缺陷像素校正部基于所述多个像素各自的像素值与所述饱和水平的比较，对所述缺陷像素进行校正。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素校正部在所述关注像素周围的参照像素中包括像素值为所述饱和水平以上的饱和像素的情况下，使用除所述饱和像素外的所述参照像素对所述缺陷像素进行校正。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素校正部在所述关注像素周围的参照像素中包括像素值为所述饱和水平以上的饱和像素的情况下，相比其他的所述参照像素降低所述饱和像素的权重，来对所述缺陷像素进行校正。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述获取部获取将所述多个像素各自的位置信息与所述饱和水平关联的饱和像素信息。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述获取部获取饱和水平映射图，在所述饱和水平映射图中，针对所述图像数据中的所述多个像素分别设定了所述饱和水平。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述噪声处理部包括低饱和像素校正部，所述低饱和像素校正部基于所述多个像素各自的像素值与所述饱和水平的比较，对该饱和水平比其他像素低的低饱和像素进行校正。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述噪声是与明暗无关地产生的噪声。
本发明的图像处理装置的特征还在于，在上述技术方案中，所述缺陷像素是白缺陷、黑缺陷或闪烁缺陷噪声中的任一种。
本发明的图像处理方法由图像处理装置执行，所述图像处理装置对摄像元件生成的图像数据进行处理，其中，摄像元件包括多个像素和多个读取电路，所述多个像素呈二维状配置，能够从外部接收光并生成与受光量对应的信号，所述多个读取电路读取所述信号作为像素值，所述图像处理装置对所述图像数据中包含的因与低饱和像素不同的缺陷像素导致的噪声进行校正，所述图像处理方法的特征在于，包括：获取步骤，获取所述摄像元件生成的所述图像数据和所述多个像素各自的饱和水平；和噪声处理步骤，基于所述获取步骤中获取的所述饱和水平，对所述噪声进行处理。
本发明的程序使图像处理装置执行下述步骤，所述图像处理装置对摄像元件生成的图像数据进行处理，其中，摄像元件包括多个像素和多个读取电路，所述多个像素呈二维状配置，能够从外部接收光并生成与受光量对应的信号，所述多个读取电路读取所述信号作为像素值，所述图像处理装置对所述图像数据中包含的因与低饱和像素不同的缺陷像素导致的噪声进行校正，所述步骤包括：获取步骤，获取所述摄像元件生成的所述图像数据和所述多个像素各自的饱和水平；和噪声处理步骤，基于所述获取步骤中获取的所述饱和水平，对所述噪声进行处理。
发明效果
采用本发明可实现这样的效果，即，即使在关注像素的周围存在低饱和像素的情况下，也能够准确地处理缺陷像素。
附图说明
图1是示意性地表示本发明实施方式1的摄像系统的结构的框图。
图2是示意性地表示本发明实施方式1的摄像元件的主要部分的结构的概略图。
图3是示意性地表示本发明实施方式1的摄像元件中的缺陷像素和低饱和像素之一例的图。
图4是示意性地表示本发明实施方式1的低饱和像素信息记录部所记录的低饱和像素信息之一例的图。
图5是示意性地表示本发明实施方式1的低饱和像素信息记录部所记录的低饱和像素信息之另一例的图。
图6是表示本发明实施方式1的图像处理装置执行的噪声处理之概要的流程图。
图7是表示图6的缺陷像素检测处理之概要的流程图。
图8是表示图6的缺陷像素校正处理之概要的流程图。
图9是表示图8的方向识别处理之概要的流程图。
图10A是示意性地表示本发明实施方式1的方向识别之一例的图。
图10B是示意性地表示本发明实施方式1的方向识别之一例的图。
图10C是示意性地表示本发明实施方式1的方向识别之一例的图。
图10D是示意性地表示本发明实施方式1的方向识别之一例的图。
图10E是示意性地表示本发明实施方式1的方向识别中的关注像素的周围存在缺陷像素之一例的图。
图11是表示图6的低饱和像素校正处理之概要的流程图。
图12A是示意性地说明本发明实施方式1的低饱和像素校正部进行的插值A判断之概要的图。
图12B是示意性地说明本发明实施方式1的低饱和像素校正部进行的插值A判断之概要的图。
图12C是示意性地说明本发明实施方式1的低饱和像素校正部进行的插值A判断之概要的图。
图13是表示本发明实施方式1的变形例的缺陷像素检测处理之概要的流程图。
图14是示意性地说明本发明实施方式1的变形例中缺陷像素检测部计算平均值的方法的图。
图15是示意性地表示本发明实施方式2的摄像系统的结构的框图。
图16是表示本发明实施方式2的图像处理装置执行的噪声处理之概要的流程图。
具体实施方式
下面参照附图说明用于实施本发明的方式(下文称“实施方式”)。不过，本发明并不限定于下面说明的实施方式。在附图的记载中，对于同一部分标注同一标记进行说明。
(实施方式1)
[摄像系统的结构]
图1是示意性地表示本发明实施方式1的摄像系统的结构的框图。图1所示的摄像系统1包括摄像装置10、图像处理装置30和显示装置40。
[摄像装置的结构]
首先说明摄像装置10的结构。如图1所示，摄像装置10包括光学系统101、光阑102、快门103、驱动器104、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器I/F部109、记录介质110、易失性存储器111、非易失性存储器112、总线113、摄像控制部114和第一外部I/F部115。
光学系统101使用单个或多个透镜构成。光学系统101例如使用聚焦透镜和变焦透镜构成。
光阑102通过限制经光学系统101会聚的光的入射量来进行曝光调节。光阑102在后述的摄像控制部114的控制下，限制经光学系统101会聚的光的入射量。不过也可以不使用光阑102，而是使用快门103或摄像元件105的电子快门来限制光的入射量。光学系统101、光阑102可以是相对于摄像装置10可拆装的。
快门103用于将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦平面快门等构成。不过也可以不使用快门103，而是使用摄像元件105的电子快门。
驱动器104在后述的摄像控制部114的控制下对光学系统101、光阑102和快门103进行驱动。例如，驱动器104通过使光学系统101沿光轴O1移动，来改变摄像装置10的变焦倍率或调节对焦位置。
摄像元件105在后述的摄像控制部114的控制下，接收经光学系统101会聚的光并将其转换为图像数据(电信号)输出。摄像元件105使用二维状地配置有多个像素的CMOS(Complementary Metal Oxide Semiconductor)等构成。在该各像素的正面配置有拜耳阵列的RGB滤光镜。不过摄像元件105不限于拜耳阵列，例如也可以采用Fovion这样的叠层型的形式。所使用的滤光镜不限定于RGB，能够应用补色滤光镜等任意的滤光镜。也可以是，另行配置能够以时分方式照射不同颜色的光的光源，使得能够在摄像元件105中不配置滤光镜，而是使用边改变照射的颜色边依次读取到的图像来构成彩色图像。摄像元件105具有能够以电子方式控制受光量的电子快门功能。
此处，对摄像元件105的结构进行详细说明。图2是示意性地表示摄像元件105的主要部分的结构的概略图。图2所示的摄像元件105表示的是为了提高像素的开口率以提高感光度，而由多个像素共用读取电路的例子。在图2所示的摄像元件105中，对于水平方向(横向)2像素×垂直方向(纵向)4像素这8个像素配置了1个读取电路。图2说明了对水平方向(横向)2像素×垂直方向(纵向)4像素这8个像素配置1个读取电路作为1个组的例子，但在本实施方式1的摄像元件105上，上述像素和读取电路是在水平方向和垂直方向上排列而配置的。
如图2所示，摄像元件105包括：因曝光而接收光并通过进行光电转换而产生与曝光量对应的电荷的多个像素105a(光电二极管)，分别设置在多个像素105a中且根据摄像控制部114的控制而开闭的第一开关105b，传输从多个像素105a分别输出的信号(电荷)的传输线105c，储存从多个像素105a分别输出的信号的FD(Floating Diffusion)部105d，对从FD部105d输出的信号进行放大的放大器部105e，根据摄像控制部114的控制而开闭的第二开关105f，对第二开关105f进行控制的控制线105g，和传输经放大器部105e放大的电信号的传输线105h。
在这样构成的摄像元件105中，在读取与像素105a(1)～105a(8)的曝光量对应的信号作为像素值的情况下，首先，使FD部105d成为复位状态，并且摄像控制部114仅使第一开关105b(1)导通，来将像素105a(1)中产生的电荷传输到FD部105d。之后，在摄像元件105中，摄像控制部114使第二开关105f导通，利用放大器部105e对储存在FD部105d中的电荷进行放大，并将其读取(输出)为像素值。接着，摄像元件105使FD部105d成为复位状态，并且摄像控制部114仅使第一开关105b(2)导通，来将像素105a(2)中产生的电荷传输到FD部105d。之后，在摄像元件105中，摄像控制部114使第二开关105f导通，利用放大器部105e对储存在FD部105d中的电荷进行放大，并将其读取为像素值。摄像元件105通过依次进行这样的读取动作，能够将与像素105a(1)～105a(8)的曝光量对应的信号依次作为像素值输出。在本实施方式1中，FD部105d后的电路(包括FD部105d在内)起到从多个像素105a分别读取电荷的读取电路的作用。
回到图1，继续说明摄像装置10的结构。
模拟处理部106对从摄像元件105输入的模拟信号实施规定的模拟处理，之后输出到A/D转换部107。具体而言，模拟处理部106对从摄像元件105输入的模拟信号进行降噪处理和增益上调处理等。例如，模拟处理部106对模拟信号在降低了复位噪声等的基础上进行波形整形，并进行增益上调以达到目标亮度。
A/D转换部107对从模拟处理部106输入的模拟信号进行A/D转换而生成数字的图像数据(下文称“RAW图像数据”)，将其经总线113输出到易失性存储器111。A/D转换部107也可以直接将RAW图像数据输出到后述的摄像装置10的各部。也可以是，将上述的模拟处理部106和A/D转换部107设置在摄像元件105中，由摄像元件105直接输出数字的RAW图像数据。
操作部108对摄像装置10发出各种指示。具体而言，操作部108具有电源开关、快门释放开关、操作开关和动态图像开关等，其中，电源开关用于将摄像装置10的电源装置切换为开状态或关状态，快门释放开关用于发出拍摄静止图像的指示，操作开关用于切换摄像装置10的各种设定，动态图像开关用于发出拍摄动态图像的指示。
记录介质110使用从摄像装置10外部安装的存储卡构成，能够经存储器I/F部109以可拆装的方式安装在摄像装置10上。记录介质110可以在摄像控制部114的控制下，经存储器I/F部109对非易失性存储器112输出程序和各种信息。
易失性存储器111临时记录从A/D转换部107经总线113输入的图像数据。例如，易失性存储器111临时记录从摄像元件105经模拟处理部106、A/D转换部107和总线113按每一帧依次输出的图像数据。易失性存储器111使用SDRAM(Synchronous Dynamic RandomAccess Memory)等构成。
非易失性存储器112使用Flash存储器等构成。其记录用于使摄像装置10工作的各种程序、程序执行时使用的各种数据。非易失性存储器112包括程序记录部112a、缺陷像素信息记录部112b和低饱和像素信息记录部112c，其中，缺陷像素信息记录部112b记录与摄像元件105中的像素的位置对应的缺陷像素的位置信息(位置信息包括用于读取像素值的读取电路(放大器部105e的位置信息)和产生了缺陷像素的像素的位置信息中的任一者或两者)，低饱和像素信息记录部112c记录与摄像元件105中的像素的位置对应的低饱和像素的位置信息(位置信息包括用于读取像素值的读取电路(放大器部105e的位置信息)和产生了低饱和像素的像素的位置信息中的任一者或两者)。此处，缺陷像素指的是白缺陷、黑缺陷和闪烁缺陷噪声中的任一者。
总线113是使用将摄像装置10的各构成部位连接的传输路径等构成的，将摄像装置10的内部产生的各种数据传输到摄像装置10的各构成部位。
摄像控制部114使用CPU(Central Processing Unit)等构成，根据来自操作部108的指示信号或快门释放信号，对构成摄像装置10的各部发出指示或进行数据传输等，从而综合控制摄像装置10的动作。例如，摄像控制部114在从操作部108输入了第二快门释放信号的情况下，开始摄像装置10中的拍摄动作的控制。此处，摄像装置10中的拍摄动作指的是摄像元件105的曝光时机、模拟信号的输出时机、以及由模拟处理部106和A/D转换部107对摄像元件105输出的模拟信号实施规定的处理的动作。像这样实施了处理的图像数据，在摄像控制部114的控制下，经总线113和存储器I/F部109被记录在记录介质110中。
第一外部I/F部115将外部设备输入的信息经总线113输出到非易失性存储器112或易失性存储器111，并经总线113对外部设备输出易失性存储器111记录的信息、非易失性存储器112记录的信息和摄像元件105生成的图像数据。具体而言，第一外部I/F部115经总线113对图像处理装置30输出摄像元件105生成的图像数据、缺陷像素信息和低饱和像素信息。
[图像处理装置的结构]
接着说明图像处理装置30的结构。图像处理装置30包括第三外部I/F部31、噪声处理部32、图像处理部33、操作部34、记录部35和图像处理控制部36。
第三外部I/F部31作为获取部工作，该获取部经摄像装置10的第一外部I/F部115获取由摄像元件105生成的图像数据、由非易失性存储器112内的缺陷像素信息记录部112b记录的缺陷像素信息和由低饱和像素信息记录部112c记录的低饱和像素信息，并将获取的图像数据、缺陷像素信息和低饱和像素信息输出到噪声处理部32和记录部35。第三外部I/F部31和第一外部I/F部115例如通过可双向交互信息的控制线缆或无线通信等连接。本实施方式中，第三外部I/F部31作为获取部发挥功能。
噪声处理部32对于从第三外部I/F部31输入的RAW图像，基于饱和水平(level)对因缺陷像素导致的噪声进行处理，并将处理后的数据输出到图像处理部33。噪声处理部32包括缺陷像素检测部51、缺陷像素校正部52和低饱和像素校正部53。
缺陷像素检测部51使用RAW图像数据检测缺陷像素和缺陷像素的水平。具体而言，缺陷像素检测部51基于饱和水平检测缺陷像素。而缺陷像素的水平(下文称“缺陷像素水平”)随摄像元件105的状态(例如温度和电压等)而变化。因此，在本实施方式1中，缺陷像素检测部51至少使用RAW图像数据来检测缺陷像素水平。缺陷像素检测部51可以构成为输入缺陷像素的位置作为缺陷像素信息来检测缺陷像素水平，也可以构成为检测缺陷像素的位置和水平这两者。此外也可以是，缺陷像素检测部51仅检测缺陷像素的位置，并在后述的低饱和像素校正部53中不使用缺陷像素(将缺陷像素排除在外)而是使用低饱和像素的周围像素进行校正。
缺陷像素校正部52基于饱和水平对RAW图像数据中的缺陷像素进行校正。具体而言，缺陷像素校正部52基于缺陷像素检测部51检测出的缺陷像素水平，对缺陷像素进行校正。缺陷像素校正部52也可以仅使用缺陷像素的位置，通过使用缺陷像素的周围像素来进行校正。
低饱和像素校正部53对RAW图像数据的低饱和像素进行校正。具体而言，低饱和像素校正部53基于低饱和像素信息(包括关于缺陷像素以外的低饱和像素的低饱和像素的位置及其饱和水平的信息，和关于缺陷像素的缺陷像素的位置及其饱和水平的信息)，在低饱和像素发生了饱和的情况下，以其像素值成为与低饱和像素的周围像素同样的像素值的方式进行校正，而在低饱和像素未发生饱和的情况下，直接输出低饱和像素的像素值。
图像处理部33对通过噪声处理部32校正了噪声的图像数据进行规定的图像处理，并将处理后的数据输出到显示装置40。此处，在规定的图像处理中至少进行基本的图像处理，其包括：光学黑体减除处理、白平衡调节处理、摄像元件105为拜耳阵列的情况下的图像数据的颜色同步处理(插值处理)、颜色矩阵运算处理、γ校正处理、颜色复现处理和边缘增强处理等。图像处理部33基于预先设定的各图像处理的参数，进行用于复现自然的图像的图像处理。此处，各图像处理的参数指的是对比度、锐度、彩度、白平衡和灰阶的值。
操作部34接受关于图像处理装置30的各种操作信号的输入。操作部34例如使用十字键、按钮和触摸面板等构成。
记录部35使用易失性存储器或非易失性存储器构成，记录从第三外部I/F部31输出的缺陷像素信息和低饱和像素信息。记录部35也可以记录由上述噪声处理部32检测出的缺陷像素的位置、缺陷像素水平和饱和水平。
图像处理控制部36综合控制构成图像处理装置30的各部。图像处理控制部36使用CPU等构成。图像处理控制部36控制构成图像处理装置30的各部的指示和数据等的传输。
[显示装置的结构]
接着说明显示装置40的结构。显示装置40显示与从图像处理装置30输入的图像数据对应的图像。显示装置40使用液晶或有机EL(Electro Luminescence)等显示面板等构成。
在上述结构的摄像系统1中，图像处理装置30对摄像元件105中产生的缺陷像素和/或低饱和像素进行校正，显示装置40显示与经图像处理装置30实施了图像处理的图像数据对应的图像。
[低饱和像素信息]
接着说明低饱和像素信息记录部112c记录的低饱和像素信息。图3是示意性地表示摄像元件中的缺陷像素和低饱和像素之一例的图。图4是示意性地表示低饱和像素信息记录部112c记录的低饱和像素信息之一例的图。图5是示意性地表示低饱和像素信息记录部112c记录的低饱和像素信息之另一例的图。图3中，像素P1表示正常的像素(无阴影线)，像素P2(有阴影线)表示白缺陷、黑缺陷或闪烁缺陷噪声等缺陷像素，像素P3(有阴影线)表示低饱和像素。图4中，像素P10、像素P11表示低饱和像素。
如图3～图5所示，在低饱和像素信息中，关联地记录了每个像素的位置信息和利用检测装置等预先检测出的饱和水平。作为其记录方法存在获取饱和水平映射图——其中对摄像元件105生成的RAW图像数据中的多个像素分别设定了饱和水平——的方法(参照图4)，和关联地获取低饱和像素的坐标(地址)和饱和水平的方法(参照图5)。在采用关联地获取低饱和像素的坐标(地址)和饱和水平的方法的情况下，记录低饱和像素的坐标及其饱和水平并记录低饱和像素以外的像素的饱和水平，在其中记录有要参照(查找)饱和水平的坐标的情况下使用对应的饱和水平，而在未记录有要参照饱和水平的坐标的情况下使用低饱和像素以外的像素的饱和水平。其中，对于低饱和像素之外的像素，在充分饱和的情况下，可以将像素值的最大值(例如12比特的情况下为4095)作为饱和水平。
图5和图6以与像素的位置对应的方式记录了饱和水平，但在饱和水平会因读取电路而下降的情况下，也可以采用与读取电路的位置对应的方式记录饱和水平(当然也可以利用图4和图5所示的方法记录饱和水平)。该情况下，可以在读取了所记录的信息之后，通过使共用读取电路的像素为相同的饱和水平等，来将所记录的信息转换为像素单位的饱和水平，并将转换后的信息作为低饱和像素信息。
对于各像素的饱和水平，优选在考虑了像素值的线性关系(linearity)和随机噪声等的基础上决定饱和水平。例如，可以从完全饱和等条件下曝光得到的图像的像素值减去基于其亮度的随机噪声量的值，将得到的值作为该像素的饱和水平。也可以将能够导致线性关系丧失的像素值作为饱和水平。当然，也可以在考虑了两者的基础上设定饱和水平。
[图像处理装置的处理]
接着说明图像处理装置30执行的处理。图6是表示图像处理装置30执行的噪声处理之概要的流程图，是图像处理装置30执行的主过程的流程图。
如图6所示，首先，缺陷像素检测部51对从第三外部I/F部31输入的RAW图像执行检测缺陷像素的缺陷像素检测处理(步骤S101)。缺陷像素检测处理的细节将在后文叙述。
接着，缺陷像素校正部52执行对RAW图像中的缺陷像素进行校正的缺陷像素校正处理(步骤S102)。缺陷像素校正处理的细节将在后文叙述。
之后，低饱和像素校正部53执行对RAW图像中的低饱和像素进行校正的低饱和像素校正处理(步骤S103)。低饱和像素校正处理的细节将在后文叙述。在步骤S103之后，图像处理装置30结束本处理。
[缺陷像素检测处理的概要]
接着，对图6的步骤S101中说明的缺陷像素检测处理的细节进行说明。图7是表示缺陷像素检测处理之概要的流程图，是图像处理装置30执行的子过程的流程图。
如图7所示，首先，缺陷像素检测部51将表示RAW图像中的垂直方向位置的计数器y复位(y＝0)(步骤S201)，并将表示RAW图像中的水平方向位置的计数器x复位(x＝0)(步骤S202)。在下文中，表示RAW图像中的垂直方向位置的计数器y以RAW图像的上端为0，表示RAW图像中的水平方向位置的计数器x以RAW图像的左端为0。
接着，缺陷像素检测部51判断关注像素的像素值是否小于关注像素的饱和水平(步骤S203)，在关注像素的像素值小于关注像素的饱和水平的情况下(步骤S203：是)，转移至后述的步骤S204，在关注像素的像素值不小于关注像素的饱和水平的情况下(步骤S203：否)，转移至后述的步骤S213。缺陷像素检测部51也可以采用这样的方式，即，判断关注像素和关注像素附近(例如5×5范围的同色像素(参照像素))的全部或一部分是否分别小于各像素的饱和水平。该情况下，可以在缺陷像素检测部51判断为关注像素和该关注像素附近(例如5×5范围的同色像素)的全部或一部分分别小于各像素的饱和水平时(对关注像素附近的全部像素判断是否是小于饱和水平的非饱和像素(正常像素)，其中包括规定像素数以上(例如2个以上)小于各像素的饱和水平的情况)，缺陷像素检测部51转移至后述的步骤S204，而在不小于各像素的饱和水平时，缺陷像素检测部51转移至后述的步骤S213。
在步骤S204中，缺陷像素检测部51基于关注像素和关注像素附近(例如5×5范围的同色像素)的各像素值计算偏差程度。此处，偏差程度是利用标准差、四分位距、分布范围等各种统计方法计算的。该情况下，缺陷像素检测部51在关注像素的周围像素已饱和的情况下，可以将已饱和的像素的像素值排除在外来计算偏差程度。缺陷像素检测部51也可以在周围像素已饱和的情况下，减小该像素的权重来计算偏差程度。例如，缺陷像素检测部51在计算方差(标准差)作为偏差程度的情况下，可以对各像素值与平均值之差的平方求加权平均。
接着，缺陷像素检测部51判断偏差程度是否小于阈值(步骤S205)，在偏差程度小于阈值的情况下(步骤S205：是)，转移至后述的步骤S206，在偏差程度不小于阈值的情况下(步骤S205：否)，转移至后述的步骤S213。
在步骤S206中，缺陷像素检测部51基于关注像素和关注像素附近(例如5×5范围的同色像素)的各像素的像素值计算平均值。该情况下，缺陷像素检测部51可以将已饱和的像素排除在外来计算平均值。缺陷像素检测部51也可以减小已饱和的像素的权重来计算加权平均。此外，缺陷像素检测部51也可以不使用平均值而是使用中位数或算术平均等其他有望实现降低噪声之效果的统计值。在摄像元件具有滤色镜的情况下，缺陷像素检测部51可以计算关注像素的像素值和与关注像素同色的周边像素的像素值的平均值。
接着，缺陷像素检测部51计算关注像素的像素值与平均值之差(步骤S207)。
之后，缺陷像素检测部51判断关注像素的像素值与平均值之差的绝对值是否小于阈值(步骤S208)，在关注像素的像素值与平均值之差的绝对值小于阈值的情况下(步骤S208：是)，转移至后述的步骤S209，在关注像素的像素值与平均值之差的绝对值不小于阈值的情况下(步骤S208：否)，转移至后述的步骤S210。
在步骤S209中，缺陷像素检测部51在关注像素的地址信息已被登记为缺陷像素信息的情况下，解除该关注像素的地址信息的登记。在步骤S209之后，图像处理装置30转移至后述的步骤S211。
在步骤S210中，缺陷像素检测部51在关注像素的地址信息没有被登记为缺陷像素信息的情况下，在缺陷像素信息中登记该关注像素的地址信息。在步骤S210之后，图像处理装置30转移至后述的步骤S211。
在步骤S211中，缺陷像素检测部51判断关注像素的地址信息是否已被登记为缺陷像素信息，在关注像素的地址信息已被登记为缺陷像素信息的情况下(步骤S211：是)，转移至后述的步骤S212，在关注像素的地址信息没有被登记为缺陷像素信息的情况下(步骤S211：否)，转移至后述的步骤S213。
在步骤S212中，缺陷像素检测部51使用关注像素的像素值与平均值之差(此处使用关注像素的像素值减去平均值得到的值)更新缺陷像素信息中的与关注像素对应的缺陷像素水平。该情况下，由于关注像素的像素值与平均值之差存在因随机噪声和被摄体等而发生变动的情况，缺陷像素检测部51可以在使用公知的方法抑制缺陷像素水平的变动的同时进行更新。
接着，缺陷像素检测部51使表示RAW图像中的水平方向位置的计数器x递增(x＝x+1)(步骤S213)，判断计数器x是否小于RAW图像的图像宽度(步骤S214)，在计数器x小于RAW图像的图像宽度的情况下(步骤S214：是)，缺陷像素检测部51返回上述步骤S203，在计数器x不小于RAW图像的图像宽度的情况下(步骤S214：否)，缺陷像素检测部51转移至步骤S215。
接着，缺陷像素检测部51使表示RAW图像中的垂直方向位置的计数器y递增(y＝y+1)(步骤S215)，判断计数器y是否小于RAW图像的图像高度(步骤S216)，在计数器y小于RAW图像的图像高度的情况下(步骤S216：是)，缺陷像素检测部51返回上述步骤S202，在计数器y不小于RAW图像的图像高度的情况下(步骤S216：否)，缺陷像素检测部51结束本处理，返回图6的主过程。
像这样，缺陷像素检测部51通过进行缺陷像素检测处理，在关注像素或者关注像素的周围像素中存在低饱和像素的情况下，在周围像素发生饱和时将低饱和像素排除在外，所以能够避免出现错误地检测出缺陷像素、或者错误地计算缺陷像素水平、或者没有更新缺陷像素水平之状况，即使在缺陷像素的附近存在低饱和像素的情况下，也能够准确地进行缺陷像素的检测和缺陷像素水平的检测。
缺陷像素检测部51在图7的缺陷像素检测处理中进行了缺陷像素的解除和登记(参照步骤S209和步骤S210)，但也可以省略缺陷像素的解除和登记之各步骤，仅对预先检测出的缺陷像素进行缺陷像素水平的更新。进而，由于是否为缺陷像素的判断结果可能会因随机噪声等而频繁地切换，因此缺陷像素检测部51也可以利用公知的方法——例如进行迟滞控制等，使得判断结果不会频繁地切换。
[缺陷像素校正处理的概要]
接着，对图6的步骤S102中说明的缺陷像素校正处理的细节进行说明。图8是表示缺陷像素校正处理之概要的流程图，是图像处理装置30执行的子过程的流程图。
如图8所示，首先，缺陷像素校正部52将表示RAW图像中的垂直方向位置的计数器y复位(y＝0)(步骤S301)，并将表示RAW图像中的水平方向位置的计数器x复位(x＝0)(步骤S302)。在下文中，表示RAW图像中的垂直方向位置的计数器y以RAW图像的上端为0，表示RAW图像中的水平方向位置的计数器x以RAW图像的左端为0。
接着，缺陷像素校正部52判断关注像素是否为缺陷像素(步骤S303)，在关注像素是缺陷像素的情况下(步骤S303：是)，转移至后述的步骤S304，在关注像素不是缺陷像素的情况下(步骤S303：否)，转移至后述的步骤S310。
在步骤S304中，缺陷像素校正部52从关注像素的像素值中减去缺陷像素水平，计算校正候选值。
接着，缺陷像素校正部52执行方向识别处理(步骤S305)，该方向识别处理用于识别与关注像素相关性高的方向。在步骤S305之后，缺陷像素校正部52转移至后述的步骤S306。
[方向识别处理的概要]
图9是表示图8的步骤S304的方向识别处理之概要的流程图。如图9所示，首先，缺陷像素校正部52将表示方向的索引i复位(i＝0)(步骤S401)，计算i方向的相关值(步骤S402)。
图10A是示意性地表示本发明实施方式1的方向识别之一例的图，是方向识别所针对的方向为方向0的图。图10B是示意性地表示本发明实施方式1的方向识别之一例的图，是方向识别所针对的方向为方向1的图。图10C是示意性地表示本发明实施方式1的方向识别之一例的图，是方向识别所针对的方向为方向2的图。图10D是示意性地表示本发明实施方式1的方向识别之一例的图，是方向识别所针对的方向为方向3的图。
如图10A～图10D所示，缺陷像素校正部52在9×9范围内，计算与关注像素P100(R像素)同色的相邻像素之间(图10A～图10D的箭头A1)的差值的绝对值，将计算出的差值的绝对值的平均计算为相关值。该情况下，相关值越小，该方向的相关性值越高。如图10E所示，在相邻像素中的某一个是缺陷像素的情况下(参照图10E的像素P101)，缺陷像素校正部52不计算与该像素之间的差值。进而，缺陷像素校正部52也可以考虑饱和水平，仅在相邻像素都是未达到饱和水平的像素、并且不是缺陷像素的情况下，计算差值的绝对值。在图10A～图10D中，缺陷像素校正部52使用了9×9的像素内的一部分的相邻像素之间的差值的绝对值，但也可以使用全部的相邻像素之间的差值的绝对值。例如，对于图10C的方向2即水平方向的情况，缺陷像素校正部52使用了3行的R像素，但也可以在图10C的情况下使用5行的R像素。另外，在能够计算出的差值的绝对值的数量是0的情况下(全部是缺陷像素的情况等)，将该方向的相关值设定为作为差值的绝对值的平均值可以取到的最大值(相关性最小的值)。
之后，缺陷像素校正部52使表示方向的索引i递增(i＝i+1)(步骤S403)，判断表示方向的索引i是否小于方向数(步骤S404)，在表示方向的索引i小于方向数的情况下(在图10A～图10D所示的例子中，为索引i小于4的情况)(步骤S404：是)，缺陷像素校正部52返回上述步骤S402，在表示方向的索引i不小于方向数的情况下(步骤S404：否)，缺陷像素校正部52转移至后述的步骤S405。
在步骤S405中，缺陷像素校正部52将相关性最高的方向确定为对关注像素的方向识别结果。此时，在所有方向的相关性相同的情况下，缺陷像素校正部52将规定方向(例如i为0的方向)确定为方向识别结果。在步骤S405之后，图像处理装置30返回图8的子过程。
这样，缺陷像素校正部52通过进行方向识别处理，即使在关注像素的周围存在缺陷像素的情况下，也能够判断与关注像素相关性高的方向。缺陷像素校正部52在进行方向识别处理的情况下，考虑到低饱和像素，也可以使用未发生饱和的像素进行方向识别处理。由此，即使在关注像素的周围存在低饱和像素的情况下，也能够准确地进行方向识别。进而，缺陷像素校正部52并不必须进行方向识别处理，能够使用公知的技术——例如块匹配等技术，来判断关注像素与周围像素的相关性。
回到图8，继续步骤S306以后的说明。
在步骤S306中，缺陷像素校正部52基于方向识别结果，使用相关性高的方向上的不是缺陷像素的像素的像素值来计算周围插补值。此处，周围插补值例如是关注像素周围5×5范围内的相关性高的方向上的不是缺陷像素、并且未发生饱和的像素的平均值。也可以是，使用缺陷像素以外的像素并减小已饱和的像素的权重来求得加权平均值，使用该加权平均值作为周围插补值。在关注像素周围5×5范围内的相关性高的方向上不存在不是缺陷像素、并且未发生饱和的像素的情况下，缺陷像素校正部52可以将关注像素周围的像素的统计值——例如周围5×5范围内的中位数等——作为周围插补值。在摄像元件具有滤色镜的情况下，缺陷像素校正部52使用关注像素和与该关注像素同色的像素的像素值计算周围插补值。
接着，缺陷像素校正部52判断校正候选值是否小于周围插补值(步骤S307)，在校正候选值小于周围插补值的情况下(步骤S307：是)，将周围插补值作为关注像素的像素值输出(步骤S308)。具体而言，缺陷像素校正部52在校正候选值小于周围插补值的情况下，因为存在过度校正的可能性，所以将周围插补值作为校正结果输出。在步骤S308之后，缺陷像素校正部52转移至后述的步骤S311。此时，缺陷像素校正部52也可以在校正候选值与周围插补值之差为规定值以上的情况下判断为“是”，而在小于规定值的情况下判断为“否”。由此，能够防止白缺陷的过度校正和黑缺陷的校正不足。即，通过对差进行比较，能够防止过度校正和校正不足。
在步骤S307中，在校正候选值不小于周围插补值的情况下(步骤S307：否)，缺陷像素校正部52将校正候选值作为关注像素的像素值输出(步骤S309)。在步骤S309之后，缺陷像素校正部52转移至后述的步骤S311。
在步骤S310中，在关于像素不是缺陷像素的情况下(步骤S303：否)，因为不需要校正，所以缺陷像素校正部52直接输出关注像素的像素值。在步骤S310之后，缺陷像素校正部52转移至后述的步骤S311。
接着，缺陷像素校正部52使表示RAW图像中的水平方向位置的计数器x递增(x＝x+1)(步骤S311)，判断计数器x是否小于RAW图像的图像宽度(步骤S312)，在计数器x小于RAW图像的图像宽度的情况下(步骤S312：是)，缺陷像素校正部52返回上述步骤S303，在计数器x不小于RAW图像的图像宽度的情况下(步骤S312：否)，缺陷像素校正部52转移至步骤S313。
接着，缺陷像素校正部52使表示RAW图像中的垂直方向位置的计数器y递增(y＝y+1)(步骤S313)，判断计数器y是否小于RAW图像的图像高度(步骤S314)，在计数器y小于RAW图像的图像高度的情况下(步骤S314：是)，缺陷像素校正部52返回上述步骤S302，在计数器y不小于RAW图像的图像高度的情况下(步骤S314：否)，缺陷像素校正部52结束本处理，返回图6的主过程。
像这样，缺陷像素校正部52通过进行缺陷像素校正处理，即使在关注像素的周围存在低饱和像素的情况下也能够准确地进行校正。
[低饱和像素校正处理的概要]
接着，对图6的步骤S103中说明的低饱和像素校正处理的细节进行说明。图11是表示低饱和像素校正处理之概要的流程图，是图像处理装置30执行的子过程的流程图。
如图11所示，首先，低饱和像素校正部53将表示RAW图像中的垂直方向位置的计数器y复位(y＝0)(步骤S501)，并将表示RAW图像中的水平方向位置的计数器x复位(x＝0)(步骤S502)。在下文中，表示RAW图像中的垂直方向位置的计数器y以RAW图像的上端为0，表示RAW图像中的水平方向位置的计数器x以RAW图像的左端为0。
接着，低饱和像素校正部53进行插值A判断(步骤S503)。具体而言，低饱和像素校正部53对关注像素的周围像素的像素值中未饱和的像素(在摄像元件具有彩色滤光镜的情况下，是关注像素和与该关注像素同色的像素)进行计数，判断计数值是否为阈值以下，在为阈值以下的情况下，设定插值A标志。
图12A是示意性地说明低饱和像素校正部53进行的插值A判断中参照的像素的图，是表示关注像素为G像素的情况的图。在图12A中，以关注像素为中心，记载了“1”的位置的像素是关注像素为G像素的情况下的同色参照像素。图12B是示意性地说明低饱和像素校正部53进行的插值A判断中参照的像素的图，是表示关注像素为R像素或B像素的情况的图。在图12B中，以关注像素为中心，记载了“1”的位置的像素是关注像素为R像素或B像素的情况下的同色参照像素。图12C是示意性地说明低饱和像素校正部53进行的插值A判断中参照的像素的图，是表示摄像元件105为单色传感器(内窥镜中采用的场序方式)的情况的图。在图12C中，以关注像素为中心，记载了“1”的像素为参照像素。
如图12A所示，低饱和像素校正部53在关注像素为G像素的情况下，对周围5×5的参照G像素中未饱和的像素进行计数，判断计数值是否为某一阈值以下，在为阈值以下的情况下，设定插值A标志。如图12B所示，低饱和像素校正部53在关注像素为R像素或B像素的情况下，对周围5×5的与关注像素同色的参照像素中未饱和的像素进行计数，判断计数值是否为某一阈值以下，在为阈值以下的情况下，设定插值A标志。如图12C所示，低饱和像素校正部53在摄像元件105为单色传感器的情况下，在周围3×3范围内，对除关注像素外的8个参照像素中未饱和的像素进行计数，判断计数值是否为某一阈值以下，在为阈值以下的情况下，设定插值A标志。
回到图11，继续步骤S504以后的说明。
在步骤S504中，低饱和像素校正部53计算关注像素的周围像素中已饱和的同色参照像素的像素值的中位数(或平均值)作为插值A插补值。具体而言，低饱和像素校正部53计算上述步骤S503的插值A判断中参照的与关注像素同色的同色参照像素中(例如记载了“1”的像素)已饱和的同色参照像素的像素值的中位数(或平均值)作为插值A插补值。
接着，低饱和像素校正部53进行插值B判断并计算插补值(步骤S505)。具体而言，首先，低饱和像素校正部53计算同色参照像素中非低饱和像素(饱和水平大于规定值的像素)的像素值的中位数。更具体而言，低饱和像素校正部53与上述步骤S503的插值A判断同样地，计算所参照的与关注像素同色的同色参照像素中(例如记载了“1”的像素)非低饱和像素(饱和水平大于规定值的像素)的像素值的中位数。接着，低饱和像素校正部53在关注像素为低饱和像素，并且关注像素已饱和且关注像素的像素值为中位数以下的情况下，设定插值B标志，将中位数设定为插值B插补值。
之后，低饱和像素校正部53判断关注像素是否被设定了插值B标志且关注像素的像素值是否小于插值B插补值(步骤S506)，在关注像素被设定了插值B标志且关注像素的像素值小于插值B插补值的情况下(步骤S506：是)，低饱和像素校正部53转移至后述的步骤S507，在关注像素没有被设定插值B标志或关注像素的像素值不小于插值B插补值的情况下(步骤S506：否)，低饱和像素校正部53转移至后述的步骤S508。
在步骤S507中，低饱和像素校正部53输出插值B插补值作为关注像素的像素值。在步骤S507之后，低饱和像素校正部53转移至后述的步骤S511。
在步骤S508中，低饱和像素校正部53判断关注像素是否被设定了插值A标志且关注像素的像素值是否小于插值A插补值(步骤S508)，在关注像素被设定了插值A标志且关注像素的像素值小于插值A插补值的情况下(步骤S508：是)，输出插值A插补值作为关注像素的像素值(步骤S509)。在步骤S509之后，低饱和像素校正部53转移至后述的步骤S511。
在步骤S508中，在关注像素没有被设定插值A标志，或者关注像素的像素值不小于插值A插补值的情况下(步骤S508：否)，低饱和像素校正部53将输入像素值直接输出，作为关注像素的像素值(步骤S510)。在步骤S510之后，低饱和像素校正部53转移至后述的步骤S511。
在步骤S511中，低饱和像素校正部53使表示RAW图像中的水平方向位置的计数器x递增(x＝x+1)(步骤S511)，判断计数器x是否小于RAW图像的图像宽度(步骤S512)，在计数器x小于RAW图像的图像宽度的情况下(步骤S512：是)，低饱和像素校正部53返回上述步骤S503，在计数器x不小于RAW图像的图像宽度的情况下(步骤S512：否)，低饱和像素校正部53转移至步骤S513。
接着，低饱和像素校正部53使表示RAW图像中的垂直方向位置的计数器y递增(y＝y+1)(步骤S513)，判断计数器y是否小于RAW图像的图像高度(步骤S514)，在计数器y小于RAW图像的图像高度的情况下(步骤S514：是)，低饱和像素校正部53返回上述步骤S502，在计数器y不小于RAW图像的图像高度的情况下(步骤S514：否)，低饱和像素校正部53结束本处理，返回图6的主过程。
像这样，低饱和像素校正部53通过进行低饱和像素校正处理，即使在可能产生低饱和像素的条件下，也能够实现足够好的画质。
采用以上说明的本发明一实施方式，即使在关注像素的周围存在低饱和像素的情况下，也能够准确地处理缺陷像素。
在本发明的一个实施方式中，缺陷像素检测部51在关注像素的周围像素已饱和的情况下不更新缺陷像素水平，但也可以使用前一帧的图像数据中检测出的缺陷像素水平更新当前帧的图像数据中的缺陷像素水平。当然，也可以使用后一帧的图像数据中检测出的缺陷像素水平更新当前帧的图像数据中的缺陷像素水平。
(实施方式1的变形例)
接着说明本发明实施方式1的变形例。本发明实施方式1的变形例具有与上述实施方式1的摄像系统1同样的结构，但缺陷像素检测部51执行的缺陷像素检测处理有所不同。具体而言，在本发明实施方式1中，计算平均值时的计算方法不同。下面对本发明实施方式1的变形例的缺陷像素检测部执行的缺陷像素检测处理进行说明。对于与上述实施方式1的摄像系统1相同的部分标注相同标记并省略说明。
图13是表示本发明实施方式1的变形例的缺陷像素检测部51执行的缺陷像素检测处理之概要的流程图。图13中，步骤S601～步骤S605分别对应于上述步骤S201～步骤S205。
在步骤S606中，缺陷像素检测部51基于关注像素和关注像素附近的各像素值(在摄像元件具有滤色镜的情况下为同色的像素值)计算平均值。
图14是示意性地说明缺陷像素检测部51计算平均值的方法的图。图14中，对于关注像素100、缺陷像素或已饱和的像素P200、像素P201分别用阴影线表示。对于以关注像素P100为中心位于像素P200的点对称位置上的像素P301，和以关注像素P100为中心位于像素P201的点对称位置上的像素P300分别用阴影线表示。
如图14所示，缺陷像素检测部51将以关注像素P100为中心位于像素P200的点对称位置上的像素P301也排除在外来计算平均值。若将一部分像素排除在外，在跨边缘的情况下会受到边缘的影响，而通过将点对称的像素排除在外则能够避免其影响。如图14所示，缺陷像素检测部51在将像素P201排除在外时，也与像素P200同样地，将以关注像素P100为中心位于点对称位置上的像素P300排除在外。缺陷像素检测部51也可以不使用平均值而是使用中位数或加权平均值等其他有望实现降低噪声之效果的统计值。由此，在边缘的附近，能够在抑制边缘的影响的同时计算合适的平均值。
步骤S607～步骤S616分别对应于上述步骤S207～步骤S216。
采用以上说明的本发明实施方式1的变形例，缺陷像素检测部51将以关注像素为中心位于缺陷像素或已饱和的像素的点对称位置上的像素也排除在外来计算平均值，所以在边缘附近，能够在抑制边缘的影响的同时计算合适的平均值。
(实施方式2)
接着说明本发明实施方式2。本实施方式2的摄像系统的结构与上述实施方式1的摄像系统1不同，并且图像处理装置执行的处理也不同。下面在说明本实施方式2的摄像系统的结构之后，针对本实施方式2的图像处理装置执行的处理进行说明。对于与上述实施方式1的摄像系统相同的结构标注相同标记并省略说明。
[摄像系统的结构]
图15是示意性地表示本发明实施方式2的摄像系统的结构的框图。在图15所示的摄像系统1a中，代替上述实施方式1的摄像系统1的图像处理装置30设置有图像处理装置30a。在图像处理装置30a中，代替上述实施方式1的图像处理装置30的噪声处理部32设置有噪声处理部32a。噪声处理部32a包括缺陷像素检测部51和缺陷像素校正部52。
[图像处理装置的处理]
接着说明图像处理装置30a执行的处理。图16是表示图像处理装置30a执行的噪声处理之概要的流程图，是图像处理装置30a执行的主过程的流程图。图16中，步骤S701和步骤S702分别对应于上述图6的步骤S101和步骤S102。
采用以上说明的本发明实施方式2，即使在关注像素的周围存在低饱和像素的情况下，也能够准确地处理缺陷像素。
(其他实施方式)
本发明不限于上述实施方式，能够在本发明技术思想的范围内进行各种变形和应用。例如，除了应用于本发明的说明中使用的摄像装置以外，能够应用于可拍摄被摄体的任意设备，例如移动电话和智能手机中的设有摄像元件的便携设备、摄像机、内窥镜、监视相机、显微镜这样的通过光学设备拍摄被摄体的摄像装置。
本发明中，缺陷像素信息记录部和低饱和像素信息记录部被设置在摄像装置内，但也可以设置在上述图像处理装置内或透镜部、内窥镜主体等中，也可以在可通过网络双向通信的服务器内设置缺陷像素信息记录部和低饱和像素信息记录部，经网络获取RTS噪声信息。
本发明也可以采用这样的方式，即，在与内窥镜——该内窥镜在可插入到受检体内的插入部的前端部设置有摄像装置——连接的控制装置(处理器)中设置本发明的图像处理装置。
本发明在图像处理装置中分别设置了缺陷像素检测部、缺陷像素校正部和低饱和像素校正部，但只要设置至少1个即可。
本发明能够应用于显示或记录用图像数据以外的图像数据，例如也能够应用于这样的图像数据——OB区域的图像数据，或光学设计上不能保证成像的成像圈外的区域的图像数据等。
在本说明书的上述各动作流程图的说明中，为方便起见使用了“首先”、“接着”、“接下来”、“之后”等用语对动作进行说明，但并不意味着必须按该顺序实施动作。
上述实施方式中的图像处理装置进行的各处理的方法、即各流程图所示的处理，都能够预先记录成可使CPU等控制部执行处理的程序。除此以外，也能够保存在存储卡(ROM卡、RAM卡等)、磁盘(软盘(注册商标)、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部记录装置的记录介质中进行分发。从而，CPU等控制部能够读取记录在该外部记录装置的记录介质中的程序，并利用该读取的程序对动作进行控制来执行上述处理。
本发明不限于上述实施方式和变形例本身，在实施阶段能够在不脱离发明主旨的范围内将构成要素变形并具体化。通过将上述实施方式中公开的多个构成要素适当组合能够形成各种发明。例如，可以从上述实施方式和变形例中记载的全部构成要素中删除某些构成要素。进而，也可以将各实施方式和变形例中说明的构成要素适当地组合。
在说明书或附图中，对于至少一次曾使用过更广义或同义的不同用语的用语，在说明书或附图的任意部分都能够置换为该不同的用语。这样，能够在不脱离发明的主旨的范围内进行各种变形和应用。
附图标记说明
1 摄像系统
10 摄像装置
30 图像处理装置
31 第三外部I/F部
32 噪声处理部
33 图像处理部
34 操作部
35 记录部
36 图像处理控制部
40 显示装置
51 缺陷像素检测部
52 缺陷像素校正部
53 低饱和像素校正部
101 光学系统
102 光阑
103 快门
104 驱动器
105 摄像元件
105a 像素
105b 第一开关
105c 垂直传输线
105d FD部
105e 放大器部
105f 第二开关
105h 传输线
106 模拟处理部
107 A/D转换部
108 操作部
109 存储器I/F部
110 记录介质
111 易失性存储器
112 非易失性存储器
112a 程序记录部
112b 缺陷像素信息记录部
112c 低饱和像素信息记录部
113 总线
114 摄像控制部
115 第一外部I/F部
Claims (20)
1.一种图像处理装置，对摄像元件生成的图像数据进行处理，其中，摄像元件包括多个像素和多个读取电路，所述多个像素呈二维状配置，能够从外部接收光并生成与受光量对应的信号，所述多个读取电路读取所述信号作为像素值，所述图像处理装置对所述图像数据中包含的因缺陷像素导致的噪声进行处理，其特征在于，包括：
获取部，其获取所述摄像元件生成的所述图像数据和所述多个像素各自的饱和水平；和
噪声处理部，其基于所述获取部获取的所述饱和水平，对所述噪声进行处理。
2.如权利要求1所述的图像处理装置，其特征在于：
所述噪声处理部包括缺陷像素检测部，所述缺陷像素检测部基于所述多个像素中的关注像素的像素值和该关注像素的所述饱和水平，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
3.如权利要求2所述的图像处理装置，其特征在于：
所述缺陷像素检测部基于所述关注像素的像素值与该关注像素的所述饱和水平的比较，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
4.如权利要求3所述的图像处理装置，其特征在于：
所述缺陷像素检测部在所述关注像素的像素值比该关注像素的所述饱和水平低的情况下，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
5.如权利要求3或4所述的图像处理装置，其特征在于：
所述缺陷像素检测部在所述关注像素的像素值为该关注像素的所述饱和水平以上的情况下，使用前一帧的检测结果作为检测结果。
6.如权利要求2所述的图像处理装置，其特征在于：
所述缺陷像素检测部基于所述关注像素周围的参照像素的像素值与所述参照像素的所述饱和水平的比较，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
7.如权利要求6所述的图像处理装置，其特征在于：
所述缺陷像素检测部在所述参照像素的像素值小于所述参照像素的所述饱和水平的情况下，或者多个所述参照像素各自的像素值的至少一个分别小于多个所述参照像素的所述饱和水平的情况下，检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
8.如权利要求6所述的图像处理装置，其特征在于：
所述缺陷像素检测部判断所述参照像素是否包括2个以上像素、且是否是所述参照像素的像素值小于所述参照像素的所述饱和水平的非饱和像素，至少使用所述参照像素内的非饱和像素检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
9.如权利要求8所述的图像处理装置，其特征在于：
所述缺陷像素检测部在所述参照像素的像素值为所述参照像素的所述饱和水平以上的情况下，相比所述非饱和像素降低该像素值为所述饱和水平以上的所述参照像素的权重，来检测所述缺陷像素在所述摄像元件中的位置或者所述缺陷像素的水平。
10.如权利要求6～9中任意一项所述的图像处理装置，其特征在于：
所述缺陷像素检测部在所述参照像素的像素值为所述参照像素的所述饱和水平以上的情况下，或者所述参照像素的像素值为所述参照像素的所述饱和水平以上的像素的数量为规定阈值以上的情况下，使用前一帧的检测结果作为检测结果。
11.如权利要求1～10中任意一项所述的图像处理装置，其特征在于：
所述噪声处理部包括缺陷像素校正部，所述缺陷像素校正部基于所述多个像素各自的像素值与所述饱和水平的比较，对所述缺陷像素进行校正。
12.如权利要求11所述的图像处理装置，其特征在于：
所述缺陷像素校正部在所述关注像素周围的参照像素中包括像素值为所述饱和水平以上的饱和像素的情况下，使用除所述饱和像素外的所述参照像素对所述缺陷像素进行校正。
13.如权利要求11所述的图像处理装置，其特征在于：
所述缺陷像素校正部在所述关注像素周围的参照像素中包括像素值为所述饱和水平以上的饱和像素的情况下，相比其他的所述参照像素降低所述饱和像素的权重，来对所述缺陷像素进行校正。
14.如权利要求1～13中任意一项所述的图像处理装置，其特征在于：
所述获取部获取将所述多个像素各自的位置信息与所述饱和水平关联的饱和像素信息。
15.如权利要求1～14中任意一项所述的图像处理装置，其特征在于：
所述获取部获取饱和水平映射图，在所述饱和水平映射图中，针对所述图像数据中的所述多个像素分别设定了所述饱和水平。
16.如权利要求1～15中任意一项所述的图像处理装置，其特征在于：
所述噪声处理部包括低饱和像素校正部，所述低饱和像素校正部基于所述多个像素各自的像素值与所述饱和水平的比较，对该饱和水平比其他像素低的低饱和像素进行校正。
17.如权利要求1～16中任意一项所述的图像处理装置，其特征在于：
所述噪声是与明暗无关地产生的噪声。
18.如权利要求1～17中任意一项所述的图像处理装置，其特征在于：
所述缺陷像素是白缺陷、黑缺陷或闪烁缺陷噪声中的任一种。
19.一种由图像处理装置执行的图像处理方法，所述图像处理装置对摄像元件生成的图像数据进行处理，其中，摄像元件包括多个像素和多个读取电路，所述多个像素呈二维状配置，能够从外部接收光并生成与受光量对应的信号，所述多个读取电路读取所述信号作为像素值，所述图像处理装置对所述图像数据中包含的因缺陷像素导致的噪声进行校正，
所述图像处理方法的特征在于，包括：
获取步骤，获取所述摄像元件生成的所述图像数据和所述多个像素各自的饱和水平；和
噪声处理步骤，基于所述获取步骤中获取的所述饱和水平，对所述噪声进行处理。
20.一种程序，其特征在于：
使图像处理装置执行下述步骤，
所述图像处理装置对摄像元件生成的图像数据进行处理，其中，摄像元件包括多个像素和多个读取电路，所述多个像素呈二维状配置，能够从外部接收光并生成与受光量对应的信号，所述多个读取电路读取所述信号作为像素值，所述图像处理装置对所述图像数据中包含的因缺陷像素导致的噪声进行校正，
所述步骤包括：
获取步骤，获取所述摄像元件生成的所述图像数据和所述多个像素各自的饱和水平；和
噪声处理步骤，基于所述获取步骤中获取的所述饱和水平，对所述噪声进行处理。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/072442 WO2018020685A1 (ja) | 2016-07-29 | 2016-07-29 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109565558A true CN109565558A (zh) | 2019-04-02 |
| CN109565558B CN109565558B (zh) | 2021-03-26 |
Family
ID=61015943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680088003.2A Active CN109565558B (zh) | 2016-07-29 | 2016-07-29 | 图像处理装置、图像处理方法和存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10791290B2 (zh) |
| JP (1) | JP6889720B2 (zh) |
| CN (1) | CN109565558B (zh) |
| WO (1) | WO2018020685A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019208339A1 (ja) | 2018-04-27 | 2019-10-31 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1574915A (zh) * | 2003-05-15 | 2005-02-02 | 松下电器产业株式会社 | 图像缺陷校正设备及方法 |
| US20120294527A1 (en) * | 2011-05-19 | 2012-11-22 | Rastislav Lukac | Method for processing highlights and saturated regions in a digital image |
| US20120314107A1 (en) * | 2011-06-07 | 2012-12-13 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing method, and solid-state imaging apparatus |
| CN103733608A (zh) * | 2011-08-09 | 2014-04-16 | 佳能株式会社 | 图像处理设备及其控制方法 |
| CN103858422A (zh) * | 2012-04-10 | 2014-06-11 | 奥林巴斯医疗株式会社 | 摄像装置 |
| CN104067611A (zh) * | 2012-01-24 | 2014-09-24 | 索尼公司 | 图像处理设备、图像处理方法及程序 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4453332B2 (ja) * | 2003-10-17 | 2010-04-21 | ソニー株式会社 | 欠陥画素検出方法、検出装置および撮像装置 |
| US7932938B2 (en) * | 2006-08-25 | 2011-04-26 | Micron Technology, Inc. | Method, apparatus and system providing adjustment of pixel defect map |
| JP5013812B2 (ja) * | 2006-10-26 | 2012-08-29 | キヤノン株式会社 | 撮像装置及び補正方法 |
| US8203629B2 (en) | 2006-10-26 | 2012-06-19 | Canon Kabushiki Kaisha | Image sensing apparatus and correction method |
| JP5235823B2 (ja) * | 2009-08-28 | 2013-07-10 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム |
| US8902336B2 (en) * | 2013-01-30 | 2014-12-02 | Altasens, Inc. | Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures |
| JP6762365B2 (ja) * | 2016-08-02 | 2020-09-30 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2016
- 2016-07-29 JP JP2018529340A patent/JP6889720B2/ja active Active
- 2016-07-29 CN CN201680088003.2A patent/CN109565558B/zh active Active
- 2016-07-29 WO PCT/JP2016/072442 patent/WO2018020685A1/ja active Application Filing
-
2019
- 2019-01-15 US US16/247,691 patent/US10791290B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1574915A (zh) * | 2003-05-15 | 2005-02-02 | 松下电器产业株式会社 | 图像缺陷校正设备及方法 |
| US20120294527A1 (en) * | 2011-05-19 | 2012-11-22 | Rastislav Lukac | Method for processing highlights and saturated regions in a digital image |
| US20120314107A1 (en) * | 2011-06-07 | 2012-12-13 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing method, and solid-state imaging apparatus |
| CN103733608A (zh) * | 2011-08-09 | 2014-04-16 | 佳能株式会社 | 图像处理设备及其控制方法 |
| CN104067611A (zh) * | 2012-01-24 | 2014-09-24 | 索尼公司 | 图像处理设备、图像处理方法及程序 |
| CN103858422A (zh) * | 2012-04-10 | 2014-06-11 | 奥林巴斯医疗株式会社 | 摄像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10791290B2 (en) | 2020-09-29 |
| WO2018020685A1 (ja) | 2018-02-01 |
| JP6889720B2 (ja) | 2021-06-18 |
| JPWO2018020685A1 (ja) | 2019-05-09 |
| US20190238771A1 (en) | 2019-08-01 |
| CN109565558B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106966275B (zh) | 电梯系统 | |
| CN105284103B (zh) | 电子传感器和用于控制电子传感器的方法 | |
| CN107113384B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
| CN105611122A (zh) | 图像传感器及输出方法、相位对焦方法、成像装置和终端 | |
| US20070171298A1 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
| JP6606231B2 (ja) | 色画像を生成するカメラおよび方法 | |
| CN105453133A (zh) | 图像处理装置和方法、眼底图像处理装置、图像拍摄方法、及眼底图像拍摄装置和方法 | |
| JP2006317406A (ja) | 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置 | |
| CN107113383A (zh) | 图像处理装置、图像处理方法和程序 | |
| JP2009219096A (ja) | 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム | |
| CN104867127A (zh) | 图像处理设备、图像处理方法和程序 | |
| CN104919352B (zh) | 摄像装置和图像校正方法以及图像处理装置和图像处理方法 | |
| CN106027917A (zh) | 摄像设备及其控制方法 | |
| CN106716990A (zh) | 红外线摄像装置、固定图案噪声计算方法及固定图案噪声计算程序 | |
| CN109565558A (zh) | 图像处理装置、图像处理方法和程序 | |
| CN109565556A (zh) | 图像处理装置、图像处理方法和程序 | |
| CN105144697A (zh) | 摄像装置、照相机系统以及图像处理方法 | |
| Yang et al. | Real‐time illumination adjustment for video deflectometers | |
| JP2007047415A5 (zh) | ||
| CN104780322B (zh) | 摄像装置、摄像方法、图像处理装置 | |
| CN107431741A (zh) | 图像处理装置、图像处理方法以及程序 | |
| CN109479100A (zh) | 图像处理装置、图像处理方法和程序 | |
| CN108989773A (zh) | 用于改善图像质量的方法以及近红外敏感摄像机 | |
| JP2005260453A (ja) | 赤外線画像補正装置 | |
| Gosselink et al. | TOD characterization of the Gatekeeper electro-optical security system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |