CN107710733B - 图像处理装置、图像处理方法以及存储介质 - Google Patents

Abstract

提供图像处理装置、图像处理方法以及程序，能够高精度地对在包含缺陷像素和闪烁缺陷像素在内的摄像元件中生成的图像数据校正缺陷像素和闪烁缺陷像素。图像处理装置(30)具有：第三外部接口部(31)，其获取包含产生缺陷像素噪声的读出电路的位置信息或多个像素各自的位置信息在内的缺陷像素信息、将读出电路的位置信息或多个像素各自的位置信息和与起因于读出电路的闪烁缺陷噪声相关的特征量对应起来而成的闪烁缺陷噪声信息、以及摄像元件所生成的所述图像数据；以及噪声降低部(32)，其根据第三外部接口部(31)所获取的缺陷像素信息和闪烁缺陷噪声信息对图像数据降低缺陷像素噪声和闪烁缺陷噪声中的任何一方的噪声，然后降低另一方的噪声。

Description

图像处理装置、图像处理方法以及存储介质

技术领域

本发明涉及对闪烁缺陷噪声和缺陷像素噪声进行校正的的图像处理装置、图像处理方法以及存储介质，所述闪烁缺陷噪声和缺陷像素噪声是在摄像元件中产生的RTS噪声那样的像素值在一定范围内变动的噪声，所述摄像元件具有配置为二维状的多个像素。

背景技术

近年来，在CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件中，像素和从该像素读出信号的读出电路的微细化正在推进。在这样的被微细化的读出电路中，感光度的降低和各种噪声的增加成为问题。针对感光度的降低，通过采用使多个像素共享一个读出电路而读出信号的共享像素构造，减小了摄像元件中的电路所需的面积，通过使各像素的开口率(受光部的比例)提高而使感光度提高。

另一方面，在摄像元件中产生的噪声中，除了暗电流所引起的暗电流散粒噪声和起因于读出电路中的热噪声等的随机噪声以外，还至少存在在某种条件下像素值始终表示异常值的缺陷像素噪声(缺陷像素)、以及像素值随机变动的闪烁缺陷噪声等。在这样的缺陷像素中，存在像素值比周边的像素的像素值高的白损伤和像素值比周边的像素的像素值低的黑损伤。这里，在白损伤中包含始终发白(比周围的像素明亮)的损伤、在特定条件例如温度、曝光量以及曝光时间等发白(比周围的像素明亮)的损伤。另外，在黑损伤中包含始终发黑(比周围的像素暗)的损伤、在特定条件例如温度、曝光量以及曝光时间等发黑(比周围的像素暗)的损伤。

另外，在缺陷像素中也存在起因于读出电路的缺陷像素，因而在采用共享像素构造的情况下，有时在共享读出电路的所有的像素中产生同样的缺陷像素。

作为对这样的缺陷像素进行校正的技术，公知有如下的技术：计算关注像素附近的像素的平均值，根据与该平均值的比较来判定是否是缺陷像素，在判定为是缺陷像素的情况下，将该缺陷像素置换为附近像素的平均值(参照专利文献1)。

另外，在上述的闪烁缺陷噪声中存在起因于读出电路的RTS(Random TelegraphSignal：随机电报信号)噪声。作为对该RTS噪声进行校正的技术，公知有如下的技术：根据所拍摄的图像中的关注像素的像素值、该关注像素的周边像素的像素值以及预先按摄像元件的每个像素检测出的RTS噪声的噪声电平(下面称作“RTS噪声电平”)，来判定对关注像素是否存在RTS噪声的影响，在判定为存在RTS噪声的影响的情况下，对该关注像素的像素值加上或减去RTS噪声电平(参照专利文献2)。

现有技术文献

专利文献

专利文献1：日本特开2002-10274号公报

专利文献2：日本特开2012-105063号公报

发明内容

发明要解决的课题

可是，通常与RTS噪声相比白损伤或黑损伤给画质带来的影响更大，被视为真值的值的变动量较大。因此，优选对缺陷像素和闪烁缺陷像素使用彼此不同的校正方法。

另外，随着缺陷像素和闪烁缺陷像素增加，在摄像元件内缺陷像素和闪烁缺陷像素接近的可能性增加。图27是示意性地示出现有的摄像元件的各像素的图。如图27所示，随着在摄像元件500内缺陷像素PW1和闪烁缺陷像素PR1增加，会发生缺陷像素PW1和闪烁缺陷像素PR1相邻的情况。因此，即使使用上述的专利文献1和专利文献2的技术来分别对缺陷像素和闪烁缺陷像素单独地进行校正，有时也会受到另一方的噪声的影响。并且，由于RTS噪声以摄像元件500的共享块G1单位产生，因此在全部看作缺陷像素而进行校正的情况下，有可能画质显著降低。

这样，存在如下的问题点：即使使用上述的专利文献1和专利文献2的技术来对在包含缺陷像素和闪烁缺陷像素在内的摄像元件中生成的图像数据分别单独地校正缺陷像素和闪烁缺陷像素，也会发生过校正或校正残留而成为精度较低的校正。

本发明就是鉴于上述问题而完成的，其目的在于提供能够高精度地对在包含缺陷像素和闪烁缺陷像素在内的摄像元件中生成的图像数据校正缺陷像素和闪烁缺陷像素的图像处理装置、图像处理方法以及存储介质。

用于解决课题的手段

为了解决上述课题并达成目的，本发明的图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，其特征在于，该图像处理装置具有：获取部，其获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；以及噪声降低部，其根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息，对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述噪声降低部在根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声后，至少根据所述获取部所获取的所述缺陷像素信息或所述获取部所获取的所述闪烁缺陷噪声信息中的任意信息而降低另一方的噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述噪声降低部具有：缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及闪烁缺陷噪声校正部，其根据所述闪烁缺陷噪声信息对由所述缺陷像素校正部校正了所述缺陷像素噪声后的所述图像数据校正所述闪烁缺陷噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述噪声降低部具有：闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声；以及缺陷像素校正部，其根据所述缺陷像素信息对由所述闪烁缺陷噪声校正部校正了所述闪烁缺陷噪声后的所述图像数据校正所述缺陷像素噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述噪声降低部具有：缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声，所述噪声降低部根据所述缺陷像素信息和所述闪烁缺陷噪声信息，在与所述图像数据对应的图像的关注像素中产生了所述缺陷像素噪声的情况下，输出由所述缺陷像素校正部校正了所述关注像素的像素值后的结果，另一方面，在所述关注像素中产生了所述闪烁缺陷噪声的情况下，输出由所述闪烁缺陷噪声校正部校正了所述关注像素的像素值后的结果。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述缺陷像素校正部使用除所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素以外的像素的像素值，来校正所述缺陷像素噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述缺陷像素校正部将所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素的像素值与该像素的周围像素各自的像素值之间的差为规定的阈值以上的像素的像素值排除，而对所述缺陷像素噪声进行校正。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述闪烁缺陷噪声信息还包含与产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息对应且基于所述闪烁缺陷噪声的噪声电平的特征量，所述缺陷像素校正部在所述缺陷像素噪声周围存在所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素的情况下，使用根据所述特征量而对可能产生所述闪烁缺陷噪声的像素的像素值进行校正后的像素值，来校正所述缺陷像素噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述闪烁缺陷噪声校正部使用除所述缺陷像素信息中包含的可能产生所述缺陷像素噪声的像素以外的像素的像素值来校正所述闪烁缺陷噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述闪烁缺陷噪声校正部根据除所述缺陷像素信息中包含的产生所述缺陷像素噪声的像素以外的像素的像素值而计算关注像素的代表值，以接近该代表值的方式对所述闪烁缺陷噪声进行校正。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述闪烁缺陷噪声是随机电报信号噪声。

另外，本发明的图像处理方法由图像处理装置执行，所述图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，其特征在于，该图像处理方法包含如下步骤：获取步骤，获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；以及噪声降低步骤，根据在所述获取步骤中获取的所述缺陷像素信息和在所述获取步骤中获取的所述闪烁缺陷噪声信息，对在所述获取步骤中获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声。

另外，本发明的程序的特征在于，该程序使如下图像处理装置执行获取步骤和噪声降低步骤，该图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，该摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，在所述获取步骤中，获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；在所述噪声降低步骤中，根据在所述获取步骤中获取的所述缺陷像素信息和在所述获取步骤中获取的所述闪烁缺陷噪声信息，对在所述获取步骤中获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声。

发明效果

根据本发明实现了如下效果：能够高精度地对在包含缺陷像素和闪烁缺陷像素在内的摄像元件中生成的图像数据校正缺陷像素和闪烁缺陷像素。

附图说明

图1是示意性地示出本发明的实施方式1的摄像系统的结构的框图。

图2是示意性地示出本发明的实施方式1的摄像装置所具有的摄像元件的主要部分的结构的概略图。

图3是示出本发明的实施方式1的RTS噪声校正部的详细结构的框图。

图4是示出在以使光照射不到本发明的实施方式1的摄像元件的方式进行遮光的情况下，在产生RTS噪声时从放大器部输出的放大器输出的变动的例子的图。

图5是示出使用本发明的实施方式1的产生RTS噪声的放大器部而读出的像素值的分布的例子的图。

图6是示出本发明的实施方式1的图像处理装置所执行的噪声校正处理的概要的流程图。

图7是示出图6的缺陷像素校正处理的概要的流程图。

图8A是示意性地示出本发明的实施方式1的缺陷像素校正部所设定的选择区域(选择区域1)的图。

图8B是示意性地示出本发明的实施方式1的缺陷像素校正部所设定的选择区域(选择区域2)的图。

图8C是示意性地示出本发明的实施方式1的缺陷像素校正部所设定的选择区域(选择区域3)的图。

图8D是示意性地示出本发明的实施方式1的缺陷像素校正部所设定的选择区域(选择区域4)的图。

图8E是示意性地示出本发明的实施方式1的缺陷像素校正部所设定的选择区域(选择区域5)的图。

图9是示出图6的RTS噪声校正处理的概要的流程图。

图10是示出图9的代表值计算处理的概要的流程图。

图11是示出随机噪声模型的一例的图。

图12是示出图9的校正值计算处理的概要的流程图。

图13是示出本发明的实施方式1的变形例的图像处理装置所执行的缺陷像素校正处理的概要的流程图。

图14是示意性地示出本发明的实施方式2的图像处理装置中的噪声降低部的结构的框图。

图15是示出本发明的实施方式2的图像处理装置所执行的噪声校正处理的概要的流程图。

图16是示出本发明的实施方式2的图像处理装置所执行的代表值计算处理的概要的流程图。

图17是示出本发明的实施方式2的图像处理装置所执行的缺陷像素校正处理的概要的流程图。

图18是示意性地示出本发明的实施方式3的图像处理装置中的噪声降低部的结构的框图。

图19是示出本发明的实施方式3的图像处理装置所执行的处理的概要的流程图。

图20是示出图19的缺陷像素校正处理的概要的流程图。

图21是示出图19的RTS噪声校正处理的概要的流程图。

图22是示意性地示出本发明的实施方式4的图像处理装置的噪声降低部的结构的框图。

图23是示出本发明的实施方式4的图像处理装置所执行的噪声校正处理的概要的流程图。

图24是示意性地示出本发明的实施方式5的摄像系统的结构的框图。

图25是示出本发明的实施方式5的摄像系统所执行的处理的概要的流程图。

图26是示出图25的图像处理的概要的流程图。

图27是示意性地示出包含缺陷像素和闪烁缺陷像素在内的摄像元件的各像素的一例的图。

具体实施方式

下面，参照附图对用于实施本发明的方式(下面称作“实施方式”)进行说明。另外，本发明并不受以下说明的实施方式限定。并且，在附图的记载中对相同部分标注相同的标号进行说明。

(实施方式1)

(摄像系统的结构)

图1是示意性地示出本发明的实施方式1的摄像系统的结构的框图。图1所示的摄像系统1具有摄像装置10、图像处理装置30、显示装置40。

(摄像装置的结构)

首先，对摄像装置10的结构进行说明。如图1所示，摄像装置10具有光学系统101、光圈102、快门103、驱动器104、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器接口部109、记录介质110、易失性存储器111、非易失性存储器112、总线113、摄像控制部114、第一外部接口部115。

光学系统101使用单个或多个透镜构成。光学系统101例如使用对焦透镜和变焦镜头构成。

光圈102通过限制光学系统101所会聚的光的入射量来进行曝光的调整。光圈102在后述的摄像控制部114的控制下，限制光学系统101所会聚的光的入射量。另外，也可以不使用光圈102，而使用快门103或摄像元件105中的电子快门来控制光的入射量。另外，也可以是，光学系统101、光圈102相对于摄像装置10能够装卸。

快门103将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦平面快门等构成。另外，也可以不使用快门103，而使用摄像元件105中的电子快门。

驱动器104在后述的摄像控制部114的控制下，驱动光学系统101、光圈102以及快门103。例如，驱动器104通过使光学系统101沿光轴O1移动来进行摄像装置10的变焦倍率的变更或焦点位置的调整。

摄像元件105在后述的摄像控制部114的控制下，接收光学系统101所会聚的光并转换为图像数据(电信号)而输出。摄像元件105使用多个像素配置为二维状而成的CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等构成。在该各像素的前表面上配置有拜耳排列的RGB滤镜。另外，摄像元件105不限定于拜耳排列，当然也可以是例如Foveon那样的层叠型的形式。另外，所使用的滤镜不限定于RGB，可以应用补色滤镜等任意滤镜。另外，也可以另外配置能够以时分方式照射不同颜色光的光源，而在摄像元件105上不配置滤镜，从而能够一边变更所照射的颜色一边使用依次取入的图像来构成彩色图像。另外，摄像元件105具有能够电子控制受光量的电子快门功能。

这里，详细地对摄像元件105的结构进行说明。图2是示意性地示出摄像元件105的主要部分的结构的概略图。另外，示出图2所示的摄像元件105为了通过像素的开口率提高来使感光度提高，而在多个像素共享读出电路的例子。另外，图2所示的摄像元件105针对水平方向(横向)上两个像素×垂直方向(纵向)上四个像素的八个像素配置有一个读出电路。另外，在图2中，说明了针对水平方向(横向)上两个像素×垂直方向(纵向)上四个像素的八个像素以一个读出电路为一组的例子，但在本实施方式1的摄像元件105上，上述的像素和读出电路在水平方向和垂直方向上并列地配置。

如图2所示，摄像元件105具有：多个像素105a(光电二极管)，它们通过曝光来接收光并进行光电转换从而产生与曝光量对应的电荷；第一开关105b，其分别设置于多个像素105a，根据摄像控制部114的控制而进行开闭；垂直传送线105c，其将分别从多个像素105a输出的信号(电荷)在垂直方向上传送；FD(Floating Diffusion：浮动扩散)部105d，其累积分别从多个像素105a输出的信号；放大器部105e，其对从FD部105d输出的信号进行放大；第二开关105f，其根据摄像控制部114的控制而进行开闭；控制线105g，其控制第二开关105f；以及传送线105h，其传送被放大器部105e放大后的电信号。

这样构成的摄像元件105在将与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值而读出的情况下，首先，使FD部105d为复位状态，由于摄像控制部114仅使第一开关105b(1)为接通，而将像素105a(1)所产生的电荷传送给FD部105d。然后，摄像元件105由于摄像控制部114使第二开关105f为接通，而使累积在FD部105d中的电荷被放大器部105e放大而作为像素值读出(输出)。接下来，摄像元件105使FD部105d为复位状态，由于摄像控制部114仅使第一开关105b(2)为接通，而将像素105a(2)所产生的电荷传送给FD部105d。然后，摄像元件105由于摄像控制部114使第二开关105f为接通，而使累积在FD部105d中的电荷被放大器部105e放大而作为像素值读出。摄像元件105通过依次进行这样的读出动作，能够将与像素105a(1)～105a(8)中的曝光量对应的信号依次作为像素值而输出。另外，在本实施方式1中，放大器部105e作为分别从多个像素105a读出电荷的读出电路而发挥功能。

返回到图1，继续摄像装置10的结构的说明。

模拟处理部106对从摄像元件105输入的模拟信号实施规定的模拟处理而输出给A/D转换部107。具体而言，模拟处理部106对从摄像元件105输入的模拟信号进行噪声降低处理和增益提升处理等。例如，模拟处理部106对模拟信号在降低了复位噪声等的基础上进行波形整形，进而进行增益提升以成为目标的明亮度。

A/D转换部107通过对从模拟处理部106输入的模拟信号进行A/D转换而生成数字的图像数据(下面称作“RAW图像数据”)，并经由总线113输出给易失性存储器111。另外，A/D转换部107也可以对后述的摄像装置10的各部直接输出RAW图像数据。另外，也可以将上述的模拟处理部106和A/D转换部107设置于摄像元件105，从而摄像元件105直接输出数字的RAW图像数据。

操作部108赋予摄像装置10的各种指示。具体而言，操作部108具有将摄像装置10的电源状态切换为接通状态或断开状态的电源开关、赋予静态图像摄影的指示的释放开关、切换摄像装置10的各种设定的操作开关以及赋予动态图像摄影的指示的动态图像开关等。

记录介质110使用从摄像装置10的外部安装的存储卡构成，经由存储器接口部109而装卸自如地安装于摄像装置10。另外，记录介质110也可以在摄像控制部114的控制下，经由存储器接口部109而将程序和各种信息分别输出给非易失性存储器112。

易失性存储器111暂时存储经由总线113而从A/D转换部107输入的图像数据。例如，易失性存储器111暂时存储摄像元件105按每一帧经由模拟处理部106、A/D转换部107以及总线113而依次输出的图像数据。易失性存储器111使用SDRAM(Synchronous DynamicRandom Access Memory：同步动态随机存取存储器)等构成。

非易失性存储器112使用闪存等构成，记录用于使摄像装置10进行动作的各种程序、程序的执行过程中所使用的各种数据。另外，非易失性存储器112具有：程序记录部112a；RTS噪声信息记录部112b，其记录RTS噪声信息，该RTS噪声信息是将读出像素值的读出电路(放大器部105e)的位置信息或多个像素105a各自的位置信息和与起因于读出电路(放大器部105e)的RTS噪声相关的特征量对应起来而成的；随机噪声模型信息记录部112c，其记录一个或多个随机噪声模型；以及缺陷像素信息记录部112d，其存储与摄像元件105中的像素的位置对应的缺陷像素的位置信息(位置信息包含读出像素值的读出电路(放大器部105e)的位置信息或产生缺陷像素的像素的位置信息中的任意一方或两方)。这里，所谓特征量是RTS噪声的振幅(RTS＿Value)、闪烁缺陷噪声的产生频度以及小于RTS噪声的振幅的RTS噪声的产生频度中的任意特征量。

总线113使用连接摄像装置10的各结构部位的传送路径等构成，将在摄像装置10的内部产生的各种数据传送到摄像装置10的各结构部位。

摄像控制部114使用CPU(Central Processing Unit：中央处理单元)等构成，根据来自操作部108的指示信号和释放信号针对构成摄像装置10的各部进行指示和数据的传送等，而统一控制摄像装置10的动作。例如，在从操作部108输入第二释放信号的情况下，摄像控制部114开始摄像装置10中的摄影动作的控制。这里，所谓摄像装置10中的摄影动作是指模拟处理部106和A/D转换部107对摄像元件105的曝光定时、模拟信号的输出定时以及摄像元件105所输出的模拟信号实施规定的处理的动作。这样，实施了处理的图像数据在摄像控制部114的控制下，经由总线113和存储器接口部109而记录于记录介质110中。

第一外部接口部115经由总线113将从外部设备输入的信息输出给非易失性存储器112或易失性存储器111，另一方面，经由总线113将易失性存储器111所记录的信息、非易失性存储器112所记录的信息以及摄像元件105所生成的图像数据输出给外部设备。具体而言，第一外部接口部115经由总线113将摄像元件105所生成的图像数据、RTS噪声信息、随机噪声模型信息以及缺陷像素的位置信息输出给图像处理装置30。

(图像处理装置的结构)

接下来，对图像处理装置30的结构进行说明。图像处理装置30具有第三外部接口部31、噪声降低部32、图像处理部33、操作部34、存储部35、图像处理控制部36。

第三外部接口部31作为获取部而进行动作，该获取部经由摄像装置10的第一外部接口部115获取摄像元件105所生成的图像数据、非易失性存储器112内的RTS噪声信息记录部112b所记录的与RTS噪声相关的RTS噪声信息、随机噪声模型信息记录部112c所记录的随机噪声模型信息，并从缺陷像素信息记录部112d获取缺陷像素信息，并将所获取的图像数据、RTS噪声信息、随机噪声模型信息以及缺陷像素信息输出给噪声降低部32和存储部35。第三外部接口部31和第一外部接口部115例如经由能够双向交换信息的控制线缆或无线通信等而连接。另外，在本实施方式中，第三外部接口部31作为获取部而发挥功能。

噪声降低部32对从第三外部接口部31输入的RAW图像校正缺陷像素，然后校正RTS噪声并输出给图像处理部33。噪声降低部32具有缺陷像素校正部50和RTS噪声校正部51。

缺陷像素校正部50根据从第三外部接口部31输入的缺陷像素信息对从第三外部接口部31输入的RAW图像校正缺陷像素的像素值并输出给RTS噪声校正部51。

RTS噪声校正部51进行RTS噪声校正处理，并将进行了该校正的RAW图像输出给图像处理部33，所述RTS噪声校正处理根据从第三外部接口部31输入的缺陷像素信息，对从缺陷像素校正部50输入的校正了缺陷像素的RAW图像校正RTS噪声。

这里，对RTS噪声校正部51的详细结构进行说明。图3是示出RTS噪声校正部51的详细结构的框图。如图3所示，RTS噪声校正部51具有RTS噪声像素判定部321、候选值计算部322、代表值计算部323、随机噪声量估计部324、校正值计算部325。

RTS噪声像素判定部321对是否有可能在从第三外部接口部31输入的RAW图像上的像素中产生RTS噪声进行判定，并将判定结果输出给候选值计算部322和代表值计算部323。具体而言，当对RTS噪声像素判定部321输入像素的位置时，判定与该像素对应的RTS噪声信息是否记录于摄像装置10的RTS噪声信息记录部112b中，如果被记录，则该像素被看作RTS噪声像素而输出RTS噪声信息(表示有RTS噪声的信息)，另一方面，如果未记录于摄像装置10的RTS噪声信息记录部112b中，则看作不产生RTS噪声的像素，而不输出RTS噪声信息。

候选值计算部322根据关注像素的像素值和RTS噪声像素判定部321的判定结果，在由RTS噪声像素判定部321判定为有可能在关注像素中产生RTS噪声的情况下，针对关注像素的像素值计算多个校正量的候选值，并将关注像素的像素值和计算出的多个候选值分别输出给代表值计算部323、随机噪声量估计部324以及校正值计算部325。

代表值计算部323在由RTS噪声像素判定部321判定为有可能在关注像素中产生RTS噪声的情况下，根据关注像素周围的至少由RTS噪声像素判定部321判定为不产生RTS噪声的像素、后述的随机噪声量估计部324所计算出的与关注像素对应的随机噪声量的参照值，来计算与不产生RTS噪声的情况下的像素值相当的代表值。代表值计算部323将关注像素的像素值、多个候选值、上述计算出的代表值输出给校正值计算部325。另外，在本实施方式1中，代表值计算部323作为估计部而发挥功能。

随机噪声量估计部324根据摄像装置10的随机噪声模型信息记录部112c所记录的随机噪声模型来估计与像素值对应的随机噪声量，并将估计结果分别输出给候选值计算部322、代表值计算部323以及校正值计算部325。即，当对随机噪声量估计部324输入像素值时，输出与该像素值对应的随机噪声量。

校正值计算部325在由RTS噪声像素判定部321判定为关注像素中有可能产生RTS噪声的像素的情况下，根据候选值计算部322所计算出的多个候选值来校正关注像素的像素值。具体而言，校正值计算部325根据关注像素的像素值、候选值计算部322所计算出的多个候选值、代表值计算部323所计算出的代表值，来计算校正了RTS噪声的像素值而输出给图像处理部33。更具体而言，校正值计算部325根据候选值计算部322所计算出的多个候选值中的、校正结果最接近代表值计算部323所计算出的代表值的候选值，来校正关注像素的像素值。与此相对，校正值计算部325在由RTS噪声像素判定部321判定为关注像素中不产生RTS噪声的像素的情况下，直接输出关注像素的像素值。

返回到图1，继续图像处理装置30的说明。

图像处理部33对被噪声降低部32校正了噪声的图像数据进行规定的图像处理而输出给显示装置40。这里，所谓规定的图像处理是至少包含如下处理在内的基本图像处理：光学黑相减处理、白平衡调整处理、摄像元件105为拜耳排列的情况下的图像数据的同步化处理、颜色矩阵运算处理、γ校正处理、颜色再现处理以及边缘强调处理等。另外，图像处理部33根据预先设定的各图像处理的参数而进行再现自然的图像的图像处理。这里，所谓各图像处理的参数是对比度、锐度、饱和度、白平衡以及灰度的值。

操作部34接受与图像处理装置30相关的各种操作信号的输入。操作部34例如使用十字按钮、按压式按钮以及触摸面板等构成。

存储部35使用易失性存储器和非易失性存储器构成，存储从第三外部接口部31输出的RTS噪声信息和缺陷像素信息。

图像处理控制部36统一控制构成图像处理装置30的各部。图像处理控制部36使用CPU(Central Processing Unit：中央处理单元)等构成。图像处理控制部36控制构成图像处理装置30的各部的指示和数据等的传送。

(显示装置的结构)

接下来，对显示装置40的结构进行说明。显示装置40显示与从图像处理装置30输入的图像数据对应的图像。显示装置40使用液晶或有机EL(Electro Luminescence：电致发光)等显示面板等构成。

在具有以上结构的摄像系统1中，图像处理装置30对在摄像元件105中产生的缺陷像素和/或RTS噪声进行校正，显示装置40显示与被图像处理装置30实施了图像处理的图像数据对应的图像。

(RTS噪声的产生原因和特性)

接下来，对RTS噪声的产生原因和RTS噪声的特性进行说明。

图4是示出在以使光照射不到摄像元件105的方式进行遮光的情况下，在产生RTS噪声时从放大器部105e输出的放大器输出的变动的例子的图。图5是示出使用产生RTS噪声的放大器部105e而读出的像素值的分布的例子的图。

RTS噪声是在放大器部105e中的栅极氧化膜中存在陷阱能级的情况下，由于以随机的定时在该陷阱能级中捕获或者释放电荷而产生的。因此，如图4所示，在产生RTS噪声的放大器部105e中，放大器输出在约Vrts的范围内随机地变动。另外，电位的变动不是瞬间发生的，需要微小的时间τ。

通常，在摄像元件105中，由于根据从像素105a读出的像素值来降低噪声，因此要进行相关双重采样处理(下面称作“CDS处理”)。在CDS处理中，摄像控制部114使摄像元件105的复位开关(未图示)为接通，从而使FD部105d的电荷复位，进而摄像控制部114使第二开关105f为接通而形成复位状态，并读出(输出)复位状态的信号(基准信号)。接下来，在CDS处理中，摄像控制部114仅使第一开关105b(或第一开关105b(1)～105b(8)中的任意一个)为接通，将在像素105a中产生的电荷传送给FD部105d，进而形成使第二开关105f为接通的读出状态(输出状态)，并将读出状态的信号读出(输出)。接着，在CDS处理中，将通过从读出状态的信号减去复位状态的信号(基准信号)而获得的信号转换为像素值

如图4所示，当摄像元件105通过CDS处理而读出时间tr1(复位状态)和时间ts1(读出状态)各自的信号时，由于时间tr1和时间ts1各自的放大器输出V大致相同，因此主要受随机噪声的影响，所读出的像素值成为图5所示的分布A那样的以0为中心的分布。同样地，摄像元件105在时间tr2(复位状态)和时间ts2(读出状态)下由于时间tr2和时间ts2各自的放大器输出V大致相同，因此所读出的像素值也像图5所示的分布A那样。

另一方面，当摄像元件105通过CDS处理而读出时间tr3(复位状态)和时间ts3(读出状态)各自的信号时，由于时间ts3的放大器输出比时间tr3的放大器输出约低了Vrts，因此当取两个信号的差时，向负方向移位与放大器输出的变化量即Vrts对应的像素值即RTS＿Value，从而所读出的像素值成为以-RTS＿Value为中心的分布B。

与此相对，当摄像元件105通过CDS处理而读出时间tr4(复位状态)和时间ts4(读出状态)各自的信号时，由于时间ts4的放大器输出比时间tr4的放大器输出约高Vrts，因此当取两个信号的差时，向正方向移位与放大器输出的变化量即Vrts对应的像素值即RTS＿Value，从而所读出的像素值成为以RTS＿Value为中心的分布C。

这里，由于图4的放大器输出的变动需要时间τ而发生，因此有时在电位发生变动的中途读出信号。在该情况下，在复位状态的读出时间和读出状态的读出时间之间，放大器输出差比-Vrts大且比Vrts小。其结果是，从摄像元件105读出的像素值也为比-RTS＿Value大且比RTS＿Value小的值。如果摄像元件105的条件(例如温度和驱动电压等)是恒定的，则认为时间τ大致为恒定的，因此，比-RTS＿Value大且比RTS＿Value小的像素值以同样的概率产生。这里，将这些像素值的产生频度定义为αnoise。另外，分布B和分布C各自仅中央值不同，但除此以外为同样的分布。因此，以下将分布B或分布C相对于分布A的比例定义为αrts。放大器部105e的放大器输出的变动周期越短则该αrts越大。

这样，使用产生RTS噪声的放大器部105e来读出的像素值通过CDS处理而成为图5那样的分布。另外，在光照射到摄像元件105的条件下，读出状态的电位根据曝光量而变化。然而，基于RTS噪声的电位的变化无论曝光量如何都为恒定的。即，RTS噪声不依赖于曝光量，具有在-RTS＿Value以上且RTS＿Value以下的范围内相对于正常的像素值随机地变动的特性。另外，在图5中，示意性地示出分布A、分布B、分布C，但通常为正态分布。

另外，由于RTS噪声是起因于读出电路(放大器部105e)的噪声，因此像图2所示那样，在多个像素105a各自共享一个读出电路的情况下，在所有的共享像素(像素105a(1)～105a(8))中产生同样的特性的RTS噪声。

另外，除了图2所示的读出电路(放大器部105e)以外，有时在摄像元件105的列方向上共享的列放大器和源极跟随器等中也产生RTS噪声。在该情况下，在共享相同的列放大器和源极跟随器的列方向上的所有的像素中也产生同样的特性的RTS噪声。在本实施方式中，也能够应用于在读出电路(放大器部105e)以外的电路中产生的RTS噪声。

这样，RTS噪声为在固定被摄体以相同的条件进行拍摄的情况下通过拍摄而获得的图像的像素值在一定范围内(-RTS＿Value以上且RTS＿Value以下)振动(变动)的闪烁缺陷噪声的一种。

(图像处理装置的处理)

接下来，对图像处理装置30所执行的处理进行说明。图6是示出图像处理装置30所执行的噪声校正处理的概要的流程图，是图像处理装置30所执行的主例程的流程图。

如图6所示，首先、缺陷像素校正部50执行如下缺陷像素校正处理：根据从第三外部接口部31输入的缺陷像素信息对从第三外部接口部31输入的RAW图像校正缺陷像素(步骤S1)。另外，关于缺陷像素校正处理的详细在后面说明。

接着，RTS噪声校正部51执行如下RTS噪声校正处理：根据从第三外部接口部31输入的RTS噪声信息对从缺陷像素校正部50输入的校正了缺陷像素的RAW图像校正RTS噪声(步骤S2)。另外，关于RTS噪声校正处理的详细在后面说明。在步骤S2之后，图像处理装置30结束本处理。

(缺陷像素校正处理的概要)

接下来，对在图6的步骤S1中进行了说明的缺陷像素校正处理的详细进行说明。图7是示出缺陷像素校正处理的概要的流程图，是图像处理装置30所执行的子例程的流程图。

如图7所示，首先，缺陷像素校正部50将表示RAW图像在垂直方向上的位置的计数器y复位(y＝0)(步骤S11)，并且将表示RAW图像在水平方向上的位置的计数器x复位(x＝0)(步骤S12)。另外，以下，在表示RAW图像在垂直方向上的位置的计数器y中，将RAW图像的上端设为0，在表示RAW图像在水平方向上的位置的计数器x中，将RAW图像的左端设为0。

接着，缺陷像素校正部50根据从第三外部接口部31输入的缺陷像素信息来对RAW图像中的关注像素((x，y)像素)是否是缺陷像素进行判断(步骤S13)，在RAW图像中的关注像素是缺陷像素的情况下(步骤S13：“是”)，缺陷像素校正部50转移到后述的步骤S14，在RAW图像中的关注像素不是缺陷像素的情况下(步骤S13：“否”)，缺陷像素校正部50转移到后述的步骤S24。另外，在步骤S13中，如果关注像素的位置或包含关注像素在内的共享像素块的位置包含于缺陷像素信息中，则缺陷像素校正部50判断为缺陷像素，如果未包含任何一种，则判断为不是缺陷像素。

在步骤S14中，缺陷像素校正部50将最小区域设定为选择区域。具体而言，如图8A所示，缺陷像素校正部50设定与关注像素P1相邻的周边的像素K1的像素数为最小的选择区域。另外，在图8A～图8E中，以白色空心表现的像素表示未选择的像素。

接着，缺陷像素校正部50获取选择区域的像素值(步骤S15)。在该情况下，缺陷像素校正部50获取以关注像素为中心时的选择区域中包含的所有像素各自的像素值，并将所获取的包含于选择区域中的所有像素各自的像素值存储到存储部35中。

然后，缺陷像素校正部50根据从第三外部接口部31输入的缺陷像素信息而删除存储部35所存储的缺陷像素的像素值(步骤S16)。具体而言，缺陷像素校正部50根据从第三外部接口部31输入的缺陷像素信息来判定对应的像素是否是缺陷像素，在是缺陷像素的情况下，从存储部35删除与该像素对应的像素值。

接着，缺陷像素校正部50根据从第三外部接口部31输入的RTS噪声信息而删除存储部35所存储的RTS噪声产生像素的像素值(步骤S17)。具体而言，缺陷像素校正部50根据从第三外部接口部31输入的RTS噪声信息，从存储于存储部35的像素值中对是否是可能在规定的条件下产生RTS噪声的RTS噪声产生像素进行判定，如果是RTS噪声产生像素，则从存储部35删除与该像素对应的像素值。这里，所谓规定的条件存在以下的条件(A)～(C)中的任意情况。

(A)判定对象的像素的位置信息包含于RTS噪声信息中的情况

(B)判定对象的像素的位置信息包含于RTS噪声信息中，并且与周围的像素值的差为规定的阈值以上的情况

(C)判定对象的像素的位置信息包含于RTS噪声信息中，并且与周围的像素值的差为RTS＿Value×系数(例如大于0且小于1的数)以上的情况

然后，缺陷像素校正部50对存储于存储部35中的像素值的数是否为阈值以上(例如2以上)进行判断(步骤S18)，在存储于存储部35中的像素值的数为阈值以上的情况下(步骤S18：“是”)，缺陷像素校正部50转移到后述的步骤S21，在存储于存储部35中的像素值的数不为阈值以上的情况下(步骤S18：“否”)，缺陷像素校正部50转移到后述的步骤S19。

在步骤S19中，缺陷像素校正部50对选择区域是否为最大进行判断，在选择区域为最大的情况下(步骤S19：“是”)，缺陷像素校正部50转移到后述的步骤S21，在选择区域不为最大的情况下(步骤S19：“否”)，缺陷像素校正部50转移到后述的步骤S20。

在步骤S20中，缺陷像素校正部50扩大选择区域。具体而言，如图8A～图8E所示，缺陷像素校正部50依次扩大选择区域(图8A→图8B→图8C→图8D→图8E)，直到在上述的步骤S18中存储于存储部35中的像素值的数为阈值以上为止。在这种情况下，在上述的步骤S19中，在选择区域为最大的情况下(参照图8E)，缺陷像素校正部50转移到后述的步骤S21。另外，在图8A～图8E中，选择区域除了上述的区域以外，还可以是能够变更各种形状、范围以及尺寸的例如长方形的区域。另外，在图8A～图8E中，选择区域不需要多个，只要是至少一个以上即可。并且，在图8A～图8E中，以在摄像元件105的受光面上没有滤色镜的模式的选择区域为前提，但是，例如在摄像元件105的受光面上设置有滤色镜的情况下，只要以仅使用同色像素(设置有同色的滤色镜的像素)的方式对选择区域进行选择即可(只要仅使用图8A～图8E中K1所示的像素中的、与同色像素对应的像素即可)。

在步骤S21中，缺陷像素校正部50对存储于存储部35中的像素值的数是否为1以上进行判断，在存储于存储部35中的像素值的数为1以上的情况下(步骤S21：“是”)，缺陷像素校正部50转移到后述的步骤S22，在存储于存储部35中的像素值的数不为1以上的情况下(步骤S21：“否”)，缺陷像素校正部50转移到后述的步骤S24。

在步骤S22中，缺陷像素校正部50使用存储于存储部35中的像素值的平均值、最频值以及中央值中的任意值来计算RAW图像的关注像素((x，y)像素)的校正值。另外，缺陷像素校正部50也可以根据存储于存储部35中的像素值来进行边缘的方向判别，通过对位于该判别结果的方向上的像素值提高权重等将该方向上的像素值优先反映到校正值。

接着，缺陷像素校正部50通过将RAW图像的关注像素((x，y)像素)的像素值置换为在步骤S22中计算出的校正值来校正RAW图像的关注像素的像素值(步骤S23)。

然后，缺陷像素校正部50将表示RAW图像在水平方向上的位置的计数器x递增(x＝x+1)(步骤S24)，对计数器x是否比RAW图像的图像宽度小进行判断(步骤S25)，在计数器x比RAW图像的图像宽度小的情况下(步骤S25：“是”)，缺陷像素校正部50返回到上述的步骤S13，在计数器x不比RAW图像的图像宽度小的情况下(步骤S25：“否”)，缺陷像素校正部50转移到步骤S26。

接着，缺陷像素校正部50将表示RAW图像在垂直方向上的位置的计数器y递增(y＝y+1)(步骤S26)，对计数器y是否比RAW图像的图像高度小进行判断(步骤S27)，在计数器y比RAW图像的图像高度小的情况下(步骤S27：“是”)，缺陷像素校正部50返回到上述的步骤S12，在计数器y不比RAW图像的图像高度小的情况下(步骤S27：“否”)，缺陷像素校正部50结束本处理，并返回到图6的主例程。

(RTS噪声校正处理的概要)

接下来，对在图6的步骤S2中进行了说明的RTS噪声校正处理的详细进行说明。图9是示出RTS噪声校正处理的概要的流程图，是图像处理装置30所执行的子例程的流程图。

如图9所示，RTS噪声校正部51将表示RAW图像在垂直方向上的位置的计数器y复位(y＝0)(步骤S31)，并且将表示RAW图像在水平方向上的位置的计数器x复位(x＝0)(步骤S32)。

接着，RTS噪声像素判定部321根据从第三外部接口部31输入的RTS噪声信息对是否有可能在关注像素((x，y)像素)中产生RTS噪声进行判定(步骤S33)。即，RTS噪声像素判定部321对包含关注像素的共享像素块的位置信息是否包含于RTS噪声信息中进行判定。具体而言，RTS噪声像素判定部321对包含关注像素的共享像素块的位置信息是否作为有可能产生RTS噪声的共享像素块而包含于RTS噪声信息中进行判定。另外，RTS噪声像素判定部321在RTS噪声信息中包含像素的位置信息而不是共享像素块的位置信息的情况下，对关注像素的位置信息是否包含于RTS噪声信息中进行判定。在由RTS噪声像素判定部321判定为有可能在关注像素中产生RTS噪声(判定为包含关注像素的共享像素块的位置信息包含于RTS噪声信息中)的情况下(步骤S33：“是”)，RTS噪声校正部51转移到后述的步骤S34。与此相对，在由RTS噪声像素判定部321判定为不可能在关注像素中产生RTS噪声(判定为包含关注像素的共享像素块的位置信息不包含于RTS噪声信息中)的情况下(步骤S33：“否”)，RTS噪声校正部51转移到后述的步骤S37。

在步骤S34中，候选值计算部322计算多个用于校正RTS噪声的校正量的候选值。具体而言，候选值计算部322根据与关注像素对应的RTS＿Value(包含于从RTS噪声像素判定部321输出的RTS噪声信息中)，将作为0以上且RTS＿Value以下的像素值而可取的值全部(在作为RAW图像而仅可取整数的情况下是0以上且RTS＿Value以下的所有的整数)作为候选值。另外，候选值计算部322也可以在摄像控制部114对摄像元件105的列放大器等设定的放大器增益值在RTS噪声检测时(放大器增益值＝G0)与RTS噪声校正时(放大器增益值＝G1)不同的情况下，将RTS＿Value置换为对RTS噪声校正时的放大器增益值与RTS噪声检测时的放大器增益值的比(G＝G1/G0)乘以RTS＿Value而得到的值。另外，候选值计算部322也可以使RTS噪声信息具有能够预先设定的每个放大器增益值的RTS＿Value，从而使用与该设定的放大器增益值对应的RTS＿Value。

接着，代表值计算部323执行根据关注像素的周边像素的像素值来计算代表值(在关注像素中未产生RTS噪声的情况下的所预测的像素值)的代表值计算处理(步骤S35)。另外，代表值计算部323也可以将产生RTS噪声的像素包含在内。

(代表值计算处理的概要)

图10是示出上述的图9的步骤S35的代表值计算处理的概要的流程图。

如图10所示，首先，代表值计算部323将最小区域设定为选择区域(步骤S51)。具体而言，如上述的图8A所示，缺陷像素校正部50设定像素数为最小的选择区域。另外，代表值计算部323也可以不需要选择与在上述的图7的缺陷像素校正处理中缺陷像素校正部50所设定的选择区域相同的选择区域，而设定不同的选择区域。另外，在本实施方式1中，为了简化说明，代表值计算部323选择与在上述的图7的缺陷像素校正处理中缺陷像素校正部50所设定的选择区域相同的选择区域。

另外，在摄像元件105的受光面上设置有滤色镜的情况下，只要以仅使用同色像素(设置有同色的滤色镜的像素)的方式对选择区域进行选择即可(只要仅使用图8A～图8E中K1所示的像素中的、与同色像素对应的像素即可)。

接着，候选值计算部322将对关注像素的像素值加上RTS＿Value后的值、或对关注像素的像素值加上校正量的最大值后的值作为随机噪声参照值来计算(步骤S52)。

然后，随机噪声量估计部324根据从第三外部接口部31输入的随机噪声模型和在步骤S52中候选值计算部322所计算出的参照值来计算随机噪声量(步骤S53)。

图11是示出随机噪声模型的一例的图。在图11中，纵轴表示噪声量，横轴表示参照值。另外，在图11中，示出作为纵轴的随机噪声量而使用像素值的标准偏差且与摄像元件105的特性对应的随机噪声模型。

如图11的曲线L1所示，摄像元件105中的随机噪声量随着像素值变大而增加。因此，本实施方式1中的随机噪声量估计部324根据图11的曲线L1的随机噪声模型和候选值计算部322所计算出的参照值来计算随机噪声量(计算标准偏差)。另外，也可以是除了以图11所示的曲线以外，以近似式或折线来近似随机噪声模型而成的特性。

在步骤S53之后，代表值计算部323根据处于计算范围内的像素的像素值来计算能够在代表值计算处理中使用的像素值的范围即容许范围(有效范围)(步骤S54)。具体而言，代表值计算部323通过下面的式(1)来计算容许范围(有效范围)的上限。

参照值+随机噪声量(标准偏差)×R+RTS＿Value···(1)

这里，R是规定的系数，是根据RTS噪声相对于随机噪声在视觉上能够把握到何种程度而设定的。例如，作为R的系数，优选2左右的值。另外，代表值计算部323通过下面的式(2)来计算容许范围的下限。

参照值-随机噪声量(标准偏差)×R-RTS＿Value···(2)

另外，也可以代替RTS＿Value而使用多个候选值的最大值。另外，式(1)和式(2)中的参照值也可以作为与在上述的步骤S53中随机噪声量估计部324为了估计随机噪声量而使用的参照值不同的通过参照值方法而获得的参照值(例如，将关注像素的像素值作为参照值等)。这样，代表值计算部323能够计算出考虑了关注像素的RTS噪声和该关注像素周边的随机噪声的容许范围。

然后，代表值计算部323对选择区域内的像素中具有容许范围内的像素值并且不产生RTS噪声的像素的数量进行计数(步骤S55)。

接着，代表值计算部323对在骤S55中所计数的像素数是否为阈值以上(例如2以上)进行判断(步骤S56)，在所计数的像素数为阈值以上的情况下(步骤S56：“是”)，RTS噪声校正部51转移到后述的步骤S59，在所计数的像素数不为阈值以上的情况下(步骤S56：“否”)，RTS噪声校正部51转移到后述的步骤S57。

在步骤S57中，代表值计算部323对选择区域是否为最大进行判断，在选择区域为最大的情况下(步骤S57：“是”)，代表值计算部323转移到后述的步骤S59，在选择区域不为最大的情况下(步骤S57：“否”)，代表值计算部323转移到后述的步骤S58。

在步骤S58中，代表值计算部323扩大选择区域，返回到上述的步骤S52。具体而言，如上述的图8A～图8E所示，代表值计算部323依次扩大选择区域(图8A→图8B→图8C→图8D→图8E)，直到在上述的步骤S55中所计数的像素数为阈值以上为止。在这种情况下，在上述的步骤S57中，在选择区域为最大的情况下(参照图8E)，代表值计算部323转移到后述的步骤S59。

在步骤S59中，代表值计算部323将包含于选择区域中、具有容许范围内的像素值且不产生RTS噪声的像素的像素值的平均值、最频值以及中央值中的任意一个值确定为代表值。另外，也可以是代表值计算部323根据距关注像素的距离对像素值进行加权后的平均值。另外，在满足上述的条件的像素为0个的情况下，代表值计算部323将关注像素值确定为代表值。另外，代表值计算部323也可以根据满足上述的条件的像素的像素值来进行边缘的方向判别，通过对位于该判别结果的方向上的像素值提高权重等将该方向上的像素值优先确定为代表值。另外，代表值计算部323也可以使用紧前拍摄的RAW图像或紧前被RTS噪声校正部51校正的RAW图像等其他图像来计算代表值。在步骤S59之后，图像处理装置30结束本处理，返回到图9的RTS噪声校正处理的子例程。

返回到图9，继续步骤S36以后的说明。

在步骤S36中，校正值计算部325执行如下的校正值计算处理：根据在上述的步骤S34中候选值计算部322所计算出的多个候选值和在上述的步骤S35中代表值计算部323所计算出的代表值，来计算关注像素中的校正了RTS噪声的RAW图像的像素值。在步骤S36之后，图像处理装置30转移到后述的步骤S37。

(校正值计算处理的概要)

图12是示出图9的步骤S36的校正值计算处理的概要的流程图。

如图12所示，首先，校正值计算部325根据在上述的图10的步骤S53中随机噪声量估计部324所估计的随机噪声量(在本实施方式1中是标准偏差)和在上述的图9的步骤S34中候选值计算部322所计算出的候选值的最大值，对候选值的最大值是否为阈值以上进行判定(步骤S61)。这里，阈值是通过下面的式(3)来设定的。

随机噪声量×Rm···(3)

Rm是规定的系数。另外，Rm是相对于随机噪声根据RTS噪声在视觉上能看到何种程度而确定的，例如，Rm的值优选为2左右。在候选值的最大值为阈值以上的情况下(步骤S61：“是”)，校正值计算部325转移到后述的步骤S62。与此相对，在候选值的最大值不为阈值以上的情况下(步骤S61：“否”)，校正值计算部325转移到后述的步骤S63。另外，校正值计算部325也可以不使用候选值的最大值，而使用关注像素的RTS＿Value，并对关注像素的RTS＿Value与阈值进行比较。

在步骤S62中，校正值计算部325对像素值进行校正。具体而言，校正值计算部325首先通过下面的式(4)来计算Δ。

Δ＝关注像素的RAW图像中的像素值-代表值···(4)

接下来，校正值计算部325对Δ的绝对值与在上述的图9的步骤S34中候选值计算部322所计算出的一个以上的候选值进行比较，选择最接近Δ的绝对值的候选值，并将该候选值作为δ。另外，校正值计算部325在存在多个最接近Δ的绝对值的候选值的情况下，为了防止过校正，而选择多个候选值中的最小的候选值作为δ。

最后，校正值计算部325以通过下面的式(5)、(6)使关注像素的RAW图像中的像素值向代表值方向接近δ的方式进行校正，并将该校正后的关注像素的像素值输出给图像处理部33。

·Δ＜0的情况

关注像素的RAW图像中的像素值+δ···(5)

·Δ≥0的情况

关注像素的RAW图像中的像素值-δ···(6)

在步骤S62之后，图像处理装置30返回到图9的RTS噪声校正处理的子例程。另外，在步骤S62中，校正值计算部325计算Δ而从多个候选值中选择最小的候选值，但也可以针对关注像素的RAW图像中的像素值计算单独地分别加上或减去多个候选值后的值，而在通过该计算而获得的多个相加或相减后的值中选择最接近的代表值。另外，在步骤S62中，校正值计算部325也可以使用其他运算和比较方法，只要可以获得相同的结果即可。另外，校正值计算部325采用所校正的关注像素的像素值，与将代表值设为夹在关注像素的RAW图像中的像素值-RTS＿Value以上和关注像素的RAW图像中的像素值+RTS＿Value以下之间的值的情况是等效的。

在步骤S63中，校正值计算部325将关注像素的RAW图像中的像素值直接输出给图像处理部33。在步骤S63之后，图像处理装置30返回到图9的RTS噪声校正处理的子例程。

返回到图9，继续步骤S37以后的说明。

在步骤S37中，RTS噪声校正部51将表示RAW图像在水平方向上的位置的计数器x递增(x＝x+1)。

接着，RTS噪声校正部51对计数器x是否比RAW图像的图像宽度小进行判断(步骤S38)，在计数器x比RAW图像的图像宽度小的情况下，(步骤S38：“是”)，RTS噪声校正部51返回到上述的步骤S33，在计数器x不比RAW图像的图像宽度小的情况下(步骤S38：“否”)，图像处理装置30转移到步骤S39。

接着，RTS噪声校正部51将表示RAW图像在垂直方向上的位置的计数器y递增(y＝y+1)(步骤S39)，对计数器y是否比RAW图像的图像高度小进行判断(步骤S40)，在计数器y比RAW图像的图像高度小的情况下(步骤S40：“是”)，图像处理装置30返回到上述的步骤S32，在计数器y不比RAW图像的图像高度小的情况下(步骤S40：“否”)，图像处理装置30结束本处理，并返回到图6的主例程。

根据以上说明的本发明的实施方式1，由于缺陷像素校正部50根据缺陷像素信息对从第三外部接口部31输入的RAW图像校正缺陷像素噪声，RTS噪声校正部51根据RTS噪声信息对由缺陷像素校正部50校正了缺陷像素的像素值而得到的RAW图像校正RTS噪声，因此能够高精度地对包含缺陷像素噪声和RTS噪声在内的图像数据进行校正。

另外，根据本发明的实施方式1，缺陷像素校正部50使用除与RTS噪声信息对应的像素以外的像素的像素值来校正缺陷像素噪声。即，缺陷像素校正部50以不参照关注像素周围的可能产生RTS噪声的像素的方式校正缺陷像素的像素值，然后，由于RTS噪声校正部51对RTS噪声进行校正，因此能够高精度地对包含缺陷像素噪声和RTS噪声在内的图像数据进行校正。

(实施方式1的变形例)

接下来，对本发明的实施方式1的变形例进行说明。本实施方式1的变形例具有与上述的实施方式1相同的结构，但图像处理装置所执行的缺陷像素校正处理不同。以下，对本实施方式1的变形例的图像处理装置所执行的缺陷像素校正处理进行说明。另外，对与上述的实施方式1相同的结构标注相同的标号而省略说明。

(缺陷像素校正处理的概要)

图13是示出本实施方式1的变形例的图像处理装置30所执行的缺陷像素校正处理的概要的流程图，是图像处理装置30所执行的子例程的流程图。在图13中，在本实施方式1的变形例中，缺陷像素校正部50执行步骤S17a代替上述的实施方式1中的图7的步骤S17。除此以外由于与上述的图7的处理相同，因此在下面省略说明。

如图13所示，在步骤S17a中，缺陷像素校正部50对RTS噪声产生像素的像素值进行校正。具体而言，缺陷像素校正部50根据从第三外部接口部31输入的RTS噪声信息，在步骤S15中获取的像素值中存在RTS噪声产生像素的情况下，对该像素值进行RTS噪声校正(不校正原始图像数据本身，而校正所获取的像素值)。作为缺陷像素校正部50所进行的校正方法，可以是与上述的实施方式1的RTS噪声校正部51所执行的处理相同的处理，但也可以是简单的处理。作为该简单的处置，缺陷像素校正部50计算RTS噪声产生像素的周边像素的像素值的平均值，获取所获取的像素值、对获取的像素值加上RTS＿Value后的值(像素值+RTS＿Value)、以及从获取的像素值减去RTS＿Value后的值(像素值-RTS＿Value)中的、最接近平均值的值(更详细地说参照国际申请JP2015/057958号)。

根据以上说明的本发明的实施方式1的变形例，由于缺陷像素校正部50根据RTS噪声信息来简单校正关注像素周围的RTS噪声像素并进行使用，因此能够防止在缺陷像素的周围RTS噪声像素较多的情况下因随机噪声等的影响而导致缺陷像素的校正结果的精度降低。

(实施方式2)

接下来，对本发明的实施方式2进行说明。本实施方式2的摄像系统的图像处理装置的噪声降低部与上述的实施方式1的图像处理装置30的噪声降低部32结构不同，而且本实施方式2的图像处理装置所执行的处理是不同的。具体而言，本实施方式2的噪声降低部在对RAW图像进行了RTS噪声校正之后，校正缺陷像素。以下，对本实施方式2的噪声降低部的结构进行说明，然后对本实施方式2的噪声降低部所执行的处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

图14是示意性地示出本发明的实施方式2的图像处理装置中的噪声降低部的结构的框图。

图14所示的噪声降低部32a对从第三外部接口部31输入的RAW图像校正RTS噪声，然后校正缺陷像素而输出给图像处理部33。噪声降低部32a具有RTS噪声校正部51a和缺陷像素校正部50a。

RTS噪声校正部51a根据从第三外部接口部31输入的RTS噪声信息对从第三外部接口部31输入的RAW图像校正可能产生RTS噪声的像素的像素值而输出给缺陷像素校正部50a。另外，RTS噪声校正部51a的详细由于与上述的实施方式1的RTS噪声校正部51相同(参照图3)，因此省略说明。

缺陷像素校正部50a根据从第三外部接口部31输入的缺陷像素信息对从RTS噪声校正部51a输入的校正了RTS噪声的RAW图像校正缺陷像素的像素值而输出给图像处理部33。

(图像处理装置的处理)

接下来，对图像处理装置30所执行的处理进行说明。图15是示出图像处理装置30所执行的噪声校正处理的概要的流程图，是图像处理装置30所执行的主例程的流程图。

如图15所示，首先，RTS噪声校正部51a执行根据从第三外部接口部31输入的RTS噪声信息对从第三外部接口部31输入的RAW图像校正RTS噪声的RTS噪声校正处理(步骤S71)。另外，关于RTS噪声校正处理的详细在后面说明。

接着，缺陷像素校正部50a根据从第三外部接口部31输入的缺陷像素信息对从RTS噪声校正部51a输入的校正了RTS噪声的RAW图像校正缺陷像素而输出给图像处理部33(步骤S72)。另外，缺陷像素校正处理的详细在后面说明。在步骤S72之后，图像处理装置30结束本处理。

(RTS噪声校正处理的概要)

接下来，对在图15的步骤S71中进行了说明的RTS噪声校正处理进行说明。另外，在本实施方式2的RTS噪声校正处理中，仅代表值计算处理与上述的图9的RTS噪声校正处理中的代表值计算处理不同。以下，对本实施方式2的RTS噪声校正部51a所执行的代表值计算处理进行说明。

(代表值计算处理的概要)

图16是示出上述的图9的步骤S35中的本实施方式2的RTS噪声校正部51a所执行的代表值计算处理的概要的流程图。在图16中，在本实施方式2中，RTS噪声校正部51a执行步骤S55a和步骤S59a代替上述的实施方式1中的图10的步骤S55和步骤S59。除此以外由于与上述的图10的处理相同，因此在下面省略说明。

在步骤S55a中，代表值计算部323对选择区域内的像素中具有容许范围内的像素值且不产生RTS噪声的像素并且不是缺陷像素的像素的数量进行计数。

在步骤S59a中，代表值计算部323将如下像素的平均值、最频值以及中央值中的任意一个值确定为代表值，所述像素包含于选择区域中，具有容许范围内的像素值且不产生RTS噪声的像素并且不是缺陷像素的像素。另外，也可以是代表值计算部323将根据距关注像素的距离对像素值进行加权后的平均值确定为代表值。另外，在满足上述的条件的像素为0个的情况下，代表值计算部323将关注像素值确定为代表值。另外，代表值计算部323也可以根据满足上述的条件的像素的像素值来进行边缘的方向判别，通过对位于该判别结果的方向上的像素值提高权重等将该方向上的像素值优先确定为代表值。另外，代表值计算部323也可以使用紧前拍摄的RAW图像或紧前被RTS噪声校正部51校正的RAW图像等其他图像来计算代表值。在步骤S59a之后，RTS噪声校正部51a结束本处理，并返回到图9的RTS噪声校正处理的子例程。

(缺陷像素校正处理的概要)

接下来，对上述的图15的步骤S72的缺陷像素校正处理的详细进行说明。图17是示出缺陷像素校正处理的概要的流程图，是缺陷像素校正部50a所执行的子例程的流程图。

如图17所示，仅省略上述的实施方式1的图7的步骤S17的处理。即，在图17中，缺陷像素校正部50a执行上述的实施方式1的图7的步骤S17以外的处理。在步骤S27之后，图像处理装置30返回到图15的主例程。

根据以上说明的本发明的实施方式2，由于RTS噪声校正部51a根据RTS噪声信息对从第三外部接口部31输入的RAW图像校正RTS噪声，缺陷像素校正部50a根据缺陷像素信息对由RTS噪声校正部51a校正了RTS噪声的RAW图像校正缺陷像素噪声，因此能够高精度地对包含缺陷像素噪声和RTS噪声在内的图像数据进行校正。

另外，根据本发明的实施方式2，RTS噪声校正部51a使用除与缺陷像素信息对应的像素以外的像素的像素值来校正RTS噪声，然后，由于缺陷像素校正部50a对缺陷像素噪声进行校正，因此能够高精度地对包含缺陷像素噪声和RTS噪声在内的图像数据进行校正。

并且，根据本发明的实施方式2，在RTS噪声校正部51a对RTS噪声进行校正的情况下，计算关注像素的周围像素的像素值，但是，由于将缺陷像素和RTS噪声像素排除，因此能够高精度地对包含缺陷像素噪声和RTS噪声在内的图像数据进行校正。

另外，在本发明的实施方式2中，RTS噪声校正部51a根据缺陷像素信息，在关注像素为缺陷像素的情况下，将其从参照的像素的像素值中删除，但是，例如在缺陷像素的像素值处于规定的范围内并且能够进行校正的情况下，也可以对该缺陷像素的像素值进行校正而作为在对RTS噪声进行校正时所参照的像素。

(实施方式3)

接下来，对本发明的实施方式3进行说明。本实施方式3的摄像系统的图像处理装置的噪声降低部与上述的实施方式1的图像处理装置30的噪声降低部32结构不同，而且本实施方式3的图像处理装置所执行的处理是不同的。具体而言，对关注像素是否是缺陷像素或者RTS噪声像素进行判定，并根据该判定结果来选择校正结果。以下，在对本实施方式3的摄像系统的结构进行说明之后，对本实施方式3的图像处理装置所执行的处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

图18是示意性地示出本发明的实施方式3的图像处理装置中的噪声降低部的结构的框图。图18所示的噪声降低部32b对从第三外部接口部31输入的RAW图像校正RTS噪声和缺陷像素中的任意一个而输出给图像处理部33。具体而言，噪声降低部32b根据RTS噪声信息和缺陷像素信息对从第三外部接口部31输入的RAW图像进行RTS噪声校正和缺陷像素校正中的任意一方而输出给图像处理部33。噪声降低部32b具有缺陷像素校正部50、RTS噪声校正部51、噪声降低控制部52。

噪声降低控制部52使缺陷像素校正部50和RTS噪声校正部51中的任何一方根据从第三外部接口部31输入的RTS噪声信息和缺陷像素信息来校正从第三外部接口部31输入的RAW图像的关注像素的像素值。

(图像处理装置的处理)

接下来，对图像处理装置30所执行的处理进行说明。图19是示出图像处理装置30所执行的处理的概要的流程图。

如图19所示，噪声降低控制部52将表示RAW图像在垂直方向上的位置的计数器y复位(y＝0)(步骤S101)，并且将表示RAW图像在水平方向上的位置的计数器x复位(x＝0)(步骤S102)。

接着，噪声降低控制部52根据从第三外部接口部31输入的缺陷像素信息对RAW图像中的关注像素((x，y)像素)是否是缺陷像素进行判断(步骤S103)。在RAW图像中的关注像素是缺陷像素的情况下(步骤S103：“是”)、噪声降低控制部52使缺陷像素校正部50执行缺陷像素校正处理(步骤S104)。

(缺陷像素校正处理的概要)

图20是示出图19的步骤S104的缺陷像素校正处理的概要的流程图。在图20中，由于仅对上述的实施方式1的缺陷像素校正处理(参照图7)省略了步骤S11、步骤S12、步骤S13以及步骤S24～步骤S27的处理，因此省略说明。在步骤S23之后，噪声降低部32b返回到图19的主例程。

返回到图19继续说明。

在步骤S103中，在RAW图像中的关注像素不是缺陷像素的情况下(步骤S103：“否”)，图像处理装置30转移到后述的步骤S105。

接着，噪声降低控制部52根据从第三外部接口部31输入的RTS噪声信息对是否有可能在RAW图像中的关注像素((x，y)像素)中产生RTS噪声进行判断(步骤S105)，在有可能在RAW图像中的关注像素中产生RTS噪声的情况下(步骤S105：“是”)，使RTS噪声校正部51执行RTS噪声校正处理(步骤S106)。

(RTS噪声校正处理的概要)

图21是示出图19的步骤S106的RTS噪声校正处理的概要的流程图。在图21中，步骤S201与上述的实施方式1中的图9的步骤S34对应。另外，步骤S202的代表值计算处理与上述的实施方式2中的图16的代表值计算处理对应。并且，步骤S203的校正值计算处理与上述的实施方式1中的图12的校正值计算处理对应。在步骤S203之后，RTS噪声校正部51返回到图19的主例程。

返回到图19继续说明。

在步骤S105中，在不可能在RAW图像中的关注像素中产生RTS噪声的情况下(步骤S105：“否”)，图像处理装置30转移到步骤S107。

噪声降低控制部52将表示RAW图像在水平方向上的位置的计数器x递增(x＝x+1)(步骤S107)。

接着，噪声降低控制部52对计数器x是否比RAW图像的图像宽度小进行判断(步骤S108)，在计数器x比RAW图像的图像宽度小的情况下(步骤S108：“是”)，噪声降低控制部52返回到上述的步骤S103，在计数器x不比RAW图像的图像宽度小的情况下(步骤S108：“否”)，噪声降低控制部52转移到步骤S109。

接着，噪声降低控制部52将表示RAW图像在垂直方向上的位置的计数器y递增(y＝y+1)(步骤S109)，对计数器y是否比RAW图像的图像高度小进行判断(步骤S110)，在计数器y比RAW图像的图像高度小的情况下(步骤S110：“是”)，噪声降低控制部52返回到上述的步骤S102，在计数器y不比RAW图像的图像高度小的情况下(步骤S110：“否”)，噪声降低控制部52结束本处理。

根据以上说明的本发明的实施方式3，由于噪声降低控制部52根据RTS噪声信息和缺陷像素信息，在判断为关注像素是缺陷像素的情况下，使缺陷像素校正部50校正关注像素的像素值，在判断为关注像素是RTS噪声像素的情况下，使RTS噪声校正部51校正关注像素的像素值，因此具有与上述的实施方式1、2相同的效果，并且由于能够使缺陷像素校正和RTS噪声校正并行地执行，因此能够减少处理延迟时间。

(实施方式4)

接下来，对本发明的实施方式4进行说明。本实施方式4的噪声降低部与上述的实施方式1的噪声降低部结构不同，而且噪声降低部所执行的处理是不同的。因此，具体而言，在缺陷像素校正部和RTS噪声校正部中分别实施校正，选择各自的校正结果而输出给图像处理部。因此，以下，在对本实施方式4的噪声降低部的结构进行说明之后，对噪声降低部所执行的处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

图22是示意性地示出本发明的实施方式4的图像处理装置的噪声降低部的结构的框图。图22所示的噪声降低部32c具有缺陷像素校正部50、RTS噪声校正部51、噪声降低控制部52c。缺陷像素校正部50和RTS噪声校正部51分别设置为并联。

噪声降低控制部52c根据从第三外部接口部31输入的RTS噪声信息和缺陷像素信息，来选择缺陷像素校正部50对从第三外部接口部31输入的RAW图像的关注像素的像素值进行校正后的关注像素的像素值和RTS噪声校正部51对该RAW图像的关注像素的像素值进行校正后的关注像素的像素值中的任何一方而输出给图像处理部33。

(图像处理装置的处理)

接下来，对图像处理装置30所执行的处理进行说明。图23是示出图像处理装置30所执行的噪声降低处理的概要的流程图。

在图23中，步骤S301和步骤S302与上述的图19的步骤S101和步骤S102分别对应。

在步骤S303中，缺陷像素校正部50执行对缺陷像素进行校正的缺陷像素校正处理，并将缺陷像素校正结果输出给噪声降低控制部52c(步骤S303)。另外，由于缺陷像素校正处理的详细与上述的实施方式3的缺陷像素校正处理(参照图20)相同，因此省略详细的说明。

接着，RTS噪声校正部51执行对RTS噪声进行校正的RTS噪声校正处理，并将RTS噪声校正结果输出给噪声降低控制部52c(步骤S304)。另外，由于RTS噪声校正处理的详细与上述的实施方式3的RTS噪声校正处理(参照图21)相同，因此省略详细的说明。

然后，噪声降低控制部52c根据从第三外部接口部31输入的缺陷像素信息对RAW图像中的关注像素((x，y)像素)是否是缺陷像素进行判断(步骤S305)。在噪声降低控制部52c判断为RAW图像中的关注像素是缺陷像素的情况下(步骤S305：“是”)，噪声降低部32c转移到后述的步骤S306。与此相对，在噪声降低控制部52c判断为RAW图像中的关注像素不是缺陷像素的情况下(步骤S305：“否”)，噪声降低部32c转移到后述的步骤S307。

在步骤S306中，噪声降低控制部52c将从缺陷像素校正部50输入的缺陷像素校正结果设定为关注像素((x，y)像素)的像素值而输出给图像处理部33。在步骤S306之后，噪声降低部32c转移到后述的步骤S309。

在步骤S307中，噪声降低控制部52c根据从第三外部接口部31输入的RTS噪声信息对是否有可能在RAW图像中的关注像素((x，y)像素)中产生RTS噪声进行判断(步骤S307)。在噪声降低控制部52c判断为有可能在RAW图像中的关注像素((x，y)像素)中产生RTS噪声的情况下(步骤S307：“是”)，噪声降低部32c转移到后述的步骤S308。与此相对，在噪声降低控制部52c判断为不可能在RAW图像中的关注像素((x，y)像素)中产生RTS噪声的情况下(步骤S307：“否”)，噪声降低部32c转移到后述的步骤S309。

在步骤S308中，噪声降低控制部52c将从RTS噪声校正部51输入的RTS噪声校正结果设定为关注像素((x，y)像素)的像素值而输出给图像处理部33。在步骤S308之后，噪声降低部32c转移到后述的步骤S309。

步骤S309～步骤S312与上述的图19的步骤S107～步骤S110分别对应。

根据以上说明的本发明的实施方式4，能够高精度地对包含缺陷像素和闪烁缺陷像素在内的图像数据校正缺陷像素和闪烁缺陷像素。

(实施方式5)

接下来，对本发明的实施方式5进行说明。在上述的实施方式1中，图像处理装置30单独设置，但在本实施方式5中，将图像处理装置设置在摄像装置主体中。因此，以下，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

(摄像系统的结构)

图24是示意性地示出本发明的实施方式5的摄像系统2的结构的框图。图24所示的摄像系统2具有主体部3、能够装卸自如地与主体部3连接的镜头部4。

(主体部的结构)

主体部3具有快门103、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器接口部109、记录介质110、易失性存储器111、非易失性存储器112、总线113、摄像控制部114、AE处理部116、AF处理部117、外部接口部118、显示部119、驱动器120、噪声降低部32、图像处理部33。驱动器120在摄像控制部114的控制下，驱动快门103。

AE处理部116经由总线113获取存储在易失性存储器111中的图像数据，根据所获取的图像数据来设定进行静态图像摄影或动态图像摄影时的曝光条件。具体而言，AE处理部116根据图像数据来计算亮度，根据计算出的亮度而确定例如光圈值、曝光时间、ISO灵敏度等，由此来进行摄像系统2的自动曝光(Auto Exposure)。

AF处理部117经由总线113获取存储在易失性存储器111中的图像数据，根据所获取的图像数据来进行摄像系统2的自动焦点调整。例如，AF处理部117从图像数据中取出高频分量的信号，对高频分量的信号进行AF(Auto Focus：自动对焦)运算处理，由此通过确定摄像系统2的合焦评价来进行摄像系统2的自动焦点调整。另外，摄像系统2的自动焦点调整方法也可以是通过摄像元件105来获取相位差信号的方法。

外部接口部118可以进行主体部3中的各种块中的数据的读写、基于专用的命令等的控制等。外部接口部118是通过连接搭载有FPGA、DSP或GPU等的专用电路、个人计算机(PC)等外部设备而能够控制主体部3中的各种块的接口。

显示部119使用由液晶或有机EL(Electro Luminescence：电致发光)等构成的显示面板构成。显示部119显示与摄像元件105所生成的图像数据对应的图像。

(镜头部的结构)

如图24所示，镜头部4将从规定的视野区域会聚的被摄体像成像于摄像元件105。镜头部4具有光学系统101、光圈102、驱动器104。

(摄像系统的处理)

接下来，对摄像系统2所执行的处理进行说明。图25是示出摄像系统2所执行的处理的概要的流程图。

如图25所示，首先，当由用户对操作部108的电源按钮(未图示)进行操作而使主体部3的电源为接通时，摄像控制部114进行摄像系统2的初始化(步骤S801)。具体而言，摄像控制部114进行使表示动态图像的记录中的记录中标志为无效状态的初始化。该记录中标志是在动态图像的摄影过程中为有效状态，在未拍摄动态图像时为无效状态的标志，存储在易失性存储器111中。

接着，在按压操作部108的动态图像按钮的情况下(步骤S802：“是”)，摄像控制部114将以有效状态表示处于动态图像的记录中的记录中标志反转(步骤S803)，摄像控制部114对摄像系统2是否处于动态图像记录中进行判断(步骤S804)。具体而言，摄像控制部114对存储在易失性存储器111中的记录中标志是否处于有效状态进行判定。在由摄像控制部114判断为摄像系统2处于动态图像记录中的情况下(步骤S804：“是”)，摄像系统2转移到后述的步骤S805。与此相对，在由摄像控制部114判断为摄像系统2未处于动态图像记录中的情况下(步骤S804：“否”)，摄像系统2转移到后述的步骤S806。

在步骤S805中，摄像控制部114生成用于将图像数据沿时间序列记录于记录介质110的动态图像文件。在步骤S805之后，摄像系统2转移到后述的步骤S806。

在步骤S802中，在未按压操作部108的动态图像按钮的情况下(步骤S802：“否”)、摄像系统2，转移到步骤S806。

接着，摄像控制部114对摄像系统2是否处于动态图像的记录中进行判断(步骤S806)。在由摄像控制部114判断为摄像系统2处于动态图像的记录中的情况下(步骤S806：“是”)，摄像系统2转移到后述的步骤S817。与此相对，在由摄像控制部114判断为未处于动态图像的记录中的情况下(步骤S806：“否”)，摄像系统2转移到后述的步骤S807。

在步骤S807中，在按压了操作部108的再现按钮的情况下(步骤S807：“是”)，摄像系统2使与记录于记录介质110中的图像数据对应的图像再现显示于显示部119(步骤S808)。在步骤S808之后，摄像系统2转移到后述的步骤S809。

在步骤S807中，在未按压操作部108的再现按钮的情况下(步骤S807：“否”)，摄像系统2转移到步骤S809。

接着，在按压了操作部108的菜单按钮的情况下(步骤S809：“是”)，摄像系统2执行进行各种设定的设定处理(步骤S810)。在步骤S810之后，摄像系统2转移到后述的步骤S811。

在步骤S809中，在未按压操作部108的菜单按钮的情况下(步骤S809：“否”)，摄像系统2转移到步骤S811。

在步骤S811中，在操作部108的释放按钮从断开状态转移到第一状态的情况下(步骤S811：“是”)，摄像控制部114使AE处理部116执行调整曝光的AE处理，并使AF处理部117执行调整焦点的AF处理(步骤S812)。然后，摄像系统2转移到后述的步骤S824。

在步骤S811中，在操作部108的释放按钮未从断开状态转移到第一状态的情况下(步骤S811：“否”)，摄像系统2转移到步骤S813。

接着，在操作部108的释放按钮转移到第二状态的情况下(步骤S813：“是”)，摄像控制部114执行基于机械快门的摄影(步骤S814)。具体而言，摄像控制部114通过控制快门103使摄像元件105执行摄影。

接着，摄像系统2对摄像元件105所生成的图像数据进行RTS噪声的校正，然后执行进行规定的处理的图像处理(步骤S815)。另外，图像处理的详细在后面说明。

然后，摄像控制部114将图像处理部33实施了图像处理后的图像数据记录于记录介质110中(步骤S816)。在步骤S816之后，摄像系统2转移到后述的步骤S824。

在步骤S813中，在操作部108的释放按钮未转移到第二状态的情况下(步骤S813：“否”)，摄像系统2转移到步骤S817。

接着，摄像控制部114使AE处理部116执行调整曝光的AE处理(步骤S817)，使AF处理部117执行调整焦点的AF处理(步骤S818)。

然后，摄像控制部114经由驱动器120使摄像元件105执行基于电子控制曝光时间的所谓的电子快门的摄影(步骤S819)。摄像元件105通过基于电子快门的摄影而生成的图像数据经由模拟处理部106、A/D转换部107以及总线113输出给易失性存储器111。

接着，摄像系统2执行与步骤S815相同的图像处理(步骤S820)。另外，图像处理的详细在后面说明。

然后，摄像系统2使与摄像元件105通过基于电子快门的摄影而生成的图像数据对应的实时取景图像显示于显示部119(步骤S821)。

接着，在摄像系统2处于动态图像记录中的情况下(步骤S822：“是”)，摄像控制部114使未图示的图像压缩/解压缩部以通过步骤S810的设定处理而设定的记录形式压缩图像数据，并将该压缩的图像数据作为动态图像记录于在记录介质110中制成的动态图像文件中(步骤S823)。在步骤S823之后，摄像系统2转移到步骤S824。

在步骤S822中，在摄像系统2不处于动态图像记录中的情况下(步骤S822：“否”)，摄像系统2转移到步骤S824。

接着，在按压操作部108的电源按钮而使摄像系统2的电源为断开的情况下(步骤S824：“是”)，摄像系统2结束本处理。与此相对，在摄像系统2的电源不为断开的情况下(步骤S824：“否”)，摄像系统2返回到步骤S802。

(图像处理的概要)

接下来，对在图25的步骤S815和步骤S820中进行了说明的图像处理进行说明。图26是示出图像处理的概要的流程图。

如图26所示，缺陷像素校正部50执行对摄像元件105所生成的图像数据校正缺陷像素噪声的缺陷像素校正处理(步骤S900)。这里，缺陷像素校正处理由于与上述的实施方式1、3、4的图像处理装置30所执行的处理对应，因此省略说明。

接着，RTS噪声校正部51执行对缺陷像素校正部50所校正的图像数据校正RTS噪声的RTS噪声校正处理(步骤S901)。这里，RTS噪声校正处理由于与上述的实施方式1、3、4的图像处理装置30所执行的处理对应，因此省略说明。

接着，图像处理部33对由RTS噪声校正部51校正了RTS噪声的图像数据执行基本图像处理(步骤S902)。在步骤S902之后，摄像系统2返回到图25的主例程。

根据以上说明的本发明的实施方式5，具有与上述的实施方式1相同的效果。

(其他实施方式)

本发明并不限定于上述的实施方式，当然可以在本发明的主旨的范围内进行各种变形和应用。例如，除了在本发明的说明中使用的摄像装置以外，也能够应用于手机或智能手机中的具有摄像元件的便携设备、摄像机、内窥镜、监视照相机、显微镜那样的通过光学设备来拍摄被摄体的摄像装置等能够拍摄被摄体的任何设备。

在本发明中，根据RTS噪声的特征量即RTS＿Value或基于RTS＿Value的值即候选值的最大值而变更随机噪声模型的参照值或所参照的噪声模型，但也可以组合它们，根据RTS噪声的特征量来选择随机噪声模型，进而变更参照值来估计随机噪声量。另外，由于随机噪声量根据温度而不同，因此根据拍摄图像数据时的摄像元件的温度而选择随机噪声模型，进而也可以应用上述的方法。

另外，在本发明中，RTS噪声信息记录部和缺陷像素信息记录部设置于摄像装置内，但也可以设置于上述的图像处理装置内、镜头部、内窥镜主体等，也可以在经由网络而能够双向进行通信的服务器内设置RTS噪声信息记录部，从而经由网络获取RTS噪声信息。

另外，即使是用于显示或记录的图像数据以外的图像数据，例如OB区域的图像数据或光学上未被设计保证的像圈外的区域的图像数据等图像数据，也能够应用本发明。

另外，在本说明书中，在上述的各动作流程图的说明中，为了方便，使用“首先”、“接下来”、“接着”、“然后”等对动作进行说明，但并不意味着必须按该顺序实施动作。

另外，上述的实施方式中的图像处理装置的各处理的方法即各流程图所示的处理均可以事先作为能够由CPU等控制部执行的程序而存储。此外，可以保存在存储卡(ROM卡、RAM卡等)、磁盘(软盘(注册商标)、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中而进行分发。而且，CPU等控制部读取存储在该外部存储装置的存储介质中的程序，并通过该读取的程序来控制动作，从而能够执行上述的处理。

另外，本发明并不限定于上述实施方式及其变形例本身，可以在实施阶段中在不脱离发明的主旨的范围内对构成要素进行变形来具体化。另外，通过对上述实施方式所公开的多个构成要素进行适当组合，可以形成各种发明。例如，可以从上述实施方式和变形例所记载的所有构成要素中删除几个构成要素。并且，可以对在各实施方式和变形例中说明的构成要素进行适当组合。

另外，在说明书或附图中，至少一次与更广义或同义的不同术语一起被记载的术语在说明书或附图的任何位置都能置换为该不同的术语。这样，可以在不脱离发明的主旨的范围内进行各种变形和应用。

标号说明

1、2：摄像系统；3：主体部；4：镜头部；10：摄像装置；30：图像处理装置；31：第三外部接口部；32、32a、32b、32c：噪声降低部；33：图像处理部；34、108：操作部；35：存储部；36：图像处理控制部；40：显示装置；50、50a：缺陷像素校正部；51、51a：RTS噪声校正部；52、52c：噪声降低控制部；101：光学系统；102：光圈；103：快门；104、120：驱动器；105：摄像元件；105a：像素；105b：第一开关；105c：垂直传送线；105d：FD部；105e：放大器部；105f：第二开关；105h：传送线；106：模拟处理部；107：A/D转换部；109：存储器接口部；110：记录介质；111：易失性存储器；112：非易失性存储器；112a：程序记录部；112b：RTS噪声信息记录部；112c：随机噪声模型信息记录部；112d：缺陷像素信息记录部；113：总线；114：摄像控制部；115：第一外部接口部；116：AE处理部；117：AF处理部；118：外部接口部；119：显示部；321：RTS噪声像素判定部；322：候选值计算部；323：代表值计算部；324：随机噪声量估计部；325：校正值计算部。

Claims (15)

1.一种图像处理装置，所述图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，其特征在于，该图像处理装置具有：

获取部，其获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；以及

噪声降低部，其根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息，对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声，

所述噪声降低部在根据所述获取部所获取的所述缺陷像素信息和所述获取部所获取的所述闪烁缺陷噪声信息对所述获取部所获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声后，至少根据所述获取部所获取的所述缺陷像素信息或所述获取部所获取的所述闪烁缺陷噪声信息中的任意信息而降低另一方的噪声。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述噪声降低部具有：

缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及

闪烁缺陷噪声校正部，其根据所述闪烁缺陷噪声信息对由所述缺陷像素校正部校正了所述缺陷像素噪声后的所述图像数据校正所述闪烁缺陷噪声。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述噪声降低部具有：

闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声；以及

缺陷像素校正部，其根据所述缺陷像素信息对由所述闪烁缺陷噪声校正部校正了所述闪烁缺陷噪声后的所述图像数据校正所述缺陷像素噪声。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述噪声降低部具有：

缺陷像素校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述缺陷像素噪声；以及

闪烁缺陷噪声校正部，其根据所述缺陷像素信息和所述闪烁缺陷噪声信息对所述图像数据校正所述闪烁缺陷噪声，

所述噪声降低部根据所述缺陷像素信息和所述闪烁缺陷噪声信息，在与所述图像数据对应的图像的关注像素中产生了所述缺陷像素噪声的情况下，输出由所述缺陷像素校正部校正了所述关注像素的像素值后的结果，另一方面，在所述关注像素中产生了所述闪烁缺陷噪声的情况下，输出由所述闪烁缺陷噪声校正部校正了所述关注像素的像素值后的结果。

5.根据权利要求2所述的图像处理装置，其特征在于，

所述缺陷像素校正部使用除所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素以外的像素的像素值，来校正所述缺陷像素噪声。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述缺陷像素校正部将所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素的像素值与该像素的周围像素各自的像素值之间的差为规定的阈值以上的像素的像素值排除，而对所述缺陷像素噪声进行校正。

7.根据权利要求2至4中的任意一项所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声信息还包含与产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息对应且基于所述闪烁缺陷噪声的噪声电平的特征量，

所述缺陷像素校正部在产生所述缺陷像素噪声的像素周围存在所述闪烁缺陷噪声信息中包含的可能产生所述闪烁缺陷噪声的像素的情况下，使用根据所述特征量对可能产生所述闪烁缺陷噪声的像素的像素值进行校正后的像素值，来校正所述缺陷像素噪声。

8.根据权利要求3或4所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声校正部使用除所述缺陷像素信息中包含的产生所述缺陷像素噪声的像素以外的像素的像素值，来校正所述闪烁缺陷噪声。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声校正部根据除所述缺陷像素信息中包含的产生所述缺陷像素噪声的像素以外的像素的像素值而计算关注像素的代表值，以接近该代表值的方式对所述闪烁缺陷噪声进行校正。

10.根据权利要求1至6中的任意一项所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声是随机电报信号噪声。

11.根据权利要求7所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声是随机电报信号噪声。

12.根据权利要求8所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声是随机电报信号噪声。

13.根据权利要求9所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声是随机电报信号噪声。

14.一种图像处理方法，所述图像处理方法由图像处理装置执行，所述图像处理装置对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，其特征在于，该图像处理方法包含如下步骤：

获取步骤，获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；以及

噪声降低步骤，根据在所述获取步骤中获取的所述缺陷像素信息和在所述获取步骤中获取的所述闪烁缺陷噪声信息，对在所述获取步骤中获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声，

在所述噪声降低步骤中，在根据在所述获取步骤中获取的所述缺陷像素信息和在所述获取步骤中获取的所述闪烁缺陷噪声信息对在所述获取步骤中获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声后，至少根据在所述获取步骤中获取的所述缺陷像素信息或在所述获取步骤中获取的所述闪烁缺陷噪声信息中的任意信息而降低另一方的噪声。

15.一种存储介质，其存储有程序，其特征在于，该程序被处理器执行以实现获取步骤和噪声降低步骤，对摄像元件所生成的图像数据中包含的闪烁缺陷噪声和缺陷像素噪声进行校正，所述摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，所述缺陷像素噪声与该闪烁缺陷噪声不同，是根据所述多个像素的位置而产生的，

在所述获取步骤中，获取包含产生所述缺陷像素噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的缺陷像素信息、包含产生所述闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的闪烁缺陷噪声信息、以及所述摄像元件所生成的所述图像数据；

在所述噪声降低步骤中，根据在所述获取步骤中获取的所述缺陷像素信息和在所述获取步骤中获取的所述闪烁缺陷噪声信息，对在所述获取步骤中获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声，

在所述噪声降低步骤中，在根据在所述获取步骤中获取的所述缺陷像素信息和在所述获取步骤中获取的所述闪烁缺陷噪声信息对在所述获取步骤中获取的所述图像数据降低所述缺陷像素噪声和所述闪烁缺陷噪声中的任何一方的噪声后，至少根据在所述获取步骤中获取的所述缺陷像素信息或在所述获取步骤中获取的所述闪烁缺陷噪声信息中的任意信息而降低另一方的噪声。

Images