CN107113383A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

提供能够缩短拍摄时间和运算时间的图像处理装置、图像处理方法和程序。第1图像处理装置(20)具有：像素值群组生成部(202b)，其按照每个读出电路对像素值进行分类，生成多个像素值群组；以及RTS噪声判定部(202e)，其根据像素值群组生成部(202b)生成的多个群组各自的像素值的分布，针对多个像素值群组分别判定是否产生闪烁缺陷噪声。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及对具有二维状配置的多个像素的摄像元件中产生的RTS噪声这样的、在一定范围内变动的闪烁缺陷噪声进行判定的图像处理装置、图像处理方法和程序。

背景技术

近年来，在CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件中，像素和从该像素读出信号的读出电路的细微化得以发展。在这种细微化中，感光度的降低和各种噪声的增加成为问题。针对感光度的降低，通过采用使一个读出电路共用多个像素来读出信号的共用像素构造，削减读出电路的面积，提高各像素的开口率(受光部的比例)，由此提高感光度。

另一方面，在摄像元件产生的噪声中，存在由于暗电流而引起的暗电流散粒噪声和由于读出电路中的热噪音等而引起的随机噪声。并且，除了暗电流散粒噪声和随机噪声以外，还存在像素值始终示出异常值的缺陷像素、以及像素值在每次摄像时变动的闪烁缺陷噪声等。在这种闪烁缺陷噪声中存在由于读出电路而引起的RTS(Random TelegraphSignal：随机电报信号)噪声。作为按照摄像元件的每个像素来检测该RTS噪声的技术，公知有如下技术：计算从各图像的像素值中减去按照每个像素拍摄的多个图像中的像素值的平均值而得到的值，在该值为散粒噪声以上的情况下，检测该值作为RTS噪声的噪声电平(以下称为“RTS噪声电平”)(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2012-105063号公报

发明内容

发明要解决的课题

但是，在上述专利文献1中，为了提高RTS噪声的检测精度，需要多个图像，存在对检测所需要的图像进行拍摄的拍摄时间和检测所需要的运算量增加这样的问题。

本发明是鉴于上述情况而完成的，其目的在于，提供能够抑制拍摄时间和运算量、并且能够高精度地检测RTS噪声这样的在一定范围内变动的闪烁缺陷噪声的图像处理装置、图像处理方法和程序。

用于解决课题的手段

为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：像素值群组生成部，其针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及噪声判定部，其根据所述像素值群组生成部生成的所述多个群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有缺陷像素检测部，该缺陷像素检测部根据由所述摄像元件生成的多个图像数据，检测产生了损伤的像素作为缺陷像素，所述像素值群组生成部排除所述缺陷像素检测部检测到的所述缺陷像素的像素值，生成所述多个像素值群组。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述缺陷像素是产生了白伤或黑伤的像素。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述缺陷像素检测部根据由所述摄像元件生成的多个图像数据，计算从所述多个像素分别读出的像素值的平均值，根据该平均值检测所述缺陷像素。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有随机噪声量计算部，该随机噪声量计算部计算所述像素值群组生成部生成的所述多个像素值群组各自的随机噪声量和所述多个图像数据的随机噪声量，所述噪声判定部根据所述随机噪声量计算部计算出的所述多个像素值群组各自的随机噪声量和所述随机噪声量计算部计算出的所述多个图像数据的随机噪声量，针对所述多个像素值群组分别判定是否产生所述闪烁缺陷噪声。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述随机噪声量是所述像素值的标准偏差、方差、分布范围的大小、最大值和最小值中的任意一方。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有特征量计算部，该特征量计算部根据所述多个像素值群组各自的像素值的分布和预先记录的所述闪烁缺陷噪声的模型，计算表示所述闪烁缺陷噪声的特征的特征量，所述噪声判定部根据所述随机噪声量计算部计算出的所述多个像素值群组各自的随机噪声量、所述随机噪声量计算部计算出的所述多个图像数据的随机噪声量、所述特征量计算部计算出的所述特征量，针对所述多个像素值群组分别判定是否产生所述闪烁缺陷噪声。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述闪烁缺陷噪声的模型是由多个分布构成的混合分布模型。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述特征量包含所述闪烁缺陷噪声的振幅、所述闪烁缺陷噪声的产生频度和小于所述闪烁缺陷噪声的振幅的所述闪烁缺陷噪声中的产生频度中的任意一个以上。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述特征量包含对所述闪烁缺陷噪声进行校正的校正值的候选数的数量。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有噪声信息记录部，该噪声信息记录部记录将所述噪声判定部的判定结果、所述多个读出电路各自的位置信息、所述特征量对应起来的噪声信息。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有噪声校正部，该噪声校正部根据所述记录部记录的所述噪声信息，对所述闪烁缺陷噪声进行校正。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述噪声判定部根据从所述像素值群组生成部生成的所述多个像素值群组各自的像素值中减去对所述多个像素分别设定的规定值而得到的值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述摄像元件具有光学黑像素，该光学黑像素用于进行包含暗电流的电荷的偏置检测，所述规定值是基于来自所述光学黑像素的像素值的值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述规定值是从所述多个像素分别读出的像素值的平均值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述闪烁缺陷噪声是随机电报信号噪声。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述多个图像数据是在相同曝光条件下拍摄的图像数据。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述多个图像数据是在遮光状态下拍摄的图像数据。

并且，本发明的图像处理方法的特征在于，所述图像处理方法包括以下步骤：像素值群组生成步骤，针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及噪声判定步骤，根据所述像素值群组生成步骤中生成的所述多个像素值群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

并且，本发明的程序的特征在于，所述程序使图像处理装置执行以下步骤：像素值群组生成步骤，针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及噪声判定步骤，根据所述像素值群组生成步骤中生成的所述多个像素值群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

发明效果

根据本发明，发挥如下效果：能够高精度地检测RTS噪声这样的在一定范围内变动的闪烁缺陷噪声，并且能够缩短检测用的拍摄时间和运算时间。

附图说明

图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。

图2是示意地示出本发明的实施方式1的摄像元件的主要部分的结构的概略图。

图3是示出在进行遮光使得光未照射到本发明的实施方式1的摄像元件的情况下、在产生了RTS噪声时从放大器部输出的放大器输出的变动的图。

图4是示出使用产生了RTS噪声的放大器部读出的像素值的分布的图。

图5是示出本发明的实施方式1的第1图像处理装置执行的处理的概要的流程图。

图6是示出图5的孤立点检测/像素值群组生成处理的概要的流程图。

图7是示意地示出输出被分类为相同像素值群组的像素值的摄像元件的像素的图。

图8是示出图5的平均随机噪声量计算/RTS标志设定处理的概要的流程图。

图9是示出图8的RTS标志设定处理中的处理的概要的流程图。

图10是示出图5的RTS特征量计算处理的概要的流程图。

图11是示出绝对值柱状图的一例的图。

图12是示出图5的RTS噪声判定处理的概要的流程图。

图13是示出本发明的实施方式1的第2图像处理装置执行的处理的概要的流程图。

图14是示出图13的代表值计算处理的概要的流程图。

图15是示出随机噪声模型的一例的图。

图16是示出图13的校正值计算处理的概要的流程图。

图17是示出绝对值柱状图的混合正态分布近似的一例的图。

图18是示出本发明的实施方式1的变形例2的候选值计算方法2中的RTS_Value的亮度分布与候选值的关系的图。

图19是示出本发明的实施方式1的变形例3的候选值计算方法3中的RTS_Value的柱状图与候选值的关系的图。

图20是示出本发明的实施方式2的第1图像处理装置执行的RTS噪声判定处理的概要的流程图。

图21是示出本发明的实施方式2的第2图像处理装置执行的处理的概要的流程图。

图22是示意地示出本发明的实施方式3的摄像系统的结构的框图。

图23是示出本发明的实施方式3的摄像系统执行的处理的概要的流程图。

图24是示出图23的设定处理的概要的流程图。

图25是示出图23的图像处理的概要的流程图。

具体实施方式

下面，参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。另外，本发明不由以下说明的实施方式进行限定。进而，在附图的记载中，对相同部分标注相同标号进行说明。

(实施方式1)

〔摄像系统的结构〕

图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。图1所示的摄像系统1具有摄像装置10、第1图像处理装置20、第2图像处理装置30、显示装置40。

〔摄像装置的结构〕

首先，对摄像装置10的结构进行说明。如图1所示，摄像装置10具有光学系统101、光圈102、快门103、驱动器104、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器I/F部109、记录介质110、易失存储器111、非易失存储器112、总线113、摄像控制部114、第1外部I/F部115。

光学系统101使用多个透镜构成。光学系统101例如使用对焦透镜和变焦透镜构成。

光圈102对光学系统101会聚的光的入射量进行限制，由此进行曝光的调整。光圈102在摄像控制部114的控制下，对光学系统101会聚的光的入射量进行限制。

快门103将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦面快门等构成。

驱动器104在后述摄像控制部114的控制下，对光学系统101、光圈102和快门103进行驱动。例如，驱动器104使光学系统101沿着光轴O1移动，由此进行摄像装置10的变焦倍率的变更或焦点位置的调整。

摄像元件105在后述摄像控制部114的控制下，接收光学系统101会聚的光，将其转换为图像数据(电信号)进行输出。摄像元件105使用二维状配置有多个像素的CMOS(Complementary Metal Oxide Semiconductor)等构成。在该各像素的前表面配置有拜耳排列的RGB滤镜。另外，摄像元件105不限于拜耳排列，当然也可以是例如Fovion这样的层叠型的形式。并且，所使用的滤镜不限于RGB，也可以应用补色滤镜等任意滤镜。并且，也可以另行配置能够以时间分割的方式照射不同的彩色光的光源，不在摄像元件105中配置滤镜，能够使用变更要照射的颜色并依次取入的图像构成彩色图像。

这里，对摄像元件105的结构进行详细说明。图2是示意地示出摄像元件105的主要部分的结构的概略图。另外，图2所示的摄像元件105示出在多个像素中共用读出电路以通过提高像素的开口率来提高感光度的例子。另外，图2所示的摄像元件105针对水平方向(横向)上2个像素×垂直方向(纵向)上4个像素这8个像素配置一个读出电路。另外，在图2中，说明了针对水平方向(横向)上2个像素×垂直方向(纵向)上4个像素这8个像素、将一个读出电路作为一个群组的例子，但是，在本实施方式1的摄像元件105上，在水平方向和垂直方向上并列配置上述像素和读出电路。

如图2所示，摄像元件105具有：多个像素105a(光电二极管)，它们通过曝光来接收光，进行光电转换，由此产生与曝光量对应的电荷；第1开关105b，其分别设置在多个像素105a上，根据摄像控制部114的控制进行开闭；垂直传输线105c，其在垂直方向上传输从多个像素105a分别输出的信号(电荷)；FD部105d(Floating Diffusion：浮置扩散)，其蓄积从多个像素105a分别输出的信号；放大器部105e，其对从FD部105d输出的信号进行放大；第2开关105f，其根据摄像控制部114的控制进行开闭；控制线105g，其对第2开关105f进行控制；以及传输线105h，其传输由放大器部105e放大后的电信号。

这样构成的摄像元件105在读出与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值的情况下，首先，使FD部105d成为复位状态，摄像控制部114仅接通第1开关105b(1)，由此向FD部105d传输像素105a(1)中产生的电荷。然后，摄像控制部114接通第2开关105f，由此，摄像元件105通过放大器部105e对FD部105d中蓄积的电荷进行放大，作为像素值进行读出(输出)。接着，摄像元件105使FD部105d成为复位状态，摄像控制部114仅接通第1开关105b(2)，由此向FD部105d传输像素105a(2)中产生的电荷。然后，摄像控制部114接通第2开关105f，由此，摄像元件105通过放大器部105e对FD部105d中蓄积的电荷进行放大，作为像素值进行读出。摄像元件105通过依次进行这种读出动作，能够依次输出与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值。另外，在本实施方式1中，放大器部105e作为从多个像素105a分别读出电荷的读出电路发挥功能。

返回图1，继续进行摄像装置10的结构的说明。

模拟处理部106对从摄像元件105输入的模拟信号实施规定模拟处理，将其输出到A/D转换部107。具体而言，模拟处理部106对从摄像元件105输入的模拟信号进行噪声降低处理和增益放大处理等。例如，模拟处理部106在针对模拟信号降低了复位噪声等之后进行波形整形，进而进行增益放大以成为目标明亮度。

A/D转换部107对从模拟处理部106输入的模拟信号进行A/D转换，由此生成数字的图像数据(以下称为“RAW图像数据”)，经由总线113输出到易失存储器111。另外，A/D转换部107也可以直接对后述摄像装置10的各部输出RAW图像数据。另外，也可以在摄像元件105中设置上述模拟处理部106和A/D转换部107，摄像元件105直接输出数字的RAW图像数据。

操作部108给出摄像装置10的各种指示。具体而言，操作部108具有将摄像装置10的电源状态切换为接通状态或断开状态的电源开关、给出静态图像拍摄指示的释放开关、切换摄像装置10的各种设定的操作开关和给出动态图像拍摄指示的动态图像开关等。

记录介质110使用从摄像装置10的外部安装的存储卡构成，经由存储器I/F部109以拆装自如的方式安装在摄像装置10上。并且，记录介质110也可以在摄像控制部114的控制下，经由存储器I/F部109分别向非易失存储器112输出程序和各种信息。

易失存储器111暂时存储经由总线113从A/D转换部107输入的图像数据。例如，易失存储器111暂时存储经由模拟处理部106、A/D转换部107和总线113而由摄像元件105按照每1帧依次输出的图像数据。易失存储器111使用SDRAM(Synchronous Dynamic RandomAccess Memory：同步动态随机存取存储器)等构成。

非易失存储器112记录用于使摄像装置10进行动作的各种程序、程序的执行中所使用的各种数据。并且，非易失存储器112具有程序记录部112a、RTS噪声信息记录部112b、记录随机噪声模型的随机噪声模型信息记录部112c，所述RTS噪声信息记录部112b记录经由第1外部I/F部115输入的摄像元件105中的RTS噪声的RTS噪声位置信息。非易失存储器112使用闪速存储器等构成。

总线113使用连接摄像装置10的各结构部位的传送路等构成，将摄像装置10的内部产生的各种数据传输到摄像装置10的各结构部位。

摄像控制部114使用CPU(Central Processing Unit：中央处理单元)等构成，根据来自操作部108的指示信号、释放信号，针对构成摄像装置10的各部进行指示、数据的传输等，对摄像装置10的动作进行总括控制。例如，摄像控制部114在从操作部108输入了第二释放信号的情况下，进行开始摄像装置10中的拍摄动作的控制。这里，摄像装置10中的拍摄动作是指模拟处理部106和A/D转换部107对从摄像元件105输出的图像数据实施规定处理的动作。这样实施了处理后的图像数据在摄像控制部114的控制下，经由总线113和存储器I/F部109记录在记录介质110中。

第1外部I/F部115将经由总线113从外部的设备输入的信息输出到非易失存储器112或易失存储器111，另一方面，经由总线113向外部的设备输出易失存储器111记录的信息、非易失存储器112存储的信息和摄像元件105生成的图像数据。具体而言，第1外部I/F部115经由总线113向第1图像处理装置20和第2图像处理装置30输出摄像元件105生成的图像数据。

〔第1图像处理装置的结构〕

接着，对第1图像处理装置20的结构进行说明。第1图像处理装置20具有第2外部I/F部201、RTS噪声检测部202。

第2外部I/F部201经由摄像装置10的第1外部I/F部115取得由摄像元件105生成的图像数据，将所取得的图像数据输出到RTS噪声检测部202。并且，第2外部I/F部201将从RTS噪声检测部202输入的信息输出到摄像装置10。

RTS噪声检测部202根据由摄像装置10拍摄的RAW图像，检测摄像元件105中产生的RTS噪声，经由第2外部I/F部201、第1外部I/F部115和总线113将该检测结果记录在非易失存储器112中。RTS噪声检测部202具有孤立点检测部202a、像素值群组生成部202b、平均随机噪声量计算部202c、RTS噪声特征量计算部202d、RTS噪声判定部202e。

孤立点检测部202a根据与在对摄像元件105进行遮光的状态(例如闭合快门103的状态、以下称为“暗时状态”)下拍摄的多个RAW图像数据对应的暗时RAW图像(以下简称为“暗时RAW图像”)，进行孤立点的检测和OB成分的减法运算，将孤立点检测结果和减法运算后的暗时RAW图像输出到像素值群组生成部202b。另外，在本实施方式1中，孤立点检测部202a作为缺陷像素检测部发挥功能。

像素值群组生成部202b根据孤立点检测部202a进行减法运算后的多个暗时RAW图像的像素值，排除检测到孤立点的像素的像素值，并且，根据摄像元件105的共用像素的方式，按照每个读出电路(放大器部105e)进行分类，生成多个像素值群组，将该多个像素值群组输出到平均随机噪声量计算部202c。另外，像素值群组生成部202b也可以不排除由孤立点检测部202a检测到的孤立点的像素的像素值，而使用根据检测到的孤立点进行校正后的像素值。

平均随机噪声量计算部202c计算由像素值群组生成部202b生成的多个像素值群组各自的随机噪声量和多个暗时RAW图像的随机噪声量，将该计算出的各个随机噪声量输出到RTS噪声特征量计算部202d。进而，平均随机噪声量计算部202c使用上述计算出的随机噪声量确定可能产生RTS噪声的像素值群组，根据除此以外的像素值群组的随机噪声量，计算全部像素值群组的随机噪声量的平均即平均随机噪声量。另外，在本实施方式1中，平均随机噪声量计算部202c作为随机噪声量计算部发挥功能。

RTS噪声特征量计算部202d针对可能产生RTS噪声的像素值群组，计算表示RTS噪声电平和产生频度等的特征量即RTS噪声特征量，将该计算出的RTS噪声特征量输出到RTS噪声判定部202e。RTS噪声特征量计算部202d通过后述拟合处理等计算RTS噪声特征量，使得产生RTS噪声的像素值群组的像素值的分布如后述图4所示。另外，在本实施方式中，RTS噪声特征量计算部202d作为特征量计算部发挥功能。

RTS噪声判定部202e根据像素值群组生成部202b生成的多个群组各自的像素值的分布，针对该多个像素值群组分别判定是否产生RTS噪声作为闪烁缺陷噪声。具体而言，RTS噪声判定部202e针对可能产生RTS噪声的像素值群组，根据由RTS噪声特征量计算部202d计算出的RTS噪声特征量，对构成对应的像素值群组的摄像元件105的像素(针对共用同一放大器部105e(读出电路)的摄像元件105的像素)判定(检测)是否产生需要校正的电平的RTS噪声。RTS噪声判定部202e在判定为产生了RTS噪声的情况下，在摄像装置10的非易失存储器112中记录将RTS噪声的检测结果、对应的摄像元件105的读出电路(放大器部105e)的位置信息(即，仅由共用读出电路的像素构成的共用像素块的位置信息)、RTS噪声特征量计算部202d计算出的特征量关联起来的RTS噪声信息。另外，在本实施方式中，RTS噪声判定部202e作为噪声判定部发挥功能。

〔第2图像处理装置的结构〕

接着，对第2图像处理装置30的结构进行说明。第2图像处理装置30具有第3外部I/F部301、RTS噪声校正部302、图像处理部303。

第3外部I/F部301经由摄像装置10的第1外部I/F部115取得由摄像元件105生成的图像数据和从非易失存储器112输出的与RTS噪声有关的RTS噪声信息，将所取得的图像数据和RTS噪声信息输出到RTS噪声校正部302。

RTS噪声校正部302针对摄像装置10的非易失存储器112的RTS噪声信息记录部112b中记录的RAW图像进行校正RTS噪声的RTS噪声校正处理，将进行了该校正后的RAW图像输出到图像处理部303。RTS噪声校正部302具有RTS噪声像素判定部302a、候选值计算部302b、代表值计算部302c、随机噪声量估计部302d、校正值计算部302e。

RTS噪声像素判定部302a经由第3外部I/F部301、第1外部I/F部115和总线113取得摄像装置10的RTS噪声信息记录部112b中记录的RTS噪声信息，判定所取得的RAW图像上的像素中是否产生RTS噪声，将判定结果输出到候选值计算部302b和代表值计算部302c。具体而言，当对RTS噪声像素判定部302a输入像素的位置后，判定与该像素对应的RTS噪声信息是否记录在摄像装置10的RTS噪声信息记录部112b中，如果已记录，则输出RTS噪声信息(表示存在RTS噪声的信息)，另一方面，如果未记录在摄像装置10的RTS噪声信息记录部112b中，则视为未产生RTS噪声的像素，不输出RTS噪声信息。

候选值计算部302b根据关注像素在RAW图像中的像素值和RTS噪声像素判定部302a的判定结果，在由RTS噪声像素判定部302a判定为关注像素中产生RTS噪声的情况下，针对关注像素的像素值计算校正量的多个候选值，将关注像素在RAW图像中的像素值和计算出的多个候选值分别输出到代表值计算部302c、随机噪声量估计部302d和校正值计算部302e。

代表值计算部302c在由RTS噪声像素判定部302a判定为关注像素中产生RTS噪声的情况下，根据关注像素周围的至少由RTS噪声像素判定部302a判定为未产生RTS噪声的像素和与后述随机噪声量估计部302d计算出的关注像素对应的随机噪声量的参照值，计算与未产生RTS噪声的情况下的像素值相当的代表值。代表值计算部302c将关注像素在RAW图像中的像素值、多个候选值、上述计算出的代表值输出到校正值计算部302e。

随机噪声量估计部302d根据摄像装置10的随机噪声模型信息记录部112c记录的随机噪声模型，估计与像素值对应的随机噪声量，将估计结果输出到代表值计算部302c。即，在对随机噪声量估计部302d输入像素值后，输出与该像素值对应的随机噪声量。

校正值计算部302e在由RTS噪声像素判定部302a判定为关注像素中可能产生RTS噪声的像素的情况下，根据候选值计算部302b计算出的多个候选值，对关注像素的像素值进行校正。具体而言，校正值计算部302e根据关注像素在RAW图像中的像素值、由候选值计算部302b计算出的多个候选值、由代表值计算部302c计算出的代表值，计算对RTS噪声进行了校正后的像素值，将其输出到图像处理部303。更具体而言，校正值计算部302e根据候选值计算部302b计算出的多个候选值中、校正结果最接近代表值计算部302c计算出的代表值的候选值，对关注像素的像素值进行校正。与此相对，校正值计算部302e在由RTS噪声像素判定部302a判定为关注像素中未产生RTS噪声的像素的情况下，直接输出关注像素在RAW图像中的像素值。

图像处理部303对由RTS噪声校正部302校正了RTS噪声后的图像数据进行规定图像处理，将其输出到显示装置40。这里，关于规定图像处理，进行至少包含光学黑减法处理、白平衡调整处理、摄像元件为拜耳排列的情况下的图像数据的同步化处理、彩色矩阵运算处理、γ校正处理、颜色再现处理和边缘强调处理、噪声降低处理等的基本的图像处理。并且，图像处理部303根据预先设定的各图像处理的参数，进行再现自然图像的图像处理。这里，各图像处理的参数是对比度、清晰度、彩度、白平衡和灰度的值。

〔显示装置的结构〕

接着，对显示装置40的结构进行说明。显示装置40显示与从第2图像处理装置30输入的图像数据对应的图像。显示装置40使用液晶或有机EL(Electro Luminescence：电致发光)等显示面板等构成。

在具有以上结构的摄像系统1中，第1图像处理装置20检测摄像元件105中产生的RTS噪声，第2图像处理装置30对由第1图像处理装置20检测到的RTS噪声进行校正，显示装置40显示与由第2图像处理装置30实施了图像处理后的图像数据对应的图像。

〔RTS噪声的产生原因和特性〕

接着，对RTS噪声的产生原因和RTS噪声的特性进行说明。

图3是示出在进行遮光使得光未照射到摄像元件105的情况下、在产生RTS噪声时从放大器部105e输出的放大器输出的变动的图。图4是示出使用产生RTS噪声的放大器部105e读出的像素值的分布的图。

在放大器部105e中的栅极氧化膜存在陷阱能级的情况下，以随机的定时在该陷阱能级中捕获或放出电荷，由此产生RTS噪声。因此，如图3所示，在产生RTS噪声的放大器部105e中，放大器输出在大约Vrts的范围内随机变动。并且，不会在一瞬间引起电位的变动，需要些许时间τ。

一般情况下，在摄像元件105中，为了在从像素105a读出的像素值中降低噪声，进行相关双取样处理(以下称为“CDS处理”)。在CDS处理中，摄像控制部114接通摄像元件105的复位开关(未图示)，使FD部105d的电荷复位，进而，摄像控制部114接通第2开关105f，生成复位状态，读出(输出)复位状态的信号(基准信号)。接着，在CDS处理中，摄像控制部114仅接通第1开关105b(或第1开关105b(1)～105b(8)中的任意方)，将像素105a中产生的电荷传输到FD部105d，进而，生成接通了第2开关105f的读出状态(输出状态)，读出(输出)读出状态的信号。接着，在CDS处理中，将从读出状态的信号中减去复位状态的信号(基准信号)而得到的信号转换为像素值。

如图3所示，摄像元件105通过CDS处理读出各个时刻tr1(复位状态)和时刻ts1(读出状态)的信号时，由于各个时刻tr1和时刻ts1的放大器输出V大致相同，所以，主要受到随机噪声的影响，所读出的像素值成为图4所示的分布A那样的以0为中心的分布。同样，在摄像元件105中，在时刻tr2(复位状态)和时刻ts2(读出状态)，各个时刻tr2和时刻ts2的放大器输出V也大致相同，所以，所读出的像素值成为图4所示的分布A。

另一方面，摄像元件105通过CDS处理读出各个时刻tr3(复位状态)和时刻ts3(读出状态)的信号时，与时刻tr3的放大器输出相比，时刻ts3的放大器输出低大约Vrts，所以，取2个信号之差后，向负方向移位与放大器输出的变化量即Vrts对应的像素值即RTS_Value，所读出的像素值成为以-RTS_Value为中心的分布B。

与此相对，摄像元件105通过CDS处理读出各个时刻tr4(复位状态)和时刻ts4(读出状态)的信号时，与时刻tr4的放大器输出相比，时刻ts4的放大器输出高大约Vrts，所以，取2个信号之差后，向正方向移位与放大器输出的变化量即Vrts对应的像素值即RTS_Value，所读出的像素值成为以RTS_Value为中心的分布C。

这里，图3的放大器输出的变动需要时间τ来产生，所以，有时在电位变动的中途读出信号。该情况下，在复位状态的读出时刻和读出状态的读出时刻之间，放大器输出差大于-Vrts且小于Vrts。其结果，从摄像元件105读出的像素值也成为大于-RTS_Value且小于RTS_Value的值。认为如果摄像元件105的条件(例如温度或驱动电压等)恒定，则时间τ大致恒定，所以，以相同的概率产生大于-RTS_Value且小于RTS_Value的像素值。这里，将这些像素值的产生频度定义为αnoise。并且，关于分布B和分布C，仅各自的中央值不同，但是，除此以外成为相同的分布。因此，下面，将分布B或分布C相对于分布A的比例定义为αrts。放大器部105e的放大器输出的变动周期越短，则该αrts越大。

这样，通过CDS处理且使用产生RTS噪声的放大器部105e读出的像素值成为图4这样的分布。另外，在光照射到摄像元件105的条件下，读出状态的电位根据曝光量而变化。但是，由RTS噪声引起的电位的变化恒定而与曝光量无关。即，RTS噪声具有不依赖于曝光量，而在-RTS_Value以上且RTS_Value以下的范围内相对于正常像素值随机变动的特性。另外，在图4中，示意地示出分布A、分布B、分布C，但是，一般成为正态分布。

并且，RTS噪声是由读出电路(放大器部105e)引起的噪声，所以，如图2所示，在多个像素105a分别共用一个读出电路的情况下，在全部共用像素(像素105a(1)～105a(8))中产生相同特性的RTS噪声。

并且，除了图2所示的读出电路(放大器部105e)以外，有时在摄像元件105的列方向上共用的列放大器和源极跟随器等中也产生RTS噪声。该情况下，在共用相同的列放大器和源极跟随器的列方向的全部像素中也产生相同特性的RTS噪声。本实施方式还能够应用于读出电路(放大器部105e)以外的电路中产生的RTS噪声。

这样，RTS噪声成为在固定被摄体并在相同条件下进行拍摄的情况下、通过拍摄而得到的图像的像素值在一定范围内(-RTS_Value以上且RTS_Value以下)振动(变动)的闪烁缺陷噪声中的一种。

〔第1图像处理装置的处理〕

接着，对第1图像处理装置20的处理进行说明。图5是示出第1图像处理装置20执行的处理的概要的流程图，是第1图像处理装置20执行的主例程的流程图。另外，在图5中，对第1图像处理装置20执行的检测RTS噪声的RTS噪声检测处理进行说明。

如图5所示，首先，RTS噪声检测部202经由第2外部I/F部201和第1外部I/F部115向摄像控制部114输出拍摄遮光图像的指示信号，拍摄多张(例如250张)暗时RAW图像(步骤S101)。该情况下，摄像控制部114根据从RTS噪声检测部202输入的指示信号对快门103和摄像元件105进行控制，由此使摄像元件105拍摄暗时RAW图像。此时，在静态图像、动态图像和实时取景图像中，在RAW图像的尺寸、拍摄时的摄像元件105的驱动模式(例如高速读出模式或画质优先模式)分别不同的情况下、以及RAW图像的特性(例如比特数)不同的情况下，优选摄像元件105分别拍摄多张暗时RAW图像。并且，摄像控制部114将通过摄像元件105的拍摄而得到的多个暗时RAW图像经由总线113、第1外部I/F部115和第2外部I/F部201输出到RTS噪声检测部202。

这里，输出到RTS噪声检测部202的RAW图像数据也可以不是暗时RAW图像，只要是拍摄了同一被摄体的多个RAW图像数据，就能够进行RTS噪声的检测，但是，一般情况下，在较暗时，随机噪声的影响较小，所以，优选使用暗时RAW图像。根据同样的理由，关于输出到RTS噪声检测部202的RAW图像数据，在摄像元件105在比高温状态低的低温(室温以下)状态下拍摄多张暗时RAW图像时，随机噪声较少，所以是优选的。并且，输出到RTS噪声检测部202的RAW图像数据也可以不是从多个像素105a分别输出的信号，而是使用仅从FD部105d输出的信号构成的多个RAW图像数据。

接着，RTS噪声检测部202使用从摄像装置10取得的多个暗时RAW图像，执行检测孤立点(缺陷像素)和生成多个像素值群组的孤立点检测/像素值群组生成处理(步骤S102)。

图6是示出图5的步骤S102的孤立点检测/像素值群组生成处理的概要的流程图。

如图6所示，首先，孤立点检测部202a生成上述步骤S101中取得的多个暗时RAW图像的平均即平均暗时RAW图像(步骤S201)。具体而言，孤立点检测部202a按照每个像素对全部暗时RAW图像的像素值进行相加，除以暗时RAW图像的张数(例如250张)，由此生成平均暗时RAW图像。由此，在平均暗时RAW图像中，能够降低随机噪声和RTS噪声的影响。这里，孤立点检测部202a也可以仅使用上述步骤S101中拍摄的暗时RAW图像的一部分来生成平均暗时RAW图像。由此，能够削减生成平均暗时RAW图像的时间。

并且，如果是摄像元件105的特性稳定的条件，则孤立点检测部202a也可以使用在与上述步骤S101的拍摄不同的时刻拍摄的其他暗时RAW图像来生成平均暗时RAW图像。由此，孤立点检测部202a通过并列实施上述步骤S101和步骤S201，或者并列实施上述步骤S101与后述步骤S203和后述步骤S204，不是必须将上述步骤S101中拍摄的全部暗时RAW图像存储在非易失存储器112中，即使是较少容量的易失存储器111，也能够生成像素值群组。

接着，孤立点检测部202a根据平均暗时RAW图像，判定孤立点像素(步骤S202)。具体而言，孤立点检测部202a针对构成平均暗时RAW图像的各像素的像素值，判定该像素值是否为规定阈值(第1阈值)以上，判定(检测)该规定阈值(第1阈值)以上的像素值的像素作为孤立点(缺陷像素)。这里，规定阈值例如是暗时散粒噪声的2倍的像素值左右。由此，能够准确地检测(判定)可能使RTS噪声检测的精度降低的孤立点像素(缺陷像素)。另外，作为孤立点像素，孤立点检测部202a检测输出的像素值大于规定阈值(第1阈值)的像素作为白伤像素，但是，也可以检测像素值小于规定阈值(第2阈值)的例如黑伤像素。这里，黑伤像素是由感光度比周围低的感光度不良引起的、或由光电二极管(像素105a)的缺陷引起的等。如果是由感光度不良引起的黑伤像素，则即使不检测为孤立点像素，也由于使用暗时RAW图像而不会对RTS噪声检测造成影响，但是，优选与上述白伤同样检测由像素105a引起的缺陷。由此，孤立点检测部202a也可以在白伤像素的检测的基础上，进一步根据拍摄了均匀被摄体的多个图像，检测规定值(第2阈值)以下的像素值的像素作为黑伤像素。由此，能够提高RTS噪声的检测精度。

然后，像素值群组生成部202b从多个暗时RAW图像中分别减去平均暗时RAW图像(步骤S203)。具体而言，像素值群组生成部202b从构成各暗时RAW图像的各像素的像素值中减去与该各像素对应的平均暗时RAW图像的像素的像素值。该情况下，像素值群组生成部202b在减法运算后的结果中也保持负值。并且，一般情况下，摄像元件105具有OB区域(OB像素)，该OB区域用于进行包含暗电流的电荷的偏置检测(光学黑检测)。因此，像素值群组生成部202b也可以从多个暗时RAW图像中分别减去OB区域中的像素值的平均。另外，使用平均暗时RAW图像能够排除由于每个像素的暗电流的偏差而引起的着色等的影响，所以，能够更加准确地检测RTS噪声。

接着，像素值群组生成部202b根据步骤S202中由孤立点检测部202a检测到的孤立点像素判定结果、以及步骤S203中减去平均暗时RAW图像而得到的多个暗时RAW图像，按照每个读出电路(每个放大器部105e)对像素值进行分类，生成多个像素值群组(步骤S204)。具体而言，首先，像素值群组生成部202b从减去平均暗时RAW图像而得到的多个暗时RAW图像的全部像素的像素值中，排除从判定为孤立点像素的像素输出的像素值。接着，像素值群组生成部202b按照使用相同读出电路(放大器部105e)读出的从像素输出的每个像素值进行分组，分别将该群组生成为像素值群组。

图7是示意地示出输出被分类为相同像素值群组的像素值的摄像元件105的像素的图。在图7中，示出针对图2所示的横向上2个像素×纵向上4个像素这8个像素、利用一个读出电路(放大器部105e)读出信号的共用像素的情况。并且，在图7中，由细线L1形成的正方形P1表示各像素，该白色正方形P1表示正常像素，黑色正方形P2表示孤立点像素。进而，在图7中，粗线L2的框表示输出被分类为相同像素值群组的像素值的像素。并且，在图7中，从上方起依次示出第W1个拍摄的图像的一部分、第W2个拍摄的图像的一部分、第W3个拍摄的图像的一部分。

如图7所示，像素值群组A成为在像素值群组生成部202b减去平均暗时RAW图像而得到的多个暗时RAW图像中、分别从左上的粗框部分L2的各像素输出的像素值的集合。该情况下，例如在使用250张暗时RAW图像时，像素值群组A成为由8×250＝2000个像素值构成的集合。并且，像素值群组X成为从粗框部分的像素中、未检测到孤立点(缺陷像素)的像素输出的像素值的集合。该情况下，例如在使用250张暗时RAW图像时，像素值群组X成为由(8-1)×250＝1750个像素值构成的集合。

在步骤S204之后，RTS噪声检测部202返回图5的主例程。

返回图5，继续进行步骤S103以后的说明。

在步骤S103中，RTS噪声检测部202针对多个像素值群组，执行平均随机噪声量计算/RTS标志设定处理，该平均随机噪声量计算/RTS标志设定处理设定表示产生RTS噪声的可能性的RTS标志，并计算像素值群组的平均随机噪声量。

图8是示出图5的步骤S103中说明的平均随机噪声量计算/RTS标志设定处理的概要的流程图。

如图8所示，首先，平均随机噪声量计算部202c计算各像素值群组的随机噪声量(步骤S301)。具体而言，平均随机噪声量计算部202c针对一个像素值群组计算一个随机噪声量。另外，在本实施方式1中，平均随机噪声量计算部202c计算构成像素值群组的像素值的标准偏差，计算该标准偏差作为各像素值群组的随机噪声量。例如，平均随机噪声量计算部202c在图7所示的像素值群组A的情况下，计算2000个像素值的标准偏差，在像素值群组X的情况下，计算1750个像素值的标准偏差。另外，平均随机噪声量计算部202c例如也可以计算最大值或最小值、最大值与最小值之差、方差值等其他尺度的值作为随机噪声量。

接着，平均随机噪声量计算部202c针对各像素值群组，将RTS标志设定为清除状态(步骤S302)。这里，RTS标志是各像素值群组中附带的信息，是如下信息：如果是清除状态，则表示在该像素值群组中未产生RTS噪声，如果是设置状态，则表示在该像素值群组中可能产生RTS噪声。

然后，平均随机噪声量计算部202c计算RTS标志设定为清除状态的全部像素值群组的平均随机噪声量的平均(步骤S303)。具体而言，平均随机噪声量计算部202c计算在步骤S301中计算出的RTS标志设定为清除状态的像素值群组的标准偏差的平均作为多个暗时RAW图像的随机噪声量，将该计算结果作为平均随机噪声量。

接着，平均随机噪声量计算部202c针对RTS标志设定为清除状态的各个像素值群组，对像素值群组的随机噪声量和平均随机噪声量进行比较，在随机噪声量较大的情况下，执行将设定RTS标志的RTS标志设定为设置状态的RTS标志设定处理(步骤S304)。

图9是示出图8的步骤S304的RTS标志设定处理中的处理概要的流程图。

如图9所示，首先，平均随机噪声量计算部202c设定用于依次进行后述步骤S402～步骤404的处理的关注像素值群组(设定指针，该指针用于确定进行后述步骤S402～步骤S404的处理的群组)(步骤S401)。具体而言，平均随机噪声量计算部202c在摄像元件105中，按照每个共用像素块(每个读出电路)，从左上方朝向右下方，按照网格顺序，如1、2、3…那样依次分配大于0的整数作为索引。接着，平均随机噪声量计算部202c每次执行步骤401时，使计数器增加1(在RTS标志设定处理开始的时点，计数器复位为0)。平均随机噪声量计算部202c设定被分配了计数器所表示的索引的像素值群组作为关注像素值群组。即，在通过平均随机噪声量计算部202c最初执行步骤S401后，平均随机噪声量计算部202c使复位为0的计数器增加1，所以，计数器示出1，左上方的像素值群组成为关注像素值群组。在平均随机噪声量计算部202c执行2次(第2次)步骤S401的处理后，计数器示出2，所以，左上方的像素值群组的右侧的像素值群组成为关注像素值群组。

接着，平均随机噪声量计算部202c判定关注像素群组的RTS标志是否是设置状态(步骤S402)。在平均随机噪声量计算部202c判定为关注像素群组的RTS标志是设置状态的情况下(步骤S402：是)，第1图像处理装置20转移到后述步骤S405。与此相对，在平均随机噪声量计算部202c判定为关注像素群组的RTS标志不是设置状态的情况下(步骤S402：否)，第1图像处理装置20转移到后述步骤S403。

在步骤S403中，平均随机噪声量计算部202c判定关注像素值群组的随机噪声量是否大于平均随机噪声量。具体而言，平均随机噪声量计算部202c判定关注像素值群组的标准偏差是否大于对平均随机噪声量的标准偏差的平均乘以规定系数(例如1.5)而得到的值。在平均随机噪声量计算部202c判定为关注像素值群组的随机噪声量大于平均随机噪声量的情况下(步骤S403：是)，第1图像处理装置20转移到后述步骤S404。与此相对，在平均随机噪声量计算部202c判定为关注像素值群组的随机噪声量不大于平均随机噪声量的情况下(步骤S403：否)，第1图像处理装置20转移到后述步骤S405。

在步骤S404中，平均随机噪声量计算部202c将关注像素值群组的RTS标志设定为设置状态。

接着，平均随机噪声量计算部202c针对全部像素值群组，判定上述步骤S401～步骤S404的处理是否结束(步骤S405)。在平均随机噪声量计算部202c针对全部像素值群组判定为上述步骤S401～步骤S404的处理结束的情况下(步骤S405：是)，第1图像处理装置20返回图8的平均随机噪声量计算/RTS标志设定处理。与此相对，在平均随机噪声量计算部202c判定为上述步骤S401～步骤S404的处理未结束的情况下(步骤S405：否)，第1图像处理装置20返回上述步骤S401。

返回图8，继续进行步骤S305以后的说明。

在步骤S305中，判定平均随机噪声量计算部202c是否在上述步骤S304的RTS标志设定处理中将RTS标志新设定为设置状态。具体而言，判定平均随机噪声量计算部202c是否在紧前执行的步骤S304的处理中执行一次以上的上述图9的步骤S404的处理。在判定为平均随机噪声量计算部202c将RTS标志新设定为设置状态(在紧前执行的步骤S304的处理中执行一次以上的上述图9的步骤S404的处理)的情况下(步骤S305：是)，第1图像处理装置20返回步骤S303。与此相对，在判定为平均随机噪声量计算部202c未将RTS标志新设定为设置状态(在紧前执行的步骤S304的处理中一次也没有执行上述图9的步骤S404的处理)的情况下(步骤S305：否)，第1图像处理装置20返回图5的主例程。另外，平均随机噪声量计算部202c在步骤S305中根据上述图9的步骤S404的执行次数进行判定，但是，例如也可以判定上述步骤S403～步骤S405的执行次数是否达到规定次数、例如3次。

这样，当平均随机噪声量计算部202c执行上述图8和图9所示的处理后，在上述步骤S302中暂时将全部像素值群组的RTS标志设定为清除状态，最初执行上述步骤S303，由此能够计算全部像素值群组的平均随机噪声量。在产生RTS噪声的像素值群组中，随机噪声量较大，所以，平均随机噪声量计算部202c在上述步骤S304中与平均随机噪声量进行比较，由此，针对产生RTS噪声的像素值群组，将RTS标志设定为设置状态。

但是，RTS_Value较小的像素值群组的随机噪声量与未产生RTS噪声的像素值群组的随机噪声量之差较小，所以，平均随机噪声量计算部202c仅执行一次上述步骤S303和步骤S304，有时无法在RTS_Value较小的像素值群组中正确设定RTS标志(无法正确设定为设置状态)。因此，在本实施方式1中，平均随机噪声量计算部202c反复进行上述步骤S303～步骤S305，由此，在RTS_Value较小的像素值群组中，也能够正确设定RTS标志。进而，能够使平均随机噪声量逐渐收敛。其结果，平均随机噪声量计算部202c针对具有能够与随机噪声进行区分的电平的RTS噪声的全部像素值群组，能够将RTS标志设定为设置状态。另一方面，针对具有无法与随机噪声进行区分的RTS噪声的全部像素值群组，RTS标志依然设定为清除状态，但是，这种RTS噪声淹没在随机噪声中，所以不需要进行检测和校正。

并且，在产生RTS噪声的像素值群组中，如上述图3中说明的那样，在偏移了基于RTS噪声的RTS_Value后的像素值中出现分布，所以，标准偏差增大。在全部读出电路(放大器部105e)中产生RTS噪声的可能性较低，所以，平均随机噪声量计算部202c执行上述图8和图9所示的处理，由此，能够可靠地分类为可能产生需要检测和校正的RTS噪声的像素值群组和不可能产生需要检测和校正的RTS噪声的像素值群组。

返回图5，继续进行步骤S104以后的说明。

在步骤S104中，RTS噪声检测部202针对步骤S103中将RTS标志设定为设置状态的像素值群组，执行计算RTS特征量的RTS噪声特征量计算处理(步骤S104)，所述RTS特征量表示RTS噪声的特征。

图10是示出图5的步骤S104的RTS噪声特征量计算处理的概要的流程图。

如图10所示，首先，RTS噪声特征量计算部202d针对RTS标志设定为设置状态的各个像素值群组，生成将像素值群组内的各像素值转换为绝对值的柱状图(步骤S501)。具体而言，RTS噪声特征量计算部202d在像素值群组的分布如上述图4所示的情况下，转换为绝对值，生成图11所示的柱状图。这里，分布B+C是合并图4的分布B和分布C而得到的分布，所以，分布A的总数×αRTS×2成为分布B+C的总数。并且，小于基于RTS噪声的RTS_Value的数量的分布成为2×αnoise。RTS噪声特征量计算部202d通过进行该步骤S501的处理，能够使分布偏移，所以，能够得到准确的分布，而不用增加暗时RAW图像的张数。

接着，RTS噪声特征量计算部202d针对RTS标志设定为设置状态的各个像素值群组，通过拟合为RTS噪声的模型，计算RTS_Value(步骤S502)。具体而言，假设以标准偏差σ的正态分布产生随机噪声，使用用于使像素值群组的总数和f(x)的累积一致的系数k，用式(1)、式(2)表示图4的分布f(x)。

(上述范围以外时)

这里，αnoise产生的范围设为大于-RTS_Value且小于RTS_Value的范围，但是，在式(1)所记载的x的值域中包含等号。这里，考虑基于A/D转换部107进行的A/D转换的取样时的舍入，设为包含等号的值域。由此，图11的分布g(x)成为式(3)。

这样，RTS噪声特征量计算部202d设标准偏差σ、RTS_Value、αRTS和αnoise为变量，在x的规定范围(例如在10比特时为0～RTS_Value可取的最大值的2倍左右的范围)内计算g(x)并进行归一化，计算绝对值柱状图与g(x)的误差最小的标准偏差σ、RTS_Value、αRTS和αnoise。具体而言，RTS噪声特征量计算部202d设标准偏差σ、RTS_Value、αRTS和αnoise为变量，在x的规定范围内参照g(x)，设定k，使得上述规定范围内计算出的g(x)的总数与像素值群组中包含的像素值的总数一致，计算绝对值柱状图与g(x)的误差最小的标准偏差σ、RTS_Value、αRTS和αnoise(RTS_Value的计算方法1)。另外，在RTS噪声特征量计算部202d中，作为误差的求解方法，不仅是单纯累积各像素值x的误差而得到的值，也可以是根据像素值x进行加权并累积而得到的值。这里，在摄像元件105内大致同样地产生随机噪声，所以，标准偏差σ成为作为平均随机噪声量计算出的平均标准偏差附近的值。因此，标准偏差σ可以使用平均随机噪声量、即步骤S303中最后计算出的标准偏差。由此，能够削减运算量。

在步骤S502之后，RTS噪声特征量计算部202d针对RTS标志设定为设置状态的各个像素值群组，计算乖离量(步骤S503)。这里，将绝对值柱状图中、从像素值较大的一方起以像素值群组中包含的个数的规定比例(例如0.1％～0.2％左右)分布的范围的中央值定义为乖离量(当设规定比例为1/像素值群组中包含的像素值的个数时，乖离量与像素值群组的最大值一致)。RTS噪声特征量计算部202d在αRTS明显小的情况下，仅通过上述步骤S502的RTS噪声模型拟合，可能无法计算RTS噪声的特征量，所以，通过使用乖离量，能够防止RTS噪声的特征量的误计算。另外，平均随机噪声量计算部202c也可以针对RTS标志被设定为设置状态的各个像素值群组，计算乖离量，将该乖离量作为各像素值群组的随机噪声量，进行RTS标志的设定。由此，能够防止αRTS明显小的RTS噪声的漏检测。在步骤S503之后，第1图像处理装置20返回上述图5的主例程。

返回图5，继续进行步骤S105以后的说明。

在步骤S105中，RTS噪声检测部202执行如下的RTS判定处理：根据RTS标志被设定为设置状态的像素值群组的RTS特征量，判定各像素值群组中是否产生需要校正的电平的RTS噪声，在摄像装置10的非易失存储器112中记录将该判定结果和与各像素值群组对应的读出电路的位置(即，由共用读出电路的像素105a构成的共用像素框图的位置(地址))关联起来的RTS噪声信息。在步骤S105之后，第1图像处理装置20结束本处理。

图12是示出图5的步骤S105的RTS噪声判定处理的概要的流程图。

如图12所示，首先，RTS噪声判定部202e清除经由第2外部I/F部201、第1外部I/F部115和总线113记录在非易失存储器112中的RTS噪声信息(步骤S601)。

接着，RTS噪声判定部202e设定用于依次进行后述步骤S603～步骤605的处理的关注像素值群组(步骤S602)。具体而言，RTS噪声判定部202e设定指针，该指针用于确定进行后述步骤S603～步骤S605的处理的群组。例如，RTS噪声判定部202e预先在摄像元件105中，按照每个共用像素块，从左上方朝向右下方，按照网格顺序，如1、2、3…那样依次分配大于0的整数作为索引。接着，RTS噪声判定部202e每次执行步骤S602时，使计数器增加1(在图12的RTS噪声判定处理开始的时点，计数器复位为0)。将被分配了该计数器所表示的索引的像素值群组作为关注像素值群组。即，在通过RTS噪声判定部202e最初执行步骤S602后，RTS噪声判定部202e使复位为0的计数器增加1，所以，计数器示出1，左上方的像素值群组成为关注像素值群组。在RTS噪声判定部202e执行2次(第2次)步骤S602的处理后，计数器示出2，所以，左上方的像素值群组的右侧的像素值群组成为关注像素值群组。

然后，RTS噪声判定部202e针对被设定为关注像素值群组的像素值群组，判定RTS标志是否设定为设置状态(步骤S603)。在RTS噪声判定部202e针对被设定为关注像素值群组的像素值群组判定为RTS标志设定为设置状态的情况下(步骤S603：是)，第1图像处理装置20转移到后述步骤S604。与此相对，在RTS噪声判定部202e针对被设定为关注像素值群组的像素值群组判定为RTS标志未设定为设置状态的情况下(步骤S603：否)，第1图像处理装置20转移到后述步骤S608。

在步骤S604中，RTS噪声判定部202e判定上述图10的步骤S502中由RTS噪声特征量计算部202d计算出的RTS_Value是否为规定以上、例如ThValue以上。这里，由于随机噪声而使人无法察觉较小的RTS噪声，所以，ThValue是对平均随机噪声量乘以规定系数(例如2.0)而得到的值。另外，在步骤S604中，RTS噪声判定部202e对RTS_Value和ThValue进行比较，但是，例如在RTS_Value与乖离量显著不同的情况下，在上述图10的步骤S502中，RTS噪声特征量计算部202d进行的拟合也可能失败。因此，RTS噪声判定部202e也可以还判定RTS_Value与乖离量之差是否较小。在由RTS噪声判定部202e判定为RTS_Value为ThValue以上的情况下(步骤S604：是)，第1图像处理装置20转移到后述步骤S605。与此相对，在由RTS噪声判定部202e判定为RTS_Value不是ThValue以上的情况下(步骤S604：否)，第1图像处理装置20转移到后述步骤S606。

在步骤S606中，RTS噪声判定部202e判定上述步骤S503中由RTS噪声特征量计算部202d计算出的关注像素群组的乖离量是否为规定以上、例如ThMax以上。具体而言，RTS噪声判定部202e根据乖离量进行判定，以检测(判定)产生频度较低的RTS噪声。这是因为，在产生频度较低的情况下，由于随机噪声而使人更加无法察觉。这里，优选ThMax是ThValue以上的值。在由RTS噪声判定部202e判定为关注像素群组的乖离量为ThMax以上的情况下(步骤S606：是)，第1图像处理装置20转移到后述步骤S607。与此相对，在由RTS噪声判定部202e判定为关注像素群组的乖离量不是ThMax以上的情况下(步骤S606：否)，第1图像处理装置20转移到后述步骤S608。

在步骤S607中，RTS噪声判定部202e设定上述步骤S503中由RTS噪声特征量计算部202d计算出的关注像素群组的乖离量作为关注像素值群组的RTS_Value(复制乖离量的值作为RTS_Value的值)。在步骤S607之后，第1图像处理装置20转移到步骤S608。

接着，RTS噪声判定部202e将RTS_Value视为RTS噪声电平，将输出像素值的读出电路(放大器部105e)的位置信息(地址信息)、即仅由共用该读出电路的像素构成的共用像素块的位置信息(地址信息)和RTS_Value对应起来，暂时存储在摄像装置10的易失存储器111中(步骤S605)，所述像素值构成被设定为关注像素值群组的像素值群组。

然后，RTS噪声判定部202e判定是否针对全部像素值群组实施了关注像素值群组的设定和上述步骤S603～步骤S605的处理(步骤S608)。在由RTS噪声判定部202e判定为已经针对全部像素值群组实施的情况下(步骤S608：是)，第1图像处理装置20转移到后述步骤S609。与此相对，在由RTS噪声判定部202e判定为未针对全部像素值群组实施的情况下(步骤S608：否)，第1图像处理装置20返回步骤S602。

在步骤S609中，RTS噪声判定部202e计算经由第2外部I/F部201、第1外部I/F部115和总线113暂时存储在摄像装置10的易失存储器111中的RTS_Value的最大值以及RTS_Value的柱状图。然后，RTS噪声判定部202e将暂时存储在易失存储器111中的共用像素块的位置信息与RTS_Value的对应关系、RTS_Value的最大值、RTS_Value的柱状图对应起来，作为RTS噪声信息记录在非易失存储器112的RTS噪声信息记录部112b中。这里，共用像素块的位置信息与RTS_Value的对应关系是指可能产生RTS噪声的共用块的位置信息和针对各个该共用块的RTS_Value。在步骤S609之后，第1图像处理装置20返回图5的主例程，结束本处理。另外，作为RTS噪声信息，RTS噪声判定部202e将共用像素块的位置信息(读出电路(放大器部105e)的位置信息)和RTS噪声特征量对应起来，记录在非易失存储器112的RTS噪声信息记录部112b中。各像素属于任意共用像素块，所以，也可以作为将多个像素各自的位置信息(与像素的坐标有关的信息)和RTS噪声特征量对应起来的RTS噪声信息，记录在非易失存储器112中。该情况下，由于像素数为共用像素块数以上，所以，非易失存储器112中记录的数据量增加，但是，在对RTS噪声进行校正时，不需要考虑各像素与共用像素块的对应。并且，RTS噪声特征量是指RTS_Value的对应关系、RTS_Value的最大值和RTS_Value的柱状图。

并且，在上述图12中，RTS噪声判定部202e在清除了摄像装置10的非易失存储器112的RTS噪声信息记录部112b中记录的RTS噪声信息后，将上述步骤S602～步骤S607中检测到的RTS噪声信息记录在非易失存储器112中，但是，RTS噪声不仅在制造摄像元件105的阶段产生，还由于经年劣化而产生，可能逐渐增加。因此，RTS噪声判定部202e也可以不清除摄像装置10的非易失存储器112的RTS噪声信息记录部112b记录的RTS噪声信息，而是加上新检测到的RTS噪声信息，对RTS噪声信息进行更新。

〔第2图像处理装置的处理〕

接着，对第2图像处理装置30执行的处理进行说明。图13是示出第2图像处理装置30执行的处理的概要的流程图，是第2图像处理装置30执行的主例程的流程图。

首先，RTS噪声校正部302设定用于依次进行后述步骤S702～步骤S705的处理的关注像素(步骤S701)。另外，RTS噪声校正部302按照RAW图像中的每个像素，从左上方朝向右下方，按照网格顺序，如1、2、3…那样依次分配大于0的整数作为索引。接着，RTS噪声校正部302每次执行步骤S701时，使计数器增加1(在图13的处理开始的时点，计数器复位为0)。RTS噪声校正部302设定被分配了计数器所表示的索引的像素作为关注像素。即，在通过RTS噪声校正部302最初执行步骤S701后，RTS噪声校正部302使复位为0的计数器增加1，所以，计数器示出1，左上方的像素成为关注像素。在RTS噪声校正部302执行2次(第2次)步骤S701的处理后，计数器示出2，所以，左上方的像素的右侧的像素成为关注像素。

接着，RTS噪声像素判定部302a经由第3外部I/F部301、第1外部I/F部115和总线113，取得摄像装置10的非易失存储器112的RTS噪声信息记录部112b记录的RTS噪声信息，根据所取得的RTS噪声信息，判定关注像素中是否可能产生RTS噪声(步骤S702)。即，RTS噪声像素判定部302a判定包含关注像素的共用像素块的位置信息是否包含在RTS噪声信息中。具体而言，RTS噪声像素判定部302a判定包含关注像素的共用块的位置信息是否作为可能产生RTS噪声的共用块而包含在RTS噪声信息中。在由RTS噪声像素判定部302a判定为关注像素中可能产生RTS噪声(判定为包含关注像素的共用像素块的位置信息包含在RTS噪声信息中)的情况下(步骤S702：是)，第2图像处理装置30转移到后述步骤S703。与此相对，在由RTS噪声像素判定部302a判定为关注像素中不可能产生RTS噪声(判定为包含关注像素的共用像素块的位置信息不包含在RTS噪声信息中)的情况下(步骤S702：否)，第2图像处理装置30转移到后述步骤S706。该情况下，RTS噪声像素判定部302a在判定为关注像素中不可能产生RTS噪声的情况下，直接将该关注像素在RAW图像中的像素值作为校正后的像素值输出到代表值计算部302c。

在步骤703中，候选值计算部302b计算用于对RTS噪声进行校正的校正量的多个候选值。具体而言，候选值计算部302b根据与关注像素对应的RTS_Value(包含在从RTS噪声像素判定部302a输出的RTS噪声中包含的RTS噪声信息中)，将可取为0以上RTS_Value以下的像素值的全部值(在只能取整数作为RAW图像的情况下，为0以上RTS_Value以下的全部整数)设为候选值(候选值计算方法1)。另外，在由摄像控制部114对摄像元件105的列放大器等设定的放大器增益值在RTS噪声检测时(设放大器增益值＝G0)和RTS噪声校正时(设放大器增益值＝G1)不同的情况下，候选值计算部302b也可以将RTS_Value置换为对RTS噪声校正时的放大器增益值与RTS噪声检测时的放大器增益值之比(G＝G1/G0)乘以RTS_Value而得到的值。并且，候选值计算部302b也可以使RTS噪声信息具有能够预先设定的每个放大器增益值的RTS_Value，使用与该设定的放大器增益值对应的RTS_Value。

接着，代表值计算部302c执行如下代表值计算处理：根据关注像素周边的RAW图像的像素值，计算代表值(关注像素中未产生RTS噪声的情况下预测的RAW图像的像素值)(步骤S704)。在步骤S704之后，第2图像处理装置30转移到后述步骤S705。

图14是示出图13的步骤S704的代表值计算处理的概要的流程图。

如图14所示，首先，代表值计算部302c以关注像素为基准，设定作为代表值计算对象的最小的计算范围(步骤S801)。具体而言，例如在以关注像素为中心、将对象范围内最大7×7的范围作为计算范围的情况下，代表值计算部302c设定为7×7以下的最小的范围即3×3作为最小的计算范围。

接着，代表值计算部302c计算参照值，该参照值用于计算关注像素附近产生的RAW图像中的随机噪声量(步骤S802)。具体而言，代表值计算部302c计算关注像素在RAW图像中的像素值作为参照值(参照值参照方法1)。

然后，随机噪声量估计部302d经由第3外部I/F部301、第1外部I/F部115和总线113，取得非易失存储器112中记录的随机噪声模型，计算与关注像素的像素值或关注像素附近的RAW图像的参照值对应的随机噪声量(步骤S803)。

图15是示出随机噪声模型的一例的图。在图15中，纵轴示出噪声量，横轴示出像素值。另外，在图15中，使用像素值的标准偏差作为纵轴的随机噪声量，示出与摄像元件105的特性对应的随机噪声模型。

如图15的曲线L10所示，摄像元件105中的随机噪声量随着像素值的增大而增加。因此，本实施方式1中的随机噪声量估计部302d根据图15的曲线L10的随机噪声模型计算随机噪声量(计算标准偏差)。另外，除了图15所示的曲线以外，也可以是利用近似式或折线来近似随机噪声模型的特性。

接着，代表值计算部302c根据计算范围内的RAW像素的像素值，计算能够在代表值计算中使用的像素值的范围即容许范围(有效范围)(步骤S804)。具体而言，代表值计算部302c通过以下的式(4)计算容许范围(有效范围)的上限。

参照值+随机噪声量(标准偏差)×R+RTS_Value…(4)

这里，R是规定系数，根据相对于随机噪声而言在视觉上能够以何种程度掌握RTS噪声来设定。例如，作为R的系数，优选为2左右的值。并且，代表值计算部302c通过以下的式(5)计算容许范围的下限。

参照值-随机噪声量(标准偏差)×R-RTS_Value…(5)

另外，也可以代替RTS_Value而使用多个候选值的最大值。并且，式(4)和式(5)中的参照值也可以是与上述步骤S803中为了供随机噪声量估计部302d估计随机噪声量而使用的参照值通过不同的参照值方法得到的参照值。这样，代表值计算部302c能够计算考虑了关注像素的RTS噪声和该关注像素附近的随机噪声的容许范围。

然后，代表值计算部302c判定计算范围内、关注像素以外的RAW图像的像素值(在使用滤色器的摄像元件105的情况下，为与关注像素相同颜色的像素值)是否分别在上述步骤S804中计算出的容许范围内，对该容许范围内的像素值的个数进行计数(步骤S805)。该步骤S805中得到的计数值存在如下倾向：在平坦的被摄体的情况下较大，在包含边缘的被摄体的情况下较小。另外，计算范围内可能产生RTS噪声的像素也可以不计数。

接着，在上述步骤S805中计数的计数值大于规定值ThRef的情况下(步骤S806：是)，第2图像处理装置30转移到后述步骤S809。这里，优选规定值ThRef为1以上，使得代表值计算部302c根据关注像素的周边像素计算代表值。与此相对，在上述步骤S805中计数的计数值不大于规定值ThRef的情况下(步骤S806：否)，第2图像处理装置30转移到后述步骤S807。

在步骤S807中作为代表值计算对象的计算范围最大的情况下(步骤S807：是)，第2图像处理装置30转移到后述步骤S809。与此相对，在作为代表值计算对象的计算范围不是最大的情况下(步骤S807：否)，第2图像处理装置30转移到后述步骤S808。

在步骤S808中，代表值计算部302c扩大计算代表值的计算范围(步骤S808)。具体而言，代表值计算部302c在使作为代表值计算对象的计算范围收敛在最大范围内的范围内，在水平或垂直方向上扩大1个像素以上。例如，代表值计算部302c在设定以关注像素为中心的3×3的范围作为计算范围的情况下，将以关注像素为中心的5×5的范围重新设定为计算范围。在步骤S808之后，第2图像处理装置30返回步骤S802。另外，在步骤S808中，代表值计算部302c将3×3或5×5的范围设定为计算范围，但是，例如，也可以仅水平或垂直地扩大，将5×3或3×5的范围设定为计算范围。

在步骤S809中，代表值计算部302c计算代表值(步骤S809)。具体而言，首先，代表值计算部302c针对计算范围内的关注像素以外的RAW图像的像素值，选择容许范围内(有效范围内)包含的像素值(在使用滤色器的摄像元件105的情况下，为与关注像素相同颜色的像素值)。然后，代表值计算部302c在选择出的像素数为规定值ThRef以上的情况下，计算(决定)该选择出的像素值的中央值作为代表值。另外，代表值计算部302c在选择出的像素值的数量为偶数的情况下，计算接近关注像素在RAW图像中的像素值的一侧的中央值作为代表值。该情况下，能够防止过校正。并且，代表值计算部302c在选择出的像素数小于规定值ThRef的情况下，将如下计算范围内的关注像素以外的RAW图像的像素值作为代表值，该计算范围具有最接近关注像素在RAW图像中的像素值的像素值。另外，代表值计算部302c使用中央值计算代表值，但是，例如也可以通过平均或分布的中间值等其他方法进行计算。并且，代表值计算部302c也可以进行计算范围内的边缘方向判别，根据该边缘方向判别的结果，计算相关性最高的方向的周边像素值作为代表值。进而，代表值计算部302c也可以排除关注像素以外的计算范围内的像素中可能产生RTS噪声的像素。此时，在执行步骤S809的时点的计算范围内完全不存在不可能产生RTS噪声的像素的情况下，代表值计算部302c将关注像素的像素值作为代表值。在步骤S809之后，第2图像处理装置30返回上述图13的主例程。

这样，代表值计算部302c在上述代表值计算处理中，使关注像素的附近优先来计算代表值。进而，代表值计算部302c根据随机噪声量估计部302d估计出的随机噪声量，限制关注像素的周边像素的范围来计算代表值，使得代表值不会由于边缘等而变动。进而，也可以排除可能产生RTS噪声的附近像素来计算代表值。

返回图13，继续进行步骤S705以后的说明。

在步骤S705中，校正值计算部302e执行如下的校正值计算处理：根据上述步骤S703中由候选值计算部302b计算出的多个候选值和上述步骤S704中由代表值计算部302c计算出的代表值，计算对关注像素中的RTS噪声进行校正后的RAW像素的像素值。在步骤S705之后，第2图像处理装置30转移到后述步骤S706。

图16是示出图13的步骤S705的校正值计算处理的概要的流程图。

如图16所示，首先，校正值计算部302e根据上述图14的步骤S803中由随机噪声量估计部302d估计出的随机噪声量(在本实施方式1中为标准偏差)和上述图13的步骤S703中由候选值计算部302b计算出的候选值的最大值，判定候选值的最大值是否为阈值以上(步骤S901)。这里，通过以下的式(6)设定阈值。

随机噪声量×Rm…(6)

Rm是规定系数。另外，Rm根据相对于随机噪声而言在视觉上能够以何种程度看到RTS噪声来设定，例如，优选Rm的值为2左右。在校正值计算部302e判定为候选值的最大值为阈值以上的情况下(步骤S901：是)，第2图像处理装置30转移到后述步骤S902。与此相对，在校正值计算部302e判定为候选值的最大值不是阈值以上的情况下(步骤S901：否)，第2图像处理装置30转移到后述步骤S903。另外，校正值计算部302e也可以代替候选值的最大值而使用关注像素的RTS_Value，对关注像素的RTS_Value和阈值进行比较。

在步骤S902中，校正值计算部302e对像素值进行校正。具体而言，首先，校正值计算部302e通过以下的式(7)计算Δ。

Δ＝关注像素在RAW图像中的像素值-代表值…(7)

接着，校正值计算部302e对Δ的绝对值和上述图13的步骤S703中由候选值计算部302b计算出的一个以上的候选值进行比较，选择最接近Δ的绝对值的候选值，将该候选值设为δ。另外，校正值计算部302e在存在多个最接近Δ的绝对值的候选值的情况下，为了防止过校正，选择多个候选值中的最小的候选值作为δ。

最后，校正值计算部302e通过以下的式(8)、(9)，在代表值方向上接近δ来校正关注像素在RAW图像中的像素值，将该校正后的关注像素的像素值输出到图像处理部303。

Δ<0的情况

关注像素在RAW图像中的像素值+δ…(8)

Δ≧0的情况

关注像素在RAW图像中的像素值-δ…(9)

在步骤S902之后，第2图像处理装置30返回图15的主例程。另外，在步骤S902中，校正值计算部302e计算Δ，从多个候选值中选择最小的候选值，但是，也可以针对关注像素在RAW图像中的像素值，计算分别单独加上或减去多个候选值而得到的值，在通过该计算而得到的多个相加或相减后的值中选择最近的代表值。并且，在步骤S902中，如果得到相同结果，则校正值计算部302e也可以是其他运算和比较方法。进而，校正值计算部302e与如下处理是等效的：设将代表值限制在关注像素在RAW图像中的像素值-RTS_Value以上、关注像素在RAW图像中的像素值+RTS_Value以下而得到的值，作为校正后的关注像素的像素值。

在步骤S903中，校正值计算部302e直接将关注像素在RAW图像中的像素值输出到图像处理部303。在步骤S903之后，第2图像处理装置30返回图15的主例程。

返回图13，继续进行步骤S706以后的说明。

在步骤S706中，RTS噪声校正部302针对全部像素判定上述步骤S701～步骤S705的处理是否结束(步骤S706)。在RTS噪声校正部302针对全部像素判定为上述处理结束的情况下(步骤S706：是)，第2图像处理装置30结束本处理。与此相对，在RTS噪声校正部302针对全部像素判定为上述处理未结束的情况下(步骤S706：否)，第2图像处理装置30返回上述步骤S701。

根据以上说明的本发明的实施方式1，像素值群组生成部202b按照每个读出电路(放大器部105e)进行分类，生成多个像素值群组，由此能够高精度地检测RTS噪声，而不会增加暗时RAW图像的张数。其结果，能够削减拍摄检测用的暗时RAW图像的时间、以及检测时读入暗时RAW图像的时间等，能够缩短RTS噪声的检测所需要的时间，并且高精度地检测RTS噪声这样的像素值在一定范围内变动的闪烁缺陷噪声。

并且，根据本发明的实施方式1，RTS噪声特征量计算部202d在RTS噪声的检测中使用将像素值群组内的各值转换为绝对值而得到的柱状图，由此提高分布的精度，并且，能够使分布的范围成为一半，所以，能够将基于拟合的误差计算中的运算量削减为不使用绝对值的情况下的大约一半。由此，能够高速且高精度地检测RTS噪声这样的像素值在一定范围内变动的噪声。

进而，根据本发明的实施方式1，在RTS噪声的检测中，像素值群组生成部202b排除由孤立点检测部202a检测到的孤立点和像素，所以，能够防止由于孤立点的产生而误检测RTS噪声的情况。由此，能够高精度地检测RTS噪声这样的像素值在一定范围内变动的噪声。

进而，根据本发明的实施方式1，在RTS噪声的检测中，使用像素值群组的噪声电平判定是否可能产生RTS噪声，所以，不需要通过拟合等针对全部像素值群组计算RTS噪声特征量，所以，能够削减运算量。

并且，根据本发明的实施方式1，在RTS噪声校正中，校正值计算部302e使用由候选值计算部302b计算出的多个候选值，由此，在产生了小于RTS_Value的RTS噪声的情况下也不会过校正，能够适当地校正RTS噪声这样的像素值在一定范围内变动的噪声。

进而，根据本发明的实施方式1，在RTS噪声校正中，根据随机噪声量估计部302d估计出的随机噪声量，校正值计算部302e根据适当的周边像素计算代表值，由此，即使关注像素是边缘部附近，也能够将边缘的影响抑制为最小限度，能够适当地校正RTS噪声这样的像素值在一定范围内变动的噪声。

进而，根据本发明的实施方式1，在RTS噪声校正中，在RTS噪声混入随机噪声中而无法察觉的情况下，校正值计算部302e不进行校正RTS噪声的处理，所以，不会过校正，能够适当地校正RTS噪声这样的像素值在一定范围内变动的噪声。

(实施方式1的变形例1)

本发明的实施方式1的变形例1的RTS噪声特征量计算部202d能够通过其他计算方法来计算RTS_Value。具体而言，如图17所示，将上述图11的绝对值柱状图(闪烁缺陷噪声的模型)视为由3个具有不同特性的正态分布构成的混合正态分布，求出绝对值柱状图与混合正态分布之差最小的各正态分布的中央值、标准偏差、3个分布的比例，计算分布2的中央值作为RTS_Value。该情况下，RTS噪声特征量计算部202d通过使用公知的EM算法等，能够减少运算量。

(实施方式1的变形例2)

本发明的实施方式1的变形例2的候选值计算部302b通过其他候选值计算方法(候选值计算方法2)计算用于校正RTS噪声的校正量的多个候选值(上述图13的步骤S703)。

〔候选值计算方法2〕

候选值计算部302b根据与关注像素对应的RTS_Value，计算以规定间隔提取0以上RTS_Value以下的值而得到的值作为候选值。例如，使用平均标准偏差作为基于平均随机噪声量的值，计算RTS_Value以下的平均标准偏差×r×n(n为0以上的整数)作为候选值。这里，根据相对于随机噪声而言在视觉上能够以何种程度看到RTS噪声来决定r。优选r为2左右的值。

并且，候选值计算部302b也可以根据RTS_Value的最大值和由硬件限制(存储器或电路规模等限制)决定的候选值的最大数Max，计算RTS_Value以下的RTS_Value最大值÷(Max-1)×n(n为0以上Max-1以下的整数)作为候选值。

图18是示出候选值计算方法2中的RTS_Value的柱状图与候选值的关系的图。如图18所示，粗线L11示出RTS_Value的柱状图的例子。在最大数Max为7的情况下，虚线所示的值表示能够作为候选值的值，实际的候选值是与关注像素对应的RTS_Value以下的虚线所示的值。

根据以上说明的本实施方式1的变形例2，候选值计算部302b考虑硬件限制，来计算用于校正RTS噪声的校正量的多个候选值。由此，能够有效地对摄像元件105中产生的RTS噪声进行校正。

(实施方式1的变形例3)

本发明的实施方式1的变形例3的候选值计算部302b通过其他候选值计算方法(候选值计算方法3)计算用于校正RTS噪声的校正量的多个候选值(上述图13的步骤S703)。

〔候选值计算方法3〕

候选值计算部302b根据由硬件限制决定的候选值的最大数Max，以等分的方式对RTS_Value的柱状图的频度进行分割，计算与关注像素对应的RTS_Value以下的值作为候选值。

图19是示出候选值计算方法3中的RTS_Value的柱状图与候选值的关系的图。如图19所示，粗线L12示出RTS_Value的柱状图的例子。虚线所示的值表示能够作为候选值的值，设为对RTS_Value的柱状图的频度进行等分的位置。实际的候选值成为与关注像素对应的RTS_Value以下的虚线所示的值。

这样，根据本实施方式1的变形例3，候选值计算部302b考虑硬件限制，并且考虑RTS噪声的分布，来计算用于校正RTS噪声的校正量的候选值。由此，能够有效地且高精度地对摄像元件105中产生的全部RTS噪声进行校正。

(实施方式1的变形例4)

本发明的实施方式1的变形例4的候选值计算部302b通过其他候选值计算方法(候选值计算方法4)，计算用于校正RTS噪声的校正量的多个候选值(上述图13的步骤S703)。

〔候选值计算方法4〕

候选值计算部302b根据与关注像素对应的RTS_Value，计算以规定间隔提取0以上RTS_Value以下的值而得到的值作为候选值。与上述候选值计算方法2和候选值计算方法3的差异在于，根据像素值对规定间隔进行变更。具体而言，候选值计算部302b根据随机噪声量估计部302d计算出的与关注像素或该关注像素附近的RAW图像中的像素值对应的随机噪声量(在本实施方式1的变形例4中为标准偏差)，计算与关注像素对应的候选值。更具体而言，候选值计算部302b根据关注像素在RAW图像中的像素值、该关注像素附近(周边)的RAW图像中的像素值(在使用滤色器的摄像元件105的情况下，为与关注像素相同颜色的像素值)的平均等，取得随机噪声量估计部302d计算出的随机噪声，使用该随机噪声量，计算RTS_Value以下的标准偏差×r×n(n为0以上Max-1以下的整数)作为候选值。

根据以上说明的本实施方式1的变形例4，候选值计算部302b根据由随机噪声量估计部302d计算出的与关注像素或该关注像素附近的RAW图像中的像素值对应的随机噪声量，计算与关注像素对应的候选值。在进行混入随机噪声中的高精度的校正时，运算量增加，另一方面，没有得到与该运算量的增加相应的校正效果。但是，通过使用本实施方式1的变形例4的方法，能够以最小限度的候选值的数量充分校正未混入随机噪声中而具有违和感的电平的RTS噪声。

(实施方式1的变形例5)

本发明的实施方式1的变形例5的代表值计算部302c通过其他参照值计算方法(参照值计算方法2)，计算参照值，该参照值用于计算关注像素附近产生的RAW图像中的随机噪声量(上述图14的步骤S802)。

〔参照值计算方法2〕

代表值计算部302c计算在计算范围内的RAW图像中的像素值(在使用滤色器的摄像元件105的情况下，为与关注像素相同颜色的像素值)的最大值、平均和中央值中的任意方作为参照值。

根据以上说明的本实施方式1的变形例5，在RAW图像中的像素值由于RTS噪声而小于本来的像素值的情况下，代表值计算部302c使用关注像素周边的像素值计算参照值，所以，能够防止随机噪声量估计部302d计算的随机噪声量被计算得较小。

(实施方式1的变形例6)

本发明的实施方式1的变形例6的代表值计算部302c通过其他参照值计算方法(参照值计算方法3)，计算参照值，该参照值用于计算关注像素附近产生的RAW图像中的随机噪声量(上述图14的步骤S802)。

〔参照值计算方法3〕

代表值计算部302c计算在计算范围内由RTS噪声像素判定部302a判定为未产生RTS噪声的像素在RAW图像中的像素值(在使用滤色器的摄像元件105的情况下，为与关注像素相同颜色的像素值)的最大值、平均和中央值中的任意方作为参照值。另外，在由RTS噪声像素判定部302a判定为在计算范围内的全部像素中产生了RTS噪声的情况下，代表值计算部302c使用上述参照值计算方法1或参照值计算方法2进行计算。

根据以上说明的本发明的实施方式1的变形例6，在RAW图像中的像素值由于RTS噪声而小于本来的像素值的情况下，代表值计算部302c使用关注像素周边的像素值计算参照值，所以，能够防止随机噪声量估计部302d计算的随机噪声量被计算得较小。

(实施方式1的变形例7)

本发明的实施方式1的变形例7的代表值计算部302c通过其他参照值计算方法(参照值计算方法4)，计算参照值，该参照值用于计算关注像素附近产生的RAW图像中的随机噪声量。

〔代表值计算方法4〕

代表值计算部302c使用代表值在随机噪声量估计部302d中计算随机噪声量，使用不基于参照值、而基于代表值的随机噪声量，决定上述步骤S901中的阈值。

根据以上说明的本发明的实施方式1的变形例7，在关注像素中产生了RTS噪声的情况下，也能够防止阈值被计算得较小或阈值被计算得较大。

(实施方式1的变形例8)

在本发明的实施方式1中，平均随机噪声量计算部202c计算多个像素值群组各自的随机噪声量和RTS标志被设定为清除状态的全部像素值群组的平均随机噪声量的平均，但是，也可以计算多个像素值群组各自的随机噪声量和多个暗时RAW图像中与RTS标志被设定为清除状态的像素值群组对应的像素的随机噪声量，作为多个暗时RAW图像的随机噪声量。该情况下，RTS噪声判定部202e根据平均随机噪声量计算部202c计算出的多个像素值群组各自的随机噪声量、平均随机噪声量计算部202c计算出的多个暗时RAW图像的随机噪声量、由RTS噪声特征量计算部202d计算出的特征量，针对多个像素值群组分别判定是否产生RTS噪声即可。由此，能够计算更加准确的多个暗时RAW图像的随机噪声量。其结果，能够更加准确地判定是否是产生RTS噪声的像素值群组。

(实施方式2)

接着，对本发明的实施方式2进行说明。在上述实施方式1中，在检测RTS噪声时记录RTS_Value，根据该记录的RTS_Value计算校正量的多个候选值。与此相对，在本实施方式2中，作为RTS噪声的检测结果，首先，计算能够作为图像整体中共通使用的校正量的候选值的全部数量。接着，在产生RTS噪声的共用像素块中，从能够作为该校正量的候选值的全部数量中的较小的一方起用作为校正量的候选值进行校正，并且记录校正量的候选值的数量。具体而言，仅上述实施方式1的图12的RTS噪声判定处理中的步骤S609和图13的步骤S703各自的内容不同。因此，下面，对本实施方式2的步骤S609和步骤S703进行说明。另外，对与上述实施方式1相同的结构标注相同标号并省略说明。

图20是示出本实施方式2的第1图像处理装置20执行的RTS噪声判定处理的概要的流程图。在图20中，第1图像处理装置20代替上述实施方式1的步骤S609的处理而进行步骤S609a的处理。

在步骤S609a中，首先，RTS噪声判定部202e计算上述步骤S605中暂时存储在易失存储器111中的RTS_Value的最大值。

然后，RTS噪声判定部202e根据候选值的最大数Max，利用下述的式(10)计算Cn(n为0以上小于Max的整数)。

Cn＝RTS_Value的最大值÷(Max-1)×n…(10)

这里，n是0以上小于Max的整数。在上述图18中，利用式(10)计算出的Cn对应于虚线的位置。

接着，RTS噪声判定部202e根据与共用像素块的位置对应地暂时存储在易失存储器111中的RTS_Value，对RTS_Value以下的Cn的个数进行计数。该情况下，RTS噪声判定部202e必定包含C0(＝0)，所以，可以从计数值中排除，并且，RTS噪声判定部202e也可以对直到超过RTS_Value的最小的Cn为止的个数进行计数。

最后，RTS噪声判定部202e在RTS噪声信息记录部112b中记录将最大数Max的数量和各个Cn、共用像素块的位置信息、计数值(RTS噪声校正值的候选值的数量)对应起来的RTS噪声信息。另外，除了上述以外，RTS噪声判定部202e也可以使用上述图19的虚线所示的值作为Cn。该情况下，Cn成为以最大数Max-1对RTS_Value的柱状图的频度进行等分的值。

图21是示出本实施方式2的第2图像处理装置30执行的处理的概要的流程图。在图21中，第2图像处理装置30代替上述实施方式1的步骤S703的处理而进行步骤S703a的处理。

在步骤S703a中，候选值计算部302b取得非易失存储器112中记录的最大数Max的数量和各个Cn，从Cn较小的一方起，将与关注像素对应的候选值的数量作为校正量的候选值。另外，在摄像控制部114对摄像元件105的列放大器等设定的放大器增益值在RTS噪声检测时(设放大器增益值＝G0)和RTS噪声校正时(设放大器增益值＝G1)不同的情况下，候选值计算部302b也可以将校正量的候选值置换为对RTS噪声校正时的放大器增益值与RTS噪声检测时的放大器增益值之比(G＝G1/G0)乘以校正量的候选值而得到的值。并且，候选值计算部302b也可以预先在非易失存储器112中记录每个放大器增益值的校正量的候选值，使用与所设定的放大器增益值对应的校正量的候选值。并且，在候选值的数量不包含0的情况下，候选值计算部302b从C0和C1以上的较小的一方起，将候选值数量作为校正量的候选值。进而，在上述实施方式1中，存在使用RTS_Value的处理，但是，在本实施方式2中，RTS_Value未记录在非易失存储器112中，所以，通过将步骤S703a中计算出的最大的候选值作为RTS_Value而用于以后的处理，能够得到与上述实施方式1相同的效果。

根据以上说明的本发明的实施方式2，在RTS噪声的检测中，根据RTS_Value的分布，预先计算在RTS噪声校正中作为校正量的候选值可取的值(Cn)，根据RTS_Value，将Cn与产生RTS噪声的共用像素块和RTS噪声校正中使用的候选值的数量对应起来进行记录。RTS噪声是由于摄像元件105的缺陷而产生的，所以，RTS噪声的特性也由于个体差异而不同。如上述实施方式1那样，在直接记录RTS_Value的情况下，需要预先确保用于记录直到考虑个体差异而预想的最大值为止的RTS_Value的区域(RTS_Value的最大比特数)。另一方面，根据本实施方式2，只要能够记录直到最大数Max为止的值即可，所以，在产生预想外的RTS噪声的情况下，也能够进行涉及适当校正的检测。另外，在产生预想外的RTS噪声的情况下，仅变更Cn即可。

并且，根据本发明的实施方式2，在RTS噪声校正中，使用候选值的数量，从Cn中选择候选值的数量即可，所以，能够以简单的处理、即较少的运算量进行校正，所述候选值的数量是与预先计算出的Cn和共用像素块对应的基于RTS_Value的值。

另外，在本发明的实施方式2中，候选值计算部302b根据RTS噪声的检测结果计算Cn，但是，在RTS噪声的特性(特别是RTS_Value的柱状图)的个体差异较少的情况下，也可以根据摄像元件105中可能产生的RTS噪声的特性(例如平均的RTS_Value的柱状图等)，预先计算(决定)Cn。由此，不需要按照每个个体(每个摄像元件105)计算Cn，能够减少RTS噪声的检测中的运算量。

(实施方式3)

接着，对本发明的实施方式3进行说明。在上述实施方式1中，分别单独设置RTS噪声检测部202和RTS噪声校正部302，但是，在本实施方式3中，在摄像装置主体中设置RTS噪声检测部202和RTS噪声校正部302。因此，下面，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。

〔摄像系统的结构〕

图22是示意地示出本发明的实施方式3的摄像系统2的结构的框图。图22所示的摄像系统2具有主体部3、以及能够以拆装自如的方式与主体部3连接的镜头部4。

〔主体部的结构〕

主体部3具有快门103、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器I/F部109、记录介质110、易失存储器111、非易失存储器112、总线113、摄像控制部114、AE处理部116、AF处理部117、外部I/F部118、显示部119、驱动器120、RTS噪声检测部202、RTS噪声校正部302。驱动器120在摄像控制部114的控制下，对快门103进行驱动。

AE处理部116经由总线113取得易失存储器111中存储的图像数据，根据该取得的图像数据，设定进行静态图像拍摄或动态图像拍摄时的曝光条件。具体而言，AE处理部116根据图像数据计算亮度，根据计算出的亮度决定例如光圈值、曝光时间、ISO感光度等，由此进行摄像系统2的自动曝光(Auto Exposure)。

AF处理部117经由总线113取得易失存储器111中存储的图像数据，根据所取得的图像数据，进行摄像系统2的自动焦点调整。例如，AF处理部117从图像数据中取出高频成分的信号，对高频成分的信号进行AF(Auto Focus：自动对焦)运算处理，由此决定摄像系统2的合焦评价，从而进行摄像系统2的自动焦点调整。另外，关于摄像系统2的自动焦点调整方法，也可以利用摄像元件105取得相位差信号。

外部I/F部118能够进行主体部3中的各种块中的数据的读写、基于专用命令等的控制等。外部I/F部118是如下的接口：通过与搭载有FPGA、DSP或GPU等的专用电路或个人计算机(PC)等外部设备连接，能够对主体部3中的各种块进行控制。

显示部119使用由液晶或有机EL(Electro Luminescence：电致发光)等构成的显示面板构成。显示部119显示与摄像元件105生成的图像数据对应的图像。

〔镜头部的结构〕

如图22所示，镜头部4使从规定视野区域会聚的被摄体像形成在摄像元件105上。具有光学系统101、光圈102、驱动器104。

〔摄像系统的处理〕

接着，对摄像系统2执行的处理进行说明。图23是示出摄像系统2执行的处理的概要的流程图。

如图23所示，首先，当用户对操作部108的电源按钮(未图示)进行操作而接通主体部3的电源后，摄像控制部114进行摄像系统2的初始化(步骤S1001)。具体而言，摄像控制部114进行使表示动态图像记录中的记录中标志成为无效状态的初始化。该记录中标志是在动态图像的拍摄中成为有效状态、在未拍摄动态图像时成为无效状态的标志，存储在易失存储器111中。

接着，在按下了操作部108的动态图像按钮的情况下(步骤S1002：是)，摄像控制部114使以有效状态表示处于动态图像记录中的记录中标志反转(步骤S1003)，摄像控制部114判断摄像系统2是否处于动态图像记录中(步骤S1004)。具体而言，摄像控制部114判定易失存储器111中存储的记录中标志是否是有效状态。在由摄像控制部114判断为摄像系统2处于动态图像记录中的情况下(步骤S1004：是)，摄像系统2转移到后述步骤S1005。与此相对，在由摄像控制部114判断为摄像系统2未处于动态图像记录中的情况下(步骤S1004：否)，摄像系统2转移到后述步骤S1006。

在步骤S1005中，摄像控制部114生成用于在记录介质110中沿着时间序列记录图像数据的动态图像文件。在步骤S1005之后，摄像系统2转移到后述步骤S1006。

在步骤S1002中未按下操作部108的动态图像按钮的情况下(步骤S1002：否)，摄像系统2转移到步骤S1006。

接着，摄像控制部114判断摄像系统2是否处于动态图像记录中(步骤S1006)。在由摄像控制部114判断为摄像系统2处于动态图像记录中的情况下(步骤S1006：是)，摄像系统2转移到后述步骤S1017。与此相对，在由摄像控制部114判断为未处于动态图像记录中的情况下(步骤S1006：否)，摄像系统2转移到后述步骤S1007。

在步骤S1007中按下了操作部108的再现按钮的情况下(步骤S1007：是)，摄像系统2使显示部119再现显示与记录介质110中记录的图像数据对应的图像(步骤S1008)。在步骤S1008之后，摄像系统2转移到后述步骤S1009。

在步骤S1007中未按下操作部108的再现按钮的情况下(步骤S1007：否)，摄像系统2转移到步骤S1009。

接着，在按下了操作部108的菜单按钮的情况下(步骤S1009：是)，摄像系统2执行进行各种设定的设定处理(步骤S1010)。另外，设定处理在后面详细叙述。在步骤S1010之后，摄像系统2转移到后述步骤S1011。

在步骤S1009中未按下操作部108的菜单按钮的情况下(步骤S10009：否)，摄像系统2转移到步骤S1011。

在步骤S1011中操作部108的释放按钮从断开状态转变到1st状态的情况下(步骤S1011：是)，摄像控制部114使AE处理部116执行调整曝光的AE处理，并且使AF处理部117执行调整焦点的AF处理(步骤S1012)。然后，摄像系统2转移到后述步骤S1024。

在步骤S1011中操作部108的释放按钮未从断开状态转变到1st状态的情况下(步骤S1011：否)，摄像系统2转移到步骤S1013。

接着，在操作部108的释放按钮转变到2nd状态的情况下(步骤S1013：是)，摄像控制部114执行利用机械快门的拍摄(步骤S1014)。具体而言，摄像控制部114通过对快门103进行控制，使摄像元件105执行拍摄。

接着，摄像系统2执行如下图像处理：在对摄像元件105生成的图像数据进行RTS噪声的校正后，进行规定处理(步骤S1015)。另外，图像处理在后面详细叙述。

然后，摄像控制部114将图像处理部303实施了图像处理后的图像数据记录在记录介质110中(步骤S1016)。在步骤S1016之后，摄像系统2转移到后述步骤S1024。

在步骤S1013中操作部108的释放按钮未转变到2nd状态的情况下(步骤S1013：否)，摄像系统2转移到步骤S1017。

接着，摄像控制部114使AE处理部116执行调整曝光的AE处理(步骤S1017)，使AF处理部117执行调整焦点的AF处理(步骤S1018)。

然后，摄像控制部114经由驱动器120使摄像元件105执行利用以电子方式对曝光时间进行控制的所谓电子快门的拍摄(步骤S1019)。通过利用电子快门的拍摄而由摄像元件105生成的图像数据经由模拟处理部106、A/D转换部107和总线113输出到易失存储器111中。

接着，摄像系统2执行与步骤S1015相同的图像处理(步骤S1020)。另外，图像处理在后面详细叙述。

然后，摄像系统2使显示部119显示实时取景图像，该实时取景图像与通过电子快门的拍摄而由摄像元件105生成的图像数据对应(步骤S1021)。

接着，在摄像系统2处于动作记录中的情况下(步骤S1022：是)，摄像控制部114使未图示的图像压缩解压缩部以通过步骤S1010的设定处理而设定的记录形式压缩图像数据，使记录介质110将该压缩后的图像数据作为动态图像记录在所生成的动态图像文件中(步骤S1023)。在步骤S1023之后，摄像系统2转移到步骤S1024。

在步骤S1022中摄像系统2未处于动态图像记录中的情况下(步骤S1022：否)，摄像系统2转移到步骤S1024。

接着，在按下操作部108的电源按钮而使摄像系统2的电源成为断开状态的情况下(步骤S1024：是)，摄像系统2结束本处理。与此相对，在摄像系统2的电源未成为断开状态的情况下(步骤S1024：否)，摄像系统2返回步骤S1002。

接着，对图23的步骤S1010中说明的设定处理进行说明。图24是示出设定处理的概要的流程图。

如图24所示，摄像系统2使显示部119显示菜单(步骤S1041)。

接着，在根据操作部108的操作而选择了RTS噪声的检测的情况下(步骤S1042：是)，RTS噪声检测部202执行RTS噪声检测处理(步骤S1043)。这里，RTS噪声检测处理对应于上述实施方式1的第1图像处理装置20执行的处理，所以省略说明。在步骤S1043之后，摄像系统2转移到步骤S1044。

在步骤S1042中未根据操作部108的操作而选择RTS噪声的检测的情况下(步骤S1042：否)，摄像系统2转移到步骤S1044。

接着，在按下了操作部108的菜单按钮的情况下(步骤S1044：是)，摄像系统2返回图23的主例程。与此相对，在未按下操作部108的菜单按钮的情况下(步骤S1044：否)，摄像系统2返回上述步骤S1042。

接着，对图23的步骤S1015和步骤S1020中说明的图像处理进行说明。图25是示出图像处理的概要的流程图。

如图25所示，RTS噪声校正部302针对摄像元件105生成的图像数据执行校正RTS噪声的RTS噪声校正处理(步骤S1051)。这里，RTS噪声校正处理对应于上述实施方式1的第2图像处理装置30执行的处理，所以省略说明。

接着，图像处理部303针对由RTS噪声校正部302校正了RTS噪声后的图像数据执行基本图像处理(步骤S1052)。在步骤S1052之后，摄像系统2返回图23的主例程。

根据以上说明的本发明的实施方式3，具有与上述实施方式1相同的效果。

(实施方式1～3的变形例1)

在上述本发明的实施方式1～3中，计算多个候选值，对RTS噪声进行校正。该多个候选值的数量在上述中没有特别限定，但是，意味着存在多个实质上不同的候选值的数量。例如，在本发明的实施方式1～3中，在利用硬件实现RTS噪声校正部302的情况下，多个候选值的数量固定时，能够简单地设计电路。具体而言，准备存储上述最大数Max量的多个候选值的存储器，在多个候选值的数量小于Max的情况下，在多个该存储器中设定相同值即可。该情况下，存储器中存储的候选值的数量是Max，但是，实质上不同的候选值的数量小于Max。例如，在上述本发明的实施方式2中，在包含关注像素的共用块的计数值(0不计数的情况)为2、Max为7的情况下，在存储器中设定

C0＝0

C1

C2

C2

C2

C2

C2

来构成电路即可。

并且，在包含关注像素的共用块的计数值(0不计数的情况)为6的情况下，在存储器中设定

C0＝0

C1

C2

C3

C4

C5

C6

来构成电路即可。

根据以上说明的本发明的实施方式1～3的变形例1，能够作为电路安装为始终从固定数量(在上述例子的情况下为7个)的候选值中选择适当的校正量，而不用根据计数值来变更要选择的对象。

并且，根据本发明的实施方式1～3的变形例1，在代替关注像素的RTS_Value而使用候选值的最大值的情况下，在上述例子中，始终参照相同位置(在上述例子的情况下为第7个)的候选值即可。

(实施方式1～3的变形例2)

在上述本发明的实施方式1～3中，RTS噪声判定部202e也可以对RTS噪声信息赋予优先顺位而记录在RTS噪声信息记录部112b中。例如，RTS噪声判定部202e使用以下的(A)～(F)中的任意方赋予优先顺位，将RTS噪声信息记录在RTS噪声信息记录部112b中。

网格顺序…(A)

离图像中央部从近到远的顺序…(B)

RTS_Value的值从大到小的顺序…(C)

校正量的候选数从大到小的顺序…(D)

RTS噪声的产生频度从高到低的顺序…(E)

RTS噪声的产生密度(密集度)从高到低的顺序…(F)

另外，优先顺位的赋予方式不限于一种，也可以适当组合上述(A)～(F)。例如，RTS噪声判定部202e将优先级设为离图像中央部从近到远的顺序(上述的(B))→RTS_Value的值从大到小的顺序(上述的(C))或校正量的候选数从大到小的顺序(上述的(D))，在离图像中央部的距离相同的情况下，优先将RTS_Value或校正量的候选数较大的一方记录在RTS噪声信息记录部112b中。

根据以上说明的本发明的实施方式1～3的变形例2，在RTS噪声信息记录部112b的存储器中能够记录的RTS噪声信息的数量存在上限的情况下，RTS噪声判定部202e优先将根据使用状况而容易明显的RTS噪声记录在RTS噪声信息记录部112b中。由此，能够优先校正根据使用状况而容易明显的RTS噪声。

并且，在本发明的实施方式1～3的变形例2中，在预先限定了图像的放大率的变更或显示位置的变更的情况下，RTS噪声判定部202e也可以根据放大率或显示位置来变更优先顺位，将优先顺位与放大率或显示位置对应起来作为RTS噪声信息记录在RTS噪声信息记录部112b中。该情况下，RTS噪声校正部302根据所设定的放大率或显示位置读入对应的RTS噪声信息并进行校正处理即可。

(其他实施方式)

本发明不限于上述实施方式，当然能够在本发明的主旨的范围内进行各种变形和应用。例如，除了本发明的说明中使用的摄像装置以外，还能够应用于便携电话或智能手机中的具有摄像元件的便携设备、摄像机、内窥镜、监视照相机、显微镜这样的通过光学设备拍摄被摄体的摄像装置等、能够对被摄体进行摄像的任意设备。

并且，本发明还能够应用于显示或记录用的图像数据以外的图像数据、例如OB区域的图像数据或光学上未设计保证的像圈外的区域的图像数据等图像数据。

并且，在本说明书中，在所述各动作流程图的说明中，为了简便而使用“首先”、“接着”、“接下来”、“然后”等对动作进行了说明，但是，并不意味着必须按照该顺序来实施动作。

并且，上述实施方式中的图像处理装置的各处理的方法、即各流程图所示的处理均能够作为能够由CPU等控制部执行的程序预先进行存储。除此以外，还能够存储在存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，CPU等控制部读入该外部存储装置的存储介质中存储的程序，通过该读入的程序对动作进行控制，由此能够执行上述处理。

并且，本发明不限于上述实施方式和变形例的原样，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述实施方式所公开的多个结构要素，能够形成各种发明。例如，可以从上述实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合各实施例和变形例中说明的结构要素。

并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。这样，能够在不脱离发明主旨的范围内进行各种变更和应用。

标号说明

1、2：摄像系统；3：主体部；4：镜头部；10：摄像装置；20：第1图像处理装置；30：第2图像处理装置；40：显示装置；101：光学系统；102：光圈；103：快门；104、120：驱动器；105：摄像元件；105a：像素；105b：第1开关；105c：垂直传输线；105d：FD部；105e：放大器部；105f：第2开关；106：模拟处理部；107：A/D转换部；108：操作部；109：存储器I/F部；110：记录介质；111：易失存储器；112：非易失存储器；112a：程序记录部；112b：RTS噪声信息记录部；112c：随机噪声模型信息记录部；113：总线；114：摄像控制部；115：第1外部I/F部；116：AE处理部；117：AF处理部；118：外部I/F部；119：显示部；201：第2外部I/F部；202：RTS噪声检测部；202a：孤立点检测部；202b：像素值群组生成部；202c：平均随机噪声量计算部；202d：RTS噪声特征量计算部；202e：RTS噪声判定部；301：第3外部I/F部；302：RTS噪声校正部；302a：RTS噪声像素判定部；302b：候选值计算部；302c：代表值计算部；302d：随机噪声量估计部；302e：校正值计算部；303：图像处理部。

权利要求书(按照条约第19条的修改)

1.(修改后)一种图像处理装置，其特征在于，所述图像处理装置具有：

像素值群组生成部，其针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及

噪声判定部，其根据所述像素值群组生成部生成的所述多个像素值群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具有缺陷像素检测部，该缺陷像素检测部根据由所述摄像元件生成的多个图像数据，检测产生了损伤的像素作为缺陷像素，

所述像素值群组生成部排除所述缺陷像素检测部检测到的所述缺陷像素的像素值，生成所述多个像素值群组。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述缺陷像素是产生了白伤或黑伤的像素。

4.根据权利要求2或3所述的图像处理装置，其特征在于，

所述缺陷像素检测部根据由所述摄像元件生成的多个图像数据，计算从所述多个像素分别读出的像素值的平均值，根据该平均值检测所述缺陷像素。

5.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，

所述图像处理装置还具有随机噪声量计算部，该随机噪声量计算部计算所述像素值群组生成部生成的所述多个像素值群组各自的随机噪声量和所述多个图像数据的随机噪声量，

所述噪声判定部根据所述随机噪声量计算部计算出的所述多个像素值群组各自的随机噪声量和所述随机噪声量计算部计算出的所述多个图像数据的随机噪声量，针对所述多个像素值群组分别判定是否产生所述闪烁缺陷噪声。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述随机噪声量是所述像素值的标准偏差、方差、分布范围的大小、最大值和最小值中的任意一方。

7.根据权利要求5或6所述的图像处理装置，其特征在于，

所述图像处理装置还具有特征量计算部，该特征量计算部根据所述多个像素值群组各自的像素值的分布和预先记录的所述闪烁缺陷噪声的模型，计算表示所述闪烁缺陷噪声的特征的特征量，

所述噪声判定部根据所述随机噪声量计算部计算出的所述多个像素值群组各自的随机噪声量、所述随机噪声量计算部计算出的所述多个图像数据的随机噪声量、所述特征量计算部计算出的所述特征量，针对所述多个像素值群组分别判定是否产生所述闪烁缺陷噪声。

8.根据权利要求6所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声的模型是由多个分布构成的混合分布模型。

9.(修改后)根据权利要求7所述的图像处理装置，其特征在于，

所述特征量包含所述闪烁缺陷噪声的振幅、所述闪烁缺陷噪声的产生频度和小于所述闪烁缺陷噪声的振幅的所述闪烁缺陷噪声中的产生频度中的任意一个以上。

10.根据权利要求7所述的图像处理装置，其特征在于，

所述特征量包含对所述闪烁缺陷噪声进行校正的校正值的候选数的数量。

11.(修改后)根据权利要求7、9和10中的任意一项所述的图像处理装置，其特征在于，

所述图像处理装置还具有噪声信息取得部，该噪声信息取得部取得将所述噪声判定部的判定结果、所述多个读出电路各自的位置信息、所述特征量对应起来而成的噪声信息。

12.(修改后)根据权利要求11所述的图像处理装置，其特征在于，

所述图像处理装置还具有噪声校正部，该噪声校正部根据所述噪声信息取得部取得的所述噪声信息，对所述闪烁缺陷噪声进行校正。

13.根据权利要求1所述的图像处理装置，其特征在于，

所述噪声判定部根据从所述像素值群组生成部生成的所述多个像素值群组各自的像素值中减去对所述多个像素分别设定的规定值而得到的值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

14.根据权利要求13所述的图像处理装置，其特征在于，

所述摄像元件具有光学黑像素，该光学黑像素用于进行包含暗电流的电荷的偏置检测，

所述规定值是基于来自所述光学黑像素的像素值的值。

15.根据权利要求13所述的图像处理装置，其特征在于，

所述规定值是从所述多个像素分别读出的像素值的平均值。

16.根据权利要求1～15中的任意一项所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声是随机电报信号噪声。

17.根据权利要求1～16中的任意一项所述的图像处理装置，其特征在于，

所述多个图像数据是在相同曝光条件下拍摄的图像数据。

18.根据权利要求17所述的图像处理装置，其特征在于，

所述多个图像数据是在遮光状态下拍摄的图像数据。

19.一种图像处理方法，其特征在于，所述图像处理方法包括以下步骤：

像素值群组生成步骤，针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及

噪声判定步骤，根据所述像素值群组生成步骤中生成的所述多个像素值群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

20.一种程序，其特征在于，所述程序使图像处理装置执行以下步骤：

像素值群组生成步骤，针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及

噪声判定步骤，根据所述像素值群组生成步骤中生成的所述多个像素值群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

说明或声明(按照条约第19条的修改)

在权利要求1中，基于说明书第10页第2段的内容进行了修改。

在权利要求9中，进行了使发明内容清楚的修改。

在权利要求11中，基于说明书第9页倒数第3段的内容进行了修改。

在权利要求12中，基于说明书第9页倒数第3段的内容进行了修改。

Claims (20)

1.一种图像处理装置，其特征在于，所述图像处理装置具有：

像素值群组生成部，其针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及

噪声判定部，其根据所述像素值群组生成部生成的所述多个群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具有缺陷像素检测部，该缺陷像素检测部根据由所述摄像元件生成的多个图像数据，检测产生了损伤的像素作为缺陷像素，

所述像素值群组生成部排除所述缺陷像素检测部检测到的所述缺陷像素的像素值，生成所述多个像素值群组。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述缺陷像素是产生了白伤或黑伤的像素。

4.根据权利要求2或3所述的图像处理装置，其特征在于，

所述缺陷像素检测部根据由所述摄像元件生成的多个图像数据，计算从所述多个像素分别读出的像素值的平均值，根据该平均值检测所述缺陷像素。

5.根据权利要求1～4中的任意一项所述的图像处理装置，其特征在于，

所述图像处理装置还具有随机噪声量计算部，该随机噪声量计算部计算所述像素值群组生成部生成的所述多个像素值群组各自的随机噪声量和所述多个图像数据的随机噪声量，

所述噪声判定部根据所述随机噪声量计算部计算出的所述多个像素值群组各自的随机噪声量和所述随机噪声量计算部计算出的所述多个图像数据的随机噪声量，针对所述多个像素值群组分别判定是否产生所述闪烁缺陷噪声。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述随机噪声量是所述像素值的标准偏差、方差、分布范围的大小、最大值和最小值中的任意一方。

7.根据权利要求5或6所述的图像处理装置，其特征在于，

所述图像处理装置还具有特征量计算部，该特征量计算部根据所述多个像素值群组各自的像素值的分布和预先记录的所述闪烁缺陷噪声的模型，计算表示所述闪烁缺陷噪声的特征的特征量，

所述噪声判定部根据所述随机噪声量计算部计算出的所述多个像素值群组各自的随机噪声量、所述随机噪声量计算部计算出的所述多个图像数据的随机噪声量、所述特征量计算部计算出的所述特征量，针对所述多个像素值群组分别判定是否产生所述闪烁缺陷噪声。

8.根据权利要求6所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声的模型是由多个分布构成的混合分布模型。

9.根据权利要求7或8所述的图像处理装置，其特征在于，

所述特征量包含所述闪烁缺陷噪声的振幅、所述闪烁缺陷噪声的产生频度和小于所述闪烁缺陷噪声的振幅的所述闪烁缺陷噪声中的产生频度中的任意一个以上。

10.根据权利要求7所述的图像处理装置，其特征在于，

所述特征量包含对所述闪烁缺陷噪声进行校正的校正值的候选数的数量。

11.根据权利要求7～10中的任意一项所述的图像处理装置，其特征在于，

所述图像处理装置还具有噪声信息记录部，该噪声信息记录部记录将所述噪声判定部的判定结果、所述多个读出电路各自的位置信息、所述特征量对应起来的噪声信息。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述图像处理装置还具有噪声校正部，该噪声校正部根据所述记录部记录的所述噪声信息，对所述闪烁缺陷噪声进行校正。

13.根据权利要求1所述的图像处理装置，其特征在于，

所述噪声判定部根据从所述像素值群组生成部生成的所述多个像素值群组各自的像素值中减去对所述多个像素分别设定的规定值而得到的值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

14.根据权利要求13所述的图像处理装置，其特征在于，

所述摄像元件具有光学黑像素，该光学黑像素用于进行包含暗电流的电荷的偏置检测，

所述规定值是基于来自所述光学黑像素的像素值的值。

15.根据权利要求13所述的图像处理装置，其特征在于，

所述规定值是从所述多个像素分别读出的像素值的平均值。

16.根据权利要求1～15中的任意一项所述的图像处理装置，其特征在于，

所述闪烁缺陷噪声是随机电报信号噪声。

17.根据权利要求1～16中的任意一项所述的图像处理装置，其特征在于，

所述多个图像数据是在相同曝光条件下拍摄的图像数据。

18.根据权利要求17所述的图像处理装置，其特征在于，

所述多个图像数据是在遮光状态下拍摄的图像数据。

19.一种图像处理方法，其特征在于，所述图像处理方法包括以下步骤：

像素值群组生成步骤，针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及

噪声判定步骤，根据所述像素值群组生成步骤中生成的所述多个像素值群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。

20.一种程序，其特征在于，所述程序使图像处理装置执行以下步骤：

像素值群组生成步骤，针对由具有多个像素和多个读出电路的摄像元件生成的多个图像数据，按照每个所述读出电路对像素值进行分类，生成多个像素值群组，所述多个像素二维状配置，从外部接收光并生成与受光量对应的信号，所述读出电路按照规定像素数共用，读出所述信号作为所述像素值；以及

噪声判定步骤，根据所述像素值群组生成步骤中生成的所述多个像素值群组各自的像素值的分布，针对所述多个像素值群组分别判定是否产生闪烁缺陷噪声。