CN107431741B - 图像处理装置、图像处理方法以及记录介质 - Google Patents

Abstract

提供能够准确地对产生了RTS噪声那样的值在规定范围内随机地变动的闪烁缺陷噪声的图像数据进行边缘的方向判别的图像处理装置、图像处理方法以及程序。图像处理装置(20)具有：方向判别部(22)，其根据RTS噪声信息记录部(112b)所记录的RTS噪声信息，在与图像数据对应的图像中的关注像素的像素值和该关注像素的周边像素的像素值中判别相关度最高的边缘的方向；以及图像处理部(23)，其根据方向判别部(22)的判别结果而对图像数据进行图像处理。

Description

图像处理装置、图像处理方法以及记录介质

技术领域

本发明涉及对产生闪烁缺陷噪声的图像数据进行方向判别的图像处理装置、图像处理方法以及记录介质，所述闪烁缺陷噪声是在摄像元件中产生的RTS噪声那样的像素值在一定范围内变动的噪声，所述摄像元件具有配置为二维状的多个像素。

背景技术

近年来，公知有用于降低CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件所生成的图像数据中产生的噪声的如下技术：根据与图像数据对应的图像中的关注像素的像素值和该关注像素周围的周围像素的像素值来判别边缘的方向，并通过使用该判别结果来进行噪声降低处理从而降低噪声(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2014-225787号公报

发明内容

发明要解决的课题

然而，在上述的专利文献1中，具有如下的问题点：在图像数据中产生了RTS(Random Telegraph Signal：随机电报信号)噪声那样的像素值在一定范围内变动的闪烁缺陷噪声的情况下，由于像素值在闪烁缺陷噪声电平的范围内变动，因此无法准确地进行边缘的方向判别。其结果是，在上述的专利文献1中，具有如下的问题点：因对边缘的方向进行错误判定而导致无法降低图像数据中产生的噪声，从而画质显著降低。

本发明就是鉴于上述问题而完成的，其目的在于提供能够准确地对产生了RTS噪声那样的像素值在一定范围内变动的闪烁缺陷噪声的图像数据进行方向判别的图像处理装置、图像处理方法以及记录介质。

用于解决课题的手段

为了解决上述课题并达成目的，本发明的图像处理装置对摄像元件所生成的包含闪烁缺陷噪声的图像数据进行图像处理，该摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，其特征在于，该图像处理装置具有：获取部，其获取包含如下像素的位置信息在内的噪声信息，该像素有可能产生起因于所述读出电路的闪烁缺陷噪声；方向判别部，其根据所述获取部所获取的噪声信息和与所述图像数据对应的图像中的关注像素周边的周边像素的像素值，来判别与所述关注像素的像素值的相关度最高的像素值持续的方向；以及图像处理部，其根据所述方向判别部的判别结果对所述图像数据进行图像处理。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述噪声信息包含将所述位置信息和与起因于所述读出电路的所述闪烁缺陷噪声相关的特征量对应起来而得的信息。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述方向判别部根据所述特征量、所述关注像素的像素值以及所述周边像素的像素值来判别所述方向。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述方向判别部使用所述关注像素的像素值、对所述关注像素的像素值加上所述特征量后的值以及从所述关注像素的像素值减去所述特征量后的值中的任意一个值来判别所述方向。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述方向判别部在对所述图像判别所述关注像素处的各方向的相关度的情况下，根据所述关注像素或所述周边像素来确定基准像素，在有可能在该基准像素中产生所述闪烁缺陷噪声时，使用所述特征量来校正所述基准像素以外的像素的像素值而判别所述方向。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述方向判别部根据所述位置信息，将有可能产生所述闪烁缺陷噪声的像素排除而判别所述方向。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理部进行如下图像处理：以使所述方向判别部所判别出的所述方向上的像素的像素值的相关度变高的方式，去除所述关注像素的像素值中的噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理部进行如下图像处理：以使所述方向判别部所判别出的所述方向上的像素的像素值的相关度变高的方式，去除所述关注像素的像素值中的所述闪烁缺陷噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述噪声信息还包含所述摄像元件中的孤立点的孤立点位置信息，所述图像处理部进行如下图像处理：根据所述孤立点位置信息，将所述方向上的所述孤立点排除而去除所述闪烁缺陷噪声。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理部使用所述方向判别部所判别出的所述方向上的像素的像素值来校正所述孤立点的像素值。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理部进行如下图像处理：将所述方向判别部所判别出的所述方向估计为边缘，对所述关注像素的像素值进行插值。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理部根据所述方向判别部的判别结果而进行所述图像数据的同步化处理。

另外，本发明的图像处理装置的特征在于，在上述发明中，所述特征量是所述闪烁缺陷噪声的噪声电平和根据所述噪声电平而计算出的值中的任意值。

另外，本发明的图像处理方法是由对摄像元件所生成的包含闪烁缺陷噪声的图像数据进行图像处理的图像处理装置所执行的，该摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，其特征在于，该图像处理方法包含如下步骤：获取步骤，获取包含如下像素的位置信息在内的噪声信息，该像素有可能产生起因于所述读出电路的闪烁缺陷噪声；方向判别步骤，根据在所述获取步骤中获取的噪声信息和与所述图像数据对应的图像中的关注像素周边的周边像素的像素值来判别与所述关注像素的像素值的相关度最高的像素值持续的方向；以及图像处理步骤，根据所述方向判别步骤的判别结果对所述图像数据进行图像处理。

另外，本发明的程序的特征在于，该程序使如下图像处理装置执行获取步骤、方向判别步骤、图像处理步骤，该图像处理装置对摄像元件所生成的包含闪烁缺陷噪声的图像数据进行图像处理，该摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，在获取步骤中，获取包含如下像素的位置信息在内的噪声信息，该像素有可能产生起因于所述读出电路的闪烁缺陷噪声；在方向判别步骤中，根据在所述获取步骤中获取的噪声信息和与所述图像数据对应的图像中的关注像素周边的周边像素的像素值，来判别与所述关注像素的像素值的相关度最高的像素值持续的方向；以及在图像处理步骤中，根据所述方向判别步骤的判别结果对所述图像数据进行图像处理。

发明效果

根据本发明实现了如下效果：能够准确地对产生了RTS噪声那样的值在规定范围内随机地变动的闪烁缺陷噪声的图像数据进行边缘的方向判别。

附图说明

图1是示意性地示出本发明的实施方式1的摄像系统的结构的框图。

图2是示意性地示出本发明的实施方式1的摄像系统的摄像元件的主要部分的结构的概略图。

图3是示出图1所示的方向判别部的功能结构的框图。

图4是示出在以使光照射不到本发明的实施方式1的摄像系统的摄像元件的方式进行遮光的情况下，在产生RTS噪声时从放大器部输出的放大器输出的变动的例子的图。

图5是示出使用产生RTS噪声的放大器部而读出的像素值的分布的例子的图。

图6是示出本发明的实施方式1的方向判别部所执行的处理的概要的流程图。

图7是示意性地示出本发明的实施方式1的摄像系统的摄像元件的像素排列的图。

图8A是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图8B是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图8C是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图8D是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图8E是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图8F是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图8G是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图8H是示意性地示出本发明的实施方式1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图9是示意性地示出本发明的实施方式1的变形例1的摄像元件的像素排列的图。

图10A是示意性地示出本发明的实施方式1的变形例1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图10B是示意性地示出本发明的实施方式1的变形例1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图10C是示意性地示出本发明的实施方式1的变形例1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图10D是示意性地示出本发明的实施方式1的变形例1的相关值计算部针对摄像元件进行计算的方向的一例的图。

图11是示出本发明的实施方式1的变形例2的方向判别部所执行的处理的概要的流程图。

图12是示出本发明的实施方式1的变形例3的方向判别部所执行的处理的概要的流程图。

图13是示出本发明的实施方式1的变形例4的方向判别部所执行的处理的概要的流程图。

图14是示出本发明的实施方式1的变形例5的方向判别部所执行的处理的概要的流程图。

图15是示意性地示出本发明的实施方式2的摄像系统的结构的框图。

图16是示出本发明的实施方式2的孤立点校正部的功能结构的框图。

图17是示出本发明的实施方式2的RTS噪声校正部的功能结构的框图。

图18是示出本发明的实施方式2的代表值计算部的功能结构的框图。

图19是示出本发明的实施方式2的孤立点校正部所执行的处理的概要的流程图。

图20是示出本发明的实施方式2的RTS噪声校正部所执行的处理的概要的流程图。

图21是示出图20的代表值计算处理的概要的流程图。

图22是示出图20的校正值计算处理的概要的流程图。

图23是示意性地示出本发明的实施方式3的摄像系统的结构的框图。

图24是示出本发明的实施方式3的同步化处理部的功能结构的框图。

图25是示出本发明的实施方式3的同步化处理部所执行的处理的概要的流程图。

图26A是示意性地示出本发明的实施方式3的同步化处理部针对摄像元件进行计算的方向的一例的图。

图26B是示意性地示出本发明的实施方式3的同步化处理部针对摄像元件进行计算的方向的一例的图。

图26C是示意性地示出本发明的实施方式3的同步化处理部针对摄像元件进行计算的方向的一例的图。

图26D是示意性地示出本发明的实施方式3的同步化处理部针对摄像元件进行计算的方向的一例的图。

图26E是示意性地示出本发明的实施方式3的同步化处理部针对摄像元件进行计算的方向的一例的图。

图26F是示意性地示出本发明的实施方式3的同步化处理部针对摄像元件进行计算的方向的一例的图。

图27是示意性地示出本发明的实施方式4的摄像系统的结构的框图。

图28是示出本发明的实施方式4的摄像系统所执行的处理的概要的流程图。

图29是示出图28的图像处理的概要的流程图。

具体实施方式

下面，参照附图对用于实施本发明的方式(下面称作“实施方式”)进行说明。另外，本发明并不受以下说明的实施方式限定。并且，在附图的记载中对相同部分标注相同的标号进行说明。

(实施方式1)

(摄像系统的结构)

图1是示意性地示出本发明的实施方式1的摄像系统的结构的框图。图1所示的摄像系统1具有摄像装置10、图像处理装置20、显示装置30。

(摄像装置的结构)

首先，对摄像装置10的结构进行说明。如图1所示，摄像装置10具有光学系统101、光圈102、快门103、驱动器104、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器接口部109、记录介质110、易失性存储器111、非易失性存储器112、总线113、摄像控制部114、第一外部接口部115。

光学系统101使用单个或多个透镜构成。光学系统101例如使用对焦透镜和变焦镜头构成。

光圈102通过限制光学系统101所会聚的光的入射量来进行曝光的调整。光圈102在摄像控制部114的控制下，限制光学系统101所会聚的光的入射量。另外，也可以不使用光圈102，而使用快门103或摄像元件105中的电子快门来控制光的入射量。另外，也可以是，光学系统101、光圈102相对于摄像装置10能够装卸。

快门103将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦平面快门等构成。另外，也可以不使用快门103，而使用摄像元件105中的电子快门。

驱动器104在后述的摄像控制部114的控制下，驱动光学系统101、光圈102以及快门103。例如，驱动器104通过使光学系统101沿光轴O1移动来进行摄像装置10的变焦倍率的变更或焦点位置的调整。

摄像元件105在后述的摄像控制部114的控制下，接收光学系统101所会聚的光并转换为图像数据(电信号)而输出。摄像元件105使用多个像素配置为二维状而成的CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等构成。在该各像素的前表面上配置有拜耳排列的RGB滤镜。另外，摄像元件105不限定于拜耳排列，当然也可以是例如Fovion那样的层叠型的形式。另外，所使用的滤镜不限定于RGB，可以应用补色滤镜等任意滤镜。另外，也可以另外配置能够以时分方式照射不同颜色光的光源，而在摄像元件105上不配置滤镜，从而能够一边变更所照射的颜色一边使用依次取入的图像来构成彩色图像。并且，也可以是，不配置滤镜而能够构成单色图像。另外，摄像元件105具有能够电子控制受光量的电子快门功能。

这里，详细地对摄像元件105的结构进行说明。图2是示意性地示出摄像元件105的主要部分的结构的概略图。另外，示出图2所示的摄像元件105为了通过像素的开口率提高来使感光度提高，而在多个像素共享读出电路的例子。另外，图2所示摄像元件105针对水平方向(横向)上两个像素×垂直方向(纵向)上四个像素的八个像素配置一个读出电路。另外，在图2中，说明了针对水平方向(横向)上两个像素×垂直方向(纵向)上四个像素的八个像素以一个读出电路为一组的例子，但在本实施方式1的摄像元件105上，上述的像素和读出电路在水平方向和垂直方向上并列地配置。

如图2所示，摄像元件105具有：多个像素105a(光电二极管)，它们通过曝光来接收光并进行光电转换从而产生与曝光量对应的电荷；第一开关105b，其分别设置于多个像素105a，根据摄像控制部114的控制而进行开闭；垂直传送线105c，其将分别从多个像素105a输出的信号(电荷)向垂直方向传送；FD(Floating Diffusion：浮动扩散)部105d，其累积分别从多个像素105a输出的信号；放大器部105e，其对从FD部105d输出的信号进行放大；第二开关105f，其根据摄像控制部114的控制而进行开闭；控制线105g，其控制第二开关105f；以及传送线105h，其传送被放大器部105e放大后的电信号。

这样构成的摄像元件105在将与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值而读出的情况下，首先，使FD部105d为复位状态，通过摄像控制部114仅使第一开关105b(1)为接通，而将像素105a(1)所产生的电荷传送给FD部105d。然后，摄像元件105通过摄像控制部114使第二开关105f为接通，而使累积在FD部105d中的电荷被放大器部105e放大并作为像素值而读出(输出)。接下来，摄像元件105使FD部105d为复位状态，通过摄像控制部114仅使第一开关105b(2)为接通，而将像素105a(2)所产生的电荷传送给FD部105d。然后，摄像元件105通过摄像控制部114使第二开关105f为接通，而使累积在FD部105d中的电荷被放大器部105e放大并作为像素值而读出。摄像元件105通过依次进行这样的读出动作，能够将与像素105a(1)～105a(8)中的曝光量对应的信号依次作为像素值而输出。另外，在本实施方式1中，放大器部105e作为分别从多个像素105a读出电荷的读出电路而发挥功能。

返回到图1，继续摄像装置10的结构的说明。

模拟处理部106对从摄像元件105输入的模拟信号实施规定的模拟处理并输出给A/D转换部107。具体而言，模拟处理部106对从摄像元件105输入的模拟信号进行噪声降低处理和增益提升处理等。例如，模拟处理部106对模拟信号在降低了复位噪声等的基础上进行波形整形，进而进行增益提升以成为目标的明亮度。

A/D转换部107通过对从模拟处理部106输入的模拟信号进行A/D转换而生成数字的图像数据(下面称作“RAW图像数据”)，并经由总线113输出给易失性存储器111。另外，A/D转换部107也可以对后述的摄像装置10的各部直接输出RAW图像数据。另外，也可以将上述的模拟处理部106和A/D转换部107设置于摄像元件105，从而摄像元件105直接输出数字的RAW图像数据。

操作部108赋予摄像装置10的各种指示。具体而言，操作部108具有将摄像装置10的电源状态切换为接通状态或断开状态的电源开关、赋予静态图像摄影的指示的释放开关、切换摄像装置10的各种设定的操作开关以及赋予动态图像摄影的指示的动态图像开关等。

记录介质110使用从摄像装置10的外部安装的存储卡构成，经由存储器接口部109而装卸自如地安装于摄像装置10。另外，记录介质110也可以在摄像控制部114的控制下，经由存储器接口部109而将程序和各种信息分别输出给非易失性存储器112。

易失性存储器111暂时存储经由总线113而从A/D转换部107输入的图像数据。例如，易失性存储器111暂时存储摄像元件105按每一帧经由模拟处理部106、A/D转换部107以及总线113而依次输出的图像数据。易失性存储器111使用SDRAM(Synchronous DynamicRandom Access Memory：同步动态随机存取存储器)等构成。

非易失性存储器112使用闪速存储器等构成，记录用于使摄像装置10进行动作的各种程序、程序的执行过程中所使用的各种数据。另外，非易失性存储器112具有：程序记录部112a；RTS噪声信息记录部112b，其记录RTS噪声位置信息，该RTS噪声位置信息是将读出像素值的读出电路(放大器部105e)的位置信息或多个像素105a各自的位置信息和与起因于读出电路(放大器部105e)的RTS噪声相关的特征量对应起来而成的；随机噪声模型信息记录部112c，其记录一个或多个随机噪声模型；以及孤立点位置信息记录部112d，其记录表示多个孤立点像素的位置的孤立点位置信息。这里，所谓特征量是RTS噪声振幅(RTS＿Value)、闪烁缺陷噪声的产生频率以及小于RTS噪声振幅的RTS噪声的产生频率中的任意特征量。

总线113使用连接摄像装置10的各结构部位的传送路径等构成，将在摄像装置10的内部产生的各种数据传送到摄像装置10的各结构部位。

摄像控制部114使用CPU(Central Processing Unit：中央处理单元)等构成，根据来自操作部108的指示信号和释放信号针对构成摄像装置10的各部进行指示和数据的传送等，而统一控制摄像装置10的动作。例如，在从操作部108输入第二释放信号的情况下，摄像控制部114开始摄像装置10中的摄影动作的控制。这里，所谓摄像装置10中的摄影动作是指模拟处理部106和A/D转换部107对摄像元件105的曝光定时、模拟信号的输出定时以及摄像元件105所输出的模拟信号实施规定的处理的动作。这样，实施了处理的图像数据在摄像控制部114的控制下，经由总线113和存储器接口部109而记录于记录介质110中。

第一外部接口部115经由总线113将从外部设备输入的信息输出给非易失性存储器112或易失性存储器111，另一方面，经由总线113将易失性存储器111所记录的信息、非易失性存储器112所存储的信息以及摄像元件105所生成的图像数据输出给外部设备。具体而言，第一外部接口部115经由总线113将摄像元件105所生成的图像数据、RTS噪声信息以及随机噪声模型信息输出给图像处理装置20。

(图像处理装置的结构)

接下来，对图像处理装置20的结构进行说明。图像处理装置20具有第二外部接口部21、方向判别部22、图像处理部23、记录部24、总线25。

第二外部接口部21经由摄像装置10的第一外部接口部115和总线113获取摄像元件105所生成的RAW图像数据、RTS噪声信息记录部112b所记录的与RTS噪声相关的RTS噪声信息、孤立点位置信息记录部112d所记录的孤立点位置信息以及随机噪声模型信息记录部112c所记录的随机噪声模型信息，并将经由总线25获取的RAW图像数据、RTS噪声信息、孤立点位置信息以及随机噪声模型信息输出给方向判别部22和记录部24。第二外部接口部21和第一外部接口部115例如经由能够双向交换信息的控制线缆或无线通信等而连接。另外，在本实施方式1中，第二外部接口部21作为获取部而发挥功能。

方向判别部22经由第二外部接口部21、第一外部接口部115以及总线113获取与RAW图像数据对应的RAW图像中的关注像素的像素值、关注像素周边的周边像素的像素值、RTS噪声信息以及孤立点位置信息，根据获取到的RTS噪声信息和与RAW图像数据对应的RAW图像中的关注像素的周边的周边像素的像素值来判别与关注像素的像素值的相关度最高的像素值持续的方向。这里，对方向判别部22的详细的结构进行说明。图3是示出方向判别部22的功能结构的框图。方向判别部22具有相关值计算部221和方向确定部222。

相关值计算部221计算摄像元件105所生成的RAW图像中的各方向上的关注像素的像素值和该关注像素的周边像素的像素值的相关值。这里，所谓相关值是表示关注像素的像素值与周边像素的像素值的类似程度的值，例如是基于关注像素的像素值与周边像素的像素值的差的值。

方向确定部222根据相关值计算部221所计算出的各方向的相关值来确定相关度最高的方向。例如，在作为相关值而使用关注像素的像素值与周边像素的像素值的差的情况下，确定差为最小的方向。

返回到图1，继续图像处理装置20的结构的说明。

图像处理部23根据方向判别部22的判别结果而对图像数据进行规定的图像处理并输出给显示装置30。这里，所谓规定的图像处理是至少包含如下处理在内的基本图像处理：光学黑相减处理、白平衡调整处理、在摄像元件105为拜耳排列的情况下的图像数据的同步化处理、颜色矩阵运算处理、γ校正处理、颜色再现处理、边缘强调处理、以及噪声降低处理等。另外，图像处理部23根据预先设定的各图像处理的参数而进行再现自然的图像的图像处理。这里，所谓各图像处理的参数是对比度、锐度、饱和度、白平衡以及灰度的值。

记录部24使用易失性存储器和非易失性存储器构成，记录用于使图像处理装置20进行动作的各种程序、程序的执行过程中所使用的各种数据。另外，记录部24具有用于驱动图像处理装置20的程序记录部241和暂时存储经由第二外部接口部21和总线25而从摄像装置10输入的RAW图像数据、RTS噪声信息、孤立点位置信息以及关注像素的边缘的变量或评价值等的缓冲器242。

总线25使用连接图像处理装置20的各结构部位的传送路径等构成，将在图像处理装置20的内部产生的各种数据传送给图像处理装置20的各结构部位。

(显示装置的结构)

接下来，对显示装置30的结构进行说明。显示装置30显示与从图像处理装置20输入的图像数据对应的图像。显示装置30使用液晶或有机EL(Electro Luminescence：电致发光)等显示面板等构成。

具有以上结构的摄像系统1在图像处理装置20对摄像元件105所生成的图像数据进行了边缘的方向判别之后，根据该方向判别的结果而进行图像处理，显示装置30显示与由图像处理装置20实施了图像处理后的图像数据对应的图像。另外，也可以将由图像处理装置20实施了图像处理后的图像数据经由第二外部接口部21、第一外部接口部115、总线113而记录于摄像装置10的记录介质110或非易失性存储器112中。

(RTS噪声的产生原因和特性)

接下来，对RTS噪声的产生原因和RTS噪声的特性进行说明。

图4是示出在以使光照射不到摄像元件105的方式进行遮光的情况下，在产生RTS噪声时从放大器部105e输出的放大器输出的变动的例子的图。图5是示出使用产生RTS噪声的放大器部105e而读出的像素值的分布的例子的图。

RTS噪声是在放大器部105e中的栅极氧化膜中存在陷阱能级的情况下，由于以随机的定时在该陷阱能级中捕获或者释放电荷而产生的。因此，如图4所示，在产生RTS噪声的放大器部105e中，放大器输出在约Vrts的范围内随机地变动。另外，电位的变动不是瞬间发生的，需要微小的时间。

通常，在摄像元件105中，由于根据从像素105a读出的像素值来降低噪声，因此要进行相关双重采样处理(下面称作“CDS处理”)。在CDS处理中，摄像控制部114使摄像元件105的复位开关(未图示)为接通，从而使FD部105d的电荷复位，进而摄像控制部114使第二开关105f为接通而形成复位状态，并读出(输出)复位状态的信号(基准信号)。接下来，在CDS处理中，摄像控制部114仅使第一开关105b(或第一开关105b(1)～105b(8)中的任意一个)为接通，将在像素105a中产生的电荷传送给FD部105d，进而形成使第二开关105f为接通的读出状态(输出状态)，并读出(输出)读出状态的信号。接着，在CDS处理中，将通过从读出状态的信号减去复位状态的信号(基准信号)而获得的信号转换为像素值

如图4所示，当摄像元件105通过CDS处理而读出时间tr1(复位状态)和时间ts1(读出状态)各自的信号时，由于时间tr1和时间ts1各自的放大器输出V大致相同，因此主要受随机噪声的影响，所读出的像素值成为图5所示的分布A那样的以0为中心的分布。同样地，摄像元件105在时间tr2(复位状态)和时间ts2(读出状态)下由于时间tr2和时间ts2各自的放大器输出V大致相同，因此所读出的像素值也像图5所示的分布A那样。

另一方面，当摄像元件105通过CDS处理而读出时间tr3(复位状态)和时间ts3(读出状态)各自的信号时，由于时间ts3的放大器输出比时间tr3的放大器输出约低了Vrts，因此当取两个信号的差时，向负方向移位与放大器输出的变化量即Vrts对应的像素值即RTS＿Value，从而所读出的像素值成为以-RTS＿Value为中心的分布B。

与此相对，当摄像元件105通过CDS处理而读出时间tr4(复位状态)和时间ts4(读出状态)各自的信号时，由于时间ts4的放大器输出比时间tr4的放大器输出约高Vrts，因此当取两个信号的差时，向正方向移位与放大器输出的变化量即Vrts对应的像素值即RTS＿Value，从而所读出的像素值成为以+RTS＿Value为中心的分布C。

这里，由于图4的放大器输出的变动需要时间τ而发生，因此有时在电位发生变动的中途读出信号。在该情况下，在复位状态的读出时间和读出状态的读出时间之间，放大器输出差比-Vrts大且比Vrts小。其结果是，从摄像元件105读出的像素值也为比-RTS＿Value大且比RTS＿Value小的值。如果摄像元件105的条件(例如温度和驱动电压等)是恒定的，则认为时间τ大致为恒定的，因此比-RTS＿Value大且比RTS＿Value小的像素值以同样的概率产生。这里，将这些像素值的产生频率定义为αnoise。另外，分布B和分布C各自仅中央值不同，但除此以外为同样的分布。因此，以下将分布B或分布C相对于分布A的比例定义为αrts。放大器部105e的放大器输出的变动周期越短则该αrts越大。

这样，使用产生RTS噪声的放大器部105e来读出的像素值通过CDS处理而成为图5那样的分布。另外，在光照射到摄像元件105的条件下，读出状态的电位根据曝光量而变化。然而，基于RTS噪声的电位的变化无论曝光量如何都为恒定的。即，RTS噪声不依赖于曝光量，具有在-RTS＿Value以上且RTS＿Value以下的范围内相对于正常的像素值随机地变动的特性。另外，在图5中，示意性地示出分布A、分布B、分布C，但通常为正态分布。

另外，由于RTS噪声是起因于读出电路(放大器部105e)的噪声，因此像图2所示那样，在多个像素105a各自共享一个读出电路的情况下，在所有的共享像素(像素105a(1)～105a(8))中产生同样的特性的RTS噪声。

另外，除了图2所示的读出电路(放大器部105e)以外，有时在摄像元件105的列方向上共享的列放大器和源极跟随器等中也产生RTS噪声。在该情况下，在共享相同的列放大器和源极跟随器的列方向上的所有的像素中也产生同样的特性的RTS噪声。在本实施方式中，也能够应用于在读出电路(放大器部105e)以外的电路中产生的RTS噪声。

这样，RTS噪声为在固定被摄体以相同的条件进行拍摄的情况下拍摄到的图像的像素值在一定范围内(-RTS＿Value以上且RTS＿Value以下)振幅(变动)的闪烁缺陷噪声的一种。

(方向判别部的处理)

接下来，对方向判别部22所执行的处理进行说明。图6是示出方向判别部22所执行的处理的概要的流程图，是示出判别方向的方向判别处理的概要的流程图。

如图6所示，首先，相关值计算部221对表示计算相关程度的方向的变量dir进行初始化(dir＝1)(步骤S101)。

图7是示意性地示出摄像元件105的像素排列的图，是示出没有滤色镜的摄像元件105(单色图像传感器)的像素排列的图。图8A～图8H是示意性地示出相关值计算部221针对RAW图像进行计算的方向的一例的图，dir表示1的方向对应于图8A，dir表示2的方向对应于图8B、…、dir表示8的方向对应于图8H。在图7和图8A～图8H中，像素F1表示正常的像素(没有剖面线)，像素F2表示有可能产生RTS噪声的像素(有剖面线)，粗框T1表示用于方向判别的像素，箭头A1表示方向。另外，在图8A～图8H中，将与箭头A1的始点对应的像素设为第一个像素，沿箭头A1将下一个像素定义为第二个像素、…、将与箭头A1的终点(箭头的前端)对应的像素定义为第七个像素。如图8A～图8H所示，在本实施方式1中，相关值计算部221对RAW图像W1计算八个方向的相关值。因此，在本实施方式1中，将dir所表示的数设为1以上8以下。

接着，相关值计算部221将表示dir方向的相关程度的变量Δdir初始化为0(Δdir＝0)(步骤S102)，并且将对与Δdir相加后的个数进行计数的计数器初始化为0(Num＝0)(步骤S103)，对表示求相关程度的位置的计数器i进行初始化(i＝2)(步骤S104)。

然后，相关值计算部221经由第二外部接口部21、第一外部接口部115以及总线113从孤立点位置信息记录部112d获取孤立点位置信息，从易失性存储器111获取RAW图像，并根据所获取的孤立点位置信息来对RAW图像中的第i个像素或第i-1个像素是否是孤立点像素进行判断(步骤S105)。这里，所谓第i个像素是以RAW图像中的关注像素为中心时的沿dir方向上的箭头A1的第i个像素，所谓第i-1个像素是以关注像素为中心时的沿dir方向上的箭头A1的第i-1个像素(沿dir方向上的箭头A1向始点侧偏移一个像素后的像素)。在相关值计算部221判断为RAW图像中的第i个像素或第i-1个像素是孤立点像素的情况下(步骤S105：“是”)，方向判别部22转移到后述的步骤S115。与此相对，在相关值计算部221判断为RAW图像中的第i个像素或第i-1个像素不是孤立点像素的情况下(步骤S105：“否”)，方向判别部22转移到后述的步骤S106。

在步骤S106中，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息和从易失性存储器111获取的RAW图像，依次获取存在于dir方向上的第i-1个(从图8A～图8H所示的箭头A1的箭头出发点起第一个、第二个、···第七个)像素值。具体而言，如图8A所示，相关值计算部221从RAW图像W1获取箭头A1的出发点的像素N1～N7各自的像素值。另外，每当第i-1个时，相关值计算部221将获取的第i-1个像素值全部复制到Prev1、Prev2以及Prev3变量中而依次保存(存储)在缓冲器242中。

接着，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，对是否有可能在dir方向上的第i-1个像素中产生RTS噪声进行判断(步骤S107)。在相关值计算部221判断为有可能在dir方向上的第i-1个像素中产生RTS噪声的情况下(步骤S107：“是”)，方向判别部22转移到后述的步骤S108。与此相对，在相关值计算部221判断为不可能在dir方向上的第i-1个像素中产生RTS噪声的情况下(步骤S107：“否”)，方向判别部22转移到后述的步骤S109。

在步骤S108中，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，对存在于dir方向上的第i-1个像素的像素值进行校正。具体而言，相关值计算部221通过从保存在缓冲器242中的Prev1减去与第i-1个像素对应的RTS噪声信息中包含的RTS＿Value(Prev1＝Prev1-RTS＿Value)并对Prev2加上RTS＿Value(Prev2＝Prev2+RTS＿Value)，来校正存在于dir方向上的第i-1个像素的像素值。由此，设想为在Prev1、Prev2以及Prev3中的任意一项中没有RTS噪声的像素值保存在缓冲器242中。在步骤S108之后，方向判别部22转移到步骤S109。

接着，相关值计算部221获取经由第二外部接口部21、第一外部接口部115以及总线113而从易失性存储器111获取的RAW图像中的存在于dir方向上的第i个像素值(步骤S109)。另外，相关值计算部221将所获取的像素值全部复制到Curr1、Curr2以及Curr3变量中而保存在缓冲器242中。

然后，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，对是否有可能在存在于dir方向上的第i个像素中产生RTS噪声进行判断(步骤S110)。在相关值计算部221判断为有可能在存在于dir方向上的第i个像素中产生RTS噪声的情况下(步骤S110：“是”)，方向判别部22转移到后述的步骤S111。与此相对，在相关值计算部221判断为不可能在存在于dir方向上的第i个像素中产生RTS噪声的情况下(步骤S110：“是”)，方向判别部22转移到后述的步骤S112。

在步骤S111中，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，来校正存在于dir方向上的第i个像素的像素值。具体而言，通过从Curr1减去与第i个像素对应的RTS噪声信息中包含的RTS＿Value(Curr1＝Curr1-RTS＿Value)并对Curr2加上RTS＿Value(Curr2＝Curr2+RTS＿Value)，来校正存在于dir方向上的第i个像素的像素值。由此，设想为在Curr1、Curr2以及Curr3中的任意一项中没有RTS噪声的像素值保存在缓冲器242中。在步骤S111之后，方向判别部22转移到步骤S112。

接着，相关值计算部221计算第i-1个像素值与第i个像素值的最小的差的绝对值(步骤S112)。具体而言，相关值计算部221在像Prev1与Curr1、Prev1与Curr2、Prev1与Curr3、Prev2与Curr1、···Prev3与Curr3那样Prev与Curr的所有的组合中，计算成为最小的差时的绝对值。

然后，相关值计算部221对Δdir加上在步骤S112中计算出的成为最小的差的绝对值(Δdir＝Δdir+最小的差的绝对值)(步骤S113)。

接着，相关值计算部221将与Δdir相加的个数递增(Num＝Num+1)(步骤S114)，将表示求相关程度的位置的计数器i递增(i＝i+1)(步骤S115)。

然后，相关值计算部221对表示求相关程度的位置的计数器i是否为7以下(i≤7))进行判断(步骤S116)。在相关值计算部221判断为表示求相关程度的位置的计数器i为7以下的情况下(步骤S116：“是”)，方向判别部22返回到步骤S105。与此相对，在相关值计算部221判断为表示求相关程度的位置的计数器i不为7以下的情况下(步骤S116：“否”)，方向判别部22转移到步骤S117。

在步骤S117中，相关值计算部221计算第i-1个像素值与第i个像素值的差的绝对值的平均(Δdir＝Δdir÷Num)。在这种情况下，相关值计算部221在Num为0时(即，在dir方向上的所有的像素中为孤立点时)，把Δdir可取的值的最大值计算为第i-1个像素值与第i个像素值的差的绝对值的平均。

接着，相关值计算部221将表示计算相关程度的方向的变量dir递增(dri＝dri+1)(步骤S118)。

然后，相关值计算部221对表示计算相关值程度的方向的变量dir是否为8以下(dir≤8)进行判断(步骤S119)。在相关值计算部221判断为表示计算相关值程度的方向的变量dir为8以下的情况下(步骤S119：“是”)，方向判别部22返回到步骤S102。与此相对，在相关值计算部221判断为表示计算相关值程度的方向的变量dir不为8以下的情况下(步骤S119：“否”)，方向判别部22转移到步骤S120。

在步骤S120中，方向确定部222针对Δ1～Δ8检索为最小的Δdir，将对应的dir确定为与关注像素的像素值的相关度最高的像素值持续的方向，并作为方向判别结果。在步骤S120之后，方向判别部22结束本处理。

根据以上说明的本发明的实施方式1，相关值计算部221计算对产生RTS噪声的像素的像素值加上或减去RTS＿Value后的值，并使用该计算出的计算结果来判别与关注像素的像素值的相关度最高的像素值持续的方向，因此能够准确地对产生RTS噪声的图像数据进行方向判别。

另外，在本发明的实施方式1中，相关值计算部221计算对有可能产生RTS噪声的像素的像素值加上或减去RTS＿Value后的值，但考虑到αnoise等RTS噪声的分布，也可以加上或减去对RTS＿Value乘以0以上且小于1的规定系数后的值。

(实施方式1的变形例1)

接下来，对本发明的实施方式1的变形例1进行说明。本发明的实施方式1的变形例1与上述的实施方式1的摄像系统1的摄像元件105结构不同。具体而言，在上述的实施方式1中，在摄像元件105的受光面上未设置滤色镜，但在本实施方式1的变形例1中，在摄像元件105的受光面上设置有拜耳排列的滤色镜。因此，以下对本实施方式1的变形例1的摄像元件的结构进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

图9是示意性地示出本发明的实施方式1的变形例1的摄像元件的像素排列的图。在图9所示的摄像元件105i中，透射彼此不同的波段的R滤镜、G滤镜以及B滤镜各自以拜耳排列设置于摄像元件105i的受光面上。

图10A～图10D是示意性地示出相关值计算部221针对摄像元件105i进行计算的方向的一例的图。在图9和图10A～图10D中，像素F1表示正常的像素(没有剖面线)，像素F2表示有可能产生RTS噪声的像素(有剖面线)，粗框T1表示用于方向判别的像素，箭头A1表示方向。在本实施方式1的变形例1中，将dir所表示的数设为图10A～图10D的方向1～4。即，将图6中的dir的最大值设为4，将i的最大值设为5，由此，方向判别部22通过执行上述的方向判别处理，来求出对有可能产生RTS噪声的像素加上或减去RTS＿Value后的值，通过一边选择最具有相关度的值一边进行方向判别，来判别与关注像素的像素值的相关度最高的像素值持续的方向。

根据以上说明的本发明的实施方式1的变形例1，能够准确地对产生RTS噪声的图像数据进行方向判别。

另外，在本发明的实施方式1的变形例1中，也可以是，方向判别部22在将G滤镜设置于受光面上而成的G像素中，不区分配置有设置B滤镜而成的B像素的列和配置有将R滤镜设置于受光面上而成的R像素的列。

另外，在本发明的实施方式1的变形例1中，相关值计算部221计算对有可能产生RTS噪声的像素的像素值加上或减去RTS＿Value后的值，但考虑到αnoise等RTS噪声的分布，也可以加上或减去对RTS＿Value乘以0以上且小于1的规定系数后的值。

(实施方式1的变形例2)

接下来，对本发明的实施方式1的变形例2进行说明。本发明的实施方式1的变形例2具有与上述的实施方式1的摄像系统1相同的结构，仅方向判别部22所执行的处理不同。具体而言，本实施方式1的变形例2的方向判别部在RAW图像中计算相关程度的各方向上，预先计算作为基准的值，针对有可能产生RTS噪声的像素，通过对像素值加上或减去RTS＿Value来确定最接近作为基准的值的值，并使用该确定的值来判别方向。因此，以下对本实施方式1的变形例2的方向判别部所执行的处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

(方向判别部的处理)

图11是示出本发明的实施方式1的变形例2的方向判别部22所执行的处理的概要的流程图，是示出方向判别处理的概要的流程图。

如图11所示，首先，相关值计算部221对表示计算相关程度的方向的变量dir进行初始化(dir＝1)(步骤S201)。

接着，相关值计算部221从经由第二外部接口部21、第一外部接口部115以及总线113而从易失性存储器111获取的RAW图像中获取全部dir方向上的所有像素各自的像素值(步骤S202)。另外，相关值计算部221将所获取的所有的像素值按箭头A1所示的顺序复制到变量P1～P7中而保存在缓冲器242中。

然后，相关值计算部221计算dir方向上的平均值(步骤S203)。具体而言，相关值计算部221计算在步骤S202中获取的变量P1～P7各自的像素的平均值。另外，在步骤S203中，相关值计算部221也可以从变量P1～P7中排除与孤立点像素对应的变量而求出平均值。

接着，相关值计算部221对表示求相关程度的位置的计数器i进行初始化(i＝1)(步骤S204)。

然后，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，对是否有可能在存在于dir方向上的第i个像素中产生RTS噪声进行判断(步骤S205)。在相关值计算部221判断为有可能在存在于dir方向上的第i个像素中产生RTS噪声的情况下(步骤S205：“是”)，方向判别部22转移到后述的步骤S206。与此相对，在相关值计算部221判断为不可能在存在于dir方向上的第i个像素中产生RTS噪声的情况下(步骤S205：“否”)，方向判别部22转移到后述的步骤S207。

在步骤S206中，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，来校正存在于dir方向上的第i个像素的像素值。具体而言，相关值计算部221从Pi+RTS＿Value、Pi以及Pi-RTS＿Value中的任意一项中选择最接近在上述的步骤S203中计算的平均值的值，通过将Pi的值置换为该选择的值来进行校正。由此，能够简单地校正RTS噪声。另外，相关值计算部221在存在多个最接近在上述的步骤S203中计算出的平均值的值的情况下，直接选择Pi的值(考虑到过校正，不置换Pi)。

步骤S207和步骤S208与上述的图6的步骤S115和步骤S116分别对应。

接着，相关值计算部221使用变量P1～P7来计算涉及相关程度的评价值Δdir(步骤S209)。具体而言，相关值计算部221将变量P1～P7各自的像素值中的最小值与最大值的差的绝对值、变量P1～P7各自的标准偏差、方差以及像素之间的差的绝对值的平均值(例如在箭头A1方向上相邻的像素之间的差的绝对值的平均值)中的任意一个作为评价值Δdir来计算。另外，在步骤S209中，相关值计算部221也可以从变量P1～P7中排除与孤立点像素对应的变量而使用剩余的变量来求出Δdir。在这种情况下，在所有的像素为孤立点像素时，Δdir设为最没有相关度的值(例如，如果是标准偏差或方差，则Δdir为可取的最大值)，由此能够防止选择dir方向作为方向判别结果。

步骤S210～步骤S212与上述的图6的步骤S118～步骤S120分别对应。

根据以上说明的本发明的实施方式1的变形例2，相关值计算部221在计算相关程度的各方向上，将各dir方向的平均值预先作为基准值来计算，针对有可能产生RTS噪声的像素，通过对像素值加上或减去RTS＿Value来确定最接近作为基准的值的值，并使用该确定的值来确定与关注像素的像素值的相关度最高的像素值持续的方向。其结果是，能够准确地对产生RTS噪声的图像数据进行方向判别。

另外，在本发明的实施方式1的变形例2中，相关值计算部221对像素值加上或减去RTS＿Value，但考虑到αnoise等RTS噪声的分布，也可以加上或减去对RTS＿Value乘以0以上且小于1的规定系数后的值。

(实施方式1的变形例3)

接下来，对本发明的实施方式1的变形例3进行说明。本发明的实施方式1的变形例3具有与上述的实施方式1的摄像系统1相同的结构，仅方向判别部所执行的处理不同。具体而言，本实施方式1的变形例3的方向判别部确定作为基准的像素，根据是否有可能在该像素中产生RTS噪声，而一边排除基准像素的RTS噪声的影响一边进行方向判别。因此，以下对本实施方式1的变形例3的方向判别部所执行的处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

(方向判别部的处理)

图12是示出本发明的实施方式1的变形例3的方向判别部22所执行的处理的概要的流程图，是示出方向判别处理的概要的流程图。

如图12所示，首先，相关值计算部221对表示计算相关程度的方向的变量dir进行初始化(dir＝1)(步骤S301)。

接着，相关值计算部221在dir方向上将关注像素作为基准像素(步骤S302)。另外，相关值计算部221在关注像素是孤立点像素的情况下，将最接近关注像素的dir方向上的像素且不是孤立点像素的像素作为基准像素。但是，在dir方向上的所有的像素是孤立点像素的情况下，将关注像素作为基准像素。

然后、相关值计算部221对表示求相关程度的位置的计数器i进行初始化(i＝1)(步骤S303)。

接着，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从孤立点位置信息记录部112d获取的孤立点位置信息，对第i个像素是否是孤立点像素进行判断(步骤S304)。在相关值计算部221判断为第i个像素是孤立点像素的情况下(步骤S304：“是”)，方向判别部22转移到后述的步骤S313。与此相对，在相关值计算部221判断为第i个像素不是孤立点像素的情况下(步骤S304：“否”)，方向判别部22转移到后述的步骤S305。

在步骤S305中，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而获取存储在易失性存储器111中的RAW图像所得的RAW图像，获取第i个像素值(步骤S305)。另外，相关值计算部221将所获取的像素值复制为Pi而保存在缓冲器242中。

然后，相关值计算部221对第i个像素是否是基准像素进行判断(步骤S306)。在由相关值计算部221判断为第i个像素是基准像素的情况下(步骤S306：“是”)，方向判别部22转移到后述的步骤S313。与此相对，在由相关值计算部221判断为第i个像素不是基准像素的情况下(步骤S306：“否”)，方向判别部22转移到后述的步骤S307。

在步骤S307中，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，对是否在基准像素中产生RTS噪声进行判断。在相关值计算部221判断为有可能在基准像素中产生RTS噪声的情况下(步骤S307：“是”)，方向判别部22转移到后述的步骤S308。与此相对，在相关值计算部221判断为不可能在基准像素中产生RTS噪声的情况下(步骤S307：“否”)，方向判别部22转移到后述的步骤S310。

在步骤S308中，相关值计算部221从经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息中获取基准像素的RTS＿Value。

接着，相关值计算部221对Pi进行校正(步骤S309)。具体而言，相关值计算部221从Pi+RTS＿Value、Pi以及Pi-RTS＿Value中的任意一项中选择接近在上述的步骤S302中确定的基准像素的像素值的值，通过将Pi的值置换为该选择的值来校正Pi。由此，能够排除在基准像素中产生了RTS＿Value的情况下的影响。

然后，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，对是否有可能在dir方向上的第i个像素中产生RTS噪声进行判断(步骤S310)。在相关值计算部221判断为有可能在dir方向上的第i个像素中产生RTS噪声的情况下(步骤S310：“是”)，方向判别部22转移到后述的步骤S311。与此相对，在相关值计算部221判断为不可能在dir方向上的第i个像素中产生RTS噪声的情况下(步骤S310：“否”)，方向判别部22转移到后述的步骤S313。

在步骤S311中，相关值计算部221从经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息中获取第i个像素的RTS＿Value。

接着，相关值计算部221从在步骤309中校正的Pi+RTS＿Value、Pi以及Pi-RTS＿Value中的任意一项中选择最接近基准像素的像素值的值，通过将所选择的值代入Pi来校正第i个像素值(步骤S312)。由此，能够排除在第i个像素中产生了RTS噪声的情况下的影响。

步骤S313～步骤S318与上述的图6的步骤S115～步骤S120分别对应。

根据以上说明的本发明的实施方式1的变形例3，方向判别部22将关注像素确定为基准像素，根据是否有可能在该基准像素中产生RTS噪声，而一边排除基准像素的RTS噪声的影响一边进行方向判别。其结果是，能够准确地对产生了RTS噪声的图像数据进行方向判别。

另外，在本发明的实施方式1的变形例3中，相关值计算部221计算对像素值加上或减去RTS＿Value后的值，但考虑到αnoise等RTS噪声的分布，也可以加上或减去对RTS＿Value乘以0以上且小于1的规定系数后的值。

(实施方式1的变形例4)

接下来，对本发明的实施方式1的变形例4进行说明。本发明的实施方式1的变形例4具有与上述的实施方式1的摄像系统1相同的结构，仅方向判别部所执行的处理不同。具体而言，本实施方式1的变形例4的方向判别部在计算相关程度的各方向上，将有可能产生RTS噪声的像素排除而进行边缘的方向判别。因此，以下对本实施方式1的变形例4的方向判别部所执行的处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

(方向判别部的处理)

图13是示出本发明的实施方式1的变形例4的方向判别部22所执行的处理的概要的流程图，是示出方向判别处理的概要的流程图。

如图13所示，首先，相关值计算部221对表示计算相关程度的方向的变量dir进行初始化(dir＝1)(步骤S401)。

接着，相关值计算部221对表示求相关程度的位置的计数器i进行初始化(i＝1)(步骤S402)。

然后，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从RTS噪声信息记录部112b获取的RTS噪声信息，对是否有可能在第i个像素中产生RTS噪声进行判断(步骤S403)。在相关值计算部221判断为有可能在第i个像素中产生RTS噪声的情况下(步骤S403：“是”)，方向判别部22转移到后述的步骤S405。与此相对，在相关值计算部221判断为不可能在第i个像素中产生RTS噪声的情况下(步骤S403：“否”)，方向判别部22转移到后述的步骤S404。

在步骤S404中，相关值计算部221根据经由第二外部接口部21、第一外部接口部115以及总线113而从易失性存储器111获取的RAW图像，获取第i个像素值。另外，相关值计算部221将获取的像素值复制到变量P1～P7中而保存在缓冲器242中。

步骤S405和步骤S406与上述的图6的步骤S115和步骤S116分别对应。

在步骤S407中，相关值计算部221仅使用在步骤S404中获取的不可能产生RTS噪声的像素的像素值，来计算涉及相关程度的评价值Δdir。具体而言，相关值计算部221在变量P1～P7中将与有可能产生RTS噪声的像素对应的变量排除，而将剩余的变量各自的像素值中的最小值与最大值的差的绝对值、变量P1～P7各自的标准偏差、方差以及像素之间的差的绝对值的平均值中的任意一个作为评价值Δdir来计算。另外，在步骤S407中，相关值计算部221也可以进一步将与孤立点像素对应的变量排除而计算Δdir。另外，在所有的变量P1～P7与孤立点像素或有可能产生RTS噪声的像素对应的情况下，相关值计算部221计算最没有相关度的值作为Δdir。

步骤S408～步骤S410与上述的图6的步骤S118～步骤S120分别对应。

根据以上说明的本发明的实施方式1的变形例4，方向判别部22在RAW图像中计算相关程度的各方向上，将有可能产生RTS噪声的像素排除而进行方向判别。其结果是，能够准确地对产生了RTS噪声的图像数据进行方向判别。

(实施方式1的变形例5)

接下来，对本发明的实施方式1的变形例5进行说明。本发明的实施方式1的变形例5具有与上述的实施方式1的摄像系统1相同的结构，仅方向判别部所执行的处理不同。具体而言，本实施方式1的变形例5的方向判别部在计算相关程度的各方向上，在有可能产生RTS噪声的像素从基准离开规定以上的情况下将其排除，而进行边缘的方向判别。因此，以下对本实施方式1的变形例5的方向判别部所执行的处理进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

(方向判别部的处理)

图14是示出本发明的实施方式1的变形例5的方向判别部22所执行的处理的概要的流程图，是示出方向判别处理的概要的流程图。

在图14中，步骤S501～步骤S505与上述的图11的步骤S201～步骤S205分别对应。

在步骤S506中，相关值计算部221经由第二外部接口部21、第一外部接口部115以及总线113从RTS噪声信息记录部112b获取存在于dir方向上的第i个像素的RTS＿Value，并将对获取的RTS＿Value乘以规定的系数后的值作为阈值来计算。这里，所谓规定的系数优选1以下例如为0.5。

相关值计算部221对在上述的步骤S502中获取的Pi与在步骤S503中计算出的平均值的差的绝对值是否比在步骤S506中计算出的阈值大(︱平均值-Pi︱＞阈值)进行判断(步骤S507)。在相关值计算部221判断为在上述的步骤S502中获取的Pi与在步骤S503中计算出的平均值的差的绝对值比在步骤S506中计算出的阈值大的情况下(步骤S507：“是”)，方向判别部22转移到后述的步骤S508。与此相对，在相关值计算部221判断为在上述的步骤S502中获取的Pi与在步骤S503中计算出的平均值的差的绝对值不比在步骤S506中计算出的阈值大的情况下(步骤S507：“否”)，方向判别部22转移到后述的步骤S509。

在步骤S508中，相关值计算部221删除在步骤S502中保存的Pi。

步骤S509和步骤S510与图6的步骤S115和步骤S116分别对应。

在步骤S511中，相关值计算部221将在上述的步骤S508的处理之后剩余的变量P1～P7各自的像素值中的最小值与最大值的差的绝对值、变量P1～P7各自的标准偏差、方差以及像素之间的差的绝对值的平均值中的任意一个作为评价值Δdir来计算。

步骤S512～步骤S514与上述的图6的步骤S118～步骤S120分别对应。

根据以上说明的本发明的实施方式1的变形例5，方向判别部22在计算相关程度的各方向上，在变量Pi与dir方向上的平均值的差的绝对值比对有可能产生RTS噪声的像素的RTS＿Value乘以规定系数后的阈值大的情况下，判断为在该像素中产生了RTS噪声，由于将该像素值排除而进行方向判别，因此能够准确地对产生了RTS噪声的图像数据进行方向判别。

另外，在本发明的实施方式1的变形例5中，也可以将有可能产生RTS噪声的像素(作为有可能产生RTS噪声的像素，在RTS噪声信息记录部112b中记录有其位置信息的像素)一律排除而进行方向判别。由此，与上述的本发明的实施方式1的变形例5相比能够减少运算量。

(实施方式2)

接下来，对本发明的实施方式2进行说明。本实施方式2的摄像系统与上述的实施方式1的摄像系统1结构不同。具体而言，本实施方式2的摄像系统的图像处理装置的结构是不同的。因此，以下对本实施方式2的摄像系统的结构进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

(摄像系统的结构)

图15是示意性地示出本发明的实施方式2的摄像系统的结构的框图。图15所示的摄像系统1a具有图像处理装置20a代替上述的实施方式1的图像处理装置20。

(图像处理装置的结构)

对图像处理装置20a的结构进行说明。图像处理装置20a具有图像处理部23a代替上述的实施方式1的图像处理部23。

图像处理部23a具有孤立点校正部26、RTS噪声校正部27、基本图像处理部28。

孤立点校正部26经由第二外部接口部21、第一外部接口部115以及总线113从孤立点位置信息记录部112d获取孤立点位置信息，从易失性存储器111获取RAW图像，并根据所获取的孤立点位置信息将校正了孤立点的图像数据输出给RTS噪声校正部27。这里，对孤立点校正部26的详细的结构进行说明。图16是示出孤立点校正部26的功能结构的框图。如图16所示，孤立点校正部26具有方向判别部261和校正部262。

方向判别部261具有与上述的方向判别部22相同的功能，在RAW图像中的关注像素的像素值和该关注像素的周边像素的像素值中判别相关度最高的方向。

校正部262根据方向判别部261的判别结果来校正图像数据的噪声，从而降低噪声。

RTS噪声校正部27对孤立点校正部26所校正的图像数据校正RTS噪声，并将该RTS噪声输出给基本图像处理部28。

这里，对RTS噪声校正部27的详细的结构进行说明。图17是示出RTS噪声校正部27的功能结构的框图。如图17所示，RTS噪声校正部27具有RTS噪声像素判定部271、候选值计算部272、随机噪声量估计部273、代表值计算部274、校正值计算部275。

RTS噪声像素判定部271经由第二外部接口部21、第一外部接口部115以及总线113获取记录于摄像装置10的RTS噪声信息记录部112b中的RTS噪声信息，对是否有可能在所获取的RAW图像上的像素中产生RTS噪声进行判定，并将判定结果输出给候选值计算部272和代表值计算部274。具体而言，当对RTS噪声像素判定部271输入像素的位置时，判定与该像素对应的RTS噪声信息是否记录于摄像装置10的RTS噪声信息记录部112b中，如果被记录，则输出RTS噪声信息(表示有RTS噪声的信息)，另一方面，如果未记录于摄像装置10的RTS噪声信息记录部112b中，则看作不产生RTS噪声的像素，而不输出RTS噪声信息。

候选值计算部272根据关注像素的RAW图像中的像素值和RTS噪声像素判定部271的判定结果，在由RTS噪声像素判定部271判定为有可能在关注像素中产生RTS噪声的情况下，针对关注像素的像素值计算多个校正量的候选值，并将关注像素的RAW图像中的像素值和计算出的多个候选值分别输出给代表值计算部274、随机噪声量估计部273以及校正值计算部275。

随机噪声量估计部273经由第二外部接口部21、第一外部接口部115以及总线113获取记录于随机噪声模型信息记录部112c中的随机噪声模型，根据所获取的随机噪声模型和代表值计算部274所计算出的参照值，来计算与关注像素的像素值或关注像素附近的RAW图像中的参照值对应的随机噪声量。

代表值计算部274在由RTS噪声像素判定部271判定为有可能在关注像素中产生RTS噪声的情况下，根据关注像素周围的至少由RTS噪声像素判定部271判定为不产生RTS噪声的像素、随机噪声量估计部273所计算出的与关注像素对应的随机噪声量的参照值、RTS＿Value或校正量的最大值，来计算与不产生RTS噪声的情况下的像素值相当的代表值。代表值计算部274将关注像素的RAW图像中的像素值、多个候选值、上述计算出的代表值输出给校正值计算部275。

这里，对代表值计算部274的详细的结构进行说明。图18是示出代表值计算部274的功能结构的框图。如图18所示，代表值计算部274具有方向判别部274a和代表值确定部274b。

方向判别部274a具有与上述的方向判别部22同样的功能，在RAW图像中的关注像素的像素值和该关注像素的周边像素的像素值中判别相关度最高的方向。

代表值确定部274b根据方向判别部274a的判别结果来确定与不产生RTS噪声的情况下的像素值相当的代表值。

校正值计算部275在由RTS噪声像素判定部271判定为关注像素中有可能产生RTS噪声的像素的情况下，根据候选值计算部272所计算出的多个候选值来校正关注像素的像素值。具体而言，校正值计算部275根据关注像素的RAW图像中的像素值、候选值计算部272所计算出的多个候选值、代表值计算部274所计算出的代表值，来计算校正了RTS噪声的像素值而输出给基本图像处理部28。更具体而言，校正值计算部275根据候选值计算部272所计算出的多个候选值中的、校正结果最接近代表值计算部274所计算出的代表值的候选值，来校正关注像素的像素值。与此相对，校正值计算部275在由RTS噪声像素判定部271判定为关注像素中不产生RTS噪声的像素的情况下，直接输出关注像素的RAW图像中的像素值。

返回到图15，继续图像处理装置20a的结构的说明。

基本图像处理部28根据方向判别部22的判别结果对从RTS噪声校正部27输入的校正后的图像数据进行规定的图像处理而输出给显示装置30。这里，所谓规定的图像处理是至少包含如下处理在内的基本图像处理：光学黑相减处理、白平衡调整处理、在摄像元件105为拜耳排列的情况下的图像数据的同步化处理、颜色矩阵运算处理、γ校正处理、颜色再现处理以及边缘强调处理、噪声降低处理等。另外，基本图像处理部28根据预先设定的各图像处理的参数而进行再现自然的图像的图像处理。这里，所谓各图像处理的参数是对比度、锐度、饱和度、白平衡以及灰度的值。

(孤立点校正部的处理)

接下来，对孤立点校正部26所执行的处理进行说明。图19是示出孤立点校正部26所执行的处理的概要的流程图，是示出孤立点校正处理的概要的流程图。

如图19所示，首先，孤立点校正部26对计数器y进行初始化(y＝0)，该计数器y表示像素在与存储在记录部24的缓冲器242中的图像数据对应的图像的较高方向(纵向)上的位置(步骤S601)，对计数器x进行初始化(x＝0)，该计数器x表示像素在与图像数据对应的图像的宽度方向(横向)上的位置(步骤S602)。

接着，孤立点校正部26根据经由第二外部接口部21、第一外部接口部115以及总线113而从孤立点位置信息记录部112d获取的孤立点位置信息，对坐标(x，y)的关注像素是否是孤立点进行判断(步骤S603)。在坐标(x，y)的关注像素是孤立点的情况下(步骤S603：“是”)，孤立点校正部26转移到后述的步骤S604。与此相对，在坐标(x，y)的关注像素不是孤立点的情况下(步骤S603：“否”)，孤立点校正部26转移到后述的步骤S608。

在步骤S604中，方向判别部261执行上述的实施方式1以及上述的实施方式1的变形例2～5中的任意一个的方向判别处理。因此，在本实施方式2中，省略方向判别处理的说明。另外，在上述的实施方式1的变形例2中的步骤S203中，方向判别部261计算将孤立点像素的像素值排除后的平均值。

接着，校正部262根据方向判别部261的判别结果，从缓冲器242中获取方向判别部261所判别的dir方向上的全部像素值(步骤S605)。另外，校正部262将所获取的像素值复制到变量P1～P7中而保存在缓冲器242中。

然后，校正部262根据经由第一外部接口部115和总线113而从孤立点位置信息记录部112d获取的孤立点位置信息，在变量P1～P7中排除孤立点像素，而使用剩余的像素的像素值来计算dir方向上的平均值(步骤S606)。另外，校正部262也可以不计算平均值，而计算变量P1～P7各自的加权平均、最频值以及中央值中的任意一个。

接着，校正部262通过将在步骤S606中计算出的平均值置换为存储在缓冲器242中的坐标(x，y)的关注像素的像素值，从而通过置换dir方向上的像素值来校正孤立点像素(步骤S607)。

然后，校正部262将计数器x递增(x＝x+1)(步骤S608)。

接着，在计数器x比与图像数据对应的图像的宽度小的情况下(步骤S609：“是”)，孤立点校正部26返回到步骤S603。与此相对，在计数器x不比与图像数据对应的图像的宽度小的情况下(步骤S609：“否”)，孤立点校正部26转移到步骤S610。

接着，孤立点校正部26将计数器y递增(y＝y+1)(步骤S610)。

然后，在计数器y比与图像数据对应的图像的高度小的情况下(步骤S611：“是”)，孤立点校正部26返回到步骤S602。与此相对，在计数器y不比与图像数据对应的图像的高度小的情况下(步骤S611：“否”)，孤立点校正部26结束本处理。

这样，孤立点校正部26根据方向判别部261的判别结果，以使相关度最高的方向上的相关提高的方式去除孤立点而生成校正了边缘的方向的图像数据进而输出给RTS噪声校正部27。

(RTS噪声校正部的处理)

接下来，对RTS噪声校正部27所执行的处理进行说明。图20是示出RTS噪声校正部27所执行的处理的概要的流程图，是示出RTS噪声校正处理的概要的流程图。

如图20所示，首先，RTS噪声校正部27设定用于依次进行后述的步骤S702～步骤S705的处理的关注像素(步骤S701)。另外，RTS噪声校正部27对RAW图像中的每个像素从左上朝向右下按照光栅顺序，以1、2、3、···的顺序分配比0大的整数作为索引。接下来，RTS噪声校正部27每当执行步骤S701时，使缓冲器242的计数器增加1(在开始图20的处理的时刻，计数器复位到0)。RTS噪声校正部27将分配了计数器所示的索引的像素设定为关注像素。即，当由RTS噪声校正部27最初执行步骤S701时，RTS噪声校正部27使复位到0的计数器增加1，因此计数器示出了1，左上的像素为关注像素。当RTS噪声校正部27执行两次(第二次)步骤S701的处理时，由于计数器示出2，因此左上的像素的右侧的像素为关注像素。

接着，RTS噪声像素判定部271经由第二外部接口部21、第一外部接口部115以及总线113获取摄像装置10的非易失性存储器112的RTS噪声信息记录部112b所记录的RTS噪声信息，并根据所获取的RTS噪声信息对是否有可能在关注像素中产生RTS噪声进行判定(步骤S702)。即，RTS噪声像素判定部271对包含关注像素的共享像素块的位置信息是否包含于RTS噪声信息中进行判定。具体而言，RTS噪声像素判定部271对包含关注像素的共享像素块的位置信息是否作为有可能产生RTS噪声的共享像素块而包含于RTS噪声信息中进行判定。在由RTS噪声像素判定部271判定为有可能在关注像素中产生RTS噪声(判定为包含关注像素的共享像素块的位置信息包含于RTS噪声信息中)的情况下(步骤S702：“是”)，RTS噪声校正部27转移到后述的步骤S703。与此相对，在由RTS噪声像素判定部271判定为不可能在关注像素中产生RTS噪声(包含关注像素的共享像素块的位置信息不包含于RTS噪声信息中)的情况下(步骤S702：“否”)，RTS噪声校正部27转移到后述的步骤S706。在这种情况下，在RTS噪声像素判定部271判定为不可能在关注像素中产生RTS噪声的情况下，将该关注像素的RAW图像中的像素值直接作为校正后的像素值而输出给代表值计算部274。

在步骤S703中，候选值计算部272计算多个用于校正RTS噪声的校正量的候选值。具体而言，候选值计算部272根据与关注像素对应的RTS＿Value(包含于从RTS噪声像素判定部271输出的包含于RTS噪声的RTS噪声信息)，将作为0以上且RTS＿Value以下的像素值而可取的值全部(在作为RAW图像而仅可取整数的情况下是0以上且RTS＿Value以下的所有的整数)作为候选值。另外，候选值计算部272也可以在摄像控制部114对摄像元件105的列放大器等设定的放大器增益值在RTS噪声检测时(放大器增益值＝G0)与RTS噪声校正时(放大器增益值＝G1)不同的情况下，将RTS＿Value置换为对RTS噪声校正时的放大器增益值与RTS噪声检测时的放大器增益值的比(G＝G1/G0)乘以RTS＿Value后的值。另外，候选值计算部272也可以使RTS噪声信息具有能够预先设定的每个放大器增益值的RTS＿Value，从而使用与该设定的放大器增益值对应的RTS＿Value。另外，候选值计算部272也可以从作为0以上且RTS＿Value以下的像素值而可取的值中选择规定个数作为候选值。

接着，代表值计算部274执行根据关注像素周边的RAW图像的像素值来计算代表值(在关注像素中未产生RTS噪声的情况下的所预测的RAW图像的像素值)的代表值计算处理(步骤S704)。另外，代表值计算部274也可以将有可能产生RTS噪声的像素包含在内。

图21是示出图20的步骤S704的代表值计算处理的概要的流程图。

如图21所示，首先，方向判别部274a在以关注像素为中心的范围内进行方向判别处理(步骤S710)。在这种情况下，由于方向判别部274a执行上述的实施方式1以及上述的实施方式1的变形例2～5中的任意一个的方向判别处理，因此省略方向判别处理的详细的说明。

接着，代表值确定部274根据方向判别部274a的方向判别结果，经由第二外部接口部21、第一外部接口部115以及总线113从存储在易失性存储器111中的RAW图像中获取通过方向判别而求出的dir方向上的像素值(步骤S711)。另外，代表值确定部274b将所获取的dir方向上的所有的像素值复制到变量P1～P7中而保存在缓冲器242中。

然后，代表值确定部274b将存储在缓冲器242中的变量P1～P7各自的像素值的平均值作为代表值来计算(步骤S712)。在这种情况下，代表值确定部274b也可以在变量P1～P7中的任意一个存在有可能产生RTS噪声的像素时，将有可能产生RTS噪声的像素的像素值排除，而将剩余的像素的像素值的平均值作为代表值来计算。另外，也可以代替平均值，代表值确定部274b将变量P1～P7各自的像素值中的加权平均、最频值以及中央值中的任意一个作为代表值来计算。在步骤S712之后，RTS噪声校正部27返回到图20的主例程。

返回到图20，继续步骤S705以后的说明。

在步骤S705中，校正值计算部275执行如下的校正值计算处理：根据在上述的步骤S703中候选值计算部272所计算出的多个候选值和在上述的步骤S704中代表值计算部274所计算出的代表值，来计算关注像素中的校正了RTS噪声的RAW像素的像素值。

图22是示出图20的步骤S705的校正值计算处理的概要的流程图。

如图22所示，首先，校正值计算部275根据随机噪声量估计部273所估计的关注像素周边的随机噪声量(在本实施方式2中是标准偏差)和在上述的图20的步骤S703中候选值计算部272所计算出的候选值的最大值，对候选值的最大值是否为阈值以上进行判定(步骤S721)。这里，阈值是通过下面的式(1)来设定的。

随机噪声量×Rm···(1)

Rm是规定的系数。另外，Rm是相对于随机噪声根据RTS噪声在视觉上能看到何种程度而确定的。例如，Rm的值优选为2左右。在校正值计算部275判定为候选值的最大值为阈值以上的情况下(步骤S721：“是”)，RTS噪声校正部27转移到后述的步骤S722。与此相对，在校正值计算部275判定为候选值的最大值不为阈值以上的情况下(步骤S721：“否”)，RTS噪声校正部27转移到后述的步骤S723。另外，校正值计算部275也可以不使用候选值的最大值，而使用关注像素的RTS＿Value，并对关注像素的RTS＿Value与阈值进行比较。

在步骤S722中，校正值计算部275对像素值进行校正。具体而言，校正值计算部275首先通过下面的式(2)来计算Δ。

Δ＝关注像素的RAW图像中的像素值-代表值···(2)

接下来，校正值计算部275对Δ的绝对值与在上述的图20的步骤S703中候选值计算部272所计算出的一个以上的候选值进行比较，选择最接近Δ的绝对值的候选值，并将该候选值作为Δ。另外，校正值计算部275在存在多个最接近Δ的绝对值的候选值的情况下，为了防止过校正，而选择多个候选值中的最小的候选值作为Δ。

最后，校正值计算部275以通过下面的式(3)、(4)使关注像素的RAW图像中的像素值向代表值方向接近δ的方式进行校正，并将该校正后的关注像素的像素值输出给基本图像处理部28。

Δ＜0的情况

关注像素的RAW图像中的像素值+δ···(3)

Δ≥0的情况

关注像素的RAW图像中的像素值-δ···(4)

在步骤S722之后，RTS噪声校正部27返回到图20的主例程。另外，步骤S722中，校正值计算部275计算Δ而从多个候选值中选择最小的候选值，但也可以针对关注像素的RAW图像中的像素值计算单独地分别加上或减去多个候选值后的值，而在通过该计算而获得的多个相加或相减后的值中选择最接近的代表值。另外，在步骤S722中，校正值计算部275也可以使用其他运算和比较法，只要可以获得相同的结果即可。另外，校正值计算部275采用所校正的关注像素的像素值，与将代表值设为夹在关注像素的RAW图像中的像素值-RTS＿Value以上和关注像素的RAW图像中的像素值+RTS＿Value以下之间的值的情况是等效的。

在步骤S723中，校正值计算部275将关注像素的RAW图像中的像素值直接输出给基本图像处理部28。在步骤S723之后，RTS噪声校正部27返回到图20的主例程。

返回到图20，继续步骤S706以后的说明。

在步骤S706中，RTS噪声校正部27对是否对所有的像素结束了上述的步骤S701～步骤S705的处理进行判定(步骤S706)。在RTS噪声校正部27判定为对所有的像素结束了上述的处理的情况下(步骤S706：“是”)，RTS噪声校正部27结束本处理。与此相对，在RTS噪声校正部27判定为未对所有的像素结束上述的处理的情况下(步骤S706：“否”)，RTS噪声校正部27返回到上述的步骤S701。

根据以上说明的本发明的实施方式2，由于能够准确地对图像数据进行方向判别，因此在进行图像数据的噪声降低例如孤立点降低、闪烁缺陷噪声降低以及随机噪声降低等的情况下，能够进行在边缘部分等没有违和感的高画质的噪声降低。

另外，在本发明的实施方式2中，使用方向判别结果来进行孤立点降低和闪烁缺陷噪声降低，但也能够同样地应用于随机噪声等的各种噪声降低。在这种情况下，只要以使方向判别结果所示的方向上的像素值的相关度变高的方式实施随机噪声等的各种噪声降低即可。

(实施方式3)

接下来，对本发明的实施方式3进行说明。本实施方式3的摄像系统与上述的实施方式2的摄像系统1a结构不同。具体而言，本实施方式3的摄像系统的图像处理装置的结构不同。因此，以下对本实施方式3的摄像系统的结构进行说明。另外，对与上述的实施方式1的摄像系统1相同的结构标注相同的标号而省略说明。

(摄像系统的结构)

图23是示意性地示出本发明的实施方式3的摄像系统的结构的框图。图23所示的摄像系统1b具有图像处理装置20b来代替上述的实施方式2的图像处理装置20a。

(图像处理装置的结构)

对图像处理装置20b的结构进行说明。图像处理装置20b具有图像处理部23b来代替上述的实施方式2的图像处理部23a。图像处理部23b具有同步化处理部29和基本图像处理部28。

同步化处理部29根据方向判别部22根据RTS噪声信息而判别的判别结果，将拜耳排列的RAW图像转换为一个像素由RGB这三个成分构成的RGB图像数据而输出给基本图像处理部28。这里，对同步化处理部29的详细的结构进行说明。图24是示出同步化处理部29的功能结构的框图。如图24所示，同步化处理部29具有方向判别部291和插值处理部292。

方向判别部291具有与上述的方向判别部22同样的功能，在RAW图像中的关注像素的像素值和该关注像素的周边像素的像素值中判别相关度最高的方向。

插值处理部292根据方向判别部291的判别结果，设想在RAW图像数据中在方向判别结果的方向上边缘连续，对关注像素的滤色镜的颜色以外的颜色进行插值而生成RGB图像。

(同步化处理部的处理)

接下来，对同步化处理部29所执行的处理进行说明。图25是示出同步化处理部29所执行的处理的概要的流程图，是示出同步化处理的概要的流程图。

如图25所示，首先，同步化处理部29对计数器y进行初始化(y＝0)，该计数器y表示像素在与存储在记录部24的缓冲器242中的图像数据对应的图像的较高方向(纵向)上的位置(步骤S801)，并对计数器x进行初始化(x＝0)，该计数器x表示像素在与图像数据对应的图像的宽度方向(横向)上的位置(步骤S802)。

接着，在坐标(x，y)的关注像素是G像素的情况下(步骤S803：“是”)，同步化处理部29转移到后述的步骤S808。与此相对，在坐标(x，y)的关注像素不是G像素的情况下(步骤S803：“否”)，同步化处理部29转移到后述的步骤S804。

在步骤S804中，方向判别部291执行上述的实施方式1以及上述的实施方式1的变形例2～5中的任意一个的方向判别处理。在这种情况下，如图26A～图26F所示，方向判别部291使用配置有对分辨率最有影响的滤色镜的像素例如G像素的像素值，来进行方向判别处理。另外，在进行NBI(Narrow Band Imaging：窄带成像)的情况下，使用配置有对分辨率最有影响的滤色镜的像素例如B像素，来进行方向判别处理。当然，方向判别部291也可以与上述的实施方式1以及上述的实施方式1的变形例2～5中的任意一个的方向判别处理同样，分别使用G像素的像素值、配置有R滤镜的R像素的像素值以及配置有B滤镜的B像素的像素值来进行方向判别处理。另外，由于方向判别部291所执行的方向判别处理与上述的实施方式1以及上述的实施方式1的变形例2～5中的任意一个的方向判别处理对应，在本实施方式3中，省略方向判别处理的说明。

然后，插值处理部292根据方向判别部291的判别结果，经由第二外部接口部21、第一外部接口部115以及总线113从存储在易失性存储器111中的RAW图像中获取方向判别部291所判别的dir方向上的全部像素值(步骤S805)。在这种情况下，插值处理部292将从易失性存储器111获取的dir方向上的像素值复制到变量P1～P7中而保存在缓冲器242中。

接着，插值处理部292使用保存在缓冲器242中的变量P1～P7各自的像素值来计算dir方向上的平均值(步骤S806)。另外，插值处理部292也可以不将平均值，而将变量P1～P7各自的加权平均、最频值以及中央值中的任意一个作为dir方向上的平均值来计算。

然后，插值处理部292将在步骤S806中计算出的平均值作为存储在缓冲器242中的坐标(x，y)的G分量而进行插值(步骤S807)。

接着，在坐标(x，y)的关注像素是R像素的情况下(步骤S808：“是”)，同步化处理部29转移到后述的步骤S812。与此相对，在坐标(x，y)的关注像素不是R像素的情况下(步骤S808：“否”)，同步化处理部29转移到后述的步骤S809。

在步骤S809中，插值处理部292经由第二外部接口部21、第一外部接口部115以及总线113从易失性存储器111所存储的RAW图像中获取坐标(x，y)的关注像素周边的R像素的像素值。

接着，插值处理部292对在步骤S809中获取的坐标(x，y)的关注像素周边的R像素的像素值计算加权平均(步骤S810)。在这种情况下，插值处理部292针对5×5像素内的R像素，应用越是接近坐标(x，y)的R像素越对像素值增大权重的滤镜来计算加权平均。

然后，插值处理部292将在步骤S810中计算出的加权平均作为存储在缓冲器242中的坐标(x，y)的R分量而进行插值(步骤S811)。

接着，在坐标(x，y)的关注像素是B像素的情况下(步骤S812：“是”)，同步化处理部29转移到后述的步骤S816。与此相对，在坐标(x，y)的关注像素不是B像素的情况下(步骤S812：“否”)，同步化处理部29转移到后述的步骤S813。

在步骤S813中，插值处理部292经由第二外部接口部21、第一外部接口部115以及总线113从易失性存储器111所存储的RAW图像中获取坐标(x，y)的关注像素周边的B像素的像素值。

接着，插值处理部292对在步骤S813中获取的坐标(x，y)的关注像素周边的B像素的像素值计算加权平均(步骤S814)。在这种情况下，插值处理部292针对5×5像素内的B像素，应用越是接近坐标(x，y)的B像素越对像素值增大权重的滤镜来计算加权平均。

然后，插值处理部292将在步骤S814中计算出的加权平均作为存储在缓冲器242中的坐标(x，y)的B分量而进行插值(步骤S815)。

然后，插值处理部292将计数器x递增(x＝x+1)(步骤S816)。

接着，在计数器x比与图像数据对应的图像的宽度小的情况下(步骤S817：“是”)，插值处理部292返回到步骤S803。与此相对，在计数器x不比与图像数据对应的图像的宽度小的情况下(步骤S817：“否”)，插值处理部292转移到步骤S818。

接着，插值处理部292将计数器y递增(y＝y+1)(步骤S818)。

然后，在计数器y比与图像数据对应的图像的高度小的情况下(步骤S819：“是”)，插值处理部292返回到步骤S802。与此相对，在计数器y不比与图像数据对应的图像的高度小的情况下(步骤S819：“否”)，插值处理部292结束本处理。

另外，基本图像处理部28也可以对通过下面的方法中的任一方法得到的、基于上述的同步化处理部29的方向判别结果的边缘分量，进行核化处理或增益乘法处理并与图像数据相加，从而进行基于方向判别结果的边缘强调。

(方法1)

基本图像处理部28通过从上述进行插值处理后的RGB图像中减去对RGB图像应用低通滤波后的图像，而生成基于方向判别结果的边缘分量的方法。

(方法2)

基本图像处理部28以关注像素为中心，应用能够提取多个方向的边缘的滤镜(例如微分滤镜等)而提取多个方向的边缘分量，计算与方向判别部291的方向判别结果垂直的方向的边缘分量，由此生成基于方向判别结果的边缘分量的方法。

(方法3)

基本图像处理部28以关注像素为中心，应用拉普拉斯滤镜等能够提取多个方向的边缘的滤镜而提取边缘分量，根据方向判别部291的方向判别结果，在该方向上平滑化，由此生成基于方向判别结果的边缘分量的方法。

这样，基本图像处理部28使用上述的同步化处理部29的方向判别结果和上述的方法1～方法3中的任一方法来进行基于方向判别结果的边缘强调。

根据以上说明的本发明的实施方式3，由于能够准确地对产生了RTS噪声那样的像素值在一定范围内变动的闪烁缺陷噪声的图像数据进行方向判别，因此通过将其用于插值处理(同步化处理等)和边缘的提取处理，能够进行高分辨率的图像的生成。

(实施方式4)

接下来，对本发明的实施方式4进行说明。上述的实施方式1～3对摄像装置单独设置有图像处理装置，但在本实施方式4中，在摄像装置主体上设置图像处理装置。因此，以下对与上述的实施方式1～3的摄像系统相同的结构标注相同的标号而省略说明。

(摄像系统的结构)

图27是示意性地示出本发明的实施方式4的摄像系统的结构的框图。图27所示的摄像系统2具有主体部3和能够装卸自如地与主体部3连接的镜头部4。

(主体部的结构)

主体部3具有快门103、摄像元件105、模拟处理部106、A/D转换部107、操作部108、存储器接口部109、记录介质110、易失性存储器111、非易失性存储器112、总线113、摄像控制部114、AE处理部116、AF处理部117、外部接口部118、显示部119、驱动器120、图像处理部32。驱动器120在摄像控制部114的控制下，驱动快门103。

AE处理部116经由总线113获取存储在易失性存储器111中的图像数据，根据所获取的图像数据来设定进行静态图像摄影或动态图像摄影时的曝光条件。具体而言，AE处理部116根据图像数据来计算亮度，根据计算出的亮度而确定例如光圈值、曝光时间、ISO灵敏度等，由此来进行摄像系统2的自动曝光(Auto Exposure)。

AF处理部117经由总线113获取存储在易失性存储器111中的图像数据，根据所获取的图像数据来进行摄像系统2的自动焦点调整。例如，AF处理部117从图像数据中取出高频分量的信号，对高频分量的信号进行AF(Auto Focus：自动对焦)运算处理，由此通过确定摄像系统2的合焦评价来进行摄像系统2的自动焦点调整。另外，摄像系统2的自动焦点调整方法也可以是通过摄像元件105来获取相位差信号的方法。

外部接口部118可以进行主体部3中的各种块中的数据的读写、基于专用的命令等的控制等。外部接口部118是通过连接搭载有FPGA、DSP或GPU等的专用电路、个人计算机(PC)等外部设备而能够进行主体部3中的各种块的控制的接口。

显示部119使用液晶或有机EL(Electro Luminescence：电致发光)等的显示面板构成。显示部119显示与摄像元件105所生成的图像数据对应的图像。

图像处理部32具有方向判别部22、孤立点校正部26、RTS噪声校正部27、基本图像处理部28。

(镜头部的结构)

如图27所示，镜头部4将从规定的视野区域聚光的被摄体像形成于摄像元件105。光学系统101具有光圈102和驱动器104。

(摄像系统的处理)

接下来，对摄像系统2所执行的处理进行说明。图28是示出摄像系统2所执行的处理的概要的流程图。

如图28所示，首先，当由用户对操作部108的电源按钮(未图示)进行操作而使主体部3的电源为接通时，摄像控制部114进行摄像系统2的初始化(步骤S901)。具体而言，摄像控制部114进行使表示动态图像的记录中的记录中标志为关闭状态的初始化。该记录中标志是在动态图像的摄影过程中为打开状态，在未拍摄动态图像时为关闭状态的标志，存储在易失性存储器111中。

接着，在按压操作部108的动态图像按钮的情况下(步骤S902：“是”)，摄像控制部114将以打开状态表示处于动态图像的记录中的记录中标志反转(步骤S903)，摄像控制部114对摄像系统2是否处于动态图像记录中进行判断(步骤S904)。具体而言，摄像控制部114对存储在易失性存储器111中的记录中标志是否处于打开状态进行判定。在由摄像控制部114判断为摄像系统2处于动态图像记录中的情况下(步骤S904：“是”)，摄像系统2转移到后述的步骤S905。与此相对，在由摄像控制部114判断为摄像系统2未处于动态图像记录中的情况下(步骤S904：“否”)，摄像系统2转移到后述的步骤S906。

在步骤S905中，摄像控制部114生成用于将图像数据沿时间序列记录于记录介质110的动态图像文件。在步骤S905之后，摄像系统2转移到后述的步骤S906。

在步骤S902中，在未按压操作部108的动态图像按钮的情况下(步骤S902：“否”)，摄像系统2转移到步骤S906。

接着，摄像控制部114对摄像系统2是否处于动态图像的记录中进行判断(步骤S906)。在由摄像控制部114判断为摄像系统2处于动态图像的记录中的情况下(步骤S906：“是”)，摄像系统2转移到后述的步骤S917。与此相对，在由摄像控制部114判断为未处于动态图像的记录中的情况下(步骤S906：“否”)，摄像系统2转移到后述的步骤S907。

在步骤S907中，在按压操作部108的再现按钮的情况下(步骤S907：“是”)，摄像系统2使与记录于记录介质110中的图像数据对应的图像再现显示于显示部119(步骤S908)。在步骤S908之后，摄像系统2转移到后述的步骤S909。

在步骤S907中，在未按压操作部108的再现按钮的情况下(步骤S907：“否”)，摄像系统2转移到步骤S909。

接着，在按压了操作部108的菜单按钮的情况下(步骤S909：“是”)，摄像系统2执行进行各种设定的设定处理(步骤S910)。在步骤S910之后，摄像系统2转移到后述的步骤S911。

在步骤S909中，在未按压操作部108的菜单按钮的情况下(步骤S909：“否”)，摄像系统2转移到步骤S911。

在步骤S911中，在操作部108的释放按钮从断开状态转移到第一状态的情况下(步骤S911：“是”)，摄像控制部114使AE处理部116执行调整曝光的AE处理，并使AF处理部117执行调整焦点的AF处理(步骤S912)。然后，摄像系统2转移到后述的步骤S924。

在步骤S911中，在操作部108的释放按钮未从断开状态转移到第一状态的情况下(步骤S911：“否”)，摄像系统2转移到步骤S913。

接着，在操作部108的释放按钮转移到第二状态的情况下(步骤S913：“是”)，摄像控制部114执行基于机械快门的摄影(步骤S914)。具体而言，摄像控制部114通过控制快门103使摄像元件105执行摄影。

接着，图像处理部32对摄像元件105所生成的图像数据进行方向判别，在进行RTS噪声的校正之后，执行进行规定处理的图像处理(步骤S915)。另外，图像处理的详细在后面说明。

然后，摄像控制部114将图像处理部32实施了图像处理后的图像数据记录于记录介质110中(步骤S916)。在步骤S916之后，摄像系统2转移到后述的步骤S924。

在步骤S913中，在操作部108的释放按钮未转移到第二状态的情况下(步骤S913：“否”)，摄像系统2转移到步骤S917。

接着，摄像控制部114使AE处理部116执行调整曝光的AE处理(步骤S917)，使AF处理部117执行调整焦点的AF处理(步骤S918)。

然后，摄像控制部114经由驱动器120使摄像元件105执行基于电子控制曝光时间的所谓的电子快门的摄影(步骤S919)。摄像元件105通过基于电子快门的摄影而生成的图像数据经由模拟处理部106、A/D转换部107以及总线113输出给易失性存储器111。

接着，图像处理部32执行与步骤S915同样的图像处理(步骤S920)。另外，图像处理的详细在后面说明。

然后，摄像系统2使与摄像元件105通过基于电子快门的摄影而生成的图像数据对应的实时取景图像显示于显示部119(步骤S921)。

接着，在摄像系统2处于动态图像记录中的情况下(步骤S922：“是”)，摄像控制部114使未图示的图像压缩解压缩部以通过步骤S910的设定处理而设定的记录形式压缩图像数据，并使该压缩的图像数据作为动态图像记录于在记录介质110中制成的动态图像文件中(步骤S923)。在步骤S923之后，摄像系统2转移到步骤S924。

在步骤S922中，在摄像系统2未处于动态图像记录中的情况下(步骤S922：“否”)，摄像系统2转移到步骤S924。

接着，在按压操作部108的电源按钮而使摄像系统2的电源为断开状态的情况下(步骤S924：“是”)，摄像系统2结束本处理。与此相对，在摄像系统2的电源不为断开状态的情况下(步骤S924：“否”)，摄像系统2返回到步骤S902。

(图像处理的概要)

接下来，对在图28的步骤S915和步骤S920中说明的图像处理进行说明。图29是示出图像处理的概要的流程图。

如图29所示，首先，方向判别部22对摄像元件105所生成的图像数据执行判别边缘的方向判别处理(步骤S951)。这里，由于方向判别处理与方向判别部22在上述的实施方式1以及上述的实施方式1的变形例2～5中分别执行的方向判别处理中的任意一个对应，因此省略说明。

接着，孤立点校正部26对图像数据执行使用方向判别部22所判别的判别结果来校正图像数据的孤立点的孤立点校正处理(步骤S952)。这里，由于孤立点校正处理与孤立点校正部26在上述的实施方式2中执行的孤立点校正处理对应，因此省略说明。

然后，RTS噪声校正部27对图像数据执行校正RTS噪声的RTS噪声校正处理(步骤S953)。这里，由于RTS噪声校正处理与RTS噪声校正部27在上述的实施方式2中执行的RTS噪声校正处理对应，因此省略说明。

接着，基本图像处理部28对RTS噪声校正部27校正了RTS噪声后的图像数据执行基本图像处理(步骤S954)。在步骤S954之后，摄像系统2返回到图28的主例程。

根据以上说明的本发明的实施方式4，具有与上述的实施方式1同样的效果，能够准确地对产生了RTS噪声那样的值在规定范围内随机地变动的闪烁缺陷噪声的图像数据进行边缘的方向判别。

(其他实施方式)

在本发明中，根据方向判别部的判别结果来进行校正RTS噪声的校正处理、同步化处理、将孤立点排除的孤立点校正处理等，但也可以根据方向判别部的判别结果来进行例如抑制或减轻包含于图像数据中的噪声的噪声降低(Noise Reduction：降噪)处理或进行图像的放大或缩小的尺寸调整处理等。

另外，在本发明中，RTS噪声信息记录部、随机噪声模型信息记录部、孤立点位置信息记录部设置于摄像装置内，但也可以设置于上述的图像处理装置内，也可以在经由网络而能够双向进行通信的服务器内设置RTS噪声信息记录部、随机噪声模型信息记录部、孤立点位置信息记录部，从而经由网络获取RTS噪声信息、随机噪声模型信息、孤立点位置信息。另外，在摄像元件可装卸的情况下，也可以在包含摄像元件在内的可装卸的装置中设置RTS噪声信息记录部、随机噪声模型信息记录部、孤立点位置信息记录部。

本发明并不限定于上述的实施方式，当然可以在本发明的主旨的范围内进行各种变形和应用。例如，除了在本发明的说明中使用的摄像装置以外，也能够应用于手机或智能手机中的具有摄像元件的便携设备、摄像机、内窥镜、监视照相机、显微镜那样的通过光学设备来拍摄被摄体的摄像装置等能够拍摄被摄体的任何设备。

另外，即使是用于显示或记录的图像数据以外的图像数据，例如OB区域的图像数据或光学上未被设计保证的像圈外的区域的图像数据等图像数据，也能够应用本发明。

另外，在本说明书中，在上述的各动作流程图的说明中，为了方便，使用“首先”、“接下来”、“接着”、“然后”等对动作进行说明，但并不意味着必须按该顺序实施动作。

另外，上述的实施方式中的图像处理装置的各处理的方法即各流程图所示的处理也可以事先作为能够由CPU等控制部执行的程序而存储。此外，可以保存在存储卡(ROM卡、RAM卡等)、磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等的外部存储装置的存储介质中而进行分发。而且，CPU等控制部读取存储在该外部存储装置的存储介质中的程序，并通过该读取的程序来控制动作，从而能够执行上述的处理。

另外，本发明并不限定于上述实施方式及其变形例本身，可以在实施阶段中在不脱离其主旨的范围内对构成要素进行变形来具体化。另外，通过对上述实施方式所公开的多个构成要素进行适当组合，可以形成各种发明。例如，可以从上述实施方式和变形例所记载的所有构成要素中删除几个构成要素。并且，可以对在各实施方式和变形例中说明的构成要素进行适当组合。

另外，在说明书或附图中，至少一次与更广义或同义的不同术语一起被记载的术语在说明书或附图的任何位置都能置换为该不同的术语。这样，可以在不脱离发明主旨的范围内进行各种变形和应用。

标号说明

1、1a、1b、2：摄像系统；3：主体部；4：镜头部；10：摄像装置；20、20a、20b：图像处理装置；21：第二外部接口部；22、261、274a、291：方向判别部；23、23a、23b、32：图像处理部；24：记录部；25、113：总线；26：孤立点校正部；27：RTS噪声校正部；28：基本图像处理部；29：同步化处理部；30：显示装置；101：光学系统；102：光圈；103：快门；104、120：驱动器；105、105i：摄像元件；106：模拟处理部；107：A/D转换部；108：操作部；109：存储器接口部；110：记录介质；111：易失性存储器；112：非易失性存储器；112a、241：程序记录部；112b：RTS噪声信息记录部；112c：随机噪声模型信息记录部；114：摄像控制部；115：第一外部接口部；116：AE处理部；117：AF处理部；118：外部接口部；119：显示部；221：相关值计算部；222：方向确定部；242：缓冲器；262：校正部；271：RTS噪声像素判定部；272：候选值计算部；273：随机噪声量估计部；274：代表值计算部；274b：代表值确定部；275：校正值计算部；292：插值处理部。

Claims (12)

1.一种图像处理装置，所述图像处理装置对摄像元件所生成的包含闪烁缺陷噪声的图像数据进行图像处理，该摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，其特征在于，该图像处理装置具有：

获取部，其获取包含如下像素的位置信息在内的噪声信息，该像素有可能产生起因于所述读出电路的闪烁缺陷噪声；

方向判别部，其根据所述获取部所获取的噪声信息和与所述图像数据对应的图像中的关注像素周边的周边像素的像素值，来判别与所述关注像素的像素值的相关度最高的像素值持续的方向；以及

图像处理部，其根据所述方向判别部的判别结果对所述图像数据进行图像处理，

所述噪声信息包含将所述位置信息和与起因于所述读出电路的所述闪烁缺陷噪声相关的特征量对应起来而得的信息，

所述方向判别部使用所述关注像素的像素值、对所述关注像素的像素值加上所述特征量后的值以及从所述关注像素的像素值减去所述特征量后的值中的任意一个值来判别所述方向。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述方向判别部在对所述图像判别所述关注像素处的各方向的相关度的情况下，根据所述关注像素或所述周边像素来确定基准像素，在有可能在该基准像素中产生所述闪烁缺陷噪声时，使用所述特征量来校正所述基准像素以外的像素的像素值而判别所述方向。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述特征量是所述闪烁缺陷噪声的噪声电平和根据所述噪声电平而计算出的值中的任意值。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述方向判别部根据所述位置信息，将有可能产生所述闪烁缺陷噪声的像素排除而判别所述方向。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理部进行如下图像处理：以使所述方向判别部所判别出的所述方向上的像素的像素值的相关度变高的方式，去除所述关注像素的像素值中的噪声。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理部进行如下图像处理：以使所述方向判别部所判别出的所述方向上的像素的像素值的相关度变高的方式，去除所述关注像素的像素值中的所述闪烁缺陷噪声。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述噪声信息还包含所述摄像元件中的孤立点的孤立点位置信息，

所述图像处理部进行如下图像处理：根据所述孤立点位置信息，将所述方向上的所述孤立点排除来去除所述闪烁缺陷噪声。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述图像处理部使用所述方向判别部所判别出的所述方向上的像素的像素值来校正所述孤立点的像素值。

9.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理部进行如下图像处理：将所述方向判别部所判别出的所述方向估计为边缘，对所述关注像素的像素值进行插值。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述图像处理部根据所述方向判别部的判别结果而进行所述图像数据的同步化处理。

11.一种图像处理方法，所述图像处理方法是由对摄像元件所生成的包含闪烁缺陷噪声的图像数据进行图像处理的图像处理装置所执行的，该摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，其特征在于，该图像处理方法包含如下步骤：

获取步骤，获取包含如下像素的位置信息在内的噪声信息，该像素有可能产生起因于所述读出电路的闪烁缺陷噪声；

方向判别步骤，根据在所述获取步骤中获取的噪声信息和与所述图像数据对应的图像中的关注像素周边的周边像素的像素值来判别与所述关注像素的像素值的相关度最高的像素值持续的方向；以及

图像处理步骤，根据所述方向判别步骤的判别结果对所述图像数据进行图像处理，

所述噪声信息包含将所述位置信息和与起因于所述读出电路的所述闪烁缺陷噪声相关的特征量对应起来而得的信息，

所述方向判别步骤使用所述关注像素的像素值、对所述关注像素的像素值加上所述特征量后的值以及从所述关注像素的像素值减去所述特征量后的值中的任意一个值来判别所述方向。

12.一种记录有程序的记录介质，其特征在于，该程序使如下图像处理装置执行获取步骤、方向判别步骤、图像处理步骤，该图像处理装置对摄像元件所生成的包含闪烁缺陷噪声的图像数据进行图像处理，该摄像元件具有：多个像素，它们配置为二维状，从外部接收光而生成与受光量对应的信号；以及多个读出电路，它们将所述信号作为像素值而读出，

在获取步骤中，获取包含如下像素的位置信息在内的噪声信息，该像素有可能产生起因于所述读出电路的闪烁缺陷噪声；

在方向判别步骤中，根据在所述获取步骤中获取的噪声信息和与所述图像数据对应的图像中的关注像素周边的周边像素的像素值，来判别与所述关注像素的像素值的相关度最高的像素值持续的方向；以及

在图像处理步骤中，根据所述方向判别步骤的判别结果对所述图像数据进行图像处理，

所述噪声信息包含将所述位置信息和与起因于所述读出电路的所述闪烁缺陷噪声相关的特征量对应起来而得的信息，

所述方向判别步骤使用所述关注像素的像素值、对所述关注像素的像素值加上所述特征量后的值以及从所述关注像素的像素值减去所述特征量后的值中的任意一个值来判别所述方向。

Images