CN102595045B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供了图像处理装置及图像处理方法，该图像处理装置能够抑制在基于包括图像端部的参照像素区域确定的输出图像区域中的图像质量劣化。该图像处理装置包括系数选择值生成部，该系数选择值生成部根据从区域信息控制部提供的滤波器系数切换控制信号生成系数选择值。根据系数选择值，从系数表中分别输出滤波器系数组。选择部根据从系数组选择单元提供的系数组选择值来选择滤波器系数组中的一个。图像处理部使用构成所选择的滤波器系数组的滤波器系数，来以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及用于以各关注像素为基础，同时参照周围像素，来对图像数据执行运算处理的图像处理装置及方法。

背景技术

传统上已知这样的图像处理，其中，通过使用FIR型数字滤波器等，以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理。图19示出了用于执行五抽头滤波处理的图像处理的梗概。

参照图19，输入图像数据INDAT由像素D1到D14构成。在图像端部1601和1602外的位置处，没有像素(以下称为无效像素)。标号1603、1604表示位于图像左端部1601左侧外的无效像素。标号1605、1606表示位于图像右端部1602右侧外的无效像素。

在执行五抽头滤波处理之前，通过执行图像复制1607以将输入图像数据INDAT的像素D1复制到无效像素1603、1604的位置处，并且通过执行图像复制1608以将输入图像数据INDAT的像素D14复制到无效像素1605、1606的位置处，来获得图像数据CPDAT。

接下来，基于图像数据CPDAT，对输入图像数据INDAT的各关注像素执行五抽头滤波处理。更具体地说，基于关注像素D1和周围像素(即，两个复制的像素D1以及像素D2和D3)执行针对关注像素D1的五抽头滤波处理1611，以获得输出图像数据OUTDAT的像素O1，并且基于关注像素D2和周围像素(即，复制的像素D1和像素D1、D3和D4)执行针对关注像素D2的五抽头滤波处理，以获得输出图像数据OUTDAT的像素O2。此外，执行针对各个关注像素D3到D14的五抽头滤波处理，以获得输出图像数据OUTDAT的像素O3到O14中的每一个。标号1619表示针对关注像素D9的五抽头滤波处理。

图20以框图示出了常规图像处理装置的示例构造。

如图20所示，图像处理装置包括像素复制单元201、图像处理部202以及区域信息控制部203，像素复制单元201复制图像端部像素，图像处理部202执行诸如滤波处理的图像处理，区域信息控制部203控制图像区域位置信息。根据从区域信息控制部203提供的图像左端复制区域信息COPYLWIN和图像右端复制区域信息COPYRWIN，像素复制单元201将输入图像数据INDAT的图像端部像素复制到输入图像数据INDAT的无效像素的位置处，由此生成图像数据CPDAT。图像处理部202对从像素复制单元201提供的图像数据CPDAT执行滤波处理，并且根据从区域信息控制部203提供的输出图像区域信息OUTWIN，基于经滤波处理的图像数据CPDAT而生成输出图像数据OUTDAT。

图21示出了图20的图像处理装置中输入信号和输出信号的时序图。在所示的示例中，时钟信号从1开始连续编号，依次称为时钟1、2、3等。

参照图21，图像处理装置的像素复制单元201在时钟4到17依次输入所述输入图像数据INDAT的像素D1到Dn(＝D14)(部分省略了这些像素的例示)，在时钟4和5输入图像左端复制区域信息COPYLWIN，并且在时钟5和6复制像素D1。像素复制单元201在时钟20和21输入图像右端复制区域信息COPYRWIN，并且在时钟21和22复制像素Dn。在时钟5到22，像素复制单元201依次输出图像数据CPDAT的像素D1、D1、D1、D2到Dn、Dn以及Dn。

图像处理部202输入图像数据CPDAT和输出图像区域信息OUTWIN，并且在时钟9到22依次输出所述输出图像数据OUTDAT的像素O1到On(＝O14)。

在日本特开平第08-138045号公报中，提出了与上述类似的FIR滤波处理。

根据上述常规图像处理并且根据在日本特开平第08-138045号公报中公开的滤波处理，在参照周围像素的同时执行图像处理的情况下，复制了图像端部处的像素，以防止输出图像的图像端部部分具有未定义的值。然而，有这样的担心，即，由于在图像端部处执行了与在其它图像区域处执行的图像处理相同的图像处理，所以图像端部附近的图像质量会劣化。

还提出了这样的滤波处理，其中，使用去块(deblocking)滤波器来消除所生成的图像因相邻块的像素值的差异而具有块状外观的问题(ITU-T H.264书面标准)。然而，对于该提出的滤波处理，有这样的担心，即，由于在对输入图像数据的图像端部处执行的图像处理中未考虑有效图像区域，所以输出图像的图像端部附近的图像质量会劣化。

发明内容

本发明提供了一种图像处理装置及图像处理方法，该图像处理装置及图像处理方法能够抑制在基于包括图像端部的参照像素区域确定的输出图像区域中的图像质量劣化。

根据本发明的一个方面，提供了一种具有图像处理单元的图像处理装置，该图像处理单元以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理，该图像处理装置包括：区域信息控制单元，其被配置为控制图像区域信息；系数选择值生成单元，其被配置为基于从所述区域信息控制单元提供的所述图像区域信息生成系数选择值；具有系数表的表单元，该表单元被配置为根据由所述系数选择值生成单元生成的系数选择值来输出相互不同的系数组；系数组选择单元，其被配置为生成系数组选择值；以及表选择单元，其被配置为根据由所述系数组选择单元生成的系数组选择值来选择所述系数表中的一个，其中，所述图像处理单元通过使用构成从由所述表选择单元选择的系数表输出的系数组的系数，来对所述图像数据执行运算处理。

根据本发明，基于通过考虑有效像素而确定的参照像素，即使在图像端部附近，也能够合适地执行图像处理，从而能够将在基于包括图像端部的参照像素区域而确定的输出图像区域中的图像质量劣化抑制到最小。

根据参照附图对示例性实施方式的以下描述，本发明的进一步的特征将变得清楚。

附图说明

图1是示出根据本发明第一实施方式的图像处理装置的示例构造的框图；

图2是示出安装有图1所示的图像处理装置的图像拍摄装置的示例构造的框图；

图3是示出图像处理装置的图像处理部的内部构造的图；

图4是示出图像处理装置的第一系数表的内部构造的图；

图5A到5C是示出第一到第三系数表的设置内容的示例的图；

图6A和6B是图像处理装置中的输入信号和输出信号的时序图；

图7是示出图像处理装置的系数组选择单元的内部构造的图；

图8A到8E是示出由系数组选择单元的系数组决定单元所参照以确定系数组选择值的示例表的图；

图9是示出根据第一系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程的流程图；

图10是示出根据第一系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程的流程图；

图11A是示出由第一系数计算方法计算出的滤波器系数的示例的表；

图11B是示出由第二系数计算方法计算出的滤波器系数的示例的表；

图12是示出根据第二系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程的流程图；

图13是示出根据第二系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程的流程图；

图14是示出根据本发明第二实施方式的图像处理装置的示例构造的框图；

图15是集中示出图14中所示的滤波器选择表单元的第一到第三滤波器选择表的内容示例的图；

图16A到16D是图14所示的图像处理装置中的输入信号和输出信号的时序图；

图17是示出图14所示的图像处理装置的滤波器选择值控制部的内部构造的图；

图18A到18E是示出由滤波器选择值控制部的滤波器选择值决定单元参照以确定滤波器选择值控制信号的示例表的图；

图19是示出执行五抽头滤波处理的图像处理的概况的图；

图20示出常规图像处理装置的示例构造的框图；以及

图21是图20的图像处理装置中的输入信号和输出信号的时序图。

具体实施方式

下面将参照示出本发明优选实施方式的附图，来详细描述本发明。

(第一实施方式)

图2以框图示出安装有根据本发明第一实施方式的图像处理装置的图像拍摄装置的示例构造。稍后参照图1描述图像处理装置的细节。

如图2所示，图像拍摄装置4100包括具有对焦镜头的拍摄镜头4103、具有光圈功能的快门4101以及由例如将光信号转换为电信号的CCD或CMOS器件实现的图像拾取器件422。

标号4102表示对包括拍摄镜头4103、快门4101以及图像拾取器件422的图像拾取系统进行遮盖、由此防止图像拾取系统的脏污和损坏的屏罩。标号423表示将从图像拾取器件422输出的模拟信号转换为数字信号的A/D转换器。

标号424表示图像拍摄装置4100的图像处理部。图像处理部424由图1中所示的图像处理装置实现，并且对从A/D转换器423或从存储器控制部415提供的数据执行色彩转换处理和尺寸调整处理(如像素插入和减少)。图像处理部424对诸如拍摄图像的输入图像数据执行图像处理(其内容是根据拍摄条件、图像特征等确定的)，由此生成用于输出的记录图像数据。

基于由图像处理部424对拾取图像数据执行的计算的结果，系统控制部450执行针对TTL-AF(通过镜头自动对焦)处理、AE(自动曝光)处理、EF(电子闪光灯)处理以及TTL-AWB(通过镜头自动白平衡)处理的曝光控制和测距控制。

A/D转换器423的输出数据经由图像处理部424和存储器控制部415或者经由存储器控制部415被写入存储器432。存储器432存储由图像拾取器件422获得且由A/D转换器423转换为数字数据的图像数据。存储器432还用作存储要在显示单元428上显示的图像数据的视频存储器，并且具有足以存储希望数量的静态图像和/或预定时长的运动图像和/或预定时长的音频数据的存储容量。

标号413表示将存储在存储器432中的图像显示数据转换为模拟信号并将该模拟信号提供给显示单元428的D/A转换器。基于从D/A转换器413提供的模拟信号，在显示单元428的显示器件(如LCD)上进行显示。

非易失性存储器456由存储供系统控制部450使用以进行操作的常量、程序等的电可擦除可记录存储器(例如，EEPROM)实现。

系统控制部450控制整个图像拍摄装置4100，并且执行非易失性存储器456中存储的程序，以执行(后面描述的)系数计算处理。标号452表示由例如RAM实现的系统存储器，该系统存储器用来存储例如供系统控制部450使用以进行操作的常量和变量和展开例如从非易失性存储器456读取的程序。系统控制部450通过控制存储器432、D/A转换器413、显示单元428等，来执行显示控制。

加速度传感器482检测施加到图像拍摄装置4100的加速度。加速度检测信息可以用于系数计算处理。

模式切换开关460、第一快门开关462、第二快门开关464以及操作单元470用来向系统控制部450输入操作指令。

模式切换开关460可由用户操作，以给出在静态图像记录模式、运动图像记录模式、再现模式等之间改变系统控制部450的操作模式的指令。当图像拍摄装置4100的快门按钮(未示出)被半按下以给出拍摄预备指令时，第一快门开关462接通，以向系统控制部450输出第一快门开关信号SW1。响应于第一快门开关信号SW1，系统控制部450开始AF处理、AE处理、AWB处理、EF处理等。

当快门按钮被全按下以给出拍摄指令时，第二快门开关464接通，以向系统控制部450输出第二快门开关信号SW2。响应于第二快门开关信号SW2，系统控制部450开始包括从图像拾取器件422读取信号到向记录介质4200写入图像数据的一系列拍摄处理。

操作单元470用作多个功能按钮，这些功能按钮中的每一个指配适合于用户选择性地操作在显示单元428上显示的功能图标中的一对应功能图标时的场景的功能。这些功能按钮包括结束按钮、返回按钮、图像偏移按钮、跳过按钮、光圈减小按钮、属性改变按钮等。当菜单按钮被按压时，在显示单元428上显示用于各种设置的菜单画面。用户能够通过使用显示单元428上显示的菜单画面以及未示出的四方向按钮和设置按钮，来直观地执行设置。

标号480表示电源控制部，该电源控制部包括电池检测电路、DC-DC转换器、用于选择图像拍摄装置的被供应电力的模块的开关电路等，并且检测电池安装/拆离、电池类型以及电池剩余电量。根据检测结果和系统控制部450的指令，电源控制部480控制DC-DC转换器(未示出)，以向图像拍摄装置4100的各个部分提供希望的电压达希望的时间段。

标号430表示电源单元，该电源单元由主电池(如碱性电池或锂电池)或辅电池(如NiCd电池、NiMH电池或Li电池)或AC适配器实现。标号418表示与记录介质4200的接口。记录介质4200是由例如半导体存储器或磁盘实现的存储卡等。

图1以框图示出了构成图2中所示的图像拍摄装置4100的图像处理部424的图像处理装置的示例构造。

在图1中，标号101表示图像处理部，该图像处理部根据输入图像数据INDAT生成输出图像数据OUTDAT，并且输出所生成的数据OUTDAT。标号102表示对图像区域信息进行控制的区域信息控制部。区域信息控制部102向图像处理部101输出图像输出区域控制信号OUTWIN，并且向系数选择值生成部103输出滤波器系数切换控制信号KWIN。具体地说，图像区域信息包括控制信号OUTWIN和KWIN。

系数选择值生成部103根据从区域信息控制部102提供的控制信号KWIN生成系数选择值KSEL。系数表单元106具有第一到第M系数表106A到106M，并且根据系数选择值KSEL输出第一到第M滤波器系数组KSET1到KSETM。

系数组选择单元105生成系数组选择值KSETSEL，并且将所生成的值KSETSEL输出给选择部104，该选择部104由例如MUX实现。选择部104根据从系数组选择单元105输入的系数组选择值KSETSEL选择(从系数表单元106输入的)第一到第M滤波器系数组KSET1到KSETM中的一个，并且将构成所选择的滤波器系数组的滤波器系数K1到KN输出给图像处理部101。

图3示出了图像处理部101的内部构造。

图像处理部101由例如FIR滤波器实现，并且包括D触发器(flip-flop)(以下称为D-FF)501到507、乘法器508到513以及加法器514，其中D-FF 501到507是用于与内部时钟同步地保存并移位输入图像数据INDAT的像素值的延迟部件，乘法器508到513分别将D-FF 501到507的输出乘以滤波器系数KN到K1，加法器514将乘法器508到513的输出相加起来，并输出相加的结果作为输出图像数据OUTDAT。

图4示出了第一系数表106A的内部构造。

第一系数表106A包括分别用于根据从系数选择值生成部103提供的系数选择值KSEL输出滤波器系数K1到KN的K1表107A到KN表107N，并且输出包括滤波器系数K1到KN的第一滤波器系数组KSET1。第二到第M系数表106B到106M分别具有与第一系数表106A相同的构造，并且分别根据系数选择值KSEL输出第二到第M滤波器系数组KSET2到KSETM(每一个都包括系数K1到KN)。

图5A到5C示出了第一到第三系数表106A到106C的设置内容的示例。

如图5A所示，第一系数表106A具有分别与8个系数选择值KSEL(0到7)中的一个相对应的8行。第一系数表106A的各行具有KSEL字段、KSET名字段、抽头数字段、以及K1到K7字段，其中KSEL字段设有与8个系数选择值KSEL中的一个对应的值(例如，0)，KSET名字段设有滤波器系数组KSET1的名称(例如，K1tap)，抽头数字段设有抽头数(例如，1)，K1到K7字段分别设有构成滤波器系数组KSET1的滤波器系数K1到K7的值(例如，0、0、0、1、0、0、0)。

如同第一系数表106A，第二系数表106B和第三系数表106C各自都具有8行，每行都具有KSEL字段、KSET名字段、抽头数字段以及K1到K7字段。第二系数表106B涉及第二系数组KSET2，第三系数表106C涉及第三系数组KSET3。

图6A和6B是图1所示的图像处理装置中的输入信号和输出信号的时序图。

图像处理装置根据同步时钟信号CLK逐像素地执行图像处理。在所示的示例中，时钟信号CLK从1开始连续编号，依次称为时钟1、2、3等。

图像处理装置根据时钟信号CLK一个像素接一个像素地输入输入图像数据INDAT。在时钟1到3处，并且在时钟18处和之后，没有向图像处理装置输入输入图像数据INDAT的有效像素值(如由未定义的值X所示)。在时钟4到17处，依次向图像处理装置输入输入图像数据INDAT的有效像素值D1到Dn(它们的例示被部分省略了)。符号D1表示图像左端的像素值，Dn(＝D14)表示图像右端的像素值。

根据在与输入图像数据INDAT的有效像素区域对应的时间段内为H(高)电平的输出图像区域控制信号OUTWIN，来控制输出图像数据OUTDAT的输出图像区域。通过基于控制信号OUTWIN的H电平时间段设置输出图像区域，能够合适地将输出图像区域控制为对应于输入图像数据INDAT的有效像素区域。

在控制信号OUTWIN的H电平时间段期间，在时钟7到20依次输出输出图像数据OUTDAT的像素值O1到On。符号O1表示输出图像左端的像素值，符号On(＝O14)表示输出图像右端的像素值。

基于从系数选择值生成部103输出的滤波器系数切换控制信号KWIN，来控制系数选择值KSEL。在本实施方式中，系数选择值KSEL可以从初始值0变化到最大值7，并且在控制信号KWIN处于H电平的时钟的下一时钟处递增一。具体地说，系数选择值KSEL在时钟1到6为初始值0，接着在时钟7到10中的各时钟处递增一，从而从值1变到值4，接着在时钟11到17保持在值4。随后，系数选择值KSEL在时钟18到20中的各时钟处递增一，从而从值5变到值7，接着在时钟21返回为初始值0。

根据系数选择值KSEL，从图5A到5C所示的第一到第三系数表106A到106C分别输出了第一到第三系数组KSET1到KSET3。

下面描述第一系数组KSET1。在时钟1到7处，系数选择值KSEL具有值0或1，因此，输出对应于KSET名K1tap的系数组KSET1。在时钟8到19处，系数选择值KSEL具有值2到6中的一个对应值，因此，输出对应于KSET名K3tap的系数组KSET1。在时钟20处或之后，系数选择值KSEL具有值7或0，因此，输出对应于KSET名K1tap的系数组KSET1。

接下来，描述第二系数组KSET2。在时钟1到7处，输出对应于KSET名K1tap的系数组KSET2。在时钟8处，输出对应于KSET名K3tap的系数组KSET2。在时钟9到18处，输出对应于KSET名K5tap的系数组KSET2。在时钟19处，输出对应于KSET名K3tap的系数组KSET2。在时钟20处和之后，输出对应于KSET名K1tap的系数组KSET2。

接下来，描述第三系数组KSET3。在时钟1到6处，输出对应于KSET名K1tap的系数组KSET3。在时钟7到9处，输出对应于KSET名K3tap1、K4tap1或K5tap1的系数组KSET3。在时钟10到17处，输出对应于KSET名K7tap的系数组KSET3。在时钟18到20处，输出对应于KSET名K5tap、K4tap2或K3tap2的系数组KSET3。在时钟21处和之后，输出对应于KSET名K1tap的系数组KSET3。

选择部104在系数组选择值KSETSEL具有值1时选择第一滤波器系数组KSET1，在系数组选择值KSETSEL具有值2时选择第二滤波器系数组KSET2，而在系数组选择值KSETSEL具有值3时选择第三滤波器系数组KSET3。选择部104将所选择的滤波器系数组KSET1、KSET2或KSET3作为滤波器系数组KSET输出。

图7示出了图1中所示的系数组选择单元105的内部构造。

在图7中，标号902表示噪声级别检测单元，该噪声级别检测单元检测来自输入图像数据INDAT的噪声级别(S/N比)，并将该噪声级别输出。标号903表示图像特征提取单元，该图像特征提取单元从输入图像数据INDAT提取图像特征如边缘(特别是边缘方向)或实心图像(其是具有大于例如90％的图像面积比的图像)，并且输出所提取的图像特征。标号904表示频率特征单元，该频率特征单元检测输入图像数据INDAT的频率特征，并且输出表示频带的信息。

标号905表示垂直位置确定单元，该垂直位置确定单元基于垂直图像区域控制信号VWIN确定表示距垂直图像端部的距离的距离信息，并输出该距离信息。这里假定由垂直位置确定单元905执行水平图像处理。在执行垂直图像处理的情况下，作为垂直位置确定单元905的替换选择的水平位置确定单元(未示出)基于水平图像区域控制信号(未示出)确定表示距水平图像端部的距离的距离信息，并输出该距离信息。

标号906表示系数组决定单元，该系数组决定单元基于在图像数据中指示的拍摄条件、从图像数据检测出的噪声级别、从图像数据提取的图像特征、从图像数据检测出的频带以及表示关注像素与图像端部之间的距离的距离信息，确定用于输出的系数组选择值KSETSEL。

图8A到8E示出了由系数组决定单元906所参照以确定系数组选择值KSETSEL的示例表。

图8A示出了表示拍摄条件(在本示例中为ISO感光度)与第一系数组选择值KSETSELa之间的关系的表。在所示的示例中，当ISO感光度具有小于400的值时，第一系数组选择值KSETSELa被设置为值KSETSEL1；当ISO感光度具有等于或大于400但小于1600的值时，第一系数组选择值KSETSELa被设置为值KSETSEL2；当ISO感光度具有等于或大于1600的值时，第一系数组选择值KSETSELa被设置为值KSETSEL3。值KSETSEL1小于值KSETSEL2，值KSETSEL2小于值KSETSEL3。拍摄条件不限于ISO感光度，而可以例如是根据快门速度确定的TV值。

图8B示出了表示噪声级别(在本示例中为S/N比)与第二系数组选择值KSETSELb之间的关系的表。S/N比是表示信号电平相对于噪声电平的大小的值。当S/N比等于或高于30dB时，第二系数组选择值KSETSELb被设置为值KSETSEL1；当S/N比等于或高于10dB但低于30dB时，第二系数组选择值KSETSELb被设置为值KSETSEL2；当S/N比低于10dB时，第二系数组选择值KSETSELb被设置为值KSETSEL3。

图8C示出了表示图像特征与第三系数组选择值KSETSELc之间的关系的表。当图像特征对应于垂直边缘图像时，第三系数组选择值KSETSELc被设置为值KSETSEL1；当图像特征对应于倾斜边缘图像时，第三系数组选择值KSETSELc被设置为值KSETSEL2；当图像特征对应于水平边缘图像或实心图像时，第三系数组选择值KSETSELc被设置为值KSETSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，分别将值KSETSEL1、KSETSEL2以及KSETSEL3用于水平边缘图像、倾斜边缘图像以及垂直边缘图像。

图8D示出了表示频率特征(在本示例中为图像频带)与第四系数组选择值KSETSELd之间的关系的表。对于高频带图像，第四系数组选择值KSETSELd被设置为值KSETSEL1；对于中频带图像，第四系数组选择值KSETSELd被设置为值KSETSEL2；对于低频带图像，第四系数组选择值KSETSELd被设置为值KSETSEL3。

图8E示出了表示关注像素(它是图像处理对象)距离图像端部的位置与第五系数组选择值KSETSELe之间的关系的表。当关注像素与图像端部(在本示例中为上端部或下端部)相距四个像素或更多像素时，第五系数组选择值KSETSELe被设置为值KSETSEL1；当关注像素与图像端部相距两个像素或三个像素时，第五系数组选择值KSETSELe被设置为值KSETSEL2；当关注像素位于图像端部处时，第五系数组选择值KSETSELe被设置为值KSETSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，随着关注像素位置与图像左端部或右端部之间的距离的减小，依次使用值KSETSEL1、KSETSEL2以及KSETSEL3。

系数组决定单元906从基于图8A到8E所示的表所决定的第一到第五系数组选择值KSETSELa到KSETSELe中确定系数组选择值KSETSEL。例如，可以将第一到第五系数组选择值KSETSELa到KSETSELe中的最大值确定为系数组选择值KSETSEL。

下面，描述如何计算滤波器系数K1到KN。

图9以流程图示出了根据第一系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程。在下面的描述中，假定由图像处理装置的CPU执行滤波器系数计算处理，但这不是限制性的。

在本示例中，假定预先确定了针对图像中央区域(例如，在图11A中由标号1706所示且位于从图像左端数第6个像素与从图像右端数第6个像素之间的区域)的滤波器系数K1到KN。根据相对于图像端部的关注像素位置，来计算针对图像端侧的图像数据的滤波器系数，这些滤波器系数在为计算与关注像素对应的输出图像像素而参照的周围像素中包括无效像素时使用。

更具体地说，基于针对图像中央区域的滤波器系数K1到KN，首先根据下述滤波器系数计算处理过程，来计算在关注像素位于使抽头处理对象像素(即，要经受抽头处理的像素)中的仅最左侧像素是无效像素的位置处时使用的滤波器系数K1到KN。接下来，基于恰在前面计算出的滤波器系数K1到KN(即，针对参照像素区域中包括的无效像素比在针对当前滤波器系数计算的参照像素区域中包括的无效像素在个数上少一个的关注像素位置计算的滤波器系数K1到KN)，以同样的过程计算在关注像素位于使抽头处理对象像素中仅最左侧像素及其相邻的内侧像素是无效像素的位置处时使用的滤波器系数K1到KN。重复这样的滤波器系数计算，直到计算出在关注像素位于使抽头处理对象像素中在关注像素左侧的所有像素都是无效像素的位置时使用的滤波器系数K1到KN。

以上也适用于根据第一系数计算方法计算针对图像右端的图像数据的滤波器系数的处理、根据第二系数计算方法计算针对图像左端的图像数据的滤波器系数的处理以及根据第二系数计算方法计算针对图像右端的图像数据的滤波器系数的处理，后面将分别参照图10、12以及13来描述这些处理。

在各关注像素位置处执行的滤波器系数计算处理中，图像处理装置的CPU将输入像素位置索引i初始化为对应于第一抽头的值1(步骤S102)，并且确定输入像素IDATi是否是无效像素(步骤S103)。如果确定输入像素IDATi不是无效像素，则本处理结束。另一方面，如果确定输入像素IDATi是无效像素，则处理进行到步骤S104，在步骤S104，CPU从滤波器系数Ki减去针对无效像素的系数值K0，由此计算值Ki-K0，并且将所计算出的值Ki-K0加到针对输入像素INDATi的右侧相邻像素的滤波器系数K(i+1)，由此计算出新的滤波器系数K(i+1)。

接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki(步骤S105)，将像素位置索引i递增一(步骤S106)，并且确定像素位置索引i是否等于值(N+1)/2(步骤S107)，其中，N表示抽头数，值(N+1)/2对应于抽头处理对象像素中的中央像素的位置。

如果在步骤S107确定像素位置索引i等于值(N+1)/2，则本处理结束。如果确定像素位置索引i不等于值(N+1)/2，则本处理返回到步骤S103。

图10以流程图示出了根据第一系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程。

图像处理装置的CPU将像素位置索引i初始化为值N(步骤S202)，并且确定输入像素IDATi是否是无效像素(步骤S203)。如果确定输入像素IDATi不是无效像素，则本处理结束。如果确定输入像素IDATi是无效像素，则处理进行到步骤S204，在步骤S204，CPU从滤波器系数Ki减去针对无效像素的系数值K0，由此计算值Ki-K0，并且将所计算出的值Ki-K0加到针对输入像素INDATi的左侧相邻像素的滤波器系数K(i-1)，由此计算出新的滤波器系数K(i-1)。

接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki(步骤S205)，将像素位置索引i递减一(步骤S206)，并且确定像素位置索引i是否等于值(N+1)/2(步骤S207)，其中，N表示抽头数。如果在步骤S207确定像素位置索引i等于值(N+1)/2，则本处理结束。如果确定像素位置索引i不等于值(N+1)/2，则本处理返回到步骤S203。

图11A是示出由第一系数计算方法计算出的滤波器系数的示例的表。

在图11A中，对应于从图像左端变化到图像右端的关注像素位置，示出了用于在11抽头滤波处理中使用的滤波器系数K1到K11的值。各个叉记号表示输入到对应抽头的像素是无效像素，各个圈记号表示输入到对应抽头的像素是有效像素，各个双圈记号表示输入到第六个抽头的像素是关注像素并且是有效像素。图11A中所示的各个滤波器系数K1到K11的值是其实际值的66倍大。

表的第一行(由1701指示)对应于关注像素处于图像左端的情况。由1702到1705指示的第二到第五行分别对应于关注像素是从图像左端数的第二到第五个像素中的一个的情况。由1706指示的第六行对应于关注像素是从图像左端数的第六个像素到从图像右端数的第六个像素中的一个的情况。

由1711指示的底部行对应于关注像素处于图像右端的情况。由1710到1707指示的倒数第二到第五行分别对应于关注像素是从图像右端数的第二到第五像素中的一个的情况。

接下来，描述在无效像素相对于关注像素出现在图像左端侧的情况下，以图9中的计算处理计算滤波器系数。

在图11A所示的表的第五行(由1705指示)中，输入到第一抽头的像素是无效像素。将第五行中的滤波器系数K1的值计算为0。通过将在由1706指示的第六行中的滤波器系数K1的值1和滤波器系数K2的值2加到一起，将第五行中的滤波器系数K2的值计算为3。

在由1704指示的第四行中，输入到第二抽头的像素是无效像素。将第四行中的滤波器系数K2的值计算为0。通过在由1705指示的第五行中的将滤波器系数K2的值3和滤波器系数K3的值4加到一起，将第四行中的滤波器系数K3的值计算为7。第五行对应于参照像素区域中包括的无效像素比第四行中的参照像素区域中包括的无效像素在个数上少一个的关注像素位置。

类似地，将由1703指示的第三行中的滤波器系数K4的值计算为13，将由1702指示的第二行中的滤波器系数K5的值计算为23，将由1701指示的第一行中的滤波器系数K6的值计算为43。

另一方面，在无效像素相对于关注像素出现在图像右端侧的情况下，以图10的计算处理计算滤波器系数。例如，将由1707指示的第七行中的滤波器系数K10的值计算为3，将由1708指示的第八行中的滤波器系数K9的值计算为7，将由1709指示的第八行中的滤波器系数K8的值计算为13，将由1710指示的第十行中的滤波器系数K7的值计算为23，将由1711指示的底部行中的滤波器系数K6的值计算为43。

图12以流程图示出了根据第二系数计算方法的计算针对图像左端侧的图像数据的滤波器系数的处理过程。

图像处理装置的CPU将输入像素位置索引i初始化为对应于第一抽头的值1(步骤S302)，并且确定输入像素IDATi是否是无效像素(步骤S303)。如果确定输入像素IDATi不是无效像素，则本处理进行到步骤S308。另一方面，如果确定输入像素IDATi是无效像素，则处理进行到步骤S304，在步骤S304，CPU从滤波器系数Ki减去针对无效像素的系数值K0，由此计算出值Ki-K0，并且将所计算出的值Ki-K0加到针对右侧相邻像素的滤波器系数K(i+1)，由此计算出新的滤波器系数K(i+1)。

接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki(步骤S305)，将像素位置索引i递增一(步骤S306)，并且确定像素位置索引i是否等于值(N+1)/2(步骤S307)，其中，N表示抽头数。

如果在步骤S307确定像素位置索引i不等于值(N+1)/2，则本处理返回到步骤S303。如果确定像素位置索引i等于值(N+1)/2，则本处理进行到步骤S308。

在步骤S308，CPU确定系数Ki是否大于针对左侧相邻像素的系数K(i-1)。如果步骤S308的确定结果为“是”，则本处理结束。另一方面，如果确定系数Ki不大于系数K(i-1)，则处理进行到步骤S309，在步骤S309，CPU将滤波器系数Ki和K(i-1)的值互换。

接下来，在步骤S310，CPU确定像素位置索引i是否等于值(N+1)/2。如果步骤S310的确定结果为“是”，则本处理结束。另一方面，如果确定像素位置索引i不等于值(N+1)/2，则处理进行到步骤S312，在步骤S312，CPU将像素位置索引i递增一，之后处理返回到步骤S308。

图13以流程图示出了根据第二系数计算方法的计算针对图像右端侧的图像数据的滤波器系数的处理过程。

图像处理装置的CPU将输入像素位置索引i初始化为值N(步骤S402)，并且确定输入像素IDATi是否是无效像素(步骤S403)。如果确定输入像素IDATi不是无效像素，则本处理进行到步骤S408。另一方面，如果确定输入像素IDATi是无效像素，则处理进行到步骤S404，在步骤S404，CPU从滤波器系数Ki减去针对无效像素的系数值K0，由此计算出值Ki-K0，并且将所计算出的值Ki-K0加到针对左侧相邻像素的滤波器系数K(i-1)，由此计算出新的滤波器系数K(i-1)。

接下来，CPU将针对无效像素的系数值K0设置为滤波器系数Ki(步骤S405)，将像素位置索引i递减一(步骤S406)，并且确定像素位置索引i是否等于值(N+1)/2(步骤S407)，其中，N表示抽头数。

如果在步骤S407确定像素位置索引i不等于值(N+1)/2，则本处理返回到步骤S403。如果确定像素位置索引i等于值(N+1)/2，则本处理进行到步骤S408。

在步骤S408，CPU确定系数Ki是否大于针对右侧相邻像素的系数K(i+1)。如果步骤S408的确定结果为“是”，则本处理结束。另一方面，如果确定系数Ki不大于系数K(i+1)，则处理进行到步骤S409，在步骤S409，CPU将滤波器系数Ki和K(i+1)的值互换。

接下来，在步骤S410，CPU确定像素位置索引i是否等于值(N+1)/2。如果步骤S410的确定结果为“是”，则本处理结束。另一方面，如果确定像素位置索引i不等于值(N+1)/2，则处理进行到步骤S412，在步骤S412，CPU将像素位置索引i递增一，之后处理返回到步骤S408。

图11B是示出由第二系数计算方法计算出的滤波器系数的示例的表。

在图11B中，如同图11A，对应于关注像素位置，示出了用于在11抽头滤波处理中使用的滤波器系数K1到K11的值。叉记号、圈记号以及双圈记号的含义和图11A中的相同。

表的第一行(由1801指示)对应于关注像素处于图像左端的情况。由1802到1805指示的第二到第五行分别对应于关注像素是从图像左端数的第二到第五个像素中的一个的情况。由1806指示的第六行对应于关注像素是从图像左端数的第六个像素到从图像右端数的第六个像素中的一个的情况。

由1811指示的底部行对应于关注像素处于图像右端的情况。由1810到1807指示的倒数第二到第五行分别对应于关注像素是从图像右端数的第二到第五个像素中的一个的情况。

接下来，描述在无效像素相对于关注像素出现在图像左端侧的情况下，以图12中的计算处理计算的滤波器系数。

在图11B所示的表的第五行(由1805指示)中，输入到第一抽头的像素是无效像素。将第五行中的滤波器系数K1的值计算为0。通过将在由1806指示的第六行中的滤波器系数K1的值1和滤波器系数K2的值2加到一起，将第五行中的滤波器系数K2的值计算为3。

在由1804指示的第四行中，输入到第二抽头的像素是无效像素。将第四行中的滤波器系数K2的值计算为0。通过在由1805指示的第五行中的将滤波器系数K2的值3和滤波器系数K3的值4加到一起，将第四行中的滤波器系数K3的值计算为7。由于第四行中的滤波器系数K4的计算值6小于第四行中的滤波器系数K3的计算值7，所以将滤波器系数K3、K4的值互换，从而分别将滤波器系数K3、K4的值设置为6、7。由于滤波器系数K5的计算值10大于滤波器系数K4的计算值7，所以结束第四行中的滤波器系数的计算。

类似地，分别计算第三行中的滤波器系数的值、第二行中的滤波器系数的值以及第一行中的滤波器系数的值。

如上所述，通过使用第一到第M系数表106A到106M、滤波器系数切换控制信号KWIN以及输出图像区域控制信号OUTWIN，基于通过考虑有效像素而确定的参照像素，即使在图像端部附近，也能够合适地执行图像处理，由此，能够将基于包括图像端部的参照像素区域而确定的输出图像区域中的图像质量劣化抑制到最小。

通过由系数组选择控制单元105根据各种条件切换系数表，即使在图像端部附近，也能够实现合适的图像质量设计。

在上述实施方式中，由FIR滤波器实现图像处理部，但这不是限制性的。

在本实施方式中，在图5A到5C中举例示出了系数表中的第一到第三系数表的设置内容。类似地，也可以设置其它系数表的设置内容。

在本实施方式中，举例描述了水平图像处理。也可以以类似的方式执行垂直图像处理。

在本实施方式中，描述了第一和第二系数计算方法，但这些不是限制性的。可以根据滤波处理中的抽头数而不同地限定系数表。

(第二实施方式)

在本发明的第二实施方式中，在图像端部附近对图像处理中的参照像素区域(例如，FIR滤波器的抽头数)进行控制。

图14以框图示出了根据本发明第二实施方式的图像处理装置的示例构造。该图像处理装置构成了图2中所示的图像拍摄装置4100的图像处理部424。

在图14中，标号1101表示周围像素复制单元，该周围像素复制单元执行第一图像处理，以将输入图像数据INDAT的图像端部处的有效像素复制到位于图像端部之外的无效像素区域，来用有效像素替换无效像素，由此人为地在向外方向上扩展有效图像区域。周围像素复制单元1100向图像处理部1101输出通过对输入图像数据INDAT执行第一图像处理而获得的图像数据CPDAT。

图像处理部1101包括用于保持图像数据CPDAT的像素值并对这些像素值进行移位的D触发器(D-FF)1113到1115、三抽头滤波器1102、五抽头滤波器1103以及七抽头滤波器1104，并且对图像数据CPDAT执行滤波处理(第二图像处理)。

D-FF 1113到1115作为整体进行操作以将图像数据CPDAT延迟三个时钟，并且输出延迟输出1TAPOUT。三抽头滤波器1102基于包括一个关注像素和两个周围像素的参照像素区域执行三抽头滤波处理，并且输出三抽头滤波输出3TAPOUT。五抽头滤波器1103输出五抽头滤波输出5TAPOUT，七抽头滤波器1104输出七抽头滤波输出7TAPOUT。

第一选择部1105由例如MUX实现，根据提供给选择部1105的滤波器选择值FSEL选择延迟输出1TAPOUT和滤波输出3TAPOUT、5TAPOUT以及7TAPOUT中的一个，并且输出所选择的输出作为输出图像数据OUTDAT。

标号1106指示区域信息控制部，该区域信息控制部输出分别表示要复制图像左端像素的区域、要复制图像右端像素的区域、图像输出区域以及用于滤波器选择的图像区域的控制信号COPYLWIN、COPYRWIN、OUTWIN以及FWIN。控制信号OUTWIN被提供给三抽头滤波器1102、五抽头滤波器1103以及七抽头滤波器1104。

标号1107表示滤波器编号生成单元，该滤波器编号生成单元根据由从图像区域控制部1106提供的控制信号FWIN表示的图像区域，生成滤波器编号信息FNO。

滤波器选择表单元1110包括多个例如第一到第M滤波器选择表1110A到1110M，以根据滤波器编号信息FNO分别输出第一到第M滤波器选择值FSEL1到FSELM。

第二选择部1108向第一选择部1105输出根据从滤波器选择值控制部1109提供的滤波器组选择值FSELSEL而从第一到第M滤波器选择值FSEL1到FSELM中选择的滤波器选择值FSEL。

图15集中示出了图14中所示的滤波器选择表单元1110的第一到第三滤波器选择表1110A到1110C的内容示例。

如图15所示，第一到第三滤波器选择表1110A到1110C分别设置有根据从滤波器编号生成单元1107输出的滤波器编号信息FNO(0到7)而变化的第一到第三滤波器选择值FSEL1到FSEL3。

第一滤波器选择值FSEL1取1tap或3tap的值，第二滤波器选择值FSEL2取1tap、3tap或5tap的值，第三滤波器选择值FSEL3取1tap、5tap或7tap的值。1tap的值表示要选择延迟输出1TAPOUT，3tap的值表示要选择滤波输出3TAPOUT，5tap的值表示要选择滤波输出5TAPOUT，7tap的值表示要选择滤波输出7TAPOUT。

图16A到16D是图14所示的图像处理装置中的输入信号和输出信号的时序图。

图像处理装置根据同步时钟信号CLK逐像素地执行图像处理。在所示的示例中，时钟信号CLK从1开始连续编号，依次称为时钟1、2、3等。

图像处理装置根据时钟信号CLK一个像素接一个像素地输入输入图像数据INDAT。在时钟1和2处，并且在时钟19处和之后，没有向图像处理装置输入输入图像数据INDAT的有效像素值(如由未定义的值X所示)。在时钟3到18处，向图像处理装置依次输入了输入图像数据INDAT的有效像素值D1到Dn(它们的例示被部分省略了)。符号D1表示图像左端的像素值，Dn(例如D16)表示图像右端的像素值。

在时钟3和4处，表示要复制图像左端像素的区域的控制信号COPYLWIN变为H电平。在时钟4和5处(即，在图像左端复制区域中)，复制了输入图像数据INDAT的图像左端处的像素值D1，由此生成了图像数据CPDAT的前两个像素值。

在时钟21和22处，表示要复制图像右端像素的区域的控制信号COPYRWIN变为H电平。在时钟22和23处(即，在图像右端复制区域中)，复制了输入图像数据INDAT的图像右端处的像素值Dn(D16)，由此生成了图像数据CPDAT的最后两个像素值。

根据在与输入图像数据INDAT的有效系数区域对应的时间段内为H电平的输出图像区域控制信号OUTWIN，来控制输出图像数据OUTDAT的输出图像区域。通过基于控制信号OUTWIN的H电平时间段来设置输出图像区域，能够合适地将输出图像区域控制为对应于输入图像数据INDAT的有效像素区域。

在输出图像区域信息OUTWIN的H电平时间段期间，在时钟9到24依次输出输出图像数据OUTDAT的像素值O1到On。符号O1表示输出图像左端的像素值，符号On(＝O16)表示输出图像右端的像素值。

基于从滤波器编号生成单元1107输出的表示用于滤波器选择和输出的图像区域的控制信号FWIN，来控制滤波器编号信息FNO。在本实施方式中，滤波器编号信息FNO可以从初始值0变化到最大值7，并且在控制信号KWIN处于H电平的时钟之后的时钟处递增一。具体地说，如图16C和16D所示，滤波器编号信息FNO在时钟1到8为初始值0，接着在时钟9到12中的各时钟处递增一，从而从值1变到值4，接着在时钟13到21保持在值4。随后，滤波器编号信息FNO在时钟22到24中的各时钟处递增一，从而从值5变到值7，接着在时钟25返回初始值0。

根据滤波器编号信息FNO，分别从图14和15中所示的第一到第三滤波器选择表1110A到1110C中的相应一个输出了第一到第三滤波器选择值FSEL1到FSEL3。

下面，首先描述第一滤波器选择值FSEL1。在时钟1到9处，滤波器编号信息FNO具有值0或1，并且滤波器选择值FSEL1取1tap的值，该值表示要选择延迟输出1TAPOUT。在时钟10到23处，滤波器编号信息FNO具有值2到6中的一个，并且滤波器选择值FSEL1取3tap的值，该值表示要选择滤波输出3TAPOUT。在时钟24处和之后，滤波器编号信息FNO具有值7或0，并且滤波器选择值FSEL1取1tap的值。

第二滤波器选择值FSEL2在时钟1到9取1tap的值，在时钟10取3tap的值，在时钟11到22取5tap的值，在时钟23取3tap的值，在时钟24处和之后取1tap的值。

第三滤波器选择值FSEL3在时钟1到8取1tap的值，在时钟9到11取5tap的值，在时钟12到21取7tap的值，在时钟22到24取5tap的值，在时钟25处和之后取1tap的值。

在滤波器组选择值FSELSEL具有值1的情况下，第二选择部1108选择第一滤波器选择值FSEL1作为滤波器选择值FSEL，并且输出D1、3D2、3D3、……、3Dn-1以及Dn的值作为输出图像数据OUTDAT的像素值O1到On。

在滤波器组选择值FSELSEL具有值2的情况下，第二选择部1108选择第二滤波器选择值FSEL2作为滤波器选择值FSEL，并且输出D1、3D2、5D3、……、3Dn-1以及Dn的值作为输出图像数据OUTDAT的像素值O1到On。

在滤波器组选择值FSELSEL具有值3的情况下，第二选择部1108选择第三滤波器选择值FSEL3作为滤波器选择值FSEL，并且输出5D1、5D2、5D3、……、5Dn-1以及5Dn的值作为输出图像数据OUTDAT的像素值O1到On。

图17示出了图14中所示的滤波器选择值控制部1109的内部构造。

在图17中，标号1402到1405表示噪声级别检测单元、图像特征提取单元、频率特征单元以及垂直位置确定单元，这些组件分别对应于图7中所示的噪声级别检测单元902、图像特征提取单元903、频率特征单元904以及垂直位置确定单元905。

标号1406表示滤波器选择值决定单元，该滤波器选择值决定单元基于拍摄条件、噪声级别、图像特征、频带以及距离信息确定针对输出的滤波器选择值控制信号FSELSEL。

图18A到18E示出了由图17中所示的滤波器选择值确定单元1406参照以确定滤波器选择值控制信号FSELSEL的示例表。

图18A示出了表示拍摄条件(在本示例中为ISO感光度)与第一滤波器选择值控制信号FSELSELa之间的关系的表。在所示的示例中，当ISO感光度具有小于400的值时，第一滤波器选择值控制信号FSELSELa被设置为值FSELSEL1；当ISO感光度具有等于或大于400但小于1600的值时，第一滤波器选择值控制信号FSELSELa被设置为值FSELSEL2；当ISO感光度具有等于或大于1600的值时，第一滤波器选择值FSELSELa被设置为值FSELSEL3。值FSELSEL1小于值FSELSEL2，值FSELSEL2小于值FSELSEL3。拍摄条件不限于ISO感光度，而可以例如是根据快门速度确定的TV值。

图18B示出了表示噪声级别(在本示例中为S/N比)与第二滤波器选择值控制信号FSELSELb之间的关系的表。当S/N比等于或高于30dB时，第二滤波器选择值控制信号FSELSELb被设置为值FSELSEL1；当S/N比等于或高于10dB但低于30dB时，第二滤波器选择值控制信号FSELSELb被设置为值FSELSEL2；当S/N比低于10dB时，第二滤波器选择值控制信号FSELSELb被设置为值FSELSEL3。

图18C示出了表示图像特征与第三滤波器选择值控制信号FSELSELc之间的关系的表。当图像特征对应于垂直边缘图像时，第三滤波器选择值控制信号FSELSELc被设置为值FSELSEL1；当图像特征对应于倾斜边缘图像时，第三滤波器选择值控制信号FSELSELc被设置为值FSELSEL2；当图像特征对应于水平边缘图像或实心图像时，第三滤波器选择值控制信号FSELSELc被设置为值FSELSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，将值FSELSEL1用于水平边缘图像，将值FSELSEL2用于倾斜边缘图像，将值FSELSEL3用于垂直边缘图像。

图18D示出了表示频率特征(在本示例中为图像频带)与第四滤波器选择值控制信号FSELSELd之间的关系的表。对于高频带图像，第四滤波器选择值控制信号FSELSELd被设置为值FSELSEL1；对于中频带图像，第四滤波器选择值控制信号FSELSELd被设置为值FSELSEL2；对于低频带图像，第四滤波器选择值控制信号FSELSELd被设置为值FSELSEL3。

图18E示出了表示关注像素(它是图像处理对象)相对于图像端部的位置与第五滤波器选择值控制信号FSELSELe之间的关系的表。当关注像素与图像端部(在本示例中为上端部或下端部)相距四个像素或更多像素时，第五滤波器选择值控制信号FSELSELe被设置为值FSELSEL1；当关注像素与图像端部相距两个像素或三个像素时，第五滤波器选择值控制信号FSELSELe被设置为值FSELSEL2；当关注像素位于图像端部处时，第五滤波器选择值控制信号FSELSELe被设置为值FSELSEL3。在本示例中，描述了执行水平图像处理的情况。在垂直图像处理的情况下，随着关注像素位置与图像左端部或右端部之间的距离的减小，依次使用值FSELSEL1、FSELSEL2以及FSELSEL3。

滤波器选择值决定单元1406从基于图18A到18E所示的表所决定的第一到第五滤波器选择值控制信号FSELSELa到FSELSELe中确定滤波器选择值控制信号FSELSEL。例如，可以将第一到第五滤波器选择值控制信号FSELSELa到FSELSELe中的最大值确定为滤波器选择值控制信号FSELSEL。

如上所述，通过使用第一到第M滤波器选择表1110A到1110M、滤波器选择区域控制信号FWIN以及输出图像区域控制信号OUTWIN，在图像端部附近，通过考虑有效像素区域，可以正确地执行图像处理。

通过由滤波器选择值控制部1109根据各种条件切换滤波器选择表，即使在图像端部附近，也能够实现合适的图像质量设计。

在上述实施方式中，由N抽头滤波器实现图像处理部，但这不是限制性的。

在本实施方式中，在图15中举例示出了第一到第三滤波器选择表的内容。类似地，也可以设置其它滤波器选择表的内容。

在本实施方式中，举例描述了水平图像处理。也可以以类似的方式执行垂直图像处理。

在本实施方式中，描述了由周围像素复制单元1101执行用有效像素替换无效像素的第一图像处理的情况，但这不是限制性的。例如，代替周围像素复制单元1101，通过使用滤波器1102到1104(它们中的每一个都被配置为具有用于执行考虑了图像端部处的有效像素的图像处理)，或者通过使用专用于图像端部附近的图像处理的滤波器，也可以在图像端部附近实现合适的图像处理。

对于第二实施方式中的系数计算，可以不加修改地应用第一实施方式中描述的两个系数计算方法。

(其它实施方式)

本发明的各个方面也可以通过读出并执行在存储器装置上记录的程序以执行上述实施方式的功能的系统或设备(或诸如CPU或MPU的装置)的计算机来实现，和通过一种方法来实现，该方法的步骤由系统或设备的计算机通过例如读出并执行在存储器装置上记录的程序以执行上述实施方式的功能来执行。为此，例如经由网络或者从用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供程序。

尽管已参照示例实施方式描述了本发明，但是应当理解，本发明不限于所公开的示例实施方式。所附权利要求的范围应被最宽泛地解释为涵盖所有这种修改例和等同结构和功能。

本申请要求2010年11月30日递交的日本专利申请第2010-266974号的优先权，通过引用将该日本专利申请整个并入于此。

Claims (9)

1.一种具有图像处理单元的图像处理装置，该图像处理单元以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理，该图像处理装置包括：

区域信息控制单元，其被配置为控制图像区域信息；

系数选择值生成单元，其被配置为基于从所述区域信息控制单元提供的所述图像区域信息生成系数选择值；

具有系数表的表单元，该表单元被配置为根据由所述系数选择值生成单元生成的系数选择值来输出相互不同的系数组；

系数组选择单元，其被配置为生成系数组选择值；以及

表选择单元，其被配置为根据由所述系数组选择单元生成的系数组选择值来选择所述系数组中的一个，

其中，所述图像处理单元通过使用构成由所述表选择单元选择的系数组的系数，来对所述图像数据执行运算处理。

2.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

确定单元，其被配置为确定输入像素是否是无效像素，

其中，在所述确定单元确定所述输入像素是无效像素的情况下，所述图像处理单元通过将要应用于关注像素位置处的对应输入像素的系数和要应用于该对应输入像素的相邻像素的系数相加，来计算要应用于所述输入像素的系数，其中，在所述关注像素位置处，参照像素区域中包括的无效像素比针对所述输入像素的参照像素区域中包括的无效像素在数量上少一个。

3.根据权利要求2所述的图像处理装置，其中，在所述输入像素位于图像左端侧的情况下，所述图像处理单元通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的右侧相邻像素的系数相加，来计算要应用于所述输入像素的系数，而

在所述输入像素位于图像右端侧的情况下，所述图像处理单元通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的左侧相邻像素的系数相加，来计算要应用于所述输入像素的系数。

4.根据权利要求2所述的图像处理装置，其中，在要应用于所述输入像素的系数等于或小于要应用于所述输入像素的左侧相邻像素或右侧相邻像素的系数的情况下，所述图像处理单元将要应用于所述输入像素的系数、和要应用于所述左侧相邻像素或右侧相邻像素的系数互换。

5.根据权利要求1所述的图像处理装置，其中，所述系数组选择单元基于在所述图像数据中指示的拍摄条件、从所述图像数据检测出的噪声级别、从所述图像数据提取的图像特征、从所述图像数据检测出的频带以及所述关注像素与图像端部之间的距离中的至少一个，生成所述系数组选择值。

6.根据权利要求5所述的图像处理装置，其中，所述拍摄条件包括ISO感光度，并且所述图像特征包括边缘图像或实心图像。

7.根据权利要求2所述的图像处理装置，其中，在所述输入像素是无效像素的情况下，要应用于所述输入像素的系数被设置为值0。

8.一种包括图像处理步骤的图像处理方法，该图像处理步骤以各关注像素为基础，同时参照周围像素，对图像数据执行运算处理，该图像处理方法包括：

区域信息控制步骤，控制图像区域信息；

系数选择值生成步骤，基于从所述区域信息控制步骤提供的所述图像区域信息生成系数选择值；

系数组输出步骤，通过具有系数表的表单元，根据所述系数选择值生成步骤中生成的系数选择值来输出相互不同的系数组；

系数组选择步骤，生成系数组选择值；以及

表选择步骤，根据所述系数组选择步骤中生成的系数组选择值来选择所述系数组中的一个，

其中，在所述图像处理步骤中通过使用构成所述表选择步骤中选择的系数组的系数，来对所述图像数据执行运算处理。

9.根据权利要求8所述的图像处理方法，其中，在所述输入像素位于图像左端侧的情况下，在所述图像处理步骤中，通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的右侧相邻像素的系数相加，来计算要应用于所述输入像素的系数，而

在所述输入像素位于图像右端侧的情况下，在所述图像处理步骤中，通过将要应用于所述对应输入像素的系数和要应用于所述对应输入像素的左侧相邻像素的系数相加，来计算要应用于所述输入像素的系数。