CN105659582B - 信号处理装置、摄像装置、参数生成方法及信号处理方法 - Google Patents

Abstract

本发明提供一种不使处理复杂化便能够进行所希望的频率成分调整的信号处理装置、摄像装置、参数生成方法及信号处理方法。图像处理部(35)具备按照频率而调整信号的信号处理部和控制信号处理部的滤波器处理控制部(37)(强度自动调整部(52))。信号处理部具有进行第1滤波器处理的第1滤波器处理部(38)和进行第2滤波器处理的第2滤波器处理部(39)。强度自动调整部(52)获得第1滤波器处理及第2滤波器处理中的一方的调整倍率即第1增益调整倍率(U)及第2增益调整倍率(V)，并根据总增益调整率(D)来计算另一方的调整倍率。

Description

信号处理装置、摄像装置、参数生成方法及信号处理方法

技术领域

本发明涉及一种信号处理装置、摄像装置、参数生成方法及信号处理方法，尤其涉及一种多个滤波器处理之间的调整技术。

背景技术

作为变更及改善图像的画质的信号处理，通常已知有锐化处理(轮廓增强处理、边缘增强处理或清晰度增强处理等)、点像复原处理、低通处理等滤波器处理。这种滤波器处理为通过将滤波器应用于信号而增强或抑制特定频率的信号强度的处理，并按照所使用的滤波器的频率特性来调整信号强度。

从而，通过适当地组合滤波器处理而能够得到具有所希望的特性的图像信号，为了实现各种目的而灵活地应用这些滤波器处理。

例如，在专利文献1中公开了使用减少相位劣化成分的图像恢复滤波器和减少振幅劣化成分的边缘增强滤波器的图像处理。并且，在专利文献2中公开了进行“在进行了使用图像复原滤波器的图像复原处理之后，进行边缘增强处理的手抖校正”及“仅进行边缘增强处理的手抖校正”。并且，在专利文献3中公开了按照拍摄时的光圈等条件而确定影像信号的轮廓成分的增强程度。并且，在专利文献4中公开了按照边缘强度而选择复原强度不同的滤波器，由此按照边缘强度而改变复原滤波器本身的强度。并且，在专利文献5中公开了通过调整基于降噪(NR)处理部的降噪度及基于边缘增强处理部的边缘增强度而进行与焦距对应的合适的去除噪声的摄像装置。

以往技术文献

专利文献

专利文献1：日本特开2011-123589号公报

专利文献2：日本特开2006-333061号公报

专利文献3：日本特开2009-27750号公报

专利文献4：日本特开2006-129236号公报

专利文献5：日本特开2009-171320号公报

发明的概要

发明要解决的技术课题

作为画质的调整方法，通常已知有如下方法，即，例如将滤波器应用于原图像数据中，从而计算来自原图像数据的差分数据，对该差分数据乘以常数倍，将乘以常数倍的差分数据与原图像数据相加。该方法无论频率如何对图像的增强度(差分数据)统一乘以常数倍，从而提高图像锐度，因此能够非常简单地实施。然而，在该方法中，由于被增强的图像的频率成分限定于滤波器的频率特性的常数倍，因此无法进行改变高频成分和低频成分的增强平衡等锐度的细微的调整。

并且，通过设置用于可变更滤波器的频率特性的用户界面，根据用户的需要，能够根据频率基准来变更图像锐度的平衡。若设为可自由地变更滤波器的频率特性，则用户可进行操作的参数(自由度、轴)增加，图像锐度通过那些参数的组合而确定。从而，为了得到最佳的图像锐度，用户需要考虑多个参数的关联，并分别适当地设定多个参数。然而，考虑频率之间的平衡而调整取决于频率的图像锐度，这将成为用户的负担，用户界面的结构也变得复杂，图像锐度的调整处理变得复杂。

不仅在通过滤波器应用处理简单的线性处理构成的情况下，而且在滤波处理伴随非线性处理的情况下，也要顾虑这种锐化处理的复杂化，其有可能会导致用户应调整的参数(调整的自由度)过度增加。从而，优选用户不费复杂工夫便可适当地控制信号的频率成分的方法。然而，在专利文献1～5等现有技术中，关于同时实现“用于获得所希望的锐化效果的灵活的控制”和“简单的操作性”的技术，并未提出有效的建议。

本发明是鉴于上述情况而完成的，其目的在于提供一种不会使处理复杂化便可以进行所希望的频率成分调整的信号处理方法及其相关技术。

用于解决技术课题的手段

本发明的一方式涉及一种信号处理装置，其具备按照频率而调整信号的信号处理部和控制信号处理部的滤波器处理控制部，信号处理部具有进行第1滤波器处理的第1滤波器处理部和进行频率特性不同于第1滤波器处理的第2滤波器处理的第2滤波器处理部，滤波器处理控制部根据第1滤波器处理中的信号增益的调整倍率及第2滤波器处理中的信号增益的调整倍率获得总增益调整率，获得第1滤波器处理及第2滤波器处理中的一方的调整倍率，并根据总增益调整率来计算第1滤波器处理及第2滤波器处理中的另一方的调整倍率。

根据本方式，由于通过获得第1滤波器处理及第2滤波器处理中的一方的调整倍率而计算另一个的调整倍率，因此按照简单的处理流程，并通过第1滤波器处理及第2滤波器处理而能够调整信号的频率成分。

优选，滤波器处理控制部将信号处理部的前后的信号的比率在第1频率中调整为响应目标比率。

根据本方式，信号处理部的前后的信号的比率在第1频率中能够被调整为响应目标比率，至少在第1频率中能够确保所希望的信号特性。

“第1频率”并无特别限定，能够设为比其他频率重要程度高的频率。例如，在处理对象信号为图像信号的情况下，通过将对用户的识别带来影响的频率设为“第1频率”，因此在确保辨识性的状态下，能够进行第1滤波器处理及第2滤波器处理。

优选可调整信号的频带在第1滤波器处理与第2滤波器处理之间至少一部分重复，表示增益的峰值的频率在第1滤波器处理与第2滤波器处理之间不同。

如本方式，通过组合频率特性不同的第1滤波器处理及第2滤波器处理而能够进行各种信号处理。

优选第1滤波器处理包括：在信号中应用第1滤波器的处理；及根据调整倍率来对通过应用第1滤波器而得到的信号的增益的倍率进行调整的处理，第2滤波器处理包括：在信号中应用第2滤波器的处理；及根据调整倍率来调整通过应用第2滤波器而得到的信号的增益的倍率的处理。

根据本方式，通过简单的处理结构而能够进行第1滤波器处理及第2滤波器处理。

优选滤波器处理控制部根据外部输入参数来确定第1滤波器处理中的调整倍率，并根据第1滤波器处理中的调整倍率和总增益调整率来计算第2滤波器处理中的调整倍率。

根据本方式，由第1滤波器处理中的调整倍率和总增益调整率能够自动计算第2滤波器处理中的调整倍率。

“外部输入参数”可以是通过用户而输入的参数，也可以是从第1滤波器处理部以外输入的参数。并且，可以将外部输入参数设定为“第1滤波器处理中的调整倍率”，也可以将由外部输入参数按照特定的算法而导出的值设定为“第1滤波器处理中的调整倍率”。

优选第1滤波器处理部及第2滤波器处理部并列设置，信号输入到第1滤波器处理部及第2滤波器处理部，将基于第1滤波器处理的信号的增减量数据和基于第2滤波器处理的信号的增减量数据进行相加。

如本方式，即使将第1滤波器处理部及第2滤波器处理部并列设置，也能够按照简单的处理流程，并通过第1滤波器处理及第2滤波器处理而调整信号的频率成分。

优选第1滤波器处理部及第2滤波器处理部串联设置，信号在接受第1滤波器处理及第2滤波器处理中的一种处理之后，接受另一种处理。

如本方式，即使第1滤波器处理部及第2滤波器处理部串联设置，也能够按照简单的处理流程，并通过第1滤波器处理及第2滤波器处理而调整信号的频率成分。

优选第1滤波器处理部及第2滤波器处理部中的至少一方具有进行信号的非线性处理的非线性处理部。

如本方式，即使非线性处理包括信号处理系统，也能够按照简单的处理流程，并通过第1滤波器处理及第2滤波器处理而调整信号的频率成分。

“非线性处理”为无法仅通过线性运算构成的处理，伴随加减乘除以外的处理，例如可包括LUT(查表)的参照、伴随条件分支的处理。

优选非线性处理为将在信号中超过剪辑(clip)阈值的信号值调整为剪辑阈值的剪辑处理，滤波器处理控制部按照剪辑阈值来确定第1滤波器处理及第2滤波器处理中的至少任一方的调整倍率。

如本方式，即使为进行剪辑处理的情况下，也能够按照简单的处理流程，并通过第1滤波器处理及第2滤波器处理而调整信号的频率成分。

优选第1滤波器处理及第2滤波器处理中的至少一方为低通滤波器处理。

根据本方式，通过低通滤波器处理而能够调整信号的频率成分。

优选信号为图像信号。

根据本方式，通过第1滤波器处理及第2滤波器处理而能够调整图像信号的频率成分。

优选第1滤波器处理为使用了基于点扩散函数的复原滤波器的复原处理，复原滤波器根据拍摄获得图像信号时的摄影设定条件而被确定。

根据本方式，即使在通过使用了基于点扩散函数的复原滤波器的复原处理而处理信号的情况下，也能够按照简单的处理流程，通过第1滤波器处理及第2滤波器处理调整信号的频率成分。“基于点扩散函数的复原滤波器”为基于使用光学系统等的点扩散函数(PSF：Point Spread Function)而生成的逆滤波器、维纳滤波器等复原滤波器，“复原处理”包括将这种复原滤波器应用于图像数据的处理。并且“点扩散函数”为表示对光学系统的点光源的响应的函数，可以根据PSF及OTF[MTF(Modulation Transfer Function)、PTF(PhaseTrans fer Function))而表现。

并且，“点扩散函数”并不限定于表示对光学系统的点光源的响应的函数，也可以是反映了通过摄像装置进行拍摄时检测到的被摄体的移动量(例如由手抖、被摄体抖动等引起的被摄体的移动量)的函数。从而“基于点扩散函数的复原滤波器”为使用该点扩散函数而生成的复原滤波器，也可以为降低抖动模糊(手抖模糊、被摄体抖动模糊等)的滤波器。

优选第2滤波器处理为使用了锐化滤波器的锐化处理。

根据本方式，即使在通过锐化处理来处理信号的情况下，也能够按照简单的处理流程，并通过第1滤波器处理及第2滤波器处理而调整信号的频率成分。作为“锐化滤波器”，可以使用“由光学系统的点扩散函数(PSF)，利用逆滤波器或维纳滤波器而生成的滤波器(复原滤波器)”以外的滤波器类。从而，作为“锐化滤波器”，例如能够适当地使用并非基于光学系统的点扩散函数的滤波器，并可以采用基于点扩散函数以外的其他要素(参数)而计算的滤波器作为“锐化滤波器”。作为并非基于点扩散函数的锐化滤波器，只要不是基于点扩散函数而制作的滤波器，则可以采用点扩散函数对应于不同的光圈值等而可切换的滤波器作为锐化滤波器。同样，可以采用点扩散函数对应于不同的图像高度而可切换的滤波器作为锐化滤波器。并且，锐化处理中的锐化滤波器的强度(增益)也可以对应于光圈值、图像高度而改变。

“锐化处理”为对图像数据的高频成分进行补偿或增强的处理，是增强图像的轮廓成分的处理。从而，例如被称作轮廓增强处理、边缘增强处理或清晰度增强处理的处理可以包含于在此所谓的“锐化处理”中。

优选第1滤波器处理及第2滤波器处理中的至少任一方的调整倍率根据拍摄获得图像信号时的摄影设定条件而确定。

根据本方式，能够将第1滤波器处理及第2滤波器处理中的至少任一方设为反映了摄影设定条件的处理。

本发明的另一方式涉及一种具备上述信号处理装置的摄像装置。

本发明的另一方式涉及一种参数生成方法，包括按照频率而调整信号的信号处理部、以及控制信号处理部的滤波器处理控制部，信号处理部具有进行第1滤波器处理的第1滤波器处理部和进行第2滤波器处理的第2滤波器处理部，在第1滤波器处理与第2滤波器处理之间，生成使用于频率特性不同的图像处理部的参数，所述参数生成方法具备：根据第1滤波器处理中的信号增益的调整倍率及第2滤波器处理中的信号增益的调整倍率来获得总增益调整率的步骤；及获得第1滤波器处理及第2滤波器处理中的一方的调整倍率，并根据总增益调整率来计算第1滤波器处理及第2滤波器处理中的另一方的调整倍率的步骤。

本发明的另一方式涉及一种信号处理方法，具备：信号调整步骤，为按照频率而调整信号的信号调整步骤，其包括进行第1滤波器处理的第1滤波器处理步骤、以及进行频率特性不同于第1滤波器处理的第2滤波器处理的第2滤波器处理步骤；根据第1滤波器处理中的信号增益的调整倍率及第2滤波器处理中的信号增益的调整倍率来获得总增益调整率的步骤；及获得第1滤波器处理及第2滤波器处理中的一方的调整倍率，并根据总增益调整率计算第1滤波器处理及第2滤波器处理中的另一方的调整倍率的步骤。

本发明的另一方式涉及一种程序，其使计算机执行如下流程：为按照频率而调整信号的流程，包括进行第1滤波器处理的步骤和进行频率特性不同于第1滤波器处理的第2滤波器处理的步骤的流程；根据第1滤波器处理中的信号增益的调整倍率及第2滤波器处理中的信号增益的调整倍率来获得总增益调整率的流程；及获得第1滤波器处理及第2滤波器处理中的一方的调整倍率，并根据总增益调整率来计算第1滤波器处理及第2滤波器处理中的另一方的调整倍率的流程。

发明效果

根据本发明，由于通过获得第1滤波器处理及第2滤波器处理中的一方的调整倍率而计算另一方的调整倍率，因此能够按照简单的处理流程，并通过第1滤波器处理及第2滤波器处理而调整信号的频率成分。

附图说明

图1是表示连接于计算机上的数码相机的框图。

图2是表示主体控制器的结构例的框图。

图3是表示图像处理部的结构例的框图。

图4是用于对滤波器处理强度的调整进行说明的示意图。

图5是表示第1实施方式所涉及的图像处理模块的结构的图。

图6是例示图像处理的频率特性的图，图6(a)表示第1滤波器处理(第1滤波器处理部)中的“频率-增益”关系例，图6(b)表示第2滤波器处理(第2滤波器处理部)中的“频率-增益”关系例，图6(c)表示第1滤波器处理及第2滤波器处理(信号处理部)整体的“频率-增益”关系例。

图7是表示第3实施方式所涉及的图像处理模块的结构的图。

图8是表示第4实施方式所涉及的图像处理模块的结构的图。

图9是例示图像处理的频率特性的图，图9(a)表示第1滤波器处理(第1滤波器处理部)中的“频率-增益”关系例，图9(b)表示第2滤波器处理(第2滤波器处理部)中的“频率-增益”关系例。

图10是例示图像处理的频率特性的图，图10(a)是表示对高对比度波形信号的调整例的图，图10(b)是表示对低对比度波形信号的调整例的图。

图11是表示一变形例所涉及的图像处理模块的结构的图。

图12是表示摄像装置的一实施方式即智能手机的外观的图。

图13是表示图12所示的智能手机的结构的框图。

具体实施方式

通过参考附图，对本发明的实施方式进行说明。在以下实施方式中，作为一例，对于在具备图像处理装置(信号处理装置)的数码相机(摄像装置)中应用本发明的情况进行说明。然而，本发明同样也可以应用于处理图像信号以外的信号(例如语音信号等)的信号处理装置及信号处理方法。

图1是表示连接于计算机上的数码相机的框图。在本例的数码相机10中，在搭载成像元件26的相机主体(摄像主体)14上，以可更换的方式安装有作为光学系统的一例的透镜单元12，在相机主体14上设置有图像处理装置。

即，数码相机10具备可更换的透镜单元12和具备成像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12和相机主体14被电连接。

透镜单元12具备构成光学系统的透镜16及光圈17、以及控制该光学系统的光学系统操作部18。光学系统操作部18包括：透镜单元控制器20，连接于透镜单元输入输出部22；透镜单元存储部21，存储各种信息(光学系统信息等)；及致动器(省略图示)，对光学系统进行操作。透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22传送过来的控制信号，并经由致动器控制光学系统，例如进行基于通过透镜移动的对焦控制和变焦控制、光圈17的光圈量控制等。并且，透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22传送过来的控制信号，读取存储于透镜单元存储部21中的各种信息，并发送到相机主体14(主体控制器28)。

相机主体14的成像元件26具有聚光用微透镜、R(红)G(绿)B(蓝)等滤色器、图像传感器(光电二极管；CMOS(Complementary Metal Oxide Semiconductor)、CCD(ChargeCoupled Device)等)。该成像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)而照射的被摄体图像的光转换为电信号，并将图像信号(原图像数据)发送到主体控制器28。

主体控制器28，其详细内容将在后面叙述(参考图2)，其具有：对数码相机10的各部进行综合控制的作为设备控制部的功能；及对从成像元件26传送过来的图像数据进行图像处理的作为图像处理部的功能。

数码相机10还具备在进行拍摄等时所需的其他设备类(快门等)，那些设备类的一部分构成由用户可确认及操作的用户界面29。用户界面29可配置于透镜单元12和/或相机主体14，在图1所示的例子中，在相机主体14上设置有用户界面29。用户能够经由用户界面29进行用于摄影等的各种设定(EV值(Exposure Value)等)的确定及变更、摄影指令、实时取景图像及摄影图像的确认等。用户界面29连接于主体控制器28，由用户确定及变更的各种设定及各种指令反映在主体控制器28中的各种处理(设备控制处理、图像处理等)中。

在主体控制器28中进行图像处理的图像数据被存储于设置在相机主体14中的主体存储部31，根据需要，经由输入输出接口32发送到计算机92等。主体存储部31由任意的存储器构成，可优选使用存储卡等可更换存储器。从主体控制器28输出的图像数据的格式并无特别限定，可以是RAW、JPEG(Joint Photographic Experts Group)、TIFF(Tagged ImageFile Format)等任意的格式。并且，主体控制器28如所谓的Exif(Exchangeable ImageFile Format)那样，可以对标题信息(摄影信息(摄影日期和时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据彼此建立对应关联而构成1个图像文件，并输出该图像文件。

计算机92经由相机主体14的输入输出接口32及计算机输入输出部93连接于数码相机10，并接收从相机主体14传送过来的图像数据等数据类。计算机控制器94综合控制计算机92，并对来自数码相机10的图像数据进行图像处理，并控制与经由互联网96等的网络线路连接于计算机输入输出部93上的服务器97等进行的通信。计算机92具有显示器95，计算机控制器94中的处理内容等根据需要显示于显示器95。用户边确认显示器95的显示，边操作键盘等输入构件(省略图示)，因此可以对计算机控制器94输入数据和命令。由此，用户可以控制计算机92或连接于计算机92上的设备类(数码相机10、服务器97)。

服务器97具有服务器输入输出部98及服务器控制器99。服务器输入输出部98构成与计算机92等外部设备类的收发连接部，并经由互联网96等的网络线路连接于计算机92的计算机输入输出部93。服务器控制器99根据来自计算机92的控制指令信号，与计算机控制器94协同动作，根据需要，与计算机控制器94之间进行数据类的收发，并将数据类下载到计算机92进行运算处理，将其运算结果发送到计算机92。

各控制器(透镜单元控制器20、主体控制器28、计算机控制器94、服务器控制器99)具有控制处理中所需的回路类，例如具备运算处理回路(CPU(Central Processing Unit)等)或存储器等。并且，数码相机10、计算机92及服务器97之间的通信可以是有线的，也可以是无线的。并且，可以一体构成计算机92及服务器97，并且也可以省略计算机92和/或服务器97。并且，可以使数码相机10具有与服务器97的通信功能，而在数码相机10与服务器97之间直接进行数据类的收发。

图2是表示主体控制器28的结构例的框图。主体控制器28具有设备控制部34和图像处理部35，并综合控制相机主体14。

设备控制部34控制例如来自成像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号，并经由相机主体输入输出部30发送到透镜单元12(透镜单元控制器20)，将图像处理前后的图像数据(RAW数据、JPEG数据等)存储于主体存储部31，将图像处理前后的图像数据(RAW数据、JPEG数据等)发送到经由输入输出接口32连接的外部设备类(计算机92等)。并且，设备控制部34适当地控制显示部(EVF：Electronic ViewFinder、背面液晶显示部：用户界面29)等数码相机10所具备的各种设备类。

另一方面，图像处理部35对来自成像元件26的图像信号根据需要进行任意的图像处理。例如在图像处理部35适当地进行如下各种图像处理：传感器校正处理、去马赛克(同步)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理、伽马转换处理等)、RGB图像处理(清晰度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等。尤其，本例的图像处理部35对图像信号(图像数据)进行不基于光学系统的点扩散函数的锐化处理(轮廓增强处理)。

图3是表示图像处理部35的结构例的框图。

本例的图像处理部35具备按照频率而调整信号的信号处理部40和控制信号处理部40的滤波器处理控制部37。信号处理部40(信号调整步骤)具有：进行第1滤波器处理的第1滤波器处理部38(第1滤波器处理步骤)；及进行频率特性不同于第1滤波器处理的第2滤波器处理的第2滤波器处理部39(第2滤波器处理步骤)。

第1滤波器处理及第2滤波器处理中能够使用任意的图像处理滤波器，并能够适当地使用2维的FIR(Finite Impulse Response)滤波器。作为第1滤波器处理及第2滤波器处理的简单的例子，可以举出如下处理，即在处理对象的信号中应用滤波器而计算信号增益(滤波处理)，并调整信号增益的倍率(增益控制处理)，将调整倍率后的信号增益与原信号进行相加。

从而，能够将第1滤波器处理及第2滤波器处理中的双方或一方设为点像复原处理、锐化处理、低通滤波器处理等各种处理。第1滤波器处理及第2滤波器处理可以是相同目的的滤波器处理，也可以是不同目的的滤波器处理，例如将第1滤波器处理及第2滤波器处理由用于任意的清晰度增强处理(锐化处理)的FIR滤波器信号处理构成。

以下例子中，将第1滤波器处理及第2滤波器处理设为“使用了锐化滤波器的锐化处理”。即，第1滤波器处理部38及第2滤波器处理部39对所输入的图像信号进行使用了锐化滤波器的锐化处理(轮廓增强处理步骤)。在第1滤波器处理部38及第2滤波器处理部39中使用的锐化滤波器并无特别限定，可以使用公知的轮廓增强滤波器作为锐化滤波器。该锐化滤波器可以是预先确定的单一滤波器，也可以是按照摄影设定条件(光学特性信息的一例)从多个滤波器中选择的滤波器。从而，例如滤波器处理控制部37、第1滤波器处理部38或第2滤波器处理部39可以根据摄影设定条件而确定最佳锐化滤波器。并且，可以在图像整体中准备单一的锐化滤波器，也可以在图像内的每一个位置(每一个图像高度)准备不同的锐化滤波器。然而，可调整信号的频带在第1滤波器处理与第2滤波器处理之间至少一部分重复，表示增益的峰值的频率在第1滤波器处理与第2滤波器处理之间是不同的。

在此所谓的摄影设定条件可包括例如光圈信息、变焦信息、被摄体距离信息及光学系统所具有的透镜种类信息等“设定条件”，以及摄影灵敏度信息、摄影模式信息等“摄影条件”。

滤波器处理控制部37控制第1滤波器处理部38及第2滤波器处理部39。本例的滤波器处理控制部37根据第1滤波器处理中的信号增益的调整倍率及第2滤波器处理中的信号增益的调整倍率来获得总增益调整率。并且，滤波器处理控制部37获得第1滤波器处理及第2滤波器处理中的一方的调整倍率，并根据总增益调整率来计算第1滤波器处理及第2滤波器处理中的另一方的调整倍率。从而，在第1滤波器处理部38及第2滤波器处理部39进行锐化处理时，滤波器处理控制部37根据总增益调整率来调整第1滤波器处理及第2滤波器处理所涉及的锐化处理的信号增益的倍率。

图4是用于对滤波器处理强度的调整进行说明的示意图。图4的“总强度”为由所希望的画质确定的最终锐度目标强度值，直接或间接地表示对图像处理整体的输入和输出的大小的比率。本例的“总强度”可按照摄影设定条件(光学特性信息的一例)而变动，若摄影设定条件(光学特性信息的一例)被确定，则成为恒定的值。并且，“第1滤波器处理强度”为第1滤波器处理的锐化强度，“第2滤波器处理强度”为基于第2滤波器处理的锐化强度。

这些总强度、第1滤波器处理强度及第2滤波器处理强度是分别表示信号处理前后的信号的变化程度的指标，按照可适当地表示信号的变化程度的任意的基准而被确定。从而，在第1滤波器处理及第2滤波器处理分别包括滤波器应用处理及增益控制处理的情况下，“滤波器应用处理及增益控制处理”前后的变化可通过第1滤波器处理强度及第2滤波器处理强度而表示。

例如，可以假定并行地进行第1滤波器处理和第2滤波器处理，“第1滤波器处理强度”和“第2滤波器处理强度”通过“总强度”而确定的情况。该情况下，“第1滤波器处理强度+第2滤波器处理强度＝总强度”的关系成立，第2滤波器处理强度仅增减第1滤波器处理强度的增减的量，图4所示的第1滤波器处理强度和第2滤波器处理强度的边界位置(B)可以变动。从而，例如若总强度及第1滤波器处理强度被确定，则由两者可计算最佳第2滤波器处理强度。同样，若总强度及第2滤波器处理强度被确定，则可以由两者计算最佳第1滤波器处理强度。

另外，图4只是为了容易理解而示出直观示意图而已，并不表示在进行第1滤波器处理和第2滤波器处理的处理系统中“第1滤波器处理强度+第2滤波器处理强度＝总强度”的关系始终成立。例如，在先后进行第1滤波器处理和第2滤波器处理的情况下，根据第1滤波器处理强度和第2滤波器处理强度的乘积来确定总强度。从而，在以下实施方式中，以“基于第1滤波器处理强度及第2滤波器处理强度这两者的频率增幅率”与“基于总强度的频率增幅率”一致的方式可确定第1滤波器处理强度和第2滤波器处理强度。

能够以各种基准进行第1滤波器处理强度及第2滤波器处理强度的调整，例如能够以特定频率范围的图像成分中的频率增幅率相同的方式确定总强度。

通过这样设定总强度来调整第1滤波器处理强度及第2滤波器处理强度，能够抑制接受第1滤波器处理及第2滤波器处理的图像的锐度(解析度)的偏差，并能够提高输出图像(信号)的综合品质。

另外，以上对第1滤波器处理部38及第2滤波器处理部39进行频率特性不同的同一种滤波器处理(锐化处理)的情况进行了说明，但是在进行不同种类的滤波器处理的情况下，同样也能够调整第1滤波器处理强度及第2滤波器处理强度。例如，在第1滤波器处理部38进行点像复原处理，另一方面，第2滤波器处理部39进行锐化处理的情况下，可以优先设定第1滤波器处理强度，并按照第1滤波器处理强度而调整第2滤波器处理强度。该情况下，能够高精度地进行与光学系统(透镜16等)的PSF对应的点像复原处理。点像复原处理为精细的处理，若基础参数不正确，则容易导致过度校正等弊端，但通过优先确定第1滤波器处理强度而有效地防止过度校正等弊端。另一方面，也可以优先设定第2滤波器处理强度，并按照所设定的第2滤波器处理强度而调整第1滤波器处理强度。该情况下，优先进行弊端较少的稳定的处理即锐化处理。优先进行该锐化处理的情况适合于，使用光学特性优异且具有精度的光学系统(透镜16等)进行拍摄的情况；摄影场景为夜景或肖像的情况；进行艺术滤波器处理的情况等不易得到基于点像复原处理的效果的情况、容易产生基于点像复原处理的弊端的情况。

以下对第1滤波器处理(锐化处理)及第2滤波器处理(锐化处理)的调整的具体的实施方式进行说明。

＜第1实施方式＞

图5是表示第1实施方式所涉及的图像处理模块的结构的图。

在本实施方式的图像处理系统模型(图像处理部35)中，“第1滤波器处理模块”和“第2滤波器处理模块”串联连接(级联结合)，在两个处理模块中，可以连续进行信号强度的调整。即，第1滤波器处理部38及第2滤波器处理部39串联设置，输入图像信号在接受第1滤波器处理及第2滤波器处理中的一种处理(图5所示的例子中为“第1滤波器处理”)之后，接受另一种处理(图5所示的例子中为“第2滤波器处理”)。

本例的第1滤波器处理包括：在图像信号中应用锐化滤波器(第1滤波器)的处理；及根据调整倍率来调整通过应用锐化滤波器而得到的信号增益的倍率的处理。即，第1滤波器处理部38包括第1滤波器处理执行部42、第1滤波器处理乘法器43及第1滤波器处理加法器44。第1滤波器处理执行部42将锐化滤波器应用于输入图像数据中，并计算图像的增减量数据。第1滤波器处理乘法器43进行在第1滤波器处理执行部42中算出的增减量数据的增益控制，将增减量数据及第1增益调整倍率U进行相乘。将第1滤波器处理加法器44对输入到第1滤波器处理执行部42之前的图像信号(输入图像数据)和乘以第1增益调整倍率U的增减量数据进行相加。第1滤波器处理由这些第1滤波器处理执行部42、第1滤波器处理乘法器43及第1滤波器处理加法器44中的一系列处理构成。

另外，第1滤波器处理部38能够通过任意的方法将第1增益调整倍率U反映于图像数据，在本实施方式及其他实施方式中，也可以采用与上述方法相同的其他方法来代替上述方法。例如，可以对将锐化滤波器应用于输入图像数据中而得到的图像数据(输入图像数据+增减量数据)相乘第1增益调整倍率U，另一方面，对输入图像数据相乘倍率(1-U)，并将两者进行相加。

另一方面，本例的第2滤波器处理包括：在图像信号中应用锐化滤波器(第2滤波器)的处理；及根据调整倍率来调整通过应用锐化滤波器而得到的信号的增益的倍率的处理。即，第2滤波器处理部39包括第2滤波器处理执行部46、第2滤波器处理乘法器47及第2滤波器处理加法器48。在本例中，第1滤波器处理后的图像数据作为输入图像数据输入到第2滤波器处理执行部46。第2滤波器处理执行部46将锐化滤波器应用于输入图像数据中而计算图像的增减量数据。第2滤波器处理乘法器47进行在第2滤波器处理执行部46中算出的增减量数据的增益控制，并将增减量数据及第2增益调整倍率V进行相乘。第2滤波器处理加法器48将输入到第2滤波器处理执行部46之前的图像数据(进行第1滤波器处理后的图像信号)和乘以第2增益调整倍率V的增减量数据进行相加，从而生成输出图像数据。第2滤波器处理由这些第2滤波器处理执行部46、第2滤波器处理乘法器47及第2滤波器处理加法器48中的一系列处理构成。

另外，与第1增益调整倍率U的反映方法同样，第2滤波器处理部39能够通过任意的方法将第2增益调整倍率V反映于图像数据，在本实施方式及其他实施方式中，也可以采用与上述方法相同的其他方法来代替上述方法。例如，可以对将锐化滤波器(轮廓增强滤波器)应用于输入图像数据中而得到的图像数据(输入图像数据+增减量数据)相乘第2增益调整倍率V，另一方面，对输入图像数据相乘倍率(1-V)，并将两者进行相加。

另外，在第1滤波器处理执行部42及第2滤波器处理执行部46中使用的锐化滤波器能够通过任意的方法而被确定，但本例的第1滤波器处理执行部42及第2滤波器处理执行部46分别具有单一的锐化滤波器而进行使用。

滤波器处理控制部37根据外部输入参数来确定第1滤波器处理(第1滤波器处理乘法器43)中的调整倍率，并根据第1滤波器处理中的调整倍率和总增益调整率来计算第2滤波器处理(第2滤波器处理乘法器47)中的调整倍率。即，本例的滤波器处理控制部37包括强度自动调整部52，在强度自动调整部52中输入有第1滤波器处理调整变量(细节锐度调整变量)G及总增益调整率(总锐度目标值)D。

第1滤波器处理调整变量G为构成使用于第1滤波器处理部38(第1滤波器处理乘法器43)中的第1增益调整倍率U的基础的数据。总增益调整率D为根据第1增益调整倍率U及第2增益调整倍率V而确定的数据，成为用于确定后述的第1增益调整倍率U及第2增益调整倍率V的基准。第1滤波器处理调整变量G及总增益调整率D可以分别经由用户界面29并通过用户而被指定，也可以根据光学特性信息由滤波器处理控制部37等确定。从而，可以通过滤波器处理控制部37(主体控制器28)等来选择按照光学特性信息而不同的值的第1滤波器处理调整变量G及总增益调整率D。并且，可以预先确定第1滤波器处理调整变量G及总增益调整率D，另一方面，用户经由用户界面29适当地调整第1滤波器处理调整变量G及总增益调整率D。

在此所谓的“光学特性信息”可以包括光学系统所具有的透镜16的种类信息、光学系统的个体差异信息、其他摄影设定条件等。该光学特性信息存储于任意的存储部，例如可以在透镜单元12的存储部(透镜单元存储部21)中存储光学特性信息，也可以在相机主体14的存储部(主体存储部31)中存储光学特性信息。从而，在滤波器处理控制部37(主体控制器28)等中，第1滤波器处理调整变量G及总增益调整率D可以根据存储于存储部(光学系统存储部、主体存储部)中的光学特性信息而被确定。

另外，光学特性信息(摄影设定条件等)通过任意的方式输入到滤波器处理控制部37(强度自动调整部52)、第1滤波器处理部38(第1滤波器处理执行部42)及第2滤波器处理部39(第2滤波器处理执行部46)。例如，也可以从主体控制器28的设备控制部34及图像处理部35中的管理光学特性信息的控制处理部(未图示)，将光学特性信息根据需要发送到滤波器处理控制部37、第1滤波器处理部38及第2滤波器处理部39。

强度自动调整部52根据第1滤波器处理调整变量G来确定第1增益调整倍率U，并根据第1增益调整倍率U(第1滤波器处理调整变量G)及总增益调整率D来确定第2增益调整倍率V(其中，满足“第1增益调整倍率U≥0”及“第2增益调整倍率V≥0”)。具体而言，以通过第1增益调整倍率U及第2增益调整倍率V而被定义的总锐度评价值(总锐度评价函数)与总增益调整率D相等的方式搜索第2增益调整倍率V，从而确定第2增益调整倍率V。

另外，强度自动调整部52获得分别在第1滤波器处理执行部42及第2滤波器处理执行部46中使用的锐化滤波器的频率特性。例如在第1滤波器处理执行部42及第2滤波器处理执行部46中使用的锐化滤波器被固定的情况下，强度自动调整部52可以通过预先存储而获得各锐化滤波器的频率特性。并且在第1滤波器处理执行部42及第2滤波器处理执行部46中使用的锐化滤波器可以发送到强度自动调整部52，强度自动调整部52通过分析接收到的锐化滤波器而获得锐化滤波器的频率特性。强度自动调整部52在根据总锐度评价值来确定第1增益调整倍率U及第2增益调整倍率V时，考虑在第1滤波器处理执行部42及第2滤波器处理执行部46中使用的锐化滤波器的频率特性。具体而言，强度自动调整部52使锐化滤波器的频率特性反映于总锐度评价值，并根据反映了该锐化滤波器的频率特性的总锐度评价值来确定第1增益调整倍率U及第2增益调整倍率V。

然后，强度自动调整部52将所确定的第1增益调整倍率U发送到第1滤波器处理乘法器43，将第2增益调整倍率V发送到第2滤波器处理乘法器47。第1增益调整倍率U及第2增益调整倍率V分别为第1滤波器处理部38及第2滤波器处理部39中的强度调整参数。从而第1滤波器处理乘法器43及第2滤波器处理乘法器47使用从强度自动调整部52发送过来的第1增益调整倍率U及第2增益调整倍率V进行乘法处理。

强度自动调整部52中的第1增益调整倍率U及第2增益调整倍率V的确定，例如能够按照以下流程来进行。

在第1滤波器处理部38及第2滤波器处理部39中的图像处理之前，首先，强度自动调整部52(滤波器处理控制部37)获得第1滤波器处理调整变量G及总增益调整率D。在本例中，第1滤波器处理调整变量G及总增益调整率D预先由用户指定。由用户进行的第1滤波器处理调整变量G及总增益调整率D的指定方法并无特别限定，例如可以将用于指定第1滤波器处理调整变量G及总增益调整率D的滑块等调整构件显示于用户界面29(背面显示部等)，通过用户经由该调整构件进行操作也能够简易地确定第1滤波器处理调整变量G及总增益调整率D。

第1滤波器处理调整变量G为用于对在第1滤波器处理乘法器43中使用的第1滤波器处理的第1增益调整倍率U进行控制的基础数据(控制值)。在本例中，如后述，例如除了第1增益调整倍率U的值大于特定的阈值的情况以外，第1增益调整倍率U与第1滤波器处理调整变量G相等(第1增益调整倍率U＝第1滤波器处理调整变量G)。在第1滤波器处理调整变量G为0(零)的情况下，相当于第1滤波器处理处于关闭。该第1滤波器处理中的第1增益调整倍率U可以以取连续的值的方式变化，可以以取离散值的方式变化，可以根据开启或关闭(是“特定倍率”，还是“0(零)”)而变化，可以安装通过任意的方式可变更第1增益调整倍率U的处理回路等。

并且，总增益调整率D为确定在图像处理系统(第1滤波器处理部38及第2滤波器处理部39)整体中成为基础的锐度的数据。

另一方面，将在第1滤波器处理执行部42中使用的第1滤波器(用于抽取锐化处理中的轮廓增强成分的滤波器)的频率特性设为ψ(ω_x，ω_y)，将在第2滤波器处理执行部46中使用的第2滤波器的频率特性设为

(ω_x，ω_y)。该情况下，将第1滤波器处理部38及第2滤波器处理部39(锐化处理)进行组合的图5所示的图像处理系统整体的频率特性由下式1表示。

[数式1]

(式l) F(ω_x，ω_y|U，V)＝[1+U×ψ(ω_x，ω_y)]X[1+VXφ(ω_x，ω_y)]

“F(ω_x，ω_y|U，V)”表示关于将第1增益调整倍率U及第2增益调整倍率V作为参数的(ω_x，ω_y)(有关x方向及y方向的频率)的函数，该函数根据图像处理系统的结构而被确定。

在第1滤波器处理乘法器43中使用的第1增益调整倍率U及在第2滤波器处理乘法器47中使用的第2增益调整倍率V的确定，以将通过下式2而定义的总锐度评价值(总锐化率)C(U，V)保持为恒定的值(总增益调整率D)的方式进行实施。

[数式2]

(式2) C(U，V)＝∫∫w(ω_x，ω_y)F(ω_x，ω_y)|U，V)dω_x，dω_y

在此，“w(ω_x，ω_y)”为任意的加权函数，总锐度评价值C(U，V)通过系统整体的频率特性的加权运算而被定义。加权函数w(ω_x，ω_y)优选设计成在视觉上显著的频率成分中成为较大的值。通过使用在上式2中定义的总锐度评价值C(U，V)，即使使第1滤波器处理的强度变化，在所关注的频带中，频率增强的程度也不变，且不产生锐度较大的背离。另一方面，在加权函数w(ω_x，ω_y)较小的频带中，因用户的调整而画质的差异容易变得明显。

基于上述内容，能够如下确定第1增益调整倍率U及第2增益调整倍率V的值。即，强度自动调整部52根据所输入的第1滤波器处理调整变量G来确定第1增益调整倍率U的值，并以总锐度评价值C(U，V)成为总增益调整率D的方式确定第2增益调整倍率V的值。从而，若第1增益调整倍率U的值变大，则第2增益调整倍率V的值变小，若第1增益调整倍率U的值变小，则第2增益调整倍率V的值变大。然而，若第1增益调整倍率U的值过大，则即使将第2增益调整倍率V的值设为零“0”，也有可能产生无法将总锐度评价值C(U，V)保持为恒定的情况。即，有可能在将总锐度评价值C(U，V)保持为恒定的第1增益调整倍率U的范围内存在限制。

若将第1增益调整倍率U的上限值标记为“U_MAX”，则总锐度评价值C(U，V)满足“C(U_MAX，0)＝D”的关系，因此第1增益调整倍率U的最大值如下式3那样被限制。

[数式3]

上式3表示在第1滤波器处理调整变量G为第1增益调整倍率U的上限值U_MAX以下的情况下，将第1滤波器处理调整变量G设定为第1增益调整倍率U(U＝G)，在第1滤波器处理调整变量G超过第1增益调整倍率U的上限值U_MAX的情况下，将第1增益调整倍率U的上限值U_MAX设定为第1增益调整倍率U(U＝U_MAX)。

通过找出总锐度评价值满足“C(U，V)＝D”的关系的第2增益调整倍率V而计算第2增益调整倍率V的值。这等于对1次方程式进行求解，强度自动调整部52容易求出第2增益调整倍率V。第2增益调整倍率V的计算难易度取决于系统整体的频率特性F(ω_x，ω_y|U，V)的定义。在该频率特性F(ω_x，ω_y|U，V)成为非线性函数，从而不易找出使上述等式严格地成立的第2增益调整倍率V的情况下，也可以进行采用使总锐度评价值C(U，V)最接近于总增益调整率D的第2增益调整倍率V的公式化。

通过上述一系列处理，能够计算将总锐度评价值C(U，V)保持为恒定(总增益调整率D)的第1增益调整倍率U及第2增益调整倍率V。

如以上说明，根据本实施方式，由于根据总锐度(总锐度评价值)来确定第1增益调整倍率U及第2增益调整倍率V，因此能够抑制基于第1滤波器处理及第2滤波器处理的图像(输出图像)的锐度的偏差，并使输出图像中的总体的分辨率和画质稳定。

尤其，在系统整体的频率响应中，在将特定的加权频带的响应保持恒定的状态下使频率特性整体的形状变化，从而可以灵活地调整系统整体的频率响应。从而，可以应用例如维持成为基础的锐度的同时调整细节的锐度等。并且，以主要频带中的加权变大的方式确定总锐度评价值，从而主要频带中的锐化强度被恒定化，可防止锐度的背离变得过大。

并且，通过调整第1增益调整倍率U及第2增益调整倍率V，不变更锐化滤波器就能够使第1滤波器处理及第2滤波器处理整体的频率特性连续变化。从而，通过调整第1增益调整倍率U及第2增益调整倍率V，能够简单地实现所希望的频率特性。因此，为了实现多种频率特性，需要准备及具有多个锐化滤波器(第1滤波器及第2滤波器)，并且无需以动态方式设计锐化滤波器(第1滤波器及第2滤波器)。

并且，两个图像处理(第1滤波器处理及第2滤波器处理)的强度调整参数的控制通常需要“2个变量”的控制，控制的自由度成为“2”。然而，根据本实施方式所涉及的强度调整处理，在预先存储的总增益调整率D不经由用户的操作自动供给到强度自动调整部52的情况下，所需要的控制的自由度成为“1”。即，仅通过确定第1滤波器处理调整变量G，就能够根据总增益调整率D来确定合适的锐化强度(第1增益调整倍率U及第2增益调整倍率V)。由此，能够提供用户直观地容易操作的用户界面29。

另外，在上述例中，通过第1滤波器处理调整变量G而确定第1增益调整倍率U，并由第1增益调整倍率U及总增益调整率D计算第2增益调整倍率V，但第2增益调整倍率V的基础数据也可以输入到强度自动调整部52。即，也可以第2滤波器处理调整变量输入到强度自动调整部52来代替第1滤波器处理调整变量G。该情况下，强度自动调整部52能够根据所输入的第2滤波器处理调整变量来确定第2增益调整倍率V，并能够由第2增益调整倍率V及总增益调整率D计算第1增益调整倍率U。

＜第2实施方式＞

本实施方式所涉及的滤波器处理控制部37将信号处理部40(第1滤波器处理部38及第2滤波器处理部39)前后的图像信号的比率调整为在某一特定频率(第1频率)中特定的响应目标比率，由此求出第1增益调整倍率U及第2增益调整倍率V。

在本实施方式中，关于与图5所示的第1实施方式相同的结构，赋予相同的符号并省略详细说明。

图6是例示图像处理的频率特性的图，图6(a)表示第1滤波器处理(第1滤波器处理执行部42)中的“频率-增益”关系例，图6(b)表示第2滤波器处理(第2滤波器处理执行部46)中的“频率-增益”关系例，图6(c)表示第1滤波器处理及第2滤波器处理(信号处理部40)整体中的“频率-增益”关系例。

本实施方式的图像处理中，上述第1实施方式所涉及的图像处理的一部分被简易化，关注某一特定频率，关于其关注频率，对“第1增益调整倍率U及第2增益调整倍率V”进行精确定位调整。

在此所谓的关注频率并无特别限定，例如能够将视觉特性上显著的频率设定为关注频率。并且关注频率的数也不受限定，可以是单数，也可以是复数。

具体而言，该图像处理通过如下定义总锐度评价值C(U，V)的式(参考上述“式2”)的加权函数w(ω_x，ω_y)而可以实现。

[数式4]

(式4) w(ω_x，ω_y)＝δ(ω_x-ω₀)×δ(ω_y)

在上式4中，“δ(x)”表示克罗内克(Kronecker)δ函数，“ω₀”表示特定频率f0中的x方向的频率。上式4中，关于频率仅参照x方向的频率。这是因为假定锐化滤波器的频率特性是各向同性的，因此只要参照特定方向(上式4中的“x方向”)即可。

通过使用在上式4中表示的加权函数，如图6(c)所示，即使第1滤波器处理调整变量G为任意的值，图像处理系统整体的频率特性在特定频率f0中始终成为特定增益(总增益调整率D)。

第1滤波器处理整体(第1滤波器处理部38)的频率特性通过基于第1滤波器处理执行部42的滤波器处理和基于第1滤波器处理乘法器43的增益控制处理而被确定，通过第1滤波器处理执行部42的频率特性(参考图6(a))的倍率通过由第1增益调整倍率U调整而被确定。同样，第2滤波器处理整体(第2滤波器处理部39)的频率特性通过基于第2滤波器处理执行部46的滤波器处理和基于第2滤波器处理乘法器47的增益控制处理而被确定，第2滤波器处理执行部46的频率特性(参考图6(b))的倍率通过由第2增益调整倍率V调整而被确定。从而图像处理系统整体的频率特性(参考图6(c))通过控制应用于第1滤波器处理执行部42及第2滤波器处理执行部46中的频率特性(参考图6(a)及图6(b))的第1增益调整倍率U及第2增益调整倍率V而能够进行调整。

在强度自动调整部52中的第1增益调整倍率U及第2增益调整倍率V的调整中，虽然有在特定频率f0中实现总增益调整率D的限制，但是具体的调整例并非确定为1个。例如，在要增强图像的高频成分的情况下，如图6(c)的“调整例1”所示，以实现增强高频成分的增益的方式确定第1增益调整倍率U及第2增益调整倍率V。另一方面，在不增强图像的高频成分，而要增强低频～中频的成分的情况下，如图6(c)的“调整例2”所示，增益主要应用于低频～中频的成分的第1增益调整倍率U及第2增益调整倍率V被确定。

其他结构与图5所示的第1实施方式相同。

如以上说明，根据本实施方式，能够抑制经过第1滤波器处理及第2滤波器处理的输出图像中的锐度的偏差，并使画质稳定。

尤其，由于在特定频率f0中的增益被固定，因此例如可以采用“将成为基础的低频的锐度保持为恒定的同时调整高频的锐度”等方法，并可以灵活地控制图像处理整体的频率特性。例如，将滑块等操作构件显示于用户界面29，以使用户能够经由该操作构件调整第1滤波器处理调整变量G，从而可以将在图像信号中成为基础的低频的锐度设为恒定的状态下调整高频的锐度。

＜第3实施方式＞

图7是表示第3实施方式所涉及的图像处理模块的结构的图。

在本实施方式中，关于与图5所示的第1实施方式相同的结构，赋予相同的符号并省略详细说明。

本实施方式所涉及的第1滤波器处理部38及第2滤波器处理部39并列设置。图像信号输入到第1滤波器处理部38及第2滤波器处理部39，基于第1滤波器处理的图像信号的增减量数据和基于第2滤波器处理的图像信号的增减量数据被相加。

本实施方式的图像处理部35具有锐化调整部63。锐化调整部63包括：第1加法器61，将来自第1滤波器处理部38的图像数据的增减量数据和来自第2滤波器处理部39的图像数据的增减量数据进行相加；及第2加法器62，将从第1加法器61输出的相加后增减量数据和输入图像数据进行相加。

在上述结构的本实施方式中，并行地进行对图像信号的“基于第1滤波器处理执行部42及第1滤波器处理乘法器43的第1滤波器处理”和“基于第2滤波器处理执行部46及第2滤波器处理乘法器47的第2滤波器处理”，并在各处理中计算相当于与图像信号(输入图像数据)的差分值的增减量数据。基于第1滤波器处理的图像信号的增减量数据和基于第2滤波器处理的图像信号的增减量数据通过第1加法器61而被相加，并算出基于第1滤波器处理及第2滤波器处理整体的图像数据的增减量数据。该“基于处理整体的图像数据的增减量数据”和图像信号(输入图像)通过第2加法器62而被相加，生成实施了第1滤波器处理及第2滤波器处理的图像信号(输出图像)。

其他结构与图5所示的第1实施方式相同。例如，在第1滤波器处理乘法器43及第2滤波器处理乘法器47中使用的第1增益调整倍率U及第2增益调整倍率V通过强度自动调整部52而适当地被确定。

本例的图像处理系统整体的频率特性由下式5表示。

[数式5]

(式5) F(ω_x，ω_y|U，V)＝1+U×ψ(ω_x，ω_y)+V×φ(ω_x，ω_y)

在上式5中，第1滤波器处理部38的频率特性由“U×ψ(ω_x，ω_y)”来表示，第2滤波器处理部39的频率特性由

来表示。从而通过第1加法器61进行的加法处理基于

的频率特性，通过第2加法器62进行的加法处理基于

的频率特性。

如以上说明，在本实施方式中，也与第1滤波器处理部38及第2滤波器处理部39串联配置的情况相同，能够抑制经过第1滤波器处理及第2滤波器处理的输出图像中的锐度的偏差，并使画质稳定。并且即使第1滤波器处理部38及第2滤波器处理部39并列排列，也能够进行如下控制，即例如在图像信号中成为基础的低频的锐度设为恒定的状态下，调整控制高频的锐度等。

＜第4实施方式＞

本实施方式所涉及的图像处理部35还具备进行图像信号的非线性处理的非线性处理部，在2级滤波器处理系统(第1滤波器处理部38及第2滤波器处理部39)中导入有非线性处理。该非线性处理部包含于第1滤波器处理部38及第2滤波器处理部39中的至少任一方，在下述内容中，关于非线性处理部65设置于第1滤波器处理部38的例子进行说明。

非线性处理通常无法仅由加减乘除的运算处理构成，例如可包括LUT(查表)的参照、伴随条件分支的处理。非线性处理多以抑制伪影、噪声为目的进行，例如可以将“在图像信号中将超过剪辑阈值的图像信号值(像素值)调整为剪辑阈值的剪辑处理”作为非线性处理来进行。

图8是表示第4实施方式所涉及的图像处理模块的结构的图。图9是例示图像处理的频率特性的图，图9(a)表示第1滤波器处理(第1滤波器处理执行部42)中的“频率-增益”关系例，图9(b)表示第2滤波器处理(第2滤波器处理执行部46)中的“频率-增益”关系例。

在本实施方式中，关于与图5所示的第1实施方式相同的结构，附加相同的符号并省略详细说明。

本例的第1滤波器处理(第1滤波器处理部38)包括如下一系列处理：对通过锐化滤波器抽取的图像信号的增强成分应用增强倍率；对应用增强倍率后的图像增强成分应用非线性处理；及非线性处理后的图像增强成分和元图像的合成。

即，图像信号(输入图像数据)输入到第1滤波器处理执行部42而进行基于第1滤波器的滤波处理，并计算基于第1滤波器处理的图像信号的增减量数据。增减量数据输入到第1滤波器处理乘法器43，通过第1滤波器处理乘法器43将增减量数据及第1增益调整倍率U进行相乘，相乘后的增减量数据被输入到非线性处理部65。

在非线性处理部65中，对所输入的增减量数据进行剪辑处理(非线性处理)，在所输入的增减量数据(图像数据)中，将超过特定的剪辑阈值的数据调整为剪辑阈值。另外，剪辑阈值可以预先被确定，且由非线性处理部65进行存储，也可以用户经由用户界面29来直接或间接地指定剪辑阈值。剪辑处理后的图像信号的增减量数据与在第1滤波器处理加法器44中输入到第1滤波器处理执行部42之前的图像数据(输入图像)被相加，并算出第1滤波器处理后的图像信号(图像数据)。

如下式6所示，通过非线性处理部65进行的剪辑处理为将图像信号限制为不取剪辑阈值θ(≥0)以上的值的处理。

[数式6]

根据由上述式6表示的剪辑处理函数CLIP(x)，在图像信号的信号成分(x)的绝对值小于剪辑阈值θ的情况下(|x|＜θ)，信号成分保持为不会通过剪辑处理而被调整，而是从非线性处理部65输出“x”。另一方面，图像信号的信号成分(x)的绝对值为剪辑阈值θ以上的情况下(|x|≥θ)，信号成分通过符号函数(signum function)而被调整，从非线性处理部65输出“sign(x)×θ”。

本例的滤波器处理控制部37(强度自动调整部52)也可以考虑该剪辑处理(非线性处理)，并按照剪辑阈值θ来确定第1滤波器处理及第2滤波器处理中的至少任一方的调整倍率(第1增益调整倍率U、第2增益调整倍率V)。

其他结构与图5所示的第1实施方式相同。例如，第2滤波器处理部39中的第2滤波器处理执行部46的滤波处理、第2滤波器处理乘法器47的乘法处理及第2滤波器处理加法器48的加法处理，以与上述第1实施方式相同的方式进行。

另外，在本例中，在第1滤波器处理部38中设置非线性处理部65，但非线性处理部可以仅设置于第2滤波器处理部39，也可以设置于第1滤波器处理部38及第2滤波器处理部39这两者。然而，若利用第1滤波器处理部38及第2滤波器处理部39这两者进行非线性处理，则图像处理系统整体的频率响应近似式变得复杂，有可能难以进行将总锐度评价值C(U，V)保持为恒定的值的同时确定第1增益调整倍率U及第2增益调整倍率V的控制。

在高对比度的波形(图像信号)输入到具有图8所示结构的图像处理系统(图像处理部35)的情况下，通过基于第1滤波器处理执行部42及第1滤波器处理乘法器43的处理，高对比度波形信号的增强成分具有较大的振幅。然而，通过在非线性处理部65中进行剪辑处理而限制高对比度波形信号的增强成分，基于设置于前级的第1滤波器处理执行部42及第1滤波器处理乘法器43的信号增强效果减弱。另一方面，在第2滤波器处理部39中未进行非线性处理，高对比度波形信号通过第2滤波器处理执行部46及第2滤波器处理乘法器47而被增强。从而，对于高对比度波形信号，基于第2滤波器处理部39的影响比与第1滤波器处理部38的影响大，因此基于第2滤波器处理部39的频率增强作用占主导地位。

另一方面，在低对比度的波形(图像信号)输入到图8所示的图像处理系统的情况下，信号通过基于第1滤波器处理执行部42及第1滤波器处理乘法器43的处理而被增强，但由于是低对比度，因此增强成分的振幅较小。从而，接受基于第1滤波器处理执行部42及第1滤波器处理乘法器43的处理的低对比度波形信号不易受到基于非线性处理部65中的剪辑处理的限制，实际上不被剪辑而容易通过非线性处理部65。从而，对于低对比度波形信号，第1滤波器处理部38及第2滤波器处理部39协同作用，从而基于两者的信号处理效果(锐化效果)协同地发挥作用。

另外，在图8所示的例子中，仅在第1滤波器处理部38中设置非线性处理部65，但仅在第2滤波器处理部39中设置非线性处理部(剪辑处理部)65的情况也相同。该情况下，对于高对比度波形信号，基于第1滤波器处理部38的影响比第2滤波器处理部39的影响容易变大，而对于低对比度波形信号，第1滤波器处理部38及第2滤波器处理部39协同地发挥作用。

如此，仅在第1滤波器处理部38及第2滤波器处理部39中的一方设置非线性处理部65的情况下，能够使高对比度频率特性和低对比度频率特性不同。从而，例如在用户指定调整变量(例如第1滤波器处理调整变量G)而求出增益调整倍率(例如第1增益调整倍率U)的情况下，在用户指定调整变量的处理部(例如第1滤波器处理部38)中不设置非线性处理部65，而在用户不指定调整变量的处理部(例如第2滤波器处理部39)中设置非线性处理部65，从而通过图像信号而能够有效地反映用户的要求。

在进行非线性处理的图像处理部包含于信号处理系统的情况下，原则上，无法准确地求出其信号处理系统的频率特性，有时无法应用第1增益调整倍率U及第2增益调整倍率V的自动计算处理。从而，在进行非线性处理的情况下，可以从相对于特定的输入波形的输出波形近似地评价内部的频率特性，并利用通过近似的评价而得到的频率特性，由此进行第1增益调整倍率U及第2增益调整倍率V的自动计算处理。该情况下，需要求出系统整体的频率特性F(ω_x，ω_y|U，V)，要求通过数式来表示对于特定的输入波形的系统的频率响应近似式。该系统的频率响应近似式的精确度取决于非线性处理的具体的内容。

例如，在包括图8所示的剪辑处理的图像处理系统中，使用预先掌握了特性的输入波形(图像信号)，如上述第2实施方式，以在特定频率f0中具有特定的值(总增益调整率D)的方式定义加权函数w(ω_x，ω_y)的情况下(参考上述“式4”)，本申请发明人凭经验得知能够通过下式7来近似地表示图像处理系统整体的频率特性。

[数式7]

(式7) F(ω_x，ω_y|U，V)＝[1+min(U×ψ(ω_x，ω_y)，A)]×[1+V×φ(ω_x，ω_y)]

在上述式7中，“A”为取决于剪辑阈值θ和输入图像信号的锐度(模糊度)的常数。并且，“min(U×ψ(ω_x，ω_y)，A)”为表示在“U×ψ(ω_x，ω_y)”及“A”中较小的函数。

使用上式7，若进行上述第2实施方式所涉及的“与“第1增益调整倍率U及第2增益调整倍率V”的关注频率f0有关的精确定位调整”，则即使第1滤波器处理调整变量G为任意的值，对于高对比度的输入波形(图像信号)的频率特性(高对比度频率特性)也不会发生很大变化，成为基础的锐度不易变化。另一方面，若第1滤波器处理调整变量G变大，则对于低对比度的图像信号的频率特性(低对比度频率特性)被增幅。

图10是例示图像处理的频率特性的图，图10(a)是表示对高对比度波形信号进行调整的例的图，图10(b)是表示对低对比度波形信号进行调整的例的图。若比较图10(a)及图10(b)的调整例1和调整例2，则在图10(a)的高对比度波形信号中，在调整例1和调整例2之间，频率特性(“频率-增益”特性)几乎不变，而在图10(b)的低对比度波形信号中，在调整例1和调整例2中频率特性变化较大。

如此，根据本例，通过调整第1滤波器处理调整变量G，能够几乎不改变图像信号中的高对比度成分便能够控制基于低对比度成分的细节增强度。

如以上说明，根据本实施方式，即使在第1滤波器处理部38和/或第2滤波器处理部39中进行非线性处理的情况下，也能够准确地求出第1增益调整倍率U及第2增益调整倍率V。即，即使在滤波器应用部(第1滤波器处理执行部42、第2滤波器处理执行部46)的后级进行非线性处理，也能够以相对于图像信号的特定的输入波形的频率特性几乎恒定的方式调整第1增益调整倍率U及第2增益调整倍率V，并在特定频率f0中得到所希望的增益(总增益调整率D)。

另外，由于用户能够经由显示于用户界面29的滑块等操作构件调整第1滤波器处理调整变量G，因此能够简单地将成为基础的高对比度的锐度保持为恒定的同时独立地仅调整低对比度的锐度。

另外，在上述实施例中，对第1滤波器处理(第1滤波器处理执行部42及第1滤波器处理乘法器43)的频率特性和第2滤波器处理(第2滤波器处理执行部46及第2滤波器处理乘法器47)的频率特性不同的情况(参考图9)进行了说明，但是在本实施方式中，第1滤波器处理的频率特性和第2滤波器处理的频率特性也可以相同。即，在第1滤波器处理部38和/或第2滤波器处理部39中包含非线性处理模块的情况下，即使第1滤波器处理及第2滤波器处理的频率特性相同，也能够通过图8所示的处理结构进行所希望的频率成分调整。

＜其他变形例＞

上述实施方式只不过是例示，对于其他结构也可以应用本发明。

图11是表示一变形例所涉及的图像处理模块的结构的图。

在上述实施方式中，示出在第1滤波器处理部38及第2滤波器处理部39中进行相同种类的图像处理(锐化处理)的例子，但是在第1滤波器处理部38及第2滤波器处理部39中也可以进行不同种类的图像处理。例如，可以在第1滤波器处理部38中进行点像复原处理，在第2滤波器处理部39中进行锐化处理。该情况下，在第1滤波器处理执行部42中，作为第1滤波器处理进行使用了基于摄像光学系统的点扩散函数的复原滤波器的复原处理，所使用的复原滤波器根据拍摄获得图像信号时的摄影设定条件而被确定。复原滤波器及摄影设定条件的获得方法并无特别限定，例如，如图11所示，也可以摄影设定条件S输入到复原滤波器选择部53，复原滤波器选择部53从存储多个复原滤波器的复原滤波器存储部58选择与摄影设定条件S对应的复原滤波器X，并发送到第1滤波器处理执行部42及强度自动调整部52。

另外，使用了基于点扩散函数的复原滤波器的复原处理并无特别限定，不仅可以是降低因光学系统的点扩散现象引起的画质劣化的处理，而且也可以是例如降低因拍摄时的抖动(手抖或被摄体抖动等)而引起的画质劣化的处理。从而，成为复原滤波器的基础的点扩散函数并不限定于表示对光学系统的点光源响应的函数，也可以是反映了在通过摄像装置拍摄时检测到的被摄体的移动量(例如由手抖、被摄体抖动等引起的被摄体的移动量)的函数。因此，在第1滤波器处理部38和/或第2滤波器处理部39中进行点像复原处理的情况下，能够进行从因光学系统的点扩散现象而变得模糊的图像中获得清晰图像的模糊恢复处理、从抖动图像获得清晰图像的电子式手抖校正处理。

并且，第1滤波器处理及第2滤波器处理中的至少任一方的调整倍率(第1增益调整倍率U、第2增益调整倍率V)可以根据拍摄获得图像信号时的摄影设定条件而被确定。例如，如图11所示，可以在透镜单元12的透镜单元存储部21中设置存储多个第1滤波器处理调整变量G的第1滤波器强度列表存储部67，输入有摄影设定条件S的调整变量选择部69从第1滤波器强度列表存储部67选择对应于摄影设定条件S的第1滤波器处理调整变量G，并供给到强度自动调整部52。并且，也可以在透镜单元12的透镜单元存储部21设置存储多个第2增益调整倍率V0的第2滤波器强度列表存储部60，输入有摄影设定条件S的第2滤波器强度选择部54从第2滤波器强度列表存储部60选择对应于摄影设定条件S的第2增益调整倍率V0，并供给到强度自动调整部52。该情况下，通过将“将第1滤波器处理部38中的处理实际上设为关闭时的第2增益调整倍率V0”存储于第2滤波器强度列表存储部60，可以将从第2滤波器强度选择部54发送到强度自动调整部52的第2增益调整倍率V0作为总增益调整率D来使用。

并且，在上述各实施方式中，对于在数码相机10中自动调整计算第1增益调整倍率U及第2增益调整倍率V的例子进行了说明，但是可以在出厂前在制造厂家预先进行自动调整计算，并将算出的第1增益调整倍率U及第2增益调整倍率V的所有参数存储并保持于数码相机10(透镜单元存储部21、主体存储部31等)。例如数码相机10存储并保持将“第1增益调整倍率U及第2增益调整倍率V”和“摄影设定条件S”建立对应关联的图表，强度自动调整部52通过参照该图表由摄影设定条件S求出第1增益调整倍率U及第2增益调整倍率V。该情况下，生成使用于数码相机10(图像处理部)中的参数的参数生成方法具备：“根据第1滤波器处理中的信号增益的调整倍率及第2滤波器处理中的信号增益的调整倍率来获得总增益调整率的步骤”；及“获得第1滤波器处理及第2滤波器处理中的一方的调整倍率，并根据总增益调整率来计算第1滤波器处理及前記第2滤波器处理中的另一方的调整倍率的步骤”。这些步骤例如可以通过与上述第1实施方式所涉及的强度自动调整部52相同的方式执行。

并且，可以将在本说明书中记载的实施方式彼此适当地进行组合，也可以将第1实施方式～第4实施方式及变形例中的任意的方式彼此组合。

并且，上述各功能结构通过任意的硬件、软件、或者两者的组合而可适当地实现。例如，也能够将本发明适用于：使计算机执行上述各装置及处理部(主体控制器28、设备控制部34、图像处理部35(滤波器处理控制部37、第1滤波器处理部38、第2滤波器处理部39)等)中的图像处理方法(图像处理流程)的程序；记录该程序的计算机可读取记录介质(非临时记录介质)；或者可安装该程序的计算机。

并且，可适用本发明的方式并不限定于数码相机及计算机(服务器)，除了将摄像作为主要功能的相机类以外，对于不仅具备摄像功能，而且还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类也能够应用本发明。作为可应用本发明的其他方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal DigitalAssistants)、便携式游戏机。以下，对可应用本发明的智能手机的一例进行说明。

＜智能手机的结构＞

图12是表示作为本发明的摄像装置的一实施方式的智能手机101的外观的图。图12所示的智能手机101具有平板状的框体102，并具备在框体102的一面作为显示部的显示面板121与作为输入部的操作面板122成为一体的显示输入部120。并且，该框体102具备扬声器131、麦克风132、操作部140、相机部141。另外，框体102的结构并不限定于此，例如能够采用使显示部和输入部独立的结构，或者采用折叠结构或具有滑动机构的结构。

图13是表示图12所示的智能手机101的结构的框图。如图13所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190、主控制部100。并且，作为智能手机101的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。

无线通信部110按照主控制部100的指令对收纳于移动通信网NW的基站装置BS进行无线通信。通过使用这种无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。

显示输入部120为所谓的触控面板，其通过主控制部100的控制而显示图像(静态图像及动态图像)、文字信息等，从而对用户传递视觉上的信息，并检测对所显示信息的用户操作，所述显示输入部120具备显示面板121和操作面板122。

显示面板121将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板122为载置成能够识别显示于显示面板121的显示面上的图像，且对通过用户的手指或触笔来操作的一个或多个坐标进行检测的设备。若通过用户的手指或触笔来操作这种设备，则将通过操作而产生的检测信号输出到主控制部100。接着，主控制部100根据接收到的检测信号来检测显示面板121上的操作位置(坐标)。

如图12所示，作为本发明的摄像装置的一实施方式而例示的智能手机101的显示面板121和操作面板122成为一体而构成显示输入部120，成为操作面板122完全包覆显示面板121的配置。当采用这种配置时，操作面板122在显示面板121以外部区域也具备检测用户操作的功能。换言之，操作面板122也可以具备与显示面板121重叠的重叠部分的检测区域(以下，称作显示区域)、及除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称作非显示区域)。

另外，可以使显示区域的大小和显示面板121的大小完全一致，但是未必使两者一致。并且，操作面板122也可以具备外缘部分和除此以外的内侧部分这两个感应区域。另外，外缘部分的宽度根据框体102的大小等而可适当地设计。另外，作为在操作面板122中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面声波方式、红外线方式、电磁感应方式、静电容量方式等，能够采用任一种方式。

通话部130具备扬声器131、麦克风132，通过将通过麦克风132输入的用户的语音转换为可以由主控制部100处理的语音数据而能够输出到主控制部100，或者将通过无线通信部110或外部输入输出部160接收到的语音数据进行解码而从扬声器131输出。并且，如图12所示，例如，能够将扬声器131搭载于与设置有显示输入部120的面相同的面上，并能够将麦克风132搭载于框体102的侧面。

操作部140为使用了键开关等的硬件键，接收来自用户的指令。例如，如图12所示，操作部140搭载于智能手机101的框体102的侧面，是利用手指等按下时开启，手指离开时通过弹簧等的复原力而成为切断状态的按钮式开关。

存储部150存储主控制部100的控制程序或控制数据、应用软件、将通信对象的名称或电话号码等建立对应关联的地址数据、收发的电子邮件数据、通过Web浏览下载的Web数据、下载内容数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各自的内部存储部151和外部存储部152利用如下存储介质来实现：闪存式(flash memorytype)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器[例如，MicroSD(注册商标)存储器等]、RAM(Random Access Memory)、ROM(Read Only Memory)等。

外部输入输出部160发挥与连结于智能手机101上的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接于其他外部设备。

作为连结于智能手机101的外部设备，例如有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)和SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频-视频I/O(Input/Output)端子连接的外部音频-视频设备、无线连接的外部音频-视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的耳机等。外部输入输出部可以将从这种外部设备接收到的传输数据传递给智能手机101的内部的各构成要件，或智能手机101的内部的数据也可以传输到外部设备。

GPS接收部170按照主控制部100的指令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的定位运算处理，检测由智能手机101的纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110、外部输入输出部160(例如无线LAN)获得位置信息的情况下，还能够利用该位置信息来检测位置。

动作传感器部180具备例如3轴加速度传感器等，并按照主控制部100的指令检测智能手机101的物理动作。通过检测智能手机101的物理动作，可检测智能手机101的移动方向、加速度。这种检测结果被输出到主控制部100。

电源部190按照主控制部100的指令，对智能手机101的各部供给积蓄在电池(未图示)的电力。

主控制部100具备微处理器，按照存储部150所存储的控制程序、控制数据进行动作，通过综合控制智能手机101的各部而进行控制。并且，主控制部100为了通过无线通信部110进行语音通信和数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。

应用处理功能是通过主控制部100按照存储部150所存储的应用软件进行动作而实现。作为应用处理功能，例如有通过控制外部输入输出部160而与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。

并且，主控制部100具备根据接收数据、下载的流数据等图像数据(静态图像、动态图像的数据)将视频显示于显示输入部120等的图像处理功能。图像处理功能是指主控制部100对上述图像数据进行解码，并对这种解码结果实施图像处理，从而将图像显示于显示输入部120的功能。

另外，主控制部100执行对显示面板121的显示控制及通过操作部140、操作面板122检测用户操作的操作检测控制。

通过执行显示控制，主控制部100显示用于启动应用软件的图标、滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指关于无法落入显示面板121的显示区域的较大的图像等，用于接受移动图像的显示部分的指令的软件键。

并且，通过执行操作检测控制，主控制部100通过操作部140来检测用户操作，或者通过操作面板122接受对上述图标的操作、对上述窗口的输入栏输入字符串，或者通过滚动条接受显示图像的滚动请求。

另外，通过执行操作检测控制，主控制部100具备如下触控面板控制功能，即判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域、软件键的显示位置。

并且，主控制部100还能够检测对操作面板122的手势操作，并根据检测到的手势操作能够执行预先设定的功能。手势操作并非是以往单纯的触控操作，而是通过手指等描绘轨迹，或者同时指定多个位置，或者将它们进行组合而从多个位置至少对1个位置描绘轨迹的操作。

相机部141为使用CMOS等成像元件进行电子摄影的数码相机。并且，相机部141能够通过主控制部100的控制，将通过摄影而得到的图像数据转换成例如JPEG等已压缩的图像数据并记录于存储部150，或者能够通过外部输入输出部160、无线通信部110进行输出。如图12所示，在智能手机101中，相机部141搭载于与显示输入部120相同的面上，但相机部141的搭载位置并不限定于此，还可以搭载于显示输入部120的背面，或者也可以搭载有多个相机部141。另外，在搭载有多个相机部141的情况下，还能够切换供拍摄的相机部141而单独进行拍摄，或者能够同时使用多个相机部141进行拍摄。

并且，相机部141能够利用于智能手机101的各种功能。例如，能够在显示面板121上显示通过相机部141而获得的图像，或者作为操作面板122的操作输入之一而能够利用相机部141的图像。并且，在GPS接收部170检测位置时，能够参照来自相机部141的图像来检测位置。另外，还能够参照来自相机部141的图像，不使用3轴加速度传感器，或者通过併用3轴加速度传感器来判断智能手机101的相机部141的光轴方向，且能够判断当前的使用环境。当然，也可以在应用软件中利用来自相机部141的图像。

另外，对静态图像或动态图像的图像数据附加通过GPS接收部170而获得的位置信息、通过麦克风132而获得的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部180而获得的姿势信息等并可以记录于存储部150，或者能够通过外部输入输出部160、无线通信部110进行输出。

上述图像处理部35(滤波器处理控制部37、第1滤波器处理部38、第2滤波器处理部39：参考图3)例如可以通过主控制部100来实现。

符号说明

10-数码相机，12-透镜单元，14-相机主体，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，21-透镜单元存储部，22-透镜单元输入输出部，26-成像元件，28-主体控制器，29-用户界面，30-相机主体输入输出部，31-主体存储部，32-输入输出接口，34-设备控制部，35-图像处理部，37-滤波器处理控制部，38-第1滤波器处理部，39-第2滤波器处理部，40-信号处理部，42-第1滤波器处理执行部，43-第1滤波器处理乘法器，44-第1滤波器处理加法器，46-第2滤波器处理执行部，47-第2滤波器处理乘法器，48-第2滤波器处理加法器，52-强度自动调整部，53-复原滤波器选择部，54-第2滤波器强度选择部，58-复原滤波器存储部，60-第2滤波器强度列表存储部，61-第1加法器，62-第2加法器，63-锐化调整部，65-非线性处理部，67-第1滤波器强度列表存储部，69-调整变量选择部，92-计算机，93-计算机输入输出部，94-计算机控制器，95-显示器，96-互联网，97-服务器，98-服务器输入输出部，99-服务器控制器，100-主控制部，101-智能手机，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部。

Claims (17)

1.一种信号处理装置，其具备：

信号处理部，按照频率而调整信号；及

滤波器处理控制部，控制所述信号处理部，

所述信号处理部具有：第1滤波器处理部，进行第1滤波器处理；及第2滤波器处理部，进行频率特性不同于所述第1滤波器处理的第2滤波器处理，

所述滤波器处理控制部，

根据光学特性信息选择总增益调整率，

并且，根据所述总增益调整率来调整所述第1滤波器处理及所述第2滤波器处理中的信号增益的调整倍率，从而，若第1增益调整倍率的值变大则第2增益调整倍率的值变小，若第1增益调整倍率的值变小则第2增益调整倍率的值变大。

2.根据权利要求1所述的信号处理装置，其中，

所述滤波器处理控制部将所述信号处理部的前后的所述信号的比率在第1频率中调整为响应目标比率。

3.根据权利要求1或2所述的信号处理装置，其中，

可调整所述信号的频带在所述第1滤波器处理与所述第2滤波器处理之间至少一部分重复，

表示所述增益的峰值的频率在所述第1滤波器处理与所述第2滤波器处理之间不同。

4.根据权利要求1或2所述的信号处理装置，其中，

所述第1滤波器处理包括：在所述信号中应用第1滤波器的处理；及根据所述调整倍率对通过应用所述第1滤波器而得到的所述信号的增益的倍率进行调整的处理，

所述第2滤波器处理包括：在所述信号中应用第2滤波器的处理；及根据所述调整倍率对通过应用所述第2滤波器而得到的所述信号的增益的倍率进行调整的处理。

5.根据权利要求1或2所述的信号处理装置，其中，

所述滤波器处理控制部根据外部输入参数来确定所述第1滤波器处理中的所述调整倍率，

并根据所述第1滤波器处理中的所述调整倍率和所述总增益调整率来计算所述第2滤波器处理中的所述调整倍率。

6.根据权利要求1或2所述的信号处理装置，其中，

所述第1滤波器处理部及所述第2滤波器处理部并联设置，所述信号输入到所述第1滤波器处理部及第2滤波器处理部，基于所述第1滤波器处理的所述信号的增减量数据和基于所述第2滤波器处理的所述信号的增减量数据被相加。

7.根据权利要求1或2所述的信号处理装置，其中，

所述第1滤波器处理部及所述第2滤波器处理部串联设置，所述信号在接受到所述第1滤波器处理及所述第2滤波器处理中的一种处理之后，接受另一种处理。

8.根据权利要求1或2所述的信号处理装置，其中，

所述第1滤波器处理部及所述第2滤波器处理部中的至少一方具有进行所述信号的非线性处理的非线性处理部。

9.根据权利要求8所述的信号处理装置，其中，

所述非线性处理为将在所述信号中超过剪辑阈值的信号值调整为剪辑阈值的剪辑处理，

所述滤波器处理控制部按照所述剪辑阈值来确定所述第1滤波器处理及所述第2滤波器处理中的至少任一方的所述调整倍率。

10.根据权利要求1或2所述的信号处理装置，其中，

所述第1滤波器处理及所述第2滤波器处理中的至少一方为低通滤波器处理。

11.根据权利要求1或2所述的信号处理装置，其中，

所述信号为图像信号。

12.根据权利要求11所述的信号处理装置，其中，

所述第1滤波器处理为使用了基于点扩散函数的复原滤波器的复原处理，

所述复原滤波器根据拍摄获得所述图像信号时的摄影设定条件而被确定。

13.根据权利要求11所述的信号处理装置，其中，

所述第2滤波器处理为使用了锐化滤波器的锐化处理。

14.根据权利要求11所述的信号处理装置，其中，

所述第1滤波器处理及所述第2滤波器处理中的任一方的所述调整倍率根据拍摄获得所述图像信号时的摄影设定条件而被确定。

15.一种摄像装置，其具备权利要求1或2所述的信号处理装置。

16.一种参数生成方法，包括按照频率而调整信号的信号处理部和控制所述信号处理部的滤波器处理控制部，所述信号处理部具有进行第1滤波器处理的第1滤波器处理部和进行第2滤波器处理的第2滤波器处理部，在所述第1滤波器处理与所述第2滤波器处理之间，生成使用于频率特性不同的图像处理部的参数，其中，

所述参数生成方法具备：

根据光学特性信息选择总增益调整率的步骤，及

根据所述总增益调整率来调整所述第1滤波器处理及所述第2滤波器处理中的信号增益的调整倍率的步骤，从而，若第1增益调整倍率的值变大则第2增益调整倍率的值变小，若第1增益调整倍率的值变小则第2增益调整倍率的值变大。

17.一种信号处理方法，其具备：

按照频率而调整信号的信号调整步骤，其包括进行第1滤波器处理的第1滤波器处理步骤、及进行频率特性不同于所述第1滤波器处理的第2滤波器处理的第2滤波器处理步骤；

根据光学特性信息选择总增益调整率的步骤，及

根据所述总增益调整率来调整所述第1滤波器处理及所述第2滤波器处理中的信号增益的调整倍率的步骤，从而，若第1增益调整倍率的值变大则第2增益调整倍率的值变小，若第1增益调整倍率的值变小则第2增益调整倍率的值变大。

Images