CN105684417B - 图像处理装置、摄像装置、参数生成方法、图像处理方法 - Google Patents

图像处理装置、摄像装置、参数生成方法、图像处理方法 Download PDF

Info

Publication number
CN105684417B
CN105684417B CN201480059224.8A CN201480059224A CN105684417B CN 105684417 B CN105684417 B CN 105684417B CN 201480059224 A CN201480059224 A CN 201480059224A CN 105684417 B CN105684417 B CN 105684417B
Authority
CN
China
Prior art keywords
sharpening
rate
image
return rate
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480059224.8A
Other languages
English (en)
Other versions
CN105684417A (zh
Inventor
成濑洋介
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105684417A publication Critical patent/CN105684417A/zh
Application granted granted Critical
Publication of CN105684417B publication Critical patent/CN105684417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供一种即使点像复原处理的复原强度有变动也不会使图像清晰度过度变化而能够稳定地进行画质改善的图像处理装置、摄像装置、参数生成方法、图像处理方法及程序。复原处理部(38)对图像数据进行使用了基于点扩散函数的复原滤波器的复原处理。轮廓增强处理部(39)对图像数据进行使用了锐化滤波器的锐化处理。锐化恢复控制部(37)获得根据基于复原处理的图像数据的复原率即复原强度倍率(U)和基于锐化处理的图像数据的锐化率即锐化强度倍率(V)的总锐化复原率，并获得复原率及锐化率中的一个，并根据总锐化复原率计算复原率及锐化率中的另一个。

Description

图像处理装置、摄像装置、参数生成方法、图像处理方法
技术领域
本发明涉及一种进行复原处理及锐化处理的图像处理装置、摄像装置、参数生成方法、图像处理方法及程序，尤其涉及一种复原强度及锐化强度的调整方法。
背景技术
在通过光学系统拍摄的被摄物图像中，因由光学系统引起的衍射或像差等的影响而有时会观察到点被摄物具有微小扩散的点扩散现象。表示对光学系统的点光源的响应的函数被称作点扩散函数(PSF：Point Spread Function)，作为影响摄影图像的分辨率劣化(模糊)的参数而被公知。
因点扩散现象而画质劣化的摄影图像，通过接受基于PSF的点像复原处理而可以恢复画质。该点像复原处理为如下处理，即预先求出由构成光学系统的透镜的像差等引起的劣化特性(点像特性)，并通过使用了与该点像特性对应的复原滤波器(恢复滤波器)进行的图像处理而消除摄影图像的点扩散。
若摄影条件、透镜改变，则PSF发生变化，因此优选每次在摄影条件改变或者更换透镜时，切换在点像复原处理中使用的复原滤波器，从而使用与新的摄影条件、重新安装的透镜对应的复原滤波器，由此进行点像复原处理。
作为可以在点像复原处理中使用的复原滤波器的代表例，已知有维纳 (Wiener)滤波器。若确定透镜的光学传递函数(OTF：Optical Transfer Function)和取决于频率的摄像系统SN比(Signal-Noiseratio)，则基于维纳滤波器的点像复原处理为在数学上唯一确定的处理。
并且，除了点像复原处理以外，有时进行用于改善画质的图像处理，例如，通过锐化处理(轮廓增强处理、边缘增强处理及清晰度增强处理等)能够提高图像的锐度即清晰度。
作为有关上述点像复原处理及锐化处理的具体的处理方法，例如，专利文献1中公开了使用减少相位劣化成分的图像恢复滤波器和减少振幅劣化成分的边缘增强滤波器进行的图像处理。并且，专利文献2中公开了如下技术：进行″在使用图像复原滤波器进行图像复原处理之后进行边缘增强处理的手抖校正″及″只进行边缘增强处理的手抖校正″。并且，专利文献 3中公开了根据拍摄时的光圈等条件来确定影像信号的轮廓成分的增强程度的技术。并且，专利文献4中公开了通过根据边缘强度来选择复原强度不同的滤波器，由此根据边缘强度改变复原滤波器自身强度的技术。
以往技术文献
专利文献
专利文献1：日本特开2011-123589号公报
专利文献2：日本特开2006-333061号公报
专利文献3：日本特开2009-27750号公报
专利文献4：日本特开2006-129236号公报
发明内容
发明要解决的技术课题
根据摄影场景(被摄物)、摄影条件，有时因点像复原处理而在图像中产生伪影(振铃等)，有时为了防止伪影等画质劣化而必须减弱点像复原处理的复原强度。伪影在理想条件下的点像复原处理中不应该出现，但是在实际的处理中，因透镜和传感器的个体差异、点像复原处理的前级的信号处理的非线形特性等，有时输入图像的频率特性变得不准确而产生伪影。
或者，在可切换点像复原处理的开启及关闭的图像处理系统中，有时将点像复原处理设为关闭。在这种情况下，也可以进行未考虑透镜的光学特性(PSF、OTF)或维纳滤波器设计基准而设计的″根据与PSF不同的基准确定的图像处理″。作为该″根据与PSF不同的基准确定的图像处理″，例如有根据设计人员的主观评价进行的图像处理、根据用户喜好进行的画质微调整、考虑到透镜的个体差异的由用户进行的清晰度微调整等。
在此，若比较″点像复原处理开启图像″及″点像复原处理关闭图像 (″根据与PSF不同的基准确定的图像处理″开启图像)″，则会发生导致″点像复原处理关闭图像″的清晰度比″点像复原处理开启图像″的清晰度强的情况。这在处理内容上是妥当的，但是即使是进行了点像复原处理(画质恢复处理)的图像，由于与未进行点像复原处理的图像相比清晰度减弱，因此有可能给用户带来实际图像的画质与直觉之间的不一致感。并且，还有″点像复原处理开启图像″与″点像复原处理关闭图像″之间的清晰度的背离变得过大的情况，有可能使用户感到操作性的不便。并且，有时以避免画质劣化等目的而变更复原强度，从而在进行点像复原处理时也有可能带来同样的不便，在进行了点像复原处理的图像之间清晰度产生偏差，导致给用户带来不适感。
以往未提出，用于防止已实施复原强度不同的点像复原处理的图像之间的画质锐度的偏差、以及″点像复原处理开启图像″与″点像复原处理关闭图像″之间的画质锐度的背离的有效的建议。例如，在专利文献1中记载的装置中，使用图像恢复滤波器进行了图像处理以及使用边缘增强滤波器进行了图像处理，但关于使两种图像处理相互有关联地调整图像恢复度及边缘增强度，在专利文献1中没有公开或提出建议。并且，关于在专利文献2～4中公开的图像处理技术也相同，关于在点像复原处理与锐化处理之间进行复原度及清晰度的综合调整来实现图像锐度的统一，在专利文献 2～4中并未公开或提出建议。
本发明是鉴于上述情况而完成的，其目的在于提供一种即使改变点像复原处理的复原强度或切换点像复原处理的开启及关闭也不会使图像锐度过度变化而能够稳定地进行画质改善的图像处理技术及其相关技术。
用于解决技术课题的手段
本发明的一方式涉及一种图像处理装置，其具备：复原处理部，对通过使用光学系统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理；锐化处理部，使用锐化滤波器对图像数据进行锐化处理；锐化恢复控制部，通过控制复原处理部及锐化处理部，可调整基于复原处理的图像数据的复原率、及基于锐化处理的图像数据的锐化率，锐化恢复控制部获得根据复原率及锐化率的总锐化复原率，并获得复原率及锐化率中的一个，根据总锐化复原率来计算复原率及锐化率中的另一个。
根据本方式，由于复原率及锐化率根据总锐化复原率而被确定，因此根据复原率的增减来调整锐化率，或者根据锐化率的增减来调整复原率。从而，不会使基于复原处理的复原强度以及基于锐化处理的锐化强度过度变化，而能够稳定地改善图像数据的画质。
″基于点扩散函数的复原滤波器″为根据使用光学系统的点扩散函数(PSF)而生成的逆滤波器、维纳滤波器等的复原滤波器，″复原处理″包括将这种复原滤波器应用于图像数据的处理。并且″点扩散函数″为表示对光学系统的点光源的响应的函数，可以根据PSF及OTF(MTF (Modulation Transfer Function)、PTF(Phase Transfer Function))表现。
另一方面，就″锐化滤波器″而言，可以使用″由光学系统的点扩散函数 (PSF)利用逆滤波器或维纳滤波器生成的滤波器(复原滤波器)″以外的滤波器种类。从而，作为″锐化滤波器″，例如能够适当地使用并非根据光学系统的点扩散函数的滤波器，可以采用基于点扩散函数以外的其它要素 (参数)计算的滤波器作为″锐化滤波器″。作为并非基于点扩散函数的锐化滤波器，只要不是基于点扩散函数制作的滤波器，则可以采用点扩散函数对应于不同的光圈值等而可切换的滤波器作为锐化滤波器。同样，可以采用点扩散函数对应于不同的图像高度而可切换的滤波器作为锐化滤波器。并且，锐化处理中的锐化滤波器的强度(增益)也可以对应于光圈值或图像高度而改变。
″锐化处理″为对图像数据的高频成分进行补偿或增强的处理，是增强图像的轮廓成分的处理。从而，例如被称作轮廓增强处理、边缘增强处理或清晰度增强处理的处理可以包含于在本文提及的″锐化处理″中。
另外，复原滤波器及锐化滤波器能够作为FIR(Finite Impulse Response)滤波器而构成。
优选锐化恢复控制部获得复原率，并根据总锐化复原率及复原率计算锐化率。
根据本方式，根据复原率来调整锐化率，并根据总锐化复原率并通过锐化率而能够补偿由复原率的增减带来的影响。
优选锐化恢复控制部根据用户指定的指定恢复率来确定复原率。
根据本方式，能够根据用户指定的指定恢复率来确定复原处理的复原率。
优选根据表示光学系统的特性的光学特性信息来确定复原率。
根据本方式，能够进行反映光学特性信息的复原处理。
优选光学系统具有存储光学特性信息的光学系统存储部，根据存储于光学系统存储部中的光学特性信息来确定复原率。
根据本方式，能够根据光学系统存储部所存储的光学特性信息来确定复原率，即使在光学特性信息变动的情况下，也能够确定合适的复原率。例如在可更换光学系统的情况下，本方式是优选的。
优选锐化恢复控制部获得锐化率，并根据总锐化复原率及锐化率来计算复原率。
根据本方式，按锐化率来复原率调整，并根据总锐化复原率并通过复原率而补偿由锐化率的增减带来的影响。
优选锐化恢复控制部根据拍摄图像数据的摄影设定条件来确定锐化率。
根据本方式，能够通过与摄影设定条件对应的锐化率进行锐化处理。从而，例如，即使摄影设定条件变动，也能够通过合适的锐化率来进行锐化处理。
优选根据表示光学系统的特性的光学特性信息来确定锐化率。
根据本方式，能够通过按照光学特性信息确定的锐化率进行锐化处理。从而，例如，即使光学特性信息变动，也能够通过合适的锐化率进行锐化处理。
优选光学系统具有存储光学特性信息的光学系统存储部，锐化率根据存储于光学系统存储部中的光学特性信息而被确定。
根据本方式，能够根据光学系统存储部所存储的光学特性信息来确定锐化率，即使在光学特性信息变动的情况下，也能够确定合适的锐化率。例如，在可更换光学系统的情况下，本方式是优选的。
优选光学特性信息包括光学系统所具有的透镜的种类信息。
根据本方式，按照光学系统所具有的透镜的种类信息，能够确定合适的复原率或锐化率。光学特性被透镜的种类而左右，尤其点扩散现象通过每一种透镜所固有的PSF而被确定。从而，通过考虑光学系统所具有的透镜的种类信息来确定基于点扩散函数的复原处理的复原率，可发挥优异的复原效果，尤其，即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下，也能够通过复原率而弥补偏差。并且，通过根据复原率及总锐化复原率算出的锐化率进行锐化处理，从而能够稳定地改善图像数据的画质。
优选光学特性信息包括光学系统的个体差异信息。
根据本方式，按照光学系统的个体差异信息能够确定合适的复原率或锐化率。光学特性被各光学系统而左右，尤其，点扩散现象根据每一个光学系统固有的PSF而被确定，即使为相同种类的光学系统，也根据制造误差等而存在个体差异。从而，通过考虑光学系统的个体差异信息来确定基于点扩散函数的复原处理的复原率，可发挥优异的复原效果，尤其，即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下，也能通过复原率而弥补其偏差。并且，通过根据复原率及总锐化复原率算出的锐化率进行锐化处理，从而能够稳定地改善图像数据的画质。
另外，″个体差异信息″包括与因制造误差等而有可能在光学系统中个别地产生的误差有关的信息。个体差异信息可以是直接表示个体差异的信息，也可以是间接表示的信息，例如，可以将在光学系统中被分配的批号或编号用作个体差异信息。
优选光学特性信息包括摄影设定条件。
根据本方式，按照摄影设定条件能够确定合适的复原率及锐化率。光学特性被摄影设定条件而左右，尤其，点扩散现象根据每一个光学系统固有的PSF而被确定，但PSF通过摄影设定条件而变动。从而，通过考虑摄影设定条件来确定基于点扩散函数的复原处理，可发挥优异的复原效果，尤其，即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下，也能够通过复原率而弥补其偏差。并且，通过根据复原率及总锐化复原率算出的锐化率进行锐化处理，从而能够稳定地改善图像数据的画质。
优选锐化恢复控制部获得在获得图像数据时的光学系统的光圈值，并将光圈值与第1阈值进行比较，至少在光圈值表示与由第1阈值表示的光圈度相比光圈开启得大的情况下，获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个。
根据本方式，在光圈被开启的情况下，获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个。
优选锐化恢复控制部获得在获得图像数据时的摄影模式信息，在摄影模式信息表示动态图像记录模式的情况下，将总锐化复原率保持为恒定。
根据本方式，在动态图像记录模式中，总锐化复原率被保持为恒定，能够防止在动态图像记录期间总锐化复原率发生变动。由此，能够良好地保持记录动态图像(图像数据)的画质的连续性。
优选与摄影模式信息表示静态图像记录模式的情况相比，在摄影模式信息表示动态图像记录模式的情况下，锐化恢复控制部减小复原率。
根据本方式，动态图像记录模式的复原率比静态图像记录模式的复原率小，在针对动态图像的复原处理中，能够有效地防止过度校正等。
优选复原滤波器根据拍摄图像数据的摄影设定条件而被确定。
根据本方式，能够使用与摄影设定条件对应的复原滤波器进行复原处理。
优选摄影设定条件包括影响点扩散函数的设定条件。
根据本方式，由于影响点扩散函数的设定条件作为摄影设定条件而被使用，因此能够进行可以有效地去除点扩散现象的影响的图像处理(复原处理)。
优选设定条件包括光圈信息、变焦信息、被摄物距离信息、及光学系统所具有的透镜种类信息中的至少任一种
根据本方式，能够进行可以有效地去除扩散现象的影响的图像处理 (复原处理)。
优选摄影设定条件包括不影响点扩散函数的摄影条件。
根据本方式，能够进行可以有效地去除扩散现象以外的影响的图像处理。
优选摄影条件包括摄影灵敏度信息及摄影模式信息中的至少任一种。
根据本方式，能够根据摄影灵敏度信息及摄影模式信息中的至少任一种进行图像处理。
优选图像处理装置还具备：复原滤波器存储部，存储多个光学系统的基于点扩散函数的多个复原滤波器；及复原滤波器选择部，根据摄影设定条件，从复原滤波器存储部选择用于拍摄图像数据的光学系统的基于点扩散函数的复原滤波器，复原处理部使用复原滤波器选择部所选择的复原滤波器进行复原处理。
根据本方式，从复原滤波器存储部选择基于摄影设定条件的复原滤波器而使用于复原处理中，能够简单地进行复原滤波器的确定。
优选复原滤波器共同使用于多个光学系统。
根据本方式，由于复原滤波器共同使用于多个光学系统，因此能够简化复原滤波器的确定处理，从而能够简单地进行复原处理。并且，由于复原滤波器可以共同使用于多个光学系统，从而即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下，也能够通过复原率而弥补其偏差。另外，通过根据复原率及总锐化复原率算出的锐化率进行锐化处理，从而能够稳定地改善图像数据的画质。另外，在可更换光学系统的情况下，本方式是优选的。
优选复原滤波器共同使用于多个摄影设定条件。
根据本方式，由于复原滤波器共同使用于多个摄影设定条件，因此简化了复原滤波器的确定处理，并能够简单地进行复原处理。并且，由于复原滤波器共同使用于多个摄影设定条件，从而即使在光学系统的点扩散函数与复原滤波器的匹配中存在偏差的情况下，也能够通过复原率而弥补其偏差。另外，通过根据复原率及总锐化复原率计算的锐化率进行锐化处理，从而能够稳定地改善图像数据的画质。
优选多个摄影设定条件包括光学系统的变焦信息。
根据本方式，由于复原滤波器共同使用于多个光学系统变焦条件，因此通过简化复原滤波器的确定处理，从而能够简单地进行复原处理。
优选锐化恢复控制部在第1频率中将总锐化复原率调整为目标锐化复原率。
根据本方式，由通过目标锐化复原率来确定图像数据中的至少第1频率中的复原率及锐化率，因此可以良好地保持至少第1频率中的图像成分的复原度及清晰度。
另外，″第1频率″及″目标锐化复原率″并无特别限定，例如也可以根据用户的视觉特性来确定″第1频率″及″目标锐化复原率″。
优选复原处理部及锐化处理部串联设置，图像数据在接受复原处理及锐化处理中的一种处理之后，接受另一种处理。
根据本方式，先后进行复原处理及锐化处理。
优选复原处理部及锐化处理部并联设置，图像数据输入到复原处理部及锐化处理部，通过复原处理而产生的图像数据的增减量数据和通过锐化处理而产生的图像数据的增减量数据被相加。
根据本方式，并行地进行复原处理及锐化处理。
优选图像处理装置还具备进行图像数据的非线性处理的非线性处理部。
根据本方式，在进行图像数据的非线性处理的系统中，能够确定合适的复原率及锐化率。本文提及的非线性处理可以包括包含用一次方程式表示的运算处理以外的处理的所有处理，具代表性的是，包括条件分支处理的处理成为非线性处理。
优选非线性处理部包含在复原处理部及锐化处理部中的至少任一个中。
根据本方式，即使在复原处理和/或锐化处理包括非线性处理的情况下，也能够确定合适的复原率及锐化率。
优选非线性处理为将图像数据中超过剪辑阈值的像素值调整为剪辑阈值的剪辑处理。
根据本方式，即使在进行剪辑处理的情况下，也能够确定合适的复原率及锐化率。
优选光学系统以可更换的方式安装于搭载成像元件的摄像主体。
根据本方式，即使可更换光学系统，也能够确定合适的复原率及锐化率。
本发明的另一方式涉及一种具备上述任一图像处理装置的摄像装置。
本发明的另一方式涉及一种参数生成方法，其生成使用于图像处理部的参数，所述图像处理部包括：复原处理部，对通过使用光学系统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理；及锐化处理部，对图像数据使用锐化滤波器进行锐化处理，所述参数生成方法具备：获得根据基于复原处理的图像数据的复原率及基于锐化处理的图像数据的锐化率的总锐化复原率的步骤；及获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个的步骤。
本发明的另一方式涉及一种图像处理方法，包括：复原处理步骤，对通过使用光学系统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理；锐化处理步骤，对图像数据使用锐化滤波器进行锐化处理；获得根据基于复原处理的图像数据的复原率及基于锐化处理的图像数据的锐化率的总锐化复原率的步骤；及获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个的步骤。
本发明的另一方式涉及一种程序，其用于使计算机执行如下流程：对通过使用光学系统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理的流程；对图像数据使用锐化滤波器进行锐化处理的流程；获得根据基于复原处理的图像数据的复原率及基于锐化处理的图像数据的锐化率的总锐化复原率的流程；及获得复原率及锐化率中的一方，并根据总锐化复原率来计算复原率及锐化率中的另一方的流程。
发明效果
根据本发明，由于根据总锐化复原率来确定复原率及锐化率，因此可防止基于复原处理及锐化处理的图像的复原率及锐化率变得过大或过小。从而，即使改变复原处理的复原强度或切换复原处理的开启和关闭，也不会使锐度过度变化，而能够提供优良画质的图像数据。
附图说明
图1是表示连接于计算机上的数码相机的框图。
图2是表示主体控制器的结构例的框图。
图3是表示图像处理部的结构例的框图，特别表示涉及点像复原处理及锐化处理的结构。
图4是用于对点像复原强度及锐化强度的调整进行说明的示意图。
图5是表示进行第1实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图6是表示进行第2实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图7是例示图像处理的频率特性的图，图7(a)表示锐化处理(轮廓增强滤波器处理部)中的″频率-增益″关系例，图7(b)表示点像复原处理(点像复原滤波器处理部)中的″频率-增益″关系例，图7(c)表示整个锐化处理及点像复原处理中的″频率-增益″关系例。
图8是表示进行第4实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图9是表示进行第5实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图10是表示进行第6实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图11是表示进行第7实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图12是表示进行第8实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图13是表示进行一变形例所涉及的点像复原处理及锐化处理的处理模块的结构的图。
图14是表示智能手机的外观的图。
图15是表示图14所示的智能手机的结构的框图。
具体实施方式
通过参考附图，对本发明的实施方式进行说明。在以下实施方式中，作为一例，对在可连接于计算机(PC：个人计算机)上的数码相机(摄像装置)中适用本发明的情况进行说明。
图1是表示连接于计算机上的数码相机的框图。在本实施例的数码相机10中，在搭载成像元件26的相机主体(摄像主体)14上，以可更换的方式安装有作为光学系统的一例的透镜单元12，在相机主体14上设置有图像处理装置。
即，数码相机10具备可更换的透镜单元12和具备成像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12和相机主体14被电连接。
作为光学系统的一例的透镜单元12具备透镜16及光圈17、及控制该光学系统的光学系统操作部18。光学系统操作部18包括：透镜单元控制器20，连接于透镜单元输入输出部22；透镜单元存储部21，存储各种信息(光学系统信息等)；及致动器(省略图示)，对光学系统进行操作。透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22 传送过来的控制信号，并经由致动器控制光学系统，例如进行基于透镜移动的对焦控制和变焦控制、光圈17的光圈量控制等。并且，透镜单元控制器20根据从相机主体14经由透镜单元输入输出部22传送过来的控制信号，读取存储于透镜单元存储部21中的各种信息，并发送到相机主体 14(主体控制器28)。
相机主体14的成像元件26具有聚光用微透镜、R(红)G(绿)B (蓝)等滤色器、图像传感器(光电二极管；CMOS(Complementary Metal Oxide Semiconductor)、CCD(ChargeCoupled Device)等)。该成像元件26将经由在透镜单元12中构成光学系统的透镜16、光圈17等而照射的被摄物图像的光转换为电信号，并将图像信号(原图像数据)发送到主体控制器28。
主体控制器28，其详细内容将在后面叙述(参考图2)，其具有：对数码相机10的各部进行综合控制的作为设备控制部的功能；及对从成像元件26传送过来的图像数据进行图像处理的作为图像处理部的功能。
数码相机10还具备在拍摄等时所需的其它设备类(快门等)，那些设备类的一部分构成可由用户进行确认及操作的用户界面29。用户界面 29可配置于透镜单元12和/或相机主体14，在图1所示的例子中，在相机主体14上设置有用户界面29。用户能够经由用户界面29进行用于摄影等的各种设定(EV值(Exposure Value)等)的确定及变更、摄影指令、实时取景图像及摄影图像的确认等。用户界面29连接于主体控制器28，由用户确定及变更的各种设定及各种指令反映在主体控制器28中的各种处理(设备控制处理、及图像处理等)中。
在主体控制器28中进行图像处理的图像数据被存储于设置在相机主体14中的主体存储部31，根据需要，经由输入输出接口32发送到计算机92等。主体存储部31由任意的存储器构成，可优选使用存储卡等可更换存储器。从主体控制器28输出的图像数据的格式并无特别限定，可以是RAW、JPEG(Joint Photographic Experts Group)、TIFF(Tagged ImageFile Format)等任意的格式。并且，主体控制器28如所谓的Exif (Exchangeable ImageFile Format)那样，可以对标题信息(摄影信息 (摄影日期和时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据彼此建立对应关联而构成1个图像文件，并输出该图像文件。
计算机92经由相机主体14的输入输出接口32及计算机输入输出部 93连接于数码相机10，并接收从相机主体14传送过来的图像数据等数据类。计算机控制器94综合控制计算机92，并对来自数码相机10的图像数据进行图像处理，并控制与经由互联网96等的网络线路连接于计算机输入输出部93上的服务器97等进行的通信。计算机92具有显示器95，计算机控制器94中的处理内容等根据需要显示于显示器95。用户边确认显示器95的显示，边操作键盘等输入构件(省略图示)，从而可以对计算机控制器94输入数据和命令。由此，用户能够控制计算机92或连接于计算机92上的设备类(数码相机10、服务器97)。
服务器97具有服务器输入输出部98及服务器控制器99。服务器输入输出部98构成与计算机92等外部设备类的收发连接部，并经由互联网 96等的网络线路连接于计算机92的计算机输入输出部93。服务器控制器 99根据来自计算机92的控制指令信号，与计算机控制器94协同动作，根据需要，与计算机控制器94之间进行数据类的收发，并将数据类下载到计算机92中进行运算处理，将其运算结果发送到计算机92。
各控制器(透镜单元控制器20、主体控制器28、计算机控制器94、服务器控制器99)具有控制处理中所需的回路类，例如具备运算处理回路 (CPU(Central Processing Unit)等)或存储器等。并且，数码相机10、计算机92及服务器97之间的通信可以是有线的，也可以是无线的。并且，可以一体构成计算机92及服务器97，并且也可以省略计算机92和/ 或服务器97。并且，可以使数码相机10具有与服务器97的通信功能，而在数码相机10与服务器97之间直接进行数据类的收发。
图2是表示主体控制器28的结构例的框图。主体控制器28具有设备控制部34和图像处理部35，并综合控制相机主体14。
设备控制部34控制例如来自成像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号，并经由相机主体输入输出部30发送到透镜单元12(透镜单元控制器20)，将图像处理前后的图像数据(RAW数据、JPEG数据等)存储于主体存储部31，将图像处理前后的图像数据(RAW数据、JPEG数据等)发送到经由输入输出接口32连接的外部设备类(计算机92等)。并且，设备控制部34适当地控制显示部(EVF：Electronic ViewFinder、背面液晶显示部：用户界面29)等数码相机10所具备的各种设备类。
另一方面，图像处理部35对来自成像元件26的图像信号根据需要进行任意的图像处理。例如在图像处理部35中适当地进行如下各种图像处理：传感器校正处理、去马赛克(同步)处理、像素插值处理、颜色校正处理(偏移校正处理、白平衡处理、颜色矩阵处理、伽马转换处理等)、 RGB图像处理(清晰度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等。尤其，本实施例的图像处理部35对图像信号(图像数据)进行基于光学系统的点扩散函数的复原处理(点像复原处理)和不基于点扩散函数的轮廓增强处理等锐化处理。
图3是表示图像处理部35的结构例的框图，尤其表示涉及点像复原处理及锐化处理的结构。
本实施例的图像处理部35具有锐化恢复控制部37、复原处理部38 及轮廓增强处理部(锐化处理部)39。
复原处理部38对通过使用光学系统(透镜16等)拍摄被摄物而从成像元件26获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理(复原处理步骤)。复原滤波器为用于使PSF劣化恢复的滤波器，例如能够适当地使用维纳滤波器作为复原滤波器。另一方面，轮廓增强处理部39对图像数据进行使用不基于点扩散函数的锐化滤波器的锐化处理(锐化处理步骤)。锐化滤波器若不是直接反映点扩散函数的滤波器，则无特别限定，可以使用公知的轮廓增强滤波器作为锐化滤波器。
另外，关于各复原滤波器及锐化滤波器，可以在整个图像中准备单一的滤波器，也可以在图像内的每一个位置(每一图像高度)准备不同的滤波器。
锐化恢复控制部37控制复原处理部38及轮廓增强处理部39，调整基于复原处理的图像数据的复原率及基于锐化处理的图像数据的锐化率。关于该复原率及锐化率的调整，本实施例的锐化恢复控制部37获得根据复原率及锐化率的总锐化复原率，获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个。
在不仅进行锐化处理，还进行点像复原处理的情况下，在现有的方法中，由于锐化复原强度变得过大，因此有时导致图像的过度校正等而损伤画质。从而在进行锐化处理及点像复原处理这两种处理的情况下，与只进行锐化处理或点像复原处理的情况相比，优选减弱锐化处理中的锐化强度或点像复原处理中的复原强度。
并且，点像复原处理根据摄影场景或被摄物顺序，有时因错误校正而导致伪影(振铃等)等。并且，在按照摄影条件使用不同的复原滤波器的情况下，有时在点像复原处理后的图像的复原率、解析度(锐度)上产生偏差。若进行锐化处理，则这些错误校正或图像的锐度的偏差将更加显著。
以下实施方式涉及如下技术，即，在将点像复原处理及锐化处理进行组合的情况下，也有效地防止上述过度校正或错误校正，恢复因光学系统的点扩散现象而受损的画质，从而得到清晰的图像。
图4是用于对点像复原强度及锐化强度的调整进行说明的示意图。图 4的″总锐化复原强度(总锐化复原率)″为由所希望的画质确定的最终锐度目标强度值，直接或间接地表示对整个图像处理的输入与输出的大小的比率。本实施例的″总锐化复原强度(总锐化复原率)″可按照摄影设定条件(光学特性信息的一例)变动，但若摄影设定条件被确定，则成为恒定的值。在此，所谓的摄影设定条件中可包括例如透镜、光圈、变焦、被摄物距离、灵敏度、摄影模式等各种摄影条件及设定条件。并且″点像复原强度″为基于点像复原处理的复原强度，按照摄影设定条件(光学特性信息的一例)而被确定。并且″锐化强度″为基于锐化处理的锐化强度。
这些总锐化复原强度、点像复原强度及锐化强度为表示各图像处理前后的图像变化程度的指标，根据可适当地表示图像的变化程度的任意的基准而确定。从而，在点像复原处理及锐化处理分别包括滤波器适用处理及增益控制处理的情况下，″滤波器适用处理及增益控制处理″前后的变化通过点像复原强度及锐化强度而表现出来。
例如，可以假定并行地进行点像复原处理和锐化处理，″基于点像复原处理的图像复原的程度(点像复原强度)″和″基于锐化处理的图像锐化的程度(锐化强度)″通过″总锐化复原强度″而被确定的情况。该情况下，″点像复原强度+锐化强度＝总锐化复原强度″的关系成立，锐化强度增减相当于点像复原强度的增减量，图4所示的点像复原强度和锐化强度的边界位置(B)有可以变动。从而，例如，若总锐化复原强度及点像复原强度被确定，则由两者可以计算最佳的锐化强度。同样，若总锐化复原强度及锐化强度被确定，则由两者可以计算最佳的点像复原强度。
另外，图4只是为了容易理解而示出直观示意图而已，而并不表示在进行点像复原处理和锐化处理的处理系统中，″点像复原强度+锐化强度＝总锐化复原强度″的关系始终成立。例如，在先后进行点像复原处理和锐化处理的情况下，根据点像复原强度与锐化强度的乘积来确定总锐化复原强度。从而，在以下实施方式中，以″根据点像复原强度及锐化强度这两者的频率增幅率″与″根据总锐化复原强度的频率增幅率″一致的方式确定点像复原强度及锐化强度。
例如，可以优先设定点像复原强度，并按照该被设定的点像复原强度而调整锐化强度。该情况下，能够高精确度地进行与光学系统(透镜16 等)的PSF对应的点像复原处理。并且，点像复原处理为精细的处理，若基础参数不正确，则容易导致过度校正等弊端，但通过优先确定点像复原强度而可以有效地防止过度校正等弊端。
另一方面，也可以优先设定锐化强度，并按照该被设定的锐化强度而调整点像复原强度。该情况下，优先进行弊端较少的稳定的处理即锐化处理。优先进行该锐化处理的情况为：使用具有优异的光学特性的精度的光学系统(透镜16等)进行拍摄的情况；摄影场景为夜景或肖像的情况；进行艺术滤镜处理的情况；不易得到基于点像复原处理的效果的情况；及容易产生由点像复原处理带来的弊端的情况等。
点像复原强度及锐化强度的调整能够根据各种基准而进行，例如以特定频率或特定图像位置(图像高度位置)中的频率增幅率相同的方式确定总锐化复原强度。
通过这样设定总锐化复原强度而调整点像复原强度及锐化强度，由此能够抑制接受点像复原处理及锐化处理的图像的锐度(复原率及解析度) 的偏差，并能够提高输出图像的整体画质。
以下，对有关点像复原强度及锐化强度的调整的具体实施方式进行说明。
＜第1实施方式＞
本实施方式所涉及的锐化恢复控制部37获得点像复原处理中的复原率，并根据总锐化复原率及复原率计算锐化处理中的″锐化率″。
图5是表示进行第1实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
在本实施方式的图像处理系统模型中，″用于点像复原处理的信号处理模块″和″用于任意的清晰度增强处理的信号处理模块″串联连接(级联结合)，在两个信号处理模块中，可以进行连续的信号强度调整。即，复原处理部38及轮廓增强处理部39串联设置，图像数据在接受点像复原处理及锐化处理中的一种处理(在图5所示的例子中为″点像复原处理″)之后，接受另一方种处理(在图5所示的例子中为″锐化处理″)。
复原处理部38包括点像复原滤波器处理部42、复原乘法器43及复原加法器44。点像复原滤波器处理部42将与光学系统(透镜16等)的点扩散函数对应的复原滤波器应用于输入图像数据，计算图像的增减量数据。复原乘法器43进行在点像复原滤波器处理部42中算出的增减量数据的增益控制，将增减量数据及复原强度倍率U进行相乘。复原加法器44将输入到点像复原滤波器处理部42之前的图像数据(输入图像)和乘以复原强度倍率U的增减量数据进行相加。点像复原处理通过这些点像复原滤波器处理部42、复原乘法器43及复原加法器44中的一系列处理而构成。
另外，复原处理部38通过任意的方法能够将复原强度倍率U反映于图像数据，在本实施方式及其它实施方式中，也可以采用与上述方法等效的其他方法来代替上述方法。例如，对于将与光学系统(透镜16等)的点扩散函数对应的复原滤波器应用于输入图像数据而得到的图像数据(输入图像数据+增减量数据)乘以复原强度倍率U，另一方面，也可以对输入图像数据乘以倍率(1-U)，并将两者进行相加。
轮廓增强处理部39包括轮廓增强滤波器处理部46、锐化乘法器47 及锐化加法器48。在本实施例中，点像复原处理后的图像数据作为输入图像数据输入到轮廓增强滤波器处理部46。轮廓增强滤波器处理部46将锐化滤波器(轮廓增强滤波器)应用于输入图像数据并计算图像的增减量数据。锐化滤波器通过任意的方法而被确定，轮廓增强滤波器处理部46可以使用单一的锐化滤波器，也可以将从多个滤波器中适当地选择的滤波器用作锐化滤波器。锐化乘法器47进行在轮廓增强滤波器处理部46算出的增减量数据的增益控制，将增减量数据及锐化强度倍率V进行相乘。锐化加法器48对输入到轮廓增强滤波器处理部46之前的图像数据(点像复原处理后的图像数据)和乘以锐化强度倍率V的增减量数据进行相加，从而生成输出图像数据。锐化处理通过这些轮廓增强滤波器处理部46、锐化乘法器47及锐化加法器48中的一系列处理而构成。
另外，与复原强度倍率U的反映方法相同，轮廓增强处理部39通过任意的方法能够将锐化强度倍率V反映于图像数据，在本实施方式及其他实施方式中，也可以采用与上述方法等效的其它方法来代替上述方法。例如，也可以对将锐化滤波器(轮廓增强滤波器)应用于输入图像数据而得到的图像数据(输入图像数据+增减量数据)乘以锐化强度倍率V，另一方面，对输入图像数据乘以倍率(1-V)，并将两者进行相加。
锐化恢复控制部37包括强度自动调整部52、复原滤波器选择部53 及轮廓增强强度选择部54。复原滤波器选择部53根据摄影设定条件S (变焦级、F值、被摄物距离等)从复原滤波器存储部58选择基于用于拍摄图像数据的光学系统(透镜16等)的点扩散函数的复原滤波器X。而且，复原滤波器选择部53将所选择的复原滤波器X发送到强度自动调整部52和复原处理部38的点像复原滤波器处理部42。点像复原滤波器处理部42将从复原滤波器选择部53发送过来的复原滤波器X应用于输入图像。
另一方面，轮廓增强强度选择部54从轮廓增强强度列表存储部60选择对应于摄影设定条件S的锐化强度倍率(轮廓增强强度)V0，并将所选择的锐化强度倍率V0发送到强度自动调整部52。在本实施例中，由轮廓增强强度选择部54选择的锐化强度倍率V0为在复原处理部38(点像复原滤波器处理部42)中实际上不进行点像复原处理时的锐化强度倍率。
该″实际上不进行点像复原处理时的锐化强度倍率″相当于总锐化复原率(总锐化复原强度)。即，在本实施例中，点像复原强度和锐化强度通过总锐化复原强度而被确定(参考图4)，不进行点像复原处理时的总锐化复原强度仅通过锐化强度而被确定。从而，获得不进行点像复原处理时的锐化强度倍率作为锐化强度倍率V0并供给到强度自动调整部52的本实施例的轮廓增强强度选择部54，实际上将总锐化复原率(总锐化复原强度)供给到强度自动调整部52。
复原滤波器存储部58将多个光学系统(透镜16等)的基于点扩散函数的多个复原滤波器按每一个摄影设定条件进行存储。轮廓增强强度列表存储部60按每一个摄影设定条件存储轮廓增强强度，尤其，在本实施例中，点像复原处理为关闭时的锐化强度倍率V0(最大轮廓增强强度)存储于轮廓增强强度列表存储部60。另外，复原滤波器存储部58及轮廓增强强度列表存储部60可以设置于相机主体14，也可以设置于透镜单元12。
强度自动调整部52根据来自复原滤波器选择部53的复原滤波器X及来自轮廓增强强度选择部54的锐化强度倍率V0，确定与点像复原率G对应的复原强度倍率U及锐化强度倍率V(其中，满足″复原强度倍率U≥0″及″锐化强度倍率V≥0″)。而且，强度自动调整部52将确定的复原强度倍率U发送到复原乘法器43，将锐化强度倍率V发送到锐化乘法器47。复原强度倍率U及锐化强度倍率V分别为复原处理部38及轮廓增强处理部39中的强度调整参数，复原乘法器43及锐化乘法器47使用从强度自动调整部52发送过来的复原强度倍率U及锐化强度倍率V进行乘法处理。
另外，强度自动调整部52获得分别通过点像复原滤波器处理部42及轮廓增强滤波器处理部46而被使用的滤波器的频率特性。例如，通过点像复原滤波器处理部42而被使用的复原滤波器X从复原滤波器选择部53 发送到强度自动调整部52。并且，强度自动调整部52通过任意的方法获得通过轮廓增强滤波器处理部46而被使用的锐化滤波器。例如，在通过轮廓增强滤波器处理部46而被使用的锐化滤波器被固定的情况下，强度自动调整部52也可以通过预先存储而获得其锐化滤波器的频率特性。并且，也可以将所使用的锐化滤波器从轮廓增强滤波器处理部46发送到强度自动调整部52，强度自动调整部52通过分析所接收到的锐化滤波器而获得锐化滤波器的频率特性。强度自动调整部52在根据后述的总锐度评价值来确定复原强度倍率U及锐化强度倍率V时，考虑由点像复原滤波器处理部42及轮廓增强滤波器处理部46使用的滤波器的频率特性。具体而言，强度自动调整部52使各滤波器的频率特性反映于总锐度评价值，并根据反映滤波器的频率特性的总锐度评价值来确定复原强度倍率U及锐化强度倍率V。
例如，按照以下流程来确定强度自动调整部52中的复原强度倍率U 及锐化强度倍率V。
首先，摄影设定条件S通过主体控制器28而获得，与其摄影设定条件S对应的复原滤波器X通过复原滤波器选择部53而被选择。并且，点像复原处理为关闭时的锐化强度倍率V0由轮廓增强强度选择部54按照摄影设定条件S选择。
复原滤波器X设计成将根据与摄影设定条件S对应的光学系统(透镜 16等)的PSF的图像劣化的程度以最小二乗方基准最小化，复原滤波器X 的理想的频率特性可以根据维纳滤波器特性进行设计。在本实施例中，在确定复原滤波器X的理想的频率特性之后，反映了其频率特性的FIR滤波器作为复原滤波器X而被确定。另外，复原滤波器X可以为现实空间滤波器及频率空间滤波器中的任一种，在通过多个抽头构成的现实空间滤波器来构成复原滤波器X的情况下，优选将在通过所希望的抽头数可实现理想的频率特性的范围内接近于最佳FIR滤波器作为复原滤波器X。并且，通常，由于PSF的形状根据图像高度而不同，因此优选复原滤波器X具有按照图像内的图像高度而不同的频率特性。从而，将通过按照图像内位置而确定的多个复原滤波器构成的一组，在广义上称作″复原滤波器X″，将适用于图像内的坐标(i，j)的位置(像素)的复原滤波器标记为″Xi,j″。
如上所述的复原滤波器X根据拍摄图像数据时的摄影设定条件S而被确定，但该摄影设定条件S可包括″影响点扩散函数的设定条件″及″不影响点扩散函数的摄影条件″。″设定条件″可包括例如光圈信息(F值)、变焦信息(变焦倍率等)、被摄物距离信息、及光学系统所具有的透镜种类信息中的至少任一种。并且″摄影条件″可包括摄影灵敏度信息(ISO灵敏度等)及摄影模式信息中的至少任一种。
另外，摄影设定条件S通过任意的方式可输入到复原滤波器选择部 53及轮廓增强强度选择部54，从主体控制器28的设备控制部34及图像处理部35中管理摄影设定条件S的控制处理部(未图示)，摄影设定条件S可适当地发送到复原滤波器选择部53及轮廓增强强度选择部54。
另一方面，在进行复原处理部38及轮廓增强处理部39中的图像处理之前，预先由用户来指定点像复原率G。由用户进行的点像复原率G的指定方法并无特别限定，例如可以将用于指定点像复原率G的滑动件等调整构件显示于用户界面29(背面显示部等)，由于用户经由调整构件进行操作，因此能够简单地确定点像复原率G。该点像复原率G为用于对基于复原乘法器43的点像复原处理的复原强度倍率U进行控制的基础数据。如同后述，例如除了点像复原率G值大于规定的阈值的情况以外，复原强度倍率U与点像复原率G相等(复原强度倍率U＝点像复原率G)。点像复原率G为0(零)的情况相当于点像复原处理处于关闭。该点像复原处理中的复原强度倍率U可以以取连续值的方式变化，可以以取离散值的方式变化，可以根据开启或关闭(是规定倍率，还是″0(零)″)而变化，可以安装通过任意的方式变更复原强度倍率U的处理回路等。
点像复原率G的确定方法并不限定于由用户进行的指定，而可以根据任意的信息计算并确定点像复原率G。即，锐化恢复控制部37(强度自动调整部52)可以根据用户所指定的指定恢复率来确定点像复原率G，也可以使用根据表示光学系统的特性的光学特性信息来确定的点像复原率G。在此所谓的″光学特性信息″可包括光学系统具有的透镜16的种类信息、光学系统的个体差异信息、其他摄影设定条件等。并且，反映光学系统的光学特性的点像复原率G自身可以包含于″光学特性信息″中。该光学特性信息可以存储于任意的存储部，例如在透镜单元12的存储部(光学系统存储部)中存储光学特性信息，也可以在相机主体14的存储部(主体存储部)中存储光学特性信息。从而，在锐化恢复控制部37(主体控制器28)等中，点像复原率G可以根据存储于存储部(光学系统存储部、主体存储部)中的光学特性信息而被确定。
并且，点像复原率G值可以取决于摄影设定条件S，根据摄影设定条件S为不同值的点像复原率G也可以通过锐化恢复控制部37(主体控制器28)等而被选择。该情况下，例如为了抑制产生程度依据光圈值而发生变化的伪影，也可以有意在特定的光圈值(摄影设定条件S)将点像复原率G设定为相对地较低。
将在轮廓增强滤波器处理部46中被使用的滤波器(用于抽出锐化处理中的轮廓增强成分的滤波器)的频率特性设为″″，将复原滤波器Xi,j(用于抽出点像复原处理中的复原成分的滤波器)的频率特性设为″xi,j(ωx，ωy)″。该情况下，将复原处理部38及轮廓增强处理部39 (点像复原处理及锐化处理)进行组合的图5所示的图像处理系统整体的频率特性通过下式1来表示。
[数式1]
(式1) F(ωx，ωy|U，V，xi，j)＝[1+U×xi，j(ωx，ωy)]×[1+V×φ(ωx，ωy)]
″F(ωx，ωy|U，V，xi,j)″表示将复原强度倍率U，锐化强度倍率 V，频率特性xi,j作为参数的、关于(ωx，ωy)(有关x方向及y方向的频率)的函数，该函数依据图像处理系统的结构而被确定。
另一方面，实施点像复原处理的强度调整(使用于复原乘法器43中的复原强度倍率U的确定)，以使通过下式2而被定义的总锐度评价值 (总锐化复原率)C(U，V，xi,j)保持为恒定值。
[数式2]
在此，″wi,j(ωx，ωy)″为按每一个图像内位置(像素位置)(i，j) 定义的任意的加权函数，总锐度评价值(总锐度评价函数)C(U，V， xi,j)通过系统整体的频率特性的加权运算而被定义。加权函数wi,j(ωx，ωy)优选设计成视觉上显著的频率成分和/或在图像内位置成为较大的值。通过使用由上述式2定义的总锐度评价值C(U，V，xi,j)，即使改变点像复原处理的强度，在所关注的频带和/或图像内位置上，频率增强的程度不发生变化，且锐度不会产生较大的背离。另一方面，在加权函数wi,j (ωx，ωy)较小的频带和/或图像内位置，因点像复原处理而产生的画质之差容易变得明显。
基于上述内容，复原强度倍率U及锐化强度倍率V的值能够如下确定。即，根据输入到强度自动调整部52的点像复原率G，由单调递增函数确定复原强度倍率U值，之后，以总锐度评价值C(U，V，xi,j)保持恒定值的方式确定锐化强度倍率V值。从而，强度自动调整部52实施调整，以使若复原强度倍率U值变大，则锐化强度倍率V值变小，若复原强度倍率U值变小，则锐化强度倍率V值变大。然而，若复原强度倍率U 值过大，则即使将锐化强度倍率V值设为零″0″的情况下，也有可能产生无法将总锐度评价值C(U，V，xi,j)保持为恒定的情况。即，有可能在将总锐度评价值C(U，V，xi,j)可以保持为恒定的复原强度倍率U的范围存在限制。
若将复原强度倍率U的上限值标记为″UMAX″，则总锐度评价值C(U， V，xi,j)满足″C(UMAX，0，xi,j)＝C(0，V0，xi,j)″的关系，因此复原强度倍率U的最大值如下式3所示那样受到限制。
[数式3]
上式3表示在点像复原率G为复原强度倍率U的上限值UMAX以下的情况下将点像复原率G设定为复原强度倍率U(U＝G)，在点像复原率G 超过复原强度倍率U的上限值UMAX的情况下将复原强度倍率U的上限值 UMAX设定为复原强度倍率U(U＝UMAX)。
在图5的图像处理系统中，通过搜索总锐度评价值满足″C(U，V， xi,j)＝C(0，V0，xi,j)″的关系的锐化强度倍率V，由此算出锐化强度倍率 V值。这等于求1次方程式的解，强度自动调整部52容易求出锐化强度倍率V。锐化强度倍率V的计算的难易度取决于系统整体的频率特性F (ωx，ωy|U，V，xi,j)的定义。由于该频率特性F(ωx，ωy|U，V， xi,j)成为非线性函数，因此在不易搜索使上述等式严格地成立的锐化强度倍率V的情况下，也可以进行所谓采用使总锐度评价值C(U，V，xi,j)最接近于总锐度评价值C(0，V0，xi,j)的锐化强度倍率V的公式化。
根据上述一系列处理，能够计算将总锐度评价值C(U，V，xi,j)保持为恒定的复原强度倍率U及锐化强度倍率V。
如以上说明，根据本实施方式，由于根据总复原锐度(总锐度评价值)可确定复原强度倍率U及锐化强度倍率V，因此可抑制经点像复原处理及锐化处理的图像(输出图像)的锐度的偏差，并能够使输出图像中的整体的分辨率或画质稳定。
尤其，由于以视觉上主要的频带和/或图像内位置上的加权变大的方式确定总锐度评价值，因此视觉上主要的频带和/或图像内位置上的复原强度及锐化强度恒定，可防止锐度的背离变得过大。
并且，点像复原处理可以实现与光学系统的PSF对应的高精确度的图像恢复处理，但根据摄影场景或摄影条件容易产生伪影，对画质的影响较大。从而，如本实施方式那样，通过优先设定点像复原处理的复原强度倍率U(复原率)，能够有效地提高整体的分辨率或画质。例如，通过将复原率(点像复原率G、复原强度倍率U)设定为较低，能够使根据摄影场景等有可能产生的伪影(振铃等)不明显，另一方面，也可以通过锐化处理而提高锐度。
并且，2个图像处理(点像复原处理及锐化处理)的强度调整参数的控制，通常需要控制″2个变量(复原强度、锐化强度)″，控制的自由度成为″2″。然而，根据本实施方式所涉及的强度调整处理，必要控制的自由度成为″1″，仅通过确定点像复原率G就可以确定合适的复原强度及锐化强度(复原强度倍率U及锐化强度倍率V)。
＜第2实施方式＞
本实施方式所涉及的锐化恢复控制部37获得锐化处理中的锐化率，并根据总锐化复原率及锐化率计算点像复原处理中的″复原率″。
图6是表示进行第2实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
在本实施方式中，关于与图5所示的第1实施方式相同的结构，附加相同的符号并省略详细说明。
在本实施方式的锐化恢复控制部37(强度自动调整部52)中输入有锐化率(锐化强度倍率V)。输入到该强度自动调整部52的锐化强度倍率V在进行复原处理部38及轮廓增强处理部39中的图像处理之前，预先通过用户而被指定。通过用户进行的锐化强度倍率V的指定方法并无特别限定，例如将用于指定锐化强度倍率V的滑动件等调整构件显示于用户界面29(背面显示部等)，用户通过经由该调整构件进行操作而可以简单地确定锐化强度倍率V。输入到该强度自动调整部52的锐化强度倍率V是用于对通过锐化乘法器47进行锐化处理的锐化强度倍率V进行控制的基础数据。除了输入到强度自动调整部52的锐化强度倍率V的值大于固定阈值的情况以外，输入到强度自动调整部52的锐化强度倍率V与使用于锐化乘法器47中的锐化强度倍率V相等。在锐化强度倍率V为0(零) 的情况下，相当于锐化处理被切断。该锐化处理中的锐化强度倍率V可以以取连续值的方式变化，可以以取离散值的变化，并通过开启或关闭(是否为规定倍率或″0(零)″)而变化，可以安装通过任意的方式可变更锐化强度倍率V的处理回路等。
在上述第1实施方式中，进行″首先在确定点像复原处理模块的复原强度倍率U之后，以总锐度评价值C(U，V，xi,j)一致的方式求出锐化处理模块的锐化强度倍率V″的处理。另一方面，在本实施方式中，进行″首先在确定锐化处理模块的锐化强度倍率V之后，以总锐度评价值C(U， V，xi,j)一致的方式确定点像复原处理模块的复原强度倍率U″的处理。
点像复原处理为关闭时的锐化强度倍率V0从存储于轮廓增强强度列表存储部60中的锐化强度倍率V0中而被选择，并从轮廓增强强度选择部 54传送到强度自动调整部52。
强度自动调整部52求出使根据点像复原处理为关闭时的锐化强度倍率V0的总锐度评价值C(0，V0，xi,j)和根据使用于锐化乘法器47中的锐化强度倍率V的总锐度评价值C(U，V，xi,j)一致的复原强度倍率U。通过搜索总锐度评价值满足″C(U，V，xi,j)＝C(0，V0，xi,j)″的关系的复原强度倍率U而计算该复原强度倍率，这等于求1次方程式的解。在不易搜索使上述等式成立的复原强度倍率U的情况下，也可以进行所谓使总锐度评价值C(U，V，xi,j)最接近于总锐度评价值C(0，V0，xi,j)的复原强度倍率U的公式化。
通过上述一系列处理，能够计算将总锐度评价值C(U，V，xi,j)保持为恒定的复原强度倍率U及锐化强度倍率V。
其它结构与图5所示的第1实施方式相同。
如以上说明的本实施方式中，根据总复原锐度(总锐度评价值)可求出复原强度倍率U及锐化强度倍率V，并能够抑制点像复原处理及锐化处理后在输出图像中的锐度的偏差，并能够使统一的整体的分辨率或画质稳定。
尤其，锐化处理(轮廓增强处理)为与点像复原处理相比弊端非常少的稳定的图像处理。因此，例如在用户希望伪影等弊端较少的图像的情况、点像复原处理的效果不明显的情况、不易使点像复原处理的弊端显著的情况下等，优选如本实施方式那样优先设定锐化强度倍率V。并且，如使用于摄影的透镜16的光学性能良好且光学系统的点扩散现象的影响非常小的情况、在根据摄影场景确定的摄影模式为夜景模式、肖像模式、艺术滤波器模式的情况等，在原本不易感觉到点像复原处理的效果的情况下，优选如本实施方式那样优先设定锐化强度倍率V。
并且，如后述的非线性处理(剪辑处理、限制器处理等)包含于锐化处理模块中且无法将锐化强度增强到某一水平以上的情况，存在″在锐化强度上存在限制，而在点像复原强度上无限制的情况″。该情况下，如本实施方式那样，若优先确定锐化强度倍率V，则有可能简单地控制总锐度评价值C(U，V，xi,j)为恒定。
＜第3实施方式＞
本实施方式所涉及的锐化恢复控制部37在特定频率(第1频率)中将总锐化复原率调整为目标锐化复原率，从而求出复原强度倍率U及锐化强度倍率V。
在本实施方式中，关于与图5所示的第1实施方式相同的结构，附加相同的符号并省略详细说明。
图7是例示图像处理的频率特性的图，图7(a)表示锐化处理(轮廓增强滤波器处理部46)中的″频率-增益″关系例，图7(b)表示点像复原处理(点像复原滤波器处理部42)中的″频率-增益″关系例，图7(c)表示锐化处理及点像复原处理整体中的″频率-增益″关系例。
在本实施方式的图像处理中，上述第1实施方式所涉及的图像处理的一部分被简化，关注某一特定频率和/或图像内的某一特定位置(画面内坐标)，关于其关注频率和/或关注位置(关注坐标)，精确调整″复原强度倍率U及锐化强度倍率V″。
在此，所谓的关注频率及关注位置并无特别限定，例如能够将视觉特性上显著的频率及画面内坐标设定于关注频率及关注位置，也可以设定为例如关注图像的中央位置。并且，关注频率及关注位置的范围也无限定，可以是单数，也可以是复数。
具体而言，该图像处理通过如下定义总锐度评价值C(U，V，xi,j)的式(参考上述″式2″)的加权函数wi,j(ωx，ωy)而可以实现。
[数式4]
(式4) wi，j(ωx，ωy)＝δ(ωx-ω0)×δ(ωy)×δ(i-i0)×δ(j-i0)
在上述式中，″δ(x)″表示克罗内克(Kronecker)δ函数，将图像的关注位置的坐标(图像高度)设为″i＝i0，j＝j0″。例如，若将图像的关注位置设为图像的中央位置，则上式4的加权函数wi,j(ωx，ωy)被定义为在图像中心的特定频率f0得到特定的增益g0(总锐度评价值C(U，V， xi,j))。并且，上述式4中，关于频率仅参考x方向的频率。这是因为在图像中心PSF的形状是各向同性的，根据各向同性的PSF的复原滤波器的频率特性也成为各向同性，关于特定方向(上式4中″x方向″)进行参考就足够了。
通过使用由上式4表示的加权函数，按照图7所示，即使点像复原率 G为任意的值，关于图像处理系统整体的频率特性，通常，在特定的频率 f0，增益g0成为恒定。
点像复原处理整体(复原处理部38)的频率特性通过基于点像复原滤波器处理部42的滤波器处理和基于复原乘法器43的增益控制处理而确定，并通过点像复原滤波器处理部42的频率特性(参考图7(a))的倍率由复原强度倍率U调整来确定。同样，锐化处理整体(轮廓增强处理部 39)的频率特性通过基于轮廓增强滤波器处理部46的滤波器处理和基于锐化乘法器47的增益控制处理而确定，通过轮廓增强滤波器处理部46的频率特性(参考图7(b))的倍率由锐化强度倍率V调整来确定。从而，通过控制适用于点像复原滤波器处理部42及轮廓增强滤波器处理部 46的频率特性(参考图7(a)及图7(b))的复原强度倍率U及锐化强度倍率V而可以调整图像处理系统整体的频率特性(参考图7(c))。
在强度自动调整部52中的复原强度倍率U及锐化强度倍率V的调整中，虽然有在特定的频率f0中实现特定的增益g0的限制，但是具体的调整例并非确定为1个。例如，在要增强图像的高频成分的情况下，如图7 (c)的″调整例1″所示，以实现增强强高频波成分的增益的方式确定复原强度倍率U及锐化强度倍率V。另一方面，在不增强强图像的高频成分，而要增强强低频～中频的成分的情况下，如图7(c)的″调整例2″所示，确定增益仅适用于低频～中频的成分中的复原强度倍率U及锐化强度倍率 V。
另外，强度自动调整部52从复原滤波器选择部53被输入在点像复原滤波器处理部42中使用的复原滤波器X，并求出复原滤波器X的频率特性。并且，强度自动调整部52还掌握在轮廓增强滤波器处理部46中使用的锐化滤波器的频率特性。例如，在轮廓增强滤波器处理部46中使用单一的锐化滤波器的情况下，也可以由复原滤波器选择部53预先存储锐化滤波器的频率特性。并且，在轮廓增强滤波器处理部46中使用的锐化滤波器从多个滤波器中选择的情况下，所选择的锐化滤波器可以输入到强度自动调整部52，且强度自动调整部52求出锐化滤波器的频率特性，所选择的锐化滤波器的频率特性可以输入到强度自动调整部52。
其它结构与图5所示的第1实施方式相同。
如以上说明，根据本实施方式，能够抑制点像复原处理及锐化处理后的输出图像中的锐度的偏差，并能够使画质稳定。
尤其，由于特定的频率f0中的增益g0被固定，因此例如可以采用″将成为基础的低频的锐度保持为恒定，且调整高频的锐度″等方法，并可以弹性地控制图像处理整体的频率特性。
并且，在图像内的某一特定位置(例如中央部位置)，能够以实现恒定的总锐度评价值C(U，V，xi,j)的方式确定复原强度倍率U及锐化强度倍率V。在将中央部位置设为″特定位置″的情况下，可以防止在用户容易识别的图像中央部的锐度上产生较大的背离，并且能够防止对图像周边的模糊图像进行较大地提高锐度的点像复原处理及锐化处理。另外，在此，所谓的″特定位置″的数量并无特别限定，能够将相当于构成整体图像的像素数的数％～数十％的数设定为″特定位置″的数。
＜第4实施方式＞
本实施方式所涉及的复原处理部38及轮廓增强处理部39并联设置，图像数据(输入图像)分别输入到复原处理部38及轮廓增强处理部39，通过基于点像复原处理的图像数据的增减量数据和基于锐化处理的图像数据的增减量数据被相加而生成输出图像。
图8是表示进行第4实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
在本实施方式中，关于与图5所示的第1实施方式相同的结构，附加相同的符号并省略详细说明。
本实施方式的图像处理部35具有锐化复原调整部63。锐化复原调整部63包括：第1加法器61，将来自复原处理部38的图像数据的增减量数据和来自轮廓增强处理部39的图像数据的增减量数据进行相加；及第2 加法器62，将从第1加法器61输出的相加后增减量数据和输入图像数据进行相加。
即，在本实施例中，对图像数据并行地进行″通过点像复原滤波器处理部42及复原乘法器43进行的点像复原处理″和″通过轮廓增强滤波器处理部46及锐化乘法器47进行的锐化处理″，在各处理中，计算相当于与图像数据(输入图像)的差分值的增减量数据。基于点像复原处理的图像数据的增减量数据和基于锐化处理的图像数据的增减量数据通过第1加法器61而被相加，算出基于点像复原处理及锐化处理整体的图像数据的增减量数据。该″基于整体处理的图像数据的增减量数据″和图像数据(输入图像)通过第2加法器62而被相加，生成实施点像复原处理及锐化处理的图像数据(输出图像)。
其它结构与图5所示的第1实施方式相同。例如，由复原滤波器选择部53(参考图5)选择的复原滤波器供给到点像复原滤波器处理部42及强度自动调整部52，由轮廓增强强度选择部54选择的锐化强度倍率V0 供给到强度自动调整部52。并且，在复原乘法器43及锐化乘法器47中使用的复原强度倍率U及锐化强度倍率V通过强度自动调整部52而可以适当地确定
本实施例的图像处理系统整体的频率特性由下式5表示。
[数式5]
(式5) F(ωx，ωy|U，V，xi，j）＝1+Ｕ×xi，j(ωx，ωy)+V×φ(ωx，ωy)
在上式5中，复原处理部38的频率特性由″U×xi,j(ωx，ωy)″表示，轮廓增强处理部39的频率特性由″″表示。从而，通过第1 加法器61进行的加法处理基于″″的频率特性，通过第2加法器62进行的加法处理基于″ ″的频率特性。
如以上说明，在本实施方式中，与复原处理部38及轮廓增强处理部 39串联配置的情况(参考上述第1实施方式(图5))同样地，能够抑制点像复原处理及锐化处理后的输出图像中的锐度的偏差，并能够使画质稳定。
＜第5实施方式＞
本实施方式所涉及的图像处理部35还具备进行图像数据的非线性处理的非线性处理部，在2级滤波器处理系统(复原处理部38及轮廓增强处理部39)中导入有非线性处理。该非线性处理部包含于复原处理部38 及轮廓增强处理部39中的至少任一方，在下述内容中，关于在复原处理部38中设置非线性处理部的例子进行说明。
非线性处理通常不会仅由加减乘除的运算处理构成，例如有可能包括 LUT(查表)的参照或伴随条件分支的处理。非线性处理大多以抑制伪影或噪声为目的进行，例如可以将″在图像信号中将超过剪辑阈值的像素值调整为剪辑阈值的剪辑处理″作为非线性处理而进行。
图9是表示进行第5实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
在本实施方式中，关于与图5所示的第1实施方式相同的结构，附加相同的符号并省略详细说明。
本实施例的点像复原处理(复原处理部38)包括如下一系列处理：对通过复原滤波器抽出的点像复原增强强成分应用增强倍率；对增强倍率应用后的点像复原增强成分应用非线性处理；及非线性处理后的点像复原增强成分和原图像的合成。
即，图像数据(输入图像)输入到点像复原滤波器处理部42而进行基于复原滤波器的滤波处理，并计算基于点像复原处理的图像数据的增减量数据。增减量数据输入到复原乘法器43，并根据复原强度倍率U进行增益控制，将增减量数据及复原强度倍率U进行相乘，相乘后的增减量数据输入到非线性处理部65。
在非线性处理部65中，对所输入的增减量数据进行剪辑处理(非线性处理)，在增减量数据(图像数据)中，将超过规定的剪辑阈值的像素值调整为剪辑阈值。另外，剪辑阈值可以预先被确定而存储于非线性处理部65，也可以由用户通过用户界面29来直接或间接地指定剪辑阈值。剪辑处理后的图像数据的增减量数据与在复原加法器44中输入到点像复原滤波器处理部42之前的图像数据(输入图像)相加，算出点像复原处理后的图像数据。
如下式6所示，在非线性处理部65中进行的剪辑处理为将图像数据限制为不取剪辑阈值θ(≥0)以上的值的处理。
[数式6]
根据由上式6表示的剪辑处理函数CLIP(x)，在图像数据(像素数据)x的绝对值小于剪辑阈值θ的情况下(|x|＜θ)，该图像数据通过剪辑处理不被调整而被保持，并从非线性处理部65输出″x″。另一方面，图像数据x的绝对值为剪辑阈值θ以上的情况下(|x|≥θ)，信号成分通过剪辑处理、并通过符号函数(signum function)而被调整，并从非线性处理部65输出″sign(x)×θ″。
其它结构与图5所示的第1实施方式相同。例如，轮廓增强处理部 39中的基于轮廓增强滤波器处理部46的滤波处理、基于锐化乘法器47 的乘法处理及基于锐化加法器48的加法处理，以与上述第1实施方式相同的方式进行。
在本实施例中，作为系统整体中的频率特性F(ωx，ωy|U，V， xi,j)，能够使用根据将特定的输入波形输入到系统(图像处理部35)时的输出而近似获得的频率特性。即，在进行非线性处理的图像处理部存在于信号处理系统的情况下，原则上无法正确地求出信号处理系统的频率特性，有时无法应用复原强度倍率U及锐化强度倍率V的自动计算处理。从而，可以在进行非线性处理时，从相对于预先掌握频率成分的特定的输入波形(输入图像数据)的输出波形(输出图像数据)近似地评价内部的频率特性，并利用通过近似的评价而得到的频率特性，从而进行复原强度倍率U及锐化强度倍率V的自动计算处理。该情况下，需要求出系统整体的频率特性F(ωx，ωy|U，V，xi,j)，要求以数式表示对特定的输入波形的系统的频率响应近似公式。具体的近似评价方法是任意的，该系统的频率响应近似公式的精确度取决于非线性处理的具体的内容。
作为系统的频率响应近似公式的例子，在图9所示的包括剪辑处理的图像处理系统中，使用预先掌握特性的输入波形(图像信号)，并假定输入波形为高对比度的步骤函数，如上述实施方式，在特定的频率f0中，以保持特定值(总锐度评价值)的方式定义wi,j(ωx，ωy)的情况下(参考上述″式4″)，本申请发明人凭经验得知能够通过下式7来近似地表示图像处理系统整体的频率特性。
[数式7]
(式7) F(ωx，ωy|U，V)＝[1+min(U×ψ(ωx，ωy)，A)]×[1+V×φ(ωx，ωy)]
在上式7中，″A″为取决于剪辑阈值θ和输入图像信号的锐度(模糊度)的常数。并且，″min(U×ψ(ωx，ωy)，A)″为表示在″U×ψ(ωx，ωy)″及″A″中较小的函数。
另外，在本实施例中，在复原处理部38中设置非线性处理部65，但非线性处理部可以仅设置于轮廓增强处理部39，也可以设置于复原处理部 38及轮廓增强处理部39这两者。然而，在复原处理部38及轮廓增强处理部39这两者中，若进行非线性处理，则图像处理系统整体的频率响应近似公式变得复杂，有可能导致不易进行如下控制，即在将总锐度评价值C(U，V，xi,j)保持为恒定值的同时，确定复原强度倍率U及锐化强度倍率V。
在点像复原处理(点像复原滤波器处理部42)中使用的复原滤波器，以输入图像具有假定的频率特性(模糊特性)为前提而设计。然而，通过在点像复原处理及锐化处理的前级配置的摄像系统或图像处理系统中的非线性现象及信号处理，图像数据(输入图像)具有不同于假定的频率特性 (不正确的频率特性)，有可能在输出图像上产生伪影。为了抑制这种伪影，优选在基于复原滤波器的滤波处理(点像复原滤波器处理部42)的后级设置非线性处理部65。
如以上说明，根据本实施方式，即使在通过复原处理部38及/或轮廓增强处理部39进行非线性处理的情况下，也能够准确地求出复原强度倍率U及锐化强度倍率V。尤其，通过进行非线性处理而能够有效地抑制伪影。
＜第6实施方式＞
在现有的动态图像摄影模式中，在动态图像摄影中，摄影设定条件随着时间的经过而发生变化，若依次选择与变动的摄影设定条件对应的复原滤波器进行点像复原处理，则有可能在动态图像帧之间复原率或图像锐度的偏差变得明显。
在本实施方式中，为了防止动态图像帧之间的复原率或锐度的偏差，在动态图像记录过程中，将总锐度评价值保持预先确定的值，且进行点像复原处理强度及锐化处理强度的控制。即，在本实施方式中，总锐度评价值不会按每一个摄影设定条件而被切换。
图10是表示进行第6实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
本实施方式所涉及的锐化恢复控制部37(强度自动调整部52)获得在获得图像数据(输入图像)时的摄影模式信息M，在摄影模式信息M表示动态图像记录模式的情况下，将总锐化复原率保持为恒定。另外，在此，所谓的″将总锐化复原率保持为恒定″并不限定于将总锐化复原率保持为规定值的情况，也可以包括总锐化复原率保持在不影响画质的范围内的情况。在总锐化复原率保持在不影响画质的范围内的情况下，优选总锐化复原率的变动的程度为10％以下，更优选为5％以下。
摄影模式信息M通过任意的方式而输入到强度自动调整部52。例如，在数码相机10(透镜单元12、相机主体14)上设置″可以将动态图像记录模式及静态图像记录模式进行切换的模式切换部(用户界面29)″的情况下，可以从模式切换部对主体控制器28(强度自动调整部52)传送用户所选择的摄影模式信息M。摄影模式信息M为直接或间接地表示处理对象的图像为动态图像或静态图像的信息即可，也可以将表示伴随处理对象的图像的″动态图像/静态图像″的信息作为摄影模式信息M。
在所输入的摄影模式信息M表示动态图像记录模式的情况下，强度自动调整部52在构成动态图像的多个图像数据(帧)之间，使用通用的总锐度评价值(总锐化复原率)来确定复原强度倍率U及锐化强度倍率V。即，在确定对通过动态图像记录模式而被拍摄的动态图像(帧)的复原强度倍率U及锐化强度倍率V的情况下，即使摄影设定条件在帧之间发生变化，总锐度评价值(总锐化复原率)也不会按每一个摄影设定条件被切换而被固定。固定使用于该动态图像的总锐度评价值(总锐化复原率)可以通过任意的方法而确定，例如，也可以使用与构成动态图像的特定的帧 (例如最初的帧)的摄影设定条件对应的总锐度评价值(总锐化复原率)。
另外，在摄影模式信息M表示动态图像记录模式的情况下，与摄影模式信息M表示静态图像记录模式的情况相比，强度自动调整部52(锐化恢复控制部37)可以减小点像复原处理的复原强度倍率U(复原率)。通过复原处理部38进行的点像复原处理为基于PSF的图像恢复处理，在可以正确地掌握PSF的情况下为可以有效地改善画质的优异的画质改善处理，但是在无法正确地掌握PSF的情况下为有可能因过度校正等而导致引起画质劣化的处理。在使用忠实地反映PSF的复原滤波器的点像复原处理中需要相应的时间，在动态图像记录模式中，也要求在限定的时间内对构成动态图像的多个帧图像进行处理。并且，在动态图像中，也要求保持帧之间的连续性，在连续帧之间，画质大幅度变化未必是优选的。从而，在动态图像记录模式中，通过将复原强度倍率U(复原率)设为较小，能够减小因过度校正等产生的画质劣化或帧之间的变化，并能够生成总体上优质的动态图像。并且，通过锐化强度倍率V，复原强度倍率U的减少得到补充，即使基于点像复原处理的复原度较小，也能够通过锐化处理而得到清晰的动态图像。
其它结构与图5所示的第1实施方式相同。
如以上说明，根据本实施方式，即使在动态图像摄影过程中摄影设定条件发生变化，且与摄影设定条件对应的点像复原处理的复原率变动的情况下，也由于总锐度评价值(总锐化复原率)恒定，因此能够抑制复原动态图像的锐度的偏差。
＜第7实施方式＞
在本实施方式中，反映安装于相机主体14上的构成光学系统的透镜单元12的个体差异信息的点像复原率G输入到强度自动调整部52。从而，强度自动调整部52根据包含光学系统的个体差异信息的光学特性信息而确定复原强度倍率U。
图11是表示进行第7实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
在本实施方式中，关于与图5所示的第1实施方式相同的结构，附加相同的符号并省略详细说明。
构成透镜单元12的光学系统，尤其透镜16等因制造误差等而在光学特性上存在个体差异，严格地讲，通过个体差异，在每一个透镜单元12 中PSF不同。从而，若忽略作为光学系统的一例的透镜单元12的个体差异而进行点像复原处理，则即使为使用同一种类的透镜单元12进行拍摄的图像，复原度也不同，有时复原图像中的伪影出现方式也不同。
理想的是，根据忠实地反映透镜单元12的光学特性的PSF进行点像复原处理，且在复原图像中不产生伪影。然而，实际上，由于透镜单元12 的个体差异的原因，处理对象图像中的PSF的影响和构成使用于点像复原处理中的复原滤波器的基础的PSF不匹配，有时在复原图像中产生伪影。作为用于防止因个体差异而产生的伪影的一种方法，有通过将点像复原处理中的复原强度倍率U设定为较小的值而抑制复原度的方法，但若减小复原强度倍率U，则图像不会充分复原，无法得到所希望的锐度。作为防止该锐度降低的一种方法，可以考虑对每一个透镜单元12的个体，依次调整用于实现所希望的总锐度的锐化强度倍率V，但这种依次调整是耗时的工作而不方便。
在本实施方式中，点像复原处理的恢复强度对每一个透镜(光学系统)的个体进行调整，复原强度倍率U及锐化强度倍率V的确定被自动化。
即，在本实施方式中，透镜单元存储部21包括复原滤波器存储部58 及轮廓增强强度列表存储部60，还包括点像复原强度列表存储部67。在点像复原强度列表存储部67中存储有作为光学系统的一例的透镜单元12 所特有的点像复原率G，该点像复原率G为反映了透镜单元12的个体差异信息Q的值。并且，在复原滤波器存储部58中存储有与透镜单元12(光学系统)的类别对应的复原滤波器X。另外，复原滤波器X共同使用于相同类别的光学系统的一例，即透镜单元12。
存储于点像复原强度列表存储部67中的点像复原率G通过锐化恢复控制部37所具有的恢复率选择部69被读取，并供给到强度自动调整部 52。即，恢复率选择部69将对应于摄影设定条件S的点像复原率G从点像复原强度列表存储部67读取，并供给到强度自动调整部52。与上述第 1实施方式相同，强度自动调整部52由所供给的点像复原率G确定复原强度倍率U，并根据该复原强度倍率U及总锐度评价值(总锐化复原率) 来确定锐化强度倍率V。
其它结构与图5所示的第1实施方式相同。
在本实施方式中，由于复原滤波器存储部58设置于透镜单元存储部21(透镜单元12)中，因此若更换透镜单元12，则复原滤波器选择部53 从新的透镜单元12的复原滤波器存储部58读取复原滤波器X。因此，将反映了所搭载的光学系统的一例即透镜单元12的PSF的复原滤波器X存储于复原滤波器存储部58，从而在各透镜单元12中搭载有存储反映了本身的PSF的复原滤波器X的复原滤波器存储部58。从而，即使几种透镜单元12可以安装于相机主体14，也能够将最适合于所安装的透镜单元12 的复原滤波器X供给到点像复原滤波器处理部42。另外，根据本实施方式，由于安装于相机主体14上的光学系统的一例即透镜单元12的个体差异信息Q被加上的点像复原率G供给到强度自动调整部52，因此能够防止由光学系统的个体差异产生的PSF的不匹配引起的伪影。尤其，在本实施方式中，由于反映了个体差异信息Q的点像复原率G存储于透镜单元存储部21(透镜单元12)，因此即使更换安装于相机主体14的透镜单元 12，也可以根据基于更换后的透镜单元12的个体差异信息Q的点像复原率G而确定复原强度倍率U及锐化强度倍率V。由于在各滤波器处理中使用被确定的复原强度倍率U及锐化强度倍率V，因此在进行反映了个体差异的复原处理，且能够得到所希望的总锐度。
另外，点像复原强度列表存储部67、复原滤波器存储部58及轮廓增强强度列表存储部60在上述实施方式中设置于透镜单元12，但也可以设置于相机主体14。当这些存储部设置于相机主体14的情况下，优选与所安装的透镜单元12对应的数据从外部设备类(计算机92、服务器97 等)被下载到点像复原强度列表存储部67、复原滤波器存储部58及轮廓增强强度列表存储部60。
＜第8实施方式＞
在本实施方式中，复原滤波器可共同使用于多个光学系统。
图12是表示进行第8实施方式所涉及的点像复原处理及锐化处理的处理模块的结构的图。
在本实施方式中，关于与图11所示的第7实施方式相同的结构，附加相同的符号并省略详细说明。
在图11所示的上述第7实施方式中，按每一个摄影设定条件选择复原滤波器X并使用于点像复原滤波器处理部42，但在本实施方式中，在多个摄影设定条件下(光学系统种类等)，相同的复原滤波器X使用于点像复原滤波器处理部42。
在使用与每一个摄影设定条件的PSF对应的复原滤波器的点像复原处理中，处理负载较大，但本实施方式设定规定的容许范围，且在该容许范围内的多个摄影设定条件下通用复原滤波器X，由此减小点像复原处理的负载。然而，若摄影设定条件(光学系统种类等)不同，则严格地讲PSF 也不同，因此在多个摄影设定条件下通用复原滤波器X的情况下，复原图像中的伪影的出现方式或图像复原率(图像恢复率)根据摄影设定条件而改变。
在本实施方式中，为了防止根据光学系统种类而变动的伪影等，根据安装于相机主体14上的透镜单元12的类别，改变点像复原处理的点像复原率G，从而在容易强烈地出现伪影的透镜单元12中，将点像复原率G 设定为较弱。通过将点像复原率G设定为较弱而锐度产生偏差，从而防止不能得到所希望的总锐化恢复度的现象，因此利用通过强度自动调整部52 进行的复原强度倍率U及锐化强度倍率V的自动调整。
即，在图12所示的本实施方式中，点像复原强度列表存储部67及轮廓增强强度列表存储部60设置于透镜单元12(透镜单元存储部21)中，但轮廓增强强度选择部54设置于相机主体14中。尽管透镜单元12安装于相机主体14，复原滤波器选择部53从轮廓增强强度选择部54选择与摄影设定条件S对应的复原滤波器X，并供给到点像复原滤波器处理部42 及强度自动调整部52。
另一方面，供给到强度自动调整部52的点像复原率G按照作为光学系统的一例的每一个透镜单元12而被确定。即恢复率选择部69从透镜单元存储部21的点像复原强度列表存储部67读取与摄影设定条件S对应的点像复原率G，并供给到强度自动调整部52。
存储于点像复原强度列表存储部67中的点像复原率G的列表及存储于轮廓增强强度列表存储部60中的锐化强度倍率V0的列表，按照作为光学系统的一例的每一个透镜单元12预先被计算并存储。
在本实施方式中，不管透镜单元12的种类如何，通用的复原滤波器 X通过点像复原滤波器处理部42而被使用，考虑到该复原滤波器X的通用化的点像复原率G及锐化强度倍率V0(点像复原处理为关闭时的锐化强度倍率V0)传送到强度自动调整部52。从而，恢复率选择部69可以对从点像复原强度列表存储部67选择的点像复原率G进行考虑到″复原滤波器X的通用化″的任意的调整处理，并将该调整后的点像复原率G供给到强度自动调整部52。同样，轮廓增强强度选择部54可以对从轮廓增强强度列表存储部60选择的锐化强度倍率V0进行考虑到″复原滤波器X的通用化″的任意的调整处理，并将该调整后的锐化强度倍率V0供给到强度自动调整部52。
如以上说明，根据本实施方式，关于多个摄影设定条件(光学系统种类)，考虑使用相同的复原滤波器而预先确定点像复原率G，并算出复原强度倍率U及锐化强度倍率V。由此，能够防止由复原滤波器的通用化引起的复原图像中的伪影，并且通过点像复原处理及锐化处理能够提高图像的锐度。
另外，在上述例子中，复原滤波器通用于″多个光学系统″，但成为复原滤波器的通用化的基准的摄影设定条件并不限定于光学系统的种类，关于其它摄影设定条件(例如变焦信息等)也可以通用复原滤波器。
例如，关于多个变焦倍率(尤其光学变焦倍率及数字变焦倍率中光学变焦倍率)，当使用相同的复原滤波器的情况下，根据包含于摄影设定条件S中的变焦信息，复原滤波器选择部53选择合适的复原滤波器X，并供给到点像复原滤波器处理部42及强度自动调整部52。另一方面，恢复率选择部69从点像复原强度列表存储部67读取与摄影设定条件S对应的点像复原率G，并供给到强度自动调整部52。强度自动调整部52根据被供给的复原滤波器X及点像复原率G来确定复原强度倍率U及锐化强度倍率V。该情况下，关于多个变焦倍率，考虑了使用通用的复原滤波器的点像复原率G或锐化强度倍率V0(最大轮廓增强强度)也可以供给到强度自动调整部52。例如，恢复率选择部69及轮廓增强强度选择部54读取并确定基于共通复原滤波器的使用的点像复原率G及锐化强度倍率V0 (最大轮廓增强强度)。
＜其它变形例＞
上述实施方式仅仅是例示，对其它结构也可以应用本发明。
锐化恢复控制部37(参考例如图5)至少在″在光圈值表示与由第1 阈值表示的光圈度相比光圈开启得大的情况″下，获得复原率及锐化率中的一个，并可以根据总锐化复原率来计算复原率及锐化率中的另一个。例如，光圈值位于开启侧的情况下，也可以进行上述复原强度倍率U及锐化强度倍率V的自动调整控制。即，锐化恢复控制部37(例如参考图5)获得在获得图像数据时的光学系统(透镜单元12)的光圈值(F值)，并对该光圈值与第1阈值进行比较。在将光圈值设为F值的情况下，可以仅在所获得的F值为第1阈值以下(光圈开启侧)的情况下，锐化恢复控制部 37获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个。通常，基于点像复原处理的复原率及伪影的出现方式根据F值而变动，尤其在以开启侧F值进行拍摄的图像数据中伪影容易变得明显。从而，仅对(并非小光圈侧)以开启侧光圈进行拍摄的图像数据进行基于上述各实施方式所涉及的点像复原处理及锐化处理的图像处理，从而能够抑制以开启侧光圈值容易显现的伪影，并且能够提高基于锐化处理的图像锐度。该情况下，上述各实施方式所涉及的基于点像复原处理及锐化处理的图像处理只要适用于至少以伪影容易变得明显的开启侧F值进行拍摄的图像数据即可，但也可以适用于以其它F值进行拍摄的图像数据，也可以仅适用于以开启侧F值进行拍摄的图像数据。
另外，光圈值(光圈信息)包含于″摄影设定条件″中，在图12所示的结构中，由于摄影设定条件S被供给到强度自动调整部52，因此在强度自动调整部52中能够进行″光圈值与第1阈值的比较″及″点像复原率G (复原率)及锐化强度倍率V(锐化率)的确定″。并且，″第1阈值″可以设定为任意的值(F值)，也可以根据变焦等其它摄影设定条件而确定，也可以将相当于例如F3.5～F6.3的范围的F值的阈值设定为″第1阈值″。
并且，在上述实施方式中，示出轮廓增强强度选择部54根据摄影设定条件S来确定点像复原处理为关闭时的锐化强度倍率V0(总锐化复原率)的例子，但也可以根据经由用户界面29进行的用户的指定来确定锐化强度倍率V0(总锐化复原率)。
并且，在上述各实施方式中，关于在数码相机10中自动调整计算复原强度倍率U及锐化强度倍率V的例子进行了说明，但也可以在出厂前在生产商一方预先进行该自动调整计算，并将算出的复原强度倍率U及锐化强度倍率V的所有参数存储并保持于数码相机10(透镜单元存储部21、主体存储部31等)。例如数码相机10存储并保持将″复原强度倍率U及锐化强度倍率V″和″摄影设定条件S″建立对应关联的图表，强度自动调整部52能够通过参照该图表由摄影设定条件S求出复原强度倍率U及锐化强度倍率V。该情况下，生成使用于数码相机10(图像处理部)中的参数的参数生成方法具备：″获得根据基于点像复原处理的图像数据的复原率及基于锐化处理的图像数据的锐化率的总锐化复原率的步骤″；及″获得复原率及锐化率中的一个，并根据总锐化复原率来计算复原率及锐化率中的另一个的步骤″。这些步骤可通过例如与上述第1实施方式所涉及的强度自动调整部52相同的方式来执行。
并且，可以将在本说明书中记载的实施方式彼此适当地进行组合，也可以将第1实施方式～第8实施方式及变形例中的任意的方式彼此组合。例如在第2实施方式(参考图6)中，轮廓增强强度选择部54获得安装于相机主体14上的透镜单元12的光学特性信息，可以根据该光学特性信息(光学系统所具有的透镜种类信息、光学系统的个体差异信息、摄影设定条件等)来确定锐化强度倍率V。该情况下，轮廓增强强度选择部54 能够通过任意的方法来获得光学特性信息，例如轮廓增强强度选择部54 (主体控制器28)也可以通过与透镜单元控制器20进行通信而获得透镜单元12的光学特性信息。并且，如图13所示，通过将反映了个体差异信息Q(光学特性信息的一例)的锐化强度倍率V0、V存储于轮廓增强强度列表存储部60，可以同时进行″光学特性信息的获得″及″根据光学特性信息的锐化强度倍率V0、V的确定″。
并且，上述各功能结构通过任意的硬件、软件、或者两者的组合而可适当地实现。例如，能够将本发明适用于使计算机执行上述各装置及处理部(主体控制器28、设备控制部34、图像处理部35(锐化恢复控制部 37、复原处理部38、轮廓增强处理部39)等)中的图像处理方法(图像处理流程)的程序；记录该程序的计算机可读取记录介质(非临时记录介质)；或者可安装该程序的计算机。
并且，可适用本发明的方式并不限定于数码相机及计算机(服务器)，除了将摄像作为主要功能的相机类以外，对于在摄像功能的基础上还具备摄像以外的其它功能(通话功能、通信功能、其它计算机功能)的移动设备类也能够适用本发明。作为可适用本发明的其它方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal DigitalAssistants)、便携式游戏机。以下，对可适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图14是表示作为本发明的摄像装置的一实施方式的智能手机101的外观的图。图14所示的智能手机101具有平板状的框体102，并具备在框体102的一面作为显示部的显示面板121与作为输入部的操作面板122 成为一体的显示输入部120。并且，该框体102具备扬声器131、麦克风 132、操作部140、相机部141。另外，框体102的结构并不限定于此，例如能够采用使显示部和输入部独立的结构，或者采用折叠结构或具有滑动机构的结构。
图15是表示图14所示的智能手机101的结构的框图。如图15所示，作为智能手机的主要构成要件，具备无线通信部110、显示输入部 120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部 180、电源部190、主控制部100。并且，作为智能手机101的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部110按照主控制部100的指令对收纳于移动通信网NW的基站装置BS进行无线通信。通过使用这种无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。
显示输入部120为所谓的触控面板，其通过主控制部100的控制而显示图像(静态图像及动态图像)、文字信息等，从而视觉上对用户传递信息，并检测对所显示信息的用户操作，所述显示输入部120具备显示面板 121和操作面板122。
显示面板121将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板122为载置成能够识别显示于显示面板121的显示面上的图像，且对通过用户的手指或触笔来操作的一个或多个坐标进行检测的设备。若通过用户的手指或触笔来操作这种设备，则将通过操作而产生的检测信号输出到主控制部100。接着，主控制部100根据接收到的检测信号来检测显示面板121上的操作位置(坐标)。
如图14所示，作为本发明的摄像装置的一实施方式而例示的智能手机101的显示面板121和操作面板122成为一体而构成显示输入部120，但是成为操作面板122完全包覆显示面板121的配置。当采用这种配置时，操作面板122在显示面板121以外部区域也具备检测用户操作的功能。换言之，操作面板122也可以具备与显示面板121重叠的重叠部分的检测区域(以下，称作显示区域)、及除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称作非显示区域)。
另外，可以使显示区域的大小和显示面板121的大小完全一致，但是未必使两者一致。并且，操作面板122也可以具备外缘部分和除此以外的内侧部分这两个感应区域。另外，外缘部分的宽度根据框体102的大小等而可适当地设计。另外，作为在操作面板122中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面声波方式、红外线方式、电磁感应方式、静电容量方式等，能够采用任一种方式。
通话部130具备扬声器131、麦克风132，通过将通过麦克风132输入的用户的语音转换为可以由主控制部100处理的语音数据而能够输出到主控制部100，将通过无线通信部110或外部输入输出部160接收到的语音数据进行解码并从扬声器131输出。并且，如图14所示，例如，能够将扬声器131搭载于与设置有显示输入部120的面相同的面上，并能够将麦克风132搭载于框体102的侧面。
操作部140为使用了键开关等的硬件键，接收来自用户的指令。例如，如图14所示，操作部140搭载于智能手机101的框体102的侧面，是利用手指等按下时开启，手指离开时通过弹簧等的复原力而成为切断状态的按钮式开关。
存储部150存储主控制部100的控制程序或控制数据、应用软件、将通信对象的名称或电话号码等建立对应关联的地址数据、收发的电子邮件数据、通过Web浏览下载的Web数据、下载内容数据，并且临时存储流数据等。并且，存储部150由智能手机内置的内部存储部151和具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的各自的内部存储部151和外部存储部152利用如下存储介质来实现：闪存式(flash memorytype)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD (注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等。
外部输入输出部160发挥与连结于智能手机101上的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394 等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth(注册商标))、 RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接于其它外部设备。
作为连结于智能手机101的外部设备，例如有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)和SIM(Subscriber Identity Module Card)/UIM (User Identity Module Card)卡、经由音频-视频I/O(Input/Output) 端子连接的外部音频-视频设备、无线连接的外部音频-视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的 PDA、耳机等。外部输入输出部可以将从这种外部设备接收到的传输数据传递给智能手机101的内部的各构成要件，或智能手机101的内部的数据也可以传输到外部设备。
GPS接收部170按照主控制部100的指令，接收从GPS卫星ST1～ STn发送的GPS信号，执行基于接收到的多个GPS信号的定位运算处理，检测由智能手机101的纬度、经度、高度构成的位置。GPS接收部 170在从无线通信部110、外部输入输出部160(例如无线LAN)能够获得位置信息的情况下，还能够利用该位置信息来检测位置。
动作传感器部180具备例如3轴加速度传感器等，并按照主控制部 100的指令检测智能手机101的物理动作。通过检测智能手机101的物理动作，可检测智能手机101的移动方向、加速度。这种检测结果被输出到主控制部100。
电源部190按照主控制部100的指令，对智能手机101的各部供给积蓄在电池(未图示)中的电力。
主控制部100具备微处理器，按照存储部150所存储的控制程序、控制数据进行动作，通过综合控制智能手机101的各部而进行控制。并且，主控制部100为了通过无线通信部110进行语音通信和数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
应用处理功能是通过主控制部100按照存储部150所存储的应用软件进行动作而实现。作为应用处理功能，例如有通过控制外部输入输出部 160而与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部100具备根据接收数据、下载的流数据等图像数据 (静态图像、动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指主控制部100对上述图像数据进行解码，并对这种解码结果实施图像处理，从而将图像显示于显示输入部120的功能。
另外，主控制部100执行对显示面板121的显示控制及通过操作部 140、操作面板122检测用户操作的操作检测控制。
通过执行显示控制，主控制部100显示用于启动应用软件的图标、滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指关于无法落入显示面板121的显示区域的较大的图像等，用于接受移动图像的显示部分的指令的软件键。
并且，通过执行操作检测控制，主控制部100通过操作部140来检测用户操作，或者通过操作面板122接受对上述图标的操作、对上述窗口的输入栏输入字符串，或者通过滚动条接受显示图像的滚动请求。
另外，通过执行操作检测控制，主控制部100具备如下触控面板控制功能，即判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域、软件键的显示位置。
并且，主控制部100还能够检测对操作面板122的手势操作，并根据检测到的手势操作能够执行预先设定的功能。手势操作并非是以往单纯的触控操作，而是通过手指等描绘轨迹，或者同时指定多个位置，或者将它们进行组合而从多个位置至少对1个位置描绘轨迹的操作。
相机部141为使用CMOS等成像元件进行电子摄影的数码相机。并且，相机部141能够通过主控制部100的控制，将通过摄影而得到的图像数据转换成例如JPEG等已压缩的图像数据并记录于存储部150，或者能够通过外部输入输出部160、无线通信部110进行输出。如图14所示，在智能手机101中，相机部141搭载于与显示输入部120相同的面上，但相机部141的搭载位置并不限定于此，还可以搭载于显示输入部120的背面，或者也可以搭载有多个相机部141。另外，在搭载有多个相机部 141的情况下，还能够切换供拍摄的相机部141而单独进行拍摄，或者通过同时使用多个相机部141而进行拍摄。
并且，相机部141能够利用于智能手机101的各种功能。例如，能够在显示面板121上显示通过相机部141而获得的图像，或者作为操作面板 122的操作输入之一而能够利用相机部141的图像。并且，在GPS接收部 170检测位置时，能够参照来自相机部141的图像来检测位置。另外，还能够参照来自相机部141的图像，且不使用3轴加速度传感器，或者通过併用3轴加速度传感器来判断智能手机101的相机部141的光軸方向，且能够判断当前的使用环境。当然，也可以在应用软件中利用来自相机部 141的图像。
另外，对静态图像或动态图像的图像数据附加通过GPS接收部170 而获得的位置信息、通过麦克风132而获得的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部180而获得的姿势信息等，并且记录于存储部150，或者能够通过外部输入输出部 160、无线通信部110进行输出。
上述图像处理部35(锐化恢复控制部37、复原处理部38、轮廓增强处理部39：参考图3)例如可以通过主控制部100来实现。
符号说明
10-数码相机，12-透镜单元，14-相机主体，16-透镜，18-光学系统操作部，20-透镜单元控制器，21-透镜单元存储部，22-透镜单元输入输出部，26-成像元件，28-主体控制器，29-用户界面，30-相机主体输入输出部，31-主体存储部，32-输入输出接口，33-伽马校正处理部，34-设备控制部，35-图像处理部，37-锐化恢复控制部，38-复原处理部，39-轮廓增强处理部，42-点像复原滤波器处理部，43-复原乘法器，44-复原加法器， 46-轮廓增强滤波器处理部，47-锐化乘法器，48-锐化加法器，52-强度自动调整部，53-复原滤波器选择部，54-轮廓增强强度选择部，58-复原滤波器存储部，60-轮廓增强强度列表存储部，61-第1加法器，62-第2加法器，63-锐化复原调整部，65-非线性处理部，67-点像复原强度列表存储部，69-恢复率选择部，92-计算机，93-计算机输入输出部，94-计算机控制器，95-显示器，96-互联网，97-服务器，98-服务器输入输出部，99-服务器控制器，C-摄影设定条件，G-点像复原率，U-复原强度倍率，V-锐化强度倍率，X-复原滤波器，M-摄影模式信息，Q-个体差异信息。

Claims (34)

1.一种图像处理装置，其具备：
复原处理部，对通过使用光学系统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理；
锐化处理部，使用不基于点扩散函数的锐化滤波器对所述图像数据进行锐化处理；及
锐化恢复控制部，通过控制所述复原处理部及所述锐化处理部，可调整基于所述复原处理的所述图像数据的复原率及基于所述锐化处理的所述图像数据的锐化率，
所述锐化恢复控制部，
根据表示所述光学系统的特性的光学特性信息，获得作为最终锐度目标强度值的总锐化复原率，
并获得所述复原率及所述锐化率中的一个，并根据所述复原率及所述锐化率中的所述一个和所述总锐化复原率来计算所述复原率及所述锐化率中的另一个。
2.根据权利要求1所述的图像处理装置，其中，
所述锐化恢复控制部获得所述复原率，并根据所述总锐化复原率及所述复原率来计算所述锐化率。
3.根据权利要求2所述的图像处理装置，其中，
所述锐化恢复控制部根据用户所指定的指定恢复率来确定所述复原率。
4.根据权利要求2或3所述的图像处理装置，其中，
根据所述光学特性信息来确定所述复原率。
5.根据权利要求4所述的图像处理装置，其中，
所述光学系统具有存储所述光学特性信息的光学系统存储部，
所述复原率根据存储于所述光学系统存储部中的所述光学特性信息而被确定。
6.根据权利要求1所述的图像处理装置，其中，
所述锐化恢复控制部获得所述锐化率，并根据所述总锐化复原率及所述锐化率来计算所述复原率。
7.根据权利要求6所述的图像处理装置，其中，
所述锐化恢复控制部根据拍摄所述图像数据时的摄影设定条件来确定所述锐化率。
8.根据权利要求6或7所述的图像处理装置，其中，
所述锐化率根据所述光学特性信息而被确定。
9.根据权利要求8所述的图像处理装置，其中，
所述光学系统具有存储所述光学特性信息的光学系统存储部，
所述锐化率根据存储于所述光学系统存储部中的所述光学特性信息而被确定。
10.根据权利要求4所述的图像处理装置，其中，
所述光学特性信息包括所述光学系统所具有的透镜的种类信息。
11.根据权利要求4所述的图像处理装置，其中，
所述光学特性信息包括所述光学系统的个体差异信息。
12.根据权利要求4所述的图像处理装置，其中，
所述光学特性信息包括摄影设定条件。
13.根据权利要求1所述的图像处理装置，其中，
所述锐化恢复控制部，
获得在获得所述图像数据时的所述光学系统的光圈值，并将该光圈值与第1阈值进行比较，
至少在所述光圈值表示与由所述第1阈值表示的光圈度相比光圈开启得大的情况下，获得所述复原率及所述锐化率中的一个，并根据所述总锐化复原率来计算所述复原率及所述锐化率中的另一个。
14.根据权利要求1所述的图像处理装置，其中，
所述锐化恢复控制部，
获得在获得所述图像数据时的摄影模式信息，
在所述摄影模式信息表示动态图像记录模式的情况下，将所述总锐化复原率保持为恒定。
15.根据权利要求14所述的图像处理装置，其中，
与所述摄影模式信息表示静态图像记录模式的情况相比，在所述摄影模式信息表示动态图像记录模式的情况下，所述锐化恢复控制部减小所述复原率。
16.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其中，
根据拍摄所述图像数据时的摄影设定条件来确定所述复原滤波器。
17.根据权利要求16所述的图像处理装置，其中，
所述摄影设定条件包括影响所述点扩散函数的设定条件。
18.根据权利要求17所述的图像处理装置，其中，
所述设定条件包括光圈信息、变焦信息、被摄物距离信息及所述光学系统所具有的透镜种类信息中的至少任一种。
19.根据权利要求16所述的图像处理装置，其中，
所述摄影设定条件包括不影响所述点扩散函数的摄影条件。
20.根据权利要求19所述的图像处理装置，其中，
所述摄影条件包括摄影灵敏度信息及摄影模式信息中的至少任一种。
21.根据权利要求16所述的图像处理装置，其还具备：
复原滤波器存储部，存储多个所述光学系统的基于点扩散函数的多个所述复原滤波器；及
复原滤波器选择部，根据所述摄影设定条件，从所述复原滤波器存储部选择用于拍摄所述图像数据的所述光学系统的基于所述点扩散函数的所述复原滤波器，
所述复原处理部使用所述复原滤波器选择部所选择的所述复原滤波器进行所述复原处理。
22.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其中，
所述复原滤波器共同使用于多个光学系统。
23.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其中，
所述复原滤波器共同使用于多个摄影设定条件。
24.根据权利要求23所述的图像处理装置，其中，
所述多个摄影设定条件包括所述光学系统的变焦信息。
25.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其中，
所述锐化恢复控制部在第1频率中将所述总锐化复原率调整为目标锐化复原率。
26.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其中，
所述复原处理部及所述锐化处理部串联设置，所述图像数据在接受到所述复原处理及所述锐化处理中的一种处理之后，接受另一种处理。
27.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其中，
所述复原处理部及所述锐化处理部并联设置，所述图像数据输入到所述复原处理部及所述锐化处理部，通过所述复原处理而产生的所述图像数据的增减量数据和通过所述锐化处理而产生的所述图像数据的增减量数据被相加。
28.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其还具备进行所述图像数据的非线性处理的非线性处理部。
29.根据权利要求28所述的图像处理装置，其中，
所述非线性处理部包含在所述复原处理部及所述锐化处理部中的至少任一方中。
30.根据权利要求28所述的图像处理装置，其中，
所述非线性处理为将所述图像数据中超过剪辑阈值的像素值调整为剪辑阈值的剪辑处理。
31.根据权利要求1至3、6、7以及13至15中任一项所述的图像处理装置，其中，
所述光学系统以可更换的方式安装于搭载所述成像元件的摄像主体。
32.一种摄像装置，其具备权利要求1至31中任一项所述的图像处理装置。
33.一种参数生成方法，生成使用于图像处理部的参数，所述图像处理部包括：复原处理部，对通过使用光学系统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理；及锐化处理部，对所述图像数据，使用不基于点扩散函数的锐化滤波器进行锐化处理，
所述参数生成方法具备：根据表示所述光学系统的特性的光学特性信息，获得作为最终锐度目标强度值的总锐化复原率的步骤；及
获得基于所述复原处理的所述图像数据的复原率及基于所述锐化处理的所述图像数据的锐化率中的一个，并根据所述复原率及所述锐化率中的所述一个和所述总锐化复原率来计算所述复原率及所述锐化率中的另一个的步骤。
34.一种图像处理方法，包括：
复原处理步骤，对通过使用光学系统拍摄被摄物而从成像元件获得的图像数据，使用基于点扩散函数的复原滤波器进行复原处理；
锐化处理步骤，对所述图像数据，使用不基于点扩散函数的锐化滤波器进行锐化处理；
根据表示所述光学系统的特性的光学特性信息，获得作为最终锐度目标强度值的总锐化复原率的步骤；及
获得基于所述复原处理的所述图像数据的复原率及基于所述锐化处理的所述图像数据的锐化率中的一个，并根据所述复原率及所述锐化率中的所述一个和所述总锐化复原率来计算所述复原率及所述锐化率中的另一个的步骤。
CN201480059224.8A 2013-10-31 2014-09-26 图像处理装置、摄像装置、参数生成方法、图像处理方法 Active CN105684417B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-227389 2013-10-31
JP2013227389 2013-10-31
PCT/JP2014/075727 WO2015064264A1 (ja) 2013-10-31 2014-09-26 画像処理装置、撮像装置、パラメータ生成方法、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105684417A CN105684417A (zh) 2016-06-15
CN105684417B true CN105684417B (zh) 2019-05-14

Family

ID=53003877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480059224.8A Active CN105684417B (zh) 2013-10-31 2014-09-26 图像处理装置、摄像装置、参数生成方法、图像处理方法

Country Status (5)

Country Link
US (1) US9892492B2 (zh)
EP (1) EP3065392B1 (zh)
JP (1) JP5992633B2 (zh)
CN (1) CN105684417B (zh)
WO (1) WO2015064264A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015064264A1 (ja) * 2013-10-31 2015-05-07 富士フイルム株式会社 画像処理装置、撮像装置、パラメータ生成方法、画像処理方法及びプログラム
JP6158956B2 (ja) * 2014-01-28 2017-07-05 シャープ株式会社 画像処理装置
JP6096382B2 (ja) * 2014-04-11 2017-03-15 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2016052000A1 (ja) * 2014-09-30 2016-04-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6578960B2 (ja) 2016-01-21 2019-09-25 オムロン株式会社 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
JP6426323B2 (ja) * 2016-02-26 2018-11-21 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
CN107205109B (zh) * 2016-03-18 2020-10-09 聚晶半导体股份有限公司 具有多摄像模块的电子装置及其控制的方法
CN106023094B (zh) * 2016-05-10 2018-10-19 中南大学 基于图像的骨组织微观结构修复系统及其修复方法
JP6857006B2 (ja) * 2016-10-21 2021-04-14 ナンチャン オー−フィルム オプティカル−エレクトロニック テック カンパニー リミテッド 撮像装置
TWI630818B (zh) * 2016-12-20 2018-07-21 財團法人車輛研究測試中心 Dynamic image feature enhancement method and system
CN108259819B (zh) * 2016-12-29 2021-02-23 财团法人车辆研究测试中心 动态影像特征加强方法与系统
US10129458B2 (en) * 2016-12-29 2018-11-13 Automotive Research & Testing Center Method and system for dynamically adjusting parameters of camera settings for image enhancement
JP7238887B2 (ja) * 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
CN109409192B (zh) * 2018-08-27 2022-02-08 浙江大丰实业股份有限公司 舞台激光导航即时校验平台
CN109410152A (zh) * 2018-11-26 2019-03-01 Oppo广东移动通信有限公司 成像方法和装置、电子设备、计算机可读存储介质
US11170269B2 (en) * 2018-12-12 2021-11-09 International Business Machines Corporation Selective image compression of an image stored on a device based on user preferences
EP4272458A4 (en) * 2021-07-21 2024-08-21 Samsung Electronics Co Ltd METHOD AND ELECTRONIC DEVICE FOR CAPTURING MEDIA USING AN UNDER-SCREEN CAMERA
JP2023035172A (ja) * 2021-08-31 2023-03-13 富士フイルム株式会社 制御装置、制御方法、及びプログラム
CN113902909A (zh) * 2021-10-15 2022-01-07 江阴仟亿日化包装有限公司 云存储型外形分析系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471690A (zh) * 2000-09-20 2004-01-28 NIK��ý�幫˾ 数字图象锐化系统
CN1783939A (zh) * 2004-10-29 2006-06-07 三洋电机株式会社 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4871942B2 (ja) 2000-06-05 2012-02-08 富士フイルム株式会社 カメラの絞り制御方法及び装置、並びにカメラ
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
JP4412704B2 (ja) * 2003-06-09 2010-02-10 キヤノン株式会社 画像処理方法および装置並びにｘ線撮影装置
JP2005175584A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像処理システム
JP4152398B2 (ja) * 2005-05-26 2008-09-17 三洋電機株式会社 手ぶれ補正装置
JP2008245146A (ja) * 2007-03-28 2008-10-09 Olympus Imaging Corp 撮像装置、撮像装置の制御方法
JP5441652B2 (ja) * 2009-12-09 2014-03-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5546229B2 (ja) 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
WO2011074104A1 (ja) * 2009-12-17 2011-06-23 キヤノン株式会社 画像処理装置およびそれを用いた撮像装置
JP5054248B2 (ja) * 2010-03-31 2012-10-24 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
WO2011121763A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
CN102625043B (zh) * 2011-01-25 2014-12-10 佳能株式会社 图像处理设备、成像设备和图像处理方法
JP5409829B2 (ja) * 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP5968088B2 (ja) * 2012-06-04 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
WO2015064264A1 (ja) * 2013-10-31 2015-05-07 富士フイルム株式会社 画像処理装置、撮像装置、パラメータ生成方法、画像処理方法及びプログラム
EP3125527A4 (en) * 2014-03-28 2017-05-03 FUJIFILM Corporation Image processing device, photography device, image processing method, and image processing program
CN106165390B (zh) * 2014-03-28 2019-06-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法
JP6327922B2 (ja) * 2014-04-25 2018-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471690A (zh) * 2000-09-20 2004-01-28 NIK��ý�幫˾ 数字图象锐化系统
CN1783939A (zh) * 2004-10-29 2006-06-07 三洋电机株式会社 振铃去除装置及记录有振铃去除程序的计算机可读取记录媒体

Also Published As

Publication number Publication date
US9892492B2 (en) 2018-02-13
JPWO2015064264A1 (ja) 2017-03-09
EP3065392B1 (en) 2018-08-22
CN105684417A (zh) 2016-06-15
US20160239946A1 (en) 2016-08-18
JP5992633B2 (ja) 2016-09-14
EP3065392A4 (en) 2016-09-07
WO2015064264A1 (ja) 2015-05-07
EP3065392A1 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105684417B (zh) 图像处理装置、摄像装置、参数生成方法、图像处理方法
CN106165390B (zh) 图像处理装置、摄影装置、图像处理方法
CN106134178B (zh) 图像处理装置、摄像装置以及图像处理方法
CN105432069B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN104704807B (zh) 图像处理装置、摄像装置及图像处理方法
CN104854858B (zh) 图像处理装置、摄像装置、计算机
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN105103534B (zh) 摄像装置及校准方法
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN107079094B (zh) 图像处理装置、图像处理方法、及记录介质
CN105165003B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN107079095B (zh) 图像处理装置、图像处理方法、及记录介质
CN105453534B (zh) 图像处理装置及方法
CN105659582B (zh) 信号处理装置、摄像装置、参数生成方法及信号处理方法
US20170004606A1 (en) Image processing device, imaging device, image processing method, and image processing program
CN106416218A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN106664372B (zh) 图像处理装置、图像处理方法及记录介质
CN108141530A (zh) 图像处理装置、图像处理方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant