CN106464798B - 图像处理装置、摄像装置、图像处理方法以及记录介质 - Google Patents
图像处理装置、摄像装置、图像处理方法以及记录介质 Download PDFInfo
- Publication number
- CN106464798B CN106464798B CN201580019026.3A CN201580019026A CN106464798B CN 106464798 B CN106464798 B CN 106464798B CN 201580019026 A CN201580019026 A CN 201580019026A CN 106464798 B CN106464798 B CN 106464798B
- Authority
- CN
- China
- Prior art keywords
- sharpening
- filter
- image data
- photography conditions
- original digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 142
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims abstract description 128
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 59
- 230000004044 response Effects 0.000 claims description 62
- 238000004458 analytical method Methods 0.000 claims description 46
- 238000012546 transfer Methods 0.000 claims description 43
- 229920006395 saturated elastomer Polymers 0.000 claims description 41
- 230000008859 change Effects 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 32
- 230000033228 biological regulation Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 81
- 241000219739 Lens Species 0.000 description 53
- 238000010586 diagram Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 28
- 238000001914 filtration Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 14
- 238000011084 recovery Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000256844 Apis mellifera Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000002858 crystal cell Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
Abstract
本发明提供一种能够根据可获取的F数或焦距等摄影条件获取精度高的锐化滤波器的图像处理装置、摄像装置、图像处理方法以及程序。图像处理部(36)具备信息获取部(40)、滤波器获取部(42)以及滤波器处理部(44)。信息获取部(40)获取通过使用了光学系统的被摄体像的摄影而获取的原图像数据的摄影信息。在摄影信息包含第1摄影条件但不包含第2摄影条件的情况下，滤波器获取部(42)获取与第1摄影条件建立关联的锐化滤波器，即与第2摄影条件的代表条件建立关联的锐化滤波器。滤波器处理部(44)将滤波器获取部(42)所获取的锐化滤波器应用于原图像数据来获取锐化图像数据。
Description
技术领域
本发明涉及一种图像处理装置、摄像装置、图像处理方法以及记录介质，尤其涉及一种锐化处理。
背景技术
为了改善通过数码相机等摄像装置摄影获取的图像数据的画质，通常进行锐化处理。锐化处理为通过将锐化滤波器应用于图像数据来消除图像的模糊等的处理，例如已知有轮廓增强处理及点像复原处理等。
例如，在专利文献1所公开的相机单元中，进行使用了维纳滤波器等图像恢复滤波器的图像恢复处理。
并且，在专利文献2所公开的图像处理方法中，使用基于摄像系统的光学传递函数的图像恢复滤波器进行用于减少图像的相位劣化成分的图像恢复处理。
并且，在专利文献3的摄像系统中进行锐化处理，该锐化处理从图像中提取提高锐度的空间频率成分，并使用根据摄影光学系统的MTF(Modulation Transfer Function)数据设定的参数(增益等)放大提取成分。
以往技术文献
专利文献
专利文献1：日本特开2011-119874号公报
专利文献2：日本特开2011-123589号公报
专利文献3：日本特开2002-344798号公报
发明的概要
发明要解决的技术课题
应用于成为锐化处理对象的图像数据的锐化滤波器优选根据摄影条件或光学系统的光学特性来规定。若使用对应于与实际摄影条件不同的摄影条件的锐化滤波器或对应于与在摄影中使用的光学系统的光学特性不同的光学特性的锐化滤波器进行锐化处理，则不仅得不到充分的锐化效果，而且有时反而使画质变差。
因此，在进行锐化处理的情况下，优选准确地掌握摄影条件或光学系统的光学特性来选定适当的滤波器。尤其在根据光学传递函数(点扩散函数等)制作锐化滤波器的情况下，要求特定与使用于摄影的光学系统的光学特性或其他摄影条件(光圈值(F数)、焦距等)相应的适当的光学传递函数。
例如，专利文献1的相机单元中，从透镜单元发送图像恢复信息(图像恢复滤波器)。并且，在专利文献2的图像处理方法中，利用实际摄像状态与存储有图像恢复滤波器的多个摄像状态之间的摄像状态空间计算距离(状态不同的量)，选择距离最短的位置的图像恢复滤波器。并且，在专利文献3的摄像系统中，利用与图像所含的空间频率对应的光学系统的MTF数据设定用于图像的锐化处理的参数。
在这些专利文献1～3所记载的装置中，在适当地获取用于各自的装置中所需的图像恢复处理(锐化处理)的信息的情况下，能够适当地进行处理，但是在无法获取处理所需的部分信息的情况下，无法完成处理。
在实际锐化处理中，有时无法获取光学系统的光学特性或其他摄影条件。例如，在数码相机中进行基于光学传递函数的锐化处理的情况下，通常利用保存于透镜单元或相机主体的光学传递函数或锐化滤波器，但是有时在透镜单元以及相机主体中均未保存实际使用的透镜单元(光学系统)的光学传递函数或锐化滤波器。
并且，在相机主体通过与透镜单元的通信来获取F数或焦距等摄影条件的实例中，存在使用于摄影的透镜单元并不与相机主体对应而不具有与相机主体的通信功能的情况。在该情况下，相机主体无法从透镜单元获取摄影条件。并且，还有如下实例：即使在摄影中使用的透镜单元具有与相机主体的通信功能的情况下，也会因使用环境(冲击、温度等)而发生通信不良，相机主体无法从透镜单元获取摄影条件。并且，还有如下实例：即使在摄影中使用的透镜单元具有与相机主体的通信功能而且也不发生通信不良的情况下，也无法获得所有的摄影条件而只能获取部分摄影条件。
如上所述，存在因各种因素而无法获取光学系统的光学传递函数或摄影条件的情况，另一方面存在即使在这种条件下也希望尽可能适当地实施锐化处理的需求。
本发明是鉴于上述情况而完成的，其目的在于提供一种如下技术：即使在无法获取光学系统的光学传递函数或摄影条件的情况下，也能够根据可获取的F数或焦距等摄影条件获取精度高的锐化滤波器。
用于解决技术课题的手段
本发明的一方式涉及一种图像处理装置，其具备：信息获取部，其获取通过使用了光学系统的被摄体像的摄影而获取的原图像数据的摄影信息；滤波器获取部，其至少根据第1摄影条件以及第2摄影条件获取锐化滤波器；以及滤波器处理部，其将滤波器获取部所获取的锐化滤波器应用于原图像数据来获取锐化图像数据，在信息获取部所获取的摄影信息包含第1摄影条件但不包含第2摄影条件的情况下，滤波器获取部获取与摄影信息所含的第1摄影条件建立关联的锐化滤波器，即与第2摄影条件的代表条件建立关联的锐化滤波器。
根据本方式，即使在因摄影信息包含第1摄影条件但不包含第2摄影条件而无法适当地获取锐化滤波器的情况下，也能够根据可获取的第1摄影条件获取精度高的锐化滤波器。
优选第1摄影条件以及第2摄影条件中的一个为F数，另一个为焦距。
根据本方式，即使在无法获取原图像数据的F数或焦距的信息的情况下，也能够根据可获取的F数或焦距的信息获取精度高的锐化滤波器。
优选锐化滤波器为基于光学系统的光学传递函数的滤波器。
根据本方式，能够获取根据光学系统的光学传递函数规定的锐化滤波器。另外，光学传递函数(Optical Transfer Function：OTF)包括点扩散函数(Point SpreadFunction：PSF)、调制传递函数(Modulation Transfer Function：MTF)以及相位传递函数(Phase Transfer Function：PTF)。
优选锐化滤波器为不基于光学系统的光学传递函数的滤波器。
根据本方式，能够获取与光学系统的光学传递函数无关地规定的锐化滤波器。
优选滤波器获取部获取与多个像高建立关联的多个锐化滤波器，滤波器处理部根据像高将锐化滤波器应用于原图像数据。
根据本方式，能够获取与像高相应的高精度的锐化滤波器。
优选滤波器获取部具有：滤波器存储部，其存储至少根据第1摄影条件以及第2摄影条件规定的多个锐化滤波器；以及滤波器选择部，其从存储于滤波器存储部的多个锐化滤波器中选择基于摄影信息的锐化滤波器。
根据本方式，能够从存储于滤波器存储部的多个锐化滤波器中获取锐化滤波器。
优选滤波器获取部具有：函数获取部，其获取至少根据第1摄影条件以及第2摄影条件规定的多个光学传递函数；以及滤波器生成部，其根据选自函数获取部所获取的多个光学传递函数中的光学传递函数、即基于摄影信息的光学传递函数生成并获取锐化滤波器。
根据本方式，能够获取根据摄影信息根据光学传递函数生成的锐化滤波器。
优选根据与第1摄影条件建立关联的多个锐化滤波器各自的空间频率特性规定第2摄影条件的代表条件。
根据本方式，根据多个锐化滤波器各自的空间频率特性规定第2摄影条件的代表条件，从而能够高精度地获取与代表条件建立关联的锐化滤波器。
锐化滤波器的空间频率特性例如可以根据响应规定，所述响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。因此，也可以根据与第1摄影条件建立关联的多个锐化滤波器各自的响应特性规定第2摄影条件的代表条件，在该情况下，能够高精度地获取与第2摄影条件的代表条件建立关联的锐化滤波器。
优选以如下为基准规定第2摄影条件的代表条件：关于与第1摄影条件建立关联的多个锐化滤波器、即与多个第2摄影条件建立关联的多个锐化滤波器各自，表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率的响应的最大值。
根据本方式，以锐化滤波器的响应的最大值为基准规定第2摄影条件的代表条件，从而能够高精度地获取与代表条件建立关联的锐化滤波器。
优选以如下为基准规定第2摄影条件的代表条件：关于与第1摄影条件建立关联的多个锐化滤波器、即与多个第2摄影条件建立关联的多个锐化滤波器 各自，在坐标系中的表示每个空间频率的响应的函数中表示大于第1阈值的响应的范围的面积，所述坐标系中将横轴的基准设为空间频率，将纵轴的基准设为响应，所述响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。
根据本方式，以锐化滤波器的响应的大小为基准规定第2摄影条件的代表条件，从而能够高精度地获取与代表条件建立关联的锐化滤波器。
优选第1阈值为1以上的值。
根据本方式，以锐化滤波器的大于1的响应部分为基准规定第2摄影条件的代表条件，从而高精度地获取与代表条件建立关联的锐化滤波器。
优选图像处理装置还具备对原图像数据的空间频率特性进行分析的频率分析部，在根据频率分析部的分析结果判定原图像数据的特定的空间频率的范围的成分量为第2阈值以上的情况下，滤波器获取部获取响应比与第2摄影条件的代表条件建立关联的锐化滤波器的响应小的锐化滤波器，所述响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。
根据本方式，在原图像数据的特定的空间频率的范围的成分量大的情况下，获取响应小的锐化滤波器。
优选图像处理装置还具备对原图像数据的空间频率特性进行分析的频率分析部，在根据频率分析部的分析结果判定原图像数据的特定的空间频率的范围的成分量为第2阈值以上的情况下，滤波器处理部通过控制增益使锐化图像数据相对于原图像数据的增量变小。
例如可以是，图像处理装置还具备对原图像数据的空间频率特性进行分析的频率分析部，滤波器处理部具有：滤波器应用部，其将滤波器获取部所获取的锐化滤波器应用于原图像数据来获取滤波图像数据；以及增益控制部，其通过根据摄影信息控制滤波图像数据相对于原图像数据的增益来获取锐化图像数据，增益控制部在根据频率分析部的分析结果判定原图像数据的特定的空间频率的范围的成分量为第2阈值以上的情况下，控制增益，使锐化图像数据相对于原图像数据的增量小于根据摄影信息控制增益的情况。
根据本方式，在原图像数据的特定的空间频率的范围的成分量大情况下，进行增益控制，锐化图像数据相对于原图像数据的增量变小。
优选图像处理装置还具备对原图像数据的饱和像素进行分析的饱和像素分析部，在根据饱和像素分析部的分析结果判定原图像数据包含具有第3阈值以上的像素值的饱和像素的情况下，滤波器获取部获取响应小于与第2摄影条件的代表条件建立关联的锐化滤波器的锐化滤波器，所述响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。
根据本方式，关于包含饱和像素的原图像数据获取响应小的锐化滤波器。
优选图像处理装置还具备对原图像数据的饱和像素进行分析的饱和像素分析部，在根据饱和像素分析部的分析结果判定原图像数据包含具有第3阈值以上的像素值的饱和像素的情况下，滤波器处理部通过控制增益使锐化图像数据相对于原图像数据的增量变小。
例如可以是，图像处理装置还具备对原图像数据的饱和像素进行分析的饱和像素分析部，滤波器处理部具有：滤波器应用部，其将滤波器获取部所获取的锐化滤波器应用于原图像数据来获取滤波图像数据；以及增益控制部，其通过根据摄影信息控制滤波图像数据相对于原图像数据的增益来获取锐化图像数据，增益控制部在根据饱和像素分析部的分析结果判定原图像数据包含具有第3阈值以上的像素值的饱和像素的情况下，通过控制增益使锐化图像数据相对于原图像数据的增量小于根据摄影信息控制增益的情况。
根据本方式，关于包含饱和像素的原图像数据进行增益控制，锐化图像数据相对于原图像数据的增量变小。
另外，“判定为原图像数据包含饱和像素的实例”并不仅限定于通过锐化滤波器而成为锐化处理的对象的像素本身为饱和像素的实例，还可以包括成为该锐化处理的对象的像素的周边像素为饱和像素的实例。
优选图像处理装置还具备获取锐化图像数据的振铃量的振铃获取部，在振铃量为第4阈值以上的情况下，滤波器获取部获取响应小于与第2摄影条件的代表条件建立关联的锐化滤波器的锐化滤波器，所述响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。
根据本方式，在锐化图像数据中的振铃量大的情况下，获取响应小的锐化滤波器。
优选图像处理装置还具备获取锐化图像数据的振铃量的振铃获取部，在振铃量为第4阈值以上的情况下，滤波器处理部通过控制增益使锐化图像数据相对于原图像数据的增量变小。
例如可以是，图像处理装置还具备获取锐化图像数据的振铃量的振铃获取部，滤波器处理部具有：滤波器应用部，其将滤波器获取部所获取的锐化滤波器应用于原图像数据来获取滤波图像数据；以及增益控制部，其通过根据摄影信息控制滤波图像数据相对于原图像数据的增益来获取锐化图像数据，增益控制部在振铃量为第4阈值以上的情况下，控制增益使锐化图像数据相对于原图像数据的增量小于根据摄影信息控制增益的情况。
根据本方式，在锐化图像数据中的振铃量大的情况下，进行增益控制，锐化图像数据相对于原图像数据的增量变小。
另外，锐化图像数据的振铃量的获取方法并无特别限定，振铃获取部可以根据预先规定的条件获取振铃量。例如，可以通过对原图像数据与锐化图像数据进行比较来获取振铃量，也可以对锐化图像数据的频率特性等图像特性进行分析，并根据其分析结果是否符合预先规定的条件来获取(推断)振铃量。并且，可以根据原图像数据的获取是否在预先规定的获取条件下进行来获取(推断)振铃量，例如在获取原图像数据的摄影中使用的光学系统的信息能够包含于在此所说的获取条件。能够影响锐化处理的锐化精度或副作用(振铃等)的各种要件能够包含于“获取条件”。例如，在此所说的光学系统的信息能够包含在获取原图像数据的摄影中使用的光学系统的透镜种类、F数、变焦值中的至少任1个。并且，可以对原图像数据的频率特性等图像特性进行分析，并根据其分析结果是否符合预先规定的条件来获取(推断)振铃量，例如可以根据原图像数据中的饱和像素的有无获取(推断)振铃量。
优选图像处理装置还具备增量值获取部，所述增量值获取部关于特定的空间频率的范围获取锐化图像数据相对于原图像数据的增量值，在增量值为第5阈值以上的情况下，滤波器获取部获取响应小于与第2摄影条件的代表条件建立关联的锐化滤波器的锐化滤波器，所述响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。
根据本方式，关于特定的空间频率的范围，在锐化图像数据相对于原图像数据的增量值大的情况下，获取响应小的锐化滤波器。
优选图像处理装置还具备增量值获取部，所述增量值获取部关于特定的空间频率的范围获取锐化图像数据相对于原图像数据的增量值，在增量值为第5阈值以上的情况下，滤波器处理部通过控制增益使锐化图像数据相对于原图像数据的增量变小。
例如可以是，图像处理装置还具备增量值获取部，所述增量值获取部关于特定的空间频率的范围获取锐化图像数据相对于原图像数据的增量值，滤波器处理部具有：滤波器应用部，其将滤波器获取部所获取的锐化滤波器应用于原图像数据来获取滤波图像数据；以及增益控制部，其根据摄影信息控制滤波图像数据相对于原图像数据的增益来获取锐化图像数据，增益控制部在增量值为第5阈值以上的情况下，控制增益使锐化图像数据相对于原图像数据的增量小于根据摄影信息控制增益的情况。
根据本方式，关于特定的空间频率的范围，在锐化图像数据相对于原图像数据的增量值大的情况下，进行增益控制，锐化图像数据相对于原图像数据的增量变小。
优选特定的空间频率的范围包含于原图像数据的采样频率的1/8以上且1/4以下的范围。
本发明的另一方式涉及一种摄像装置，其具备成像元件；以及上述图像处理装置，原图像数据通过成像元件获取。
本发明的其他方式涉及一种图像处理方法，其获取通过使用了光学系统的被摄体像的摄影而获取的原图像数据的摄影信息，至少根据第1摄影条件以及第2摄影条件获取锐化滤波器，将锐化滤波器应用于原图像数据来获取锐化图像数据，其中，在摄影信息包含第1摄影条件但不包含第2摄影条件的情况下，获取与摄影信息所含的第1摄影条件建立关联的锐化滤波器，即与第2摄影条件的代表条件建立关联的锐化滤波器。
本发明的其他方式涉及一种程序，其用于使计算机执行如下步骤：获取通过使用了光学系统的被摄体像的摄影而获取的原图像数据的摄影信息的步骤；至少根据第1摄影条件以及第2摄影条件获取锐化滤波器的步骤；以及将锐化滤波器应用于原图像数据来获取锐化图像数据的步骤，其中，在摄影信息包含第1摄影条件但不包含第2摄影条件的情况下，获取与摄影信息所含的第1摄 影条件建立关联的锐化滤波器，即与第2摄影条件的代表条件建立关联的锐化滤波器。
发明效果
根据本发明，即使在因摄影信息包含第1摄影条件但不包含第2摄影条件而无法适当地获取锐化滤波器的情况下，也能够根据可获取的第1摄影条件获取精度高的锐化滤波器。
附图说明
图1为表示与计算机连接的数码相机的概要的框图。
图2为表示相机主体控制器的功能结构的概要的框图。
图3为表示第1实施方式所涉及的图像处理部的功能结构例的框图。
图4为表示滤波器获取部的功能结构的一例的框图。
图5为表示滤波器获取部的功能结构的其他例的框图。
图6为表示锐化滤波器的每个空间频率的响应的一例的图。
图7为表示锐化滤波器的每个空间频率的响应的一例的图。
图8为表示锐化处理的流程的一例的流程图。
图9为表示滤波器处理部的功能结构的一例的框图。
图10为表示滤波器处理部的功能结构的具体例的框图。
图11为表示第2实施方式的第1模式所涉及的图像处理部的功能结构例的框图。
图12为表示第2实施方式的第2模式所涉及的图像处理部的功能结构例的框图。
图13为表示第2实施方式的第3模式所涉及的图像处理部的功能结构例的框图。
图14为表示第2实施方式的第4模式所涉及的图像处理部的功能结构例的框图。
图15为表示具备EDoF光学系统的摄像模块的一方式的框图。
图16为表示EDoF光学系统的一例的图。
图17为表示通过图15所示的复原处理块进行的复原处理流程的一例的图。
图18为表示经由EDoF光学系统获取的图像的复原例的图，图18(a)表示复原处理前的模糊的图像，图18(b)表示消除复原处理后的模糊的图像(点像)。
图19为表示智能手机的外观的图。
图20为表示图19所示的智能手机的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。在以下说明中，作为一例对将本发明应用于能够与计算机(PC：个人计算机)连接的数码相机(摄像装置)的例子进行说明。
图1为表示与计算机连接的数码相机的概要的框图。
数码相机10具备：可更换的透镜单元12；以及具备成像元件26的相机主体14。透镜单元12与相机主体14经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30电连接。
透镜单元12具备：包括透镜16以及光圈17等的光学系统；以及控制该光学系统的光学系统操作部18。光学系统操作部18包括与透镜单元输入输出部22连接的透镜单元控制器20和操作光学系统的执行器(省略图示)。透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14发送来的控制信号并经由执行器控制光学系统，例如进行基于透镜移动的聚焦控制或变焦控制、光圈17的F数(光圈量)的控制等。
相机主体14的成像元件26具有聚光用微透镜、RGB(红绿蓝)等的滤色器以及图像传感器(光电二极管：CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)等)。该成像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换为电信号，并将图像信号(摄影图像数据)发送至主体控制器28。即，本例的成像元件26接收通过了光学系统(透镜16、光圈17等)的被摄体像而生成摄影图像数据(以下，称为“图像数据”)，并将该图像数据发送至主体控制器28(后述的“图像处理部36”)。
图2为表示主体控制器28的功能结构的概要的框图。
主体控制器28具有设备控制部34和图像处理部(图像处理装置)36，集中控制相机主体14。
设备控制部34例如控制来自成像元件26的图像数据的输出，或者生成用于控制透镜单元12的控制信号，并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，或者向经由输入输出接口32连接的外部设备类(计算机80等)发送图像处理前后的图像数据(RAW数据、JPEG(Joint Photographic Experts Group)数据等)。并且，本例的设备控制部34包括对设置于相机主体14的显示部38进行控制的显示控制部37。并且，设备控制部34适当地控制数码相机10所具备的其他设备类。
另一方面，图像处理部36能够对来自成像元件26的图像数据进行根据需要的任意的图像处理。例如，在图像处理部36中适当地进行传感器校正处理、去马赛克(同步化)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、色彩矩阵处理、伽马转换处理等)、RGB图像处理(色调校正处理、曝光校正处理等)、RGB/YCrCb转换处理以及图像压缩处理等各种图像处理。此外，本例的图像处理部36进行后述的“锐化处理”。
在主体控制器28中实施了图像处理的图像数据保存于由闪存器等构成的图像存储部29。保存于图像存储部29的图像数据被发送至与输入输出接口32(参考图1)连接的计算机80等。并且，在图像存储部29从相机主体14装卸自如的情况下，保存于图像存储部29的图像数据被发送至与从相机主体14拆卸的图像存储部29连接的计算机80等。从数码相机10(图像存储部29)发送至计算机80等的图像数据的格式并无特别限定，能够设为RAW、JPEG、TIFF(Tagged Image File Format)等任意的格式。因此，主体控制器28也可以如所谓的Exif(Exchangeable Image File Format)那样将标题信息(摄影信息(摄影日期时间、机种、像素数、F数等)等)、主图像数据以及缩略图图像数据等多个建立关联数据相互建立对应关联而构成为1个图像文件，并将该图像文件发送至计算机80。
计算机80经由相机主体14的输入输出接口32以及计算机输入输出部81与数码相机10连接，接收从相机主体14发送来的图像数据等数据类。计算机控制器82集中控制计算机80，并对来自数码相机10的图像数据进行图像处理，或者进行与服务器85等的通信控制，该服务器85经由互联网等网络84与计 算机输入输出部81连接。计算机80具有显示器83，计算机控制器82中的处理内容等根据需要显示于显示器83。用户能够通过一边确认显示器83的显示一边操作键盘等输入机构(省略图示)，对计算机控制器82输入数据或命令来控制计算机80，或者控制与计算机80连接的设备类(数码相机10、服务器85)。
服务器85具有服务器输入输出部86以及服务器控制器87。服务器输入输出部86构成与数码相机10或计算机80等外部设备类的收发连接部，经由网络84与数码相机10的主体控制器28或计算机80的计算机输入输出部81连接。服务器控制器87根据来自数码相机10或计算机80的控制指示信号与主体控制器28或计算机控制器82配合，在与主体控制器28或计算机控制器82之间根据需要进行数据类的收发，并将数据类下载至数码相机10或计算机80，或者进行运算处理并将其运算结果发送至数码相机10或计算机80。
另外，各控制器(透镜单元控制器20、主体控制器28、计算机控制器82、服务器控制器87)具备控制处理所需的电路类，例如具备运算处理电路(CPU(Central ProcessingUnit)等)或存储器等。并且，数码相机10、计算机80以及服务器85之间的通信可以是有线，也可以是无线。并且，可以一体构成计算机80以及服务器85，并且也可以省略计算机80和/或服务器85。并且，也可以使数码相机10具有与服务器85的通信功能，以使在数码相机10与服务器85之间直接进行数据类的收发。
接着，对在图2所示的主体控制器28(图像处理部36)中进行的图像数据的锐化处理进行说明。
在以下说明中，将锐化处理前的图像数据称为“原图像数据”，将锐化处理后的图像数据称为“锐化图像数据”。
另外，在以下例子中，对在相机主体14(主体控制器28)中实施锐化处理的例子进行说明，但是也能够在其他控制器(透镜单元控制器20、计算机控制器82、服务器控制器87等)中实施锐化处理的全部或一部分。并且，以下对由图像处理部36进行的锐化处理进行说明，但是如上所述在图像处理部36中在锐化处理之前和/或之后进行锐化处理以外的各种图像处理。对在图像处理部36中进行的与锐化处理以外的图像处理有关的处理部的说明以及图示进行省略。
<第1实施方式>
图3为表示第1实施方式所涉及的图像处理部36的功能结构例的框图。
本例的图像处理部36具有信息获取部40、滤波器获取部42以及滤波器处理部44。
信息获取部40获取通过使用了光学系统(透镜16、光圈17等)的被摄体像的摄影而获取的原图像数据的摄影信息。通过信息获取部40获取摄影信息的获取方法并无特别限定，例如在设置于图像处理部36的未图示的存储器保存原图像数据的摄影信息的情况下，信息获取部40可以访问该存储器获取摄影信息。并且，在摄影信息作为标签信息(元信息)附加于原图像数据的情况下，信息获取部40也可以读出附加于原图像数据的摄影信息。
滤波器获取部42根据信息获取部40所获取的原图像数据的摄影信息获取锐化滤波器。尤其，本实施方式的滤波器获取部42至少根据F数以及焦距(第1摄影条件以及第2摄影条件)获取锐化滤波器。以下，对通过“F数”以及“焦距”这2个摄影条件特定锐化滤波器的例子进行说明。
滤波器处理部44将滤波器获取部42所获取的锐化滤波器应用于原图像数据来获取锐化图像数据。
<锐化滤波器>
锐化滤波器并无特别限定，可以是基于光学系统的光学传递函数的滤波器，也可以是不基于光学系统的光学传递函数的滤波器。即，可以将根据包括点扩散函数(PSF)、调制传递函数(MTF)、相位传递函数(PTF)的光学传递函数(OTF)制作的滤波器用作“锐化滤波器”，也可以将与光学传递函数无关地规定的轮廓校正用的滤波器等用作锐化滤波器。
通过滤波器获取部42获取锐化滤波器的获取方法并无特别限定。例如，可以从预先存储的多个锐化滤波器中根据原图像数据的摄影信息选择锐化滤波器，也可以根据原图像数据的摄影信息制作应用于原图像数据的锐化滤波器。
图4为表示滤波器获取部42的功能结构的一例的框图。本例的滤波器获取部42具有滤波器选择部46以及滤波器存储部48。滤波器存储部48存储至少根据F数以及焦距(第1摄影条件以及第2摄影条件)规定的多个锐化滤波器。滤波器选择部46从存储于滤波器存储部48中的多个锐化滤波器中根据从 信息获取部40发送来的原图像数据的摄影信息选择锐化滤波器，并发送至滤波器处理部44。
存储于滤波器存储部48的多个锐化滤波器优选为与在原图像数据的摄影获取中使用的光学系统(透镜16、光圈17等)的光学传递函数等光学特性对应的滤波器，但是不必一定与光学系统的光学特性对应。例如，也可以是如通用性高的轮廓校正用滤波器等可使用于多个种类的光学系统的锐化滤波器存储于滤波器存储部48中。这种通用性高的锐化滤波器还能使用于利用与相机主体14非正式对应的透镜单元12摄影获取的原图像数据的锐化处理。
图5为表示滤波器获取部42的功能结构的其他例的框图。本例的滤波器获取部42具有函数获取部50以及滤波器生成部52。函数获取部50从信息获取部40获取包括至少根据F数以及焦距(第1摄影条件以及第2摄影条件)规定的多个光学传递函数的摄影信息。滤波器生成部52根据选自函数获取部50所获取的多个光学传递函数中的光学传递函数、即基于原图像数据的摄影信息(F数、焦距等)的光学传递函数生成并获取锐化滤波器。然后，在滤波器生成部52中生成的锐化滤波器被发送至滤波器处理部44。
滤波器处理部44中的锐化滤波器应用于原图像数据的应用方法并无特别限定。例如，可以将共同的锐化滤波器应用于原图像数据的整个像素，也可以按照原图像数据的每一个像素或每一个区改变所应用的锐化滤波器。一般来讲，由于在光学系统的光轴中心部和周边部中像差等光学特性不同而光学传递函数不同，因此也可以根据像高按照原图像数据的每一个像素或每一个区改变所应用的锐化滤波器。在该情况下，也可以是，滤波器获取部42获取与多个像高建立关联的多个锐化滤波器，滤波器处理部44使用滤波器获取部42所获取的多个锐化滤波器根据像高将锐化滤波器应用于原图像数据。
<关于无法获取必要条件时的锐化滤波器的获取方法>
例如，如图4所示的例子，在滤波器获取部42保持根据F数以及焦距规定的多个锐化滤波器的情况下，若从信息获取部40发送来的摄影信息包含在摄影获取原图像数据时的F数以及焦距的信息，则滤波器获取部42能够选择获取适当的锐化滤波器。并且，如图5所示的例子，滤波器获取部42根据光学传递函数生成锐化滤波器的情况也相同。即，在滤波器获取部42能够保持根据F数以及焦距规定的适当的光学传递函数的情况下，若从信息获取部40 发送来的摄影信息包含在摄影获取原图像数据时的F数以及焦距的信息，则滤波器获取部42能够选择获取适当的锐化滤波器。
另一方面，在这些情况下还有如下实例：从信息获取部40发送至滤波器获取部42的摄影信息不包含F数以及焦距中的任一个或两者的实例；或信息获取部40由于通信不良等而无法获取摄影信息的实例。在这些实例中，滤波器获取部42无法利用在摄影获取原图像数据时的F数和/或焦距的信息。
在信息获取部40所获取的摄影信息包含F数以及焦距中的一个(第1摄影条件)但不包含另一个(第2摄影条件)的情况下，本实施方式的滤波器获取部42获取与摄影信息所含的F数或焦距(第1摄影条件)建立关联的锐化滤波器、即与不包含于摄影信息的F数或焦距(第2摄影条件)的“代表条件”建立关联的锐化滤波器。
即，在能够利用多个锐化滤波器的状况下，在只能利用用于选定锐化滤波器的部分基础信息(摄影条件)的情况下，关于不足的“用于选定锐化滤波器的基础信息”利用“代表条件”。例如，在从信息获取部40发送至滤波器获取部42的摄影信息只包含“F数”的信息而不包含“焦距”的信息的情况下，滤波器获取部42从可利用的多个锐化滤波器中选定与摄影信息所含的“F数”的信息建立关联的多个锐化滤波器，并从该选定的多个锐化滤波器中选定与“焦距”的代表条件对应的锐化滤波器。同样地，例如在从信息获取部40发送至滤波器获取部42的摄影信息只包含“焦距”的信息而不包含“F数”的信息的情况下，滤波器获取部42从可利用的多个锐化滤波器中选定与摄影信息所含的“焦距”的信息建立关联的多个锐化滤波器，并从该选定的多个锐化滤波器中选定与“F数”的代表条件对应的锐化滤波器。
根据各种观点确定不包含于摄影信息的F数或焦距(第2摄影条件)的“代表条件”。
例如，也可以根据与摄影信息所含的摄影条件(在本例中，F数或焦距：第1摄影条件)建立关联的多个锐化滤波器各自的空间频率特性规定代表条件。
在该情况下，例如也可以以如下为基准规定不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件：关于与摄影信息所含的摄影条件(F数或焦距：第1摄影条件)建立关联的多个锐化滤波器、即与多个“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)”各自建立关联的多 个锐化滤波器各自，表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率的响应的最大值。
图6为表示锐化滤波器的每个空间频率的响应的一例的图。图6的横轴表示空间频率，纵轴表示“响应＝应用锐化滤波器之后的图像数据/应用锐化滤波器之前的图像数据”。即，响应表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率。因此，在图像数据中，“响应＝1.0”的空间频率的成分在应用锐化滤波器的前后的值不发生变化，“响应＞1.0”的空间频率的成分在应用锐化滤波器之后的值大于应用锐化滤波器之前的值，“响应＜1.0”的空间频率的成分在应用锐化滤波器之后的值小于应用锐化滤波器之前的值。根据这种“空间频率-响应”特性，能够以响应的最大值为基准规定不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件。
例如，从作为锐化处理的结果防止导致画质劣化的观点考虑，优选将与画质的变更程度最弱的锐化滤波器对应的摄影条件设为代表条件。因此，由于将与摄影信息所含的摄影条件(F数或焦距：第1摄影条件)建立关联的多个锐化滤波器中响应的最大值最小的锐化滤波器设为代表滤波器，因此也可以将与该“响应的最大值最小的锐化滤波器”对应的“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)”设为代表条件。
另一方面，从作为锐化处理的结果获得尽可能高的锐化效果的观点考虑，优选将与画质的变更程度最强的锐化滤波器对应的摄影条件设为代表条件。因此，由于将与摄影信息所含的摄影条件(F数或焦距：第1摄影条件)建立关联的多个锐化滤波器中响应的最大值最大的锐化滤波器设为代表滤波器，因此也可以将与该“响应的最大值最大的锐化滤波器”对应的“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)”设为代表条件。
并且，从作为锐化处理的结果均衡地兼顾避免画质劣化和确保锐化效果的观点考虑，优选将与画质的变更程度为平均、即折中的锐化滤波器对应的摄影条件设为代表条件。因此，由于将与摄影信息所含的摄影条件(F数或焦距：第1摄影条件)建立关联的多个锐化滤波器中响应的最大值表示中间值的锐化滤波器设为代表滤波器，因此也可以将与该“响应的最大值表示中间值的锐化 滤波器”对应的“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)”设为代表条件。
并且，也可以根据锐化滤波器的响应的最大值以外的信息规定“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件”。
图7为表示锐化滤波器的每个空间频率的响应的一例的图。图7的横轴以及纵轴的基准与图6相同，横轴表示空间频率，纵轴表示“响应＝应用锐化滤波器之后的图像数据/应用锐化滤波器之前的图像数据”。
也可以以如下为基准规定不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件：关于与摄影信息所含的摄影条件(F数或焦距：第1摄影条件)建立关联的多个锐化滤波器、即与不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的多个条件建立关联的多个锐化滤波器各自，在图7所示的“空间频率-响应”的坐标系中表示大于“第1阈值”的响应的范围的面积。在此所说的“第1阈值”优选为1以上的值，图7的斜线部表示设为“第1阈值＝1.0”时满足“响应≥第1阈值(＝1.0)”的范围。
例如，从作为锐化处理的结果防止导致画质劣化的观点考虑，优选在与摄影信息所含的摄影条件(F数或焦距：第1摄影条件)建立关联的多个锐化滤波器中，将在“空间频率-响应”的坐标系中表示大于“第1阈值”的响应的范围的面积最小的锐化滤波器设为代表滤波器。因此，也可以将与该“在空间频率-响应的坐标系中表示大于第1阈值的响应的范围的面积最小的锐化滤波器”对应的“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)”设为代表条件。
另一方面，从作为锐化处理的结果获得尽可能高的锐化效果的观点考虑，优选在与摄影信息所含的摄影条件(F数或焦距：第1摄影条件)建立关联的多个锐化滤波器中，将“在空间频率-响应”的坐标系中表示大于“第1阈值”的响应的范围的面积最大的锐化滤波器设为代表滤波器。因此，也可以将与该“在空间频率-响应的坐标系中表示大于第1阈值的响应的范围的面积最大的锐化滤波器”对应的“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)”设为代表条件。
并且，从作为锐化处理的结果均衡地兼顾避免画质劣化和确保锐化效果的观点考虑，优选在与摄影信息所含的摄影条件(F数或焦距：第1摄影条件) 建立关联的多个锐化滤波器中，将“在空间频率-响应”的坐标系中表示大于“第1阈值”的响应的范围的面积表示中间值的锐化滤波器设为代表滤波器。因此，也可以将与该“在空间频率-响应的坐标系中表示大于第1阈值的响应的范围的面积表示中间值的锐化滤波器”对应的“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)”设为代表条件。
并且，也可以根据其他信息规定“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件”。例如，可以根据使用频度等信息规定“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件”。例如，也可以将根据统计性的信息求出的“使用频度高的条件”设为“不包含于摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件”。例如，在“不包含于摄影信息的摄影条件”为焦距的情况下，也可以将最小焦距或最大焦距设为“代表条件”。并且，在“不包含于摄影信息的摄影条件”为F数的情况下，也可以预先求出使用频度高的光圈，并将该预先求出的F数设为代表条件。
接着，对锐化处理流程进行说明。
图8为表示锐化处理的流程的一例的流程图。
首先，通过信息获取部40获取原图像数据的摄影信息，在滤波器获取部42中判定所获取的摄影信息是否包含摄影获取原图像数据时的F数以及焦距的数据。
在摄影信息只包含F数的数据而不包含焦距的数据的情况(图8的S11的是)下，通过滤波器获取部42获取与“摄影信息所含的F数的数据”以及“焦距的代表条件”对应的锐化滤波器(S12)。另一方面，在摄影信息只包含焦距的数据而不包含F数的数据的情况(S11的否、S14的是)下，通过滤波器获取部42获取与“摄影信息所含的焦距的数据”以及“F数的代表条件”对应的锐化滤波器(S15)。并且，在摄影信息包含F数以及焦距这两个数据的情况(S14的否、S16的是)下，通过滤波器获取部42获取与“摄影信息所含的F数以及焦距的数据”对应的锐化滤波器(S17)。
然后，利用通过滤波器获取部42获取的锐化滤波器，通过滤波器处理部44对原图像数据实施锐化处理，获取锐化图像数据(S13)。
另外，在本例中，在摄影信息不包含F数以及焦距这两个数据的情况或信息获取部40无法获取摄影信息的情况(S16的否)下，跳过锐化处理(S13)而不进行锐化处理。但是，在该情况(S16的否)下，也可以不跳过锐化处理，而使用与预先规定的F数以及焦距各自的代表条件对应的锐化滤波器进行锐化处理。
如以上说明，根据本实施方式，即使在无法获取用于特定锐化滤波器的部分条件(F数以及焦距)的情况下，也能够根据代表条件选定锐化滤波器并高精度地进行锐化处理。
<第2实施方式>
在本实施方式中，对与上述的第1实施方式相同或类似的结构以及作用省略详细的说明。
在本实施方式中，在通过锐化处理容易发生不良状况的情况或发生不良状况的情况下，抑制因锐化处理引起的画质变化。作为抑制因锐化处理引起的画质变化的方法，有滤波器处理部44例如使用锐化效果比本来使用的锐化滤波器弱的锐化滤波器进行锐化处理的方法。并且，有滤波器处理部44通过控制增益使锐化图像数据相对于原图像数据的增量变小的方法。
图9为表示滤波器处理部44的功能结构的一例的框图。本例的滤波器处理部44具有滤波器应用部60以及增益控制部62。滤波器应用部60将滤波器获取部42所获取的锐化滤波器应用于原图像数据来获取滤波图像数据。增益控制部62根据信息获取部40所获取的摄影信息控制滤波图像数据相对于原图像数据的增益来获取锐化图像数据。
这些锐化滤波器的应用或增益控制的具体方法并无特别限定，能够通过任意方法从原图像数据获取锐化图像数据。图10为表示滤波器处理部44的功能结构的具体例的框图。在图10所示的例子中，滤波器处理部44包括滤波器应用部60、增益调整部63以及数据调整部64(增益控制部62)。本例的增益调整部63对在滤波器应用部60中获取的“通过将锐化滤波器应用于原图像数据而获得的滤波图像数据”进行复原强度倍率U的乘法运算，从而获取第1调整图像数据。另一方面，数据调整部64对在滤波器应用部60中应用锐化滤波器之前的“原图像数据”乘以倍率(1-U)来获取第2调整图像数据。然后，数 据调整部64对该第2调整图像数据和在增益调整部63中获取的第1调整图像数据进行加法运算，从而能够获取锐化图像数据。
另外，滤波器处理部44也可以采用与上述方法等效的其他方法来代替上述方法。例如也可以是，滤波器应用部60在获取“通过将锐化滤波器应用于原图像数据而获得的滤波图像数据”之后，计算图像的增减量数据，增益调整部63通过进行该增减量数据和复原强度倍率U的乘法运算来进行增益控制。在该情况下，数据调整部64对在滤波器应用部60应用锐化滤波器之前的“原图像数据”和在增益调整部63中获取的“乘以复原强度倍率U之后的增减量数据”进行加法运算，从而能够获取锐化图像数据。
在“通过锐化处理容易发生不良状况的实例或发生不良状况的实例”中，通过在上述的滤波器应用部60中使用锐化效果弱的锐化滤波器，或者调整增益控制部62中的增益控制来降低锐化效果，由此能够抑制因锐化处理引起的画质变化。
“通过锐化处理容易发生不良状况的实例或发生不良状况的实例”并无特别限定，通过以下各模式对具体实例进行说明。
<第1模式>
在本模式中，在根据原图像数据的特定的空间频率的范围的成分量判定为“通过锐化处理容易发生不良状况的实例”的情况下，抑制因锐化处理引起的画质变化。在此所说的“特定的空间频率的范围”优选包含通过锐化滤波器发生数据变更的空间频率的范围，例如包含于原图像数据的采样频率的1/8以上且1/4以下的范围。
在本例中，在包含通过锐化滤波器发生数据变更的空间频率的范围的“特定的空间频率的范围”中的原图像数据的成分量大的情况(即，第2阈值以上的情况)下，抑制因锐化处理引起的画质变化。
图11为表示第1模式所涉及的图像处理部36的功能结构例的框图。本例的图像处理部36除了具备信息获取部40、滤波器获取部42以及滤波器处理部44以外，还具备对原图像数据的空间频率特性进行分析的频率分析部66。与通过频率分析部66分析的原图像数据的空间频率特性有关的数据被发送至滤波器获取部42以及滤波器处理部44。
滤波器获取部42根据频率分析部66的分析结果判定原图像数据的特定的空间频率的范围的成分量是否为第2阈值以上。在判定为原图像数据的特定的空间频率的范围的成分量小于第2阈值的情况下，滤波器获取部42通过通常的处理获取锐化滤波器。另一方面，在判定为原图像数据的特定的空间频率的范围的成分量为第2阈值以上的情况下，滤波器获取部42也可以获取如下锐化滤波器：相比于与不包含于信息获取部40所获取的摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件建立关联的锐化滤波器，表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率的响应小的锐化滤波器。
并且，也可以代替上述的滤波器获取部42中的滤波器获取处理，或者与上述的滤波器获取部42中的滤波器获取处理一同调整滤波器处理部44中的增益控制。即，滤波器处理部44的增益控制部62(参考图9以及图10)根据频率分析部66的分析结果判定原图像数据的特定的空间频率的范围的成分量是否为第2阈值以上。在判定为原图像数据的特定的空间频率的范围的成分量小于第2阈值的情况下，增益控制部62进行通常的增益控制。另一方面，在判定为原图像数据的特定的空间频率的范围的成分量为第2阈值以上的情况下，增益控制部62也可以控制增益，使锐化图像数据相对于原图像数据的增量小于根据信息获取部40所获取的摄影信息控制增益的情况。
<第2模式>
在本模式中，将原图像数据包含饱和像素的情况判定为“通过锐化处理容易发生不良状况的实例”，抑制因锐化处理引起的画质变化。在此所说的“饱和像素”为像素值高的像素，是具有像素值通过锐化处理成为最大值的可能性高的像素值的像素。例如，能够将表示可表现的像素值的90％以上的像素值的像素设为“饱和像素”，在能够通过“0～255”表现像素值的情况下，例如可以将具有“230～255”的像素值的像素当作饱和像素。
图12为表示第2模式所涉及的图像处理部36的功能结构例的框图。本例的图像处理部36除了具备信息获取部40、滤波器获取部42以及滤波器处理部44以外，还具备对原图像数据的饱和像素进行分析的饱和像素分析部68。与通过饱和像素分析部68分析的原图像数据的饱和像素有关的数据被发送至滤波器获取部42以及滤波器处理部44。
滤波器获取部42根据饱和像素分析部68的分析结果判定原图像数据是否包含具有第3阈值(例如“233”)以上的像素值的饱和像素。在判定为原图像数据不包含具有第3阈值以上的像素值的饱和像素的情况下，滤波器获取部42通过通常的处理获取锐化滤波器。另一方面，在判定为原图像数据包含具有第3阈值以上的像素值的饱和像素的情况下，滤波器获取部42也可以获取如下锐化滤波器：相比于与不包含于信息获取部40所获取的摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件建立关联的锐化滤波器，表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率的响应小的锐化滤波器。
并且，也可以代替上述的滤波器获取部42中的滤波器获取处理，或者与上述的滤波器获取部42中的滤波器获取处理一同调整滤波器处理部44中的增益控制。即，滤波器处理部44的增益控制部62(参考图9以及图10)根据饱和像素分析部68的分析结果判定原图像数据是否包含具有第3阈值以上的像素值的饱和像素。在判定为原图像数据不包含具有第3阈值以上的像素值的饱和像素的情况下，增益控制部62进行通常的增益控制。另一方面，在判定为原图像数据包含具有第3阈值以上的像素值的饱和像素的情况下，增益控制部62也可以控制增益，使锐化图像数据相对于原图像数据的增量小于根据信息获取部40所获取的摄影信息控制增益的情况。
<第3模式>
在本模式中，将在锐化处理后的图像数据(锐化图像数据)中发生振铃的可能性高的情况或发生振铃的情况判定为“通过锐化处理容易发生不良状况的实例或发生不良状况的实例”，抑制因锐化处理引起的画质变化。
图13为表示第3模式所涉及的图像处理部36的功能结构例的框图。本例的图像处理部36除了具备信息获取部40、滤波器获取部42以及滤波器处理部44以外，还具备获取锐化图像数据的振铃量的振铃获取部70。与通过振铃获取部70获取的振铃量有关的数据被发送至滤波器获取部42以及滤波器处理部44。
另外，振铃量的获取方法并无特别限定，振铃获取部70例如可以根据预先规定的条件获取振铃量。例如，振铃获取部70可以通过对原图像数据与锐化图像数据进行比较来获取振铃量，也可以对锐化图像数据的频率特性等图像 特性进行分析，并根据其分析结果是否符合预先规定的条件来获取(推断)振铃量。并且，振铃获取部70可以根据原图像数据的获取是否按照预先规定的获取条件进行来获取(推断)振铃量，例如在获取原图像数据的摄影中使用的光学系统的信息能够包含于在此所说的获取条件。能够影响锐化处理的锐化精度或副作用(振铃等)各种要件能够包含于“获取条件”。例如，在此所说的光学系统的信息能够包含在获取原图像数据的摄影中使用的光学系统的透镜种类、F数、变焦值中的至少任1个。并且，振铃获取部70可以对原图像数据的频率特性等图像特性进行分析，并根据其分析结果是否符合预先规定的条件来获取(推断)振铃量，例如可以根据原图像数据中的饱和像素的有无获取(推断)振铃量。
以下，对振铃获取部70通过比较原图像数据与锐化图像数据来获取振铃量的例子进行说明。
滤波器获取部42根据振铃获取部70的分析结果判定振铃量是否为第4阈值以上。在判定振铃量小于第4阈值的情况下，不重新进行锐化处理，从振铃获取部70输出基于滤波器处理部44的锐化处理后的锐化图像数据。另一方面，在判定振铃量为第4阈值以上的情况下，重新进行锐化处理。
例如，在判定振铃量为第4阈值以上的情况下，滤波器获取部42也可以获取如下锐化滤波器：相比于与不包含于信息获取部40所获取的摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件建立关联的锐化滤波器，表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率的响应小的锐化滤波器。
并且，也可以代替上述的滤波器获取部42中的滤波器获取处理，或者与上述的滤波器获取部42中的滤波器获取处理一同调整滤波器处理部44中的增益控制。即，在判定振铃量为第4阈值以上的情况下，滤波器处理部44的增益控制部62(参考图9以及图10)控制增益，使锐化图像数据相对于原图像数据的增量小于根据信息获取部40所获取的摄影信息控制增益的情况。
<第4模式>
在本模式中，在通过锐化处理而使得关于特定的空间频率的范围的“锐化图像数据相对于原图像数据的增量值”大的情况下，判定为“通过锐化处理容易发生不良状况的实例或发生不良状况的实例”，抑制因锐化处理引起的画质 变化。在此所说的“特定的空间频率的范围”优选包括通过锐化滤波器发生数据变更的空间频率的范围，例如包含于原图像数据的采样频率的1/8以上且1/4以下的范围。
图14为表示第4模式所涉及的图像处理部36的功能结构例的框图。本例的图像处理部36除了具备信息获取部40、滤波器获取部42以及滤波器处理部44以外，还具备增量值获取部72，该增量值获取部72关于特定的空间频率的范围获取锐化图像数据相对于原图像数据的增量值。与通过增量值获取部72获取的增量值有关的数据被发送至滤波器获取部42以及滤波器处理部44。
滤波器获取部42根据增量值获取部72的处理结果判定关于特定的空间频率的范围的锐化图像数据相对于原图像数据的增量值是否为第5阈值以上。在判定增量值小于第5阈值的情况下，不重新进行锐化处理，从增量值获取部72输出基于滤波器处理部44的锐化处理后的锐化图像数据。另一方面，在判定增量值为第5阈值以上的情况下，重新进行锐化处理。
例如，在判定增量值为第5阈值以上的情况下，滤波器获取部42也可以获取如下锐化滤波器：相比于与不包含于信息获取部40所获取的摄影信息的摄影条件(F数或焦距：第2摄影条件)的代表条件建立关联的锐化滤波器，表示应用锐化滤波器之后的图像数据相对于应用锐化滤波器之前的图像数据的每个空间频率的比率的响应小的锐化滤波器。
并且，也可以代替上述的滤波器获取部42中的滤波器获取处理，或者与上述的滤波器获取部42中的滤波器获取处理一同调整滤波器处理部44中的增益控制。即，在判定增量值为第5阈值以上的情况下，滤波器处理部44的增益控制部62(参考图9以及图10)控制增益，使锐化图像数据相对于原图像数据的增量小于根据信息获取部40所获取的摄影信息控制增益的情况。
<其他变形例>
也可以对上述的实施方式以及变形例中任意方式彼此进行组合。并且，上述的实施方式仅为例示，也可以将本发明应用于其他结构。
并且，在上述的实施方式中，对根据F数以及焦距的信息而特定锐化滤波器的例子进行了说明，但是在根据其他摄影条件(被摄体距离、明度(曝光、直方图、饱和度)等)而特定锐化滤波器的情况下，也能够获得相同的作用效果。
并且，上述的各功能结构能够通过任意的硬件、软件或两者的组合来实现。例如，还能够将本发明应用于使计算机执行上述各装置以及处理部(图像处理部36等)中的图像处理方法(图像处理步骤)的程序、存储有该程序的计算机可读取的存储介质(非暂时性存储介质)或能够安装该程序的计算机。
<对EDoF系统的应用例>
上述的实施方式中的锐化处理包括考虑了光学传递函数的复原处理。该复原处理为通过根据特定的摄影条件信息(例如，F数、焦距、透镜种类、变焦倍率等)对点扩散(点像模糊)进行恢复修正来复原本来的被摄体像的图像处理，但是能够应用本发明的锐化处理并不限定于上述的实施方式中的复原处理。例如，还能够将本发明所涉及的复原处理应用于对通过具有被扩展了的场景(焦点)深度(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)摄影获取的图像数据的复原处理。通过对由EDoF光学系统在景深(焦点深度)被扩展了的状态下摄影获取的模糊图像的图像数据进行复原处理，能够复原生成在宽范围对焦状态的高分辨率的图像数据。在该情况下，进行使用基于EDoF光学系统的光学传递函数(PSF、OTF、MTF、PTF等)的复原滤波器、即具有被设定成在被扩展了的景深(焦点深度)的范围内能够进行良好的图像复原的滤波器系数的复原滤波器的复原处理。
以下，对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，说明对从去马赛克处理后的图像数据(RGB数据)获得的亮度信号(Y数据)进行复原处理的例子，但是进行复原处理的时刻并无特别限定，例如可以对“去马赛克处理前的图像数据(马赛克图像数据)”或“去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)”进行复原处理。
图15为表示具备EDoF光学系统的摄像模块101的一方式的框图。本例的摄像模块(数码相机等)101包括EDoF光学系统(透镜单元)110、成像元件112、AD转换部114以及复原处理块(图像处理部36)120。
图16为表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的固定的摄影透镜110A和配置于光瞳位置的光学滤波器111。光学滤波器111的相位被调制，为了获得被扩展了的景深(焦点深度)(EDoF)而 使EDoF光学系统110(摄影透镜110A)EDoF化。如此，摄影透镜110A以及光学滤波器111构成调制相位而使景深扩展的透镜部。
另外，EDoF光学系统110根据需要包含其他构成要件，例如在光学滤波器111的附近配设有光圈(省略图示)。并且，光学滤波器111可以为1片，也可以组合多片。并且，光学滤波器111仅为光学相位调制构件的一例，EDoF光学系统110(摄影透镜110A)的EDoF化也可以通过其他构件实现。例如，也可以通过以具有与本例的光学滤波器111相同的功能的方式进行透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化，以代替设置光学滤波器111。
即，能够通过使对成像元件112的受光面上的成像的波面发生变化的各种构件实现EDoF光学系统110的EDoF化。例如，能够采用“厚度发生变化的光学元件”、“折射率发生变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面的编码等使厚度或折射率发生变化的光学元件(波面调制混合透镜、在透镜面上作为相位面形成的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统110的EDoF化构件。如此，本发明不仅能够应用于通过光波面调制元件(光学滤波器111(相位板))可形成有规则地分散的图像的实例，而且还能够应用于不使用光波面调制元件而是通过摄影透镜110A自身可形成与使用了光波面调制元件的情况相同的分散图像的实例。
图16所示的EDoF光学系统110由于能够省略机械地进行焦点调节的焦点调节机构，因此能够小型化，从而能够适宜地搭载于带有相机的移动电话或便携信息终端。
通过被EDoF化的EDoF光学系统110之后的光学图像成像于图15所示的成像元件112，在此转换为电信号。
成像元件112由以规定的图案阵列(拜耳阵列、G条纹R/G完整方格、X-Trans阵列、蜂窝式阵列等)呈矩阵状配置的多个像素构成，各像素构成为包括微透镜、滤色器(在本例中为RGB滤色器)以及光电二极管。经由EDoF光学系统110入射到成像元件112的受光面的光学图像通过排列在该受光面的各光电二极管转换为与入射光量相应的量的信号电荷。然后，积蓄在各光电二极管的R、G、B的信号电荷作为每一个像素的电压信号(图像信号)被依次输出。
AD转换部114将从成像元件112按照每一个像素输出的模拟的R、G、B图像信号转换为数字的RGB图像信号。通过AD转换部114转换为数字的图像信号的数字图像信号被施加于复原处理块120。
复原处理块120例如包括黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126以及Y信号复原处理部127。
黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。在黑电平调整时能够采用公知的方法。例如，在着眼于某一有效光电转换元件的情况下，求出与包括该有效光电转换元件的光电转换元件行所含的多个OB光电转换元件各自对应的暗电流量获取用信号的平均，并从与该有效光电转换元件对应的暗电流量获取用信号减去该平均，从而进行黑电平调整。
白平衡增益部123进行与调整了黑电平数据的数字图像信号所含的RGB各色信号的白平衡增益相应的增益调整。
伽马处理部124进行如下的伽马校正，即进行校正半色调等灰度的伽马校正，以使调整了白平衡的R、G、B图像信号达到所期望的伽马特性。
去马赛克处理部125对伽马校正后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B图像信号实施颜色差值处理，生成从成像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B图像信号中的任一个，但是在颜色去马赛克处理之后，输出与各受光像素对应的R、G、B信号这3个像素信号的组。
RGB/YCrCb转换部126将进行了去马赛克处理的每一个像素的R、G、B信号转换为亮度信号Y和色差信号Cr、Cb，并输出每一个像素的亮度信号Y以及色差信号Cr、Cb。
Y信号复原处理部127根据预先存储的复原滤波器对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(与M＝7、N＝7的抽头数对应)以及与该反卷积核对应的运算系数(与复原增益数据、滤波器系数对应)构成，并使用于光学滤波器111的相位调制量的反卷积处理(反卷积运算处理)。另外，与光学滤波器111对应的复原滤波器存储于未图示的存储器(例如附带设置Y信号复原处理部127的存储 器)。并且，反卷积核的核尺寸不限于7×7。另外，Y信号复原处理部127具有上述的图像处理部36中的锐化处理的功能。
接着，对基于复原处理块120的复原处理进行说明。图17为表示基于图15所示的复原处理块120的复原处理流程的一例的图。
在黑电平调整部122的一个输入时，从AD转换部114施加有数字图像信号，在其他输入时，施加有黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，将被减去黑电平数据的数字图像信号输出至白平衡增益部123(步骤S21)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整之后的图像数据依次实施基于白平衡增益部123、伽马处理部124的处理(步骤S22以及步骤S23)。
进行了伽马校正的R、G、B信号在通过去马赛克处理部125进行去马赛克处理之后，在RGB/YCrCb转换部126中转换为亮度信号Y和色差信号Cr、Cb(步骤S24)。
Y信号复原处理部127进行将EDoF光学系统110的光学滤波器111的相位调制量的反卷积处理应用于亮度信号Y的复原处理(步骤S25)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组对应的亮度信号(在此为7×7像素的亮度信号)和预先存储于存储器等的复原滤波器(7×7的反卷积核和其运算系数)的反卷积处理(反卷积运算处理)。Y信号复原处理部127以覆盖摄像面的整个区域的方式反复进行该规定单位的每一个像素组的反卷积处理，从而进行去除整个图像的图像模糊的复原处理。复原滤波器按照实施反卷积处理的像素组的中心位置进行规定。即，对相邻的像素组应用共同的复原滤波器。并且，为了简化复原处理，优选对所有的像素组应用共同的复原滤波器。
如图18(a)所示，通过EDoF光学系统110之后的亮度信号的点像(光学图像)作为大的点像(模糊图像)成像于成像元件112，但是通过Y信号复原处理部127中的反卷积处理复原成如图18(b)所示那样小的点像(高分辨率的图像)。
如上所述，通过将复原处理应用于去马赛克处理后的亮度信号，无需使RGB分别具有复原处理的参数，能够使复原处理高速化。并且，并不是将与处 于间隔位置的R、G、B的像素对应的R、G、B图像信号分别整合成1个单位来进行反卷积处理，而是将相邻的像素的亮度信号彼此整合成规定的单位，并将共同的复原滤波器应用于该单位来进行反卷积处理，因此复原处理的精度会提高。另外，对于色差信号Cr、Cb，即使不通过复原处理提高分辨率，在在人眼的视觉特性上其画质也是容许的。并且，在通过如JPEG的压缩形式记录图像的情况下，以比亮度信号高的压缩率压缩色差信号，因此缺乏通过复原处理提高分辨率的必要性。这样，能够兼顾复原精度的提高和处理的简化以及高速化。
对如以上说明的EDoF系统的复原处理也能够应用上述的实施方式所涉及的点像复原处理。
并且，能够应用本发明的方式并不限定于数码相机以及计算机(服务器)，本发明除了能够应用于将摄像作为主要功能的相机类之外，还能够应用于除了具备摄像功能之外还具备除了摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的便携设备类。作为能够应用本发明的其他方式，例如可以举出具有相机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对能够应用本发明的智能手机的一例进行说明。
<对智能手机的应用例>
图19为表示智能手机201的外观的图。图19所示的智能手机201具有平板状的框体202，在框体202的一个面具备作为显示部的显示面板221以及作为输入部的操作面板222成为一体的显示输入部220。并且，所述框体202具备扬声器231、麦克风232、操作部240以及相机部241。另外，框体202的结构并不限定于此，例如还能够采用显示部与输入部独立的结构，或者采用折叠结构或者具有滑动机构的结构。
图20为表示图19所示的智能手机201的结构的框图。如图20所示，作为智能手机的主要构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(Global Positioning System)接收部270、动作传感器部280、电源部290以及主控制部200(包括上述的主体控制器28)。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210按照主控制部200的指示对容纳于移动通信网NW的基站装置BS进行无线通信。使用所述无线通信进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发以及Web数据或流数据等的接收。
显示输入部220为通过主控制部200的控制来显示图像(静止图像以及动态图像)或文字信息等、并将信息以视觉方式传递给用户、并检测用户对所显示的信息的操作的所谓的触控面板，具备显示面板221和操作面板222。
显示面板221将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板222为以能够辨认显示于显示面板221的显示面上的图像的方式载置并检测通过用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作所述设备，则将由操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。
如图19所示，虽然作为本发明的摄像装置的一实施方式例示的智能手机201的显示面板221和操作面板222成为一体地构成显示输入部220，但成为操作面板222完全覆盖显示面板221的配置。在采用所述配置的情况下，操作面板222对显示面板221以外的区域也可以具备检测用户操作的功能。换言之，操作面板222也可以具备：对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)；以及对除此以外的与显示面板221不重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，虽然可以使显示区域的大小和显示面板221的大小完全一致，但是不必一定使两者一致。并且，操作面板222也可以具备外缘部分和除此以外的内侧部分这两个感应区域。并且，外缘部分的宽度根据框体202的大小等适当地设计。另外，作为在操作面板222中采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。
通话部230具备扬声器231和麦克风232，将通过麦克风232输入的用户的语音转换成可由主控制部200处理的语音数据并输出至主控制部200，或者将通过无线通信部210或外部输入输出部260接收的语音数据进行解码并从扬声器231输出。并且，如图19所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，并将麦克风232搭载于框体202的侧面。
操作部240为使用按键开关等的硬键，接收来自用户的指示。例如，如图19所示，操作部240搭载于智能手机201的框体202的侧面，是当通过手指等按下时开启，当拿开手指时通过弹簧等的复原力成为关闭状态的按键式开关。
存储部250存储主控制部200的控制程序或控制数据、应用软件、将通信对象的名称或电话号等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或所下载的内容数据，并且暂时存储流数据等。并且，存储部250由智能手机内置的内部存储部251和具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251和外部存储部252利用闪存器类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read OnlyMemory)等储存介质来实现。
外部输入输出部260发挥与连结于智能手机201的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机201连结的外部设备，例如有如下等设备：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储器卡(Memory card)或SIM(Subscriber Identity Module)/UIM(User Identity Module)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备接受传递的数据传递至智能手机201的内部的各构成要件，或者能够将智能手机201的内部的数据传递至外部设备。
GPS接收部270按照主控制部200的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由智能手机201的纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210 或外部输入输出部260(例如，无线LAN)获取位置信息时，还能够使用该位置信息检测位置。
动作传感器部280例如具备三轴加速度传感器等，按照主控制部200的指示检测智能手机201的物理移动。通过检测智能手机201的物理移动，可以检测智能手机201的移动的方向或加速度。所述检测结果被输出至主控制部200。
电源部290按照主控制部200的指示向智能手机201的各部供给蓄存于电池(未图示)的电力。
主控制部200具备微处理器，该主控制部200按照存储部250所存储的控制程序或控制数据动作，并统括控制智能手机201的各部。并且，主控制部200具备移动通信控制功能和应用处理功能，该移动通信控制功能为了通过无线通信部210进行语音通信或数据通信而对通信系统的各部进行控制。
应用处理功能通过由主控制部200按照存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260而与对象设备进行数据通信的红外线通信功能或进行电子邮件的收发的电子邮件功能、阅览Web的Web浏览功能等。
并且，主控制部200具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)将影像显示于显示输入部220等的图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码并对所述解码结果实施图像处理从而将图像显示于显示输入部220的功能。
并且，主控制部200执行对显示面板221的显示控制以及检测通过操作部240、操作面板222进行的用户操作的操作检测控制。
通过显示控制的执行，主控制部200显示用于启动应用软件的图标或滚动条等软键，或者显示用于制作电子邮件的窗口。另外，滚动条是指针对无法收纳于显示面板221的显示区域的大图像等，用于接收使图像的显示部分移动的指示的软键。
并且，通过操作检测控制的执行，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接收对上述图标的操作或对上述窗口的输入栏的文字列的输入，或者接收通过滚动条的显示图像的滚动要求。
并且，通过操作检测控制的执行，主控制部200具备如下触控面板控制功能：判定对操作面板222的操作位置是与显示面板221重叠的重叠部分(显示 区域)，还是除此以外的与显示面板221不重叠的外缘部分(非显示区域)，从而对操作面板222的感应区域或软键的显示位置进行控制。
并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作并不是指以往单纯的触摸操作，而是指通过手指等描绘轨迹，或者同时指定多个位置或者组合这些，从多个位置对至少一个描绘轨迹的操作。
相机部241为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制将通过摄像获得的图像数据转换为例如JPEG(Joint Photographiccoding Experts Group)等压缩的图像数据，并记录于存储部250，或者通过外部输入输出部260或无线通信部210输出。如图19所示，在智能手机201中，相机部241搭载于与显示输入部220相同的面，但是相机部241的搭载位置并不限于此，可以搭载于显示输入部220的背面，或者也可以搭载多个相机部241。另外，在搭载多个相机部241的情况下，还能够替换供摄影的相机部241而单独进行拍摄，或者同时使用多个相机部241而进行拍摄。
并且，相机部241能够用于智能手机201的各种功能。例如，能够将由相机部241获取的图像显示于显示面板221，或者将相机部241的图像用作操作面板222的操作输入的一种。并且，在GPS接收部270检测位置时，还能够参考来自相机部241的图像检测位置。并且，还能够参考来自相机部241的图像，不使用三轴加速度传感器或者并用三轴加速度传感器来判断智能手机201的相机部241的光轴方向，或者判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。
除此之外，还能够将通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)、通过动作传感器部280获取的姿势信息等附加于静止图像或动态图像的图像数据并记录于存储部250中，或者通过外部输入输出部260或无线通信部210输出。
上述的图像处理部36例如能够通过主控制部200来实现。
本发明并不限定于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种变形是不言而喻的。
符号说明
10-数码相机，12-透镜单元，14-相机主体，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，22-透镜单元输入输出部，26-成像元件，28-主体控制器，29-图像存储部，30-相机主体输入输出部，32-输入输出接口，34-设备控制部，36-图像处理部，37-显示控制部，38-显示部，40-信息获取部，42-滤波器获取部，44-滤波器处理部，46-滤波器选择部，48-滤波器存储部，50-函数获取部，52-滤波器生成部，60-滤波器应用部，62-增益控制部，63-增益调整部，64-数据调整部，66-频率分析部，68-饱和像素分析部，70-振铃获取部，72-增量值获取部，80-计算机，81-计算机输入输出部，82-计算机控制器，83-显示器，84-网络，85-服务器，86-服务器输入输出部，87-服务器控制器，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-光学滤波器，112-成像元件，114-AD转换部，120-复原处理块，122-黑电平调整部，123-白平衡增益部，124-伽马处理部，125-去马赛克处理部，126-RGB/YCrCb转换部，127-Y信号复原处理部，200-主控制部，201-智能手机，202-框体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-麦克风，240-操作部，241-相机部，250-存储部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-GPS接收部，280-动作传感器部，290-电源部。
Claims (22)
1.一种图像处理装置，其具备：
信息获取部，其获取通过使用了光学系统的被摄体像的摄影而获取的原图像数据的摄影信息；
滤波器获取部，其至少根据第1摄影条件以及第2摄影条件获取锐化滤波器；以及
滤波器处理部，其将所述滤波器获取部所获取的所述锐化滤波器应用于所述原图像数据来获取锐化图像数据，
在所述信息获取部所获取的所述摄影信息包含所述第1摄影条件但不包含所述第2摄影条件的情况下，所述滤波器获取部获取与所述摄影信息所含的所述第1摄影条件建立关联的所述锐化滤波器并且与所述第2摄影条件的代表条件建立关联的所述锐化滤波器，
根据与所述第1摄影条件建立关联的多个所述锐化滤波器各自的空间频率特性规定所述第2摄影条件的所述代表条件。
2.根据权利要求1所述的图像处理装置，其中，
所述第1摄影条件以及所述第2摄影条件中的一个为F数，另一个为焦距。
3.根据权利要求1或2所述的图像处理装置，其中，
所述锐化滤波器为基于所述光学系统的光学传递函数的滤波器。
4.根据权利要求1或2所述的图像处理装置，其中，
所述锐化滤波器为不基于所述光学系统的光学传递函数的滤波器。
5.根据权利要求1或2所述的图像处理装置，其中，
所述滤波器获取部获取与多个像高建立关联的多个所述锐化滤波器，
所述滤波器处理部根据像高将所述锐化滤波器应用于所述原图像数据。
6.根据权利要求1或2所述的图像处理装置，其中，
所述滤波器获取部具有：
滤波器存储部，其存储至少根据所述第1摄影条件以及所述第2摄影条件规定的多个所述锐化滤波器；以及
滤波器选择部，其从存储于所述滤波器存储部的多个所述锐化滤波器中选择基于所述摄影信息的所述锐化滤波器。
7.根据权利要求1或2所述的图像处理装置，其中，
所述滤波器获取部具有：
函数获取部，其获取至少根据所述第1摄影条件以及所述第2摄影条件规定的多个光学传递函数；以及
滤波器生成部，其根据选自所述函数获取部所获取的所述多个光学传递函数中的光学传递函数、即基于所述摄影信息的光学传递函数生成并获取所述锐化滤波器。
8.根据权利要求1所述的图像处理装置，其中，
所述第2摄影条件的所述代表条件以响应的最大值为基准而被规定，其中所述响应关于与所述第1摄影条件建立关联的多个所述锐化滤波器并且与多个所述第2摄影条件建立关联的多个所述锐化滤波器，分别表示应用所述锐化滤波器之后的图像数据相对于应用所述锐化滤波器之前的图像数据的每个空间频率的比率。
9.根据权利要求1所述的图像处理装置，其中，
所述第2摄影条件的所述代表条件以面积为基准而被规定，所述面积关于与所述第1摄影条件建立关联的多个所述锐化滤波器并且与多个所述第2摄影条件建立关联的多个所述锐化滤波器，分别在坐标系中的表示每个空间频率的响应的函数中表示大于第1阈值的响应的范围的面积，所述坐标系中将横轴的基准设为空间频率，将纵轴的基准设为响应，所述响应表示应用所述锐化滤波器之后的图像数据相对于应用所述锐化滤波器之前的图像数据的每个空间频率的比率。
10.根据权利要求9所述的图像处理装置，其中，
所述第1阈值为1以上的值。
11.根据权利要求1或2所述的图像处理装置，
还具备对所述原图像数据的空间频率特性进行分析的频率分析部，
在根据所述频率分析部的分析结果判定所述原图像数据的特定的空间频率的范围的成分量为第2阈值以上的情况下，所述滤波器获取部获取响应比与所述第2摄影条件的所述代表条件建立关联的所述锐化滤波器的响应小的所述锐化滤波器，所述响应表示应用所述锐化滤波器之后的图像数据相对于应用所述锐化滤波器之前的图像数据的每个空间频率的比率。
12.根据权利要求1或2所述的图像处理装置，
还具备对所述原图像数据的空间频率特性进行分析的频率分析部，
在根据所述频率分析部的分析结果判定所述原图像数据的特定的空间频率的范围的成分量为第2阈值以上的情况下，所述滤波器处理部通过控制增益使所述锐化图像数据相对于所述原图像数据的增量变小。
13.根据权利要求1或2所述的图像处理装置，
还具备对所述原图像数据的饱和像素进行分析的饱和像素分析部，
在根据所述饱和像素分析部的分析结果判定所述原图像数据包含具有第3阈值以上的像素值的饱和像素的情况下，所述滤波器获取部获取响应比与所述第2摄影条件的所述代表条件建立关联的所述锐化滤波器的响应小的所述锐化滤波器，所述响应表示应用所述锐化滤波器之后的图像数据相对于应用所述锐化滤波器之前的图像数据的每个空间频率的比率。
14.根据权利要求1或2所述的图像处理装置，
还具备对所述原图像数据的饱和像素进行分析的饱和像素分析部，
在根据所述饱和像素分析部的分析结果判定所述原图像数据包含具有第3阈值以上的像素值的饱和像素的情况下，所述滤波器处理部通过控制增益使所述锐化图像数据相对于所述原图像数据的增量变小。
15.根据权利要求1或2所述的图像处理装置，
还具备获取所述锐化图像数据的振铃量的振铃获取部，
在所述振铃量为第4阈值以上的情况下，所述滤波器获取部获取响应比与所述第2摄影条件的所述代表条件建立关联的所述锐化滤波器的响应小的所述锐化滤波器，所述响应表示应用所述锐化滤波器之后的图像数据相对于应用所述锐化滤波器之前的图像数据的每个空间频率的比率。
16.根据权利要求1或2所述的图像处理装置，
还具备获取所述锐化图像数据的振铃量的振铃获取部，
在所述振铃量为第4阈值以上的情况下，所述滤波器处理部通过控制增益使所述锐化图像数据相对于所述原图像数据的增量变小。
17.根据权利要求1或2所述的图像处理装置，
还具备增量值获取部，所述增量值获取部关于特定的空间频率的范围获取所述锐化图像数据相对于所述原图像数据的增量值，
在所述增量值为第5阈值以上的情况下，所述滤波器获取部获取响应比与所述第2摄影条件的所述代表条件建立关联的所述锐化滤波器的响应小的所述锐化滤波器，所述响应表示应用所述锐化滤波器之后的图像数据相对于应用所述锐化滤波器之前的图像数据的每个空间频率的比率。
18.根据权利要求1或2所述的图像处理装置，
还具备增量值获取部，所述增量值获取部关于特定的空间频率的范围获取所述锐化图像数据相对于所述原图像数据的增量值，
在所述增量值为第5阈值以上的情况下，所述滤波器处理部通过控制增益使所述锐化图像数据相对于所述原图像数据的增量变小。
19.根据权利要求11所述的图像处理装置，其中，
所述特定的空间频率的范围包含于所述原图像数据的采样频率的1/8以上且1/4以下的范围。
20.一种摄像装置，其具备：
成像元件；以及
权利要求1或2所述的图像处理装置，
所述原图像数据通过所述成像元件获取。
21.一种图像处理方法，
其获取通过使用了光学系统的被摄体像的摄影而获取的原图像数据的摄影信息，
至少根据第1摄影条件以及第2摄影条件获取锐化滤波器，
将所述锐化滤波器应用于所述原图像数据来获取锐化图像数据，其中，
在所述摄影信息包含所述第1摄影条件但不包含所述第2摄影条件的情况下，获取与所述摄影信息所含的所述第1摄影条件建立关联的所述锐化滤波器并且与所述第2摄影条件的代表条件建立关联的所述锐化滤波器，
根据与所述第1摄影条件建立关联的多个所述锐化滤波器各自的空间频率特性规定所述第2摄影条件的所述代表条件。
22.一种记录有程序的计算机可读取记录介质，该程序用于使计算机执行如下步骤：
获取通过使用了光学系统的被摄体像的摄影而获取的原图像数据的摄影信息的步骤；
至少根据第1摄影条件以及第2摄影条件获取锐化滤波器的步骤；以及
将所述锐化滤波器应用于所述原图像数据来获取锐化图像数据的步骤，其中，
在所述摄影信息包含所述第1摄影条件但不包含所述第2摄影条件的情况下，获取与所述摄影信息所含的所述第1摄影条件建立关联的所述锐化滤波器并且与所述第2摄影条件的代表条件建立关联的所述锐化滤波器，
根据与所述第1摄影条件建立关联的多个所述锐化滤波器各自的空间频率特性规定所述第2摄影条件的所述代表条件。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014082135 | 2014-04-11 | ||
| JP2014-082135 | 2014-04-11 | ||
| PCT/JP2015/059627 WO2015156152A1 (ja) | 2014-04-11 | 2015-03-27 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106464798A CN106464798A (zh) | 2017-02-22 |
| CN106464798B true CN106464798B (zh) | 2018-01-05 |
Family
ID=54287729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580019026.3A Active CN106464798B (zh) | 2014-04-11 | 2015-03-27 | 图像处理装置、摄像装置、图像处理方法以及记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9633418B2 (zh) |
| JP (1) | JP6042034B2 (zh) |
| CN (1) | CN106464798B (zh) |
| WO (1) | WO2015156152A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015146364A1 (ja) * | 2014-03-28 | 2015-10-01 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法、及びプログラム |
| JP6042043B2 (ja) * | 2014-09-30 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
| JP6486097B2 (ja) * | 2014-12-19 | 2019-03-20 | キヤノン株式会社 | 位置検出装置、レンズ装置、撮像システム、工作装置、位置検出方法、プログラム、および、記憶媒体 |
| JP6619638B2 (ja) * | 2015-12-09 | 2019-12-11 | Eizo株式会社 | 画像処理装置及びプログラム |
| US11176643B1 (en) * | 2020-05-04 | 2021-11-16 | Apple Inc. | Circuit for correcting chromatic aberration through sharpening |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
| CN103069432A (zh) * | 2010-06-30 | 2013-04-24 | 梅迪奇视觉成像解决方案有限公司 | 医学图像的非线性分辨率降低方法 |
| JP2013172213A (ja) * | 2012-02-17 | 2013-09-02 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
| WO2014030390A1 (ja) * | 2012-08-23 | 2014-02-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5696850A (en) * | 1995-12-21 | 1997-12-09 | Eastman Kodak Company | Automatic image sharpening in an electronic imaging system |
| JP2002344798A (ja) | 2001-05-16 | 2002-11-29 | Canon Inc | 撮像システム |
| JP5230456B2 (ja) * | 2009-01-09 | 2013-07-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2011119874A (ja) | 2009-12-01 | 2011-06-16 | Canon Inc | カメラユニット、及びレンズユニット |
| JP5546229B2 (ja) | 2009-12-09 | 2014-07-09 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
-
2015
- 2015-03-27 JP JP2016512668A patent/JP6042034B2/ja active Active
- 2015-03-27 WO PCT/JP2015/059627 patent/WO2015156152A1/ja active Application Filing
- 2015-03-27 CN CN201580019026.3A patent/CN106464798B/zh active Active
-
2016
- 2016-10-07 US US15/287,886 patent/US9633418B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011122283A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
| CN103069432A (zh) * | 2010-06-30 | 2013-04-24 | 梅迪奇视觉成像解决方案有限公司 | 医学图像的非线性分辨率降低方法 |
| JP2013172213A (ja) * | 2012-02-17 | 2013-09-02 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
| WO2014030390A1 (ja) * | 2012-08-23 | 2014-02-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2015156152A1 (ja) | 2017-04-13 |
| WO2015156152A1 (ja) | 2015-10-15 |
| JP6042034B2 (ja) | 2016-12-14 |
| US20170024863A1 (en) | 2017-01-26 |
| CN106464798A (zh) | 2017-02-22 |
| US9633418B2 (en) | 2017-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104854858B (zh) | 图像处理装置、摄像装置、计算机 | |
| CN105432069B (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
| CN106134178B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| CN104995911B (zh) | 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序 | |
| CN105009168B (zh) | 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置 | |
| CN104704806B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
| CN104704807B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| CN105453539B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| CN105103534B (zh) | 摄像装置及校准方法 | |
| CN106134177B (zh) | 图像处理装置、摄影装置、图像处理方法及图像处理程序 | |
| CN106165390A (zh) | 图像处理装置、摄影装置、图像处理方法及程序 | |
| CN105432068B (zh) | 摄像装置、摄像方法及图像处理装置 | |
| CN105009563B (zh) | 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质 | |
| CN105453534B (zh) | 图像处理装置及方法 | |
| CN106464798B (zh) | 图像处理装置、摄像装置、图像处理方法以及记录介质 | |
| CN105453540B (zh) | 图像处理装置、摄像装置、图像处理方法 | |
| US9892495B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
| CN106416218B (zh) | 图像处理装置、摄像装置、图像处理方法以及存储介质 | |
| CN105165003B (zh) | 图像处理装置、摄像装置、图像处理方法及程序 | |
| CN105009579B (zh) | 复原滤波器生成装置和方法、图像处理装置和方法以及摄像装置 | |
| CN108141530A (zh) | 图像处理装置、图像处理方法及程序 | |
| CN105122787B (zh) | 摄像装置、校准系统、校准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |