CN104079818A - 摄像装置、图像处理系统、摄像系统和图像处理方法 - Google Patents

摄像装置、图像处理系统、摄像系统和图像处理方法 Download PDF

Info

Publication number
CN104079818A
CN104079818A CN201410106423.1A CN201410106423A CN104079818A CN 104079818 A CN104079818 A CN 104079818A CN 201410106423 A CN201410106423 A CN 201410106423A CN 104079818 A CN104079818 A CN 104079818A
Authority
CN
China
Prior art keywords
image
information
degradation function
many parts
control
Prior art date
Application number
CN201410106423.1A
Other languages
English (en)
Other versions
CN104079818B (zh
Inventor
日浅法人
Original Assignee
佳能株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013063170A priority Critical patent/JP6104010B2/ja
Priority to JP2013-063170 priority
Application filed by 佳能株式会社 filed Critical 佳能株式会社
Publication of CN104079818A publication Critical patent/CN104079818A/zh
Application granted granted Critical
Publication of CN104079818B publication Critical patent/CN104079818B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/3572Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process

Abstract

公开了摄像装置、图像处理系统、摄像系统和图像处理方法。摄像装置(100)基于经由摄像光学系统取得的第一图像来生成第二图像,并且包括图像取得单元(101)、存储单元(106)和图像校正单元(105),图像取得单元(101)被配置成取得第一图像,存储单元(106)被配置成存储多份校正信息,所述多份校正信息是针对如下组中的每个组计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的,图像校正单元(105)被配置成通过使用从多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。

Description

摄像装置、图像处理系统、摄像系统和图像处理方法
技术领域
[0001] 本发明涉及进行拍摄图像的图像复原处理的摄像装置。
背景技术
[0002] 近年来,随着显示设备的高清晰化,期望高质量的拍摄图像。然而,由于光学系统的像差或衍射的影响,拍摄图像的质量变坏。另一方面,提出了通过把诸如维纳滤波器之类针对劣化的逆滤波器应用于拍摄图像来改善拍摄图像的质量的方法(图像校正方法)。然而,在利用逆滤波器的图像校正方法中,不能复原其中MTF (调制传递函数)小的频率分量。
[0003] 国际公布N0.W02007/074649公开一种通过将调相元件插入到光学系统中来降低深度方向上的MTF的减小的方法。日本专利N0.4872862公开一种通过学习来复原因超分辨率而丢失的频率分量以便从图像中去除由手的移动(手抖)或散焦引起的模糊的方法。
[0004] 然而,在国际公布N0.W02007/074649中公开的方法是一种降低散焦区中的MTF的减小的方法,它在焦点位置中不能取得其效果。换句话说,国际公布N0.W02007/074649的目的仅仅是扩大景深,于是,归因于像差或衍射的影响,它不能复原其中MTF小的频率分量。另外,由于在拍摄图像时必须具有通过插入调相元件而配置的特殊光学系统,因此,不能校正拍摄图像。另一方面,由于日本专利N0.4872862所公开的方法的目的是去除由手的移动(手抖)或散焦引起的模糊,所以类似地,归因于像差或衍射的影响,它不能复原其中MTF小的频率分量。
发明内容
[0005] 本发明提供能够复原拍摄图像中的由于像差或衍射而丢失的频率分量的摄像装置、图像处理系统、摄像系统和图像处理方法。
[0006] 作为本发明的一个方面的摄像装置基于经由摄像光学系统取得的第一图像来生成第二图像,并且包括:图像取得单元,配置成取得第一图像;存储单元,配置成存储多份校正信息,所述多份校正信息是针对如下组中的每个组计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的;以及图像校正单元,配置成通过使用从所述多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。
[0007] 作为本发明的另一个方面的图像处理系统基于经由摄像装置取得的第一图像来生成第二图像,并且包括:通信单元,配置成接收第一图像;存储单元,配置成存储为多份校正信息,所述多份校正信息是针对如下组中的每个组计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的;以及图像校正单元,配置成通过使用从所述多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。
[0008] 作为本发明的另一个方面的摄像系统基于经由摄像装置取得的第一图像来生成第二图像,并且包括:通信单元,配置成接收第一图像;存储单元,配置成存储多份校正信息,所述多份校正信息是针对如下组中的每个组计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的;以及图像校正单元,配置成通过使用从所述多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。
[0009] 作为本发明的另一个方面的图像处理方法基于经由摄像光学系统取得的第一图像来生成第二图像,包括以下步骤:取得第一图像;以及通过使用从多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数,并且所述多份校正信息是针对如下组中的每个组预先计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的。
[0010] 参考附图,根据例证实施例的以下说明,本发明的其它特征和方面将变得清楚。
附图说明
[0011] 图1是实施例1中的摄像装置的方框图。
[0012] 图2是实施例1中的摄像装置的外视图。
[0013] 图3A和3B是描述实施例1-3的每个中的劣化函数的效果的示图。
[0014] 图4是实施例1-3的每个中的图像处理方法(计算校正信息的方法)的流程图。
[0015] 图5是描述实施例1-3的每个中的劣化函数的变量空间的示图。
[0016] 图6是描述实施例1-3的每个中的畸变的影响的示图。
[0017] 图7是描述实施例1-3的每个中的聚类(clustering)(校正信息的表格)的示图。
[0018] 图8是实施例1-3的每个中的图像处理方法(校正图像的方法)的流程图。
[0019] 图9是实施例2中的图像处理系统的方框图。
[0020] 图10是实施例2中的图像处理系统的外视图。
[0021] 图11是实施例3中的摄像系统的方框图。
[0022] 图12是实施例3中的摄像系统的外视图。
具体实施方式
[0023] 下面参考附图,说明本发明的例证实施例。附图中,相同的元件用相同的附图标记表示,并省略其说明。
[0024](实施例1)
[0025] 首先,参考图1和2,说明本发明的实施例1中的摄像装置。图1是本实施例中的摄像装置100的方框图。图2是摄像装置100的外视图。摄像装置100被配置成基于经由摄像光学系统取得的第一图像(拍摄图像)来生成第二图像(复原图像)。
[0026] 本实施例的摄像装置100能够进行如下的图像处理方法,所述图像处理方法包括:取得将用于复原(恢复)由于像差或衍射而丢失的频率分量的校正信息的步骤(第一步骤),和通过利用校正信息来进行图像复原处理的步骤(第二步骤)。在本实施例中,第一步骤由图像处理单元103 (图像处理器)的校正信息计算单元104在对图像进行拍摄之前(在取得拍摄图像之前)进行。第二步骤由图像处理单元103的图像校正单元105对拍摄图像(第一图像)进行。
[0027] 校正信息计算单元104基于存储在存储单元106中的参照图像和取决于图像取得单元101的光学特性的劣化函数,在对图像进行拍摄之前计算校正信息。参照图像是受像差或衍射影响小且包含各种类型的频率分量的图像。下面将说明由校正信息计算单元104进行的计算校正信息的方法的细节。
[0028] 由校正信息计算单元104计算的校正信息被存储在存储单元106中。当读取参照图像或劣化函数或者存储校正信息时,可利用用半导体存储器等构成的图像记录介质108。和由校正信息计算单元104进行的处理等同的处理也可由与摄像装置100分离的装置(夕卜部装置)进行,以把由该装置计算的校正信息存储在存储单元106或图像记录介质108中。利用校正信息计算单元104的校正信息的计算只需要进行一次。本实施例并不局限于此,而是也可在改变参照图像或劣化函数的同时定期进行校正信息的计算。
[0029] 在本实施例中,图像取得单元101包括成像光学系统(摄像光学系统)和摄像元件。摄像元件包括CXD (电荷耦合器件)传感器、CMOS (互补金属氧化物半导体)传感器等。在这种结构中,图像取得单元101经由摄像光学系统取得第一图像(拍摄图像)。除了成像光学系统之外,图像取得单元101还可包括布置在摄像元件的像素上的微透镜。劣化函数例如是PSF (点扩散函数)或OTF (光学传递函数)。
[0030] 当对图像进行拍摄时,进入图像取得单元101的光由成像光学系统收集,随后由摄像元件转换成模拟电信号。A/D转换器102把利用由摄像元件进行的光电转换生成的模拟电信号转换成数字信号,并把该数字信号输出给图像处理单元103。图像处理单元103对从A/D转换器102输入的数字信号(图像信号)进行预定的图像处理。
[0031] 图像处理单元103的图像校正单元105通过利用校正信息来进行对频率分量的复原(图像复原处理)。当进行图像复原处理时,图像校正单元105使用由状态检测单元111取得的图像取得单元101的拍摄条件信息。拍摄条件信息涉及当对图像进行拍摄时的摄像装置100的状态,所述状态例如是孔径光阑的状态、焦点位置、或者变焦透镜中的焦距。状态检测单元111被配置成从系统控制器109或驱动控制单元110取得拍摄条件信息。
[0032] 由图像处理单元103 (图像校正单元105)处理(校正)后的图像按预定格式被存储在图像记录介质108中。同时,拍摄条件信息也可被存储在图像记录介质108中。当要查看存储在图像记录介质108中的图像时,该图像被输出给诸如液晶显示器之类的显示单元 107。
[0033] 如上所述的一系列控制由系统控制器109进行。图像取得单元101的机械驱动由驱动控制单元I1基于系统控制器109的指令进行。
[0034] 随后,将详细说明由图像处理单元103的校正信息计算单元104和图像校正单元105进行的图像处理方法。首先,说明计算校正信息的方法和利用所述计算方法的频率分量的复原(恢复)的概况,随后说明具体的图像处理方法。
[0035] 首先,参照图像的像素信号值将用劣化图像的像素信号值的线性组合表示。劣化图像是通过因应用劣化函数而使参照图像劣化来取得的图像(劣化图像)。在本实施例中,基于劣化函数,确定将用于线性组合的劣化图像的像素。
[0036] 图3A和3B是说明本实施例中的劣化函数的效果的示图。在本实施例中,例如,将考虑图3A中图解所示的参照图像的目标像素(阴影区)。当把具有用图3A中的虚线表示的圆形扩散的劣化函数(本实施例中,PSF)应用于目标像素时,目标像素的信号值扩散到图3B中的阴影区中。换句话说,图3B中的阴影区包含与图3A中图解所示的目标像素相关的信肩、O
[0037] 于是,在本实施例中,目标像素的信号值用包含在图3B的阴影区中的像素信号值的线性组合表示。图3B中的阴影区被称为劣化图像的部分区域。然而,劣化图像中的部分区域的大小和形状的每个不局限于此。例如,当在PSF的邻近部分中强度极小时,可以从劣化图像的部分区域中去除PSF的邻近部分。
[0038] 通过利用劣化图像的部分区域中的像素信号值,参照图像的目标像素的信号值y被表示成下式(I)。
Figure CN104079818AD00081
[0040] 式(I)中,符号\是包含在劣化图像的部分区域中的每个像素的信号值,符号^是用于每个像素的系数。
[0041] 之后,在相同的参照图像中变更目标像素,并类似地提取劣化图像的部分区域。式(I)中表示的关系表达式被单独应用于每个目标像素。在这种情况下,系数Wj具有取决于每个关系表达式的不同值。然而,彼此具有相似性的劣化图像的部分区域具有其中系数wd皮此接近的值。于是,彼此具有高相似性的劣化图像的部分区域被汇集从而生成群集(cluster)(一组数据)。确定相似性的方法将在下面将说明。结果,生成其中汇集相似性高的数据的多个群集。由于在同一群集中系数wd皮此接近,因此通过利用共用值作为系数,联立方程被表示成下式(2)。
[0042]
Figure CN104079818AD00082
[0043] 式(2)中,符号imax是包含在某个群集中的数据的数目,符号jmax是部分区域中的像素的数目,符号h是由于利用共用值作为系数而在第i个数据中生成的误差。
[0044] 式(2 )也可被表示成下式(3 )。
[0045] Y=XW+E…(3)
[0046] 式(3)中,符号Y是表示参照图像的目标像素中的信号值的列向量,符号X是表示劣化图像的部分区域中的每个信号值的矩阵,符号W是表示系数的列向量,符号E是表示误差的列向量。
[0047] 在每个群集中,确定系数W,以致使式(3)的误差E最小化,从而能够取得用于每个群集的校正信息。作为确定系数W的方法的例子,在本实施例中使用利用最小二乘法的确定方法,不过系数W的确定方法并不局限于此。在最小二乘法中,选择系数W,以致使表达式ei2+e22+…+eimax2最小化。于是,下式(4)被满足。
Figure CN104079818AD00091
[0049] 另外,基于式(3),下式(5)被满足。
Figure CN104079818AD00092
[0051] 因而,基于式(4)和(5),导出下式(6)。
Figure CN104079818AD00093
[0053] 随后,式(3)被重写为下式(7)。
Figure CN104079818AD00094
[0055] 式(7)中,符号k是范围I~jmax内的值。通过利用式(6),式(7)被变形为下式(8)。
Figure CN104079818AD00095
[0057] 式(8)是正规方程,它是具有jmax个未知数的联立线性方程。通过求解式(8),可取得系数W的最概然值。随后,该值被存储为用于群集的校正信息。
[0058] 式(8 )也可被重写成下式(9 )。
[0059]
Figure CN104079818AD00096
[0060] 式(9)需要谨慎处理,因为当矩阵M的秩小于jmax时,不能正确地计算系数W。为了确保矩阵M的秩,需要在每个群集中存储一定数目的数据。
[0061] 虽然本实施例说明对于一个劣化函数计算系数W的情况,不过,实际上,可以对于各种拍摄条件中的每个来计算系数W。这是因为劣化函数随摄像装置100的变焦或孔径光阑的状态、视角、波长等而变化。对每个劣化函数生成群集以进行相似的计算,这样能够取得校正ί目息。
[0062] 下面,说明利用校正信息来复原(恢复)由于像差或衍射而丢失的频率分量的方法。在本实施例中,利用图像取得单元101取得的图像(拍摄图像)被称为第一图像。第一图像是因图像取得单元101的像差或衍射而劣化的图像。
[0063] 下面参考图3A和3B进行说明,第一图像处于其中由于像差或衍射而最初在图3A的阴影像素(目标像素)中取得的信息扩散到图3B的阴影区(劣化图像的部分区域)中的状态。这种情况下,用图3A中的虚线指示的圆形对应于图像取得单元101的像差或衍射。于是,第一图像(拍摄图像或者劣化图像)需要被复原(恢复)成图3A的状态。
[0064] 和上述情况类似,提取第一图像(拍摄图像或者劣化图像)中的部分区域。随后,从当计算校正信息时生成的多个群集中,搜索提取的部分区域将属于的群集,把校正信息和该部分区域的信号值代入式(I)中。结果,能够生成其中像差或衍射被校正的像素。搜索群集的方法将在下面说明。结果,其中MTF (调制传递函数)极小的频带的信息也能够被复原。这是因为能够基于参照图像计算包含该频带的丢失信息的系数(校正信息)。
[0065] 下面参考图4,详细说明由本实施例的图像处理单元103(校正信息计算单元104)进行的图像处理方法(计算校正信息的方法)。图4是本实施例中的图像处理方法(计算校正信息的方法)的流程图。
[0066] 首先,在步骤S101,图像处理单元103(校正信息计算单元104)取得参照图像。参照图像可以使用拍摄图像(摄影图像)和CG (计算机图形)中的任意一个。优选的是,参照图像包含各种类型的对比度或频率分量。这是因为校正信息是基于参照图像计算的。换句话说,图像校正单元105的效果(校正效果)是取决于包含在参照图像中的信息而决定的。例如,当参照图像不包含一频率分量时,该频率分量不能通过校正而被复原。
[0067] 随后,在步骤S102,校正信息计算单元104取得要应用于参照图像的劣化函数。在本实施例中,作为劣化函数,使用取决于图像取得单元101的光学系统(摄像光学系统)的劣化函数。于是,取决于诸如光学系统的变焦(变焦透镜)或孔径光阑的状态、图像高度或者波长之类的拍摄条件信息,预先准备多个劣化函数。本实施例并不局限于此,而是可以预先准备基于除拍摄条件信息外的因素的多个劣化函数。在本实施例中,将应用于参照图像的多个劣化函数是点扩散函数(PSF)或者光学传递函数(0TF)。然而,除PSF或OTF外的函数也可用作所述多个劣化函数。
[0068] 图5是说明本实施例中的劣化函数的变量空间的示图。图5中的3个轴分别指示光学系统中的变焦的状态(变焦Z)、孔径光阑的状态(F数F)和图像高度H。如图5中图解所示,本实施例的校正信息计算单元104具有用于三维空间中的多个离散点的劣化函数。可以用与图5中图解所示的结构不同的结构来存储劣化函数。也可以对于低于或高于3维空间的维数空间来存储劣化函数。
[0069] 在本实施例中,优选的是,取决于第一图像(拍摄图像)的颜色分量来决定确定劣化函数的波长。由于在本实施例中,图像是基于RGB (红、绿和蓝)3种颜色表示的,因此准备用于对应于每种颜色分量的波长的劣化函数。当即使忽略光学系统的色差也不存在任何问题时,不必存储取决于多个波长的劣化函数。
[0070] 可以与图像取得单元101的光学系统无关地取得在图4的步骤S102中取得的劣化函数。在这种情况下,计算用于多个劣化函数的校正信息,并在图像校正中搜索与图像取得单元101的光学系统(摄像光学系统)的劣化函数相似的劣化函数以利用计算结果。作为搜索与摄像光学系统的劣化函数相似的劣化函数的方法,存在通过利用劣化函数比拟(resemble)图像而使用诸如PNSR (峰值信噪比)或者SSM (结构相似性)之类的评价函数的方法。
[0071] 随后,在步骤S103,校正信息计算单元104通过利用劣化函数来劣化参照图像,从而生成劣化图像。换句话说,校正信息计算单元104把基于拍摄条件信息的多个劣化函数的每个应用于参照图像,从而生成劣化图像。例如,当劣化函数为PSF时,校正信息计算单元104对参照图像进行卷积从而生成劣化图像。另一方面,当劣化函数为OTF时,校正信息计算单元104可计算参照图像的傅里叶变换的积,随后进行逆变换,以生成劣化图像。
[0072] 随后,在步骤S104,校正信息计算单元104进行对于在步骤S103中生成的劣化图像的畸变校正(电子畸变校正)。如上所述,通过比较参照图像和劣化图像,计算校正信息。换句话说,通过对于相同的被摄体等比较在像差或衍射的有或无方面不同的两个图像,计算校正信息。然而,当劣化图像的畸变量较大时,两个图像之间对应于被摄体空间的位置被相对于彼此移动,从而存在不能精确地计算校正信息的可能性。
[0073] 图6是说明畸变的影响的示图。图6中的点划线表示参照图像,图6中的虚线表示其中包含负畸变的劣化图像。图6中的黑正方形是参照图像的目标像素。在作为中心的目标像素周围的实线正方形是参照图像的部分区域。这种情况下,归因于畸变的影响,使存在于参照图像中的实线正方形中的被摄体空间的信息变成存在于用劣化图像中的阴影区指示的区域(部分区域)中。由于畸变取决于图像高度而变化,因此这种对应位置关系在图像的每个区域中变化。因而,优选的是,通过利用简单的计算进行电子畸变校正,以便不改变目标像素和部分区域之间的对应位置关系。
[0074] 代替这一点,可以预先从劣化函数中减去畸变分量。可替代地,考虑到畸变的影响,可以使劣化图像的部分区域变形作为待提取的阴影区。然而,在这种情况下,计算变得复杂,因为需要取决于图像高度来改变目标像素和部分区域之间的对应位置关系。当使用从劣化函数中减去畸变分量的方法或者使部分区域变形的方法时,图4的步骤S104不必要。另外,当劣化函数的畸变分量小时,不必进行步骤S104。
[0075] 随后,在图4的步骤S105中,校正信息计算单元104基于劣化函数来确定部分区域的抽头(tap)。假定由于劣化函数,图3A中图解所示的阴影像素(目标像素)的信息扩散到图3B中的阴影区(劣化图像的部分区域)中。这种情况下,图3A中的阴影像素的信息分散在图3B的阴影区中。于是,在本实施例中,优选的是,确定部分区域的抽头以致包括图3B的阴影区。
[0076] 可取决于劣化函数的扩散来确定部分区域的抽头。例如,设定某个阈值T,以取决于劣化函数的积分值是否大于等于阈值T、强度是否大于等于阈值T等来确定部分区域的抽头。在本实施例中,可在任何定时进行步骤S105,只要它在步骤S102之后并且还在步骤S106之前。可替代地,也可以总是使用预定的抽头数而不是使用劣化函数的扩散。这种情况下,步骤S105不必要。
[0077] 随后,在步骤S106,校正信息计算单元104从劣化图像中提取部分区域。在本实施例中,劣化图像的信息是与劣化图像中的多个部分区域中的每一个相关的信息。随后,在步骤S107,校正信息计算单元104使部分区域中的信号标准化(规格化(normalize))。信号的标准化(规格化)是通过把每个信号值除以部分区域中的平均信号值完成的。这种情况下,也可以利用加权平均。由于在被摄体空间的结构和摄像装置100的曝光之间不存在相关性,因此进行步骤S107。第一图像的亮度主要受对图像进行拍摄时的曝光影响。然而,包含在被摄体空间中的频率分量与对图像进行拍摄时的曝光无关地是恒定的。由于要复原的对象是与频率相关的信息,因此即使当部分区域中的亮度分量被去除时也不存在任何问题。从而,群集的数目也可被减小。然而,如果将在步骤S108的聚类中使用的评价函数具有去除亮度的效果,那么步骤S107不必要。
[0078] 随后,在步骤S108,校正信息计算单元104基于部分区域的信息分布和劣化函数,生成群集(进行聚类)。换句话说,校正信息计算单元104基于劣化图像的信息和多个劣化函数,进行聚类(分组),即分成多个组。作为聚类的方法(分组的方法),例如进行以下方法。
[0079] 首先,基于劣化函数生成第一级(第一层次),并进一步取决于第一级中的部分区域的信息分布生成第二级(第二层次)。图7是说明聚类(校正信息的表格)的示图。第一级是利用其中作为离散变量给出光学系统的变焦(变焦透镜)或孔径光阑的状态、图像高度、波长等的PSF生成的。在这种情况下,焦点位置、物距等也可被用作变量。第一级也可以利用OTF等生成。第二级定义其中部分区域中的每个信号值被二值化以便按像素编号排列并且包含相同值的相同群集。代替信号值的二值化,可以进行利用某个比特数的重新量化。
[0080] 在本实施例中,也可利用其它方法进行聚类。例如,在第二级,可以使用涉及图像的相关性的评价函数,比如SSIM。当两个部分区域的评价值满足预定条件时,这两个区域将被包含在相同的群集中。SSIM是确定图像的亮度、对比度和结构中每个的相似性的评价方法。这种情况下,通过去除亮度分量,也可取得与步骤S107中的标准化的效果等同的效果。可替代地,可以利用K均值聚类进行聚类。本实施例并不限制群集的级数(层次数),或者群集的结构的类型(群集的结构是否是分层次的类型)。
[0081] 随后,在步骤S109,校正信息计算单元104判定是否对于劣化图像的所有像素完成了上述处理(步骤S106-S108中的处理)。当对于劣化图像的所有像素完成了上述处理时,流程前进到步骤S110。另一方面,当还未完成上述处理时,校正信息计算单元104改变要提取的部分区域,随后流程返回到步骤S106并且进行步骤S106-S108。当在群集中存在数目足以计算系数W的数据时,即使存在未处理的像素,流程也可前进到步骤S110。
[0082] 随后,在步骤S110,校正信息计算单元104判定是否对于预先准备的所有劣化函数完成了上述处理。当对于预先准备的所有劣化函数完成了上述处理时,流程前进到步骤Slll0另一方面,当还未完成上述处理时,校正信息计算单元104改变劣化函数,随后流程返回到步骤S102并且进行步骤S102-S109。当已取得后续图像校正处理所需的信息时,即使还未对于所有的劣化函数完成上述处理,流程也可前进到步骤S111。
[0083] 随后,在步骤S111,校正信息计算单元104使参照图像与劣化图像相联系,以计算(取得)用于多个群集(多个组)中的每一个的多个校正系数(校正信息)。在本实施例中,校正信息计算单元104利用式(9)计算系数W (校正信息)。也可利用除上述方法外的方法计算校正信息。例如,可以利用线性规划计算校正信息。当群集具有分层次的结构时,可在校正信息计算处理当中适当地进行步骤S111。例如,在图7中的第一级(第一层次)处,在已取得用于PSF-1的数据的同时,即使在取得用于PSF-m的数据当中,也可计算PSF-1的每个群集的系数。多份计算的校正信息被存储在例如存储单元106中,以便在下面说明的图像处理方法中使用。
[0084] 下面参考图8,详细说明本实施例中的图像处理单元103 (图像校正单元105)进行的图像处理方法(图像校正方法)。图8是本实施例中的图像处理方法(图像校正方法)的流程图。
[0085] 首先,在步骤S201,摄像装置100 (图像取得单元101和图像处理单元103)取得第一图像(拍摄图像)。由于归因于图像取得单元101的光学系统(摄像光学系统)的像差或衍射,第一图像受影响,因此关于被摄体空间的频率信息减少。
[0086] 随后,在步骤S202,图像校正单元105对第一图像进行畸变校正(电子畸变校正)。进行畸变校正的原因和细节与步骤S104的那些相同。在本实施例中,基于拍摄条件信息的劣化函数包含畸变分量。于是,图像校正单元105对第一图像进行电子畸变校正,随后如下所述选择校正信息。
[0087] 随后,在步骤S203,图像校正单元105从第一图像之中选择目标像素。然后在步骤S204,图像校正单元105取得对应于目标像素的劣化函数(劣化函数的信息)。此时,通过利用第一图像的拍摄条件信息确定要取得的劣化函数。当图5中图解所示离散地准备劣化函数时,优选的是,例如在图5的空间中标绘目标像素的坐标,以取得用于最接近点的劣化函数。实施例并不局限于其中取得劣化函数本身的结构,而是可被配置成以致只取得函数的扩散和群集(组)的第一级(第一层次)的编号。在本实施例中,基于摄像光学系统的类型、对图像进行拍摄时的摄像光学系统的状态、图像的颜色分量和第一图像中的位置(图像高度)中的至少一个,确定劣化函数(基于拍摄条件信息的劣化函数)。
[0088] 随后,在步骤S205,图像校正单元105基于在步骤S204中取得的劣化函数的信息,确定部分区域的抽头。换句话说,基于多个劣化函数的大小和形状,确定第一图像中的多个部分区域。代替这一点,也可以使用预定抽头。这种情况下,步骤S205不必要。可替代地,在步骤S203,可以直接选择部分区域而不是选择目标像素。
[0089] 随后,在步骤S206,图像校正单元105从第一图像(拍摄图像)之中提取部分区域。随后,在步骤S207,图像校正单元105使部分区域中的信号标准化。信号的标准化和步骤S107中的相同。
[0090] 随后,在步骤S208,图像校正单元105读取与部分区域的信息分布和劣化函数对应的群集(组)的校正信息,即每个群集的校正系数。换句话说,图像校正单元105通过利用取决于第一图像(拍摄图像)的信息和基于拍摄条件信息的劣化函数而从多份校正信息之中选出的校正信息,从第一图像(拍摄图像)生成第二图像(复原图像)。在本实施例中,第一图像的信息是与第一图像中的多个部分区域中的每一个相关的信息。
[0091] 在本实施例中,如图4中图解所示,对于基于通过把多个劣化函数中的每一个应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而划分的每个群集(每个组),计算多份校正信息。计算的多份校正信息被存储在存储单元106中。在本实施例中,如图4中图解所示,预先计算多份校正信息,随后将其存储在存储单元106中。然而,本实施例并不局限于此。例如,也可在用户使用摄像装置100的同时根据需要计算(更新)多份校正信肩、O
[0092] 当校正信息计算单元104使用的劣化函数和在步骤S204中取得的劣化函数彼此不同时,通过搜索具有高相似性的劣化函数,可以找出对应的群集。作为搜索劣化函数的方法,存在通过利用这两种劣化函数比拟图像来使用上述SSM的方法。
[0093] 随后,在步骤S209,图像校正单元105通过利用部分区域和校正信息生成校正后的像素。在本实施例中,图像校正单元105利用式(I)生成校正后的像素(校正后的像素的信号值)。
[0094] 随后,在步骤S210,图像校正单元105判定是否完成了对于第一图像(拍摄图像)的所有像素的处理。当完成了对于所有像素的处理时,流程前进到步骤S211。另一方面,当还没有完成对于所有像素的处理时,流程返回到步骤S203,并且进行步骤S203-S210。在本实施例中,图像校正的对象区域不必是整个第一图像,作为替代,它也可以是第一图像的部分区域。例如,可以只对图像的周边区域之类的其中与高频有关的信息尤其丢失的区域进行图像校正。这种情况下,当完成对于指定区域(预定的部分区域)的处理时,流程前进到步骤 S211。
[0095] 随后,在步骤S211,图像校正单元105组合(结合)校正后的像素从而生成第二图像。第二图像是其中由于图像取得单元101的光学系统(摄像光学系统)的像差或衍射而丢失的频率分量已被复原的图像(复原图像)。此时,如果需要,也可进行诸如非锐化掩模之类的图像处理。
[0096] 在本实施例中,被摄体空间的距离信息(从透镜的焦点位置到每个被摄体的距离)不被用作劣化函数的变量。换句话说,劣化函数中不考虑散焦引起的模糊。结果,在使景深保持不变的同时改善了准光学性能,于是,用户能够容易地以预期景深拍摄图像。通过结合被摄体空间的距离信息和劣化函数,可校正散焦引起的模糊,并且除了像差和衍射的校正之外可扩大景深。通过在改变焦点位置的同时拍摄多个图像,可以取得被摄体空间的距离信息,并且可替代地,可基于视差图像计算距离信息。摄像装置100可包括测距单元(焦点检测单元)。视差图像是通过布置多个光学系统来拍摄图像而取得的,或者是通过在移动拍摄位置的同时拍摄多个图像而取得的。例如,测距单元具有照射红外光以检测其反射光的结构。
[0097] 根据本实施例的结构,可提供能够复原拍摄图像中的由于像差或衍射而丢失的频率分量的摄像装置和图像处理方法。
[0098](实施例2)
[0099] 下面参考图9和10,说明本发明的实施例2。本实施例把实施例1的图像处理方法应用于图像处理系统。图9是本实施例中的图像处理系统200的方框图。图10中图像处理系统200的外视图。
[0100] 在图9和10中,图像处理装置202和校正信息计算设备206是进行本实施例的图像处理方法的计算机设备。图像处理装置202包括通信单元203。通信单元203从摄像装置201接收第一图像(拍摄图像)。通信单元203经由网络207连接到校正信息计算设备206。此连接可以是任意有线或无线连接。
[0101] 在校正信息计算设备206中计算的校正信息被存储在图像处理装置202的存储单元204中。图像校正单元205通过使用用于由摄像装置201取得的第一图像的拍摄条件信息,进行校正处理。通过在图像校正单元205中校正第一图像而取得的第二图像被输出给显示设备208、存储介质209和输出设备210中的一个或多个。显示设备208例如是液晶显示器或投影仪。用户可边工作边经由显示设备208确认图像处理当中的图像。存储介质209例如是半导体存储器、硬盘或网络上的服务器。输出设备210是打印机等。图像处理装置202具有根据需要进行显像处理或者其它图像处理的功能。
[0102] 为了实现本实施例的图像处理方法,也可经由网络或诸如⑶-ROM之类的存储介质(存储介质211和212)把软件(图像处理程序)提供给图像处理装置202和校正信息计算设备206 (信息处理装置)。在这种情况下,信息处理装置的计算机(或CPU、MPU等)读出图像处理程序以运行图像校正单元205和校正信息计算设备206的功能。
[0103] 由本实施例中的校正信息计算设备206和图像校正单元205进行的图像处理方法(计算校正信息的方法和校正图像的方法)的流程图分别如图4和8中图解所示。下面,省略与实施例1的那些说明类似的说明。
[0104] 在图4的步骤S102,校正信息计算设备206取得劣化函数。本实施例的校正信息计算设备206可连接到各种类型的摄像装置。于是,当劣化函数是基于摄像装置201的光学系统(摄像光学系统)的函数时,连接的摄像装置201的类型也是确定劣化函数的变量。在本实施例中,在图4的步骤SI 11,由校正信息计算设备206计算的多份校正信息经由无线或有线网络207被发送给图像处理装置202 (通信单元203)。
[0105] 在图8的步骤S204,图像处理装置202的图像校正单元205取得与目标像素对应的劣化函数的信息。此时,图像校正单元205使用第一图像(拍摄图像)的拍摄条件信息。拍摄条件信息包含摄像装置201 (摄像光学系统)的类型,对图像进行拍摄时的孔径光阑、焦点位置或焦距,等等。在本实施例中,它们中的至少一个需要被包含为拍摄条件信息。拍摄条件信息被存储在和第一图像的文件相同的文件中。图像处理装置202 (图像校正单元205)可被配置成从摄像装置201读取拍摄条件信息。
[0106] 按照本实施例,可提供能够复原拍摄图像中的由于像差或衍射而丢失的频率分量的图像处理系统。
[0107](实施例3)
[0108] 下面参考图11和12,说明本发明的实施例3。本实施例把实施例1的图像处理方法应用于摄像系统。图11是本实施例中的摄像系统300的方框图。图12是摄像系统300的外视图。
[0109] 在图11和12中,服务器303包括经由网络302连接到摄像装置301的通信单元304。此连接可以是有线或无线连接。连接单元304被配置成从摄像装置301接收第一图像(拍摄图像)。当摄像装置301对图像进行拍摄时,第一图像(拍摄图像)被自动或者手动输入到服务器303,随后被发送给存储单元305和图像处理单元306。存储单元305存储第一图像和拍摄条件信息(与拍摄第一图像时的拍摄条件相关的信息)。
[0110] 图像处理单元306的校正信息计算单元307和图像校正单元308进行本实施例的图像处理方法。校正信息计算单元307预先计算校正信息。存储单元305存储由校正信息计算单元307计算的校正信息(计算结果)。图像校正单元308生成其中通过使用校正信息和第一图像(拍摄图像)而降低了像差或衍射的影响的第二图像。图像校正单元308生成的第二图像被输出给摄像装置301或者被存储在存储单元305中。
[0111] 为了实现本实施例的图像处理方法,也可经由网络或诸如⑶-ROM之类的存储介质(存储介质309)把软件(图像处理程序)提供给服务器303 (信息处理装置)。在这种情况下,信息处理装置的计算机(或CPU、MPU等)读出图像处理程序以运行服务器303的功能。
[0112] 本实施例中的校正信息计算单元307和图像校正单元308进行的图像处理方法(计算校正信息的方法和校正图像的方法)的流程图分别如图4和8中图解所示。计算校正信息的方法和校正图像的方法与实施例1和2的那些相似,于是省略它们的说明。在本实施例中,摄像装置301取得的第一图像(拍摄图像)经由无线或有线网络302被发送给服务器303 (通信单元304)。
[0113] 根据本实施例的结构,可提供能够复原拍摄图像中的由于像差或衍射而丢失的频率分量的摄像系统。
[0114](其它实施例)
[0115] 本发明的实施例也可用读出并运行记录在存储介质(例如非瞬时性计算机可读存储介质)上的计算机可执行指令以完成本发明的一个或多个上述实施例的功能的系统或装置的计算机实现,以及用由通过从存储介质读出并运行计算机可执行指令以完成一个或多个上述实施例的功能的系统或装置的计算机进行的方法实现。计算机可包括中央处理单元(CPU)、微处理单元(MPU)或者其它电路中的一个或多个,并且可包括独立的计算机或者独立的计算机处理器的网络。例如可从网络或者存储介质把计算机可执行指令提供给计算机。存储介质例如可包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(比如压缩光盘(⑶)、数字通用光盘(DVD)或者蓝光光盘(BD) ™)、闪存设备、存储卡等中的一个或多个。
[0116] 根据各个实施例,可提供能够复原拍摄图像中的由于像差或衍射而丢失的频率分量的摄像装置、图像处理系统、摄像系统和图像处理方法。
[0117] 尽管参考例证实施例说明了本发明,不过应理解,本发明并不局限于公开的例证实施例。所附权利要求的范围应被赋予最宽广的解释,以包含所有这样的修改以及等同的结构和功能。

Claims (16)

1.一种基于经由摄像光学系统取得的第一图像来生成第二图像的摄像装置,所述摄像装置包括: 图像取得单元,配置成取得第一图像; 存储单元,配置成存储多份校正信息,所述多份校正信息是针对如下组中的每个组计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的;以及 图像校正单元,配置成通过使用从所述多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。
2.根据权利要求1所述的摄像装置,还包括校正信息计算单元,所述校正信息计算单元被配置成计算所述多份校正信息, 其特征在于,所述校正信息计算单元被配置成: 把基于拍摄条件信息的多个劣化函数中的每个劣化函数应用于参照图像以生成劣化图像; 基于劣化图像的信息和所述多个劣化函数来划分组; 取得用于所述组中的每个组的多份校正信息;并且 存储所述多份校正信息。
3.根据权利要求1所 述的摄像装置, 其特征在于 劣化图像的信息是与劣化图像中的多个部分区域中的每个部分区域相关的信息,以及 第一图像的信息是与第一图像中的多个部分区域中的每个部分区域相关的信息。
4.根据权利要求3所述的摄像装置, 其特征在于,第一图像中的多个部分区域是基于所述多个劣化函数的大小和形状而被确定的。
5.根据权利要求1-4中任一项所述的摄像装置, 其特征在于 基于拍摄条件信息的劣化函数包括畸变分量,以及 图像校正单元被配置成对第一图像进行电子畸变校正然后选出校正信息。
6.根据权利要求1-4中任一项所述的摄像装置, 其特征在于,基于拍摄条件信息的劣化函数是基于摄像光学系统的类型、对图像进行拍摄时的摄像光学系统的状态、图像的颜色分量和第一图像中的位置中的至少一个而被确定的。
7.根据权利要求1-4中任一项所述的摄像装置, 其特征在于,应用于参照图像的多个劣化函数是点扩散函数或光学传递函数。
8.一种基于经由摄像装置取得的第一图像来生成第二图像的图像处理系统,所述图像处理系统包括: 通信单元,配置成接收第一图像; 存储单元,配置成存储多份校正信息,所述多份校正信息是针对如下组中的每个组计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的;以及图像校正单元,配置成通过使用从所述多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。
9.根据权利要求8所述的图像处理系统,还包括校正信息计算单元,所述校正信息计算单元被配置成计算所述多份校正信息, 其特征在于,所述校正信息计算单元被配置成: 把基于拍摄条件信息的多个劣化函数中的每个劣化函数应用于参照图像以生成劣化图像; 基于劣化图像的信息和所述多个劣化函数来划分组;并且 取得用于所述组中的每个组的多份校正信息。
10.根据权利要求8所述的图像处理系统, 其特征在于,拍摄条件信息包含摄像装置的类型。
11.根据权利要求8-10中任一项所述的图像处理系统, 其特征在于,所述多份校正信息经由无线或有线网络被发送到通信单元。
12.一种基于经由摄像装置取得的第一图像来生成第二图像的摄像系统,所述摄像系统包括: 通信单元,配置成接收第一图像; 存储单元,配置成存储多份校正信息,所述多份校正信息是针对如下组中的每个组计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的;以及 图像校正单元,配置成通过使用从所述多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数。
13.根据权利要求12所述的摄像系统,还包括校正信息计算单元,所述校正信息计算单元被配置成计算所述多份校正信息, 其特征在于,所述校正信息计算单元被配置成: 把基于拍摄条件信息的多个劣化函数中的每个劣化函数应用于参照图像以生成劣化图像; 基于劣化图像的信息和所述多个劣化函数来划分组;并且 取得用于所述组中的每个组的多份校正信息。
14.根据权利要求12或13所述的摄像系统, 其特征在于,由摄像装置取得的第一图像经由无线或有线网络被发送到通信单元。
15.一种基于经由摄像光学系统取得的第一图像来生成第二图像的图像处理方法,所述图像处理方法包括以下步骤: 取得第一图像;以及 通过使用从多份校正信息之中选出的校正信息,基于第一图像来生成第二图像,所述选出取决于第一图像的信息和基于拍摄条件信息的劣化函数, 其特征在于,所述多份校正信息是针对如下组中的每个组预先计算的,所述组是基于通过把多个劣化函数中的每个劣化函数应用于参照图像而生成的劣化图像的信息和所述多个劣化函数而被划分的。
16.根据权利要求15所述的图像处理方法,还包括以下步骤:把基于拍摄条件信息的多个劣化函数中的每个劣化函数应用于参照图像以生成劣化图像; 基于劣化图像的信息和多个劣化函数来划分组;以及 取得用于所述组中的每个 组的多份校正信息。
CN201410106423.1A 2013-03-26 2014-03-21 摄像装置、图像处理系统、摄像系统和图像处理方法 CN104079818B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013063170A JP6104010B2 (ja) 2013-03-26 2013-03-26 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2013-063170 2013-03-26

Publications (2)

Publication Number Publication Date
CN104079818A true CN104079818A (zh) 2014-10-01
CN104079818B CN104079818B (zh) 2018-01-30

Family

ID=50396833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410106423.1A CN104079818B (zh) 2013-03-26 2014-03-21 摄像装置、图像处理系统、摄像系统和图像处理方法

Country Status (4)

Country Link
US (1) US9225898B2 (zh)
EP (1) EP2785047B1 (zh)
JP (1) JP6104010B2 (zh)
CN (1) CN104079818B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572285A (zh) * 2015-10-08 2017-04-19 三星电机株式会社 相机模块、电子装置及其操作方法
CN108605095A (zh) * 2016-02-26 2018-09-28 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
CN109325918A (zh) * 2018-07-26 2019-02-12 京东方科技集团股份有限公司 一种图像处理的方法、装置及计算机存储介质
CN110958929A (zh) * 2017-07-31 2020-04-03 大金工业株式会社 生产管理系统以及生产管理方法
CN110958929B (zh) * 2017-07-31 2021-03-30 大金工业株式会社 生产管理系统以及生产管理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990698B2 (en) * 2014-12-01 2018-06-05 Canon Kabushiki Kaisha Control apparatus, lens apparatus, and non-transitory computer-readable storage medium that determine data as coefficient data corresponding to an order less than a predetermined order of an approximation function

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390382A (zh) * 2005-12-27 2009-03-18 京瓷株式会社 成像设备和图像处理方法
US20120033107A1 (en) * 2010-08-03 2012-02-09 Kenji Ono Electronic image pickup apparatus
CN102905067A (zh) * 2011-07-27 2013-01-30 索尼公司 信号处理设备、成像设备、信号处理方法和程序

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP4179079B2 (ja) * 2002-08-30 2008-11-12 株式会社ニコン 電子カメラ及びその制御プログラム
JP2008515347A (ja) * 2004-09-29 2008-05-08 エーオーエル エルエルシー 成分画像のブロッチ補正
KR101270893B1 (ko) * 2005-11-11 2013-06-05 소니 주식회사 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 그프로그램을 기록한 기록 매체와 촬상 장치
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
JP4872862B2 (ja) 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
JP5505135B2 (ja) * 2010-06-30 2014-05-28 ソニー株式会社 画像処理装置、画像処理方法、および、プログラム
JP5577939B2 (ja) * 2010-08-20 2014-08-27 ソニー株式会社 撮像装置、収差補正方法、および、プログラム
JP5299383B2 (ja) * 2010-08-20 2013-09-25 株式会社Jvcケンウッド 画像補正装置および画像補正方法
JP5587264B2 (ja) * 2010-11-01 2014-09-10 キヤノン株式会社 調整方法、調整装置、及び、撮像装置の製造方法
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
US8823822B1 (en) * 2011-02-11 2014-09-02 Southern Methodist University Determining phase transfer function
US8861852B2 (en) * 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US8837853B2 (en) * 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101390382A (zh) * 2005-12-27 2009-03-18 京瓷株式会社 成像设备和图像处理方法
US20120033107A1 (en) * 2010-08-03 2012-02-09 Kenji Ono Electronic image pickup apparatus
CN102905067A (zh) * 2011-07-27 2013-01-30 索尼公司 信号处理设备、成像设备、信号处理方法和程序

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572285A (zh) * 2015-10-08 2017-04-19 三星电机株式会社 相机模块、电子装置及其操作方法
CN108605095A (zh) * 2016-02-26 2018-09-28 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
US10748256B2 (en) 2016-02-26 2020-08-18 Fujifilm Corporation Point image restoration device and method
CN110958929A (zh) * 2017-07-31 2020-04-03 大金工业株式会社 生产管理系统以及生产管理方法
CN110958929B (zh) * 2017-07-31 2021-03-30 大金工业株式会社 生产管理系统以及生产管理方法
CN109325918A (zh) * 2018-07-26 2019-02-12 京东方科技集团股份有限公司 一种图像处理的方法、装置及计算机存储介质

Also Published As

Publication number Publication date
JP6104010B2 (ja) 2017-03-29
EP2785047B1 (en) 2018-06-27
EP2785047A3 (en) 2014-10-15
US9225898B2 (en) 2015-12-29
JP2014192528A (ja) 2014-10-06
EP2785047A2 (en) 2014-10-01
CN104079818B (zh) 2018-01-30
US20140293076A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
Coors et al. Spherenet: Learning spherical representations for detection and classification in omnidirectional images
US9900510B1 (en) Motion blur for light-field images
JP2017182796A (ja) ライトフィールドデータを処理する方法およびデバイス
US9451216B2 (en) Distance calculating apparatus, image pick-up apparatus using the same, distance calculating method, program for realizing distance calculation, and storage medium having the program stored thereon
US8831377B2 (en) Compensating for variation in microlens position during light-field image processing
US9420276B2 (en) Calibration of light-field camera geometry via robust fitting
EP2987320B1 (en) Extracting true color from a color and infrared sensor
US8588516B2 (en) Interpolation image generation apparatus, reconstructed image generation apparatus, method of generating interpolation image, and computer-readable recording medium storing program
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
US20180255254A1 (en) Automatic lens flare detection and correction for light-field images
JP6080417B2 (ja) 画像処理装置、及び画像処理方法
US7616842B2 (en) End-to-end design of electro-optic imaging systems with constrained digital filters
US9007441B2 (en) Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers
US10616510B2 (en) Methods and apparatus for superpixel modulation
US10269130B2 (en) Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone
CN102930507B (zh) 图像处理方法、图像处理装置和图像拾取装置
US9251589B2 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
US20140009585A1 (en) Image blur based on 3d depth information
EP2574038B1 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
JP5454821B2 (ja) 多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法
CN102740082B (zh) 图像处理装置及控制方法
CN1980330B (zh) 图像处理装置和图像处理方法
CN102388402B (zh) 图像处理装置及图像处理方法
US20170324950A1 (en) Methods and apparatus for controlling light field capture

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant