CN105323423A - 图像处理方法、图像处理装置及摄像装置 - Google Patents

Abstract

本发明提供一种图像处理方法、图像处理装置及摄像装置。所述图像处理方法包括以下步骤：获取通过使用复眼摄像装置而拍摄的第一图像；获取所述第一图像的摄像条件信息；依据所述摄像条件信息，来获取所述复眼摄像装置中的、具有彼此不同的多个焦距的多个光学系统的光学特性信息；基于所述光学特性信息，来校正由于拍摄所述第一图像而导致的所述第一图像的劣化；以及基于从劣化被校正的所述第一图像中获得的光线的位置及角度的信息，来生成第二图像，并且，所述光学特性信息包含所述光学系统的与像差相关的信息以及与周边照明相关的信息中的至少一者。

Description

图像处理方法、图像处理装置及摄像装置

技术领域

本发明涉及一种视差图像的图像处理方法。

背景技术

诸如视频摄像机及数字照相机等的摄像装置需要具有薄型外形和高的变焦比。在传统的典型摄像系统中，光学系统是通过如下方式被构造的，即组合多个光学透镜，以抑制光学系统的像差的生成并且满足所需的光学性能。为了减小该光学系统的尺寸，而考虑减小图像尺寸，以及减小光学系统的直径。然而，难以在维持分辨率的同时减小图像尺寸。

另一方面，已提出了复眼摄像装置(多眼摄像装置)，其将光学系统划分为多个光学系统，以实现小型的光学系统。术语“复眼”是指使用昆虫的眼睛的构造的结构，并且，例如已知有如下的结构，即由包括多个透镜单元的透镜阵列构成光学系统，并且减小各透镜单元的尺寸并且减小焦距，以使光学系统小型化。然而，在传统的复眼摄像装置中，难以附加用来使拍摄视角可变的光学变焦功能。这是因为，光学变焦功能通过使用移动构成光学系统的透镜的位置的方法，来使拍摄视角可变，因而需要机械移动机构，结果，摄像系统的尺寸增大。

日本特开第2005-303694号公报公开了如下的结构，即布置了具有彼此不同的视角的短焦的透镜单元和长焦的透镜单元，以通过包括被摄体的相同部分的方式来捕获图像。换言之，向由与短焦透镜相对应的摄像元件获得的宽图像的一部分中，嵌入由与长焦透镜相对应的摄像元件获得的放大图像。因此，能够获得如下的图像，该图像的一部分区域具有高分辨率，并且该图像的其他区域具有低分辨率及宽视角。这对于监控摄像机是有效的，并且，例如能够放大中心区域的可疑的人等以详细监视，同时把握监视区域的整个区域。

日本特开第2011-135359号公报公开了一种由多个子照相机模块构成的复眼摄像系统，在所述多个子照相机模块中，布置了彼此不同的滤色器。另外，日本特开第2011-135359号公报公开了一种方法，即对各颜色分量的图像进行恢复处理，以校正随着摄像装置的薄型化而容易出现的、光学系统的像差。

复眼摄像装置能够通过将摄像系统布置成阵列以获得视差图像，来获取“光场(LightField)”。“光场”是指来自被取入摄像装置中的被摄体的光线的位置及角度的信息。在“Ren.Ng,etc.,‘LightFieldPhotographywithaHand-heldPlenopticCamera’,StanfordTechReportCTSR2005-2”中，详细描述了光场。已知有能够获取“光场”的摄像装置的多种结构，并且复眼摄像装置是所述多种结构之一。在摄像元件上作为图像而获得的“光场”，是根据摄像装置的结构的视差图像或与光学系统的光瞳相对应的图像，并且在如下一点上是相同的，即穿过光学系统的光瞳的光线被分离为位置和角度，由此被获得。亦即，通过重新布置各像素的信息，视差图像和与光学系统的光瞳相对应的图像能够被视为大致等价的。在获取到“光场”、并且通过图像处理重构了图像的情况下，能够在拍摄图像之后，进行预定范围内的聚焦及深度调整。对于薄型的复眼摄像装置而言，这样的功能有益于减少驱动单元。

然而，在日本特开第2005-303694号公报的结构中，焦距相互不同的光学系统的光轴彼此移位。因此，该结构不适合进行如下的连续变焦，在该连续变焦中，与典型的单眼变焦光学系统类似地，视点从广角侧到远摄侧是恒定的。此外，在该结构中，不能获取“光场”。

在实际的拍摄透镜中，存在不少的像差。在与被摄体空间中的一点共轭的点处的光束的扩散，被称为点扩散函数(PSF)。彩色图像中的色溢(colorbleeding)(诸如轴向色像差、颜色的球面像差和颜色的彗形像差)，以及横向方向上的色移(即倍率色像差)，能够对应于针对各波长的PSF的位置或形状的差异。当在复眼摄像装置中、各光学系统中出现像差时，因为经由各光学系统形成的图像劣化，所以重构图像劣化。在日本特开第2011-135359号公报中公开的方法中，对经由布置了彼此不同的滤色器的光学系统中的各个而形成的图像，进行恢复处理。然而，由于布置了焦距相同的多个光学系统，所以不能进行变焦。此外，虽然布置了焦距相同的多个光学系统，但滤色器是彼此不同的，所以不能获取“光场”。

发明内容

本发明提供一种图像处理方法、图像处理装置及摄像装置，所述图像处理方法能够由经由多个光学系统获得的拍摄图像来生成高清晰图像，所述多个光学系统具有彼此不同的多个焦距。

作为本发明的一个方面的一种图像处理方法包括以下步骤：获取通过使用复眼摄像装置而拍摄的第一图像；获取所述第一图像的摄像条件信息；依据所述摄像条件信息，来获取所述复眼摄像装置中的、具有彼此不同的多个焦距的多个光学系统的光学特性信息；基于所述光学特性信息，来校正由于拍摄所述第一图像而导致的所述第一图像的劣化；以及基于从劣化被校正的所述第一图像中获得的光线的位置及角度的信息，来生成第二图像，并且，所述光学特性信息包含所述多个光学系统的与像差相关的信息和与周边照明相关的信息中的至少一者。

作为本发明的另一方面的一种图像处理装置包括：图像获取单元，其被配置为获取通过使用复眼摄像装置而拍摄的第一图像；摄像条件获取单元，其被配置为获取所述第一图像的摄像条件信息；光学特性获取单元，其被配置为依据所述摄像条件信息，来获取所述复眼摄像装置中的、具有彼此不同的多个焦距的多个光学系统的光学特性信息；校正单元，其被配置为基于所述光学特性信息，来校正由于拍摄所述第一图像而导致的所述第一图像的劣化；以及图像处理单元，其被配置为基于从劣化被校正的所述第一图像中获得的光线的位置及角度的信息，来生成第二图像，并且，所述光学特性信息包含所述多个光学系统的与像差相关的信息和与周边照明相关的信息中的至少一者。

作为本发明的另一方面的一种摄像装置包括：具有彼此不同的多个焦距的多个光学系统；与所述多个光学系统中的各个相对应地配设的多个摄像元件；图像获取单元，其被配置为获取通过使用所述多个光学系统和所述多个摄像元件而拍摄的第一图像；摄像条件获取单元，其被配置为获取所述第一图像的摄像条件信息；光学特性获取单元，其被配置为依据所述摄像条件信息，来获取所述多个光学系统的光学特性信息；校正单元，其被配置为基于所述光学特性信息，来校正由于拍摄所述第一图像而导致的所述第一图像的劣化；以及图像处理单元，其被配置为基于从劣化被校正的所述第一图像中获得的光线的位置及角度的信息，来生成第二图像，并且，所述光学特性信息包含所述多个光学系统的与像差相关的信息和与周边照明相关的信息中的至少一者。

通过以下参照附图对示例性实施例的描述，本发明进一步的特征及方面将变得清楚。

附图说明

图1是实施例1中的摄像装置的示意图。

图2是各实施例中的图像恢复滤波器的说明图。

图3是各实施例中的图像恢复滤波器的说明图。

图4A及图4B是各实施例中的点像的校正状态的说明图。

图5A及图5B是各实施例中的振幅分量及相位分量的说明图。

图6是实施例1中的透镜单元(多个光学系统)的说明图。

图7是实施例1中的多个光学系统的布置图。

图8A至图8D是实施例1中的多个光学系统的布置图。

图9是实施例1中的电子变焦的说明图。

图10是实施例1中的摄像装置的框图。

图11是实施例1中的摄像单元的框图。

图12是实施例1中的复眼图像处理的流程图。

图13是实施例1中的生成重构图像的方法的说明图。

图14是实施例1中的生成重构图像的方法的说明图。

图15是实施例1中的生成重构图像的方法的说明图。

图16是实施例1中的图像格式的说明图。

图17是实施例2中的电子变焦的说明图。

图18是实施例2中的电子变焦的说明图。

图19是实施例2中的电子变焦期间的图像合成的说明图。

图20是实施例2中的电子变焦期间的图像合成的说明图。

图21是实施例3中的图像处理系统的框图。

具体实施方式

下面，将参照附图来描述本发明的示例性实施例。

首先，将描述在本实施例中使用的术语的定义以及图像恢复处理(图像处理方法)。本实施例中描述的图像处理方法适当地用于后述各实施例中。

(输入图像)

输入图像是通过利用摄像元件经由摄像光学系统接收光而获得的数字图像(拍摄图像)，并且由于依据摄像光学系统和各种光学滤波器的光学传递函数(OTF)而劣化。此外，发生由失真像差导致的图像的失真，以及由倍率色像差导致的图像的色移。失真像差和倍率色像差可以被包含在光学传递函数中，但是在本实施例中，考虑独立进行针对失真像差和倍率色像差的校正处理的情况，而分开描述失真像差和倍率色像差。此外，发生周边照明的降低，即越是图像的边缘光量越低。摄像光学系统不仅能够使用透镜，而且能够使用具有曲率的反射镜(反射面)。

输出图像具有例如关于作为颜色分量的RGB颜色分量的信息。除了RGB颜色分量以外，作为颜色分量，还可以选择通常使用的颜色空间，诸如用LCH表现的明度、色调及色度，用YCbCr表现的亮度，以及色差信号。作为替代类型的颜色空间，还可以使用XYZ、Lab、Yuv及JCh。此外，可以使用色温度(colortemperature)。

输入图像或输出图像可以附带诸如透镜的焦距、光圈值和拍摄距离等的摄像条件(摄像条件信息)，以及用来校正该图像的各种校正信息。当对从摄像装置发送到图像处理装置的图像进行校正处理时，优选如上所述使图像附带摄像条件或校正信息。

(光学传递函数(OTF))

通过点扩散函数(PSF)的傅立叶(Fourier)变换而获得的光学传递函数(OTF)是关于像差的频率分量信息，并且用复数来表示。OTF的绝对值(即振幅分量)被称为MTF(调制传递函数)，并且相位分量被称为PTF(相位传递函数)。因此，MTF和PTF是由像差导致的图像劣化的振幅分量和相位分量的频率特性。相位分量PTF由以下的式(1)表示为相位角。在式(1)中，符号Re(OTF)和Im(OTF)分别表示OTF的实部和虚部。

PTF＝tan^-1(Im(OTF)/Re(OTF))…(1)

如上所述，因为摄像光学系统的光学传递函数(OTF)使图像的振幅分量及相位分量劣化，所以对于在成像位置的像而言，被摄体的各点非对称地发生模糊，如在彗形像差的情况下看到的。

(图像恢复处理)

已知有如下的方法，即通过使用摄像光学系统的光学传递函数(OTF)的信息，来校正光学传递函数(OTF)的振幅分量(MTF)的劣化和相位分量(PTF)的劣化。该方法被称为图像恢复或图像复原，并且在下文中，把通过使用摄像光学系统的光学传递函数(OTF)的信息来校正图像的劣化的处理，称为图像恢复处理或恢复处理。

在下文中，将描述图像恢复处理的概要。以下的式(2)成立，其中，g(x,y)是劣化图像，f(x,y)是原始图像，并且h(x,y)是作为光学传递函数(OTF)的傅立叶对的点扩散函数(PSF)。在式(2)中，符号*表示卷积(卷积积分，或卷积和积)，并且符号(x,y)表示图像上的坐标。

g(x,y)＝h(x,y)*f(x,y)…(2)

对式(2)进行傅立叶变换，以将式(2)转换为频率面上的显示格式，由此获得各频率的积的格式，如以下的式(3)所表示的。在式(3)中，H是通过点扩散函数PSF(h)的傅立叶变换而获得的光学传递函数OTF，G和F分别是通过劣化图像g和原始图像f的傅立叶变换而获得的值，并且(u,v)是二维频率面上的坐标，即频率。

G(u,v)＝H(u,v)·F(u,v)…(3)

为了由劣化的拍摄图像获得原始图像f，将式(3)的两边除以光学传递函数H，如以下的式(4)所表示的。

G(u,v)/H(u,v)＝F(u,v)…(4)

在式(4)中，当对F(u,v)即G(u,v)/H(u,v)进行傅立叶逆变换、以将频率面重新转换为实面(realsurface)时，能够获得原始图像f(x,y)作为恢复的图像。

对实面上的图像进行卷积处理，同样能够获得原始图像f(x,y)，如以下的式(5)所表示的，其中，R是通过H^-1的傅立叶逆变换而获得的值。

g(x,y)*R(x,y)＝f(x,y)…(5)

在式(5)中，R(x,y)被称为图像恢复滤波器。当图像是二维图像时，通常，该图像恢复滤波器也是二维滤波器，该二维滤波器具有与图像的各像素相对应的抽头(单元(cell))。把图像恢复滤波器的抽头数(单元数)，设置为依据所需图像质量、图像处理能力、像差特性等的抽头数。由于该图像恢复滤波器需要至少反映像差特性，因此，该图像恢复滤波器不同于传统的边缘增强滤波器(高通滤波器)等。由于图像恢复滤波器是基于光学传递函数(OTF)来确定的，因此，能够以高精度来校正振幅分量(MTF)和相位分量(PTF)两者的劣化。

因为实际的图像包含噪声分量，因此，使用如上所述通过光学传递函数(OTF)的完全倒数而创建的图像恢复滤波器，导致劣化图像的恢复伴随有噪声分量的显著放大。这是因为，相对于噪声振幅被附加至图像的振幅分量的状态，光学系统的MTF(振幅分量)被提升，使得MTF的值在全部频率上返回到1。作为由光学系统导致的振幅劣化的MTF的值返回到1，但是同时噪声的能谱被提升，结果，依据MTF的提升程度(即，依据恢复增益)，噪声被放大。因此，如果图像包含噪声，则不能获得满意的图像作为欣赏用图像。这由以下的式(6-1)或式(6-2)来表示。在式(6-1)及式(6-2)中，N是噪声分量。

G(u,v)＝H(u,v)·F(u,v)+N(u,v)…(6-1)

G(u,v)/H(u,v)＝F(u,v)+N(u,v)/H(u,v)…(6-2)

在这方面，已知有如下的方法，即依据图像信号和噪声信号的强度比SNR(信噪比)，来控制恢复程度，如同在由以下的式(7)所表示的维纳(Wiener)滤波器的情况下一样。

$\begin{array}{cc}M(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\mathrm{SNR}}^2}& \mathrm{\Λ}\end{array}---\left(7\right)$

在式(7)中，M(u,v)是维纳滤波器的频率特性，并且|H(u,v)|是光学传递函数(OTF)的绝对值(MTF)。该方法针对各频率，随着MTF的减小抑制恢复增益(恢复程度)，并且随着MTF的增大增强恢复增益。通常，摄像光学系统的MTF在低频率处具有较高值，并且在高频率处具有较低值，因此，该方法是实质上抑制图像的高频率处的恢复增益的方法。

随后，将参照图2及图3来描述图像恢复滤波器。图2及图3是用于本实施例中的图像处理方法的图像恢复滤波器的说明图。依据摄像光学系统的像差特性以及要求的恢复精度，来确定图像恢复滤波器中的抽头数。图2中所示的图像恢复滤波器例如是具有11×11抽头的二维滤波器。在图2中，虽然省略了各抽头中的值(系数)，但是，在图3中例示了图像恢复滤波器的一个横截面。图像恢复滤波器中的各抽头的值(系数值)起到如下的作用，即将由于像差而在空间上扩散的信号值(PSF)恢复到原点。亦即，通过对图像进行图像恢复滤波器的卷积处理(卷积积分，或者卷积和积)，能够获得像差被校正的图像。

随后，将参照图4A、图4B、图5A及图5B，来描述图像恢复在实空间和频率空间中的特性。图4A及图4B是本实施例中的点像的校正状态的说明图，并且图4A和图4B分别例示了在恢复之前和之后的PSF。图5A和图5B分别是本实施例中的振幅分量和相位分量的说明图。在图5A中，虚线(1)表示恢复之前的MTF，并且单点划线(2)表示恢复之后的MTF。同样，在图5B中，虚线(1)表示恢复之前的PTF，并且单点划线(2)表示恢复之后的PTF。恢复之前的PSF非对称地扩散，并且因为该非对称性，PTF具有与频率成非线性关系的值。恢复处理将MTF校正为放大的，并且还将PTF校正为零，因此，恢复后的PSF是对称的和尖状的。

关于创建图像恢复滤波器的方法，通过基于摄像光学系统的光学传递函数(OTF)的逆函数而设计的函数的傅立叶逆变换，能够获得图像恢复滤波器。在本实施例中使用的图像恢复滤波器可以被适当地改变，并且，可以使用例如上述的维纳滤波器。在使用维纳滤波器的情况下，通过由式(7)表示的M(u,v)的傅立叶逆变换，能够创建对图像实际卷积的实空间中的图像恢复滤波器。

即使在一种拍摄状态下，光学传递函数(OTF)也依据摄像光学系统的像高(即，依据图像的位置)而变化。因此，优选图像恢复滤波器依据像高而改变，从而被使用。图像恢复处理的概要如上所述。

作为基于使用其他光学特性的图像校正处理，失真校正处理是如下的处理，即基于依赖于像高的成像位置处的失真信息，来校正图像。倍率色像差校正处理是如下的处理，即基于依赖于像高的、在针对各颜色分量(例如，RGB)的成像位置的偏移信息，来校正图像。周边照明校正处理是如下的处理，即基于依赖于像高的光量信息，来校正图像。

[实施例1]

接下来，将描述本发明的实施例1中的摄像装置。图1是本实施例中的摄像装置100(作为复眼摄像装置的照相机)的示意图。在图1中，附图标记101表示照相机主体(摄像装置主体)，附图标记102表示镜头单元(拍摄镜头单元)，附图标记103表示镜头支架(拍摄镜头支架)，附图标记104表示快门按钮，附图标记105表示变焦杆，并且附图标记106表示把手。镜头单元102包括多个光学系统(摄像光学系统)。在本实施例中，镜头单元102包括垂直和水平4×4的16个光学系统，但是不限于此。在本实施例中，摄像装置100包括彼此整合的镜头单元102和照相机主体101，但是不限于此。对于镜头单元102(镜头装置)被可拆卸地安装在照相机主体101上的结构，本实施例也是能够适用的。

随后，将参照图6，来描述本实施例中的多个光学系统的结构。图6是多个光学系统(镜头单元102)的说明图。本实施例的镜头单元102由4个组构成，所述4个组各自包括具有彼此不同的4个焦距的4个光学系统(a)至(d)，亦即，镜头单元102包括总共16个光学系统。

光学系统(a)按从物体侧(图6中的左侧)起的顺序，包括凹透镜11a、凸透镜12a、凸透镜13a及凹透镜14a，并且摄像元件15a被布置在像平面上。与光学系统(a)类似地，光学系统(b)、(c)及(d)分别包括透镜11b至14b、11c至14c以及11d至14d，仅凹透镜和凸透镜的顺序不同。符号Oa、Ob、Oc及Od分别是光学系统(a)至(d)的光轴。光量调整元件17被布置在4个摄像元件15a至15d的前面。光量调整元件17是一体形成的电致发光滤波器等。多个光学系统(a)至(d)被布置为彼此接近。因此，优选在透镜之间，以及透镜与摄像元件之间，配设限制光线的有效范围的孔径光阑或遮光壁(未例示)，以防止来自相邻光学系统的不必要的光到达相应的摄像元件15a至15d。在图6中，符号F表示聚焦移动单元(聚焦透镜)，并且该聚焦移动单元F能够通过使用一体地驱动(移动)聚焦移动单元F的驱动机构(未例示)，来进行调焦(即，进行聚焦控制)。

图7以及图8A至图8D是透镜单元102中的多个光学系统的布置图。在图7以及图8A至图8D中，各个圆圈中的符号“a”至“d”表示针对构成透镜单元102的16个光学系统，各自由具有彼此不同的4个焦距的单元(组)构成的光学系统。点O表示16个光学系统的重心(中心)位置。如图8A所示，4个光学系统(a)的光轴Oa的重心位置是光轴重心Oa2。同样，关于光学系统(b)、(c)及(d)，如图8B至图8D所示，4个光学系统(b)、(c)及(d)的光轴Ob、Oc及Od的重心分别是光轴重心Ob2、Oc2及Od2。

随后，将参照图9来描述如下的方法，即通过使用具有彼此不同的4个焦距的光学系统(a)至(d)，来进行电子变焦。图9是电子变焦的说明图。如图9所示，光学系统(a)至(d)的焦距分别被设置为20mm、40mm、80mm及160mm。通过使用经由图8A中所示的4个光学系统(a)而获得的图像，来重构具有与视点O相对应的焦距20mm的图像。因此，基于具有多个视点的图像而生成的具有另一视点O的图像，被称为自由视点图像。亦即，自由视点图像是具有预定视点(视点O)的图像，该图像是由具有多个视点的多个图像(即，具有相同的视角并且又具有彼此不同的视点的图像)而获得的。稍后，将与复眼图像处理一起，来描述生成自由视点图像的方法。

通过裁切(剪裁)经由光学系统(a)获得的图像，能够生成具有从20mm到40mm的焦距的图像。优选使用图像插值，以在裁切图像时使像素数保持恒定。同样，通过分别裁切(剪裁)经由光学系统(b)、(c)及(d)获得的图像，能够生成具有从40mm到80mm的焦距的图像、具有从80mm到160mm的焦距的图像，以及具有从160mm到320mm的焦距的图像。在这种情况下，将各个焦距的图像的视点(自由视点)与视点O对准，从而使电子变焦期间的虚拟光轴被固定。如上所述，针对各焦距将自由视点设置为相同位置，以固定变焦期间的光轴。

接下来，将参照图10，来描述本实施例中的摄像装置100的内部结构。图10是摄像装置100的框图。在图10中，附图标记21表示控制拍摄操作的系统控制单元，附图标记22表示摄像单元，附图标记23表示传送单元，附图标记43表示图像修复单元，附图标记24表示显影单元，并且附图标记25表示图像处理单元。附图标记26表示复眼图像处理单元，并且其对应于本实施例中的图像处理装置。复眼图像处理单元26包括图像获取单元26a、摄像条件获取单元26b、光学特性获取单元26c、校正单元26d及图像处理单元26e。附图标记27表示监视器图像处理单元，附图标记28表示距离计算单元，并且附图标记29表示AF/AE评价单元。附图标记30表示要由用户操作来进行拍摄指示的操作单元，附图标记31表示驱动控制单元，附图标记32表示驱动器，附图标记33表示编码器，附图标记34表示曝光控制单元，附图标记35表示记录编码单元，附图标记36表示记录单元，附图标记37表示通信编码单元，附图标记38表示通信单元，并且附图标记39表示输出单元。附图标记40表示照相机抖动检测单元，并且附图标记42表示监视器。在下文中，将描述各个部分的功能。

(拍摄)

系统控制单元21包括CPU，以及存储有要由CPU执行的控制程序的ROM(未例示)，并且系统控制单元21控制照相机(摄像装置100)的整体处理。操作单元30包括诸如键及按钮等的输入设备，这些输入设备要由用户用来对照相机给出所需指令。依照这些输入设备的操作，系统控制单元21向监视器42，提供用来显示摄像装置100的模式转变、菜单画面或者各种信息的数据。由此，监视器42显示从系统控制单元21提供的数据，连同拍摄/回放图像。基于用户经由操作单元30的拍摄指示，来进行图像的拍摄(即，捕获图像)。当给出拍摄指令时，系统控制单元21将拍摄指令信号发送到摄像单元22。

随后，将参照图11，来详细描述摄像单元22的结构及操作。图11是摄像单元22的框图。摄像单元22包括图6中所示的光学系统(a)至(d)、光量调整元件17、与各个光学系统相对应地配设的摄像元件15(摄像元件15a至15d)，以及A/D转换器41。来自系统控制单元21的拍摄指令被发送到摄像元件15(摄像元件15a至15d中的各个)。摄像元件15在预定的时间段内进行曝光，以通过光电转换来生成电荷。摄像元件15是例如CMOS图像传感器，该摄像元件15通过卷帘式快门方法，以预定的读出定时读出摄像信号(模拟信号)。A/D转换器41将从摄像元件15读出的模拟信号转换为数字数据列(数字信号)，然后将该数字信号提供给传送单元23。

针对来自多个光学系统(a)至(d)的摄像信号(数字信号)，传送单元23依据要在之后的阶段进行处理的、诸如显影单元24及图像处理单元25等的处理器的结构，来适当地调整摄像信号的数据输出的顺序及定时。图像修复单元43进行图像处理，以修复(或减小)各像素的噪声或缺陷，然后，图像修复单元43将数据作为所谓的RAW数据提供给显影单元24。显影单元24对各像素进行颜色插值处理，以生成图像信号，并且，显影单元24把预定动态范围内的数字摄像信号，提供给图像处理单元25。在颜色插值处理中，显影单元24进行颜色解码处理，以使RGB信息，被分配给与摄像元件15a至15d(图像传感器)各自的滤色器结构相对应的全部像素。

当操作单元30的快门被按下时，系统控制单元21将图像处理的指令输出到图像处理单元25。然后，图像处理单元25进行图像处理，诸如白平衡校正、伽马校正、锐度校正及色度校正。

(复眼图像处理)

复眼图像处理单元26(图像处理装置)生成RGB图像(重构图像信号)，该RGB图像是利用用户经由操作单元30(图1中的变焦杆105)指示的拍摄视角的虚拟光轴而拍摄的。虚拟光轴是指如下的光轴，其是在图7中所示的视点的重心O处设置虚拟透镜系统时确定的。在本实施例中，复眼图像处理单元26基于具有4个视点的图像，生成视点被移动(校正)至虚拟光轴O的图像信号(重构图像信号)。当用户指定的拍摄视角与光学系统(a)至(d)的焦距不同时，复眼图像处理单元26进行电子变焦，以从经由如下光学系统拍摄的重构图像信号中，裁切出与指定的视角相对应的区域，所述光学系统具有比指定的视角宽一个步长(具有宽一个步长的角度)的焦距。

接下来，将参照图12，来描述由复眼图像处理单元26执行的图像处理方法(复眼图像处理)。图12是复眼图像处理的流程图。主要由复眼图像处理单元26基于系统控制单元21的指令，来执行图12中的各步骤。

首先，在步骤S11中，复眼图像处理单元26(图像获取单元26a)获取多视点图像(第一图像)。随后，在步骤S12中，复眼图像处理单元26(摄像条件获取单元26b)获取摄像装置100的摄像条件(摄像条件信息)。摄像条件是例如变焦位置、光圈值(F值)及拍摄距离。当摄像装置100不包括例如未配设有可变开口的孔径光阑时，可以从摄像条件中省略光圈值。复眼图像处理单元26可以从附加至在步骤S11获取的多视点图像的信息中，获取摄像条件。作为另一选择，复眼图像处理单元26可以从摄像装置100(系统控制单元21)，直接获取摄像条件。在这种情况下，复眼图像处理单元26在开始步骤S14之前，只需要进行步骤S11中的处理。

随后，在步骤S13中，复眼图像处理单元26(光学特性获取单元26c)获取预先存储的、多个光学系统(a)至(d)各自的光学特性(光学特性信息)。光学特性是指与光学系统的像差相关的特性，并且，光学特性包括倍率色像差(倍率色像差校正信息)、失真(失真校正信息)、光学传递函数以及基于光学传递函数而生成的图像恢复滤波器中的至少一者。复眼图像处理单元26能够通过使用包括陀螺仪传感器等的照相机抖动检测单元40，来获取曝光期间的摄像装置100的运动模糊轨迹(诸如运动模糊函数等的运动模糊信息)。光学特性可以包括运动模糊函数，或者基于运动模糊函数而生成的运动模糊校正滤波器，以校正运动模糊。复眼图像处理单元26把根据手持的摄像装置100的拍摄而出现的运动模糊轨迹，视为PSF，因而，能够应用图像恢复处理。光学特性还可以包括周边照明的特性(周边照明校正信息)。可以从预先存储在摄像装置100中的数据当中，选择与光学特性相关的数据(光学特性信息)，并且可以依据摄像条件，来校正预先存储的数据。当拍摄图像时，能够获取诸如运动模糊等的光学特性。

随后，在步骤S14中，复眼图像处理单元26(校正单元26d)通过使用在步骤S13中获取的光学特性，对经由各光学系统拍摄的图像(第一图像)进行校正处理。校正处理包括校正RGB间的拍摄倍率的差异的倍率色像差校正处理、校正图像的失真的失真校正处理、校正光学传递函数导致的劣化的图像恢复处理等。校正处理可以包括校正图像周边的光量不足的周边照明校正处理。随后，在步骤S15中，复眼图像处理单元26(图像处理单元26e)对光学图像质量的降低得到校正的多视点图像(即，校正后的第一图像)，进行图像重构处理。然后，在步骤S16中，复眼图像处理单元26输出重构图像(第二图像)。

为了减轻处理的负荷，优选仅对输出图像的重构处理所需的图像，进行步骤S13中的光学特性的获取，以及步骤S14中的校正处理。例如，在图9中，由于可以使用经由光学系统(c)获得的图像，以输出具有100mm的焦距的图像，因此，只需要对经由图7中的4个光学系统(c)获得的图像进行校正处理。对于要用于重构处理的图像，可以从要校正的图像中，排除不需要校正的高清晰图像。

接下来，将参照图13至图15，来描述由复眼图像处理装置26生成重构图像(第二图像)的方法。图13至图15是生成重构图像的方法的说明图。

在图13中，如上所述，被摄体p分别经由两个透镜系统A1及A2(光学系统)，而在摄像元件S1及S2(相应点p1’及p2’)上成像，并且形成的图像被读出作为摄像信号。首先，系统控制单元21(复眼图像处理单元26)基于图像的亮度信号分布或颜色信号分布的相关性，从经由透镜系统A1及A2生成的图像中提取相应点p1’及p2’。

随后，系统控制单元21(复眼图像处理单元26)通过使用以下的式(8)，来获得从透镜系统A1及A2各自的主点的位置到被摄体p的距离(被摄体距离L)。如图14所示，p1’(x1’,y1’)及p2’(x2’,y2’)分别是以经由透镜系统A1及A2的图像的原点为基准的坐标，L是被摄体距离，D是两个光轴o1与o2的间隔，fa’是从透镜系统A1及A2各自的主点到各个摄像元件的距离。另外，d1是相应点p1’与交点O1之间的间隔，该交点O1是光轴o1与摄像元件S1的交点，并且，d2是相应点p2’与交点O2之间的间隔，该交点O2是光轴o2与摄像元件S2的交点。系统控制单元21(复眼图像处理单元26)使用这些值，以相对于摄像系统原点O’(图14中的两个透镜系统A1和A2的中点)，获得计算机上的被摄体p”的坐标(x”,y”,L)。

$\begin{array}{cc}L=\frac{D\·{\mathrm{fa}}^{\′}}{d1+d2}& \mathrm{\Λ}\end{array}---\left(8\right)$

在本实施例中，由于透镜系统A1及A2的焦距的误差，或者透镜系统A1及A2与摄像元件S1及S2之间的位置偏移，导致在某些情况下，在计算机上的三维空间上，图14中的反向迹线(直线R1’和R2’)可能彼此不相交。在这种情况下，在两条直线R1’和R2’最接近的位置，设置虚拟平面，并且，可以获得该平面与各直线的交点的中点作为坐标。当存在三个或更多个透镜系统时，可以通过使用从各个透镜系统获得的直线，进行类似的计算。

随后，通过使用在摄像光学系统原点O’虚拟布置的具有焦距fa’的透镜系统A0，将如图15所示获得的计算机上的被摄体p”投影于虚拟摄像元件上，并且，获得虚拟图像的坐标p0’(x0’,y0’)。复眼图像处理单元26对整个图像进行图像处理，以通过使用虚拟透镜系统A0，来生成具有虚拟光轴的重构图像。

上述的重构图像的生成处理对应于基于从多个视差图像(第一图像)中获得的光线的位置及角度的信息来生成重构图像(第二图像)。

(拍摄中的监视器显示)

接下来，将描述当摄像装置100的电源被接通时、在由诸如液晶屏板及有机EL等的薄型单元构成的监视器42上显示图像的处理。监视器图像处理单元27接收复眼图像处理单元26的输出，并且监视器图像处理单元27显示图像。与复眼图像处理单元26类似地，监视器图像处理单元27简单地进行视点的校正处理，并且监视器图像处理单元27生成显示用重构图像信号，并将其发送到监视器42。监视器42实时地显示显示用重构图像信号。根据所述的简单显示处理，监视器图像处理单元27能够在监视器42上显示拍摄图像，同时省略需要大量处理时间的图像处理，诸如图像切出处理、插值处理和光轴对准处理。因此，能够向用户提供显示延迟少的画面。因此，能够实现不妨碍被摄体的成帧操作等的方便的摄像装置。能够在所述简单显示处理中适当地进行选择的同时，进行使用光学特性的校正处理。

(图像记录)

记录编码单元35把由复眼图像处理单元26生成的重构图像信号，编码为作为图16中所示的示例的预定格式。图16是本实施例中的图像格式的说明图。图像格式包括用来存储拍摄信息的文件的头部分、用来存储图像数据(图像信号a1至d4)的图像数据部分，以及用来存储距离图数据的距离图数据部分。

头部分包括“透镜指定”、“透镜信息”、“透镜位置关系”、“拍摄信息”、“像素结构”及“图像格式”。“透镜指定”部分存储关于配设在摄像装置100中的透镜系统(光学系统)的类型或结构的信息。“透镜信息”部分存储各透镜的视角信息及光学特性信息等。“透镜位置关系”部分存储各透镜的光轴的位置关系的信息。“透镜指定”、“透镜信息”及“透镜位置关系”各自与计算系数相对应。“拍摄信息”部分存储当用户指示拍摄时的视角的信息、拍摄地点的经纬度的信息、在拍摄地点的时间的信息，以及拍摄时的摄像装置100的方向的信息。“像素结构”部分存储记录的图像数据的垂直及水平方向上的像素数的信息。“图像格式”部分存储图像的压缩及压缩的类型的信息。

作为图像数据，记录以用户指示的视角生成的重构图像信号，随后，记录经由光学系统(a)拍摄的图像数据a1、a2、a3及a4。然后，类似地记录关于光学系统(b)、(c)及(d)的图像数据。作为距离图数据，依次记录基于经由光学系统(a)至(d)拍摄的图像信号(图像数据)的距离图。记录单元36把由记录编码单元35编码的重构图像信号，记录在诸如存储卡(未例示)等的记录介质中。

[实施例2]

接下来，将参照图17至图20，来描述本发明中的实施例2中的伴随电子变焦的复眼图像处理。图17及图18是本实施例中的电子变焦的说明图。图19及图20是本实施例中的电子变焦期间的图像合成处理的说明图。本实施例中的摄像装置的基本结构与实施例1中的摄像装置100相同，因而省略共同的描述。

在参照图9描述的实施例1中的复眼图像处理中，当用户指定的摄像视角与光学系统(a)至(d)的焦距不同时，针对通过使用如下光学系统拍摄的重构图像进行电子变焦，所述光学系统具有广角侧的焦距，在所述广角侧，视角比指定的视角宽一个步长。另一方面，在本实施例中，如图17所示，当指定的摄像视角与光学系统(a)至(d)的焦距不同时，针对通过使用如下光学系统拍摄的重构图像进行电子变焦，所述光学系统具有广角侧和远摄侧的焦距，在所述广角侧和所述远摄侧，视角与指定视角相比分别宽一个步长和窄一个步长。

图19中的符号“a”、“b”分别表示经由光学系统(a)和(b)获得的图像。当用户指定的焦距对应于图像X时，对于图像X中的、与图像“b”交叠的区域，能够合成图像“a”和“b”。另一方面，对于图像X中的、与图像“b”不交叠的区域，不能合成图像“a”和“b”，因而仅使用图像“a”。对于光学系统(b)与(c)之间的或者光学系统(c)与(d)之间的焦距，这是同样适用的。

如图18所示，当生成例如光学系统(a)与(b)之间的焦距的图像时，也能够选择性地使用图像“a”、“b”、“c”及“d”中的全部或部分。因此，如图20所示，能够合成相比于图像X的远摄侧的高清晰图像(图像“c”和“d”)。能够仅对用来生成具有用户指定的焦距的图像X的图像，进行使用光学特性的图像的校正处理，以提高处理的速度。

[实施例3]

接下来，将参照图21来描述本发明的实施例3。本实施例描述执行上述图像处理方法的图像处理系统。图21是本实施例中的图像处理系统的框图。如图21所示，图像处理系统包括摄像装置301。摄像装置301例如是诸如照相机、显微镜、内窥镜及扫描器等的复眼摄像装置，并且，摄像装置301具有与参照图10描述的实施例1的摄像装置100类似的基本结构。图像处理装置302是计算机设备(信息处理装置)，其能够执行上述各实施例的图像处理方法。图像处理装置302具有与复眼图像处理单元26(图像获取单元26a、摄像条件获取单元26b、光学特性获取单元26c、校正单元26d及图像处理单元26e)相同的功能。

记录介质303是例如半导体存储器、硬盘或者网络上的服务器，并且记录介质303存储拍摄图像。图像处理装置302从摄像装置301或记录介质303获取拍摄图像数据，然后把进行了预定处理的图像数据，输出到输出设备305、摄像装置301及记录介质303中的至少一者。作为另一选择，可以把图像数据输出并存储到图像处理装置302中包括的存储单元中。输出设备305是例如打印机。显示设备304(监视器42)连接到图像处理装置302，以将校正的图像输入至显示设备304。用户能够在通过显示设备304确认校正的图像的同时进行工作。图像处理软件306(图像处理程序)执行上述各实施例的图像处理方法，并按需要一起执行显影处理或其他图像处理。显示设备304是例如液晶显示器或投影仪。

在本实施例中，优选使诸如用来执行图像处理方法的校正信息等的数据，以及与设备间的数据的发送及接收相关的信息，附于各个图像数据。由于必要的校正信息附于图像数据，因此，能够由包括本实施例的图像处理装置的任何设备进行校正处理。

[其他实施方式]

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、和/或包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、和/或控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一者或更多。

各实施例中的图像处理方法包括获取通过使用复眼摄像装置拍摄的第一图像的步骤(步骤S11)、获取第一图像的摄像条件信息的步骤(步骤S12)，以及依据摄像条件信息来获取复眼摄像装置中的、具有彼此不同的多个焦距的多个光学系统的光学特性信息的步骤(步骤S13)。图像处理方法还包括基于光学特性信息来校正第一图像(即，校正由于拍摄第一图像而导致的该第一图像的劣化)的步骤(步骤S14)，以及基于从校正的第一图像(即，劣化被校正的第一图像)中获得的光线的位置及角度的信息、来生成第二图像的步骤(步骤S15)。光学特性信息包含光学系统的与像差相关的信息和与周边照明相关的信息中的至少一者。

优选地，多个焦距是固定的。多个光学系统包括具有第一焦距的多个第一光学系统(光学系统(a)至(d)中的一个)，以及具有与第一焦距不同的第二焦距的多个第二光学系统(光学系统(a)至(d)中的另一个)。更优选地，光学特性信息包含倍率色像差校正信息、失真校正信息和周边照明校正信息中的至少一者。优选地，光学特性信息包含光学传递函数和基于光学传递函数而生成的图像恢复滤波器中的至少一者。优选地，光学特性信息包含运动模糊函数和基于运动模糊函数而生成的运动模糊校正滤波器中的至少一者。优选地，光学特性信息依据光学系统而不同。

优选地，通过对劣化被校正的第一图像(即，校正的第一图像)的重构处理，来生成第二图像。更优选地，在对劣化被校正的第一图像的重构处理之后，通过电子变焦来生成第二图像。优选地，多个焦距包括广角侧的第一焦距和远摄侧的第二焦距。第二图像是具有与第三焦距相对应的视角的图像，所述第三焦距在第一焦距与第二焦距之间。优选地，在对具有与第一焦距相对应的视角的第一图像的重构处理之后，通过电子变焦来生成第二图像。优选地，在对具有与第一焦距及第二焦距中的各个相对应的视角的第一图像的重构处理之后，通过电子变焦和图像合成处理来生成第二图像。

优选地，在对劣化被校正的第一图像的重构处理中，通过使用劣化被校正的第一图像，来生成与各个焦距相关的自由视点图像。更优选地，与各个焦距相关的自由视点图像具有彼此一致的视点。换言之，相对于用来固定变焦期间的光轴的各焦距，自由视点被设置为相同位置。优选地，校正第一图像的劣化的步骤包括基于光学系统中的特定光学系统的光学特性信息，来校正第一图像中的特定第一图像的劣化。

本发明能够提供一种图像处理方法、图像处理装置及摄像装置，所述图像处理方法能够由经由多个光学系统获得的拍摄图像来生成高清晰图像，所述多个光学系统具有彼此不同的多个焦距。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。所附权利要求的范围应当被赋予最宽的解释，以涵盖所有这类修改以及等同的结构和功能。

Claims (15)

1.一种图像处理方法，所述图像处理方法包括以下步骤：

获取通过使用复眼摄像装置而拍摄的第一图像；

获取所述第一图像的摄像条件信息；

依据所述摄像条件信息，来获取所述复眼摄像装置中的、具有彼此不同的多个焦距的多个光学系统的光学特性信息；

基于所述光学特性信息，来校正由于拍摄所述第一图像而导致的所述第一图像的劣化；以及

基于从劣化被校正的所述第一图像中获得的光线的位置及角度的信息，来生成第二图像，

所述图像处理方法的特征在于，所述光学特性信息包含所述多个光学系统的与像差相关的信息以及与周边照明相关的信息中的至少一者。

2.根据权利要求1所述的图像处理方法，

所述图像处理方法的特征在于，

所述多个焦距是固定的，并且

所述多个光学系统包括：

具有第一焦距的多个第一光学系统；以及

具有与所述第一焦距不同的第二焦距的多个第二光学系统。

3.根据权利要求1所述的图像处理方法，

所述图像处理方法的特征在于，所述光学特性信息包含倍率色像差校正信息、失真校正信息和周边照明校正信息中的至少一者。

4.根据权利要求1所述的图像处理方法，

所述图像处理方法的特征在于，所述光学特性信息包含光学传递函数和基于该光学传递函数而生成的图像恢复滤波器中的至少一者。

5.根据权利要求1所述的图像处理方法，

所述图像处理方法的特征在于，所述光学特性信息依据所述多个光学系统而不同。

6.根据权利要求1所述的图像处理方法，

所述图像处理方法的特征在于，通过对劣化被校正的所述第一图像的重构处理，来生成所述第二图像。

7.根据权利要求6所述的图像处理方法，

所述图像处理方法的特征在于，在对劣化被校正的所述第一图像的所述重构处理之后，通过电子变焦来生成所述第二图像。

8.根据权利要求7所述的图像处理方法，

所述图像处理方法的特征在于，

所述多个焦距包括广角侧的第一焦距和远摄侧的第二焦距，并且

所述第二图像是具有与第三焦距相对应的视角的图像，所述第三焦距在所述第一焦距与所述第二焦距之间。

9.根据权利要求8所述的图像处理方法，

所述图像处理方法的特征在于，在对具有与所述第一焦距相对应的视角的所述第一图像的所述重构处理之后，通过所述电子变焦来生成所述第二图像。

10.根据权利要求8所述的图像处理方法，

所述图像处理方法的特征在于，在对具有与所述第一焦距及所述第二焦距中的各个相对应的视角的所述第一图像的所述重构处理之后，通过所述电子变焦和图像合成处理来生成所述第二图像。

11.根据权利要求6所述的图像处理方法，

所述图像处理方法的特征在于，在对劣化被校正的所述第一图像的所述重构处理中，通过使用劣化被校正的所述第一图像，来生成与各焦距相关的自由视点图像。

12.根据权利要求11所述的图像处理方法，

所述图像处理方法的特征在于，与各焦距相关的所述自由视点图像具有彼此一致的视点。

13.根据权利要求1至权利要求12中的任一项所述的图像处理方法，

所述图像处理方法的特征在于，校正所述第一图像的劣化的步骤包括：基于所述光学系统中的特定光学系统的光学特性信息，来校正所述第一图像中的特定第一图像的劣化。

14.一种图像处理装置，所述图像处理装置包括：

图像获取单元，其被构造为获取通过使用复眼摄像装置而拍摄的第一图像；

摄像条件获取单元，其被构造为获取所述第一图像的摄像条件信息；

光学特性获取单元，其被构造为依据所述摄像条件信息，来获取所述复眼摄像装置中的、具有彼此不同的多个焦距的多个光学系统的光学特性信息；

校正单元，其被构造为基于所述光学特性信息，来校正由于拍摄所述第一图像而导致的所述第一图像的劣化；以及

图像处理单元，其被构造为基于从劣化被校正的所述第一图像中获得的光线的位置及角度的信息，来生成第二图像，

所述图像处理装置的特征在于，所述光学特性信息包含所述光学系统的与像差相关的信息以及与周边照明相关的信息中的至少一者。

15.一种摄像装置，所述摄像装置包括：

具有彼此不同的多个焦距的多个光学系统；

与各光学系统相对应地配设的多个摄像元件；

图像获取单元，其被构造为获取通过使用所述光学系统和所述摄像元件拍摄的第一图像；

摄像条件获取单元，其被构造为获取所述第一图像的摄像条件信息；

光学特性获取单元，其被构造为依据所述摄像条件信息，来获取所述光学系统的光学特性信息；

校正单元，其被构造为基于所述光学特性信息，来校正由于拍摄所述第一图像而导致的所述第一图像的劣化；以及

图像处理单元，其被构造为基于从劣化被校正的所述第一图像中获得的光线的位置及角度的信息，来生成第二图像，

所述摄像装置的特征在于，所述光学特性信息包含所述光学系统的与像差相关的信息以及与周边照明相关的信息中的至少一者。