CN103262523B - 摄像装置、摄像系统、摄像方法以及图像处理方法 - Google Patents

摄像装置、摄像系统、摄像方法以及图像处理方法 Download PDF

Info

Publication number
CN103262523B
CN103262523B CN201280004046.XA CN201280004046A CN103262523B CN 103262523 B CN103262523 B CN 103262523B CN 201280004046 A CN201280004046 A CN 201280004046A CN 103262523 B CN103262523 B CN 103262523B
Authority
CN
China
Prior art keywords
optics
image
depth
data
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280004046.XA
Other languages
English (en)
Other versions
CN103262523A (zh
Inventor
河村岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103262523A publication Critical patent/CN103262523A/zh
Application granted granted Critical
Publication of CN103262523B publication Critical patent/CN103262523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces
    • G02B3/08—Simple or compound lenses with non-spherical faces with discontinuous faces, e.g. Fresnel lens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor

Abstract

摄像装置（100）拍摄用于获得深度数据和复原图像数据的图像，该深度数据表示摄影场景的景深，该复原图像数据是光学模糊被降低之后的图像数据，摄像装置（100）具备：具有旋转非对称形状的光学模糊的光学器件（110）；使光学器件（110）的一部分或者全部旋转的执行器（120）；通过在每当光学器件（110）旋转时拍摄图像，从而生成多个摄影图像数据的摄像部（130）。

Description

摄像装置、摄像系统、摄像方法以及图像处理方法
技术领域
本发明涉及摄像装置、摄像系统、摄像方法以及图像处理方法，尤其涉及用于获得表示摄影场景的景深的深度数据和光学模糊被降低之后的复原图像数据的摄像装置、摄像系统、摄像方法以及图像处理方法。
背景技术
作为降低光学模糊、扩大对焦范围的景深扩大(EDOF：Extended Depth of Field)技术，主要有以下的两种方法。
第一种方法是利用不随景深变化的单一点扩散函数(PSF：Point SpreadFunction)的技术。具体是，利用具有可获得不随景深变化的PSF的结构的光学系统来摄影图像。然后，利用单一PSF对摄影图像进行复原处理。以下，将该方法称为景深不变量法。
作为本方法中效率最高的方法之一，已开发出了利用在使对焦位置变化的同时摄影到的图像的方法(Focal Sweep或者Flexible Depth of Field(F-DOF))(参照非专利文献1)。
第二种方法是利用随着景深变化的PSF的技术。具体是，在检测摄影场景的景深(深度)的同时，利用与检测出的景深对应的PSF来对摄影图像进行复原处理。以下，将该方法成为景深变量法。
作为本方法的代表性方法，已开发出利用通过编码光圈(Coded Aperture)或者格状焦点透镜(Lattice Focal Lens)摄影的图像的方法(参照非专利文献2以及3)。尤其是格状焦点透镜，已知其在这两种方法中都能够有效地扩大景深。
并且，通过本方法可获得通过深度不变量法所无法达到的效果，即，可同时获得深度数据。
通过这种EDOF技术，能够降低摄影图像的焦点偏离区域中的光学模糊，并能够扩大摄影图像的景深。
非专利文献1：“Flexible Depth of Field Photography”，H.Nagahara，S.Kuthirummal，C.Zhou，and S.K.Nayar，European Conference on Computer Vision(ECCV)，Oct，2008
非专利文献2：“4D Frequency Analysis of Computational Cameras for Depthof Field Extension”，Anat Levin，Samuel W.Hasinoff，Paul Green，Fredo Durand，andWilliam T.Freeman ACM Transactions on Graphics(Proc.SIGGRAPH 2009)
非专利文献3：“Image and Depth from a Conventional Camera with a CodedAperture”，Anat Levin，Rob Fergus，Fredo Durand，William T.Freeman ACMTransactions on Graphics(Proc.SIGGRAPH 2007)
非专利文献4：“Coded Aperture Pairs for Depth from Defocus”，C.Zhou，S.Lin,and S.K.Nayar，IEEE International Conference on Computer Vision(ICCV)，Oct，2009
发明内容
在所述现有技术中，有时会出现复原处理之后的摄影图像(以下称之为“复原图像”)的画质低的情况。
对此，本发明提供在从摄影图像获得复原图像时，能够提高复原图像的画质的摄像装置。
本发明的一形态的摄像装置是一种拍摄用于获得深度数据和复原图像数据的图像的摄像装置，该深度数据表示摄影场景的景深，该复原图像数据是光学模糊被降低之后的图像数据，该摄像装置具备：光学器件，旋转前的该光学器件的光学模糊和旋转后的该光学器件的光 学模糊在二维平面空间具有不相同的光学特性；执行器，使所述光学器件的一部分或者全部旋转；摄像部，每次所述光学器件一旋转，该摄像部就拍摄图像，从而生成多个摄影图像数据，该多个摄影图像数据能够相互补充因光学模糊而丢失的图像成分。
在此，这些总括性的或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，也可由系统、方法、集成电路、计算机程序或者记录介质的任意组合来实现。
根据本发明的一形态的摄像装置，能够提高复原图像的画质。
附图说明
图1是表示实施方式所涉及的摄像系统的结构的一个例子的图。
图2是表示实施方式所涉及的摄像装置的结构的方框图。
图3是表示实施方式所涉及的光学器件中包含的透镜的一个例子的外观图。
图4是用于说明实施方式所涉及的光学器件的一个例子的图。
图5是表示实施方式所涉及的光学器件的光学模糊的一个例子的图。
图6是表示实施方式所涉及的光学器件中包含的光圈的一个例子的外观图。
图7是表示实施方式所涉及的光学器件的旋转的一个例子的图。
图8是表示实施方式所涉及的摄像装置的处理动作的流程图。
图9是用于说明实施方式所涉及的摄像装置的处理动作的图。
图10是表示实施方式表现涉及的图像处理装置的构成的方框图。
图11是表示实施方式所涉及的图像处理装置的处理动作的流程图。
具体实施方式
(本发明的基础知识)
本发明的发明者发现所述深度变量法与深度不变量法相比，其中存在通过复原处理所获得的复原图像的画质低的问题。以下，就该问题进行说明。
在所述深度变量法中，利用摄影图像的空间频率成分的值成为零或接近零的值的特性，来检测摄影场景的景深(深度数据)。即，光学器件必须具有摄影图像中的一部分频率成分欠缺或者明显受损的结构。
但是，如果对这种一部分空间频率成分欠缺或者明显受损的摄影图像进行复原处理，无法使该空间频率成分复原。其结果，复原图像的画质降低。具体是，在拍摄了具有该空间频率成分的被摄体的情况下，该部分被复原成模糊状态，或者被复原成振铃失真的状态。
对此，本发明提供在从摄影图像获得模糊被降低的复原图像的情况下，能够拍摄用于提高复原图像的画质的图像的摄像装置或者摄像方法，以及能够提高复原图像的画质的摄像系统或者图像处理方法。
本发明的一形态的摄像装置是一种拍摄用于获得深度数据和复原图像数据的图像的摄像装置，该深度数据表示摄影场景的景深，该复原图像数据是光学模糊被降低之后的图像数据，该摄像装置具备：光学器件，旋转前的该光学器件的光学模糊和旋转后的该光学器件的光学模糊在二维平面空间具有不相同的光学特性；执行器，使所述光学器件的一部分或者全部旋转；摄像部，每次所述光学器件一旋转，该摄像部就拍摄图像，从而生成多个摄影图像数据，该多个摄影图像数据能够相互补充因光学模糊而丢失的图像成分。
根据该结构，光学器件具有旋转非对称形状的光学模糊。即，旋转前的光学器件的光学模糊和旋转后的光学器件的光学模糊在二维平面空间具有不相同的光学特性。因此，在每当光学器件旋转时拍摄的多个图像中，二维平面空间上因光学模糊而丢失的图像成分也不相同。从而，多个摄影图像数据能够相互补充因光学模糊而丢失的图像成分。 如果使用这种多个摄影图像数据来生成复原图像数据，可使复原图像的画质提高。
并且，根据该结构，提高使光学器件单纯地旋转，就能使光学器件的光学模糊变化。因此，无需为了拍摄图像而特意更换光学器件，能够简单地拍摄到用于获得深度数据和复原图像数据的图像。另外，能够使光学器件的光学模糊的形状在比较短的时间内变化，因此能够实现感应性优良的摄像装置。
另外，优选为，所述光学模糊由PSF(Point Spread Function)表示，所述光学器件具有所述点扩散函数根据景深而变化的结构。
结构该结构，可使PSF根据景深而变化。即，光学器件无需具有PSF不根据深像变化的结构，因此能够简化光学器件的结构。
另外，优选为，所述光学器件构成为，空间频域中的、所述点扩散函数的一部分频率成分的值为规定阈值以下的频率存在一处以上。
根据该结构，容许在空间频域中PSF的一部分频率成分的值成为规定阈值以下的频率存在。因此，能够使光学器件的设计或者结构变得简单。
另外，优选是，所述光学器件具有，在空间频域中所述点扩散函数的一部分频率成分的值成为规定阈值以下的频率的值以及数量的至少一方根据景深而变化的结构。
根据该结构，能够使在空间频域中所述PSF的一部分频率成分的值成为规定阈值以下的频率的值以及数量的至少一方根据景深而变化。因此，通过在摄影图像数据中确定出空间频率成分欠缺或者明显受损的频率，能够高精度地生成深度数据。即，可在高精度地生成深度数据的同时，使复原图像数据的画质提高。
另外，优选是，所述光学器件具有，在空间区域中所述PSF具有多个峰值的结构。
根据该结构，能够以在空间区域PSF具有多个顶峰的方式构成光学器件。因此，能够提高对丢失的图像成分的补充效果，该丢失的图 像成分是指在光学器件每当旋转时拍摄的多个图像中因光学模糊而丢失的图像成分。
另外，优选为，所述光学器件包含透镜，该透镜具有多个区域，该多个区域的各自的对焦位置互不相同。
根据该结构，光学器件能够包含对焦位置互不相同的多个区域的透镜。如果使用通过这种透镜拍摄的图像来扩大景深，与使用通过一边使对焦位置变化一边拍摄的图像来扩大景深的情况相比，能够以更少的光量有效扩大景深，从而可获得信噪比高的复原图像。
另外，优选是，所述光学器件包含形成有多个开口的光圈。
根据该结构，能够使光学器件包含形成有多个开口的光圈。因此，能够简化光学器件的结构。
另外，本发明的一形态所涉及的摄像系统具备所述摄像装置和图像处理装置，该图像处理装置通过对由所述摄像装置生成的多个摄影图像数据进行处理，生成所述深度数据和所述复原图像数据，所述图像处理装置具备：深度数据生成部，根据所述多个摄影图像数据的至少一个摄影图像数据中的、空间频率成分的值为规定阈值以下的频率，生成所述深度数据；复原处理部，根据与所述多个摄影图像数据对应的光学模糊，对所述多个图像数据进行复原处理，从而生成所述复原图像数据。
根据该结构，除了可获得与所述摄像装置相同的效果之外，通过使用由所述摄像装置生成的摄影图像数据，还能够生成深度数据和高画质的复原图像数据。
另外，本发明的一形态所涉及的摄像方法是一种利用具备光学器件和执行器的摄像装置来拍摄用于获得深度数据和复原图像数据的图像的摄像方法，旋转前的该光学器件的光学模糊和旋转后的该光学器件的光学模糊在二维平面空间具有不相同的光学特性，该执行器使所述光学器件旋转，该深度数据表示摄影场景的景深，该复原图像数据是光学模糊被降低之后的图像数据，该摄像方法包括：第一拍摄步骤， 拍摄图像：旋转步骤，介由所述执行器，使所述光学器件的一部分或者全部旋转；第二拍摄步骤，在所述光学器件旋转之后拍摄图像。
由此，能够获得与所述摄像装置相同的效果。
另外，本发明的一形态所涉及的图像处理方法是一种利用具备光学器件和执行器的摄像装置来拍摄图像并对拍摄的图像进行处理的图像处理方法，旋转前的该光学器件的光学模糊和旋转后的该光学器件的光学模糊在二维平面空间具有不相同的光学特性，该执行器使所述光学器件旋转，该图像处理方法包括：第一拍摄步骤，通过拍摄图像，生成第一摄影图像数据；旋转步骤，介由所述执行器，使所述光学器件的一部分或者全部旋转；第二拍摄步骤，通过在所述光学器件旋转之后拍摄图像，生成第二摄影图像数据；深度数据生成步骤，根据空间频率成分的值在所述第一摄影图像数据以及所述第二摄影图像数据的至少一方中成为规定阈值以下的频率，来生成表示摄影场景的景深的深度数据；复原步骤，根据与所述第一摄影图像数据以及第二摄影图像数据对应的光学模糊，对所述多个图像数据进行复原处理，从而生成复原图像数据。
由此，能够获得与所述摄像系统相同的效果。
以下，关于实施方式，根据附图进行详细说明。以下将说明的实施方式均表示总括性或者具体性的一个例子。以下的实施方式中出现的数值、形状、材料、结构要素、构成要素的配置以及连接形态、步骤、步骤的顺序等也都表示一个例子，并不意味权利范围限定于此。另外，关于以下的实施方式的结构要素中的未被记载于表示本发明最上位概念的独立请求要求项中的结构要素，将其作为任意的结构要素进行说明。
(实施方式)
图1是表示实施方式所涉及的摄像系统的结构的方框图。如图1所示，摄像系统10具备摄像装置100和图像处理装置200。该摄像系统10，也可称之为摄像图像处理装置。
摄像装置100拍摄用于获得深度数据和复原图像数据的图像。具体是，摄像装置100例如是数字静态相机或者数字摄像机等。
深度数据是表示摄影场景的景深的数据。即，深度数据是按每个像素或者每个区域来表示从摄像装置100到被摄体的距离的数据。该深度数据是在图像处理中有用的数据。例如，深度数据被利用于将二维图像数据变换成具有右眼用图像以及左眼用图像的三维图像数据。另外，该深度数据也可以被利用于，确定二维数据中与背景对应的区域，并仅使确定的区域晕映的图像处理。
复原图像数据是通过对图像进行复原处理而获得的图像数据。在此，复原处理是指降低图像的模糊，使图像鲜明化的处理。本发明的复原图像数据是指通过复原处理降低光学模糊之后的图像数据，即，景深比摄影图像数据扩大之后的图像数据。
图像处理装置200从摄像装置100取得多个摄影图像数据。具体是，图像处理装置200，例如是个人计算机或者是云服务器等。图像处理装置200例如通过有线以及无线网络，或者记录介质等，从摄像装置100取得多个摄影图像数据。然后，图像处理装置200通过对由摄像装置100生成的多个摄影图像数据进行处理，生成深度数据和复原图像数据。
另外，并非一定要作为独立体装置来实现摄像装置100和图像处理装置200。例如，图像处理装置200也可以被内置于摄像装置100中。在此情况下，可以作为1个集成电路来实现图像处理装置200。
以下，首先关于摄像装置100的详细结构进行说明。
图2是表示实施方式所涉及的摄像装置的功能结构的方框图。如图2所示，摄像装置100具备光学器件110、执行器120和摄像部130。以下，关于摄像装置100所具备的各结构要素进行说明。
光学器件110被配置成可旋转的方式。在本实施方式中，光学器件110被配置成可以围绕着与光轴平行的轴旋转的方式。在此，旋转轴并非必须与光轴平行。即，没有必要将光学器件110的旋转轴限定 于特定方向。
另外，光学器件110具有旋转非对称形状的光学模糊。即，光学器件110具有，旋转时其光学模糊的形状也发生旋转等变化的结构。
在本实施方式中，光学模糊由PSF表示。另外，光学器件110具有PSF根据景深而变化的结构。即，光学器件110PSF依赖于景深。
具体是，光学器件110例如可以包含透镜，该透镜具有多个区域，该多个区域的各自的对焦位置互不相同。即，光学器件110例如可以包含格状焦点透镜。在此，关于光学器件110，参照图3～图5，以光学器件110包含具有对焦位置互不相同的多个区域的透镜的情况为一例进行说明。
图3是表示实施方式所涉及的光学器件中包含的透镜的一个例子的外观图。在此，光学器件110中包含的透镜111是具有对焦位置互不相同的4个区域111a至111d的透镜。具体是，透镜111是具有表面的倾斜角度互不相同的4个区域111a至111d的矩形板状的透镜。
该透镜111相当于非专利文献3中的格状焦点透镜。如果利用通过格状焦点透镜摄影的图像来扩大景深，与利用一边使对焦位置变化一边摄影的图像来扩大景深的情况相比，能够以更少的光量更有效地扩大景深，因此可获得信噪比高的复原图像。
图4是用于说明实施方式所涉及的光学器件的一个例子的图。具体是，图4表示射入光学器件110的光的前进方向。另外，为了便于说明，在此假设为透镜111的4个区域111a～111d在与光轴垂直的方向上被排列配置。
从图4可明显看出，由于各区域的对焦位置不同，因此通过各区域之后的光的模糊方式也不同。例如，在摄像面是A或者B的位置的情况下，1个物体的像被形成为相离散且模糊方式互不相同的多个像。即，光学器件110被构成为，PSF在空间区域内具有多个顶峰的方式。
图5是表示实施方式所涉及的光学器件的光学模糊的一个例子的图。具体是，图5是表示光学器件110的PSF、OTF(光学传递函数： Optical Transfer Function)以及MTF(Modulation Transfer Function)的图。OTF是对PSF进行傅里叶变换之后的函数的大小。即，OTF是在空间频域表示PSF时的振幅值。另外，MTF是在特定的空间轴方向上对OTF进行剖面切割的结果。图5的MTF表示在该图的OTF是X轴方向(横轴方向)的空间频率特性。
如图5所示，光学器件110的PSF具有旋转非对称的形状。即，光学器件110被构成为PSF具有旋转非对称形状的方式。
另外，光学器件110的PSF根据景深而变化。即，光学器件110被构成为PSF根据景深而变化的方式。
另外，从图5的MTF可知，在PSF中空间频率成分的值成为规定阈值以下的频率存在1处以上。即，光学器件110被构成为，在空间频域中PSF的一部分频率成分的值成为规定阈值以下的频率存在1处以上的方式。该规定阈值是零或者非常接近零的值。以下，这种根据空间频率成分的值成为规定阈值以下的频率而确定出的频域上的点也称之为零点。
该零点的位置以及数量的至少一方根据景深而变化。即，光学器件110被构成为，在空间频域中PSF的一部分频率成分的值成为阈值以下的频率的值以及数量的至少一方随着景深而变化方式。
另外，从OTF可看出，光学器件110被构成为，在空间区域中PSF具有多个顶峰的方式。
另外，图3至图5中说明的光学器件110表示一例，光学器件110并非一定要包含这种透镜111。例如，光学器件110中包含的透镜111并非必须要有4个区域。透镜111还可以具有对焦位置互不相同的2个或者3个，或者5个以上的区域。
另外，透镜111并非必须是矩形板状的透镜。例如，透镜111也可以是圆板形状。再例如，透镜111也可以是像棱镜那样的立体形状。
另外，透镜111并非必须具有表面的倾斜角度互不相同的多个区域。例如，透镜111可以具有曲面形状互不相同的多个区域。再例如， 透镜111可以具有每个区域由折射率不同的材质构成的多个区域。
另外，光学器件110可以包含取代透镜111的多焦点透镜。另外，光学器件110可以包含利用像散和场曲等各种透镜像差的透镜。在这种情况下，光学器件110如图5所示，也能够被构成为具有可在不同空间方向构成不同的非对称模糊的PSF的方式。
另外，光学器件110可以包含取代透镜111的一般的焦点透镜和如图6所示的光圈。或者，光学器件110可以包含透镜111和如图6所示的光圈的两者。
图6是表示实施方式所涉及的光学器件中包含的光圈的一个例子的外观图。
在光圈112上形成有多个开口。该光圈112相当于非专利文献2中的编码光圈。在这种光学器件110中包含光圈112的情况下，光学器件110也能够被构成为具有如图5所示的控制不同的空间方向构成不同的非对称模糊的PSF的方式。
另外，光圈112是光学器件110中包含的光圈的一个例子，并非必须是如图6所示的光圈。即，在光圈上形成的开口的个数以及形状并非必须是如图6所示的个数以及形状。
以下，关于图2的摄像装置100所具备的执行器120进行说明。
执行器120使光学器件110的一部分或者全部旋转。具体是，执行器120根据来自摄像部130的旋转控制信号，利用例如由电磁石等产生的动力来使光学器件110旋转。
如上所述，光学器件110的PSF具有旋转非对称的形状。因此，执行器120通过使光学器件110的一部分或者全部旋转，能够使光学器件110的PSF的形状变化。
图7是表示实施方式所涉及的光学器件旋转的一个例子的图。具体是，图7是从被摄体侧观察旋转前后的光学器件110的图。
在图7中，执行器120通过使光学器件110旋转，将使表示光学器件110的旋转方向的位置的角度从第一角度θ1变化成第二角度θ2。
在此，如图7(a)所示，将表示光学器件110的旋转方向的位置的角度为第一角度θ1时的光学器件110的旋转方向的位置，称为基准位置。另外，如图7(b)所示，将表示光学器件110的旋转方向的位置的角度为第二角度θ2时的光学器件110的旋转方向的位置，称为旋转位置。
在图7中，光学器件110的旋转角为90度，但并非必须是90度。即，执行器120只要能使光学器件110的PSF的形状变化，可以使光学器件110旋转任意的旋转角度。
以下，关于图2的摄像装置100所具备的摄像部130进行说明。
每次光学器件110一旋转，摄像部130就拍摄图像，从而生成多个摄影图像数据。具体是，摄像部130在光学器件110的旋转方向的位置是基准位置时拍摄图像，然后，在光学器件110的旋转方向的位置是旋转位置时再次拍摄图像。如图2所示，摄像部130具备快门131、摄像元件132和控制部133。
快门131控制向摄像元件132射入的光。具体是，快门131通过进行开关动作，使通过了光学器件110的光在拍摄时通过，而在非拍摄时遮断该光。在此，快门131根据来自控制部133的快门控制信号进行开关动作。
摄像元件132例如是CCD(Charge Coupled Device)图像传感器或者CMOS(Complementary Metal Oxide Semiconductor)图像传感器等的固体摄像元件。摄像元件132通过将射入的光变换成电信号来拍摄图像。
控制部133控制摄像装置100。具体是，控制部133根据例如快门按键被按压的情况等，向快门131输出快门控制信号，从而使快门131开或者关。另外，控制部133通过向执行器120输出旋转控制信号，来由执行器120旋转光学器件110。
以下，关于具有如上所述的结构的摄像装置100的动作进行说明。
图8是表示实施方式所涉及的摄像装置的处理动作的流程图。在 图8中，说明光学器件110的旋转方向的初期位置为基准位置的情况。
首先，摄像部130通过拍摄图像，来生成第一摄影图像数据(S101)。即，摄像部130在光学器件110的旋转方向的位置为基准位置时拍摄图像。即，摄像部130在表示光学器件110的旋转方向的位置的角度为第一角度θ1时拍摄图像。
接下来，摄像部130介由执行器120，使光学器件110的一部分或者全部旋转(S102)。即，摄像部130使光学器件110的旋转方向的位置从基准位置变化为旋转位置。即，摄像部130使表示光学器件110的旋转方向的位置的角度从第一角度θ1变化为第二角度θ2。
最后，摄像部130在步骤S102使光学器件110旋转之后拍摄图像，从而生成第二摄影图像数据(S103)。即，摄像部130在光学器件110的旋转方向的位置为旋转位置时拍摄图像。即，摄像部130在表示光学器件110的旋转方向的位置的角度为第二角度θ2时拍摄图像。
通过以上，摄像装置100能够获得多个摄影图像数据，这些多个摄影图像数据用于获得深度数据和复原图像数据的。接下来，说明摄像部130的这些处理动作的具体例。
图9是用于说明实施方式所涉及的摄像装置的处理动作的图。
在光学器件110的旋转方向的位置并非是基准位置的情况下，首先，控制部133生成用于使光学器件110的旋转方向的位置成为基准位置的旋转控制信号，并输出到执行器120(时刻t1)。执行器120根据来自控制部133的旋转控制信号，使光学器件110旋转(时刻t1～t2)。其结果，光学器件110的旋转方向的位置成为如图7(a)所示的基准位置。在本实施方式中，表示显示光学器件110的旋转方向的位置的角度成为第一角度θ1。
其次，控制部133生成用于使快门开关的快门控制信号，并输出到快门131(时刻t3)。快门131根据从来自控制部133的快门控制信号，通过在一定期间内开放快门，使通过了光学器件110的光射入 摄像元件132(时刻t3～t4)。即，摄像部130通过在光学器件110的旋转方向的位置为基准位置时拍摄图像，来生成第一摄影图像数据。
控制部133生成用于使光学器件110的旋转方向的位置从基准位置变化为旋转位置的旋转控制信号，并输出到执行器120(时刻t4)。即，控制部133生成用于使光学器件110的旋转方向的位置从基准位置变化为旋转位置的旋转控制信号。
执行器120根据旋转控制信号，使光学器件110的一部分或者全部旋转(时刻t4～t5)。其结果，光学器件110的旋转方向的位置变化为如图7(b)所示的旋转位置。
控制部133生成用于使快门开关的快门控制信号，并输出到快门131(时刻t6)。快门131根据来自控制部133的快门控制信号，通过在一定期间内开放快门，使通过了光学器件110的光射入摄像元件132(时刻t6～t7)。即，摄像部130通过在光学器件110的旋转方向的位置为旋转位置时拍摄图像，来生成第二摄影图像数据。
通过以上，摄像装置100能够拍摄用于获得深度数据和复原图像数据的图像。接下来，关于利用通过以上方法生成的摄影图像数据来生成深度数据和复原图像数据的图像处理装置200进行说明。
图10是表示实施方式所涉及的图像处理装置的结构的方框图。图像处理装置200通过对由摄像装置100生成的多个摄影图像数据进行处理，生成深度数据和复原图像数据。如图10所示，图像处理装置200具备深度数据生成部210和复原处理部230。
深度数据生成部210确定出频率成分的值在多个摄影图像数据的至少一个摄影图像数据中成为规定阈值以下的频率。并且，深度数据生成部210根据确定出的频率，生成深度数据。
复原处理部230根据光学器件110旋转前的光学模糊和光学器件110旋转后的光学模糊，对多个摄影图像数据进行复原处理，从而生成复原图像数据。即，复原处理部230利用光学器件110的旋转方向的位置为基准位置时的PSF和光学器件110的旋转方向的位置为旋转位 置时PSF，来对多个摄影图像数据进行复原处理。
以下，对具有所述结构的图像处理装置200的处理动作进行说明。
图11是表示实施方式所涉及的图像处理装置的处理动作的流程图。在此，说明从摄像装置1002获得了两个摄影图像数据(第一以及第二摄影图像数据)的情况。
首先，深度数据生成部210根据频率成分的值在第一以及第二摄影图像数据的至少一方中成为规定阈值以下的频率，生成深度数据(S201)。例如，深度数据生成部210通过与非专利文献2或者3相同的方法，生成深度数据。
在此，能够按每个摄影图像数据生成深度数据。因此，深度数据生成部210可以根据第一以及第二摄影图像数据生成第一以及第二深度数据，并生成第一以及第二深度数据的算术平均或者加权平均，并以此作为所述深度数据。由此，深度数据生成部210可以使深度数据的精度提高。
然后，复原处理部230通过对第一以及第二摄影图像数据进行加算，来生成1个加算图像数据(S202)。
接下来，复原处理部230根据光学器件110的旋转前的光学模糊和光学器件110的旋转后的光学模糊，对加算图像数据进行复原处理，从而生成复原图像数据(S203)。
具体是，复原处理部230例如从预先保持有PSF的存储器(未图示)取得PSF，该PSF是指与光学器件110的旋转方向的位置以及景深对应起来被保持的PSF。更具体是，复原处理部230，按第一摄影图像数据的每个像素，取得与第一摄影图像数据被摄影时的光学器件110的旋转方向的位置和深度数据所表示的景深相对应的PSF。关于第二摄影图像数据也同样，复原处理部230从存储器取得对应的PSF。
然后，复原处理部230对通过以上处理取得的、与第一摄影图像数据对应的PSF(以下称之为“第一PSF”)以及与第二摄影图像数据的PSF(以下称之为“第二PSF”)进行加算，并对所述加算图像 数据进行复原处理。
复原处理是指降低加算图像数据的模糊的处理。具体是，在复原处理中，例如在被区分成局部空间的一部分图像区域中，频率变换之后，以频率变换之后的值除以对第一PSF和第二PSF进行加算而获得的PSF。然后再次变换成空间区域。复原处理可以是利用理查森露西法或维纳滤波器法的处理。
以上由复原处理部230进行的处理为一例，例如，图11的流程图也可以不包含加算处理(S202)。即，复原处理部230并非必须要通过对多个摄影图像数据进行加算，并对与这些摄影图像数据对应的PSF也进行加算，来进行复原处理。例如，复原处理部230可以通过与非专利文献4所记载的式(8)相同的方法，不对多个摄影图像数据进行加算就生成复原图像数据。
另外，复原处理部230也可以将以上举出的处理全都作为空间区域的二维过滤处理来实施。
如上所述，在本实施方式所涉及的摄像装置100或者摄像系统10中，光学器件110具有旋转非对称形状的光学模糊。即，旋转前的光学器件的光学模糊和旋转后的光学器件的光学模糊，在二维平面空间的光学特性互不相同。因此，在每当光学器件旋转时拍摄的多个图像中，因光学模糊而丢失的图像成分也互不相同。从而，多个摄影图像能够相互补充因光学模糊而丢失的图像成分。若利用这种多个摄影图像数据来生成复原图像数据，可使复原图像的画质提高。
并且，根据本实施方式所涉及的摄像装置100或者摄像系统10，通过使光学器件单纯地旋转，就能够使光学器件的光学模糊发生变化。因此，无需为了拍摄图像而特意更换光学器件，就能够容易地拍摄到用于获得深度数据和复原图像数据的图像。另外，能够使光学器件的光学模糊的形状在较短的时间内变化，因此能够实现应对性优越的摄像装置。
另外，根据本实施方式所涉及的摄像装置100或摄像系统10，能 够使在空间频域中PSF的一部分频率成分的值成为规定阈值以下的频率的值以及数量的至少一方根据景深而变化。因此，在摄影图像数据中，通过确定出空间频率成分欠缺或者明显受损的频率，能够生成高精度的深度数据。即，可以在生成高精度的深度数据的同时，使复原图像数据的画质提高。
另外，根据本实施方式所涉及的摄像装置100或者摄像系统10，能够构成PSF在空间区域具有多个顶峰的光学器件。因此，能够提高对在光学器件110每当旋转时拍摄的多个图像中因光学模糊而丢失的图像成分的补充效果。
另外，根据本实施方式所涉及的摄像装置100或摄像系统10，能够使光学器件包含透镜，该透镜具有多个区域，该多个区域的各自的对焦位置互不相同。如果利用通过这种透镜拍摄的图像来扩大景深，以及利用通过格状焦点透镜拍摄的图像来扩大景深，与利用一边使对焦位置变化一边拍摄的图像来扩大景深的情况相比，能够以更少的光量有效地扩大景深，从而可获得信噪比高的复原图像。
以上，关于本发明的一形态所涉及的摄像装置100、图像处理装置200以及摄像系统10，根据实施方式进行了说明，但本发明并不限定于此。只要不脱离本发明的宗旨，将本领域技术人员所想到的各种变形方式实施于本实施方式的形态也属于本发明的范围内。
例如，在所述实施方式中，主要说明了生成2个摄影图像数据的情况，此外也可以生成3个以上的摄影图像数据。在此情况下，例如，使光学器件旋转2次以上，并在每次旋转时拍摄图像即可。如果利用3个以上的摄影图像数据，能够进一步提高对因光学模糊而丢失的频率成分的补充效果，从而可使复原图像的画质进一步提高。
另外，所述实施方式所涉及的摄像装置或者图像处理装置，还可以具备用于进行摄影图像的颜色校正、伽马校正或者Bayer插值等的一般图像处理的结构要素。另外，图像处理装置还可具备用于临时保持摄影图像数据的存储部。
另外，在所述实施方式中，对光学器件110的旋转角并无特别限定，但优选为，预先决定可对因光学模糊而丢失的频率成分有效地进行补充的角度。具体是，旋转角例如可以是能够获得如下PSF组合的角度，该PSF组合是指与旋转方向的多个位置分别对应的PSF的组合中的、被加算的PSF的频率成分的最小值成为最大的PSF的组合。由此，在多个摄影图像数据中，能够提高因光学模糊而丢失的频率成分的补充效果，从而能提高复原图像的画质。
另外，并非必须要用PSF来表示光学模糊。例如，也可以用通过对PSF进行频域变换之后的二维的复质数来表示光学模糊。
另外，所述实施方式的图像处理装置200所具备的结构要素的一部分或者全部可由1个系统LSI(Large Scale Integration∶大规模集成电路)构成。例如，图像处理装置200可由具有深度数据生成部210和复原处理部230的系统LSI构成。
系统LSI是将多个结构部聚集于1个芯片上制造而成的超多功能LSI，具体是包括微处理器、ROM(Read Only Memory)、RAM(Random Access Memory)等而构成的计算机系统。所述ROM中存储有计算机程序。所述微处理器按照所述计算机程序进行动作，从而系统LSI达成其功能。
另外，在此说明了系统LSI，但根据集成程度的不同，还可称之为IC、LSI、超级LSI、最超级LSI。另外，集成电路化的方法并不限定于LSI，还可以通过专用电路或者通用处理器来实现。还可以利用在LSI制造之后可以进行编程的FPGA(Field Programmable GateArray)，或者可以对LSI内部的电路单元的连接和设定进行重新构筑的可重建处理器。
另外，随着半导体技术的进步以及其他技术的衍生，若有可代替LSI的技术出现，当然能够利用该技术进行功能块的集成化。生物技术被视为具有应用可能性。
另外，不仅能够作为具备所述特征性结构要素的摄像装置、图像 处理装置或者摄像系统来实现本发明，还能够作为用于执行摄像装置、图像处理装置或者摄像系统中包含的特征性结构要素所进行的处理的摄像方法或者图像处理方法来实现本发明。另外，还能够作为用于使计算机执行图像处理方法中包含的各特征性步骤的计算机程序来实现本发明。并且，当然能够利用CD-ROM(Compact Disc Read Only Memory)等计算机可读取的非临时性记录介质或者互联网等通信网络来使所述计算机程序流通。
本发明可利用于数字静态相机或者数字摄像机之类的摄像装置等。
符号说明
10 摄像系统
100 摄像装置
110 光学器件
111 透镜
112 光圈
120 执行器
130 摄像部
131 快门
132 摄像元件
133 控制部
200 图像处理装置
210 深度数据生成部
230 复原处理部

Claims (9)

1.一种摄像装置，拍摄用于获得深度数据和复原图像数据的图像，该深度数据表示摄影场景的景深，该复原图像数据是光学模糊被降低之后的图像数据，该摄像装置具备：
光学器件，旋转前的该光学器件的光学模糊和旋转后的该光学器件的光学模糊在二维平面空间具有不相同的光学特性；
执行器，使所述光学器件的一部分或者全部旋转；以及
摄像部，每次所述光学器件一旋转，该摄像部就拍摄图像，从而生成多个摄影图像数据，该多个摄影图像数据能够相互补充因光学模糊而丢失的图像成分。
2.如权利要求1所述的摄像装置，
所述光学模糊由点扩散函数表示，
所述光学器件具有，所述点扩散函数根据景深而变化的结构。
3.如权利要求2所述的摄像装置，
所述光学器件构成为，空间频域中的、所述点扩散函数的一部分频率成分的值为规定阈值以下的频率存在一处以上。
4.如权利要求3所述的摄像装置，
所述光学器件具有，在空间频域中所述点扩散函数的一部分频率成分的值成为规定阈值以下的频率的值以及数量的至少一方根据景深而变化的结构。
5.如权利要求2所述的摄像装置，
所述光学器件具有，在空间区域中所述点扩散函数具有多个峰值的结构。
6.如权利要求1所述的摄像装置，
所述光学器件包含透镜，该透镜具有多个区域，该多个区域的各自的对焦位置互不相同。
7.如权利要求1所述的摄像装置，
所述光学器件包含形成有多个开口的光圈。
8.一种摄像系统，具备：
权利要求1至7中的任一项所述的摄像装置；以及
图像处理装置，通过对由所述摄像装置生成的多个摄影图像数据进行处理，生成所述深度数据和所述复原图像数据，
所述图像处理装置具备：
深度数据生成部，根据所述多个摄影图像数据的至少一个摄影图像数据中的、空间频率成分的值为规定阈值以下的频率，生成所述深度数据；以及
复原处理部，根据与所述多个摄影图像数据对应的光学模糊，对所述多个图像数据进行复原处理，从而生成所述复原图像数据。
9.一种图像处理方法，是一种利用具备光学器件和执行器的摄像装置来拍摄图像并对拍摄的图像进行处理的图像处理方法，旋转前的该光学器件的光学模糊和旋转后的该光学器件的光学模糊在二维平面空间具有不相同的光学特性，该执行器使所述光学器件旋转，该图像处理方法包括：
第一拍摄步骤，通过拍摄图像，生成第一摄影图像数据；
旋转步骤，介由所述执行器，使所述光学器件的一部分或者全部旋转；
第二拍摄步骤，通过在所述光学器件旋转之后拍摄图像，生成第二摄影图像数据；
深度数据生成步骤，根据空间频率成分的值在所述第一摄影图像数据以及所述第二摄影图像数据的至少一方中成为规定阈值以下的频率，来生成表示摄影场景的景深的深度数据；以及
复原步骤，根据与所述第一摄影图像数据以及第二摄影图像数据对应的光学模糊，对所述多个图像数据进行复原处理，从而生成复原图像数据。
CN201280004046.XA 2011-12-12 2012-12-10 摄像装置、摄像系统、摄像方法以及图像处理方法 Active CN103262523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011271357 2011-12-12
JP2011-271357 2011-12-12
PCT/JP2012/007863 WO2013088690A1 (ja) 2011-12-12 2012-12-10 撮像装置、撮像システム、撮像方法および画像処理方法

Publications (2)

Publication Number Publication Date
CN103262523A CN103262523A (zh) 2013-08-21
CN103262523B true CN103262523B (zh) 2017-07-25

Family

ID=48612166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280004046.XA Active CN103262523B (zh) 2011-12-12 2012-12-10 摄像装置、摄像系统、摄像方法以及图像处理方法

Country Status (4)

Country Link
US (1) US9826219B2 (zh)
JP (1) JP6151641B2 (zh)
CN (1) CN103262523B (zh)
WO (1) WO2013088690A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506771B (zh) * 2014-12-18 2018-04-27 北京智谷睿拓技术服务有限公司 图像处理方法及装置
US9602715B2 (en) * 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
JP6717690B2 (ja) * 2016-07-01 2020-07-01 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
WO2018225547A1 (ja) * 2017-06-09 2018-12-13 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US20220134789A1 (en) 2020-11-04 2022-05-05 Verifyme, Inc. Laser ablation for latent image indicia

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1304260A1 (en) * 2000-07-12 2003-04-23 Alejandro Rodriguez Barros Rear-view mirror with multiple interchangeable signals for vehicles with two, three, four or more wheels
CN1421724A (zh) * 2001-11-29 2003-06-04 株式会社立山研开 全景摄影透镜

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2123077C (en) 1994-04-14 2001-09-04 Anthony B. Greening Single lens stereoscopic imaging system
JP3791777B2 (ja) * 2001-12-28 2006-06-28 オリンパス株式会社 電子内視鏡
DE10210327B4 (de) * 2002-03-08 2012-07-05 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Laufbildkamera
US7180673B2 (en) 2003-03-28 2007-02-20 Cdm Optics, Inc. Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
JP2006184844A (ja) * 2004-12-03 2006-07-13 Tochigi Nikon Corp 結像光学系及びこれを用いた撮像装置
JP2008268869A (ja) * 2007-03-26 2008-11-06 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
WO2008133959A1 (en) * 2007-04-23 2008-11-06 California Institute Of Technology Single-lens 3-d imaging device using a polarization-coded aperture maks combined with a polarization-sensitive sensor
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
JP5173665B2 (ja) * 2008-08-08 2013-04-03 キヤノン株式会社 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP5361546B2 (ja) * 2009-06-03 2013-12-04 キヤノン株式会社 レンズ装置、及びその制御方法
TW201044856A (en) * 2009-06-09 2010-12-16 Ind Tech Res Inst Image restoration method and apparatus
US8432479B2 (en) * 2010-04-30 2013-04-30 Apple Inc. Range measurement using a zoom camera
DE102010023344A1 (de) * 2010-06-10 2012-01-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Kameraobjektiv und Kamerasystem
JP5591090B2 (ja) * 2010-12-13 2014-09-17 キヤノン株式会社 画像処理装置およびその方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1304260A1 (en) * 2000-07-12 2003-04-23 Alejandro Rodriguez Barros Rear-view mirror with multiple interchangeable signals for vehicles with two, three, four or more wheels
CN1421724A (zh) * 2001-11-29 2003-06-04 株式会社立山研开 全景摄影透镜

Also Published As

Publication number Publication date
CN103262523A (zh) 2013-08-21
JP6151641B2 (ja) 2017-06-21
WO2013088690A1 (ja) 2013-06-20
JPWO2013088690A1 (ja) 2015-04-27
US20140063203A1 (en) 2014-03-06
US9826219B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
Wang et al. Selective light field refocusing for camera arrays using bokeh rendering and superresolution
US10645368B1 (en) Method and apparatus for estimating depth of field information
JP4981124B2 (ja) 改良型プレノプティック・カメラ
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
US8345144B1 (en) Methods and apparatus for rich image capture with focused plenoptic cameras
CN103262523B (zh) 摄像装置、摄像系统、摄像方法以及图像处理方法
CN103139469B (zh) 利用多分辨率过程生成鲁棒深度图的系统和方法
CN108337434B (zh) 一种针对光场阵列相机的焦外虚化重聚焦方法
JP6802372B2 (ja) 端末のための撮影方法及び端末
CN107925751A (zh) 用于多视点降噪和高动态范围的系统和方法
TW201044856A (en) Image restoration method and apparatus
Chen et al. Light field based digital refocusing using a DSLR camera with a pinhole array mask
Miau et al. Focal sweep videography with deformable optics
Wu et al. Geometry based three-dimensional image processing method for electronic cluster eye
WO2012061571A1 (en) Camera systems and methods for gigapixel computational imaging
CN108805921A (zh) 图像获取系统及方法
Ito et al. Compressive epsilon photography for post-capture control in digital imaging
JP2017103756A (ja) 画像データ処理装置及び方法
JP6353415B2 (ja) 辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラム
TW202238522A (zh) 使用焦點資訊深度估計的方法和裝置
Shih et al. Generating high-resolution image and depth map using a camera array with mixed focal lengths
JP5553862B2 (ja) 撮像装置および撮像装置の制御方法
Alzayer et al. DC2: Dual-Camera Defocus Control by Learning To Refocus
JP6353414B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
Zhang et al. Model of light field imaging and its application in refocus and all-focus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant