CN101554042A - 图像拾取装置和图像拾取方法 - Google Patents

图像拾取装置和图像拾取方法 Download PDF

Info

Publication number
CN101554042A
CN101554042A CNA2007800448393A CN200780044839A CN101554042A CN 101554042 A CN101554042 A CN 101554042A CN A2007800448393 A CNA2007800448393 A CN A2007800448393A CN 200780044839 A CN200780044839 A CN 200780044839A CN 101554042 A CN101554042 A CN 101554042A
Authority
CN
China
Prior art keywords
image pickup
image
microlens array
array portion
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800448393A
Other languages
English (en)
Other versions
CN101554042B (zh
Inventor
梶原淳志
山本健二
市村功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101554042A publication Critical patent/CN101554042A/zh
Application granted granted Critical
Publication of CN101554042B publication Critical patent/CN101554042B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0075Arrays characterized by non-optical structures, e.g. having integrated holding or alignment means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/12Fluid-filled or evacuated lenses
    • G02B3/14Fluid-filled or evacuated lenses of variable focal length
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules

Abstract

本发明提供一种图像拾取装置,该图像拾取装置具有简单构造且能够在基于光场摄影技术的图像拾取模式和标准高分辨率图像拾取模式之间切换。该图像拾取装置包括:图像拾取透镜(11);微透镜阵列单元(12),透过图像拾取透镜的光进入微透镜阵列单元(12);以及图像拾取器件(13),接受从微透镜阵列单元(12)发射的光。构成微透镜阵列单元(12)的微透镜具有可以响应所施加的电压而改变的焦距。

Description

图像拾取装置和图像拾取方法
技术领域
本发明涉及一种图像拾取装置和图像拾取方法,更具体地,涉及一种能够在两种图像拾取模式,例如基于光场摄影(light field photography)技术的图像拾取模式和标准高分辨率图像拾取模式之间切换的图像拾取装置和图像拾取方法。
背景技术
到目前为止,已经提出并开发了各种图像拾取装置。而且,已经提出了这样的图像拾取装置,该图像拾取装置对通过图像拾取而获得的图像拾取信号实施预定图像处理从而输出该图像拾取信号。例如,专利文献1和非专利文献1提出了采用被称为光场摄影技术的图像拾取装置。该图像拾取装置包括图像拾取透镜、微透镜阵列、光检测器件和图像处理部,由光检测器件获得的图像拾取信号包括光检测器件的光检测平面上的光强以及关于光的行进方向的信息。然后,图像处理部基于这样的图像拾取信号重构从任意视点或者任意方向所观察到的图像。
[专利文献1]国际申请公开No.06/039486。
[非专利文献1]Ren.Ng,et al.“Light Field Photography with a Hand-HeldPlenoptic Camera”,Standford Tech Report CTSR2005-02。
发明内容
附带地,利用光场摄影技术的图像拾取装置有望通过在不利用光场摄影技术的标准高分辨率图像拾取模式(被称为第一图像拾取模式)和基于光场摄影技术的图像拾取模式(被称为第二图像拾取模式)之间适当地切换而利用这两种图像拾取模式。然而,为了以这样的方式在两种图像拾取模式之间切换,必须机械地移动微透镜阵列。更具体地,在第一图像拾取模式中,因为微透镜阵列不是必需的,所以有必要移动和从以上光轴去除微透镜阵列。另一方面,在第二图像拾取模式中,必须将微透镜阵列设置在光轴上。因此,在尝试通过在两种图像拾取模式之间切换而利用两种图像拾取模式时,存在这样的问题:图像拾取装置的构造和组件是复杂的,从而引起整个图像拾取装置尺寸增大。
因此,本发明的一个目标是提供具有简单构造和组件的图像拾取装置和利用该图像拾取装置的图像拾取方法,该图像拾取装置能够容易地在两种图像拾取模式,例如基于光场摄影技术的图像拾取模式和标准高分辨率图像拾取模式之间切换。
用于实现上述目标的根据本发明第一模式的图像拾取装置的特征在于其包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过图像拾取透镜的光进入微透镜阵列部;以及
(C)图像拾取器件,检测从微透镜阵列部发射的光,
其中构成微透镜阵列部的每个微透镜的焦距可响应于所施加的电压而改变,
根据本发明第一模式的图像拾取装置可以具有以第一图像拾取模式和第二图像拾取模式进行图像拾取的构造,
在以第一图像拾取模式进行图像拾取时,构成微透镜阵列部的每个微透镜的焦距变成无穷大,从而通过图像拾取透镜得到的图像形成在图像拾取器件上,并且
在以第二图像拾取模式进行图像拾取时,通过图像拾取透镜得到的图像形成在微透镜上,且每个微透镜的焦距变成有限的值,从而通过图像拾取透镜形成在微透镜上的图像投影在图像拾取器件上。
而且,用于实现上述目标的根据本发明第一模式的图像拾取方法利用根据本发明第一模式的图像拾取装置,该图像拾取装置包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过图像拾取透镜的光进入微透镜阵列部;以及
(C)图像拾取器件检测从微透镜阵列部发射的光,
在该图像拾取装置中,构成微透镜阵列部的每个微透镜的焦距可响应于所施加的电压而改变,
该图像拾取方法的特征在于:以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以第一图像拾取模式进行图像拾取时,构成微透镜阵列部的每个微透镜的焦距变成无穷大,从而通过图像拾取透镜得到的图像形成在图像拾取器件上,并且
在以第二图像拾取模式进行图像拾取时,通过图像拾取透镜得到的图像形成在微透镜上,且每个微透镜的焦距变成有限的值,从而通过图像拾取透镜形成在微透镜上的图像投影在图像拾取器件上。
包括上述优选构造的根据本发明第一模式的图像拾取装置或者在该图像拾取方法中采用的图像拾取装置(以下被共同称为根据本发明第一模式的图像拾取装置等)还包括:
(D)图像处理部,用于对来自图像拾取器件的信号进行预定图像处理;以及
(E)电压提供部,用于向微透镜阵列部施加电压,并且
图像拾取装置可以具有以第一图像拾取模式和第二图像拾取模式进行图像拾取的构造,
在以第一图像拾取模式进行图像拾取时,停止由电压提供部向微透镜阵列部施加电压,且停止有图像处理部实施的预定图像处理,并且
在以第二图像拾取模式进行图像拾取时,由电压提供部向微透镜阵列部施加电压且由图像处理部实施预定图像处理。此外,为了方便,这样的构造被称为第一构造。
或者,根据本发明第一模式的图像拾取装置等还包括:
(D)图像处理部,用于对来自图像拾取器件的信号进行预定图像处理;
(E)电压提供部,用于向微透镜阵列部施加电压,并且
该图像拾取装置可以具有以第一图像拾取模式和第二图像拾取模式进行图像拾取的构造,
在以第一图像拾取模式进行图像拾取时,由电压提供部向微透镜阵列部施加电压且停止由图像处理部实施的预定图像处理,并且
在以第二图像拾取模式进行图像拾取时,停止由电压提供部向微透镜阵列部施加电压且由图像处理部实施预定图像处理。此外,为了方便,这样的构造被称为第二构造。
具有上述各种优选构造的任意一种的根据本发明第一模式的图像拾取装置等可以具有这样的构造,在该构造中还包括用于改变微透镜阵列部和图像拾取器件之间的距离而保持图像拾取透镜和微透镜阵列部之间的固定距离的驱动构件。为了方便,这样的构造被称为第三构造。然后,在第三构造中,驱动构件可以具有这样的构造,其中驱动构件沿图像拾取装置的光轴移动图像拾取器件,或者具有这样的构造,其中驱动构件沿图像拾取装置的光轴移动图像拾取透镜和微透镜阵列部,或者在第三构造中,图像拾取装置可以具有这样的构造,其中还包括:
(D)图像处理部,用于对来自图像拾取器件的信号进行预定图像处理;以及
(E)电压提供部,用于向微透镜阵列部施加电压,并且
当构成微透镜阵列部的每个微透镜的F数和图像拾取透镜的F数之间发生失配时,从电压提供部施加到微透镜阵列部的电压被改变,且微透镜阵列部和图像拾取器件之间的距离由驱动构件改变。
而且,具有上述各种优选构造的任意一种的根据本发明第一模式的图像拾取装置等可以具有这样的构造,其中微透镜阵列部由液晶透镜阵列构成。为了方便,这样的构造被称为第四构造。然后,在第四构造中,液晶透镜阵列可以具有这样的构造,其中液晶透镜阵列包括:
(a)第一基板,包括第一电极;
(b)第二基板,包括第二电极;以及
(c)液晶层,布置在第一电极和第二电极之间,并且
液晶透镜阵列根据电压是否施加到第一电极和第二电极而被用作透镜。第一电极和第二电极的至少之一优选具有但不限于具有用于形成微透镜的曲面。
备选地,在第四构造中,图像拾取装置等可以具有这样的构造:当定义以图像拾取装置的光轴作为Z轴的三维高斯空间,且液晶透镜阵列用作透镜时,每个微透镜在X轴方向和Y轴方向具有基本上相等的屈光力(power)(光学屈光力)。为了方便,这样的构造被称为第4A构造。这里,在定义了与Z轴正交的任意轴,定义了包括该轴和Z轴的虚设面,包括在能够获得最大屈光力的虚设面中的轴的是X轴且X轴方向中的屈光力是PX、Y轴方向中的屈光力是PY时,在X轴方向和Y轴方向具有基本上相等的屈光力意味着满足PY=PX。备选地,图像拾取装置等可以具有这样的构造,其中当定义以图像拾取装置的光轴作为Z轴的三维高斯空间时,发射沿X轴方向偏振的光的偏振板和偏振方向可变器件设置在图像拾取透镜和微透镜阵列部之间,并且当液晶透镜阵列用作透镜时,每个微透镜在X轴方向不具有屈光力(光学屈光力)而在Y轴方向具有屈光力(光学屈光力)。为了方便,这样的构造被称为第4B构造。在第4B构造中,液晶透镜阵列构成在作为中心的Z轴上具有各向异性焦距的微透镜阵列部。换言之,构成液晶透镜阵列的每个液晶透镜形成在YZ面中具有有限焦距而在XZ面中具有无限焦距的微透镜。备选地,图像拾取装置等可以具有这样的构造,其中当定义以图像拾取装置的光轴作为Z轴的三维高斯空间时,发射沿X轴方向偏振的光的偏振板和偏振方向可变器件设置在图像拾取透镜和微透镜阵列部之间,并且当液晶透镜阵列用作透镜时,每个微透镜在Y轴方向不具有屈光力(光学屈光力)而在X轴方向具有屈光力(光学屈光力)。为了方便,这样的构造被称为第4C构造。在第4C构造中,液晶透镜阵列构成在作为中心的Z轴上具有各向异性焦距的微透镜阵列部。换言之,构成液晶透镜阵列的每个液晶透镜形成在XZ面中具有有限焦距而在YZ面中具有无限焦距的微透镜。屈光力(光学屈光力)表示透镜的折射本领,且典型地由透镜的焦距倒数表征。而且,在X轴方向具有屈光力意味着对X轴方向的偏振光发挥透镜效应,在Y轴方向具有屈光力意味着对Y轴方向的偏振光发挥透镜效应,在X轴方向不具有屈光力意味着对X轴方向的偏振光不发挥透镜效应,在Y轴方向不具有屈光力意味着对Y轴方向的偏振光不发挥透镜效应。
用于实现上述目标的根据本发明第二模式的图像拾取装置的特征在于其包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过图像拾取透镜的光进入微透镜阵列部;以及
(C)图像拾取器件检测从微透镜阵列部发射的光,
其中当定义以图像拾取装置的光轴作为Z轴的三维高斯空间时,发射沿X轴方向偏振的光的偏振板和偏振方向可变器件还设置在图像拾取透镜和微透镜阵列部之间,
该微透镜阵列部由液晶透镜阵列构成,并且
构成微透镜阵列部的每个微透镜在X轴方向不具有屈光力而在Y轴方向具有屈光力,或者每个微透镜在Y轴方向不具有屈光力而在X轴方向具有屈光力。
根据本发明第二模式的图像拾取装置可以具有这样的构造,其中:
以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以第一图像拾取模式进行图像拾取时,通过启动偏振方向可变器件,沿构成微透镜阵列部的每个微透镜不具有屈光力的方向偏振的光透过微透镜,且通过图像拾取透镜得到的图像形成在图像拾取器件上,并且
在以第二图像拾取模式进行图像拾取时,通过启动偏振方向可变器件,沿构成微透镜阵列部的每个微透镜具有屈光力的方向偏振的光进入微透镜,通过图像拾取透镜得到的图像形成在微透镜上,且通过图像拾取透镜形成在微透镜上的图像投影在图像拾取器件上。
用于实现上述目标的根据本发明第二模式的图像拾取方法包括根据本发明第二模式的图像拾取装置,该图像拾取装置包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过图像拾取透镜的光进入微透镜阵列部;以及
(C)图像拾取器件检测从微透镜阵列部发射的光,
在该图像拾取装置中,当定义以图像拾取装置的光轴作为Z轴的三维高斯空间时,发射X轴方向偏振光的偏振板和偏振方向可变器件还设置在图像拾取透镜和微透镜阵列部之间,
微透镜阵列部由液晶透镜阵列构成,并且
构成微透镜阵列部的每个微透镜在X轴方向不具有屈光力而在Y轴方向具有屈光力,或者每个微透镜在Y轴方向不具有屈光力而在X轴方向具有屈光力,
该图像拾取方法的特征在于:以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以第一图像拾取模式进行图像拾取时,通过启动偏振方向可变器件,沿构成微透镜阵列部的每个微透镜不具有屈光力的方向偏振的光透过微透镜,且通过图像拾取透镜得到的图像形成在图像拾取器件上,并且
在以第二图像拾取模式进行图像拾取时,通过启动偏振方向可变器件,沿构成微透镜阵列部的每个微透镜具有屈光力的方向偏振的光进入微透镜,通过图像拾取透镜得到的图像形成在微透镜上,且通过图像拾取透镜形成在微透镜上的图像投影在图像拾取器件上。
包括上述优选构造的根据本发明第二模式的图像拾取装置或者在该图像拾取方法中采用的图像拾取装置(以下被共同称为根据本发明第二模式的图像拾取装置等)还包括:
(D)图像处理部,用于对来自图像拾取器件的信号进行预定图像处理,并且
图像拾取装置可以具有以第一图像拾取模式和第二图像拾取模式进行图像拾取的构造,
在以第一图像拾取模式进行图像拾取时,停止由图像处理部实施预定图像处理,并且
在以第二图像拾取模式进行图像拾取时,由图像处理部实施预定图像处理。
具有上述各种优选构造的任意一种的根据本发明第二模式的图像拾取装置等可以具有这样的构造,在该构造中还包括用于改变微透镜阵列部和图像拾取器件之间的距离而保持图像拾取透镜和微透镜阵列部之间固定距离的驱动构件。然后,在该构造中,驱动构件可以具有这样的构造,其中驱动构件沿图像拾取装置的光轴移动图像拾取器件,或者具有这样的构造,其中驱动构件沿图像拾取装置的光轴移动图像拾取透镜和微透镜阵列部,或者在该构造中,图像拾取装置可以具有这样的构造,该构造中还包括:
(D)图像处理部,用于对来自图像拾取器件的信号进行预定图像处理,并且
当构成所述微透镜阵列部的每个微透镜的F数和所述图像拾取透镜的F数之间发生失配时,从所述电压提供部施加到所述微透镜阵列部的电压被改变,且所述微透镜阵列部和所述图像拾取器件之间的距离由所述驱动构件改变。
具有上述各种优选构造的任意一种的根据本发明第二模式的图像拾取装置等可以具有这样的构造,在该构造中偏振方向可变器件由液晶器件构成。更具体地,图像拾取装置等可以具有这样的构造,其中构成偏振方向可变器件的液晶器件包括:
(a′)一对基板;
(b′)电极,分别布置在所述一对基板上;以及
(c′)液晶层,布置在电极之间,而电极分别布置在所述一对基板对上。在这种情况中,邻近基板对的液晶分子的配向方向与X轴方向平行,邻近另一个基板的液晶分子的配向方向与Y轴方向平行。而且,电极对的每个可以由一个电极构成。在这种情况下,当偏振方向可变器件中的液晶层由液晶材料制成时,可以采用具有典型地扭曲向列效应(TN效应)的液晶材料。此外,偏振板(包括偏振膜或者偏振片)可以是具有已知构造和组成的偏振板。
在具有上述各种优选构造的任意一种的根据本发明第二模式的图像拾取装置中,液晶透镜阵列包括:
(a)第一基板,包括第一电极;
(b)第二基板,包括第二电极;以及
(c)液晶层,布置在第一电极和第二电极之间,并且该图像拾取装置等可以但是不是排他地具有这样的构造,其中
液晶透镜阵列根据电压是否施加到第一电极和第二电极而被用作透镜。第一电极和第二电极的至少之一优选但是不限于具有用于形成微透镜的曲面。
在根据本发明第二模式的图像拾取装置等中,偏振板和偏振方向可变器件设置在图像拾取透镜和微透镜阵列部之间,且偏振板和偏振方向可变器件可以以这样的顺序从图像拾取透镜侧开始设置或者偏振方向可变器件和偏振板可以以这样的顺序从图像拾取透镜侧开始设置。
作为根据本发明第一模式或者第二模式的图像拾取装置等(下文简单且共同称为本发明的图像拾取装置等)中的图像拾取透镜,可以采用摄影机、照相机等中使用的典型图像拾取透镜。而且,作为图像拾取器件(图像拾取构件),可以采用布置成二维矩阵形式的多个CCD(电荷耦合装置)或者CMOS传感器(为了方便,下面被称为构成图像拾取器件的图像拾取传感器)。微透镜阵列部由布置成二维矩阵形式的多个微透镜构成,并且假定微透镜的数量为p×Q,多个CCD或者CMOS传感器数量为M×N,作为例子,例如但不限于,P=12M且Q=12N。更具体地,微透镜的有限焦距可以是图像拾取器件的图像拾取面位于微透镜的焦平面上的位置处的值。期望具有这样的构造:从一个微透镜发射的光不进入与邻近该微透镜的微透镜相对应的图像拾取传感器。
在本发明的图像拾取装置等中,可以采用例如将电信号转变成机械操作的器件,更具体地为压电器件、压电致动器或者双金属器件,作为驱动构件。
在本发明的图像拾取装置等中,当微透镜阵列部由液晶透镜阵列构成时,向列液晶、胆甾型液晶或者手性向列液晶可以作为液晶材料的示例。
在本发明的图像拾取装置等中,微透镜可以是非球面透镜,但是微透镜不限于此,并且微透镜可以是任何其他透镜,例如,波带片、全息透镜、开诺全息透镜(kinoform lens)或者以二元光学器件为例的衍射透镜。
根据本发明第一模式的图像拾取装置或者图像拾取方法,包括响应于所施加的电压而改变焦距的微透镜阵列部,因此,可以易于实施第一图像拾取模式和第二图像拾取模式之间的图像拾取模式切换,在第一图像拾取模式中,进入微透镜阵列部的入射光未被改变方向而在图像拾取器件上形成图像,在第二图像拾取模式中,入射光在微透镜上形成图像,然后该图像被投影在图像拾取器件上。而且,在这两种图像拾取模式中采用公用的图像拾取光学系统,因此,图像拾取装置的构造和组件不复杂。
而且,根据本发明第二模式的图像拾取装置或者图像拾取方法,偏振板和偏振方向可变器件设置在图像拾取透镜和微透镜阵列部之间,因此通过启动偏振方向可变器件可以易于实施第一图像拾取模式和第二图像拾取模式之间的图像拾取切换,在第一图像拾取模式中,进入微透镜阵列部的入射光未被改变方向而在图像拾取器件上形成图像,在第二图像拾取模式中,入射光在微透镜上形成图像,然后该图像被投影在图像拾取器件上。而且,在这两种图像拾取模式中采用公用的图像拾取光学系统,因此,图像拾取装置的构造和组件不复杂。
当微透镜阵列部由液晶透镜阵列构成时,根据所采用的液晶材料,液晶透镜的折射率可以主要取决于入射光的偏振方向。在利用为非偏振光(随即偏振光)的自然光的图像拾取应用中,采用这样的液晶材料作为用于实现期望的折射本领的液晶材料,在该液晶透镜阵列中,发生色散,并且结果,会产生大的轴向像差或者倍率像差。因此,为了防止这样的现象发生,例如,不采用自然光而采用单色光作为光源,并且可以采用根据本发明第一模式或者根据本发明第二模式的图像拾取装置等中的第4B构造或者第4C构造。然而,在这些图像拾取装置等中的光源不限于单色光,可以根据所用的液晶材料而使用自然光。
附图说明
图1是第一实施例的图像拾取装置的概念框图;
图2A是形成第一实施例的图像拾取装置的微透镜阵列部的放大示意性局部截面图,图2B是包括在第三实施例的图像拾取装置中的偏振方向可变器件的放大示意性局部截面图;
图3A和3B是用于描述微透镜阵列部的透镜效应的微透镜阵列部的放大示意性局部截面图;
图4A是用于描述第二图像拾取模式中的预定图像处理的图像拾取透镜等的概念框图,图4B是用于描述第二图像拾取模式中的预定图像处理的图示;
图5是第二实施例的图像拾取装置的概念框图;
图6是示出当改变图像拾取透镜的孔径时图像拾取光学系统最优化处理示例的流程图;
图7A、7B、7C、和7D是图像拾取透镜等的示意图,用于描述如图6所示当图像拾取透镜的孔径改变时图像拾取光学系统最优化处理中光路改变的示例;
图8是图像拾取透镜的示意图,用于描述当图像拾取透镜的孔径改变时图像拾取光学系统最优化处理的变型示例;
图9是第三实施例的图像拾取装置的概念框图;
图10A和10B是示意性地示出第三实施例的图像拾取装置中透过微透镜的光在图像拾取器件上形成图像的状态及透过微透镜的光投射在图像拾取器件上的状态的图示;
图11A和11B是示意性地示出第三实施例的图像拾取装置中透过微透镜的光在图像拾取器件上形成图像的状态的变型示例及透过微透镜的光投影在图像拾取器件上的状态的变型示例的图示;
图12是第四实施例的图像拾取装置的概念框图。
具体实施方式
下面,将基于参考附图的实施例详细描述本发明。
[第一实施例]
第一实施例涉及根据本发明第一模式的图像拾取装置和图像拾取方法。更具体地,第一实施例的图像拾取装置具有第一构造和第4A构造。图1示出第一实施例的图像拾取装置1的概念框图。
第一实施例的图像拾取装置1拾取经受图像拾取的对象的图像以输出图像拾取数据Dout,并包括:
(A)图像拾取透镜11;
(B)微透镜阵列部12,透过图像拾取透镜11的光进入微透镜阵列部12;以及
(C)图像拾取器件(图像拾取构件)13检测从微透镜阵列部12发射的光。
构成微透镜阵列部12的每个微透镜12-1的焦距可根据所施加的电压改变。
这里,在第一实施例的图像拾取装置1中,
利用第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以第一图像拾取模式进行图像拾取时,构成微透镜阵列部12的每个微透镜12-1的焦距变成无穷大,因此通过图像拾取透镜11的图像形成在图像拾取器件13上(如图1中由虚线表示的光线所示),并且
在以第二图像拾取模式进行图像拾取时,通过图像拾取透镜11在微透镜12-1上形成图像,且每个微透镜12-1的焦距变成有限的值,因此通过图像拾取透镜11在微透镜12-1上形成的图像投影在图像拾取器件13上(如图1中由实线表示的光线所示)。
而且,第一实施例的图像拾取装置1还包括:
(D)图像处理部14,用于对来自图像拾取器件13的信号进行预定的图像处理;
(E)电压提供部(与图像拾取模式切换部相对应)15,用于向微透镜阵列部12施加电压,
并且图像拾取装置1还包括:
(F)控制部17,控制图像处理部14和电压提供部15。
因此,在图像拾取装置1中,利用第一图像拾取模式和第二图像拾取模式进行图像拾取,并且在以第一图像拾取模式进行图像拾取时,停止由电压提供部15向微透镜阵列部12施加电压,且停止由图像处理部14执行的预定图像处理,而且在以第二图像拾取模式进行图像拾取时,由电压提供部15向微透镜阵列部12施加电压且由图像处理部14执行预定图像处理。
在第一实施例或者下面将描述的第二到第四实施例中,图像拾取透镜11是用于拾取经受图像拾取的对象的图像的主透镜,且由例如摄影机、照相机等中使用的典型图像拾取透镜构成。而且,微透镜阵列部12由以二维矩阵形式布置的多个(第一实施例中数量P×Q=325×230)微透镜12-1构成,且依赖于图像拾取透镜11的聚焦的焦点状态,微透镜阵列部12布置在图像拾取透镜11的焦平面上。附带地,附图中的附图标记f1表示从图像拾取透镜11的中心到微透镜阵列部12的图像形成面的距离。在这种情况下,微透镜阵列部12由多个液晶透镜阵列构成。图像拾取器件13由以二维矩阵形式布置的多个CCD(第一实施例中像素的数量M×N=4032×2688)构成。图像拾取器件13检测从微透镜阵列部12射出的光,且产生图像拾取信号。图像拾取器件13布置在微透镜阵列部12的焦平面上。附带地,附图中的附图标记f2表示从微透镜阵列部12的中心到图像拾取器件13的图像形成面的距离(每个微透镜12-1的焦距),例如为f2=0.432mm。图像拾取器件驱动构件16驱动图像拾取器件13并控制图像拾取器件13的光检测操作。控制部17控制图像处理部14、电压提供部15和图像拾取器件驱动构件16的操作。更具体地,控制部17适当地控制图像拾取器件驱动构件16的驱动操作,且基于两种图像拾取模式,也就是,第一图像拾取模式和第二图像拾取模式控制图像处理部14和电压提供部15的操作。控制部17由微型计算机构成。
在第一实施例或者下面将描述的第二到第四实施例中,电压由电压提供部15施加到微透镜阵列部12。然后,在第一实施例或者下面将描述的第二和第三实施例中,响应微透镜阵列部12的电压施加状态,实施两种图像拾取模式,也就是,第一图像拾取模式和第二图像拾取模式之间的切换,其中第一图像拾取模式是标准高分辨率图像拾取模式,第二图像拾取模式是基于光场摄影技术的图像拾取模式。
在第一实施例或者下面将描述的第二到第四实施例中,在第二图像拾取模式中,在图像处理部14中实施预定图像处理。在第二图像拾取模式中,图像处理部14对由图像拾取器件13获得的信号(图像拾取信号)实施预定图像处理以输出该信号作为图像拾取数据Dout。更具体地,实施基于光场摄影技术的再聚焦运算处理(refocusing arithmetic processing)。然后,从任意视点或者任意方向所观察到的图像可以通过再聚焦运算处理被重构,并且可以获得图像的三维信息。此外,下面将描述再聚焦运算处理。
图2A示出第一实施例或者下面将描绘的第二实施例中的微透镜阵列部12的示意性局部截面图。微透镜阵列部12由液晶透镜阵列构成,该液晶透镜阵列包括:
(d)第一基板21,包括第一电极22;
(e)第二基板25,包括第二电极24;以及
(f)液晶层23,布置在第一电极和第二电极之间。
因此,液晶透镜阵列根据电压是否施加到第一电极22和第二电极24而用作透镜。在这种情况下,第一电极22和第二电极24的至少之一(第一实施例中第一电极22)具有用于形成微透镜12-1的曲面。此外,电压从电压提供部15施加到第一电极22和第二电极24。而且,第一电极22和第二电极24是公用电极,它们中的每个由一个电极构成。在第一实施例中,当以图像拾取装置1的光轴作为Z轴定义三维高斯空间,且液晶透镜阵列用作透镜时,每个微透镜12-1在X轴方向和Y轴方向具有基本上相等的屈光力(power)(光学屈光力)。更具体地,在定义与Z轴正交的任意轴且定义包括该轴和Z轴的虚设面的情况中,例如,当包括在能够获得最大屈光力的虚设面中的轴的是X轴且X轴方向中的屈光力是PX、Y轴方向中的屈光力是PY时,PY=PX被建立。换言之,在这样的构造中,液晶透镜阵列构成在作为中心的Z轴上具有各向同性焦距的微透镜阵列部。此外,作为这样的液晶透镜阵列,可以采用例如日本未经审查的专利申请公开No.2006-18325或者No.2006-189434中公开的光学特性可变光学元件,但是液晶透镜阵列不限于此。
在这种情况中,第一基板21和第二基板25中的每个由透明基板诸如允许入射光透过的玻璃基板构成。而且,第一电极22和第二电极24中的每个由例如用ITO(铟锡氧化物)制成的透明电极构成,与第一基板21和第二基板25的情况一样,第一电极22和第二电极24允许入射光透过。如以上所述,多个凹曲面以二维矩阵形成在第一电极22和第二电极24的表面S1和S2的电极22的表面S1上。液晶层23由非偏振(non-polarizing)/各向同性折射率液晶,例如向列液晶制成,并且通过响应施加在第一电极22和第二电极24之间的电压改变液晶层23中的液晶分子的配向态来改变液晶层23的折射率。此外,即使在下面将描述的第二到第四实施例任意之一的由液晶透镜阵列构成的微透镜阵列部中,这样的液晶透镜阵列的基本构造和组成也可以是相同的。
此外,如同第一实施例的图像拾取装置1,当包括各种波长范围的光的自然光用于图像拾取时,优选第一电极22的表面S1是非球面表面,因此微透镜12-1变成非球面透镜。与微透镜12-1由球面透镜构成的情况相比,由非球面透镜构成的微透镜12-1的曲率可以较小,因此光学设计变得更容易。而且,与微透镜12-1由衍射透镜构成的情况相比,在折射入射光的时候对波长的依赖度消失,因此可以防止轴向色差等的产生,并且微透镜12-1可以具有适于利用包括各种波长范围的光的自然光进行图像拾取的构造。此外,在将微透镜12-1用于利用单色光成像等的情况中,不存在波长依赖或轴向色差的问题,因此与由非球面透镜构成的微透镜12-1相比,由衍射透镜构成的微透镜12-1会具有较优的光学特性。
参考图1、图3A和3B、图4A和4B,下面将详细描述第一实施例的图像拾取装置1的操作。图3A和3B是用于描述微透镜阵列部12的透镜效应的示意性局部截面图,图3A示出电压未施加到微透镜阵列部12(第一图像拾取模式)的情形,图3B示出电压施加到微透镜阵列部12(第二图像拾取模式)的情形。
在第一实施例的图像拾取装置1中,在第二图像拾取模式中,经受图像拾取的对象的图像通过图像拾取透镜11形成在微透镜12-1上。然后,从微透镜12-1射出的光到达图像拾取器件13,且被投影在图像拾取器件13上,从而在图像拾取器件驱动构件16的控制下图像拾取信号由图像拾取器件13获得。换言之,在电压从电压提供部15施加到第一电极22和第二电极24的第二图像拾取模式中,液晶层23的折射率被改变,因此如图3B所示,进入微透镜12-1的入射光L11在微透镜12-1中发生折射从而被聚集到光轴L0上作为焦点的像素PL11。因此,当以第二图像拾取模式进行图像拾取时,电压被施加到微透镜阵列部12,以便将构成微透镜阵列部12的每个微透镜12-1的焦距改变为有限值(更具体地,将每个微透镜12-1的焦距改变为从微透镜阵列部12的图像形成面到图像拾取器件13的图像拾取面的距离),所以通过图像拾取透镜11形成在微透镜12-1上的图像能够被投影(聚集、会聚)在图像拾取器件13上。
另一方面,在第一图像拾取模式中,构成微透镜阵列部12的每个微透镜12-1的焦距无穷大,且经受图像拾取的对象的图像通过图像拾取透镜11形成在图像拾取器件13上而不受微透镜12-1的影响。然后,在图像拾取器件驱动构件16的控制下,图像拾取信号由图像拾取器件13获得。换言之,在从电压提供部15未施加电压到第一电极22和第二电极24的第一图像拾取模式中,液晶层23的折射率未改变,因此如图3A所示,进入微透镜12-1的入射光L11在微透镜12-1中未发生折射。微透镜阵列部12的焦距无穷大,因此向图像拾取器件13行进的光未被改变。从而,当以第一图像拾取模式进行图像拾取时,向微透镜阵列部12施加电压被停止使得构成微透镜阵列部12的每个微透镜12-1的焦距变成无穷大,因此通过图像拾取透镜11得到的图像可以形成在图像拾取器件13上。
因此,在标准高分辨率图像拾取模式(第一图像拾取模式)中,通过控制部17的控制,停止由电压提供部15向微透镜阵列部12施加电压,从而,结果,构成微透镜阵列部12的每个微透镜12-1的焦距变成无穷大,进入微透镜阵列部12的入射光没有改变地行进,通过图像拾取透镜11得到的图像形成在图像拾取器件13上。换言之,通过图像拾取透镜11得到的图像到达图像拾取器件13而没有改变,实现标准高分辨率图像拾取。另一方面,在基于光场摄影技术的图像拾取模式(第二图像拾取模式)中,通过图像拾取透镜11得到的图像形成在微透镜12-1上。然后,在控制部17的控制下,通过电压提供部15向微透镜阵列部12施加电压,从而,结果,从微透镜12-1射出的光聚集到图像拾取器件13上。换言之,当构成微透镜阵列部12的每个微透镜12-1的焦距变成有限值时,通过图像拾取透镜11的图像可以投影在图像拾取器件13上。更具体地,如图3B所示,进入微透镜阵列部12的入射光L11(由实线表示)投影在图像拾取器件13上的点(像素)PL11上,进入微透镜阵列部12的入射光L12(由虚线表示)投影在图像拾取器件13上的点(像素)PL12上,进入微透镜阵列部12的入射光L13(由交替的长短划线表示)投影在图像拾取器件13上的点(像素)PL13上。换言之,当进入微透镜阵列部12的入射光的入射方向改变时,入射光被投影(聚集)到图像拾取器件13上的不同点(不同像素)。
由图像拾取器件13获得的图像拾取信号被传送到图像处理部14。然后,在图像处理部14中,通过控制部17的控制,对图像拾取信号实施预定图像处理从而输出图像拾取信号作为图像拾取数据Dout。更具体地,在第一图像拾取模式中,通过控制部17的控制,停止由图像处理部14执行预定图像处理,从而,结果,输入的图像拾取信号作为图像拾取数据Dout被输出。另一方面,在第二图像拾取模式中,通过控制部17的控制,利用图像处理部14执行预定图像处理(再聚焦运算处理),从而,结果,对输入的图像拾取信号实施预定图像处理,且所处理的图像拾取信号输出而作为图像拾取数据Dout
现在,参考图4A和4B,将详细描述图像处理部14中作为预定图像处理的再聚焦运算处理。此外,再聚焦运算处理同样适用于下面将描绘的第二到第四实施例。
如图4A所示,在图像拾取透镜11的图像拾取透镜面11A上定义直角坐标系(u,v),在图像拾取器件13的图像拾取面13A上定义直角坐标系(x,y)。当图像拾取透镜11的图像拾取透镜面和图像拾取器件13的图像拾取面之间的距离被定义为“f”时,如图4A所示的透过图像拾取透镜11的和图像拾取器件13的光线L14可以由四元函数LF(x,y,u,v)表示。因此,可以获得关于光线L14的行进方向的信息和关于光线L14的位置的信息。然后,在这种情况下,当图像拾取透镜面11A、图像拾取面13A和再聚焦面(微透镜阵列部12的图像形成面,通过图像拾取透镜11的图像形成在微透镜阵列部12的图像形成面中)12A之间的位置关系确定为如图4B所示时,也就是,在确定再聚焦面12A从而建立f=α·f的情况中,再聚焦面12A上的坐标(s,t)的探测光强LF′(s,t,u,v)在图像拾取面13A上由下面的公式(1)表示。而且,再聚焦面12A上获得的图像EF′(s,t)是通过将上述探测光强LF′(s,t,u,v)关于透镜孔径积分而得到的值,因此,图像EF′(s,t)由下面的公式(2)表示。因此,当基于公式(2)进行再聚焦运算处理时,从任意方向的任意视点所观察到的图像可以基于光场摄影技术由图像拾取数据Dout重构得到,并且可以获得图像的三维信息。
L F ′ ( s , t , u , v ) = L ( α · F ) ( s , t , u , v )
= L F ( u + s - u α , v + t - v α , u , v )
= L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v }
                                        ......(1)
E F ′ ( s , t ) = 1 F ′ 2 ∫ ∫ L F ′ ( s , t , u , v ) dudv
= 1 α 2 F 2 ∫ ∫ L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v } dudv
                                        ......(2)
从而,在第一实施例中,微透镜阵列部12由液晶透镜阵列构成,因此液晶层23的折射率根据电压是否施加到液晶层23而改变,从而可以改变入射光的折射方向(焦点位置)。换言之,当从电压提供部15向微透镜阵列部12施加电压时,入射到构成微透镜阵列部12的微透镜12-1的入射光被折射以投影在图像拾取器件13上。另一方面,在微透镜阵列部12未施加有电压的状态下,入射光不发生折射,并且未被折射的入射光的图像形成在图像拾取器件13上。因此,第二图像拾取模式和第一图像拾取模式之间的图像拾取模式切换变得可能,其中在第二图像拾取模式中,对通过将入射光投影到图像拾取器件13上获得的图像拾取信号实施预定图像处理,在第一图像拾取模式中,入射光的图像在不改变方向的情况下形成在图像拾取器件13上,以获得图像拾取信号。而且,在第一图像拾取模式和第二图像拾取模式中,采用公用图像拾取光学系统(图像拾取透镜11、微透镜阵列部12和图像拾取器件13),因此装置构造不复杂。此外,图像拾取模式之间的切换通过电学方法实施,因此与实施机械切换的情况相比,改善了切换操作过程的可靠性。
此外,当每个微透镜12-1由非球面透镜构成时,与每个微透镜12-1由球面透镜构成的情况相比,曲率会更小,因此光学设计可以更容易。而且,与每个微透镜12-1由衍射透镜构成的情况相比,折射入射光的时候对波长的依赖性可以消除,并且可以防止轴向色差等的产生。因此可以获得作为利用包括各种波长范围的光的自然光的图像拾取装置的最佳构造。
此外,在上述第一实施例中,在一些情况中,可以采用第二种构造,在该第二种构造中,以第一图像拾取模式进行图像拾取时和以第二图像拾取模式进行图像拾取时从电压提供部15向微透镜阵列部12施加电压的状态彼此交换。也就是,图像拾取装置还包括:
(D)图像处理部14,用于对由图像拾取器件13获得的信号进行预定图像处理;
(E)电压提供部15,用于向微透镜阵列部12施加电压,并且
图像拾取装置可以具有这样的构造,其中:
以第一图像拾取模式(标准图像拾取模式)和第二图像拾取模式(基于光场摄影技术的图像拾取模式)实施图像拾取,
在以第一图像拾取模式进行图像拾取时,电压从电压提供部15施加到微透镜阵列部12,并且停止图像处理部14执行的预定图像处理,并且
在以第二图像拾取模式进行图像拾取时,停止从电压提供部15向微透镜阵列部12施加电压,且由图像处理部14执行预定图像处理。此外,对下面将描述的第二和第三实施例而言情况相同。
[第二实施例]
第二实施例是对第一实施例的变型,更具体地,第二实施例涉及第三构造和第4A构造。图5示出第二实施例的图像拾取装置的概念框图,第二实施例的图像拾取装置2还包括驱动构件18,该驱动构件18改变微透镜阵列部12和图像拾取器件(图像拾取构件)13之间的距离而保持图像拾取透镜11和微透镜阵列部12之间的固定距离。然后,当图像拾取透镜11的F数(F-number)和构成微透镜阵列部12的各个微透镜的F数之间发生失配时,从电压提供部15施加到微透镜阵列部12的电压被改变,并且微透镜阵列部12和图像拾取器件13之间的距离由驱动构件18改变。驱动构件(对应于图像拾取器件移位部)18可以由将电信号转换成机械操作的器件构成,例如,由压电器件、压电致动器或者双金属器件构成。
参考图5、6和7A到7D,下面将详细描述作为第二实施例的图像拾取装置2中的特征操作的F数匹配处理(图像拾取透镜11的孔径改变时的图像拾取光学系统最优化处理)。现在,图6示出当孔径改变时图像拾取光学系统最优化处理的流程图,图7A到7D是图像拾取透镜11等的示意图,用于描述图像拾取透镜11的孔径改变时图像拾取光学系统最优化处理中的光路的示例。此外,图像拾取装置2的基本操作(图像拾取操作)可以与第一实施例的图像拾取装置1相同,因此没有给出相应的详细描述。
在图像拾取装置2中,例如,如图7A中示出的光线L21和L22,首先假设图像拾取透镜11的F数和构成微透镜阵列部12的每个微透镜的F数(下面,简单称为微透镜的F数)相匹配。然后,当图像拾取透镜11的孔径由图7A中示出的状态改变(图6中的步骤S21)时,如图7B中示出的光线L23和L22,发生图像拾取透镜11的F数(来自入瞳直径11-1)与微透镜的F数之间的不匹配(步骤S22)。在图7B示出的示例中,从电压提供部15施加到微透镜阵列部12的电压由控制部17改变,从而改变微透镜阵列部12中产生的屈光力(步骤S23)。
然后,如图7C所示,光在微透镜阵列部12中的折射被减少,从微透镜阵列部12射出的光从光线L22变成L24。然后,如同光线L23和L24所表示,图像拾取透镜11的F数(来自入瞳直径11-1)和微透镜的F数彼此再次匹配(步骤24)。然而,从图7C明显看出,不像图7A和7B中的光线L22不同,图像拾取器件13中与一个微透镜相对应的图像拾取区域13-1(在图7A到7D中由对角阴影区域表示)与图像拾取区域13-1中光线L24所到达的区域之间彼此不匹配,并且如果这种状态保持,则图像拾取时分辨率降低。
因此,接下来,在图示示例中,驱动构件(图像拾取器件移位部)18由控制部17控制以沿光轴L0(图像拾取装置的光轴LL)在远离微透镜阵列部12的方向上移动图像拾取器件13(步骤S25)。然后,如图7D中示出的光线L23和L24,图像拾取区域13-1与图像拾取区域13-1中光线L24所到达的区域之间彼此再次匹配,并且图像拾取器件13中的图像拾取区域被优化。从而,完成图像拾取透镜11的孔径改变时的图像拾取光学系统最优化处理。在第二实施例中,实施这样的处理,因此图像拾取时不发生分辨率降低。当驱动构件18由例如将电信号转换成机械操作的装置构成时,可以形成简单且节省空间的图像拾取装置。
此外,代替在实施改变构成微透镜阵列部12的微透镜的屈光力的处理(步骤S23)之后实施移动图像拾取器件13的处理,实施移动图像拾取器件13的处理(步骤25)可以在改变构成微透镜阵列部12的微透镜的屈光力的处理之前进行。
而且,在将图像拾取透镜11与微透镜的F数彼此匹配之后,驱动构件18移动图像拾取器件13,从而微透镜阵列部12和图像拾取器件13之间的距离被改变;然而,备选地,如图8A和8B所示,图像拾取装置可以具有这样一种构造,其中代替参考图7D所描述的操作,在实施步骤S21到S24的处理之后,驱动构件沿图像拾取装置的光轴LL移动图像拾取透镜11和微透镜阵列部12,同时保持图像拾取透镜11和微透镜阵列部12之间的固定距离。更具体地,图像拾取透镜11和微透镜阵列部12沿图像拾取装置的光轴L0(图像拾取装置的光轴LL)移动,使得由光线L21和L22在图像拾取器件13上形成的图像尺寸与由光线L23和L24形成的图像尺寸匹配(使得两种情况中,图像拾取区域与图像拾取区域13-1匹配)。与移动图像拾取透镜11的机理一样,可以采用用于标准图像拾取的图像拾取透镜的驱动机理。
第二实施例中所描述的驱动构件18和F数匹配处理(图像拾取透镜的孔径改变时的图像拾取光学系统最优化处理)可应用于下面描述的第三和第四实施例。
[第三实施例]
第三实施例也是第一实施例的变型。在第三实施例中,采用第4B构造。换言之,如图9中示出的概念框图,当定义了以图像拾取装置3的光轴作为Z轴的三维高斯空间时,向X轴方向发射偏振光的偏振板30和偏振方向可变器件40设置在图像拾取透镜11和微透镜阵列部312之间。然后,当构成微透镜阵列部312的液晶透镜阵列用作透镜时,每个微透镜在X轴方向不具有屈光力(光学屈光力)且在Y轴方向具有屈光力(光学屈光力)。也就是,液晶透镜阵列构成在作为中心Z轴上具有各向异性焦距的微透镜阵列部312。换言之,构成液晶透镜阵列的每个液晶透镜形成在YZ面中具有有限焦距而在XZ面中具有无限焦距的微透镜。
偏振方向可变器件40由液晶器件构成。更具体地,如图2B的示意性局部截面图所示,偏振方向可变器件40包括:
(a′)一对基板41和45;
(b′)电极42和44,分别布置在所述一对基板41和45上,
(c′)液晶层43,布置在电极42和44之间,而电极42和44分别布置在所述一对基板41和45上。
现在,邻近一个基板41的液晶分子的配向方向与X轴方向平行,邻近另一个基板45的液晶分子的配向方向与Y轴方向平行。而且,电极42由一个平坦电极构成,电极44由一个平坦电极构成。
在第三实施例中,单色光源用作光源,但是光源不限于此。透过偏振板30的光仅具有平行于X轴的偏振分量。然后,在偏振方向可变器件40的第一操作模式中,透过偏振方向可变器件40的光的偏振方向不被构成偏振方向可变器件40的液晶分子改变方向,并且保持不变。因为构成作为微透镜阵列部312的液晶透镜阵列的每个液晶透镜是在作为中心的Z轴上具有各向异性焦距(在X轴方向的焦距无穷大而在Y轴方向的焦距是有限值)的微透镜,所以透过微透镜312-1的光(通过图像拾取透镜11得到的图像)不被微透镜312-1改变。因此,透过微透镜312-1的光的图像(通过图像拾取透镜11得到的图像)形成在图像拾取器件(图像拾取构件)13上。这种状态在10A示意性地示出。
另一方面,在偏振方向可变器件40的第二操作模式中,透过偏振方向可变器件40的光的偏振方向被构成偏振方向可变器件40的液晶分子沿Y轴方向弯曲。在这种情况中,如以上所述,构成微透镜阵列部312的液晶透镜阵列中的每个液晶透镜是在作为中心的Z轴上具有各向异性焦距(在X轴方向的焦距无穷大而在Y轴方向的焦距是有限值)的微透镜,所以形成在微透镜312-1上的光(通过图像拾取透镜11得到的图像)投影到图像拾取器件13上。
然后,在第三实施例中,当偏振方向可变器件40处在第一操作模式中时,可以采用第一图像拾取模式,当偏振方向可变器件40处在第二操作模式中时,可以采用第二图像拾取模式。
作为这样的液晶透镜阵列,可以采用例如日本未经审查的专利申请公开No.2006-079669中公开的液晶透镜器件或者日本未经审查的专利申请公开No.H5-034656中公开的焦距可变液晶透镜,但是液晶透镜阵列不限于此。液晶透镜器件或者液晶透镜仅对偏振方向与摩擦方向同向的光具有透镜效应。因此,基板对41和45中的摩擦方向可以是与X轴方向平行的方向和与Y轴方向平行的方向。
根据制成所采用液晶层43的液晶材料的种类,当电压被施加到电极42和44时可以获得第二操作模式,或者当电压未施加到电极42和44时可以获得第二操作模式。而且,根据制成液晶层43的液晶材料的种类,当液晶透镜阵列用作透镜时,图像拾取装置可以具有这样的构造,其中每个微透镜在Y轴方向中不具有屈光力(光学屈光力)(这种状态在图11A中示意性示出)且在X轴方向具有屈光力(光学屈光力)(这种状态在图11B中示意性示出),也就是,第4C构造。在第4C构造中,液晶透镜阵列构成在作为中心的Z轴上具有各向异性焦距的微透镜阵列部312。换言之,构成液晶透镜阵列的每个液晶透镜形成在XZ面具有有限焦距而在YZ面具有无限焦距的微透镜。因此,同样在这种情况中,当电压被施加到电极42和44时,可以获得第二操作模式,或者当电压未被施加到电极42和44时,可以获得第二操作模式。对下面将描述的第四实施例而言情况相同。
例如第三实施例的图像拾取装置3或者下面将描述的第四实施例的图像拾取装置4,在将单色光用于图像拾取的情况中,当微透镜由衍射透镜构成时,不发生波长依赖度或轴向色差的问题,因此与由球面透镜构成的微透镜12-1相比,由衍射透镜构成的微透镜会获得较优的光学特性。
[第四实施例]
第四实施例涉及根据本发明第二模式的图像拾取装置和图像拾取方法。图12示出第四实施例的图像拾取装置4的概念框图。更具体地,与第三实施例的图像拾取装置3的情况一样,第四实施例的图像拾取装置4包括:
(A)图像拾取透镜11;
(B)微透镜阵列部412,透过图像拾取透镜11的光进入微透镜阵列部412;以及
(C)图像拾取器件(图像拾取构件)13检测从微透镜阵列部412发射的光,并且
其中,当定义以图像拾取装置4的光轴作为Z轴的三维高斯空间时,在图像拾取透镜11和微透镜阵列部412之间进一步设置发射沿X轴方向的偏振光的偏振板30和偏振方向可变器件40。
然后,如第三实施例的图像拾取装置3的情况一样,微透镜阵列部412由液晶透镜阵列构成,并且在第四实施例中,构成微透镜阵列部412的每个微透镜412-1在X轴方向不具有屈光力而在Y轴方向具有屈光力。而且,在第四实施例中,采用单色光作为光源,但是光源不限于此。
在第四实施例的图像拾取装置4中,与第三实施例的图像拾取装置3一样,
利用第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以第一图像拾取模式进行图像拾取时,通过启动偏振方向可变器件40,沿着构成微透镜阵列部412的每个微透镜412-1不具有屈光力的方向的偏振光透过微透镜412-1,并且通过图像拾取透镜11得到的图像形成在图像拾取器件13上,并且
在以第二图像拾取模式进行图像拾取时,通过启动偏振方向可变器件40,沿着构成微透镜阵列部412的每个微透镜412-1具有屈光力的方向的偏振光进入微透镜412-1,通过图像拾取透镜11得到图像形成在微透镜412-1上,并且通过图像拾取透镜11形成在微透镜412-1上的图像通过微透镜412-1投影在图像拾取器件13上。
而且,第四实施例的图像拾取装置4还包括图像处理部14,用于对来自图像拾取器件13的信号进行预定图像处理。然后,在图像拾取装置4中,以第一图像拾取模式和第二图像拾取模式进行图像拾取,在以第一图像拾取模式进行图像拾取时,停止由图像处理部14执行的预定图像处理,在以第二图像拾取模式进行图像拾取时,由图像处理部14执行预定图像处理。
偏振方向可变器件40由液晶器件构成。更具体地,构成偏振方向可变器件40的液晶器件可以与第三实施例中描述的液晶器件相同,因此将不给出详细描述。而且,构成第四实施例的图像拾取装置4的图像拾取透镜11、微透镜阵列部412和的图像拾取器件13的构造和组成可以与构成第三实施例的图像拾取装置3的图像拾取透镜11、微透镜阵列部312和图像拾取器件13的构造和组成相同,将不对它们进行详细描述。
然而,在第四实施例的图像拾取装置4中,第一图像拾取模式和第二图像拾取模式之间的切换不是根据电压是否从电压提供部15施加到微透镜阵列部412而实施,而是如以上所述,根据电压是否从电压提供部15施加到构成偏振方向可变器件40的电极42和44而实施。在微透镜阵列部412中,根据制成液晶层的液晶材料,适当的电压可以施加到构成微透镜阵列部412的液晶透镜阵列的第一电极42和第二电极44,使得构成微透镜阵列部412的每个微透镜412-1可以实现这样的状态:每个微透镜412-1在X轴方向不具有屈光力且在Y轴方向具有屈光力。此外,如第三实施例中所描述,适当的电压可以施加到作为微透镜阵列部412的液晶透镜阵列的第一电极42和第二电极44,使得每个微透镜412-1可以实现这样的状态:微透镜412-1在Y轴方向不具有屈光力且在X轴方向具有屈光力。通常,固定的电压可以从电压提供部15施加到微透镜阵列部412。然后,如第二实施例中所描述的,当实施F数匹配处理(图像拾取透镜的孔径改变时的图像拾取光学系统最优化处理)时,可以适当地改变从电压提供部15施加到微透镜阵列部412的电压值。
虽然参考优选实施例描述了本发明,但是本发明不限于此,并且可以进行各种修改。
在第一到第四实施例中,微透镜阵列部是平凸透镜,其中电极22和24的表面S1和S2中的表面S1是曲面;然而,备选地,表面S2可以是曲面,或者微透镜阵列部可以是双凸透镜,其中表面S1和S2都是曲面。在第一到第二实施例中,代替微透镜阵列部由液晶透镜阵列构成的情况,可以采用利用电润湿现象(电毛细现象)的微透镜阵列部。而且,在实施例中,作为图像处理部14中的预定图像处理,描述了基于光场摄影技术的再聚焦运算处理;然而,图像处理部14中的图像处理方法不限于此,并且可以采用任何其他的图像处理方法(例如,视点移动的图像处理或者计算通过将微透镜阵列部和图像拾取器件用作立体摄影机而获得的距离的图像处理)。此外,构成微透镜阵列部的每个透镜的形状不限于圆形,而可以是各种多边形形状的任意一种,诸如矩形形状或者六边形形状。当使用具有矩形形状或者六边形形状的透镜时,改善了光利用效率,并且在其中密集排列具有矩形形状或者六边形形状的透镜的微透镜阵列部中,位于具有圆形形状的透镜之间的平坦部在具有矩形形状或者六边形形状的透镜之间不存在,因此具有这样的优点,即可以避免透过具有圆形形状的透镜之间的平坦部的光线的影响。

Claims (24)

1、一种图像拾取装置,其特征在于包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过所述图像拾取透镜的光进入所述微透镜阵列部;以及
(C)图像拾取器件,检测从所述微透镜阵列部发射的光,
其中构成所述微透镜阵列部的每个微透镜的焦距可响应于施加的电压而改变。
2、如权利要求1所述的图像拾取装置,特征在于:
以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以所述第一图像拾取模式进行图像拾取时,构成所述微透镜阵列部的每个微透镜的焦距变成无穷大,从而通过所述图像拾取透镜得到的图像形成在所述图像拾取器件上,并且
在以所述第二图像拾取模式进行图像拾取时,通过所述图像拾取透镜得到的图像形成在所述微透镜上,且每个微透镜的所述焦距变成有限的值,从而通过所述图像拾取透镜形成在所述微透镜上的图像投影在所述图像拾取器件上。
3、如权利要求1所述的图像拾取装置,特征在于还包括:
(D)图像处理部,用于对来自所述图像拾取器件的信号进行预定图像处理;以及
(E)电压提供部,用于向所述微透镜阵列部施加电压,
其中在所述图像拾取装置中,以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以所述第一图像拾取模式进行图像拾取时,停止由所述电压提供部向所述微透镜阵列部施加电压,且停止由所述图像处理部执行的所述预定图像处理,并且
在以所述第二图像拾取模式进行图像拾取时,由所述电压提供部向所述微透镜阵列部施加电压且由所述图像处理部执行所述预定图像处理。
4、如权利要求1所述的图像拾取装置,特征在于还包括:
(D)图像处理部,用于对来自所述图像拾取器件的信号进行预定图像处理;以及
(E)电压提供部,用于向所述微透镜阵列部施加电压,
其中在所述图像拾取装置中,以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以所述第一图像拾取模式进行图像拾取时,由所述电压提供部向所述微透镜阵列部施加电压,且停止由所述图像处理部执行的所述预定图像处理,并且
在以所述第二图像拾取模式进行图像拾取时,停止由所述电压提供部向所述微透镜阵列部施加电压,且由所述图像处理部执行所述预定图像处理。
5、如权利要求1所述的图像拾取装置,特征在于还包括:
驱动构件,用于改变所述微透镜阵列部和所述图像拾取器件之间的距离,而保持所述图像拾取透镜和所述微透镜阵列部之间的固定距离。
6、如权利要求5所述的图像拾取装置,特征在于:
所述驱动构件沿所述图像拾取装置的光轴移动所述图像拾取器件。
7、如权利要求5所述的图像拾取装置,特征在于:
所述驱动构件沿所述图像拾取装置的光轴移动所述图像拾取透镜和所述微透镜阵列部。
8、如权利要求5所述的图像拾取装置,特征在于还包括:
(D)图像处理部,用于对来自所述图像拾取器件的信号进行预定图像处理;以及
(E)电压提供部,用于向所述微透镜阵列部施加电压,
其中当构成所述微透镜阵列部的每个微透镜的F数和所述图像拾取透镜的F数之间发生失配时,从所述电压提供部施加到所述微透镜阵列部的电压被改变,且所述微透镜阵列部和所述图像拾取器件之间的距离由所述驱动构件改变。
9、如权利要求1所述的图像拾取装置,特征在于:
所述微透镜阵列部由液晶透镜阵列构成。
10、如权利要求9所述的图像拾取装置,特征在于:
所述液晶透镜阵列包括:
(a)第一基板,包括第一电极;
(b)第二基板,包括第二电极;以及
(c)液晶层,布置在所述第一电极和所述第二电极之间,并且
所述液晶透镜阵列根据电压是否施加到所述第一电极和所述第二电极而被用作透镜。
11、如权利要求9所述的图像拾取装置,特征在于:
当定义以所述图像拾取装置的光轴作为Z轴的三维高斯空间,并且所述液晶透镜阵列用作透镜时,每个微透镜在X轴方向和Y轴方向具有基本上相等的屈光力。
12、如权利要求9所述的图像拾取装置,特征在于:
当定义以所述图像拾取装置的光轴作为Z轴的三维高斯空间时,在所述图像拾取透镜和所述微透镜阵列部之间设置发射沿X轴方向偏振的光的偏振板和偏振方向可变器件,并且
当所述液晶透镜阵列用作透镜时,每个微透镜在所述X轴方向不具有屈光力而在Y轴方向具有屈光力。
13、如权利要求9所述的图像拾取装置,特征在于:
当定义以所述图像拾取装置的光轴作为Z轴的三维高斯空间时,在所述图像拾取透镜和所述微透镜阵列部之间设置发射沿X轴方向偏振的光的偏振板和偏振方向可变器件,并且
当所述液晶透镜阵列用作透镜时,每个微透镜在Y轴方向不具有屈光力而在所述X轴方向具有屈光力。
14、如权利要求1所述的图像拾取装置,特征在于:
每个微透镜是非球面透镜。
15、一种利用图像拾取装置的图像拾取方法,所述图像拾取装置包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过所述图像拾取透镜的光进入所述微透镜阵列部;以及
(C)图像拾取器件,检测从所述微透镜阵列部发射的光,
在所述图像拾取装置中,构成所述微透镜阵列部的每个微透镜的焦距可响应于施加的电压而改变,
所述图像拾取方法的特征在于:以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以所述第一图像拾取模式进行图像拾取时,构成所述微透镜阵列部的每个微透镜的焦距变成无穷大,从而通过所述图像拾取透镜得到的图像形成在所述图像拾取器件上,并且
在以所述第二图像拾取模式进行图像拾取时,通过所述图像拾取透镜得到的图像形成在所述微透镜上,且每个微透镜的焦距变成有限的值,从而通过所述图像拾取透镜形成在所述微透镜上的图像投影在所述图像拾取器件上。
16、一种图像拾取装置,特征在于包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过所述图像拾取透镜的光进入所述微透镜阵列部;以及
(C)图像拾取器件,检测从所述微透镜阵列部发射的光,
其中当定义以所述图像拾取装置的光轴作为Z轴的三维高斯空间时,在所述图像拾取透镜和所述微透镜阵列部之间设置发射沿X轴方向偏振的光的偏振板和偏振方向可变器件,
所述微透镜阵列部由液晶透镜阵列构成,并且
构成所述微透镜阵列部的每个微透镜在所述X轴方向不具有屈光力而在Y轴方向具有屈光力,或者每个微透镜在所述Y轴方向不具有屈光力而在所述X轴方向具有屈光力。
17、一种图像拾取方法,特征在于:
以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以所述第一图像拾取模式进行图像拾取时,通过启动偏振方向可变器件,沿着构成所述微透镜阵列部的每个微透镜不具有屈光力的方向偏振的光透过所述微透镜,且通过图像拾取透镜得到的图像形成在图像拾取器件上,并且
在以所述第二图像拾取模式进行图像拾取时,通过启动所述偏振方向可变器件,沿着构成所述微透镜阵列部的每个微透镜具有屈光力的方向偏振的光进入所述微透镜,通过所述图像拾取透镜得到的图像形成在所述微透镜上,且通过所述图像拾取透镜形成在所述微透镜上的图像投影在所述图像拾取器件上。
18、如权利要求16所述的图像拾取装置,特征在于还包括:
(D)图像处理部,用于对来自所述图像拾取器件的信号进行预定图像处理,
其中在所述图像拾取装置中,以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以所述第一图像拾取模式进行图像拾取时,停止由所述图像处理部执行的所述预定图像处理,并且
在以所述第二图像拾取模式进行图像拾取时,由所述图像处理部执行所述预定图像处理。
19、如权利要求16所述的图像拾取装置,特征在于还包括:
驱动构件,用于改变所述微透镜阵列部和所述图像拾取器件之间的距离,而保持所述图像拾取透镜和所述微透镜阵列部之间的固定距离。
20、如权利要求19所述的图像拾取装置,特征在于:
所述驱动构件沿所述图像拾取装置的光轴移动所述图像拾取器件。
21、如权利要求19所述的图像拾取装置,特征在于:
所述驱动构件沿所述图像拾取装置的光轴移动所述图像拾取透镜和所述微透镜阵列部。
22、如权利要求19所述的图像拾取装置,特征在于还包括:
(D)图像处理部,用于对来自所述图像拾取器件的信号实施预定图像处理,
其中当构成所述微透镜阵列部的每个微透镜的F数和所述图像拾取透镜的F数之间发生失配时,构成所述微透镜阵列部的每个微透镜的屈光力被改变,且所述微透镜阵列部和所述图像拾取器件之间的距离由驱动构件改变。
23、如权利要求16所述的图像拾取装置,特征在于:
所述偏振方向可变器件由液晶器件构成。
24、一种利用图像拾取装置的图像拾取方法,所述图像拾取装置包括:
(A)图像拾取透镜;
(B)微透镜阵列部,透过所述图像拾取透镜的光进入所述微透镜阵列部;以及
(C)图像拾取器件,检测从所述微透镜阵列部发射的光,
在所述图像拾取装置中,当定义以所述图像拾取装置的光轴作为Z轴的三维高斯空间时,在所述图像拾取透镜和所述微透镜阵列部之间设置发射X轴方向的偏振光的偏振板和偏振方向可变器件,
所述微透镜阵列部由液晶透镜阵列构成,并且
构成所述微透镜阵列部的每个微透镜在所述X轴方向不具有屈光力而在Y轴方向具有屈光力,或者每个微透镜在所述Y轴方向不具有屈光力而在所述X轴方向具有屈光力。
所述图像拾取方法,特征在于:以第一图像拾取模式和第二图像拾取模式进行图像拾取,
在以所述第一图像拾取模式进行图像拾取时,通过启动所述偏振方向可变器件,沿着构成所述微透镜阵列部的每个微透镜不具有屈光力的方向偏振的光透过所述微透镜,且通过图像拾取透镜得到的图像形成在图像拾取器件上,并且
在以所述第二图像拾取模式进行图像拾取时,通过启动所述偏振方向可变器件,沿着构成所述微透镜阵列部的每个微透镜具有屈光力的方向偏振的光进入所述微透镜,通过所述图像拾取透镜得到的图像形成在所述微透镜上,且通过所述图像拾取透镜形成在所述微透镜上的图像投影在所述图像拾取器件上。
CN2007800448393A 2006-12-04 2007-11-28 图像拾取装置和图像拾取方法 Expired - Fee Related CN101554042B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2006326750 2006-12-04
JP326750/2006 2006-12-04
JP2007186468A JP5040493B2 (ja) 2006-12-04 2007-07-18 撮像装置及び撮像方法
JP186468/2007 2007-07-18
PCT/JP2007/072976 WO2008069077A1 (ja) 2006-12-04 2007-11-28 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
CN101554042A true CN101554042A (zh) 2009-10-07
CN101554042B CN101554042B (zh) 2013-01-09

Family

ID=39491978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800448393A Expired - Fee Related CN101554042B (zh) 2006-12-04 2007-11-28 图像拾取装置和图像拾取方法

Country Status (6)

Country Link
US (1) US8305429B2 (zh)
EP (1) EP2104334B1 (zh)
JP (1) JP5040493B2 (zh)
KR (1) KR20090094266A (zh)
CN (1) CN101554042B (zh)
WO (1) WO2008069077A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369556A (zh) * 2010-02-02 2012-03-07 松下电器产业株式会社 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
CN103091258A (zh) * 2013-01-29 2013-05-08 中国科学院光电研究院 一种基于液态变焦技术的多光谱成像仪
CN103137026A (zh) * 2011-11-29 2013-06-05 联想(北京)有限公司 一种电子设备及其成像方法
CN104041004A (zh) * 2012-01-13 2014-09-10 佳能株式会社 摄像设备及其控制方法和摄像系统
WO2015051626A1 (zh) * 2013-10-10 2015-04-16 华为技术有限公司 一种光场相机
CN104580877A (zh) * 2013-10-29 2015-04-29 华为技术有限公司 图像获取的装置及方法
CN106610542A (zh) * 2015-10-21 2017-05-03 深圳超多维光电子有限公司 液晶微透镜阵列成像装置与成像方法
US10237467B2 (en) 2015-10-22 2019-03-19 Coretronic Corporation Image capturing device and an image capturing method
CN114189603A (zh) * 2020-09-15 2022-03-15 美光科技公司 衍射减少的微透镜成像

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101134208B1 (ko) * 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US8072486B2 (en) * 2006-08-01 2011-12-06 Panasonic Corporation Camera device, liquid lens, and image pickup method
JP2008312080A (ja) 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
JP4730347B2 (ja) * 2007-07-03 2011-07-20 ソニー株式会社 撮像装置及び撮像方法
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP4538766B2 (ja) * 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
JP5224046B2 (ja) * 2008-09-08 2013-07-03 ソニー株式会社 画像処理装置、撮像装置および表示装置
JP5332423B2 (ja) * 2008-09-08 2013-11-06 ソニー株式会社 撮像装置
JP5369564B2 (ja) * 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
JP5369563B2 (ja) * 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
KR101563728B1 (ko) * 2009-01-30 2015-10-27 삼성전자 주식회사 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법
JP5463718B2 (ja) * 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
JP5532741B2 (ja) * 2009-08-19 2014-06-25 株式会社ニコン 撮像装置
KR101600010B1 (ko) 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
CN103141082B (zh) * 2010-10-01 2017-03-08 富士胶片株式会社 成像装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
GB2488519A (en) * 2011-02-16 2012-09-05 St Microelectronics Res & Dev Multi-channel image sensor incorporating lenslet array and overlapping fields of view.
JP5704702B2 (ja) * 2011-02-25 2015-04-22 独立行政法人情報通信研究機構 立体画像取得装置
JP5331838B2 (ja) 2011-02-25 2013-10-30 株式会社東芝 固体撮像装置および携帯情報端末
JP5214754B2 (ja) * 2011-02-25 2013-06-19 株式会社東芝 固体撮像装置および携帯情報端末
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
GB2488978A (en) * 2011-03-07 2012-09-19 Sharp Kk Switching lenses for multi-view displays
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
JP5634946B2 (ja) * 2011-06-06 2014-12-03 富士フイルム株式会社 撮像装置
US20120320164A1 (en) * 2011-06-16 2012-12-20 Lenny Lipton Stereoscopic camera with polarizing apertures
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5623356B2 (ja) 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9100639B2 (en) 2011-09-20 2015-08-04 Panasonic Intellectual Property Management Co., Ltd. Light field imaging device and image processing device
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
JP2013074400A (ja) * 2011-09-27 2013-04-22 Toshiba Corp 固体撮像装置
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
JP2014530581A (ja) * 2011-10-11 2014-11-17 ペリカン イメージング コーポレイション 適応光学要素を含むレンズスタックアレイ
US9456198B2 (en) 2011-10-13 2016-09-27 Panasonic Intellectual Property Management Co., Ltd. Depth estimating image capture device and image sensor
US9462254B2 (en) 2012-02-08 2016-10-04 Panasonic Intellectual Property Management Co., Ltd. Light field image capture device and image sensor
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP2013198016A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 撮像装置
KR20130112541A (ko) * 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치
JP5851320B2 (ja) * 2012-04-18 2016-02-03 株式会社東芝 カメラモジュール
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2013179538A1 (ja) 2012-05-28 2013-12-05 パナソニック株式会社 奥行き推定撮像装置
US9565420B2 (en) 2012-05-28 2017-02-07 Panasonic Intellectual Property Management Co., Ltd. Image processor, image capture device, image processing method and program
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP6202910B2 (ja) * 2012-08-13 2017-09-27 キヤノン株式会社 映像処理装置およびその制御方法、プログラム
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
JP5649702B2 (ja) * 2012-09-21 2015-01-07 キヤノン株式会社 撮像装置
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
JP5820794B2 (ja) * 2012-10-05 2015-11-24 オリンパス株式会社 撮像装置
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9667846B2 (en) * 2012-11-27 2017-05-30 Nokia Technologies Oy Plenoptic camera apparatus, a method and a computer program
CN103019021B (zh) * 2012-12-27 2016-05-11 Tcl集团股份有限公司 一种3d光场相机及其拍摄图像的处理方法
JP6220125B2 (ja) * 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
JP6103969B2 (ja) 2013-02-07 2017-03-29 キヤノン株式会社 撮像装置、その制御方法およびプログラム
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
JP2014182300A (ja) * 2013-03-19 2014-09-29 Toshiba Corp 液晶光学素子、固体撮像装置、携帯情報端末、および表示装置
JP2014209170A (ja) 2013-03-22 2014-11-06 株式会社東芝 液晶光学装置、固体撮像装置、携帯情報端末、および表示装置
JP6238548B2 (ja) * 2013-04-10 2017-11-29 キヤノン株式会社 撮像装置及びその制御方法、交換レンズ及びその制御方法、及び、撮像システム及びその制御方法
US20140354777A1 (en) * 2013-05-29 2014-12-04 Electronics And Telecommunications Research Institute Apparatus and method for obtaining spatial information using active array lens
KR102080679B1 (ko) * 2013-06-07 2020-02-24 한양대학교 산학협력단 다차원 영상 획득 방법 및 다차원 영상 획득 장치
US9392187B2 (en) 2013-07-09 2016-07-12 Samsung Electronics Co., Ltd. Image generating apparatus including digital iris and method and non-transitory recordable medium
CN103364961B (zh) * 2013-08-02 2016-03-09 浙江大学 基于多投影阵列和多层液晶复合调制的三维显示方法
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
JP2015126253A (ja) * 2013-12-25 2015-07-06 株式会社ニコン 撮像装置
CN103728808B (zh) * 2013-12-30 2016-05-11 深圳市墨克瑞光电子研究院 液晶透镜成像装置及液晶透镜成像方法
TWI500966B (zh) * 2014-02-20 2015-09-21 中強光電股份有限公司 抬頭顯示器
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
CN104156916B (zh) * 2014-07-31 2017-03-29 北京航空航天大学 一种用于场景光照恢复的光场投影方法
KR20170063827A (ko) 2014-09-29 2017-06-08 포토네이션 케이맨 리미티드 어레이 카메라들의 동적 교정을 위한 시스템들 및 방법들
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
CN104410784B (zh) 2014-11-06 2019-08-06 北京智谷技术服务有限公司 光场采集控制方法和装置
CN115132767A (zh) * 2014-12-18 2022-09-30 索尼公司 固体摄像器件和电子装置
US9857594B2 (en) * 2015-01-29 2018-01-02 Kabushiki Kaisha Toshiba Optical device and head-mounted display device and imaging device equipped with the same
JP6471538B2 (ja) * 2015-03-02 2019-02-20 セイコーエプソン株式会社 プロジェクター及びプロジェクターシステム
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN105093472B (zh) 2015-08-25 2017-11-28 华为技术有限公司 成像装置和成像方法
EP3185540A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing A method for operating a plenoptic camera and a corresponding plenoptic camera
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置
KR102487393B1 (ko) * 2016-04-15 2023-01-12 에스케이하이닉스 주식회사 라이트 필드 모드와 컨벤셔널 모드를 갖는 이미지 센서
CN108459411A (zh) 2017-02-20 2018-08-28 上海蔚兰动力科技有限公司 抬头显示器与运输工具
WO2018211603A1 (ja) 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置
WO2018211601A1 (ja) 2017-05-16 2018-11-22 オリンパス株式会社 撮像装置および撮像システム
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP7233082B2 (ja) * 2017-12-28 2023-03-06 国立大学法人信州大学 光学素子、マイクロレンズアレイ、及び光学素子の作製方法
WO2019131925A1 (ja) * 2017-12-28 2019-07-04 日東電工株式会社 光学素子、マイクロレンズアレイ、及び光学素子の作製方法
KR102155329B1 (ko) * 2018-11-09 2020-09-11 경북대학교 산학협력단 라이트 필드 이미징 시스템
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
BR112022006617A2 (pt) 2019-10-07 2022-06-28 Boston Polarimetrics Inc Sistemas e métodos para detecção por sensor de normais à superfície com polarização
CN110855882B (zh) * 2019-11-01 2021-10-08 RealMe重庆移动通信有限公司 拍摄处理方法及装置、存储介质和电子设备
CN110855881B (zh) * 2019-11-01 2021-07-02 RealMe重庆移动通信有限公司 拍摄处理方法及装置、存储介质和电子设备
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0534656A (ja) 1991-08-01 1993-02-12 Toyota Motor Corp 焦点距離可変液晶レンズ
US6538823B2 (en) * 2001-06-19 2003-03-25 Lucent Technologies Inc. Tunable liquid microlens
US6864951B1 (en) * 2002-05-08 2005-03-08 University Of Central Florida Tunable electronic lens and prisms using inhomogeneous nano scale liquid crystal droplets
US20060192869A1 (en) * 2005-02-28 2006-08-31 Kazutora Yoshino Multi-dimensional input, transfer, optional memory, and output method
JP4561634B2 (ja) * 2003-11-13 2010-10-13 コニカミノルタオプト株式会社 撮像レンズ及び撮像装置
JP4235539B2 (ja) * 2003-12-01 2009-03-11 独立行政法人科学技術振興機構 画像構成装置及び画像構成方法
US7535649B2 (en) * 2004-03-09 2009-05-19 Tang Yin S Motionless lens systems and methods
JP4380477B2 (ja) 2004-09-07 2009-12-09 旭硝子株式会社 液晶レンズ素子および光ヘッド装置
KR101134208B1 (ko) 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US8317035B2 (en) 2004-12-30 2012-11-27 Global Nuclear Fuel-Americas, Llc. Debris filter
JP4242862B2 (ja) 2005-09-12 2009-03-25 オリンパス株式会社 光学特性可変光学素子及び光学特性可変光学素子を備えた表示装置
US7583444B1 (en) * 2005-12-21 2009-09-01 3M Innovative Properties Company Process for making microlens arrays and masterforms

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369556B (zh) * 2010-02-02 2014-10-29 松下电器(美国)知识产权公司 摄像装置
CN102369556A (zh) * 2010-02-02 2012-03-07 松下电器产业株式会社 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
CN103137026B (zh) * 2011-11-29 2015-06-03 联想(北京)有限公司 一种电子设备及其成像方法
CN103137026A (zh) * 2011-11-29 2013-06-05 联想(北京)有限公司 一种电子设备及其成像方法
WO2013078956A1 (zh) * 2011-11-29 2013-06-06 北京联想软件有限公司 一种电子设备及其成像方法
US9942479B2 (en) 2011-11-29 2018-04-10 Beijing Lenovo Software Ltd. Electronic device and imaging method thereof
CN104041004B (zh) * 2012-01-13 2018-01-30 佳能株式会社 摄像设备及其控制方法和摄像系统
CN104041004A (zh) * 2012-01-13 2014-09-10 佳能株式会社 摄像设备及其控制方法和摄像系统
CN103091258A (zh) * 2013-01-29 2013-05-08 中国科学院光电研究院 一种基于液态变焦技术的多光谱成像仪
CN103091258B (zh) * 2013-01-29 2015-08-19 中国科学院光电研究院 一种基于液态变焦技术的多光谱成像仪
WO2015051626A1 (zh) * 2013-10-10 2015-04-16 华为技术有限公司 一种光场相机
CN104580869A (zh) * 2013-10-10 2015-04-29 华为技术有限公司 一种光场相机
US10321033B2 (en) 2013-10-10 2019-06-11 Huawei Technologies Co., Ltd. Light field camera
CN104580869B (zh) * 2013-10-10 2018-06-05 华为技术有限公司 一种光场相机
CN104580877A (zh) * 2013-10-29 2015-04-29 华为技术有限公司 图像获取的装置及方法
CN104580877B (zh) * 2013-10-29 2018-03-06 华为技术有限公司 图像获取的装置及方法
US9654683B2 (en) 2013-10-29 2017-05-16 Huawei Technologies Co., Ltd. Apparatus and method for image acquisition
WO2015062215A1 (zh) * 2013-10-29 2015-05-07 华为技术有限公司 图像获取的装置及方法
CN106610542A (zh) * 2015-10-21 2017-05-03 深圳超多维光电子有限公司 液晶微透镜阵列成像装置与成像方法
CN106610542B (zh) * 2015-10-21 2019-09-10 深圳超多维科技有限公司 液晶微透镜阵列成像装置与成像方法
US10237467B2 (en) 2015-10-22 2019-03-19 Coretronic Corporation Image capturing device and an image capturing method
CN114189603A (zh) * 2020-09-15 2022-03-15 美光科技公司 衍射减少的微透镜成像

Also Published As

Publication number Publication date
JP5040493B2 (ja) 2012-10-03
US20100066812A1 (en) 2010-03-18
KR20090094266A (ko) 2009-09-04
JP2008167395A (ja) 2008-07-17
EP2104334A1 (en) 2009-09-23
EP2104334A4 (en) 2010-03-17
EP2104334B1 (en) 2012-11-07
WO2008069077A1 (ja) 2008-06-12
US8305429B2 (en) 2012-11-06
CN101554042B (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
CN101554042B (zh) 图像拾取装置和图像拾取方法
JP5879549B2 (ja) ライトフィールド撮像装置、および画像処理装置
JP5056428B2 (ja) デジタルカメラ
US9041770B2 (en) Three-dimensional image capture device
US5616912A (en) Three dimensional imaging apparatus, camera, and microscope using discrete shutter control to produce parallax for obtaining three dimensional images
CN103250098B (zh) 三维图像拍摄方法
US9057942B2 (en) Single camera for stereoscopic 3-D capture
CN104932132A (zh) 液晶光学元件和图像设备
WO2013179538A1 (ja) 奥行き推定撮像装置
CN207691912U (zh) 小体积的光场成像模组
Joo et al. Light-field camera for fast switching of time-sequential two-dimensional and three-dimensional image capturing at video rate
KR20200054410A (ko) 라이트 필드 이미징 시스템
KR102461778B1 (ko) 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링
EP3479569B1 (en) Plenoptic camera with a controllable birefringent layer for richer color acquisition
JPH09197343A (ja) 立体画像表示装置
KR20140061234A (ko) 이미지 생성 장치 및 이미지 생성 방법
JP6008298B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN207516656U (zh) 一种用于不同视角成像的成像装置
CN217982098U (zh) 一种基于微透镜阵列的液晶偏振相机系统
KR20220078108A (ko) 렌즈 어셈블리 및 이를 포함하는 전자 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130109

Termination date: 20131128