CN101500086B - 图像拾取装置 - Google Patents

图像拾取装置 Download PDF

Info

Publication number
CN101500086B
CN101500086B CN2009100098583A CN200910009858A CN101500086B CN 101500086 B CN101500086 B CN 101500086B CN 2009100098583 A CN2009100098583 A CN 2009100098583A CN 200910009858 A CN200910009858 A CN 200910009858A CN 101500086 B CN101500086 B CN 101500086B
Authority
CN
China
Prior art keywords
image pickup
image
micro lens
data
pickup device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100098583A
Other languages
English (en)
Other versions
CN101500086A (zh
Inventor
早坂健吾
山本健二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101500086A publication Critical patent/CN101500086A/zh
Application granted granted Critical
Publication of CN101500086B publication Critical patent/CN101500086B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Abstract

一种图像拾取装置，包括：图像拾取镜头部分，其具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据；以及微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图像拾取器件的多个图像拾取像素提供每个微镜头，其中满足以下公式(1)：p＝(m×s)×{L/(L+f)}...(1)，其中，p是各微镜头之间的间距，s是预定方向上的像素大小，m是预定方向上分配给每个微镜头的图像拾取像素的数目(整数)，L是孔径光阑和微镜头阵列部分之间的距离，并且f是每个微镜头的焦距。

Description

图像拾取装置
技术领域
本发明涉及使用微镜头阵列的图像拾取装置。
背景技术
已经提出和开发了各种图像拾取装置。也已经提出了一种图像拾取装置，其对通过拾取图像获得的图像拾取数据执行预定的图像处理，以便输出处理的图像拾取数据。
例如，国际专利公开No.06/039486和Ren.Ng等人的“Light FieldPhotography with Hand-Held Plenoptic Camera”(斯坦福技术报告CTSR2005-02)提出了使用所谓“光场摄影(Light Field Photography)”技术的图像拾取装置。这种图像拾取装置包括图像拾取镜头、微镜头阵列、图像拾取器件和图像处理部分，并且在图像拾取镜头中包括孔径光阑(aperture stop)，该孔径光阑在其中心部分包括单个孔径。在这种配置中，由图像拾取器件获得的图像拾取数据包括感光平面上光的强度分布以及关于光的行进方向的信息。因此，图像处理部分能够重建或重现从任意视点或任意方向(以下简称为视野)观看的图像。
发明内容
在上述微镜头阵列中，安排了多个微镜头，并且给每个微镜头分配了图像拾取器件的多个像素。在使用上述技术的情况下，重建图像中的像素数目等于微镜头阵列中的微镜头数目，因为关于重建图像的二维坐标的信息由微镜头阵列的坐标来确定。因此，重建图像的二维坐标中的像素数目等于将图像拾取器件的像素的总数目除以分配给每个微镜头的像素数目而确定的数目。另一方面，分配给每个微镜头的像素数目等于光线的角度信息的分辨率，并且确定重建图像的任意视野中的分辨率，也就是说，确定重建图像的视点或方向的数目。因此，在任意视野的分辨率和二维坐标中的像素数目之间存在平衡(trade-off)关系。
在这种情况下，在使用上述技术的情况下，图像拾取数据包括光的强度分布以及关于光的行进方向的信息，因此分开描述每条光线是重要的。然而，在该技术中，各图像(通过投影主镜头的孔径光阑形成的图像)之间的间距依赖于主镜头的孔径光阑的位置而改变，各图像的每个对应于在图像拾取器件上形成的每个微镜头。换句话说，分配给每个微镜头的像素数目改变。因此，在一些情况下，依赖于孔径光阑的位置，难以获得重建图像(如再聚焦图像和任意视点图像)作为对上述技术唯一的图像。
期望提供一种图像拾取装置，其在获得包括关于光的行进方向的信息的图像拾取数据的情况下，能够形成正确的重建图像。
根据本发明的实施例，第一图像拾取装置包括：图像拾取镜头部分，其具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据；以及微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图像拾取器件的多个图像拾取像素提供每个微镜头，其中满足以下公式(1)：
p＝(m×s)×{L/(L+f)}...(1)
其中，p是各微镜头之间的间距，s是预定方向上的像素大小，m是预定方向上分配给每个微镜头的图像拾取像素的数目(整数)，L是孔径光阑和微镜头阵列部分之间的距离，并且f是每个微镜头的焦距。
在根据本发明实施例的第一图像拾取装置中，通过图像拾取镜头部分经历图像拾取的对象的图像形成在微镜头阵列部分上。然后，进入微镜头阵列部分的光线到达图像拾取器件，并且由分配给每个微镜头的多个图像拾取像素检测，从而获得包括关于光的行进方向的信息的图像拾取数据。在该情况下，当各微镜头之间的间距满足上述公式时，防止在由图像拾取器件获取的图像拾取数据中出现图像拾取器件的感光平面中的图像高度偏差。
根据本发明的实施例，提供了第二图像拾取器件，包括：图像拾取镜头部分，其具有孔径光阑；图像拾取器件，其基于检测的光来获得图像拾取数据；微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图像拾取器件的多个图像拾取像素提供每个微镜头；以及图像高度校正部分，其对由图像拾取器件获取的图像拾取数据执行图像高度校正，使得在预定方向上由单个微镜头在图像拾取器件上形成的图像的图像大小等于在预定方向上图像拾取像素的像素大小的整数倍。
在根据本发明实施例的第二图像拾取装置中，通过图像拾取镜头部分经历图像拾取的对象的图像形成在微镜头阵列部分上。然后，进入微镜头阵列部分的光线到达图像拾取器件，并且由分配给每个微镜头的多个图像拾取像素检测，从而获得包括关于光的行进方向的信息的图像拾取数据。在该情况下，图像高度校正部分对由图像拾取器件获取的图像拾取数据执行图像高度校正，使得在预定方向上由单个微镜头在图像拾取器件上形成的图像的图像大小等于在预定方向上图像拾取像素的像素大小的整数倍，因此不管孔径光阑的位置，防止在通过执行这种图像高度校正获取的图像拾取数据中出现图像拾取器件的感光平面中的图像高度偏差。
在根据本发明的第一图像拾取装置中，各微镜头之间的间距满足上述公式，因此可以防止在由图像拾取器件获取的图像拾取数据中出现图像拾取器件的感光平面中的图像高度偏差。因此，当通过使用这种图像拾取数据来形成重建图像时，在获得图像拾取数据以便包括关于光的行进方向的信息的情况下，可以形成正确的重建图像。
此外，在根据本发明的第二图像拾取装置中，图像高度校正部分对由图像拾取器件获取的图像拾取数据执行图像高度校正，使得在预定方向上由单个微镜头在图像拾取器件上形成的图像的图像大小等于在预定方向上图像拾取像素的像素大小的整数倍，因此不管孔径光阑的位置，可以防止在通过执行这种图像高度校正获取的图像拾取数据中出现图像拾取器件的感光平面中的图像高度偏差。因此，当通过使用执行图像高度校正获得的图像拾取数据来形成重建图像时，在获得图像拾取数据以便包括关于光的行进方向的信息的情况下，不管主镜头的孔径光阑的位置，可以形成正确的重建图像。
从以下的描述中，本发明的其它和另外的目标、特征和优点将更完整地出现。
附图说明
图1是根据本发明第一实施例的图像拾取装置的整体配置的图示；
图2是图1所示的孔径光阑的示意性平面图；
图3是图1所示的微镜头阵列的示意性平面图；
图4是安排在图像拾取器件的感光平面上的滤色镜的示意性平面图；
图5是图1所示的图像处理部分的配置示例的功能方块图；
图6A和6B是用于描述微镜头阵列和图像拾取器件中的图像拾取模式的平面图；
图7是用于描述通过图像处理部分的图像处理的示例的示意性透视图；
图8是用于描述通过图像处理部分的再聚焦算术处理的示意性剖面图；
图9是再聚焦算术处理中的再聚焦面的确定位置的示例的示意性剖面图；
图10是再聚焦算术处理中的再聚焦面的确定位置的另一示例的示意性剖面图；
图11是图9所示的再聚焦算术处理中的分类处理的示例的示意性平面图；
图12是图10所示的再聚焦算术处理中的分类处理的另一示例的示意性平面图；
图13是用于描述根据比较示例的图像拾取装置中的图像高度偏差的图示；
图14是用于描述根据比较示例的图像拾取装置中的图像高度偏差的示意图；以及
图15是根据本发明第二实施例的图像处理部分的配置示例的功能方块图。
具体实施方式
以下将参照附图详细描述本发明的各优选实施例。
第一实施例
图1图示根据本发明第一实施例的图像拾取装置(图像拾取装置1)的整体配置。图像拾取装置1拾取对象2的图像以输出图像拾取数据Dout。按照从靠近对象2侧开始的顺序，图像拾取装置1包括图像拾取镜头11、孔径光阑10、微镜头阵列12和图像拾取器件13。图像拾取装置1还包括图像处理部分14、图像拾取器件驱动部分15和控制部分16。
图像拾取镜头11是用于拾取对象的图像的主镜头，并且包括例如摄像机、静态相机等中使用的典型的图像拾取镜头。
孔径光阑10是图像拾取镜头11的光学孔径光阑。例如，如图2所示，孔径光阑10在其中心部分具有一个圆形孔径部分10A。从而，如稍后将描述的，所有通过孔径光阑10A的光线保持关于其行进方向的信息。安排孔径光阑10和微镜头阵列12以便在它们之间具有距离L。
例如，如图3所示，在微镜头阵列12中，多个微镜头12-1以矩阵形式二维地安排(各微镜头12-1之间的间距：p12)，并且微镜头阵列12安排在图像拾取镜头11的图像形成平面上(附图中的参考标号f1表示图像拾取镜头11的焦距)。每个微镜头阵列12-1的平面形状是圆形，并且每个微镜头12-1由例如液晶镜头、液体镜头、衍射镜头等制成。
在微镜头阵列12中，当各微镜头12-1之间的间距为如上所述的“p12”时，当图像拾取器件13的图像拾取像素(稍后将描述的像素P)的预定方向上的像素大小为“s”时，当预定方向上分配给每个微镜头12-1的像素P的数目为“m”(整数)时，当孔径光阑10和微镜头阵列12之间的距离如上所述为“L”时，并且当每个微镜头的焦距为“f2”时，微镜头12-1之间的间距p12由以下公式(11)表示。从而，如稍后将详细描述的，在由图像拾取器件13获取的图像拾取数据(稍后将描述的图像拾取数据D0)中，防止了图像拾取器件13的感光平面(靠近微镜头阵列12侧的平面)中的图像高度偏差的发生。
p12＝(m×s)×{L/(L+f2)}......(11)
图像拾取器件13接收或检测来自微镜头阵列12的光以获得图像拾取数据D0，并且被安排在微镜头阵列12的焦平面上(附图中的参考标号f2表示每个微镜头12-1的焦距)。图像拾取器件13包括二维图像拾取器件，如以矩阵形式二维安排的多个CCD(电荷耦合器件)或多个CMOS(互补金属氧化物半导体)。
在这种图像拾取器件13的感光平面(靠近微镜头阵列12的面)上，M×N(M和N每个为整数)个图像拾取像素(稍后将描述的像素P)以矩阵形式二维安排，并且多个像素P分配给微镜头阵列12中的一个微镜头12-1。感光平面上的像素P的数目为例如M×N＝3720×2520＝9374400。分配给每个微镜头12-1的像素数目(m×n)涉及重建图像的任意视野中的分辨率，因此重建图像的任意视野中的分辨率随着m和n的值的增加而增加。另一方面，(M/m)和(N/n)的值与重建图像中的像素数目(分辨率)有关，因此，重建图像中的像素数目随着(M/m)和(N/n)的值的增加而增加。因此，在重建图像的任意视野中的分辨率和像素数目之间存在平衡关系。
在图像拾取器件13的感光平面上，例如，为每个像素P二维地安排如图4所示的滤色镜17(图1中未示出)。滤色镜17是具有拜尔(Bayer)安排的滤色镜(基色滤色镜)，其中三种基色(即，红(R)、绿(G)和蓝(B))的滤色镜(红色滤色镜17R、绿色滤色镜17G和蓝色滤色镜17B)以网状模式、以R∶G∶B＝1∶2∶1的比率安排。这种滤色镜17安排在图像拾取器件13的感光平面上，从而由图像拾取器件13获取的图像拾取数据D0变为对应于滤色镜17的颜色的多种颜色(在该情况下，三种基色)的像素数据(颜色像素数据)。
图像处理部分14对由图像拾取器件13获取的图像拾取数据D0执行稍后将描述的预定的图像处理(包括分类处理的图像处理)，并且输出通过执行图像处理获取的图像拾取数据Dout。更具体地，例如，图像处理部分14执行利用所谓“光场摄影”技术的再聚焦算术处理。从而，图像处理部分14可以形成聚焦在任意焦点上的图像(基于图像拾取数据Dout的重建图像)。稍后将详细描述图像处理部分14的配置和再聚焦算术处理的操作。
图像拾取器件驱动部分15驱动图像拾取器件13，并且控制图像拾取器件13的感光操作。
控制部分16控制图像处理部分14和图像拾取器件驱动部分15的操作，并且包括例如微计算机等。
接着，以下将参照图5详细描述图像处理部分14的配置。图5图示图像处理部分14的功能方块图。
图像处理部分14包括缺陷校正部分141、箝位处理部分142、插值处理部分143、分类部分144、噪声减少部分145、边缘增强部分146、白平衡调整部分147和伽马校正部分148。
缺陷校正部分141校正如图像拾取数据D0中包括的丢失或无效的缺陷(由图像拾取器件13中的异常导致的缺陷)。箝位处理部分142对通过缺陷校正部分141的缺陷校正获取的图像拾取数据执行设置每个像素数据的黑电平(level)的处理(箝位处理)。
插值处理部分143对从箝位处理部分142提供的图像拾取数据执行插值处理，例如，典型的拜尔安排上的demosaic处理，以便获取图像拾取数据D1。
分类部分144对从插值处理部分143提供的图像拾取数据D1执行预定的分类处理(分类像素数据的处理)，以便获取图像拾取数据D2。当执行这种分类处理时，形成了聚焦在上述任意焦点上的重建图像。以下将详细描述分类部分144的分类处理的操作。
噪声减少部分145执行减少从分类部分144提供的图像拾取数据D2中包括的噪声(例如，在黑的地方或灵敏度不够的地方拾取图像时生成的噪声)的处理。边缘增强部分146对从噪声减少部分145提供的图像拾取数据执行边缘增强处理，也就是说，增强图像的边缘的处理。
白平衡调整部分147对从边缘增强部分146提供的图像拾取数据执行调整颜色平衡的处理(白平衡调整处理)(调整或设置图像拾取数据，使得红色像素数据、绿色像素数据和蓝色像素数据的数目相互相等)，其中这种颜色平衡可能受各设备之间的个体差异(如图像拾取器件13的光谱灵敏度的差异)、滤色镜17的传输特性的差异或照明状况的影响。
伽马校正部分148对从白平衡调整部分147提供的图像拾取数据执行预定的伽马校正(色调或对比度校正)，以便获得图像拾取数据Dout。
接着，参照图1-14，以下将详细描述根据本实施例的图像拾取装置1的功能和效果。
首先，参照图1-12，以下将描述图像拾取装置1的基本功能。
在图像拾取装置1中，对象2的图像通过图像拾取镜头11形成在例如根据如图6A所示的每个微镜头12-1的形状(圆形形状)的微镜头阵列12上。然后，到微镜头阵列12的入射光线通过微镜头阵列12到达图像拾取器件13，并且例如如图6B所示，入射光线由孔径光阑10投射在其上的感光区域13-1检测，并且通过图像拾取器件13获得图像拾取数据D0。此时，根据入射光线的入射方向，在图像拾取器件13中的不同位置检测到微镜头阵列12的入射光线。更具体地，光线的入射方向由分配给每个微镜头12-1的像素P的位置确定。对应于重建图像的一个像素安排其中为每个微镜头12-1分配像素P的区域(重建像素区域13D)。
接着，在图像拾取器件13中获取的图像拾取数据输入到图像处理部分14中。然后，在图像处理部分14中，对图像拾取数据D0执行预定的图像处理(例如，上述再聚焦算术处理)，从而输出通过图像处理获取的图像拾取数据Dout作为图像拾取装置1的输出数据(重建图像的图像数据)。
接着，参照图7-12，以下将描述图像处理部分14的图像处理操作(再聚焦算术处理操作)的基本部分。
首先，如图7所示，在图像拾取镜头11的图像拾取镜头平面上定义了直角坐标系统(u，v)，并且在图像拾取器件13的图像拾取平面上定义了直角坐标系统(x，y)。图像拾取镜头11的图像拾取镜头平面和图像拾取器件13的图像拾取平面之间的距离定义为“F”。然后，通过图像拾取镜头11和图像拾取器件13的光线L1由四维函数LF(x，y，u，v)表示。因此，关于光线L1的行进方向的信息和关于光线L1的位置的信息被记录到图像拾取器件13中。换句话说，通过分配给每个微镜头12-1的多个像素P的安排确定了光线的入射方向。
同样，如图8所示，在确定了图像拾取镜头平面110、图像拾取平面130和再聚焦平面120之间的位置关系的情况下(确定再聚焦平面120以便建立F’＝αF)，再聚焦平面120上的坐标(s，t)的图像拾取平面130上的检测强度LF由下面的公式(12)表示。此外，在再聚焦平面120上获取的图像EF’(s，t)是通过对于镜头孔径积分上述检测强度LF’得到的值，因此图像EF’(s，t)由以下公式(13)表示。因此，当基于公式(13)、基于通过图像处理获取的图像拾取数据Dout执行再聚焦算术操作时，重建了聚焦在任意焦点(再聚焦平面120)上的图像。
L F ′ ( s , t , u , v ) = L ( α · F ) ( s , t , u , v )
= L F ( u + s - u α , v + t - v α , u , v ) - - - ( 12 )
= L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v }
E F ′ ( s , t ) = 1 F ′ 2 ∫ ∫ L F ′ ( s , t , u , v ) dudv (13)
= 1 α 2 F 2 ∫ ∫ L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v } dudv
更具体地，在图像处理部分14中，如图5所示，缺陷校正部分141校正从图像拾取器件13提供的图像拾取数据D0中的缺陷，并且箝位处理部分142对图像拾取数据D0执行箝位操作。然后，插值处理部分143对图像拾取数据D0执行插值处理，并且分类部分144执行像素数据D1的分类处理。从而从图像拾取数据D1中产生了图像拾取数据D2。
在该情况下，当要通过图像处理部分14的再聚焦算术处理形成重建图像时，确定该重建图像的焦点位置在执行摄影时确定的焦点位置(微镜头阵列12的位置)的背面(即，在比其更远的一侧)，执行其中例如选择性地提取图9所示的光线的分类处理。换句话说，确定其焦点位置在执行摄影时确定的焦点位置的背面的图像形成在图像拾取镜头11和微镜头阵列12之间。因此，曾经聚集的光线的再次分散，并且依赖于其行进方向通过不同的微镜头阵列到达图像拾取器件13。因此，例如如图11所示，执行分类每个像素数据的处理，使得从多个互相不同的重建像素区域13D中选择性提取对应于这种光线像素数据D10。
另一方面，当要通过图像处理部分14的再聚焦算术处理形成重建图像时，确定该重建图像的焦点位置在执行摄影时确定的焦点位置(微镜头阵列12的位置)的前面(即，在比其更近的一侧)，执行其中例如选择性地提取图10所示的光线的分类处理。换句话说，确定其焦点位置在执行摄影时确定的焦点位置的前面的图像形成在微镜头阵列12后面。因此，图像没有形成在图像拾取装置1中，并且光线依赖于其行进方向通过不同的微镜头阵列到达图像拾取器件13。因此，例如如图12所示，执行每个像素数据的分类处理，使得从多个互相不同的重建像素区域13D中选择性提取对应于这种光线像素数据D10。
接着，如图5所示，噪声减少部分145还对通过这种分类处理获取的图像拾取数据D2执行噪声减少处理，并且边缘增强部分146对图像拾取数据D2执行边缘增强处理，然后将图像拾取数据D2提供给白平衡调整部分147。从而，获取调整了颜色平衡的图像拾取数据。然后，伽马校正部分148对从白平衡调整部分147提供的图像拾取数据执行伽马校正，从而从图像处理部分14输出图像拾取数据作为图像拾取数据Dout。从而，基于图像拾取数据Dout重建了聚焦在任意焦点(再聚焦平面120)上的图像。
接着，参照图13和14，将与比较示例相比较来描述根据本实施例的图像拾取装置的特性功能。图13和14图示了在根据比较示例的图像拾取装置(包括其中各微镜头12-1之间的间距不满足上述公式(1)的微镜头阵列102，而不是图像拾取装置1中的微镜头阵列12)中出现了图像高度偏差的情况下(图像高度偏差量Δ＞0的情况)的图像拾取的状态。
首先，例如如图13所示，在作为主镜头的图像拾取镜头11的孔径光阑10的位置与图像拾取镜头11的主点P0具有一些距离的情况下，当入射到微镜头阵列12的入射光的主要光线L0相对于光轴倾斜到一定程度(在主要光线L0没有呈现在图像拾取镜头11的主点P0上的情况下)时，依赖于孔径光阑10的位置，形成在根据微镜头12-1的形状(圆形形状)的图像拾取器件13上的各图像(单位图像)之间的间距从位置P1移到位置P2，如附图中的箭头所示。
从而，例如如图14所示，图像高度偏差量Δ(点Pd和点Pe之间的距离)的图像高度偏差出现在图像拾取器件13的感光平面(在更靠近微镜头阵列12一侧的平面)中。图像高度偏差量Δ由下面的公式(14)和(15)表示，其中光轴和主要光线L0之间的倾斜角度为“θ”，在微镜头阵列102上形成的主要光线L0的图像的图像高度(点Pb和点Pf之间的距离)为“y”，孔径光阑10和微镜头阵列12之间的距离(点Pa和点Pb之间的距离)为“L”，并且每个微镜头12-1的焦距(点Pb和点Pe之间的距离)为“f2”。此外，微镜头阵列12上的图像高度y和在图像拾取器件13上形成的单位图像的图像高度(点Pc和点Pe之间的距离)之间的比率由下面的公式(16)表示。
tanθ＝(y/L)＝(Δ/f2)...(14)
Δ＝{(y×f2)/L}...(15)
(y+Δ)/y＝(L+f2)/L...(16)
因此，在根据图13和14所示的比较示例的图像拾取装置中，因为微镜头阵列102中的各微镜头12-1之间的间距p12不满足上述公式(11)，所以由上述公式(14)和(15)表示的图像高度偏差量Δ的图像高度偏差量因此发生。换句话说，如上所述，即使在由图像拾取器件13获取的图像拾取数据D0包括关于光的行进方向以及光强度分布的信息的情况下，各微镜头12-1之间的间距p12不等于图像拾取器件13的像素P的整数倍。因此，在预定方向上分配给每个微镜头12-1的像素P的数目改变，并且在图像处理部分14中，不能获得如再聚焦图像或任意视点图像的重建图像。
另一方面，在根据本实施例的图像拾取装置1中，在微镜头阵列12中，各微镜头12-1之间的间距p12满足上述公式(11)。从而，根据上述比较示例的图像高度校正因子(对应于上述公式(16)的倒数)的值恒定为“1”。因此，在由图像拾取器件13获取的图像拾取数据D0中，防止了图像拾取器件13的感光平面(在更靠近微镜头阵列12一侧的平面)中的图像高度偏差(图像高度偏差量Δ的图像高度偏差)的出现。
如上所述，在本实施例中，各微镜头12-1之间的间距p12满足上述公式(11)。因此，在由图像拾取器件13获取的图像拾取数据D0中，可以防止图像拾取器件13的感光平面中的图像高度偏差的出现。因此，当由图像处理部分14通过使用这种图像拾取数据D0形成重建图像时，在以这种方式获取图像拾取数据以便包括关于光的行进方向的信息的情况下，可以形成正确的重建图像。
此外，不同于以下将描述的第二实施例，在本实施例中，不需要安排执行图像高度校正的图像高度校正部分(稍后将描述的图像高度校正部分149)，并且只通过设置各微镜头12-1之间的间距p12来实现本实施例，因此，除非另外移动了在设计各微镜头12-1之间的间距时确定的孔径光阑10的位置，否则容易形成正确的重建图像。
接着，以下将描述本发明的第二实施例。根据本实施例的图像拾取装置具有与根据第一实施例的图像拾取装置的配置相同的配置，除了根据本实施例的图像拾取装置包括以下将描述的图像处理部分14A，而不是根据第一实施例的图像拾取装置的图像处理部分14，以及其中提供了各微镜头12-1之间的间距p12不满足上述公式(1)的微镜头阵列(对应于上述微镜头阵列102)，而不是微镜头阵列12。因此，相同组件用与第一实施例相同的标号来表示，并且将不会进一步描述。
图15图示了在根据本实施例的图像拾取装置中使用的图像处理部分(图像处理部分14A)的功能方块图。图像处理部分14A与第一实施例中所述的图像处理部分14的配置不同在于：在插值处理部分143和分类部分144之间安排了图像高度校正部分149。
图像高度校正部分149对由图像拾取器件13获取的图像拾取数据(更具体地，由插值处理部分143通过执行插值处理获得的图像拾取数据D1)执行图像高度校正，使得由单个微镜头12-1在图像拾取器件13上形成的图像(单位图像)在预定方向上的图像大小(对应于微镜头12-1之间的间距p12)等于图像拾取器件13的像素P的预定方向上的像素大小的整数倍。从而，通过图像高度校正获得图像拾取数据D3，并且将图像拾取数据D3提供给分类部分144。更具体地，图像高度校正部分149通过使用由以下公式(17)和(18)表示的校正因子k，对图像拾取数据D1执行图像高度校正(图像高度校正部分149通过将图像拾取数据D1乘以校正因子k获得图像拾取数据D3)。这里，在β＝1的情况下，p12＝m×s由公式(18)确定。
k＝β×{L/(L+f2)}...(17)
β＝(m×s)/p12...(18)
在这种配置中，在本实施例中，图像高度校正部分149对图像拾取数据D1执行图像高度校正，使得由单个微镜头12-1在图像拾取器件13上形成的图像(单位图像)在预定方向上的图像大小(对应于微镜头12-1之间的间距p12)等于在像素P的预定方向上的像素大小的整数倍。因此，在通过这种图像高度校正获取的图像拾取数据D3中，不管孔径光阑10的位置(孔径光阑10和微镜头阵列12之间的距离L)，图像拾取器件13的感光平面(在更靠近微镜头阵列12一侧的平面)中的图像高度偏差(图像高度偏差量Δ的图像高度偏差)不会出现。因此，当由图像处理部分14A通过使用执行图像高度角度获取的图像拾取数据D3形成重建图像时，如在第一实施例中获取图像拾取数据以便包括关于光的行进方向的信息的情况下，可以形成正确的重建图像而不管主镜头(图像拾取镜头11)的孔径光阑10的位置。
尽管参照第一和第二实施例描述了本发明，但是本发明不限于各实施例，而可以不同地修改。
例如，在第一实施例中，描述了各微镜头12-1之间的间距p12满足上述公式(1)的情况，并且在第二实施例中，描述了由图像高度校正部分149执行的图像高度校正的情况。然而，例如，第一和第二实施例中描述的配置可以组合。更具体地，各微镜头12-1之间的间距p12可以满足上述公式(11)，并且可以由图像高度校正部分149执行的图像高度校正。
此外，在上述实施例中，图像处理部分14和14A描述为图像拾取装置的组件。然而，图像处理部分不必安排在图像拾取装置中。更具体地，图像处理部分可以安排在不同于图像拾取装置的装置中，例如，PC(个人计算机)等，并且在图像拾取装置中获取的图像拾取数据可以发送到PC以在PC中对图像拾取数据执行图像处理。
此外，在上述实施例中，孔径光阑安排在图像拾取镜头的图像侧(出口侧)。然而，本发明不限于此，并且孔径光阑可以安排在图像拾取镜头的对象侧(入射侧)或在图像拾取镜头中。
在上述实施例中，作为滤色镜的示例，描述了具有拜尔安排的滤色镜，其中三种基色(即，红色(R)、绿色(G)和蓝色(B))的滤色镜以网状模式、以R∶G∶B＝1∶2∶1的比率安排。然而，可以使用具有任何其它安排的滤色镜。例如，可以使用具有这样安排的滤色镜(赠送(complimentary)滤色镜)，其中四种赠送颜色(即，黄色(Y)、品红(M)、青色(C)和绿色(G))的滤色镜(黄色滤色镜、品红色滤色镜、青色滤色镜和绿色滤色镜)以网状模式、以Y∶M∶C∶G＝1∶1∶1∶1的比率安排。
在上述实施例中，demosaic处理描述为图像拾取数据中的像素数据的插值处理的示例。然而，可以执行任何其它插值处理。
在上述实施例中，作为包括在图像处理部分14中执行的分类处理的图像处理的示例，描述了使用“光场摄影”的再聚焦算术处理。然而，包括这种分类处理的图像处理不限于此，并且例如可以使用焦距模糊处理、场深度调整处理等。
本领域技术人员要理解的是，依赖于设计要求和其它因数可以出现各种修改、组合、子组合和替换，只要它们在权利要求或其等效的范围内。
相关申请的交叉引用
本申请包括涉及于2008年1月28日向日本专利局提交的日本专利申请JP 2008-016716的主题，在此通过引用并入其全部内容。

Claims (2)

1.一种图像拾取装置，包括：
图像拾取镜头部分，其具有孔径光阑；
图像拾取器件，其基于检测的光来获得图像拾取数据；
微镜头阵列部分，其安排在所述图像拾取镜头部分和所述图像拾取器件之间的所述图像拾取镜头部分的焦平面上，并且包括多个微镜头，对应于所述图像拾取器件的多个图像拾取像素提供每个微镜头，以及
图像高度校正部分，其对由图像拾取器件获取的图像拾取数据执行图像高度校正，使得在预定方向上由单个微镜头在图像拾取器件上形成的图像的图像大小等于在预定方向上图像拾取像素的像素大小的整数倍，
其中
所述图像高度校正部分通过使用由下面的公式(2)和(3)表示的校正因子k，对图像拾取数据执行图像高度校正，
k＝β×{L/(L+f)}...(2)
β＝(m×s)/p    ...(3)
其中，p是各微镜头之间的间距，s是预定方向上的像素大小，m是预定方向上分配给每个微镜头的图像拾取像素的数目(整数)，L是孔径光阑和微镜头阵列部分之间的距离，并且f是每个微镜头的焦距。
2.如权利要求1所述的图像拾取装置，还包括：
图像处理部分，其对由图像高度校正部分通过图像高度校正获取的校正图像拾取数据执行预定的图像处理。
CN2009100098583A 2008-01-28 2009-01-24 图像拾取装置 Expired - Fee Related CN101500086B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP016716/08 2008-01-28
JP2008016716A JP4941332B2 (ja) 2008-01-28 2008-01-28 撮像装置

Publications (2)

Publication Number Publication Date
CN101500086A CN101500086A (zh) 2009-08-05
CN101500086B true CN101500086B (zh) 2011-07-06

Family

ID=40578630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100098583A Expired - Fee Related CN101500086B (zh) 2008-01-28 2009-01-24 图像拾取装置

Country Status (4)

Country Link
US (1) US8102459B2 (zh)
EP (1) EP2083446B1 (zh)
JP (1) JP4941332B2 (zh)
CN (1) CN101500086B (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
JP5593913B2 (ja) * 2010-07-22 2014-09-24 カシオ計算機株式会社 画像生成装置、画像生成プログラム、及び画像生成方法
JP5214754B2 (ja) * 2011-02-25 2013-06-19 株式会社東芝 固体撮像装置および携帯情報端末
JP5623313B2 (ja) * 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
CN103297677B (zh) * 2012-02-24 2016-07-06 卡西欧计算机株式会社 生成重构图像的图像生成装置以及图像生成方法
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
JP2013198016A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 撮像装置
KR20130112541A (ko) * 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치
US9451147B2 (en) 2012-06-11 2016-09-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP5978082B2 (ja) * 2012-09-19 2016-08-24 日本放送協会 立体画像撮影装置及びその方法
JP6080541B2 (ja) * 2012-12-26 2017-02-15 日本放送協会 立体画像取得装置および立体画像取得方法
US20140184861A1 (en) * 2012-12-30 2014-07-03 Todor Georgiev Accurate plenoptic rendering with defocus blur
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9525819B2 (en) * 2014-03-07 2016-12-20 Ricoh Company, Ltd. Enhancing spatial resolution of images from light field imaging systems using sub-pixel disparity
US9438778B2 (en) 2014-08-08 2016-09-06 Industrial Technology Research Institute Image pickup device and light field image pickup lens
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN107347129B (zh) * 2016-05-05 2020-02-14 中强光电股份有限公司 光场相机
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600250B2 (ja) * 1988-02-22 1997-04-16 ソニー株式会社 固体撮像装置およびビデオカメラ
JP3170847B2 (ja) * 1992-02-14 2001-05-28 キヤノン株式会社 固体撮像素子及びそれを用いた光学機器
CN101065955A (zh) * 2004-10-01 2007-10-31 利兰·斯坦福青年大学托管委员会 成像装置及其方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
JP4054094B2 (ja) * 1996-12-27 2008-02-27 オリンパス株式会社 電子内視鏡
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
JP4672461B2 (ja) 2004-06-28 2011-04-20 株式会社バンダイナムコゲームス 画像生成装置、電子機器、印刷加工物、画像生成方法及びプログラム
EP2398223B1 (en) 2004-10-01 2014-03-19 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangement and method therefor
JP4826152B2 (ja) 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
EP1941314A4 (en) 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
JP4802864B2 (ja) * 2006-05-29 2011-10-26 株式会社ニコン 焦点検出装置および撮像装置
JP5117691B2 (ja) 2006-07-07 2013-01-16 新日本無線株式会社 リードフレームおよびそれを用いた半導体装置の製造方法
US20080173791A1 (en) * 2007-01-19 2008-07-24 Palum Russell J Image sensor with three sets of microlenses

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600250B2 (ja) * 1988-02-22 1997-04-16 ソニー株式会社 固体撮像装置およびビデオカメラ
JP3170847B2 (ja) * 1992-02-14 2001-05-28 キヤノン株式会社 固体撮像素子及びそれを用いた光学機器
CN101065955A (zh) * 2004-10-01 2007-10-31 利兰·斯坦福青年大学托管委员会 成像装置及其方法

Also Published As

Publication number Publication date
EP2083446A2 (en) 2009-07-29
EP2083446B1 (en) 2012-08-01
US8102459B2 (en) 2012-01-24
EP2083446A3 (en) 2011-03-02
US20090190024A1 (en) 2009-07-30
JP4941332B2 (ja) 2012-05-30
JP2009177727A (ja) 2009-08-06
CN101500086A (zh) 2009-08-05

Similar Documents

Publication Publication Date Title
CN101500086B (zh) 图像拾取装置
EP2083447B1 (en) Image pickup apparatus
CN101867707B (zh) 成像装置
CN101437168B (zh) 图像拾取装置
CN101656835B (zh) 图像拾取设备、显示器和图像处理设备
CN101800854B (zh) 图像拾取装置
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US8514319B2 (en) Solid-state image pickup element and image pickup apparatus
EP2190019A1 (en) Image pickup apparatus
JP5067154B2 (ja) 撮像装置
CN101662590A (zh) 图像拾取装置和图像处理装置
CN101883215A (zh) 成像设备
CN102369721A (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
CN102037734A (zh) 照相机传感器校正
DE10037701C2 (de) Farbbilderfassungssystem mit Antialiasing
KR102314719B1 (ko) 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링
CN103999449A (zh) 摄像元件
CN103843320A (zh) 图像传感器和成像装置
US9124828B1 (en) Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
US20130092819A1 (en) Prismatic image replication for obtaining color data from a monochrome detector array
EP1333687A1 (en) Autostereoscopic display apparatus and image capturing device
CN107003588A (zh) 具有光学元件的移动设备
Meyer et al. Ultra-compact imaging system based on multi-aperture architecture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110706

Termination date: 20160124

EXPY Termination of patent right or utility model