CN102844785A - 拍摄装置 - Google Patents

拍摄装置 Download PDF

Info

Publication number
CN102844785A
CN102844785A CN2011800167729A CN201180016772A CN102844785A CN 102844785 A CN102844785 A CN 102844785A CN 2011800167729 A CN2011800167729 A CN 2011800167729A CN 201180016772 A CN201180016772 A CN 201180016772A CN 102844785 A CN102844785 A CN 102844785A
Authority
CN
China
Prior art keywords
mentioned
lenticule
pixel
basic point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800167729A
Other languages
English (en)
Other versions
CN102844785B (zh
Inventor
岩根透
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to CN201610928674.7A priority Critical patent/CN106842386B/zh
Publication of CN102844785A publication Critical patent/CN102844785A/zh
Application granted granted Critical
Publication of CN102844785B publication Critical patent/CN102844785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供拍摄装置，其具备：多个微透镜，其在成像光学系统的焦点面附近二维状地配置；拍摄元件，其由元件群与上述微透镜分别对应地二维状地配置而成，上述元件群包含经由上述微透镜接受通过上述成像光学系统的来自被摄体的光束并输出图像信号的多个光电变换元件；和合成部，其为了生成与上述成像光学系统的任意成像面中的多个成像区域对应的合成图像数据，根据按每个上述成像区域来特定输出用于生成上述合成图像数据的上述图像信号的上述光电变换元件的位置的信息，合成从上述多个光电变换元件输出的上述图像信号。

Description

拍摄装置
技术领域
本发明涉及生成合成图像的拍摄装置。
背景技术
传统，已知有与一个微透镜对应具备多个拍摄像素，将一次摄影取得的图像数据在摄影后合成，生成任意焦点位置的图像的拍摄装置(例如，专利文献1、2及非专利文献1)。
专利文献1：日本特开2007-4471号公报
专利文献2：US2007／0252047号公报
非专利文献1：Light Field Photography with a Handheld Plenopticcamera,Stanford tech report CTSR2005-02
发明内容
但是，存在生成的图像成为与微透镜排列数相同的分辨率，生成的图像的分辨率比拍摄像素排列密度显著降低的问题。而且，存在合成图像生成时运算处理非常繁琐的问题。
根据本发明第1方式，拍摄装置具备：多个微透镜，其在成像光学系统的焦点面附近二维状地配置；拍摄元件，其由元件群与上述微透镜分别对应地二维状地配置而成，上述元件群包含经由上述微透镜接受通过上述成像光学系统的来自被摄体的光束并输出图像信号的多个光电变换元件；和合成部，其为了生成与上述成像光学系统的任意成像面中的多个成像区域对应的合成图像数据，根据按每个上述成像区域来特定输出用于生成上述合成图像数据的上述图像信号的上述光电变换元件的位置的信息，合成从上述多个光电变换元件输出的上述图像信号。
根据本发明第2方式，优选的是，第1方式的拍摄装置中，上述多个成像区域设置与上述微透镜相同的数量以上，上述成像区域的各自的配置间隔与多个上述微透镜的各自的配置间隔具有比例关系。
根据本发明第3方式，优选的是，第1或第2方式的拍摄装置中，按每个上述成像区域来特定输出用于生成上述合成图像数据的上述图像信号的上述光电变换元件的位置的信息，包括按每个上述成像区域来特定输出用于生成上述合成图像数据的上述图像信号的上述光电变换元件的位置的表。
根据本发明第4方式，优选的是，第3方式的拍摄装置中，具备按每个上述任意成像面作成上述表的作成部。
根据本发明第5方式，优选的是，第3或第4方式的拍摄装置中，上述表，按每个上述成像区域，以上述微透镜的伪光轴为基准，将上述光电变换元件的配置位置标准化，以与上述成像区域对应的上述微透镜为基准，相对地特定与上述光电变换元件的配置位置对应的上述微透镜的配置位置。
根据本发明第6方式，优选的是，第3至第5方式的拍摄装置中，上述表，通过表示以上述成像区域为基准，以将上述微透镜的焦点距离除以合成图像数据的光圈值（光阑值）后的值为直径的区域所包含的上述光电变换元件的配置位置与上述多个微透镜中的哪一个上述微透镜对应，来特定上述光电变换元件的位置。
根据本发明第7方式，优选的是，第1至第6方式的拍摄装置中，上述多个微透镜的各个在与上述摄影光学系统的光轴正交的平面上具有六角形形状，上述多个微透镜二维状地蜂窝排列。
根据本发明第8方式，优选的是，第7方式的拍摄装置中，具备将上述合成部生成的上述合成图像数据的水平方向和垂直方向的比率变换为1的变换单元。
根据本发明，按每个任意成像面作成特定用于生成多个成像区域的各个的合成图像数据的光电变换元件的位置的表，根据表生成合成图像数据，因此可以高速生成分辨率高的合成图像数据。
附图说明
图1是本发明实施方式的数字拍摄机的构成的说明图。
图2是微透镜和拍摄元件的配置的一例示图。
图3是实施方式中的微透镜和基点像素的位置关系的说明图。
图4是合成图像的生成原理的说明图。
图5是用于生成合成图像的积分（累计）区域和拍摄像素的关系的示图。
图6是输出用于对基点信号积分的图像信号的拍摄像素的位置关系的一例示图。
图7是环带和微透镜的关系的一例示图。
图8是基点像素从微透镜的伪光轴偏心时的积分区域的示图。
图9是变形例中的微透镜的形状和基点像素的说明图。
图10是从光点发出的光束由拍摄像素的受光面截取的光截面的说明图。
图11是微透镜和光截面的关系的说明图。
图12是微透镜和光截面的关系的说明图。
图13是在基点微透镜展开了区域分割时的光截面的说明图。
图14是光点相对于基点微透镜的伪光轴偏心时的分割区域的说明图。
具体实施方式
本实施方式的数字拍摄机（数字相机）利用经由微透镜阵列摄影取得的图像信号具有深度信息等波面信息的情况，通过数值处理，生成具有用户期望的景深和焦点位置的图像数据。经由拍摄透镜入射的被摄体光束在微透镜阵列附近成像。此时，根据被摄体位置，光束成像的位置在拍摄透镜的光轴方向上不同，而且被摄体若为三维物体，则被摄体光束不在同一平面上成像。本实施方式的数字拍摄机生成用户期望的在光轴方向的成像位置再现成像的被摄体的像的图像。
而且，本实施方式的数字拍摄机构成为可生成具有比微透镜阵列所包含的微透镜数目更大分辨率的合成图像，作为上述图像。即，与一个微透镜对应，输出成为合成图像的各像素的图像信号的拍摄像素(基点像素)设置多个。并且，数字拍摄机为了形成与用户选择对应的焦点位置的合成图像，向从基点像素输出的图像信号累加从周边配置的拍摄像素输出的图像信号，生成与合成图像的1像素量的成像区域相当的合成图像信号，作成焦点位置可变的合成图像。以下，详细说明。
图1是实施方式的数字拍摄机的构成图。数字拍摄机1构成为，具有拍摄透镜L1的交换透镜2可拆装。数字拍摄机1具备拍摄单元100、控制电路101、A／D变换电路102、存储器103、操作部108、显示器109、LCD驱动电路110及存储卡接口111。拍摄单元100具备多个微透镜120二维状排列的微透镜阵列12及拍摄元件13。另外，以下说明中，Z轴设定成与拍摄透镜L1的光轴平行，在与Z轴正交的平面内，X轴和Y轴设定成相互正交的方向。
拍摄透镜L1包括多个光学透镜群，使来自被摄体的光束在其焦点面附近成像。另外，为了便于说明，图1用一块透镜代表表示了拍摄透镜L1。在拍摄透镜L1的焦点面附近，顺序配置微透镜阵列12和拍摄元件13。拍摄元件13包括具有多个光电变换元件的CCD和／或CMOS图像传感器。拍摄元件13拍摄在拍摄面上成像的被摄体像，由控制电路101控制，将与被摄体像相应的光电变换信号(图像信号)向A／D变换电路102输出。另外，拍摄单元100详细说明将后述。
A／D变换电路102是对拍摄元件13输出的图像信号进行模拟处理后变换为数字图像信号的电路。控制电路101由CPU和/或存储器等周边电路构成。控制电路101根据控制程序，用从构成数字拍摄机1的各部输入的信号，进行预定运算，对数字拍摄机1的各部送出控制信号，控制摄影工作。另外，如后述，控制电路101根据响应光圈值输入按钮108a操作而从操作部108输入的操作信号，确定由用户选择的合成图像的光圈值。如后述，控制电路101根据响应焦点位置输入按钮108b操作而从操作部108输入的操作信号，确定合成图像的焦点位置。
控制电路101功能上具备表生成部105、图像积分（累计）部106及图像标准化部107。表生成部105用根据光圈值输入按钮108a的操作而确定的合成图像的光圈值，作成合成像素所属表。图像积分部106用根据焦点位置输入按钮108b的操作而确定的合成图像的焦点位置和由表生成部105作成的合成像素所属表，从图像信号生成合成图像数据。如后述，图像标准化部107以与图像积分部106生成的合成图像数据对应的合成图像纵横比(水平方向和垂直方向的比)成为1：1的方式进行校正。另外，表作成部105、图像积分部106及图像标准化部107的详细情况将后述。
存储器103是易失性存储介质，用于暂时地存储由A／D变换电路102数字变换后的图像信号和／或图像处理、图像压缩处理及显示用图像数据作成处理途中和／或处理后的数据。存储卡接口111是可拆装存储卡111a的接口。存储卡接口111是根据控制电路101的控制，向存储卡111a写入图像数据或者读出在存储卡111a记录的图像数据的接口电路。存储卡111a是Compactflash(注册商标)和／或SD卡等的半导体存储卡。
LCD驱动电路110是根据控制电路101的命令，驱动显示器109的电路。显示器109包括例如液晶等，根据重放模式中在存储卡111a记录的图像数据，显示由控制电路101作成的显示数据。另外，在显示器109显示用于设定数字拍摄机1的各种工作的菜单画面。
操作部108接受用户操作，向控制电路101输出与操作内容相应的各种操作信号。操作部108包含光圈值输入按钮108a、焦点位置输入按钮108b、电源按钮、释放按钮、其他设定菜单的显示切换按钮、设定菜单确定按钮等。光圈值输入按钮108a在合成图像的光圈值F输入时由用户操作。用户操作光圈值输入按钮108a，选择光圈值F后，操作部108向控制电路101输出操作信号。焦点位置输入按钮108b在合成图像的焦点位置y输入时由用户操作。用户操作焦点位置输入按钮108b，选择焦点位置y后，操作部108向控制电路101输出操作信号。
接着，详细说明拍摄单元100的构成。拍摄单元100具有如上所述的微透镜阵列12和拍摄元件13。微透镜阵列12包括二维状排列的多个微透镜120。拍摄元件13中，接收通过上述各微透镜120的光的像素排列130以与微透镜120对应的配置图案配置。各个像素排列130包括二维状排列的多个光电变换元件131(以下，称为拍摄像素131)。
图2(a)表示按微透镜阵列12排列的微透镜120的XY平面的平面图。如图2(a)所示，微透镜阵列12在XY平面上，由例如六角形形成的多个微透镜120蜂窝排列而成。另外，图2(a)表示在微透镜阵列12设置的多个微透镜120中的部分微透镜120。图2(b)是在拍摄透镜L1的光轴方向(Z轴方向)中、拍摄透镜L1、微透镜阵列12和拍摄元件13的位置关系的说明图。如图2(b)所示，拍摄元件13配置在按微透镜120的焦点距离f离开的位置。即，具有多个拍摄像素131的像素排列130设置在按与各像素排列130分别对应的微透镜120的焦点距离f离开的位置。另外，图2(b)中，表示了在微透镜阵列12设置的多个微透镜120和在拍摄元件13设置的多个像素排列130及多个拍摄像素131一部分。
采用从具有上述构成的拍摄元件13输出的图像信号，图像积分部106作成合成图像数据。图像积分部106将与某微透镜120对应设置的像素排列130所包含的拍摄像素131中预定的拍摄像素131(以下，称为基点像素132(图3))输出的图像信号(以下，称为基点信号)和与基点像素132对应的微透镜120及附近设置的微透镜120对应的像素排列130所包含的拍摄像素131输出的图像信号合成。结果，图像积分部106生成与1像素相当的合成图像信号。图像积分部106对与各微透镜120对应的基点像素全部进行上述处理，将生成的各个合成图像信号累加，生成合成图像数据。
图像积分部106在如上所述生成合成图像信号时，参照表作成部105作成的合成像素所属表。合成像素所属表表示：输出用于合成到基点信号的图像信号的拍摄像素131配置在与哪个微透镜120对应的像素排列130的哪个位置。以下，说明图像积分部106采用从拍摄像素131输出的图像信号生成合成图像信号的处理和表作成部105作成合成图像所属表的处理。
图3表示与各微透镜120即各像素排列130对应设置的基点像素。图3中，也表示了多个微透镜120中的部分微透镜120。如图3所示，本实施方式中，相对于一个微透镜120，设置例如4个基点像素132a~132d。通过使基点像素132的个数为多个，可以减少焦点位置不可变的区域。即，基点像素132为1个的场合，上述区域的大小为±2f(f是微透镜120的焦点距离)，而通过使基点像素132为多个，最少可将上述区域的大小设为±f。而且，通过增加基点像素132的个数，可以增加合成图像数据的像素数。从而，图3所示场合中，合成图像数据的像素数成为在微透镜阵列12排列的微透镜120的个数4倍。
图3中，基点像素132a与微透镜120的伪光轴对应配置。另外，本实施方式中，将伪光轴设为从拍摄透镜L1的光瞳入射的光束的中心和微透镜120的主面的交点来说明。图3中，表示微透镜120的几何学的中心和伪光轴一致的情况。基点像素132b、132d在相邻的微透镜120附近配置，基点像素132c在与相邻的微透镜120的边界线上对应配置。另外，以下说明中，与基点像素132对应的微透镜120称为基点微透镜121。
-合成图像信号的生成-
首先，说明图4(a)所示的被摄体的像在微透镜120的顶点成像时、即焦点面S存在于微透镜120的顶点时合成图像的生成原理。该场合的来自被摄体的光束入射与微透镜120对应设置的像素排列130的拍摄像素131。图像积分部106通过对从图4(a)所示的拍摄像素131中的划斜线的拍摄像素131输出的图像信号积分，生成与合成图像数据1的像素相当的合成图像信号。图像积分部106通过对与全部微透镜120对应的像素排列130进行该处理，生成合成图像数据。
接着，说明对于某焦点面(成像面)成像的被摄体像，生成合成图像信号时的原理。如图4(b)所示，焦点面S存在于从微透镜120的顶点离开的位置时，来自被摄体的光束入射不同的多个微透镜120。因而，图像积分部106为了生成合成图像信号，必须还采用来自与在基点微透镜121附近配置的微透镜120对应配置的拍摄像素131的图像信号。本实施方式中，相对于一个基点微透镜121设置多个基点像素132，即，在与微透镜120的伪光轴对应的位置不同的位置也设置了基点像素132。
图像积分部106通过对根据合成图像的光圈值确定的积分区域所包含的拍摄像素131输出的图像信号全部积分，生成与合成图像数据中的1像素(合成图像成像区域)相当的合成图像信号。另外，积分区域由直径为D的圆表示。积分区域的直径D采用根据光圈值输入按钮108a的操作确定的光圈值(合成图像数据的光圈值)F和微透镜120的焦点距离f，通过以下的式(1)表达。
D=f/F  …(1)
图5表示积分区域Rs和拍摄像素131的关系。如上所述，图像积分部106对从表现为圆形区域的积分区域Rs覆盖的全部拍摄像素131输出的图像信号积分。图5中，向输出积分的图像信号的拍摄像素131附上了斜线来表示。微透镜120是构成微透镜阵列12的一个透镜，因此，不能使积分区域Rs大于由微透镜120的排列所容许的各微透镜120的直径。从而，由合成图像数据容许的最大光圈值Fmax通过以下的式(2)表达。另外，式(2)中“s”表示拍摄像素131的一边的大小。另外，合成图像数据中的最小光圈值Fmin成为微透镜120的F值。
Fmax=f/s  …(2)
通过图像积分部106对从包含基点像素132的像素排列130输出的图像信号积分后的合成图像信号，即积分值通过以下的式(3)表达。另外，式(3)中，P表示从拍摄像素131输出的图像信号的输出值。另外，式(3)的“i”表示合成图像的光圈值为F时积分区域Rs覆盖的拍摄像素131，“0”表示与包括基点像素132的像素排列130对应配置的微透镜120，即基点微透镜121。
P = Σ i F P i , 0
. . . ( 3 )
如上所述，图像积分部106还采用从与在基点微透镜121的附近设置的微透镜120对应的像素排列130所包含的拍摄像素131输出的图像信号进行积分。即，图像积分部106对来自由合成图像的光圈值F确定的积分区域Rs覆盖的拍摄像素131的集合F{i}所包含的全部拍摄像素131，即与包含基点微透镜121的附近的微透镜120对应配置的拍摄像素131的像素信号的输出值进行积分。该场合，输出值P由以下式的(4)表达。另外，式(4)的“t”表示包含基点微透镜121的附近的微透镜120。
P = Σ i F P i , 1
. . . ( 4 )
图6表示输出由图像积分部106生成一个合成图像信号时采用的图像信号的拍摄像素131与基点微透镜121及附近相邻的微透镜120a~120f的关系。另外，图6中，表示对从基点像素132a输出的基点信号生成合成图像信号的情况。若将与图6所示的基点微透镜121相邻的微透镜120a~120f中分散的各拍摄像素131集中，则构成由图5所示的合成图像的光圈值F规定的区域即积分区域Rs覆盖的多个拍摄像素131。
图像积分部106进行上述处理对图像信号积分时，输出累加到基点信号的图像信号的拍摄像素131配置在与哪一个微透镜120对应的像素排列130哪个位置是重要的。因此，式(3)、(4)中“i”表示的拍摄像素131设置为与哪个微透镜120a~120f对应，即表示拍摄像素131的分散的信息即表，作为合成像素所属表存储在预定的存储区域。图像积分部106生成合成图像信号时，参照该合成像素所属表。另外，合成像素所属表设为由以下的式(5)表达。
t=Td(i)…(5)
以下，说明合成像素所属表的作成原理。
图10表示在微透镜阵列12中从光点LP发出并由拍摄像素131的受光面截取的光束LF的光截面LFD。如图10所示，从光点LP扩散的光束LF通过其前级的拍摄透镜L1，扩散角受到限制。因此，分别入射各微透镜120的光束LF不会超出微透镜120的覆盖区域外(图10中，光截面LFDc、LFDe描绘为一部分超出覆盖区域外)。这也可以通过拍摄像素131的受光面与拍摄透镜L1的光瞳光学共轭来说明。经由拍摄透镜L1摄影时，微透镜120覆盖的区域中出现摄影光瞳像即光的边界，光束LF不入射其外侧。
以上述点为前提进行说明。图10的微透镜阵列12中，若对于向与光束LF的光截面LFDa~LFDe(总称为LFD)对应的拍摄像素131a~131e的入射光量积分，则可获得来自光点LP的光束LF中的限制到拍摄透镜L1的光瞳的光束LF的所有辐射量。从而，图像积分部106对图像信号积分时，相对于光点LP的z轴方向的坐标运算拍摄像素131的受光元件面的光截面LFD即可。反之，若设置显示元件、从与光束LF的各光截面LFD对应的各个显示元件出射光，则必然存在按照与入射相同的方向前进的光束LF，因此“光点LP”成为光束LF的聚点。
如上所述，从光点LP扩散的光束LF的角度由拍摄透镜L1的光瞳，即，拍摄透镜L1的F值决定。另外，如显示系统等那样不存在拍摄透镜L1的场合，由微透镜120的F值规定开口的最大值(F的最小值)。从而，若仅仅使用微透镜120的覆盖区域的中心部，则可限制开口。
用图11，通过在微透镜120上投影来自光点LP的光束LF的扩散，来说明几个或哪个微透镜120与某一光截面LFD对应。另外，图11中，为了便于说明，表示了微透镜120为正方形排列的情况。另外，图11中，对从光点LP扩散的光束LF，表示了光点LP的z轴方向位置在微透镜120的焦点距离f的情况和在为其二倍的2f的情况。图11中，光点LP位置为f时光束LF的扩散用虚线表示，为2f时用点划线表示。光点LP若位于微透镜120的焦点距离f的位置，则光束LP的扩散由微透镜120规定(光截面LFD设为圆,但是微透镜120若直到正方形端部为止光学有效，则成为正方形)，因此，光束LF入射一个微透镜120内。以上，确定与一个光点LP对应的微透镜120。
光点LP的位置在微透镜120的焦点距离f时，光束LF作为圆形开口的光扩散到该微透镜120的正下方的区域全体。因而，选择来自内切于正方形区域的圆的内部所包括的全部的拍摄像素131的图像信号即可。光点LP的位置的绝对值比焦点距离f小的场合，光束LF在微透镜120的正下方的区域内不会聚地扩散。但是，入射光束LF的扩散角受到限制，因此，光截面LFD处在覆盖区域。
这里说明光点LP的位置在2f的情况。图12表示与该情况有关的微透镜120。如图12(a)所示，有关的微透镜120是自身即基点微透镜121和与其相邻的8个微透镜120。考虑微透镜120对开口的限制时，在图12(a)中的斜线表示的覆盖区域中存在光截面LFD。该场合，各微透镜120形成的光截面LFD成为由图12(b)的斜线表示的区域。
如图12(b)所示，将一个基点微透镜121的覆盖区域分割，向相邻的微透镜120分配。对分割后分配的覆盖区域（部分区域）积分时的整体区域成为一个微透镜120的开口区域。因此，不管哪个位置的光点LP，光截面LFD的整体区域的大小都相同，因此，对部分区域积分来算出整体区域的场合，确定各个部分区域所属的微透镜120即可。
图11中，表示了光点LP的位置和倍率即与基点微透镜121相邻的微透镜120的个数和关系，将其适用到假想的开口区域。本实施例中，采用下述方法：以按倍率缩小的微透镜120的排列分割开口区域，在由此定义的微透镜120中的相同位置配置开口区域的片断。以下述情况为例说明：按倍率2缩小外切于开口区域的正方形，以微透镜120的排列分割开口区域（区域分割）。
图13表示在基点微透镜121展开上述区域分割时的光截面LFD。若根据倍率进行同样的区域分割，则可获得倍率、即相对于光点LP的光截面LFD的图形。具体地说，微透镜120的直径（微透镜的一边的大小）设为g时，用g/m宽度的格子分割开口区域。倍率可以用光点LP的高度（位置）y和微透镜的焦点距离f之比m＝y/f表达。比m也存在负符号。比m的符号为负的场合，光点LP与微透镜120相比，处于拍摄元件13侧。
上述例中，说明了光点LP在某微透镜120的透镜中心轴即伪光轴上存在的情况，但是实际上即使偏心，计算上也没有问题。若仅仅可在透镜中心上运算，则合成图像的二维分辨率等于微透镜120的个数，但是通常这是完全不够的。其理由是因为，微透镜120覆盖的拍摄像素131的数目若设为100，则合成图像的分辨率成为像素数目的1/100。因而，为了获得100万像素的合成图像，需要1亿个拍摄像素131。因而，设为进行偏心位置处的合成，在微透镜120内，多个光点LP可对应。
微透镜120的覆盖区域和微透镜120的个数的积大致等于拍摄像素131的全部像素数，因此，将在一个微透镜120内偏心的多个点分别设为基点进行合成的情况，等同于重叠使用来自拍摄像素131的图像信号。即，来自各偏心的光点LP的光束LF重叠存在于拍摄像素131上。但是，倍率为1倍时，该运算成为单纯的内插操作，对分辨率提高没有实质贡献。这表明若在微透镜120顶点附近成像，则光学的深度方向的信息丢失。
图14表示了与相对于基点微透镜121的伪光轴左偏心的光点LP相关的分割区域。说明从基点微透镜121（透镜直径设为g）的中心即伪光轴向图14的左方向偏心p、光点LP的高度（位置）为2f的情况。另外，图14中，点o1表示偏心的光点LP，点o2表示伪光轴。该场合，图13所示的微透镜120向图中右方向偏移p，若分割开口区域，则获得图14所示的场合的分割区域。
若将微透镜120分割为16个，若将透镜中心（伪光轴）的座标设为（0，0），相对于x轴y轴，分别进行－g／2、－g／4、0、g/4、g／2的位置的图形及其形成的分割区域及整体区域的积分，则可以对一个微透镜120获得16点的光点群。
-合成像素所属表作成处理-
图像积分部106在对图像信号积分时，参照合成像素所属表。如上所述，该合成像素所属表特定：输出用于合成到基点信号的图像信号的拍摄像素131配置在与基点微透镜121及附近设置的微透镜120对应的像素排列130的哪个位置。
表生成部105确定合成图像的焦点位置y和合成图像的光圈值F(景深)后，作成与输出用于合成到基点信号的图像信号的拍摄像素131有关的合成像素所属表。如上所述，将来自与哪个微透镜120对应的哪个拍摄像素131的图像信号累加到基点信号，由合成图像的焦点位置确定。
图6(a)表示合成图像的焦点位置（焦点面）y相对于微透镜阵列12存在于被拍摄体侧的情况。另外，图6(b)表示合成图像的焦点位置（焦点面）y相对于微透镜阵列12存在于拍摄元件13侧的情况。如图6(a)及图6(b)所示，关于与微透镜120a对应的拍摄像素131，输出累加到基点信号的图像信号的拍摄像素131的配置相应于焦点面的位置而不同。其他的微透镜120b～120f及基点微透镜121也同样不同。
在基点微透镜121存在多个基点像素132的场合(例如图3的基点像素132a~132d)，表作成部105对各个基点像素132作成合成像素所属表。但是，多个基点像素132若相对于基点微透镜121的伪光轴对称(对称性)，则图像积分部106可将某基点像素132的合成像素所属表用作其他基点像素132的合成像素所属表。例如，图像积分部106可将图3的基点像素132b的合成像素所属表用作相对于基点微透镜121的伪光轴对称的基点像素132d的合成像素所属表。
以下，详细说明表作成部105进行的合成像素所属表的作成处理。以下说明中，代表性说明与基点微透镜121的伪光轴对应配置的基点像素132a的合成像素所属表的作成处理。合成图像的焦点面存在于离微透镜阵列12距离y的位置，即焦点距离设为y。而且，从基点微透镜121通过第n个微透镜120的伪光轴的光束如以下的式(6)所示，入射离基点微透镜121的伪光轴距离x的位置。另外，“d”表示各微透镜120的排列间距。
x=fnd／y  …(6)
若考虑拍摄像素131接受由对应的微透镜120成像的光束，则来自合成图像的焦点位置y的来自被摄体的光中的在拍摄元件13的拍摄面中由各微透镜120照射的光的幅度l，通过以下的式(7)表达。
l=fd／y  …(7)
上述光幅度l在拍摄元件13的二维平面上，由幅度l的环状区域（以下，称为环带）表示。从而，在从基点微透镜121到在第n个位置配置的微透镜120中，由合成图像的光阑值F规定的光束入射由该环带l表示的区域内。如式（7）所示，合成图像的焦点位置y越大，环带l的幅度越小。
本实施例中，各个微透镜120在xy平面中的形状为图3所示的六角形，在微透镜阵列12上蜂窝状排列。图7表示在某合成图像的光阑值F对应的积分区域Rs中，n＝1时的环带l1及n＝2时的环带l2。如图7所示，n＝1时的环带l1由基点微透镜121及微透镜120a～120f区分，分别形成部分区域Rpa～Rpg。即，各部分区域Rpa～Rpg分别由不同的微透镜120覆盖。从而，图像积分部106算出来自环带l1的各部分区域Rpa～Rpg所包括的拍摄像素131的图像信号的输出值Pi,s。同样，图像积分部106对积分区域Rs即全部环带l积分即可。
关于基点微透镜121及各微透镜120a～120f，与相邻的微透镜120的关系基本同样。从而，表作成部105对于构成环带l1的部分区域Rpa～Rpg各自所包括的各拍摄像素131，确定某拍摄像素131属于哪个部分区域Rp。
对于基点像素132a，将包括输出被积分的图像信号的拍摄像素131的积分区域Rs的直径设为（D＝f／F）。另外，将各微透镜120的x轴方向（水平方向）的排列间距d、换言之是内切于六角形形状的各微透镜120各个的圆的直径，设为等于积分区域Rs的直径的最大值Dmax。而且，以微透镜120的假想弯曲面为基准，将合成图像的焦点位置（焦点距离）设为y。该场合，将微透镜阵列12中的各微透镜120的排列间距d设为投射倍率即f/y倍而在积分区域Rs上投影的区域，与通过各微透镜120分割环带l所成的部分区域Rp的各个相当。表作成部105使部分区域Rp所包含的拍摄像素131的位置和与部分区域Rp对应的微透镜120相关联，作成基点像素132a的合成像素所属表。表作成部105对于其他基点像素132b~132d，也同样作成合成像素所属表。另外，与部分区域Rp对应的微透镜120的位置特定为以基点微透镜121的位置为基准的相对位置。
另外，表作成部105对于基点像素132没有在基点微透镜121的伪光轴上配置的场合，即基点像素132b~132d，也同样作成合成像素所属表。说明例如在2个微透镜120的边界线上配置的基点像素132c那样，从基点微透镜121的伪光轴偏心的情况。该场合，表作成部105如图8所示，以从基点微透镜121的伪光轴偏心的基点像素132c为中心，以投射倍率扩大或缩小微透镜120的排列间距d，在积分区域Rs上投影。
另外，期望微透镜120和拍摄像素131的位置关系，即微透镜120的大小(配置间隔)和拍摄像素131的排列间距具有比例关系。如图3所示，以微透镜120的内部成为拍摄像素131的排列间距的整数倍的方式确定拍摄像素131的排列间距后，表作成部105通过按每一微透镜120反复进行同一运算，可作成式(5)表示的合成像素所属表。
说明以上说明的数字拍摄机1的工作。响应用户对释放开关的操作，从操作部108输出操作信号后，控制电路101使拍摄元件13开始被摄体像的拍摄，输出图像信号。拍摄元件13输出的图像信号通过A／D变换电路102变换为数字图像信号，在存储器103存储。图像积分部106采用在该存储器103存储的图像信号，生成合成图像数据。
响应用户对光圈值输入按钮108a及焦点位置输入按钮108b的操作，控制电路101确定合成图像的光圈值F及焦点位置y后，表作成部105如上所述作成合成像素所属表。由合成图像的光圈值F确定积分区域Rs，因此，表作成部105根据确定的合成图像的焦点位置y算出投射倍率，确定积分区域Rs的部分区域Rp。然后，表作成部105根据确定的部分区域Rp所包含的拍摄像素131，作成合成像素所属表，在预定的存储区域存储。
图像积分部106采用存储的合成像素所属表，对存储器103存储的图像信号进行合成图像数据的生成处理。此时，图像积分部106可以按每个与各微透镜120对应的像素排列130，生成合成图像信号，进行合成图像数据的生成处理，也可以按照基点像素132的排列顺序，生成合成图像信号，生成合成图像数据。
图像积分部106从各微透镜120中选择基点微透镜121，以基点微透镜121的伪光轴为中心，确定积分区域Rs。如上所述，本实施方式中，将伪光轴设为从拍摄透镜L1的光瞳入射的光束中心和微透镜120的主面交点。通常，越靠微透镜阵列12的周边部，即与被摄体象的像高高的位置对应配置的微透镜120，则伪光轴越从微透镜120的几何学上的中心偏移。从而，在拍摄透镜L1的光瞳位置固定的场合，优选以拍摄元件13的各拍摄像素131和微透镜120的伪光轴成比例关系的方式预先设计微透镜120。
拍摄像素131和微透镜120的伪光轴不成比例关系的场合，表作成部105以伪光轴为基准，按每一微透镜120，内插拍摄像素131的位置，进行标准化，作成合成像素所属表。标准化手法采用例如公知的双立方（bicubic）法和／或最近邻法等。
合成像素所属表根据如上所述标准化的拍摄像素131的位置，由表作成部105作成。从而，图像积分部106参照该合成像素所属表，对从由合成图像的光圈值F确定的积分区域Rs内的拍摄像素131输出的图像信号积分，生成合成图像数据。图像积分部106生成合成图像数据后，图像标准化部107对合成图像数据进行标准化处理。图像积分部106生成的合成图像数据的间距根据微透镜120的排列和拍摄像素131的排列的比例关系确定，因此，合成图像数据的水平方向和垂直方向的像素间距不同。图3所示的微透镜120是具有六角形形状的蜂窝排列，在各像素排列130包含4个基点像素132的场合，水平方向和垂直方向的比如以下的式(8)。
Figure BDA00002206318400161
从而，图像标准化部107对于垂直方向或水平方向，采用例如公知的最近邻法和／或双立方法等进行内插运算，进行标准化。结果，通过图像标准化部107，合成图像数据的水平方向和垂直方向的比变换为1:1。
根据以上说明的实施方式的数字拍摄机1，可获得以下作用效果。
(1)在拍摄透镜L1的焦点面附近二维状配置多个微透镜120，拍摄元件13中，包含经由微透镜120接受通过拍摄透镜L1的来自被摄体的光束并输出图像信号的多个拍摄像素131的像素排列130，与微透镜120分别对应地二维状配置。图像积分部106为了生成拍摄透镜L1的任意焦点位置即与成像面中的多个成像区域对应的合成图像信号，根据按每个成像区域来特定输出用于生成合成图像信号的图像信号的拍摄像素131的位置的信息，即合成像素所属表，合成从拍摄像素131输出的图像信号。
传统技术中，生成某焦点面中的合成图像数据时，合成与通过微透镜120的中心位置对应的坐标的光束对应输出的图像信号，生成与合成图像数据1的像素相当的合成图像信号。即，合成图像数据的像素数即分辨率等于微透镜120的排列数。假定一个微透镜120的直径与拍摄像素131的10像素量相当，即与一个微透镜120对应排列了10×10像素的拍摄像素131。该场合，合成图像数据的像素数等于微透镜120的排列数，因此图像密度成为1/100。即，拍摄元件13即使具有1000万像素的拍摄像素131，生成的合成图像数据也成为10万像素。
相对地，本实施方式的数字拍摄机1，对一个微透镜120设置4个用于生成与合成图像数据的1像素相当的合成图像信号的基点像素132。结果，与传统技术的数字拍摄机生成的合成图像数据比，分辨率增加，即与微透镜120的排列数比可增加分辨率，因此合成图像画质提高。
(2)而且，表作成部105作成表示输出合成到来自基点像素132的基点信号的图像信号的拍摄像素131的位置的合成像素所属表。即，不用如传统技术那样采用使用傅里叶变换的复杂运算就可生成合成图像数据。结果，即使微透镜120的xy平面上形状不是矩形排列(例如蜂窝排列)，基于傅里叶变换的运算繁琐，也可以降低处理负载，高速生成合成图像。另外，表作成部105在每次确定合成图像的焦点位置y时作成合成像素所属表，因此，不必预先存储与多个合成图像的焦点位置y和多个基点像素132分别对应的多个数据表，从而可以确保存储容量。
(3)多个基点像素132的各个的配置间隔与多个微透镜120的各个的配置间隔具有比例关系。即，确定拍摄像素131的排列间距，使微透镜120的大小成为拍摄像素131的排列间距的整数倍。其结果，图像积分部106，通过对与其他微透镜120对应的基点像素132，进行与对与多个中某微透镜120对应的基点像素132进行的合成图像生成处理同样的处理，可以生成合成图像数据。从而，可以减轻合成图像的生成处理的负担，高速生成合成图像数据。
(4)表作成部105对多个基点像素132a~132d分别作成合成像素所属表。该合成像素所属表中，与基点像素132对应的拍摄像素131配置的位置，以微透镜120的伪光轴为基准而标准化。合成像素所属表，以基点微透镜121为基准，相对地指定与拍摄像素131的配置位置对应的微透镜120的配置位置。从而，图像积分部106可以参照合成像素所属表选择输出合成到来自基点像素132的基点图像信号的图像信号的拍摄像素131，因此可以实现合成图像数据的生成处理高速化。
(5)表作成部105作成的合成像素所属表，表示以基点像素132为基点的区域即以微透镜120的焦点距离f除以合成图像的光圈值F的值为直径D(=f/F)的积分区域Rs所包含的拍摄像素131的配置位置与多个微透镜120中哪个微透镜120对应。从而，图像积分部106可以参照合成像素所属表选择合成到来自基点像素132的基点信号的图像信号，即与合成图像的光圈值F对应的图像信号，因此，可以实现合成图像数据的生成处理高速化。
(6)图像标准化部107将图像积分部106生成的合成图像数据标准化，将水平方向和垂直方向的比率变换为1。从而，微透镜120的xy平面上的形状即使不是矩形，也可以生成水平方向和垂直方向的比率一致的合成图像数据，防止合成图像的画质降低。
以上说明的实施方式的数字拍摄机1可如下变形。
(1)与一个微透镜120对应的4个基点像素132a~132d也可以配置在从微透镜120的伪光轴偏心的位置。图9(a)表示该场合的基点像素132的配置例。该场合，基点像素132a~132d配置在相对于微透镜120的伪光轴相互对称(对称性)的位置。基点像素132如图9(a)所示配置时，图像积分部106可以将与一个基点像素132对应的合成像素所属表用作与其他3个基点像素132对应的合成像素所属表。例如，图像积分部106通过每隔60度进行旋转，可以将与基点像素132a对应的合成像素所属表用作与基点像素132b、132c、132d分别对应的合成像素所属表。即，表作成部105对一个微透镜120作成一个合成像素所属表即可。
(2)微透镜120xy的平面中的形状也可以取代六角形蜂窝构造而采用例如正方形的矩形形状。图9(b)表示该场合的微透镜120和基点像素132的配置例。该场合，表作成部105通过与实施方式同样方法作成与4个基点像素132a~132d对应的合成像素所属表，图像积分部106一边参照合成像素所属表，一边生成合成图像数据。但是，不同于微透镜120具有蜂窝构造的场合，合成图像数据的水平方向和垂直方向的比率为1，因此不必进行图像标准化部107的处理。
(3)本实施方式中，对4个基点像素132作成合成像素所属表，但是也可以对n个(n是1以上整数)。例如，在与基点微透镜120对应的像素排列130包含16个基点像素132的场合，即对微透镜120的排列生成16倍的分辨率的合成图像数据的场合，表生成部105作成16种合成像素所属表即可。另外，与基点微透镜121对应的基点像素132数为1个时，合成图像数据分辨率等于微透镜120的排列数。
另外，只要无损本发明的特征，本发明不限于上述实施方式，在本发明的技术思想的范围内考虑的其他方式也是本发明范围所包含的。说明中采用的实施方式及变形例当然也可以进行适宜组合。
以下优先权基础申请的公开内容作为引用文献结合于此。
日本专利申请2010年第127825号(2010年6月3日申请)。

Claims (8)

1.一种拍摄装置，其特征在于，具备：
多个微透镜，其在成像光学系统的焦点面附近二维状地配置；
拍摄元件，其由元件群与上述微透镜分别对应地二维状地配置而成，上述元件群包含经由上述微透镜接受通过上述成像光学系统的来自被摄体的光束并输出图像信号的多个光电变换元件；和
合成部，其为了生成与上述成像光学系统的任意成像面中的多个成像区域对应的合成图像数据，根据按每个上述成像区域来特定输出用于生成上述合成图像数据的上述图像信号的上述光电变换元件的位置的信息，合成从上述多个光电变换元件输出的上述图像信号。
2.根据权利要求1所述的拍摄装置，其特征在于，
上述多个成像区域设置与上述微透镜相同的数量以上，上述成像区域的各自的配置间隔与多个上述微透镜的各自的配置间隔具有比例关系。
3.根据权利要求1或2所述的拍摄装置，其特征在于，
按每个上述成像区域来特定输出用于生成上述合成图像数据的上述图像信号的上述光电变换元件的位置的信息，包括按每个上述成像区域来特定输出用于生成上述合成图像数据的上述图像信号的上述光电变换元件的位置的表。
4.根据权利要求3所述的拍摄装置，其特征在于，
具备按每个上述任意成像面作成上述表的作成部。
5.根据权利要求3或4所述的拍摄装置，其特征在于，
上述表，按每个上述成像区域，以上述微透镜的伪光轴为基准，将上述光电变换元件的配置位置标准化，以与上述成像区域对应的上述微透镜为基准，相对地特定与上述光电变换元件的配置位置对应的上述微透镜的配置位置。
6.根据权利要求3至5的任一项所述的拍摄装置，其特征在于，
上述表，通过表示以上述成像区域为基准，以将上述微透镜的焦点距离除以合成图像数据的光圈值后的值为直径的区域所包含的上述光电变换元件的配置位置与上述多个微透镜中的哪一个上述微透镜对应，来特定上述光电变换元件的位置。
7.根据权利要求1至6的任一项所述的拍摄装置，其特征在于，
上述多个微透镜的各个在与上述摄影光学系统的光轴正交的平面上具有六角形形状，上述多个微透镜二维状地蜂窝排列。
8.根据权利要求7所述的拍摄装置，其特征在于，
具备将上述合成部生成的上述合成图像数据的水平方向和垂直方向的比率变换为1的变换单元。
CN201180016772.9A 2010-06-03 2011-06-03 拍摄装置 Active CN102844785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610928674.7A CN106842386B (zh) 2010-06-03 2011-06-03 拍摄装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010127825A JP5671842B2 (ja) 2010-06-03 2010-06-03 画像処理装置および撮像装置
JP127825/2010 2010-06-03
PCT/JP2011/062828 WO2011152531A1 (ja) 2010-06-03 2011-06-03 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610928674.7A Division CN106842386B (zh) 2010-06-03 2011-06-03 拍摄装置

Publications (2)

Publication Number Publication Date
CN102844785A true CN102844785A (zh) 2012-12-26
CN102844785B CN102844785B (zh) 2016-11-23

Family

ID=45066886

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610928674.7A Active CN106842386B (zh) 2010-06-03 2011-06-03 拍摄装置
CN201180016772.9A Active CN102844785B (zh) 2010-06-03 2011-06-03 拍摄装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610928674.7A Active CN106842386B (zh) 2010-06-03 2011-06-03 拍摄装置

Country Status (4)

Country Link
US (9) US8941771B2 (zh)
JP (1) JP5671842B2 (zh)
CN (2) CN106842386B (zh)
WO (1) WO2011152531A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5671842B2 (ja) 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
CN103139470A (zh) * 2011-11-30 2013-06-05 索尼公司 数字成像系统
JP5354005B2 (ja) * 2011-12-27 2013-11-27 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
JP5360190B2 (ja) * 2011-12-27 2013-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
JP5917158B2 (ja) * 2012-01-13 2016-05-11 キヤノン株式会社 撮像装置、その制御方法及び撮像システム
JP6102061B2 (ja) * 2012-02-28 2017-03-29 株式会社ニコン 画像処理装置
JP5968102B2 (ja) * 2012-06-15 2016-08-10 キヤノン株式会社 画像記録装置および画像再生装置
JP6344236B2 (ja) * 2012-07-12 2018-06-20 株式会社ニコン 画像処理装置および撮像装置
US9420158B2 (en) * 2012-07-16 2016-08-16 Sony Corporation System and method for effectively implementing a lens array in an electronic device
JP6029380B2 (ja) * 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
US9712820B2 (en) * 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US9414087B2 (en) 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
JP6351364B2 (ja) * 2014-05-12 2018-07-04 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN105812623B (zh) * 2014-12-30 2018-10-16 深圳超多维科技有限公司 微透镜阵列成像装置与成像方法
WO2016191035A1 (en) 2015-05-26 2016-12-01 Lytro, Inc. Capturing light-field images with uneven and/or incomplete angular sampling
JP6311771B2 (ja) * 2016-10-31 2018-04-18 凸版印刷株式会社 固体撮像素子
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
US9990037B1 (en) 2016-12-01 2018-06-05 Varjo Technologies Oy Display apparatus and method using portable electronic device
US9905143B1 (en) * 2016-12-01 2018-02-27 Varjo Technologies Oy Display apparatus and method of displaying using image renderers and optical combiners
CN107135341B (zh) * 2017-05-03 2019-12-27 Oppo广东移动通信有限公司 影像传感器、相机模组及电子装置
CN109348114A (zh) * 2018-11-26 2019-02-15 Oppo广东移动通信有限公司 成像装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031497A1 (en) * 2006-08-04 2008-02-07 Hitachi Maxell, Ltd. Imaging device and biometrics authentication apparatus
US20090140131A1 (en) * 2005-06-23 2009-06-04 Nikon Corporation Image input apparatus, photodetection apparatus, and image synthesis method

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US230894A (en) * 1880-08-10 Painter s palette
US7236304B2 (en) * 2003-11-04 2007-06-26 Matsushita Electric Industrial Co., Ltd. Imaging Device
EP1602347A1 (fr) * 2004-06-04 2005-12-07 Georges Magnin Orthèse d'avancement mandibulaire
JP2006135823A (ja) 2004-11-09 2006-05-25 Canon Inc 画像処理装置、撮像装置および画像処理プログラム
US8248515B2 (en) * 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US7637462B2 (en) 2006-04-28 2009-12-29 Anadish Kumar Pal Surface flow diverting and static charging ducted pores on wing or blade tip to reduce wake and BVI noise
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP2009206922A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP4538766B2 (ja) * 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
EP2403233B1 (en) * 2008-10-10 2022-12-28 Samsung Electronics Co., Ltd. Image processing apparatus and method
JP2010113554A (ja) * 2008-11-06 2010-05-20 Sharp Corp 画像処理装置および画像処理方法
JP5187145B2 (ja) * 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
US8570427B2 (en) * 2009-01-28 2013-10-29 Nikon Corporation Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
KR20110020519A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
JP6149339B2 (ja) * 2010-06-16 2017-06-21 株式会社ニコン 表示装置
JP5657343B2 (ja) * 2010-10-28 2015-01-21 株式会社ザクティ 電子機器
EP2725802A4 (en) * 2011-06-23 2014-07-02 Panasonic Corp IMAGING DEVICE
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5898501B2 (ja) * 2012-01-13 2016-04-06 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
JP6344236B2 (ja) * 2012-07-12 2018-06-20 株式会社ニコン 画像処理装置および撮像装置
JP2014137468A (ja) * 2013-01-17 2014-07-28 Sony Corp 撮像装置および撮像方法
US9106784B2 (en) * 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9420168B2 (en) * 2013-09-20 2016-08-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
JP2015185998A (ja) * 2014-03-24 2015-10-22 株式会社東芝 画像処理方法および撮像装置
JP6704349B2 (ja) * 2014-11-07 2020-06-03 ケイテック株式会社 表示装置及び表示方法
US10366478B2 (en) * 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
KR102646437B1 (ko) * 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
US11375092B2 (en) * 2018-10-04 2022-06-28 Samsung Electronics Co., Ltd. Image sensor and image sensing method
US11070757B2 (en) * 2019-05-02 2021-07-20 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Image sensor with distance sensing function and operating method thereof
US11595575B2 (en) * 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
KR20220041351A (ko) * 2020-09-25 2022-04-01 에스케이하이닉스 주식회사 이미지 센싱 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090140131A1 (en) * 2005-06-23 2009-06-04 Nikon Corporation Image input apparatus, photodetection apparatus, and image synthesis method
US20080031497A1 (en) * 2006-08-04 2008-02-07 Hitachi Maxell, Ltd. Imaging device and biometrics authentication apparatus

Also Published As

Publication number Publication date
US20180255217A1 (en) 2018-09-06
US20220075184A1 (en) 2022-03-10
US10955661B2 (en) 2021-03-23
US20200084351A1 (en) 2020-03-12
JP5671842B2 (ja) 2015-02-18
US9992393B2 (en) 2018-06-05
CN106842386B (zh) 2019-08-30
US20230251484A1 (en) 2023-08-10
US10511755B2 (en) 2019-12-17
US20150103228A1 (en) 2015-04-16
CN106842386A (zh) 2017-06-13
US20120287331A1 (en) 2012-11-15
US8941771B2 (en) 2015-01-27
JP2011253431A (ja) 2011-12-15
US20230028137A1 (en) 2023-01-26
US20210173205A1 (en) 2021-06-10
WO2011152531A1 (ja) 2011-12-08
US9494766B2 (en) 2016-11-15
CN102844785B (zh) 2016-11-23
US20170041519A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
CN102844785A (zh) 拍摄装置
CN102870032B (zh) 图像显示装置
EP3293961A1 (en) Plenoptic imaging device equipped with an enhanced optical system
CN106921823B (zh) 图像传感器、摄像模组和终端设备
CN104756493A (zh) 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
JP6376206B2 (ja) 画像処理装置および撮像装置
US10341580B2 (en) Image processing device configured to correct an image so as to decrease output data
JP6545829B2 (ja) 撮像装置、及び、画像データ生成方法
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
JP6036799B2 (ja) 画像処理装置
CN104137532A (zh) 图像处理装置
JP6106415B2 (ja) 撮影装置および表示装置
US20210118092A1 (en) A filter array for demosaicing
EP4346199A1 (en) Imaging method and device for autofocusing
JP2019003665A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant