CN103516976B - 图像摄取装置及其控制方法 - Google Patents

图像摄取装置及其控制方法 Download PDF

Info

Publication number
CN103516976B
CN103516976B CN201310247369.8A CN201310247369A CN103516976B CN 103516976 B CN103516976 B CN 103516976B CN 201310247369 A CN201310247369 A CN 201310247369A CN 103516976 B CN103516976 B CN 103516976B
Authority
CN
China
Prior art keywords
image
refocusing
unit
subject
condenser lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310247369.8A
Other languages
English (en)
Other versions
CN103516976A (zh
Inventor
菅原淳史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103516976A publication Critical patent/CN103516976A/zh
Application granted granted Critical
Publication of CN103516976B publication Critical patent/CN103516976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像摄取装置及其控制方法。该图像摄取装置包括图像摄取光学单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元,图像摄取光学单元摄取由包括聚焦透镜的图像摄取光学系统聚焦的被摄体图像,并获取能够用于重构重聚焦图像的图像数据,驱动单元驱动聚焦透镜,被摄体检测单元基于图像数据检测预定被摄体,重聚焦图像生成单元在重聚焦范围内的任意焦距处根据图像数据重构重聚焦图像。该图像摄取装置基于重聚焦范围确定聚焦透镜的移动位置,以获取用于在聚焦调整范围内的任意位置重构重聚焦图像的图像数据。该图像摄取装置根据确定的位置控制驱动单元和图像摄取光学单元以获取图像数据,并基于图像数据检测预定被摄体。

Description

图像摄取装置及其控制方法
技术领域
本发明涉及以数字照相机为代表的图像摄取装置,尤其涉及具有重聚焦功能和被摄体检测功能的图像摄取装置及其控制方法。
背景技术
在相关技术中,存在诸如数字照相机的图像摄取装置,其被配置为具有检测被摄体的功能以及AF/AE功能,该AF/AE功能对存在检测到的被摄体的图像区域进行自动调焦并曝光。尽管作为检测被摄体的功能,广泛安装了专门检测人物面部的功能,但是在景深小并且面部模糊的情况下,存在由于模糊而无法检测到面部的问题。与此相对,例如日本特开2009-65356号公报公开了一种根据景深向多个位置移动聚焦透镜以在这些位置进行面部检测的技术。此外,日本特开2008-58553号公报公开了一种沿从无限远位置向最近位置的方向驱动聚焦透镜来确定在驱动期间获得了反差值峰值的区域的图像是否是面部图像的技术。
另一方面,Ren.Ng等(共7名)所著的“Light Field Photography witha Hand-Held Plenoptic Camera”(Stanford Tech Report CTSR2005-02)等中公开了一种具有如下配置的图像摄取装置,在该配置中,以1比多个像素的比例排列的微透镜阵列布置在图像摄取元件的前面,并且能够获得入射到图像摄取元件的光线的入射方向的信息。作为这种图像摄取装置的用途,除了基于来自各像素的输出信号生成普通拍摄图像之外,还能够通过对拍摄图像进行预定的图像处理来重构在任意焦距聚焦的图像等等。
然而,在上述专利文献所公开的相关技术中,由于基本上需要使聚焦透镜从无限远位置扫描到最近位置,因此存在AF/AE操作花费太多时间的问题。
发明内容
本发明的一个方面提供了一种图像摄取装置,即使在景深较浅的情况下,该图像摄取装置也能够在检测中以更快的速度、无遗漏地检测被摄体,以进行AF/AE操作。
为实现本发明的上述方面,根据本发明,提供一种图像摄取装置,其包括图像摄取光学单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元,所述图像摄取光学单元用于摄取由包括聚焦透镜的图像摄取光学系统聚焦的被摄体图像,并获取能够用于重构重聚焦图像的图像数据,所述聚焦透镜用于调整所述被摄体的聚焦状态,所述驱动单元用于驱动所述聚焦透镜,所述被摄体检测单元用于基于由所述图像摄取光学单元获取的所述图像数据检测预定被摄体,所述重聚焦图像生成单元用于在包括在重聚焦范围内的任意焦距处,根据由所述图像摄取光学单元获取的所述图像数据重构所述重聚焦图像,所述图像摄取装置包括:位置确定单元,用于基于所述重聚焦范围确定所述聚焦透镜在光轴方向上要移动到的位置,以获取用于在所述聚焦透镜的所述聚焦状态的调整范围内的任意位置重构所述重聚焦图像的所述图像数据;以及控制单元,用于根据由所述位置确定单元确定的位置来控制所述驱动单元和所述图像摄取光学单元以获取所述图像数据,其中,所述被摄体检测单元基于所述控制单元通过控制所述驱动单元和所述图像摄取光学单元而获取的所述图像数据,来检测所述预定被摄体。
通过以下参照附图对示例性实施例的描述,本发明的其它特征将变得清楚。
附图说明
包含在说明书中、构成说明书的一部分的附图,示出了本发明的示例性实施例、特征和方面,并且与文字说明一起用于解释本发明的原理。
图1是例示根据本发明的实施例的图像摄取装置的整体配置的框图。
图2是例示根据本发明的实施例的图像摄取装置中包括的图像摄取元件和微透镜阵列的配置的图。
图3是例示根据本发明的实施例的图像摄取装置中的包括拍摄透镜、微透镜阵列以及图像摄取元件的图像摄取光学单元的配置的图。
图4A和图4B是例示在根据本发明的实施例的图像摄取装置的受光像素与拍摄透镜的光瞳区域之间的对应关系的图。
图5是例示根据本发明的实施例的图像摄取装置的图像摄取光学系统中、与重聚焦图像的生成相关的光线通过的区域的示意图。
图6是例示根据本发明的实施例的图像摄取装置的操作的流程的图。
图7是例示根据本发明的实施例的图像摄取装置的最大重聚焦量的图。
图8是例示根据本发明的实施例的被摄体检测中的聚焦透镜的停止位置与重聚焦范围之间的关系的图。
图9A、图9B、图9C和图9D是例示根据本发明的实施例的被摄体检测中检测到多个被摄体时的透镜移动位置的设置示例的图。
图10是例示根据本发明的实施例的变形例的聚焦透镜的停止位置与重聚焦范围之间的关系的图。
具体实施方式
现在,参照附图详细说明本发明的各种示例性实施例、特征和方面。
图1是例示作为根据本发明的实施例的图像摄取装置的数字照相机的框图。在该图中,附图标记101指示拍摄透镜,虽未示出,但其为由多个透镜构成的光学系统。该多个透镜包括可移动聚焦透镜。通过驱动聚焦透镜能够调节针对被摄体的聚焦状态。附图标记102指示微透镜阵列(以下称为“MLA”),其由多个微透镜构成。微透镜阵列被布置在拍摄透镜101的焦点附近。通过拍摄透镜101的不同光瞳区域的光线入射到MLA102并从各光瞳区域分别射出。附图标记103指示图像摄取元件,其由CCD图像传感器、CMOS图像传感器等构成。图像摄取元件被布置在MLA102的焦点附近。稍后将描述MLA102及图像摄取元件103的详情。附图标记104是AD转换单元,其针对从图像摄取元件103输出的图像信号进行AD转换以生成数字数据,并且由附图标记105指示的图像处理单元对该数字数据进行预定的图像处理等以获得被摄体的数字图像数据。附图标记106是拍摄控制单元,其在由液晶显示器构成的显示单元107上显示由图像处理单元105获得的数字图像数据,并进行诸如在记录单元108中存储该数据的控制。拍摄控制单元106的CPU加载并执行存储在存储器(未示出)中的程序来控制图像摄取装置的各组件。在这种情况下,组件的全部或部分功能可以由CPU来执行,也可以被配置为硬件。
被摄体检测单元109从拍摄控制单元106接收由图像处理单元105获得的数字图像数据,以检测图像中存在的预定被摄体在图像画面中的位置和尺寸。在本实施例中,被摄体检测单元109具有检测人物面部作为预定被摄体的功能,来检测图像画面中预定被摄体的位置和尺寸。此外,预先登记特定人物的面部特征数据,并且可以通过比较检测的面部与登记数据来进行个人识别。基于该识别功能,能够对特定人物的检测面部分配优先级。
操作单元110是诸如按钮或触摸屏的单元,其从用户接收操作。响应于接收到的操作,进行诸如聚焦操作的开始或存储在记录单元108中的数字图像数据的清除等各种操作。此外,拍摄透镜101电连接、机械连接到拍摄控制单元106,由此能够通过通信来获取拍摄透镜的信息,并且在聚焦操作时能够传送聚焦透镜驱动命令等。
接下来,将描述根据本实施例的图像摄取装置中的拍摄透镜101、MLA102以及图像摄取元件103的配置。
图2是例示图像摄取元件103和MLA102的配置的图。该图示出了沿与拍摄镜头的光轴平行的Z方向观察到的图像摄取元件103和MLA102。一个微透镜202被布置为与构成拍摄图像的虚拟像素200的多个单位像素201(光电转换元件)相对应。微透镜202是构成MLA102的微透镜之一。在本实施例中,假定6行×6列(总计36)的单位像素201对应于一个微透镜。此外,对于该图中例示的坐标轴,z轴指示光轴方向;与z轴垂直的平面被设置为与图像摄取平面平行的平面,在图像摄取平面中定义x轴(水平方向)和y轴(垂直方向)。此外,图2例示了图像摄取元件103的受光平面的一部分,并且在实际的图像摄取元件中布置有大量像素。
图3是例示从与光轴z垂直的方向观察到的、从拍摄透镜101射出的光线通过MLA102的一个微透镜202而被图像摄取元件103接收的状态。从拍摄透镜101的光瞳区域a1到a6射出的光线通过微透镜202,聚焦在图像摄取元件103的相应的单位像素p1到p6上。
图4A是例示从光轴(z轴)方向观察到的拍摄透镜101的光圈的图。图4B是例示从光轴(z轴)方向观察到的一个微透镜202以及布置在微透镜202后面的单位像素201的图。如图4A所示,在拍摄透镜101的光瞳区域被划分为与在一个微透镜之下布置的像素的数量相同数量的情况下,来自拍摄透镜101的多个光瞳分割区域中的一个的光线聚焦在一个像素上。在此,假定拍摄透镜的F值与微透镜的F值彼此基本相同。当图4A中例示的拍摄透镜的光瞳分割区域由a11到a66指示,并且图4B所示的像素由p11到p66指示时,当从光轴(z轴)方向观察时光瞳分割区域与像素具有点对称关系。因此,从拍摄透镜的光瞳分割区域a11射出的光线聚焦在布置在微透镜之后的像素201中的像素p11上。以这种方式,从光瞳分割区域a11射出并通过不同的微透镜的光线,同样聚焦在布置在微透镜之后的像素201中的像素p11上。
接下来,将描述在任意设置的焦点(重聚焦平面)处的图像中重构通过使用包括拍摄透镜101、MLA102以及图像摄取元件103的图像摄取光学单元获取的数字图像数据的处理。通过使用被称为“光场拍摄(lightfield photography)”的方法在图像处理单元中进行重构。
图5是例示从与光轴(z轴)垂直的方向观察时,通过任意设置的重聚焦平面上的像素的光线从拍摄透镜的哪个光瞳分割区域射出,并且入射到哪个微透镜的图。如图例示,拍摄透镜的光瞳分割区域的位置的坐标由(u,v)指示,重聚焦平面上的像素的位置的坐标由(x,y)指示,微透镜阵列上的微透镜的位置的坐标由(x',y')指示。此外,从拍摄透镜到微透镜阵列的距离由F指示,并且从拍摄透镜到重聚焦平面的距离由αF指示。在此,α指示用于确定重聚焦平面的位置的重聚焦系数,其能够由用户任意设置。此外,在图5中,仅例示u,x,x'的方向,而省略v,y,y'的方向。
如图5所示,通过坐标(u,v)和坐标(x,y)的光线500到达微透镜阵列的坐标(x',y’)。坐标(x',y’)能够由等式1来表示。
( x ′ , y ′ ) = ( u + x - u α , v + y - v α ) 等式1
此外,当使用L(x',y',u,v)来指示接收光线500的像素的输出时,在重聚焦平面的坐标(x,y)处获得的输出E(x,y)是L(x',y',u,v)关于拍摄透镜的光瞳区域的积分。因此,能够使用等式2来表示输出E(x,y)。
E ( x , y ) = 1 α 2 F 2 ∫ ∫ L ( u + x - u α , v + y - v α , u , v ) dudv 等式2
在等式2中,由于由用户来确定重聚焦系数α,如果给出位置(x,y)和(u,v),则能够识别光线500入射的微透镜的位置(x',y')。此外,能够从对应于微透镜的多个像素中识别对应于位置(u,v)的像素,并且该像素的输出为L(x',y',u,v)。在所有光瞳分割区域进行该处理,并且合计(积分)获得的像素输出,从而能够计算出E(x,y)。
此外,如果(u,v)是拍摄透镜的光瞳分割区域的代表坐标,则能够通过单纯的加法计算等式2中的积分。
以这种方式,进行等式2的计算处理,由此能够重构在任意焦点(重聚焦平面)处的图像。
接下来,将参照图6描述根据本实施例的图像摄取装置的操作的流程。此外,如上所述,通过使得拍摄控制单元106的CPU执行程序来控制各组件来进行该操作。
当处理在步骤S601中开始时,在步骤S602中等待开关S1接通。开关S1指示包括在操作单元110中的开关(未示出)。当开关接通时,开始诸如曝光测量或自动聚焦等的拍摄前准备操作。实际上,上述开关是检测半按下状态和全按下状态的两个状态的两状态按下式的按压按钮开关。在半按下状态下,开关S1接通,并且在全按下状态下,开关S2接通。一般来说,在诸如数字照相机的图像摄取装置中,如果开关S1接通,则进行拍摄准备操作,如果开关S2接通,则进行主拍摄(曝光)操作。
在开关S1接通时,在步骤S603中计算可重聚焦范围。针对可重聚焦范围,在如图7所示角度分辨率为Δθ、分割角度数为Nθ、以及像素间距为Δx的情况下,使用等式3来计算最大重聚焦量范围dmax
d max = N θ · Δx tan ( Δθ ) 等式3
由此,可以理解,能够在-dmax到+dmax的散焦范围内生成重聚焦图像。
然而,在图像摄取装置的设计中,一般而言,该重聚焦范围不如由拍摄透镜101所覆盖的从最近侧到无限远侧的整个聚焦区域(聚焦状态的调整范围)宽。图8是例示在根据本实施例的重聚焦范围与由拍摄透镜覆盖的从最近侧到无限远侧的整个聚焦区域之间的关系的示意图。在该图中,用粗箭头来指示的±dmax可重聚焦范围。四个粗箭头覆盖了由拍摄透镜覆盖的从最近侧到无限远侧的整个聚焦区域。换言之,使得聚焦透镜能够停止在P1、P2、P2、P4四个点(以重聚焦范围的间隔)以获取被摄体的图像数据。然后,根据获取的图像数据来重构重聚焦图像,由此能够生成可提供在从最近位置到无限远位置范围的所有距离处的聚焦图像的图像数据。以这种方式,在步骤S603中,根据透镜的最近-无限远范围的信息和重聚焦范围的计算结果,来确定用于覆盖所有聚焦区域所需的聚焦透镜的停止位置(移动位置)。
接下来,在步骤S604中,透镜被驱动至在步骤S603中确定的聚焦透镜的停止位置以获取能够重构重聚焦图像的被摄体的图像数据,并在获取的图像数据中检测面部。由被摄体检测单元109进行面部检测,并且输入在步骤S603中获取的多个图像数据以及根据图像数据重构的多个重聚焦图像,由此能够在所有的被摄体距离上检测面部。
在步骤S605中,确定在步骤S604中是否检测到面部。在检测到面部的情况下,处理进行到步骤S606以在存储器(未示出)中存储检测到面部的图像的聚焦位置以及该面部在检测图像中的位置和尺寸,并且然后处理进行到步骤S607。在未检测到面部的情况下,处理进行到步骤S609。
在步骤S607中,根据检测到的面部确定聚焦透镜的最优位置。如果检测到一个面部,聚焦透镜被驱动到该面部将被包括在重聚焦范围内的位置以获取图像数据,由此通过重聚焦处理能够根据获取的图像数据重构聚焦在该面部的图像。
然而,在检测到多个面部的情况下,可以考虑各种处理。例如,如图9A所示,考虑作为被摄体的人物A、B、C存在于不同的被摄体距离的情况。在步骤S606中这些被摄体的信息被存储作为被摄体检测信息。由于人物A处在最近位置,因此检测到的面部的尺寸最大。人物B和人物C的面部尺寸依次递减,并且其距离递增。在这种情况下,假定可以在透镜驱动范围内例示这些被摄体距离,由此如图9B所示三个人物处于不同的聚焦位置。在这种情况下,如果仅获取并存储一个拍摄图像,然后能够进行重聚焦处理以聚焦在人物A、B、C各个上,则是最好的。然而,如图9B所示,也有不存在将所有的三个人物A、B、C都包括在一个重聚焦范围内的聚焦透镜的位置(无法以一个粗箭头覆盖所有的人物A、B、C)的情况。因此,例如,使用向在最近位置处检测到的面部尺寸最大的人物A的面部分配优先级的方法。在这种情况下,可以理解,如果如图9C所示将聚焦透镜驱动至位置P4,则人物B也能够被包括在重聚焦范围内。如果根据该重聚焦范围的设置来获取图像数据,在后处理中能够根据获取的图像数据重构聚焦在人物A和B的图像。另一方面,例如,在人物C的面部是登记在照相机的内部组件中的人物的面部的情况下,使用向人物C分配优先级的方法。此时,如图9D所示,如果将位置P5作为聚焦透镜的停止位置,则人物C和人物B能够被包括在重聚焦范围内,由此在后处理中能够重构聚焦在人物B和C的图像。以这种方式,在步骤S607中,根据检测到的面部的距离和优先级以及重聚焦范围,来获得聚焦透镜的移动位置,以使得尽可能多的面部(最大数量的面部)能够包括在重聚焦范围内。此外,可以在聚焦透镜的P4和P5两个位置处进行拍摄,由此能够获得聚焦在所有人物A、B、C上的图像。如果在步骤S607中确定了在拍摄时的聚焦透镜的位置,则在步骤S608中聚焦透镜被实际驱动到该位置。
另一方面,在步骤S605中没有检测到面部的情况下,在步骤S609中,通过针对无面部检测的情况的距离测量算法来确定聚焦透镜的位置。例如,图像画面被划分为9(3×3)个区域,以针对各划分区域进行距离测量,并基于获取的距离测量的信息计算聚焦在距离测量结果为最近的区域的聚焦透镜的位置。在此,尽管例示了图像画面被划分为9个区域并且基于向最近侧分配了优先级的距离测量选择区域的情况,但是进行距离测量的位置的数量以及向最近侧分配优先级仅是示例,并且不限于这些。
如果在步骤S608中聚焦透镜被驱动到预定位置,则在步骤S610中等待开关S2接通。如果在开关S1接通之后的预定时间内开关S2接通,则在步骤S611中进行曝光操作,由此处理序列结束。在预定时间内开关S2没有接通的情况下或者在开关S1被关断的情况下,处理返回到步骤S602。根据本发明,能够提供具有被摄体检测功能以及AF/AE功能的图像摄取装置,该装置能够以高速检测包括在数个聚焦范围内的被摄体并进行拍摄。
现在,考虑减少在上述实施例的步骤S603中确定的聚焦透镜的停止位置的数量。除在步骤S603的聚焦透镜的停止位置的确定中考虑景深之外,图像摄取装置的操作流程与第一实施例相同。下面仅描述不同点,并将省略对相同组件的说明。
一般而言,根据面部传感功能,即使对于面部未被完全聚焦而且有些模糊的图像,也能够从该图像中检测出该面部。因此,例如,计算获取时的景深,并且如果认为能够检测出景深之内的面部,则如图10所示,能够减少聚焦透镜的停止位置的数量。换言之,如图10所示,如果用细线箭头指示景深,则在由粗实线所指示的重聚焦范围之外,还在重聚焦范围的两端将面部可检测范围拓宽了景深。例如,聚焦透镜的停止位置可以被设置在P1'、P2'、P3'三个点。此外,景深能够被划分为前面景深DOFF和后面景深DOFF。如果容许弥散圆的直径、光圈值、被摄体距离、焦距分别由δ、F、a以及f表示,则前面景深DOFN和后面景深DOFF可以如下表示:
DOF N = δ · F · a 2 f 2 + δ · F · a
DOF F = δ · F · a 2 f 2 - δ · F · a
根据上述变形例,与第一实施例相比能够减少被摄体检测所需的聚焦透镜的停止位置数量,由此能够进一步缩短被摄体检测所需的时间。在确定停止位置之后,进行与第一实施例相同的拍摄操作。
如上所述,根据本发明,能够提供具有被摄体检测功能以及AF/AE功能的图像摄取装置,该装置能够以高速检测包括在数个聚焦范围内的被摄体并进行拍摄。
如上所述,图6中例示的处理可以通过使得拍摄控制单元的CPU等从存储器(未示出)中读取用于实现处理的功能的程序并执行程序以作为功能而实现。
然而,本发明不限于上述配置,图6中例示的所有或一部分处理的功能可以通过使用专用硬件来实现。此外,上述存储器可以由计算机可读、可写记录介质配置而成。例如,上述存储器可以是由磁光盘设备、诸如闪速存储器的非易失存储器、诸如CD-ROM的只读记录介质、除RAM之外的易失性存储器或它们的组合配置而成的记录介质。
此外,用于实现图6例示的处理的功能的程序可以被记录在计算机可读记录介质中,可以使得计算机系统读取并执行记录在记录介质中的程序,由此来进行处理。此外,上述“计算机系统”可以包括OS和诸如外围装置的硬件。更具体地说,在某些情况下,从记录介质中读取的程序还可以被写入安装在插入计算机的功能扩展板或连接到计算机的功能扩展单元中的存储器中。在这种情况下,在写入程序后,根据程序的指令,使得安装在功能扩展板或功能扩展单元中的CPU等执行全部或部分实际处理,由此能够通过该处理来实现上述实施例的功能。
此外,“计算机可读记录介质”指示软盘、光磁盘、诸如ROM和CD-ROM的便携介质、以及诸如内置在计算机系统中的硬盘等的存储装置。此外,“计算机可读记录介质”还包括在通过诸如因特网的网络或诸如电话线的通信线路传送程序的情况下作为服务器或客户端的计算机系统中的易失性存储器(RAM)。这样,在预定时间内存储程序的设备也包括在“计算机可读记录介质”中。
此外,可以通过传送介质从在其存储装置等中存储了该程序的计算机系统传送程序,或者可以通过传送介质中的传送波将程序传送到其他计算机系统。在此,传送程序的“传送介质”指示具有传送信息的功能的介质,例如,诸如因特网的网络(通信网络)、诸如电话线的通信线路等。
此外,程序也可以是用于实现部分上述功能的程序。此外,程序可以作为上述功能和预先记录在计算机系统中的程序的组合来实现,其可以称为差分文件(差分程序)。
此外,诸如记录了上述程序的计算机可读记录介质的程序产品可以用作本发明的实施例。上述程序、记录介质、传送介质以及程序产品包括在本发明的范围内。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释,以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (10)

1.一种图像摄取装置,其包括图像摄取单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元,所述图像摄取单元具有微透镜阵列,所述图像摄取单元的多个像素被分配给所述微透镜阵列的一个微透镜,所述图像摄取单元被构造为通过包括聚焦透镜的图像摄取光学系统来摄取被摄体图像并获取图像数据,所述驱动单元用于驱动所述聚焦透镜,所述被摄体检测单元用于基于由所述图像摄取单元获取的所述图像数据检测预定被摄体,所述重聚焦图像生成单元用于在包括在可重聚焦范围内的任意焦距处,根据由所述图像摄取单元获取的所述图像数据重构所述重聚焦图像,所述图像摄取装置还包括:
位置确定单元,用于基于所述可重聚焦范围确定所述聚焦透镜在光轴方向上要移动到的位置,以获取用于在所述聚焦透镜的所述聚焦状态的调整范围内的任意位置重构所述重聚焦图像的所述图像数据,其中所述可重聚焦范围为所述重聚焦图像能够被重构的范围,并且所述可重聚焦范围依赖于所述图像摄取单元和所述微透镜;以及
控制单元,用于根据由所述位置确定单元确定的位置来控制所述驱动单元和所述图像摄取单元以获取所述图像数据,
其中,所述被摄体检测单元基于所述控制单元通过控制所述驱动单元和所述图像摄取单元而获取的所述图像数据,来检测所述预定被摄体,其中,所述位置确定单元将所述聚焦状态的所述调整范围确定为以所述可重聚焦范围的间隔来移动的所述聚焦透镜的移动位置,并且
其中,对应于所述移动位置的所述可重聚焦范围不互相重叠,并包括所述调整范围。
2.根据权利要求1所述的图像摄取装置,其中,所述位置确定单元将所述聚焦状态的所述调整范围确定为所述聚焦透镜的移动位置,所述聚焦透镜以通过将所述可重聚焦范围的两端各自扩展景深而提供的范围的间隔移动,并且其中,对应于所述移动位置的所述扩展的可重聚焦范围覆盖所述调整范围。
3.根据权利要求1所述的图像摄取装置,其中,所述被摄体检测单元根据所述控制单元通过控制所述驱动单元和所述图像摄取单元而获取的所述图像数据、以及由所述重聚焦图像生成单元根据所述图像数据重构的所述重聚焦图像,来检测所述预定被摄体。
4.根据权利要求1所述的图像摄取装置,其中,所述控制单元基于所述可重聚焦范围以及所检测的预定被摄体可感测的范围,来确定用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置,并且所述控制单元根据用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置控制所述驱动单元和所述图像摄取单元。
5.根据权利要求4所述图像摄取装置,其中,在所述被摄体检测单元检测到不同位置的多个被摄体的情况下,所述控制单元将提供包括所检测到的多个被摄体的位置或最多被摄体的位置的所述可重聚焦范围的所述聚焦透镜的移动位置,确定为用于摄取所检测的预定被摄体图像的所述聚焦透镜的移动位置。
6.根据权利要求5所述的图像摄取装置,其中,在所述控制单元将提供包括所检测到的多个被摄体中的最多被摄体的位置的所述可重聚焦范围的所述聚焦透镜的移动位置,确定为用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置的情况下,所述控制单元控制所述重聚焦图像生成单元重构未包括在所述可重聚焦范围内的预定被摄体的图像作为重聚焦图像。
7.根据权利要求1所述的图像摄取装置,其中,所述被摄体检测单元检测人物的面部作为所述预定被摄体。
8.根据权利要求7所述的图像摄取装置,其中,所述被摄体检测单元检测所述人物的距离和所述人物的面部的尺寸,并且其中,所述控制单元基于所检测到的所述人物的距离和所述人物的面部的尺寸,来确定用于摄取所检测的预定被摄体的所述聚焦透镜的移动位置。
9.根据权利要求1所述的图像摄取装置,其中,在所述被摄体检测单位未检测到所述预定被摄体的情况下,所述控制单元基于通过调整所述聚焦透镜的所述聚焦状态而获得的距离测量信息,来确定所述聚焦透镜的移动位置。
10.一种图像摄取装置的控制方法,该图像摄取装置包括图像摄取单元、驱动单元、被摄体检测单元以及重聚焦图像生成单元,所述图像摄取单元具有微透镜阵列,所述图像摄取单元的多个像素被分配给所述微透镜阵列的一个微透镜,所述图像摄取单元被构造为通过包括聚焦透镜的图像摄取光学系统来摄取被摄体图像并获取图像数据,所述聚焦透镜用于调整所述被摄体的聚焦状态,所述驱动单元用于驱动所述聚焦透镜,所述被摄体检测单元用于基于由所述图像摄取单元获取的所述图像数据检测预定被摄体,所述重聚焦图像生成单元用于在包括在可重聚焦范围内的任意焦距处,根据由所述图像摄取单元获取的所述图像数据重构所述重聚焦图像,所述控制方法包括如下步骤:
确定步骤,基于所述可重聚焦范围确定所述聚焦透镜在光轴方向上要移动到的位置,以获取用于在所述聚焦透镜的所述聚焦状态的调整范围内的任意位置重构所述重聚焦图像的所述图像数据,其中所述可重聚焦范围为所述重聚焦图像能够被重构的范围,并且所述可重聚焦范围依赖于所述图像摄取单元和所述微透镜;以及
控制步骤,根据在所述确定步骤中确定的位置来控制所述驱动单元和所述图像摄取单元,
其中,所述被摄体检测单元基于通过在所述控制步骤中控制所述驱动单元和所述图像摄取单元而获取的所述图像数据,来检测所述预定被摄体,
其中,在所述确定步骤中,将所述聚焦状态的所述调整范围确定为以所述可重聚焦范围的间隔来移动的所述聚焦透镜的移动位置,并且
其中,对应于所述移动位置的所述可重聚焦范围不互相重叠,并包括所述调整范围。
CN201310247369.8A 2012-06-25 2013-06-20 图像摄取装置及其控制方法 Active CN103516976B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012142081A JP5938281B2 (ja) 2012-06-25 2012-06-25 撮像装置およびその制御方法ならびにプログラム
JP2012-142081 2012-06-25

Publications (2)

Publication Number Publication Date
CN103516976A CN103516976A (zh) 2014-01-15
CN103516976B true CN103516976B (zh) 2016-12-28

Family

ID=49774164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310247369.8A Active CN103516976B (zh) 2012-06-25 2013-06-20 图像摄取装置及其控制方法

Country Status (3)

Country Link
US (1) US20130342752A1 (zh)
JP (1) JP5938281B2 (zh)
CN (1) CN103516976B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329400B2 (ja) * 2014-03-13 2018-05-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6581333B2 (ja) * 2014-03-14 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置およびプログラム
JP6341736B2 (ja) * 2014-04-16 2018-06-13 キヤノン株式会社 撮像装置、制御方法、プログラム、記憶媒体
KR102155093B1 (ko) * 2014-08-05 2020-09-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US9967451B2 (en) 2014-09-30 2018-05-08 Canon Kabushiki Kaisha Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
WO2018061876A1 (ja) * 2016-09-29 2018-04-05 株式会社ニコン 撮像装置
JP2018098613A (ja) * 2016-12-12 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
US11381731B2 (en) * 2019-03-15 2022-07-05 Canon Kabushiki Kaisha Imaging apparatus, imaging control method, and storage medium
US11997377B2 (en) 2019-06-18 2024-05-28 Nec Corporation Imaging system, imaging method, control apparatus, computer program and recording medium
TWI792582B (zh) * 2021-09-27 2023-02-11 海華科技股份有限公司 鏡頭對焦系統、鏡頭對焦方法以及圖表顯示結構

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382640A (zh) * 2007-09-05 2009-03-11 佳能株式会社 摄像设备、镜头单元和脸检测方法
CN101800854A (zh) * 2009-02-05 2010-08-11 索尼公司 图像拾取装置
WO2011150109A1 (en) * 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101134208B1 (ko) * 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
CN100585453C (zh) * 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
JP2009244431A (ja) * 2008-03-28 2009-10-22 Canon Inc 撮像装置
US8786761B2 (en) * 2009-06-05 2014-07-22 Apple Inc. Continuous autofocus mechanisms for image capturing devices
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382640A (zh) * 2007-09-05 2009-03-11 佳能株式会社 摄像设备、镜头单元和脸检测方法
CN101800854A (zh) * 2009-02-05 2010-08-11 索尼公司 图像拾取装置
WO2011150109A1 (en) * 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置

Also Published As

Publication number Publication date
US20130342752A1 (en) 2013-12-26
CN103516976A (zh) 2014-01-15
JP5938281B2 (ja) 2016-06-22
JP2014007580A (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
CN103516976B (zh) 图像摄取装置及其控制方法
CN108353118B (zh) 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN105740757B (zh) 变焦控制装置、摄像设备和变焦控制装置的控制方法
CN103081455B (zh) 从手持设备所捕获的多个图像进行肖像图像合成
CN105744149B (zh) 变焦控制装置、摄像设备和变焦控制装置的控制方法
US9456118B2 (en) Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image
CN105872389B (zh) 图像处理装置、摄像装置及控制方法
CN105744148A (zh) 变焦控制装置和变焦控制装置的控制方法
US20140092272A1 (en) Apparatus and method for capturing multi-focus image using continuous auto focus
US10855903B2 (en) Image processing apparatus, image capturing apparatus, control method and recording medium
EP2709352B1 (en) Image pickup apparatus, image pickup system and method of controlling image pickup apparatus
CN104427225B (zh) 摄像设备和摄像设备的控制方法
US20050012833A1 (en) Image capturing apparatus
JP6047025B2 (ja) 撮像装置及びその制御方法
CN102645818A (zh) 成像装置、聚焦控制方法和程序
CN104469194B (zh) 图像处理装置及其控制方法
CN109564376A (zh) 时间复用可编程视场成像
TW201200959A (en) One-eyed stereo photographic device
JP2014157425A (ja) 撮像装置及びその制御方法
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP2013005018A (ja) 撮像装置、及び撮像方法
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2022004305A1 (ja) 撮像支援装置、撮像装置、撮像支援方法、及びプログラム
JP5181806B2 (ja) 撮影装置
EP4319141A1 (en) Imaging element and imaging device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant