CN101632296A - 提供改进的聚焦能力的多镜头照相机 - Google Patents

提供改进的聚焦能力的多镜头照相机 Download PDF

Info

Publication number
CN101632296A
CN101632296A CN200880007779A CN200880007779A CN101632296A CN 101632296 A CN101632296 A CN 101632296A CN 200880007779 A CN200880007779 A CN 200880007779A CN 200880007779 A CN200880007779 A CN 200880007779A CN 101632296 A CN101632296 A CN 101632296A
Authority
CN
China
Prior art keywords
video camera
platform
image
focusing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880007779A
Other languages
English (en)
Other versions
CN101632296B (zh
Inventor
J·N·伯德
R·J·帕卢姆
W·F·小扬森
K·A·帕鲁尔斯基
K·A·雅各比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mau new gate Venture Capital Co., Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN101632296A publication Critical patent/CN101632296A/zh
Application granted granted Critical
Publication of CN101632296B publication Critical patent/CN101632296B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)

Abstract

一种用于从所拍摄的图像信号产生场景的输出图像的电子照相机,包括:(a)第一摄像平台,包括用于生成第一传感器输出的第一图像传感器、用于在第一图像传感器上形成场景的第一图像的第一镜头和用于响应于第一聚焦检测信号而调节第一镜头的聚焦的第一镜头聚焦调节器;以及(b)第二摄像平台,包括用于生成第二传感器输出的第二图像传感器、用于在第二图像传感器上形成场景的第二图像的第二镜头和用于响应于第二聚焦检测信号而调节第二镜头的聚焦的第二镜头聚焦调节器。处理平台或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的摄像平台的第一聚焦检测信号,或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自第一摄像平台的传感器输出来生成用于所选择的摄像平台的第二聚焦检测信号。

Description

提供改进的聚焦能力的多镜头照相机
技术领域
本发明涉及产生数字图像文件的数字照相机,并且更具体地,涉及使用多个镜头和图像传感器来提供改进的聚焦能力的数字照相机。
背景技术
目前,大部分数字照相机使用变焦拍摄镜头和单一彩色图像传感器来拍摄静止和运动图像。然后处理拍摄的图像以产生数字图像文件,该数字图像文件存储在照相机中的数字存储器中。然后该数字图像文件可以被传送到计算机,被显示、打印并通过网络共享。
为了拍摄运动被摄体的清晰图像,数字照相机需要提供精确的自动镜头调焦系统(即自动调焦系统)。自动调焦系统必须能够快速地获取正确的聚焦,以便最小化按下快门按钮的时间与拍摄静止图像的时间之间的“快门延迟”。自动调焦系统还必须工作在拍摄视频图像的连续图像拍摄模式下。例如,在视频模式下,在正在连续拍摄视频图像时,应该实时地调节焦距。
许多数字照相机和扫描仪使用图像传感器和具有可调焦距的拍摄镜头系统来拍摄图像。典型地,可以通过感测、控制以及驱动系统将这样的可调焦距拍摄镜头系统的焦距自动地设置为多个不同设置中的一个,其中所述感测、控制以及驱动系统被适配为提供在场景中被确定为被摄体区域的区域的最优聚焦。自动提供基于焦距测量和可调焦距镜头的可调焦距设置的镜头系统在这里被称为自动调焦系统。数字照相机典型地使用如下两种自动调焦系统中的一个:测距系统和“通过透镜”调焦系统。
测距系统使用诸如声波测距器或双镜头测距器的测距传感器来确定从照相机到测距系统的视场内的场景的一个或多个部分的距离。声波测距器测量发射的声波信号和反射的声波信号之间的相位偏移以推断到场景中的被摄体的距离。双镜头测距器包含沿拍摄匹配的成对图像的两个匹配的传感器区域分离开距离的两个镜头。双镜头测距器通常以双镜头测距器模块的形式在数字照相机上被使用,所述双镜头测距器模块包含沿拍摄匹配的成对低分辨率图像的两个匹配传感器区域分离开距离的两个镜头。
普通双镜头基于测距器的自调焦系统包括主动和被动系统。主动系统主动地将光发射到场景上,而被动系统与来自场景的可用光一起工作。双镜头测距器模块可以从Fuji Electric在诸如FM6260W的一些型号中购买。用于诸如照相机的光学设备的双镜头测距器模块在1986年8月16日授权给Haruki等人(并转让给Fuji Electric)的美国专利第4,606,630号中被描述。根据这个专利中的现有技术的说明,分析匹配的成对低分辨率图像以得到两个图像之间的相关性,从而确定由两个镜头之间的分开而引起的这两个图像之间的偏移。
这里在图27中示出表示传统的测距器的操作原理的图。在该图中,来自被摄体151的光入射到两个小透镜152和153上,这两个小镜头具有足够短的焦距f从而使得通过不同的间隔开的路径154和155从被摄体所接收的光线在透镜152与153共用的焦平面156内生成相应的间隔开的图像157和158。当被摄体151位于无穷远距离处时,图像157和158的中心位于图27中的基准位置170和180处,但是当被摄体151位于较近的距离处时,图像的中心偏移到位置171和181。如果图像157和158从基准位置170和180而偏移的距离被分别表示为x1和x2,那么总位移x可以表示如下:
x=x1+x2=b·f/d
因此,到被摄体151的距离d可以由d=b·f/x来测量。在这种情况下,b是小透镜的光轴之间的距离,即基长(base length)。为了获得偏移量x1和x2或者二者的和x,在焦平面156内配置两个光学传感器阵列190和191,如图27所示。这些光学传感器阵列每个均包括多个光学传感器(例如CCD装置),并且由每个光学传感器生成与入射到传感器上的图像部分的光强度相对应的模拟光电信号。Haruki等人示出了传统的电路,以及根据本专利的速度更高的测距电路,该测距电路通过比较包括来自左光学传感器阵列和右光学传感器阵列的数字图像信号的两个图像信号列来获得偏移距离的总和x。
基本地,沿着镜头分离距离b和焦点距离f使用偏移信息x来通过三角测量法来计算到场景的距离。使用所计算出的到场景的距离d来指引可调焦距镜头的定位以产生最好的图像质量。如现有技术所已知的,该调节可以基于在由双镜头测距器模块所测量的到场景的距离与通过“通过透镜”自动调焦系统所生成的一系列最佳聚焦图像之间所建立的校准曲线。将该校准曲线作为等式或查找表存储在照相机中的微处理器中。
基于测距器的自动调焦系统具有非常快速的优点,其中某些系统具有可以在0.01-0.05秒的范围内的响应时间。但是,由一些基于测距器的自动调焦系统所产生的聚焦质量可以在这些系统被用于不同的操作条件中时而不同。例如,声波自动调焦系统不能通过玻璃窗口聚焦,这是因为玻璃阻止反射的声波信号,从而导致自动调焦系统聚焦到该玻璃上。在双镜头测距器自动调焦系统的情况下,双镜头测距器的精度通常受到诸如温度和/或湿度的环境条件的变化的影响。双镜头测距器模块的问题在于双镜头测距器模块和可调焦距镜头位置之间的校准在数字照相机的正常运行环境内不稳定。诸如温度和湿度的变化的环境条件可以导致通过双镜头测距器模块而测得的到场景部分的距离改变大于10%。此外,所测得的在可调焦距拍摄镜头系统中的可调焦距拍摄镜头的位置易于发生环境诱导的改变,使得在可调焦距镜头的控制系统中产生不准确。因此,典型地不单独使用双镜头测距器模块用于数字照相机中的自动调焦,相反使用其用作通过“通过透镜”自动调焦系统而补充的粗略聚焦调节。
可替代地,该“通过透镜”自动调焦系统通过对利用位于多个不同的聚焦位置处的可调焦距镜头系统所拍摄的一系列自动聚焦图像进行分析来确定聚焦状态。例如,在典型的“通过透镜”自动调焦系统中,在所谓的“爬坡”方法中利用一系列位于不同位置的可调焦距镜头来拍摄多个自动聚焦图像(例如,5-20个)。由于这种类型的自动调焦产生水平增大直到越过峰值即“坡”为止的值序列,因此这种类型的自动调焦被称为“爬坡”自动调焦。换而言之,自动地调整镜头聚焦位置直到图像中的边缘细节或图像的特定区域的对比度最大化为止。例如,比较存在于各个自动聚焦图像中的对比度,并且认为已经以最佳聚焦状态拍摄了具有最大对比度的自动聚焦图像(通常通过在两个图像之间插入对比度值而进一步细化最佳聚焦镜头位置)。
为了降低聚焦响应时间而不牺牲聚焦精度,通常使用滤波器来不仅分离视频信号的高频分量还分离低频分量。例如,可以在最远离最大焦距的低频范围中在粗调步骤中快速驱动镜头,然后在较靠近最大焦距的高频范围中在精细调节步骤中驱动镜头。图28示出传统的“爬坡”对比度自动调焦算法的流程图。该算法使用如上所述并且如图29的图所示的“爬坡”对比度自动调焦方法,图29示出了从滤波器获得的聚焦值与镜头位置之间的关系。在图29中,横坐标表示沿着距离轴的镜头的聚焦位置,纵坐标表示聚焦评估值,并且曲线A和B分别表示相对于特定的对焦位置P的高频分量和低频分量的聚焦评估值。
参考图28的流程图,算法的最佳开始点取决于作为焦距设置和f数的函数的当前镜头设置的超焦距。通常,大约2米的距离是好的开始点。然后,加载低频带通滤波器(步骤197)并读出聚焦值。该算法采用比较步骤198将镜头调节的方向设置为朝向增大聚焦值的方向,并确定镜头何时步进超过“坡”。取决于当前焦距和f数的景深设置使用低频带通滤波器时在拍摄下一帧之前应该采取的步骤的数量,即下一接近聚焦位置。一旦经过了坡(图29中的曲线B),则加载高频带通滤波器(步骤199),并在相反方向上移动镜头直到找到更高的“坡”的峰(图29中的曲线A)为止。峰聚焦值可以使用多个像素的加权平均值或峰值。
“通过透镜”自动调焦系统非常精确,这是因为这些系统直接根据利用高质量拍摄镜头所拍摄的自动聚焦图像来测量聚焦质量。遗憾的是,“通过透镜”自动调焦系统由于必须拍摄和比较大量自动聚焦图像而在确定聚焦设置时可能会相对较慢。例如,“通过透镜”自动调焦系统可能需要0.5-2.0秒之长来确定聚焦状态。
因此,在一些数字照相机中,两种自动调焦系统被一起用于混合系统中,在所述混合系统中,使用基于测距器的自动调焦系统来提供可调焦距镜头的快速估计,随后利用“通过透镜”自动调焦系统来细化聚焦设置。例如,以Misawa的名义于2005年3月8日被授权且发明名称为“Focusing Apparatus for Adjusting Focus of an Optical Instrument”的美国专利第6,864,474号描述了基于测距器的自调焦系统与“通过透镜”自动调焦系统的协同使用。在Misawa中,通过基于测距器的自动调焦系统和“通过透镜”自动调焦系统两者来确定可调焦距拍摄镜头的聚焦位置。存储通过基于测距器的自动调焦系统所确定的可调焦距拍摄镜头位置与通过“通过透镜”自动调焦系统所确定的可调焦距拍摄镜头位置之间的差以供将来参考。在随后的图像拍摄阶段中,使用所存储的差信息来细化在“爬坡”方法中由“通过透镜”自动调焦系统为了确定最佳聚焦的可调焦距镜头位置而拍摄和分析的自动聚焦图像的数量,从而在测距器系统是精确的情况下减小拍摄和处理的自动聚焦图像的数量,并在测距器不精确的情况下增大拍摄和处理的自动调焦图像的数量。但是,Misawa所述的方法假定测距器、可调焦距拍摄镜头系统和控制系统的性能相对于时间是一致的,没有随着环境条件的变化而波动,相对于时间也没有其他变化或漂移。
在图像对焦后,典型地,“爬坡”方法在当前被聚焦的被摄体附近横跨递增的距离而运行。然后,在重新聚焦图像时,“爬坡”方法通常判断任意镜头移动是否正步进“上坡或下坡”,并为新的最大值而复位镜头。实际上,这意味着如果镜头移动步进“下坡”,则立即将镜头运动反向,以寻找现有被摄体的新的最大值。这在视频聚焦中是特定问题,其中在视频聚焦中,远离当前被摄体一定距离的新的被摄体可能进入图像且不能由“爬坡”方法检测到,甚至新的被摄体可能存在对比度形式的更大的“坡”。响应于该问题的一种方式被称为“整体方式”自动调焦,在该方式下,自动调焦模块在确定聚焦位置之前查看拍摄镜头可辨别的所有距离。
共同转让的美国专利第6,441,855号说明了“整体方式”自动调焦方法,在该方法中,调焦装置包括被适配为横跨整个调焦范围移动到不同位置的可移动调焦镜头、用于将入射到调焦镜头并透射过调焦镜头的光转换为信号的转换元件以及用于移动调焦镜头的镜头驱动机构。调焦装置还包括用于基于来自转换元件的信号计算调焦镜头的每个位置的聚焦估计值的聚焦估计值计算单元。聚焦估计值计算单元仅提取与所限定的聚焦区域(例如在图像的中央)中的像素相对应的信号,其中该聚焦区域进一步被分为九“块”,即通过将聚焦区域分割为用作观察区域的少量的行和列而获得的块。
在计算聚焦估计值时,对于不同的距离设置,首先针对聚焦估计值的计算是否已经重复了例如十次的特定次数进行判断。当判断为否时,调焦镜头移动预设的步宽,并重复该计算。因此,总是逐步地从无穷远位置向最近位置来移动调焦镜头,并且对于每一步移动,都对每块计算聚焦估计值。对各块进行这些计算,从而为九个块中的每一块获得十个镜头位置的聚焦估计值,包括横跨总距离而找到的所有峰值。使用对各镜头位置而获得的十个总和作为聚焦估计值,将产生最大峰值的调焦镜头位置确定为对焦镜头位置。然后,将镜头驱动输出应用于镜头驱动机构以使镜头移动到确定出的对焦位置。
为了提供具有大的“光学变焦范围”的小尺寸数字照相机,如共同转让的美国专利申请序列号第11/062,174号中所述,数字照相机可以使用具有不同焦距的镜头的多个图像传感器,其中,该美国专利申请的发明名称为“使用多个镜头和图像传感器以提供改进变焦范围的数字照相机(Digital Camera Using Multiple Lenses and Image Sensors to Provide aImproved Zoom Range)”,于2005年2月18日以Labaziewicz等人的名义提交,并且该专利的公开内容通过引用包含于此。例如,为了提供10x光学变焦范围,Kodak Easyshare V610双镜头数字照相机包括38-114mm(35mm等效的)f/3.9-f/4.4镜头和130-380mm(35mm等效的)f/4.8镜头。然而,在该专利申请和产品这两者中,每次仅使用这两个图像传感器中的一个。这两个图像传感器没有同时拍摄图像。
于2003年1月30日公开的美国专利申请公开号US 2003/0020814公开了一种具有多个拍摄光学系统的摄像设备,每个拍摄光学系统各自耦合到CCD图像传感器,并且所述多个拍摄光学系统包括具有较短焦距的第一系统和具有较长焦距的第二系统。在该公开中所说明的各实施例中,两个镜头可以提供不同的焦距范围(包括一个系统具有固定焦距,另一个系统具有变焦镜头),或者这两个镜头均可以是被设置为两个不同焦距设置的固定焦距镜头。在各自的每种情况下,选择单元都基于由拍摄状态获取单元确定出的诸如测量出的距离或亮度的拍摄状态,自动选择来自拍摄光学系统的其中一个的拍摄信号,而非获得用户输入。使用单独的距离传感器来提供这些系统的自动调焦。两个CCD图像传感器均未用于自动调焦操作。
于2003年8月23日公开的美国专利申请公开号US 2003/0160886公开了具有相互独立的两个拍摄系统的数字照相机。一个实施例示出了各自生成图像的包括单焦距“普通模式”镜头的一个系统和包括变焦“远距模式”的另一个系统。操作者致动切换开关判断要记录哪个图像。还结合单独的拍摄系统公开了自动调焦,其中用于一个系统中的“爬坡”对比度比较技术补充用于另一个系统中的“爬坡”对比度比较技术。当期望从远距模式光学系统拍摄图像时,通过普通模式光学系统(其中焦深相对大)进行粗略自动调焦搜索(其中可以以多步间隔来驱动步进电动机)。该粗略搜索导致包括聚焦位置的焦距范围的减小。使用普通模式光学系统所提供的焦距范围信息,将远距模式光学系统驱动到减小的焦距范围的一端处的自动调焦搜索开始位置。然后,仅在由普通模式自动调焦搜索所确定出的减小的焦距范围中,通过远距模式光学系统(其中焦深相对较短)进行精细自动调焦搜索。(当期望从普通模式光学系统拍摄图像时,仅通过普通模式光学系统进行自动调焦搜索,而远距模式光学系统不参与自动调焦搜索。)
在不依赖于上述粗略搜索和精细搜索的美国专利申请公开号US2003/0160886中的另一实施例中,在逐步地驱动第一光学系统的调焦镜头以从无穷远距离设置向着最近距离位置移动的同时进行“爬坡”对比度比较搜寻,并在逐步地驱动第二光学系统的调焦镜头以从最近位置向着无穷远设置移动的同时进行第二“爬坡”对比度比较搜寻。尽管系统通常都不需要移动通过其整个范围,然而该过程继续,直到定位了最大对比度位置为止。这导致减少了用于检测聚焦位置的时间段。在该实施例中,每一个光学系统可以用于拍摄图像和聚焦调节,或者一个光学系统可以用于拍摄图像和焦距调节,另一个光学系统可以仅用于摄像光学系统的焦距调节。在另一实施例中,在非拍摄光学系统首先确定聚焦位置的情况下,将拍摄光学系统驱动到该位置,然后通过摄像光学系统进行精细调节。
这些现有技术的系统的问题在于或者必须使用单独的自动调焦传感器(因此增加成本)或者由于使用用于拍摄图像的相同传感器来进行自动调焦由此通常存在显著的“快门延迟”。而且,单独的自动调焦传感器通常是测距器,并且如上所述,双镜头测距器模块和可调焦距镜头位置之间的校准在数字照相机的常规操作环境下不稳定。在利用“通过透镜”拍摄系统进行自动调焦的情况下,由于必须拍摄和比较大量自动聚焦图像,因而在确定聚焦设置时处理可能相对慢。根据前述美国专利申请公开号US 2003/0160886,该问题可以多少被缓和,但是在随着被摄体改变或运动而快速实现聚焦时,或者当操作者选择将拍摄功能从一个拍照系统改变到另一个时快速交换光学系统的调焦需求时,仍然存在困难。
在视频拍摄时出现一个特殊问题,其中从相同的一系列静止图像或组成视频图像的帧来得到自动聚焦图像。因此,自动调焦的处理可能导致每当场景改变时在视频中生成5-20个或更多的离焦视频图像。结果,在随着照相机的平移运动(其中场景连续变化)进行视频拍摄期间,在自动调焦系统搜索正确的聚焦时大部分视频实际上离焦。进一步的问题在于在视频拍摄期间,许多帧由于利用使用“爬坡方法”进行聚焦的自动调焦系统而离焦。
因此需要一种在不会过分增大数字照相机的大小或成本的情况下提供静止和视频模式二者下的精确、快速的自动调焦的数字照相机。
发明内容
本发明的一个目的是在不过分增大照相机的大小或成本的情况下在多镜头数字照相机中提供改进的自动聚焦能力。
本发明的另一个目的是提供用于静止和视频图像两者的改进的自动聚焦能力。
本发明的又一目的是提供在拍摄可用于控制重新调焦操作的视频图像期间对聚焦状态的变化的测量。
本发明的另一目的是为了控制重新调焦操作的目的而提供对到场景的距离的变化的测量。
致力于克服上面提出的问题中的一个或多个的本发明涉及一种电子照相机,该电子照相机用于从所拍摄的图像信号产生场景的输出图像。简而言之,根据本发明的第一实施例,本发明包括:
第一摄像平台,其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成场景的第一图像的第一镜头以及用于响应于第一聚焦检测信号而调节所述第一镜头的聚焦的第一镜头聚焦调节器;
第二摄像平台,其包括用于生成第二传感器输出的第二图像传感器、用于在所述第二图像传感器上形成场景的第二图像的第二镜头以及用于响应于第二聚焦检测信号而调节所述第二镜头的聚焦的第二镜头聚焦调节器;以及
处理平台,用于或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的摄像平台的所述第一聚焦检测信号,或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自第一摄像平台的传感器输出来生成用于所选择的摄像平台的所述第二聚焦检测信号,其中所述聚焦检测信号被应用于所选择的摄像平台的镜头聚焦调节器,以便调节图像的聚焦,从而提供所拍摄的图像信号的传感器输出。
特别地,关于用于从所拍摄的图像信号产生场景的输出视频图像的视频摄像机,根据本发明的第二实施例,本发明还包括:
第一摄像平台,其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成场景的第一图像的第一镜头以及用于响应于聚焦改变检测信号而连续地重新调节所述第一镜头的聚焦的第一镜头聚焦调节器;
第二摄像平台,其包括用于生成第二传感器输出的第二图像传感器以及用于在所述第二图像传感器上形成场景的第二图像的第二镜头;以及
处理平台,用于使用来自第一摄像平台的传感器输出作为所拍摄的图像信号并产生所述场景的输出视频图像,所述处理平台使用来自第二摄像平台的传感器输出来检测所述场景的所述视频图像的聚焦变化,并产生用于第一摄像平台的聚焦变化检测信号,其中所述聚焦变化检测信号被应用于第一摄像平台的镜头聚焦调节器,以便连续地重新调节所述第一图像的聚焦,从而提供所拍摄的图像信号的输出。
简而言之,本发明一般地包括在多镜头数字照相机中使用两个(或更多)摄像平台,其中摄像平台包括传感器、镜头和镜头聚焦调节器,在多镜头数字照相机中,所述两个(或更多)摄像平台可以用于:分离地拍摄相同场景的各部分的图像,从而使得一个摄像平台可以用于自动调焦,而其它的摄像平台可以用于拍摄静止图像或视频;或者可替代地,可以相互比较由所述两个(或更多)摄像平台所拍摄的图像,以便为了自动调焦控制的目的通过三角测量法来测量到场景的各部分的距离。
因此,在利用本发明时,有益地数字照相机提供静止和视频模式两者下的精确、快速的自动调焦,而不会过分地增大数字照相机的大小或成本。
通过对优选实施例和所附权利要求的以下详细说明的回顾并且参考附图,可以更清楚地理解和领会到本发明的这些和其它方面、目的、特征和优点。
附图说明
图1示出根据本发明的使用具有第一图像传感器的第一变焦镜头和具有第二图像传感器的第二变焦镜头的数字照相机的第一实施例的框图。
图2A和2B是图1所示的数字照相机的两个全景图。
图3示出表示根据本发明的第一实施例的、用于使用图1所示的数字照相机进行自动调焦并拍摄数字静止图像的方法的流程图。
图4示出表示用于使用利用两个摄像平台的测距器方法进行自动调焦的方法的流程图。
图5示出表示用于使用利用两个摄像平台的“爬坡方法”进行自动调焦的方法的流程图。
图6示出表示用于生成自动调焦测距器校准曲线的方法的流程图。
图7示出表示用于生成自动调焦“爬坡方法”校准曲线的方法的流程图。
图8示出表示根据本发明的第二实施例的、用于使用图1所示的数字照相机进行自动调焦并拍摄数字视频图像的方法的流程图。
图9示出表示用于以利用两个摄像平台的测距器方法进行自动调焦的方法的流程图。
图10示出表示用于以利用两个摄像平台的“爬坡方法”进行自动调焦的方法的流程图。
图11示出用于利用两个摄像平台生成范围映射的方法。
图12示出根据本发明另一实施例的使用具有第一图像传感器的第一固定焦距镜头和具有第二图像传感器的第二(变焦)镜头的数字照相机的框图。
图13示出根据本发明另一实施例的使用具有第一图像传感器的第一固定焦距镜头、具有第二图像传感器的第二(变焦)镜头以及具有第三图像传感器的第三(变焦)镜头的数字照相机的框图。
图14示出表示用于通过使用来自两个摄像平台的图像来增强图像景深的方法的流程图。
图15A和图15B示出根据本发明另一实施例的具有两个摄像平台的移动电话照相机的图。
图16A和图16B示出移动电话照相机的在单个平台中包括两个摄像平台的平台的图。
图17A和图17B是利用两个摄像平台拍摄的、示出用来确定到场景的部分的距离的两个图像之间的偏移的图像的代表。
图18示出用于确定场景的部分的GPS位置的方法的流程图。
图19示出用于选择双镜头照相机系统中的摄像平台的其中一个作为主拍摄单元、而将另一摄像平台降级为其它功能(诸如场景分析)的流程图。
图20示出表示用于场景分析的非主拍摄单元的使用的流程图。
图21示出表示无论何时场景状态的变化超过阈值时用于场景分析的非主拍摄单元的使用的流程图。
图22示出表示主拍摄单元和用于场景分析的非主拍摄单元这两者的使用的流程图。
图23示出表示拍摄单元的功能的转换的流程图,即将当前的场景分析和主拍摄单元分别重设为主拍摄单元和场景分析拍摄单元。
图24示出表示具体地在拍摄处理期间使用由主拍摄平台拍摄的预览图像来设置主拍摄平台的拍摄单元参数的流程图。
图25示出表示具体地在拍摄处理期间使用由主拍摄平台拍摄的预览图像和由非拍摄平台拍摄的场景分析图像来设置主拍摄平台的拍摄单元参数的流程图。
图26示出表示使用由主拍摄平台拍摄的主图像和由非拍摄平台拍摄的补充图像来产生增强图像的流程图。
图27示出表示传统的双镜头测距器的操作的图。
图28示出传统的“爬坡”对比度自动调焦算法的流程图。
图29示出从用于分离图像的成分的滤波器中获得的聚焦值和“爬坡”自动调焦方法的镜头位置之间的关系。
具体实施方式
因为采用摄像装置和用于信号处理的相关电路的数字照相机众所周知,因此本说明书将尤其针对形成根据本发明的设备的部分的元件,或更直接地与该设备相互协作的元件。这里没有具体示出或说明的元件可以从现有技术已知的元件中选择。要说明的实施例的特定方面可以设置在软件中。假定根据本发明在以下材料中所示和所述的系统,这里没有具体示出、说明或建议出的对实现本发明有用的软件是传统的,且属于这些技术的常用手段。
这里说明的本发明的若干实施例中的每个均包括诸如数子照相机(静止的或视频的)或者数字扫描器的具有多个摄像平台的摄像组件,每个摄像平台包括镜头和图像传感器,其中,多个摄像平台的镜头具有不同的焦距以为摄像组件提供扩展的光学变焦范围。本发明构思使用多个摄像平台,以附加地提供增强的自动调焦性能。通过使用用于摄像和自动调焦的摄像平台,在提高拍摄到的静止和视频图像的清晰度并提高自动调焦系统的响应速度的同时,能够消除专用的自动调焦模块,从而降低摄像组件的成本和大小。
存在可以使用一个摄像平台用于拍摄数字静止图像或视频图像而同时使用另一摄像平台用于诸如增强的自动调焦、生成副图像、产生范围映射等的其它目的的本发明的多个实施例。在这里所述的本发明的第一实施例中,当用户已经将变焦位置设置到第一光学变焦范围内时,包含第一(例如,变焦)镜头的第一摄像平台用于拍摄静止图像或视频序列中的一系列图像,而第二摄像平台为了第一摄像平台的自动调焦而同时提供图像。由于第二摄像平台没有用于拍摄图像,因此第二摄像平台中的镜头的聚焦状态能够在例如峰对比度位置的周围(例如,“爬坡”自动调焦)或从附近的聚焦位置到无穷远聚焦位置(例如,“整体方式”自动调焦)的更广的范围上进行调整,以在不会不利地影响由第一摄像平台拍摄的图像的聚焦质量的情况下确定第一摄像平台中的镜头的新的最佳聚焦设置。当已使用第二摄像平台确定了新的最佳聚焦状态时,第一摄像平台的聚焦状态从先前的最佳聚焦状态改变为新的最佳聚焦状态。
当用户将摄像组件上的变焦位置调整为第二光学变焦范围时,照相机自动进行切换以使用第二摄像平台(包含例如第二变焦镜头)来拍摄图像,并且开始使用第一摄像平台用于第二摄像平台的自动调焦。因为两个镜头具有不同的焦距,因此它们具有不同的放大率。因此,可以根据放大率的这种不同调整用于确定自动调焦的数字滤波器,以补偿放大率的不同。
在本发明的该实施例的变形中,一起使用两个摄像平台来形成类似于双镜头测距器但具有更高的分辨率的高分辨率测距器,该更高的分辨率由这两个高分辨率摄像平台以及两个摄像平台中的两个镜头之间的更大的分离距离而提供。在该变形中,可以使用第一摄像平台来使用“爬坡”对比度比较方法来提供初始的精确自动调焦;随后,可以结合作为以差分模式工作的高分辨率测距器的第二摄像平台来使用第一摄像平台,以在拍摄数字静止图像之前或在视频拍摄之前或期间检测需要重新调焦的到场景的距离的变化。通过使用差分模式下的测距器,即,辨别从已聚焦的位置到在附近改变的聚焦位置的距离的变化,降低了环境变化对测距器的精度的影响。
在这里所述的本发明的另一实施例中,在通过第一摄像平台拍摄数字静止图像或拍摄视频图像之前,使用“爬坡”对比度比较方法来同时对两个摄像平台进行自动调焦。然后,第二摄像平台通过测量图像的对比度来继续检查聚焦;当检测到对比度的变化时,使用第二摄像平台执行使用“爬坡”对比度比较方法的第二自动调焦操作,以确定聚焦状态的变化。然后,将第一摄像平台的聚焦改变与使用第二摄像平台确定出的聚焦变化成比例的量。同样,从由“爬坡”自动调焦所建立的位置开始执行差分聚焦改变测量,以提高自动调焦处理的准确度。
如在本发明的背景技术中提到的,在视频拍摄期间出现一个特殊问题,其中从一系列相同的静止图像或构成视频图像的帧中得到自动聚焦图像。例如,在随着照相机的平移运动(其中场景连续变化)进行视频拍摄期间,在自动调焦系统搜索正确的聚焦时大部分视频实际上离焦。而且,由于利用使用“爬坡方法”进行聚焦的自动调焦系统进行聚焦而使得许多帧离焦,如前所述,在感兴趣的被摄体在场景中突然移动的特定情况下可能不能辨别改变的聚焦。
因此,在本发明的前述实施例的变形中,当用户已将变焦位置设置在第一光学变焦范围内时,使用包括第一变焦镜头和与其相关联的图像传感器的第一摄像平台来设置用于拍摄诸如视频图像的图像的初始聚焦,而包括第二变焦镜头和与其相关联的图像传感器的第二摄像平台同时提供连续的“整体方式”自动调焦输入图像,以判断是否应该由于被摄体运动而调节第一变焦镜头的聚焦。由于第二变焦镜头和与其相关联的图像传感器没有用于拍摄运动图像,因而能够将焦距从近聚焦调整到无穷远位置,以便在不影响所拍摄的运动图像的情况下确定最佳聚焦设置。当用户将变焦位置调整到第一变焦范围的外部时,照相机自动切换至第二摄像平台,使用第二变焦镜头和与其相关联的图像传感器拍摄运动序列,并开始使用具有第一变焦镜头和与其相关联的图像传感器的第一摄像平台来同时判断是否应该由于被摄体运动而调节第二变焦镜头的聚焦。
还可以将两个摄像平台配置为高分辨率测距器,以确定到以范围映射的形式的场景的不同部分的距离。然后,为了多种目的,使用范围映射来更改拍摄到的图像信号或输出图像,其中,所述多种目的诸如(但不限于):改善图像处理并使得能够改善图像质量;改进图像内的被摄体识别;使得能够从图像中提取被摄体;使能在多个图像内对被摄体的运动追踪;使得能够通过模糊期望景深外的被摄体而降低图像的景深;改善图像内的动态范围;降低由使用闪光灯而引起的曝光问题;以及改善图像内的场景平衡。
还可以使用包括第一变焦镜头和第一图像传感器的第一摄像平台来拍摄第一(即,主)焦距处的第一(即,主)静止图像,而使用包括第二变焦镜头和第二图像传感器的第二摄像平台来同时拍摄第二(即,副)焦距处的第二(即,副)静止图像。使用来自第二摄像平台的传感器输出用作用于修改主输出图像的副输出图像,从而生成增强的主图像信号。例如,使用副静止图像来提供增强信号,该增强信号可以例如对位于副焦距附近的主静止图像的部分进行锐化或者可以修改主静止图像的动态范围。
如上所述,可以使用来自两个摄像平台的图像来产生标识到场景的不同部分的距离的范围映射。在这里所述的另一变形中,照相机还包括用于提供照相机的位置的GPS坐标的GPS单元和用于提供照相机的指向方向的电子罗盘。因此,可以使用照相机的位置的GPS坐标、照相机的指向方向以及来自范围映射的距离偏移,以便产生场景的各部分的GPS坐标。
图1示出根据本发明第一实施例的摄像组件10A的框图。尽管不是本发明的基本方面,然而摄像组件10A优选地为便携式电池供电的装置,足够小以使得在拍摄和回放图像时用户能够容易地手持。在优选实施例中,摄像组件10A是生成存储在可移除存储卡54上的静止图像和运动视频图像这两者的数字照相机。可选地,数字照相机可以仅生成并存储运动图像或仅生成并存储静止图像。
摄像组件10A包括两个摄像平台1和2,它们具有变焦镜头3和变焦镜头4。(尽管在大多数情况下每次仅一个平台正在拍摄存储在可移除存储卡54上的图像,然而以下在本说明书中将这些平台称为摄像平台。)第一变焦镜头3由第一镜头聚焦调节器例如变焦和聚焦电动机5a来控制,并将图像提供给第一图像传感器12。第二变焦镜头4第二镜头聚焦调节器由例如变焦和聚焦电动机5b来控制,并将图像提供给第二图像传感器14。每个变焦镜头中的可调光圈和快门组件(未示出)用于控制向图像传感器12和14的曝光。
图2A和2B示出关于图1所述的摄像组件10A的全景图。图2A是摄像组件10A的前视图,示出第一变焦镜头3、第二变焦镜头4和闪光灯48。图2B是摄像组件10A的后视图,示出彩色LCD图像显示器70和多个用户控制器42,所述多个用户控制器42包括用于使能摄像序列的快门按钮42a、用于使得能够选择变焦设置的变焦按钮42c以及用于对在彩色LCD图像显示器70上显示的图像和菜单选项等进行导航的多位置选择器42d。
如图1所示,摄像平台1和2包括变焦镜头3和4以及图像传感器12和14。如图2A所示,尽管变焦镜头3和4是垂直地偏移,然而变焦镜头3和4可以在诸如水平方向的其它方向上偏移。另外,根据本发明的另一实施例,变焦镜头3和4中的其中一个(或两者)可以用固定焦距镜头来代替。在所有情况下,通常变焦镜头3和4以及传感器12和14的光轴相对于彼此对准以使得虽然通常具有不同视场但看到基本相同的场景。在前述共同转让的、其内容通过引用包含于此的美国专利申请序列号11/062,174中进一步说明了光学部件的配置,其中该专利包括使用两个以上的摄像平台的多个实施例。摄像平台1和2中的变焦镜头3和4的配置可以包括折叠光路以改变摄像平台1和2的整体尺寸;然而,折叠光路在本发明的实施中不是必要的。
在优选实施例中,图像传感器12和14是使用著名的拜尔(Bayer)彩色滤波器模式以拍摄彩色图像的单芯片彩色百万像素CCD传感器,但是可以同样好地根据本发明使用诸如CMOS传感器的其它传感器和诸如条纹滤波器的其它颜色滤波器阵列而没有限制。图像传感器12和14可以具有各种高宽比(例如4:3图像高宽比),以及各种分辨率,例如,总共6.1MP有效百万像素(兆像素),在该特别的情况下具有2848有效像素列×2144有效像素行。还应该理解,图像传感器12和14不需要具有相同的规格。例如,在前述共同转让的美国专利申请序列号11/062,174中所公开的一些实施例中,图像传感器12和14的大小、分辨率、颜色滤波器阵列、光谱灵敏度和高宽比可以是不同的。
控制处理器和定时生成器40通过向时钟驱动器13提供信号来控制第一图像传感器12,并通过向时钟驱动器15提供信号来控制第二图像传感器14。控制处理器和定时生成器40还控制变焦和聚焦电动机5a和5b、自动曝光检测器46、用户控制器42、第一和第二数字多路转接器控制元件34和36以及用于发射光以照亮场景的闪光灯48。如在早前参考图2B所述那样,用户控制器42用于控制数字照相机10A的操作。
来自第一图像传感器12的模拟输出信号12e通过第一模拟信号处理器22被放大并转换成第一数字图像信号。将数字化的第一数字图像信号提供给第一数字多路转接器控制元件34的第一输入以及第二数字多路转接器控制元件36的第一输入。来自第二图像传感器14的模拟输出信号14e通过第二模拟信号处理器24被放大并转换成第二数字图像信号。将数字化的第二数字图像信号提供给第一数字多路转接器控制元件34的第二输入以及第二数字多路转接器控制元件36的第二输入。第一多路转接器34的功能是或者选择来自第一图像传感器12的第一传感器输出12e或者选择来自第二图像传感器14的第二传感器输出14e,作为摄像信号。第二多路转接器36的功能是或者选择来自第二图像传感器14的第二传感器输出14e或者选择来自第一图像传感器12的第一传感器输出12e,作为提供给图像处理器50的自动聚焦图像信号。
控制处理器和定时生成器40控制数字多路转接器34和36以便选择传感器输出中的一个(12e或14e)作为所拍摄的图像信号,并选择另一个传感器输出(14e或12e)作为自动聚焦图像信号。由第一数字多路转接器控制元件34提供的数字数据被暂时存储在DRAM缓冲存储器38中,并且随后由图像处理器50进行处理以生成可以包含静止数字图像或视频图像的处理后的数字图像文件。由第二数字多路转接器控制元件36提供的数字数据被提供给图像处理器50,图像处理器50进行如稍后参考图4、5、6和7所述的自动调焦计算。
简言之,图像处理器50生成驱动第一和第二聚焦调节器(即变焦和聚焦电动机5a和5b)的聚焦检测信号。控制处理器和定时生成器40与图像处理器50相结合地或者(a)选择来自第一摄像平台1的传感器输出12e作为所拍摄的图像信号并使用来自第二摄像平台2的传感器输出14e以生成用于所选择的摄像平台1的聚焦检测信号,或者(b)选择来自第二摄像平台2的传感器输出14e作为所拍摄的图像信号并使用来自第一摄像平台1的传感器输出12e以生成用于所选择的摄像平台2的聚焦检测信号。以这种方式,将聚焦检测信号应用于所选择的摄像平台的变焦和聚焦电动机5a和5b,以便调节图像的聚焦从而提供所拍摄的图像信号的传感器输出。
由图像处理器50进行的处理是由存储在固件存储器58中的固件进行控制的,该固件存储器58可以是闪速EPROM存储器或其它任何形式的适当的存储器。处理器50处理来自DRAM缓冲存储器38的数字输入图像,使用RAM存储器56存储处理阶段期间的中间结果。将处理后的数字图像文件提供给存储卡接口52,该存储卡接口52将数字图像文件存储在可移除存储卡54上。可移除存储卡54是一种可移除数字图像存储介质,且可以以不同的物理格式使用。例如,可移除存储卡54可以包括(不限于)被配置为诸如致密型闪存、智能介质、存储棒、MMC、SD或XD存储卡格式的已知格式的存储卡。诸如磁性硬盘驱动、磁带或光盘的另一种可移除数字图像存储介质可以可选地用于存储静止或运动数字图像。可选地,数字照相机10A可以使用诸如内部闪速EPROM存储器的内部非易失性存储器(未示出)来存储处理后的数字图像文件。在这样的实施例中,不需要存储卡接口52和可移除存储卡54。
图像处理器50还接收来自全球定位系统(GPS)单元57的输入,这使得图像处理器50能够在任何恰当的时间(例如在拍摄图像时)确定照相机的GPS坐标(即位置)。图像处理器还接收来自电子罗盘59的方向输入,这使得图像处理器50能够例如在拍摄图像时确定照相机指向哪个方向。图像处理器50进行包括颜色和色调校正前的颜色插值的各种其它图像处理功能,以便生成渲染的sRGB图像数据。然后,渲染的sRGB图像数据被进行JPEG压缩并作为JPEG图像文件被存储在可移除存储卡54上。渲染的sRGB图像还可以经由通过诸如SCSI连接、USB连接或Firewire连接的适当的互连接64进行通信的主机接口62而提供给主机PC 66。JPEG文件优选使用由日本东京的日本电子信息技术工业协会(Japan Electronics and Information Technology IndustriesAssociation,JEITA)在“数字静止照相机图像文件格式(Exif)”版本2.2中定义的所谓的“Exif”图像格式。该格式包括存储特定图像元数据的Exif应用部分,该特定图像元数据包括拍摄图像的日期/时间以及镜头f/数、拍摄图像时的GPS位置和指向方向和其它照相机设置。
应该注意,通常为可编程图像处理器的图像处理器50能够可选地地例如为硬接线定制集成电路(IC)处理器、通用微处理器或硬接线定制IC和可编程处理器的组合。此外,可以将诸如数字多路转接器控制元件34和36、DRAM缓冲存储器38和RAM存储器58的图1中的各个模块所示的功能中的一个或多个包含在包括图像处理器50的IC中。还应该注意,控制处理器40和图像处理器50的至少某些部分的功能可以为了某些应用和讨论的目的的需要而进行合并,例如参考本说明书和权利要求书的一部分中的处理平台,其中例如参考传感器输出的选择(通过控制处理器40)和聚焦信号的生成(通过图像处理器50)。换句话说,处理平台的引用意在包含所引用的功能,不管在一个或多个实际处理元件、电路等中发现这些功能还是其它情况。
在本发明的又一实施例中,包括数字照相机10A作为照相机手机的一部分。在该实施例中,图像处理器50还接口到蜂窝处理器90,该蜂窝处理器90使用蜂窝调制解调器92来利用经由天线94的射频传输来将数字图像发送到蜂窝网络(未示出)。在本发明的一些实施例中,两个摄像平台1和2以及变焦和聚焦电动机5a和5b可以是集成组件的一部分。另外,时钟驱动器13和15以及模拟信号处理器22和24和包括在其内的模拟/数字转换器可以是集成组件的一部分。
图3示出表示用于使用图1的摄像组件拍摄数字图像的方法的流程图。在块100中,当使用电源开关(未示出)接通照相机10A时,变焦镜头3和4被设置成其默认位置,该位置优选地为在那里使用第一图像传感器12的输出来以预览模式拍摄图像以显示在彩色LCD图像显示器70上从而使得用户能够合成要拍摄的图像的广角位置。作为合成图像的一部分,在块102中,用户通常按下变焦按钮42c以便设置数字照相机10A的期望的视场。
在块102中,将变焦位置设置与值X进行比较,在值X处,摄像功能从第一摄像平台切换到第二摄像平台。在块104中,如果变焦位置设置小于X(对块102的响应为否),则使用第一摄像平台1在预览模式下拍摄图像,而使用第二摄像平台2来拍摄自动聚焦图像。第一摄像平台1继续拍摄图像以用于显示器70上的预览(块110),而在块106中,使用第二摄像平台2来拍摄自动聚焦图像,以用于第一摄像平台1的自动调焦,该自动聚焦图像由图像处理器50进行处理并在块108中被使用以聚焦第一摄像平台1。
在块112中,如果没有按下变焦按钮42c且在块104中如果按下了拍摄按钮,则利用第一摄像平台1在块116中拍摄数字图像。可选地,如果在块112中按下了变焦按钮,则控制返回到块102,并且如果在块114中没有按下拍摄按钮,则控制返回到块106。
在块124中,如果变焦位置设置大于X(对块102的响应为是),则使用第二摄像平台2在预览模式下拍摄图像,同时使用第一摄像平台1来拍摄自动聚焦图像。第二摄像平台2继续拍摄图像以用于显示器70上的预览(块130),而在块126中,使用第一摄像平台1来拍摄自动聚焦图像以用于第二摄像平台2的自动调焦,该自动聚焦图像由图像处理器50进行处理以生成在块128中被使用以聚焦第二摄像平台2的聚焦检测信号。
在块132中,如果没有按下变焦按钮42c且在块134中如果按下了拍摄按钮,则利用第二摄像平台2在块136中拍摄数字图像。可选地,如果在块132中按下了变焦按钮,则控制返回到块102,且如果在块134中没有按下拍摄按钮,则控制返回到块126。
在图4中示出使用测距器配置中的图3所示的两个摄像平台的自动调焦处理的流程图,其中在图3的块108和128中使用测距器方法,以对来自第一和第二摄像平台的图像进行自动调焦。在块250中,用户通过调节照相机上的变焦控制器42c来确定变焦位置,该变焦位置如上所述继而规定将使用哪个摄像平台拍摄最终图像和哪个摄像平台将仅用于自动聚焦图像(块252)。将未用于拍摄最终图像的摄像平台变焦到与在两个摄像平台中的两个变焦镜头系统之间的过渡变焦位置最接近的位置(块254)。将两个摄像平台的聚焦镜头移动到它们各自的超焦距位置,其中产生最大聚焦范围(块256)。在块258中,用户将拍摄按钮42a从位置S0按到位置S1以便开始自动调焦序列(以及自动曝光序列)。(拍摄按钮具有3个位置:S0是在操作者触摸摄像按钮之前该按钮所保持的中立位置;S1是照相机进行自动调焦和自动曝光的中间位置;S2是照相机进行最终曝光并拍摄最终图像的最终位置。)
然后,通过其变焦镜头在各自的变焦位置处的两个摄像平台拍摄自动聚焦图像(块260)。然后,对来自较低变焦位置(即变焦位置小于X(参见图3中的块102)的变焦位置)处的摄像平台的自动聚焦图像进行剪切和上采样,从而两个自动聚焦图像中的相应特征跨越相同数量的像素(块262)。然后,对剪切和上采样后的自动聚焦图像与其它自动聚焦图像相关联,以便识别两个自动聚焦图像之间的像素偏移(块264),并由此生成聚焦检测信号。图17A示出作为从更高变焦位置的图像平台所拍摄的自动聚焦图像350的代表。图17B示出来自较低变焦位置的图像平台的剪切和上采样后的自动聚焦图像352的代表。这些代表示出两个图像之间的偏移,所述偏移被用来确定到场景的各部分的距离。在块266中,然后将校准因子应用于聚焦检测信号以确定必须移动聚焦镜头以生成摄像用的最佳聚焦状态的距离。在块268中,将聚焦检测信号应用于变焦和聚焦电动机5a,然后,将聚焦镜头在将用于最终摄像的摄像平台中移动所确定出的距离以生成最佳聚焦的状态(268)。当用户把拍摄按钮从S1推到S2时,摄像平台拍摄最终图像。
在图5中示出众所周知的“爬坡”对比度比较方法中的图3所示的使用两个摄像平台的自动调焦处理的流程图,其中在图3的块108和128中使用“爬坡”对比度比较方法以自动调焦来自第一和第二摄像平台的图像。在块250中,用户选择变焦位置。变焦位置确定将使用哪个摄像平台作为拍摄平台(块252)。然后,在块254中,将未用于拍摄的摄像平台变焦到与来自块250的用户选择的变焦位置最接近的点。在块258中,用户将拍摄按钮42a从S0位置推到S1位置,以开始自动调焦序列。然后,在块272中,通过“爬坡”方法来对两个摄像平台进行自动调焦。当用户将拍摄按钮从S1位置推到S2位置(块274)时,通过拍摄平台连续拍摄视频图像(块276)。
为了在最小搜索量的情况下维持聚焦,使用“爬坡”对比度比较方法利用未用于拍摄的摄像平台在块278中连续检查聚焦。然后,在判断块280中,如果聚焦良好,则控制返回到块276并通过拍摄平台连续拍摄视频图像。在判断块280中,如果聚焦不好,则识别需要的聚焦镜头调节(块282),以在没有用于拍摄的摄像平台上生成最佳聚焦。在块284中,使用自动调焦“爬坡”方法校准曲线和识别出的聚焦镜头调节来确定在拍摄平台中用以产生最佳聚焦所需的聚焦镜头的移动,从而生成聚焦变化检测信号。最后,在块286中,将聚焦变化检测信号应用于变焦和聚焦电动机5a或5b,并将拍摄平台中的聚焦镜头移动到新的最佳聚焦位置,且控制返回到块276并且通过拍摄平台连续拍摄视频图像。
可选地,且还为了在最小搜索量的情况下保持聚焦,使用“整体方式”自动调焦方法利用未用于拍摄的摄像平台在块278中连续检查聚焦。因此,在块284中,使用自动调焦“整体方式”方法校准曲线和识别出的聚焦镜头调节来确定在拍摄平台中用以生成最佳聚焦所需的聚焦镜头的移动,从而生成聚焦变化检测信号。最后,在块286中,将聚焦变化检测信号应用于变焦和聚焦电动机5a或5b,并将拍摄平台中的聚焦镜头移动到新的最佳聚焦位置,且控制返回到块276并且通过拍摄平台连续拍摄视频图像。
在图4和5中均使用校准曲线来确定在拍摄平台中用以生成最佳聚焦所需的聚焦镜头的移动。图6和7示出用于计算这些曲线的流程图。更具体地,图6示出在图4的块266中使用的自动调焦测距器校准曲线的计算。在图6的块300中,使用位于一系列聚焦镜头位置的较短焦距的第一摄像平台和较长焦距的第二摄像平台,利用已知距离处的被摄体拍摄一系列图像组。然后,在块302中,来自较低焦距的第一图像平台的自动聚焦图像被剪切和上采样,从而如图17A和17B所示两个自动聚焦图像中的相应特征跨越相同数量的像素。在块304中,来自第二摄像平台的图像与来自第一摄像平台的剪切和上采样后的图像的相应的图像部分相关联,以确定每个图像组中的图像之间的像素偏移。因此,在块306中,将每个图像组中的图像之间的像素偏移相对于到被摄体的已知距离的数据存储为自动调焦测距器校准曲线以供在图4的块266中使用。
图7示出在图5的块284中使用的“爬坡”校准曲线的计算。在图7的块400中,使用第一摄像平台和第二摄像平台,利用已知距离处的被摄体拍摄一系列图像组,其中通过用于每个图像的“爬坡”方法进行自动调焦。然后,在块402中,为两个摄像平台比较聚焦镜头位置与到图像组中的聚焦被摄体的距离。然后,将针对到图像中的聚焦被摄体的相同距离的第一摄像平台的聚焦镜头位置相对于第二摄像平台的聚焦镜头位置的数据存储为自动调焦“爬坡”方法校准曲线以供在图5的块284中使用。
图8示出表示用于使用图1的摄像组件拍摄视频图像的方法的流程图。流程图的大部分与图3所示的功能元素重复,并且在表示相同的功能和附图标记的情况下将不会在此重复。如果变焦位置设置小于X(对块102的响应为否),则使用第一摄像平台1来拍摄视频图像,而使用第二摄像平台2来拍摄自动聚焦图像。如图3所述进行第一摄像平台的聚焦,不同的是现在其是用于视频图像的。随后,在图8的块112中,如果没有按下变焦按钮42c,且在块114中如果按下了拍摄按钮,则在块118中通过第一摄像平台1拍摄视频图像。在块119中检查视频图像的聚焦质量,且如果需要重新聚焦,则控制返回到块106并且生成聚焦变化检测信号,该聚焦变化检测信号在块108中被使用以驱动第一摄像平台1的聚焦电动机5a。如果不需要重新聚焦,则控制返回到块112。
如果变焦位置设置大于X(对块102的响应为是),则使用第二摄像平台2来拍摄视频图像,而使用第一摄像平台1来拍摄自动聚焦图像。如图3所述进行第二摄像平台的聚焦,不同的是现在其是用于视频图像的。随后,在块132中,如果没有按下变焦按钮42c,且如果在块134中如果按下了拍摄按钮,则在块138中利用第二摄像平台2拍摄视频图像。在块139中检查视频图像的聚焦质量,且如果需要重新聚焦,则控制返回到块126并且生成聚焦变化检测信号,该聚焦变化检测信号在块128中被使用以驱动第二摄像平台2的聚焦电动机5b。如果不需要重新聚焦,则控制返回到块132。
图9中示出使用测距器配置中的图8所示的两个摄像平台的自动调焦处理的流程图,其中在图8的块108和128中使用测距器方法来对来自第一和第二摄像平台的图像进行自动调焦。在图9的块440中,利用较低焦距的摄像平台来拍摄第一自动聚焦图像。然后,在块442中,剪切和上采样来自较低焦距下的图像平台的自动聚焦图像,从而两个自动聚焦图像中的相应特征跨越相同数量的像素。同时,在块448中,利用较长焦距的摄像平台拍摄第二自动聚焦图像。在块444中将第二自动聚焦图像与所述剪切和上采样后的图像相关联以为不同的图像部分确定图像之间的像素偏移。然后,在块446中,根据该偏移和自动调焦测距器校准曲线(其在图6中计算出)来确定需要的聚焦校正。
在图10中示出“爬坡”对比度比较方法中的图8中所示的使用两个摄像平台的自动调焦处理的流程图,其中在图8的块108和128中使用“爬坡”对比度比较方法来自动调焦来自第一和第二摄像平台的图像。在图10的块460中,利用第一摄像平台拍摄第一图像,其中通过“爬坡”方法进行自动调焦。然后,在块462中,提供来自第一摄像平台的图像作为显示器上的预览图像。同时,在块466中,利用第二摄像平台拍摄第二图像,其中通过“爬坡”方法进行自动调焦。然后,在块468中,利用第二摄像平台拍摄另一随后的图像,其中也通过“爬坡”方法进行自动调焦。在块470中,将第二图像的聚焦状态与随后的图像的聚焦状态进行比较。然后,如果聚焦状态已经改变(对块472的响应为是),则基于第二摄像平台的聚焦状态的变化和(在图7中算出的)自动调焦“爬坡”方法校准曲线来改变第一摄像平台的聚焦状态。如果聚焦状态没有改变(对块472的响应为否),则控制返回到块468并且利用第二摄像平台拍摄另一图像。
可选地,且为了在最小搜索量的情况下维持聚焦,使用“整体方式”自动调焦方法利用第二摄像平台在块470中连续检查聚焦。因此,如果聚焦状态已经改变(对块472的响应为是),则基于第二摄像平台的聚焦状态的变化和自动调焦“整体方式”方法校准曲线来改变第一摄像平台的聚焦状态。如果聚焦状态没有改变(对块472的响应为否),则控制返回到块468并且利用第二摄像平台拍摄另一图像。
图11示出表示用于处理使用图3或图8的摄像组件所拍摄到的图像的方法的流程图,其中生成范围映射。(图的特定部件具有与图9中所使用的相同的功能和附图标记。)生成范围映射的方法对于本领域的技术人员来说是众所周知的;例如,在通过引用包含于此的美国专利申请公开号2006/0193509(以Antonio Criminisi等人的名义在2006年8月31日公开,发明名称为“基于立体的图像处理(Stereo-based ImageProcessing)”)中说明了如下方法:该方法用于从根据通过具有类似视场的多个照相机所拍摄的一组图像的像素偏移信息而生成的差异映射来生成范围映射和深度映射。在本专利申请所述的情况下,两个或多个摄像装置包括在单个电子照相机中。由于两个或多个摄像置具有不同的焦距,因而必须修改图像中的至少一个图像,以使两个或多个图像可比较,从而使得能够确定像素偏移。现在参考图11,在块440中利用较低焦距的摄像平台拍摄第一自动聚焦图像,且在块442中,对来自较低变焦位置的摄像平台的自动聚焦图像进行剪切和上采样,从而两个自动聚焦图像中的相应特征跨越相同数量的像素。同时,在块448中,利用较高焦距的摄像平台拍摄第二自动调焦图片。然后,在块480中,将第二自动聚焦图像与所述剪切和上采样后的图像相关联,以确定图像的不同图像部分之间的像素偏移。然后,在块482中,使用自动调焦测距器校准曲线将像素偏移转换成离摄像装置的距离。在块484中生成示出到不同图像部分的距离的映射。
可以根据第一和第二自动聚焦图像的相应部分之间(即来自第一自动聚焦图像的在块442中获得的剪切和上采样后的图像和从块448获得的第二自动聚焦图像的相应部分之间)的测量到的像素偏移来计算从摄像装置到场景的各部分的距离。图像传感器上所经历的像素偏移p、像素大小m、镜头之间的空隙s、镜头的有效焦距f以及到场景的部分的距离d之间的关系如下:
d=s·f/(p·m)
表1示出如上所述的摄像装置的典型像素偏移。在优选实施例中,相对在已知距离的场景中的被摄体校准像素偏移和到场景的部分的距离之间的关系,以补偿两个镜头组件之间的任何角倾斜和尺寸的任何不期望的变化。
表1
像素大小(mm)                            0.002
镜头之间的分离(mm)                      20
焦距(mm)                                6
距离(ft)             距离(mm)           偏移(像素)
        0.5          152.4              393.7
        1            304.8              196.9
        2            609.6              98.4
        4            1219.2             49.2
        8            2438.4             24.6
        16           4876.8             12.3
        32           9753.6             6.2
64        19507.2        3.1
128       39014.4        1.5
如先前所述,为了各种目的,使用范围映射来修改所拍摄的图像信号或输出图像,这些目的诸如(不限于):
a)通过识别被摄体的连续边界来使得可以限定被摄体的形状,从而改进图像内的被摄体识别;
b)通过识别被摄体的连续边界使得可以在图像内分割被摄体,从而使得能够从图像提取被摄体;
c)通个识别被摄体使得可以将被摄体作为图像之间的相同的对象来追踪,从而使得能够在多个图像中进行被摄体的运动追踪;
d)通个模糊化与处于期望的景深外面的场景区域相对应的图像的部分,使得能够得到动态景深图像;
e)通过将增益调节应用于作为整体的被摄体来提高图像内的动态范围;
f)通过降低与前景中的被摄体相对应的图像部分的增益并增大背景中的被摄体的增益来减少由使用闪光灯而引起的曝光问题;
g)通过使得前景中的被摄体被强调来提高图像内的场景平衡。
为了理解为了诸如上述目的而使用范围映射,考虑一个例子是有帮助的。假定用户/拍摄者具有一张阿拉斯加山脉的很好的照片-在最远距离范围中有美丽的布满云彩的天空和白雪覆盖的山脉,在中间范围中鲜花铺满区域,并且在大约5英尺远的前景中蹲着黑狗。然而,云被过补光(过度曝光),白雪覆盖的山脉也一样。黑狗很黑(曝光不足)且处于离焦(因为例如照相机被设置为风景模式)。使用范围数据,可以修改图像的几个特征。通过将增益调节应用于图像的所选择的被摄体部分,特别地应用于例如云彩细节、雪细节以及黑狗上的皮毛,可以提高各个位置的曝光。更普遍地,通过与范围映射中的被摄体位置无关地将增益调节应用于输出图像内作为整体的被摄体上,可以使用范围映射来提高输出图像内的动态范围。此外,可以调节景深,从而使得例如狗处于对焦,山脉处于对焦且鲜花也处于对焦。或者,如果用户真的想要强调狗而不是美丽的风景,则可以使用范围数据来分离可以被模糊化的山脉和鲜花,且更进一步分离狗,其中可以锐化狗以获得好的锐化图像。可以理解,假定根据本发明的范围映射的可用性,则可用来艺术地优化图像的许多其它用途。例如,用户可以做出动态景深,即,使范围的混合区域对焦。更普遍地,通过与范围映射中的各部分的位置无关地模糊化输出图像的与处于图像的特征部分的期望景深外部的场景区域相对应的各部分,可以使用范围映射来使能动态景深图像。例如,尽管狗和山脉处于相对的范围极端,然而由于狗和山脉是感兴趣的区域且中间范围的花可以被平滑地模糊化,因而可以使狗和山脉处于对焦。
图12和13示出使用光学摄像平台的不同变形的数字照相机的框图。摄像平台后的大多数部件和相关于图1所述的部件相同,且这里将不会对其进行进一步说明。图12示出具有第一摄像平台71和第二摄像平台2的数字照相机的框图。第一平台71包括第一固定焦距镜头73和第一图像传感器12,第二平台2包括第二(变焦)镜头4和第二图像传感器14。在第一和第二摄像平台71和2的聚焦调节之间执行根据本发明的调焦。
因为固定焦距镜头的焦距通常生成超广角视场,例如22mm等效的,因而可以将固定镜头设置到例如8英尺的镜头超焦距附近的距离,以使得从4英尺起到无穷远的被摄体处于对焦。因此,固定焦距镜头不需要包括聚焦调节。固定聚焦镜头包括可调光圈和快门组件(未示出)以控制图像传感器的曝光。
图13示出具有第一摄像平台71、第二摄像平台2以及第三摄像平台74的数字照相机的框图。第一平台71包括具有第一图像传感器12的第一固定焦距镜头73,第二平台2包括具有第二图像传感器14的第二(变焦)镜头4,第三摄像平台74包括具有第三图像传感器16的第三(变焦)镜头75。根据该配置,第一镜头73通常是超广角镜头,第二(变焦)镜头4通常是广角变焦镜头,第三(变焦)镜头75通常是远摄变焦镜头。如在前一段所述,由于作为超广角镜头的第一固定焦距镜头73通常不被聚焦,因而在第二和第三摄像平台2和74之间执行根据本发明的调焦。
图14示出表示用于通过使用来自图1中两个摄像平台的图像来增强图像的景深的方法的流程图。在图14的块500中,当照相机接通电源时,将变焦位置设置为默认位置。在块502中,将变焦位置设置与值X进行比较,在值X处,摄像功能从第一摄像平台切换至第二摄像平台。在块504中,如果变焦位置设置小于X(对块502的响应为否),则在预览模式下使用第一摄像平台1拍摄图像,而使用第二摄像平台2来拍摄自动聚焦图像。第一摄像平台1继续拍摄用于在显示器70上进行预览的图像(块506),而使用第二摄像平台2来拍摄用于第一摄像平台1的自动调焦的自动聚焦图像,其中这些图像由图像处理器50进行处理并用于聚焦第一摄像平台1。如果没有按下变焦按钮(对块508的响应为否),且当按下了快门按钮42a时,使用设置到主聚焦位置的第一摄像平台在块510中拍摄主静止图像。然后,在块512中,使用设置到副聚焦位置的第二摄像平台拍摄副静止图像。然后,在块514中,使用副静止图像来增强主图像的景深,例如,其中使用副静止图像来提供可以用于锐化位于副焦距附近的主静止图像的部分的增强信号。
在块524中,如果变焦位置设置大于X(对块502的响应为是),则在预览模式下使用第二摄像平台2拍摄图像,而使用第一摄像平台1来拍摄自动聚焦图像。第二摄像平台2继续拍摄用于在显示器70上进行预览的图像(块526),而使用第一摄像平台1来拍摄用于第二摄像平台2的自动调焦的自动聚焦图像,其中这些图像由图像处理器50进行处理并用于聚焦第二摄像平台2。如果按下了变焦按钮(对块508的响应为是),且当按下了快门按钮42a时,使用设置到主聚焦位置的第二摄像平台在块530中拍摄主静止图像。然后,在块532中,使用设置到副聚焦位置的第一摄像平台拍摄副静止图像。然后,在块534中,使用副静止图像来增强主图像的景深,例如,使用副静止图像来锐化位于副焦距附近的主静止图像的部分。
如上所示,由照相机生成增强信号以锐化位于副焦距附近的主静止图像的部分。然而,可以将主和副静止图像提交给诸如图1所示的主机PC 66的外部处理器,且可以由外部处理器生成增强信号以锐化位于副焦距附近的主静止图像的部分。
多个镜头和多个传感器的概念和集成摄像组件的使用可以适用于具有图片拍摄功能的类型的移动电话中。因此,如图15A所示,移动电话600包括包含用于捕获呼叫者的语音的麦克风602的电话平台、用于处理呼叫者和被叫人的语音信号的相关电子器件(未示出)、以及用于再现被叫者的语音的扬声器604。提供用于输入电话号码和摄像命令的键盘606,并提供用于显示与电话相关的数据并再现通过电话拍摄到的或通过蜂窝网络接收到的图像的(LCD)显示器608。图15B示出的移动电话600的后视图识别出一些内部部件,包括通过图像处理器50连接到包括蜂窝处理器90和调制解调器92的蜂窝处理平台的蜂窝摄像组件610。蜂窝处理器90接收和处理来自图像处理器50的图像数据和通过麦克风602捕获的语音数据,并将图像和语音数据传送到蜂窝调制解调器92。蜂窝调制解调器92将数字图像和语音数据转换成适当的格式以用于通过天线94发送到蜂窝网络。
在图16A和16B中示出蜂窝摄像组件610,其中图16A是沿着图16B中的线24B-24B所取的组件610的俯视图,组件610包括共用基板620上的光学部件和摄像部件的集成包。更具体地,组件610包括第一固定焦距镜头612和第一图像传感器614以及第二固定焦距镜616头和第二图像传感器618。优选为固定焦距广角镜头(诸如40mm等效的镜头)的第一镜头612在第一图像传感器614上形成图像,优选为固定焦距远摄镜头(诸如100mm等效的镜头)的第二镜头616在第二图像传感器618上形成图像。这两个镜头均在相同的方向上定向,以使得尽管具有不同的视场,但形成这两个镜头前面的全部场景的相同部分的图像。
各镜头612和616和与其相关联的图像传感器614和618被安装到基板620,且在它们之间具有IR截止滤波器622以减少IR辐射到图像像素上的入射。诸如电阻器、电容器和电源管理部件的电子部件624也被安装在基板620上。通过挠性连接器626从基板620得到图像信号。从组件610取得的数据可以是原始图像数据,或者如果适合的处理器(未示出)处于基板620的板上,则数据可以是YUV图像数据或JPEG图像数据。而且,图像处理器50可以在广角和远摄焦距之间提供数字变焦;用户可以通过显示在(LCD)显示器608上的用户界面并通过在键盘606上键入适当的按钮来开始这种变焦。此外,广角图像传感器614可以具有例如比远摄图像传感器618的分辨率高的高分辨率,以便为数字变焦提供更高质量的源图像。
在根据本发明的实施例中,其中两个镜头612和616均为可调焦距镜头,图像处理器50或者(a)选择来自广角镜头612的传感器输出作为所拍摄的图像信号并使用来自远摄镜头616的传感器输出来生成用于广角镜头612的聚焦检测信号,或者(b)选择来自远摄镜头616的传感器输出作为所拍摄的图像信号并使用来自广角镜头612的传感器输出来生成用于远摄镜头616的聚焦检测信号。然后将聚焦检测信号应用于远摄镜头616的自动调焦子系统628以调整图像聚焦从而提供所摄图像信号的传感器输出。在该实施例中,广角镜头612可以代替地为变焦镜头,诸如广角到普通角的变焦镜头。
在另一实施例中,广角镜头612被设置为其超焦距,这意味着镜头不需要用户的任何聚焦调节而从几英尺到无限远均处于对焦。通过自动调焦子系统628对远摄镜头616进行自动调焦。这是必须的,因为随着焦距增大超焦距也增大,并且因此需要调节聚焦以便获得典型(例如4’~12’)距离处的被摄体的正确聚焦。通过对远摄镜头616仅使用一个调焦子系统628,可以降低成本和大小。
该实施例中的重要限制是必须保持为与移动电话布局和结构相符合的非常小的外形的“z”尺寸630。这可以通过远摄焦距和传感器的大小的仔细选择来获得。例如,可以将传感器616的大小以及由此必须被生成以填充传感器的图像的大小制造得足够小以将焦距降低到可接受的z尺寸630。
在另一实施例中,两个镜头可以具有大致相同的焦距,其中摄像阵列具有不同的大小。利用大小不同的摄像阵列,每个镜头被设计成填充摄像阵列的区域,并且每个镜头-阵列组合将具有基本相同的实际焦距,即相同的镜头到阵列的距离。然而,各镜头的35mm等效将不同;因此,各镜头将具有不同的视场。
虽然在图16A和16B中未详细示出,然而类似于与图1相关地说明的那样,来自第一图像传感器614的模拟输出信号通过第一模拟信号处理器被放大并提供给控制元件的第一输入,所述控制元件例如作为基板620上的电子部件624中的一个而提供的模拟多路转接器控制元件。来自第二图像传感器618的模拟输出信号通过第二模拟信号处理器被放大并提供给控制元件的第二输入。控制元件的功能是根据关于变焦选择的来自键盘606的用户输入,或者选择来自第一图像传感器614的第一传感器输出或者选择来自第二图像传感器618的第二传感器输出,从而将来自蜂窝摄像组件600的所选择的传感器输出提供给图像处理器50。
在使用(根据图11而生成的)范围映射时,将由照相机的GPS单元57和电子罗盘59提供的照相机的GPS位置和指向方向与从照相机到场景的各部分的距离和方向相结合来确定场景的各部分的GPS位置。图18示出用于确定场景的各部分的GPS位置的方法的流程图。在块750中,由照相机中的GPS单元57确定照相机的GPS位置。在块752中由照相机中的电子罗盘59确定照相机的指向方向。从照相机到场景的各部分的距离偏移由在来自诸如图11所示的过程的块754中获得的范围映射来提供。在块756中,相对于(由电子罗盘59提供的)照相机的指向方向的角度偏移根据图像中的视场中的场景的各部分的位置被确定。在块758中,通过将距离偏移和角度偏移添加到照相机的GPS位置和指向方向来确定场景的各部分的GPS位置。然后在块760中,将场景的各部分的GPS位置存储在图像的元数据中或显示为以GPS位置映射的形式的图像上的标签。可选地,可以将图像的部分的GPS位置显示在电子照相机上。那些本领域技术人员将意识到场景的各部分的GPS位置可以用于各种目的,包括而不限于:确定被摄体的身份;向场景中的位置提供导航方向;辨别相对于映射或其它地理数据库等的照相机的视场。
图19示出表示如下处理的流程图:该处理用于选择双镜头照相机系统中的摄像平台中的一个作为主拍摄单元,而使另一个摄像平台降级为诸如场景分析的一些其它功能。更具体地,照相机的电源接通并开始初始化处理(块1100)。在初始化处理完成之后,将第一和第二摄像平台1和2设置到它们的默认变焦位置(块1102),这些默认变焦位置是确定初始拍摄和显示的图像的预定初始变焦位置。因此,第一和第二摄像平台拍摄并在图像显示器70上显示第一和第二预览图像(块1104)。这些图像可以以例如作为缩略图等在显示器上一个挨一个、一个在另一个内、顺次显示等的多个方式进行显示。接下来,请照相机使用者决定是第一预览图像还是第二预览图像应当为主图像(块1106),其中主图像将是拍摄并存储的图像。给予操作者进行该决定的显示时间间隔x(块1110)。如果在该间隔期间按下快门按钮(块1108),或者如果在该间隔期间操作者未能作出决定(块110为是),则将摄像平台中的预定摄像平台(默认摄像平台)自动设置为主拍摄单元(块1112)。(默认摄像平台可以因为各种原因而预先选择出,一个原因是为了提供广泛的更宽角度的场景视野作为初始图像。)否则,如果操作者选取了其中一个平台(块1106为是),则将所选择的摄像平台设置为主拍摄单元(块1124)。在这两种情况中的任一情况下,将另一(未选择的)摄像平台指定为场景分析拍摄单元(块1114)。因此,如随后与图20-22相关地所述的,使主拍摄单元工作在预览模式下。
图20-22和图24-26示出表示使用或分析来自双(或更多)镜头照相机系统的一个摄像平台的图像以修改由另一摄像平台生成的图像(即影响、分析、补充或者改变由其它摄像平台生成的图像)的流程图。例如,在图20中,一旦主拍摄单元被置于预览模式下(如图19所示),则场景分析拍摄单元分析场景(块1200)并且图像处理器50利用通过场景分析拍摄单元获得的场景分析数据来设置主拍摄单元参数(块1202)。这样的场景分析数据可以包括而不限于曝光数据、动态范围数据、景深数据、颜色平衡、对包括面部、草地、日落、雪等场景的不同方面的识别,并且拍摄单元参数可以包括而不局限于光圈值、曝光时间、聚焦位置、白平衡、ISO设置等。然后通过主拍摄单元拍摄预览图像,并将其显示在显示器70上(块1204)。然后,场景分析拍摄单元继续分析场景(块1206),并且如果场景状态没有改变(块1208为否),则处理返回到块1204,并且由主拍摄单元再次拍摄预览图像并将其显示在显示器70上(在不改变拍摄参数的情况下)。如果场景状态已改变(块1208为是),则处理返回到块1202,并且图像处理器50利用由场景分析拍摄单元获得的场景分析数据来重新设置主拍摄单元参数,并且如前所述重复随后的处理。
在图21中,主拍摄单元参数仅在场景状态的变化超过阈值x时才改变。因此,在使用利用阈值的预览模式时,场景分析拍摄单元拍摄图像并分析场景(块1300)。然后,图像处理器50利用由场景分析拍摄单元获得的场景分析数据来设置主拍摄单元参数(块1302)。然后,通过主拍摄单元拍摄预览图像,并将其显示在显示器70上(块1304)。然后,从场景分析拍摄单元拍摄另一图像(块1306)。如果该后一图像的场景状态并未改变等于x的阈值(块1308为否),即场景状态被认为在图像之间是稳定的,则处理返回块到1304,并且由主拍摄单元拍摄另一预览图像,并将其显示在显示器70上(在不改变拍摄参数的情况下)。然后,从场景分析拍摄单元拍摄另一图像(块1306)。或者,当场景状态变化大于阈值x并且状况被认为是不稳定的时(块1308为是),则处理返回到块1302并且图像处理器50利用由场景分析拍摄单元获得的场景分析数据来重新设置主拍摄单元参数。然后如前所述重复处理。
在图22中,通过考虑拍摄单元的相对变焦位置和利用来自由两个拍摄单元拍摄的图像的场景信息来增强对阈值场景状态的考虑。在利用该增强的预览模式时,相对于主拍摄单元的变焦位置来设置场景分析拍摄单元的变焦位置(块1400)。然后,场景分析拍摄单元拍摄图像(块1402),并且图像处理器50利用由场景分析拍摄单元获得的场景分析数据来设置主拍摄单元参数(块1404)。然后,通过主拍摄单元拍摄预览图像(块1406),并利用拍摄到的预览图像和场景分析数据来分析场景(块1408)。然后,图像处理器50利用先前的场景分析的结果(即通过分析来自两个拍摄单元的图像而获得的结果)来设置主拍摄单元参数(块1410)。接着,通过主拍摄单元拍摄预览图像并将其显示在显示器70上(块1412),并且从场景分析拍摄单元拍摄另一图像(块1414)。然后,通过利用拍摄到的预览图像数据和场景分析数据来分析场景(块1416)。如果场景状态并未改变与x相等的阈值(块1418为否),即场景状态被认为是稳定的,则处理返回到块1412,并由主拍摄单元和场景分析拍摄单元分别拍摄另一预览图像和场景分析图像(块1412和1414),并且继续进行前述处理。或者,在场景状态变化大于阈值(块1400为是)并且状况被认为不稳定时,处理返回到块1410,并且图像处理器50利用(在块1416中由场景分析拍摄单元获得的)新的场景分析数据的结果重新设置主拍摄单元参数,并且重复处理。
在前面图19-22所示的操作期间,除非按下了快门按钮42a或变焦按钮42c,否则如图所示继续进行预览处理。如图23所示,如果按下了变焦按钮42c(块1500),并且如果要求的变焦位置没有位于主拍摄单元的变焦范围内(块1502为是),则拍摄单元的功能反转,即将当前场景分析和主拍摄单元分别重新设置为主拍摄单元和场景分析拍摄单元。然后,如图20-23所示,主拍摄单元的变焦位置被设置为选择的变焦位置(块1506)并且处理返回到预览模式。然而,如果按下了变焦按钮42c(块1500为是),并且如果要求的变焦位置位于主拍摄单元的变焦范围内(块1502为否),则各拍摄单元的功能和之前保持相同,并且主拍摄单元的变焦位置被设置为选择的变焦位置(块1506),并且处理返回到预览模式。
图24-26示出表示具体地在拍摄处理期间使用或分析来自双(或更多)镜头照相机系统的一个摄像平台的图像以修改由另一摄像平台生成的图像(即影响、分析、补充或者改变由其它摄像平台生成的图像)的流程图。参考图24,根据第一拍摄实施例,为了进入拍摄模式将快门按钮42a按下半程(S1)(块1600),否则处理返回到预览模式。在拍摄模式中,从主拍摄单元拍摄预览图像(块1602)。接着,利用拍摄到的预览图像分析场景(块1604)。当分析完成时(块1606为是),图像处理器50利用场景分析的结果来设置主拍摄单元参数(块1608)。然后,使用所设置的参数,从主拍摄单元拍摄并显示预览图像(块1610)。当全按下快门按钮42a(S2)以便开始摄像时(1612为是),使用所设置的参数从主拍摄单元拍摄主图像(块1614),并且处理返回到预览模式。如果没有全按下快门按钮42a(块1612为否),则照相机查看是否设置了聚焦和曝光锁定(块1616)。如果是(块1616为是),则处理返回到块1610并且从主拍摄单元拍摄并显示另一预览图像,再次检查快门按钮42a的状态(块1612),并且如前所述继续进行处理。如果没有设置聚焦或曝光锁定(块1616为否),则处理返回到块1602,并且从主拍摄单元拍摄预览图像,并利用拍摄到的预览图像来分析场景(块1604)。然后,如前所述继续进行处理。
参考图25,根据第二拍摄实施例,为了进入拍摄模式将快门按钮42a按下半程(S1)(块1700)。然后,从主拍摄单元拍摄预览图像(块1702)。接着,通过场景分析拍摄单元拍摄图像(块1704),并且利用拍摄到的预览图像和拍摄到的场景分析图像这两者来分析场景(块1706)。接着,图像处理器50利用组合的场景分析的结果来设置主拍摄单元参数(块1708)。然后,使用所设置的参数,从主拍摄单元拍摄并显示预览图像(块1710)。接着,如之前图24所示,当全按下快门按钮42a(S2)(块1712为是)时,使用所设置的参数从主拍摄单元拍摄主图像(块1714),并且处理返回到预览模式。如果没有全按下快门按钮42a,则照相机查看是否设置了聚焦和曝光锁定(块1716)。如果是,则处理返回到块1710并且从主拍摄单元拍摄并显示另一预览图像(块1710),检查快门按钮42a的状态(块1712),并且如前所述继续进行处理。如果没有设置聚焦或曝光锁(块1716为否),则处理返回到块1702,并且从主拍摄单元拍摄预览图像(块1702),并利用拍摄到的预览图像来分析场景(块1704)。然后,如前所述继续进行处理。
参考图26,根据第三拍摄实施例,为了进入拍摄模式将快门按钮42a按下半程(S1)(块1800)。然后,从主拍摄单元拍摄预览图像(块1802)并从场景分析拍摄单元拍摄图像(块1804)。接着,利用拍摄到的预览图像和拍摄到的场景分析图像这两者来分析场景(块1806),并且图像处理器50利用组合的场景分析的结果来设置主拍摄单元参数(块1808)。接着,将场景分析拍摄单元指定为副拍摄单元(块1810),并且图像处理器50利用组合的场景分析的结果来设置副拍摄单元参数(块1812)。接着,当全按下快门按钮42a(S2)(块1814为是)时,使用所设置的参数从主拍摄单元拍摄主图像(块1816),并且从现在被指定为副拍摄单元的场景分析拍摄单元拍摄补充图像(块1818)。然后,图像处理器50从主图像和补充图像生成增强图像(块1820),并且处理返回到预览模式。如果没有全按下快门按钮42a(块1814),则处理返回到块1802并且通过再次从主拍摄单元和场景分析拍摄单元拍摄图像来重新开始处理(块1802和1804)。
关于图26考虑不同类型的补充或修改。在第一类型的补充或修改中,并且如关于图像14所示的那样,在一个聚焦位置从主拍摄单元拍摄图像,并且在另一聚焦位置从场景分析拍摄单元(副摄像单元)拍摄另一图像。然后,将两个图像合成为具有加宽的景深的修改后的图像。优点是这可以在无需必须缩小主镜头的光圈的情况下完成以获得更大的景深,该优点对于优先大光圈的低亮度拍摄特别有用。
在另一类型的补充或修改中,图像处理器50能够检查图像的动态范围。当动态范围超过预定阈值时,使用场景分析拍摄单元来生成具有与主图像的动态范围不同的动态范围的副图像。例如,可以以普通曝光拍摄主图像,而可以以更极端的曝光(即曝光不足或过曝光)来拍摄副图像。然后,如果例如在主曝光中对高亮过补光,则可以使副曝光曝光不足,以拍摄高亮区中的细节。可选地,如果阴影在主曝光中被加深,则可以使副曝光过曝光,以拍摄阴影中的细节。然后,通过将主图像的部分替换为副图像的部分,来创建具有加宽的动态范围的修改后的图像。
应该理解,由主拍摄单元和副拍摄单元拍摄的图像可以是静止图像或视频图像,并且在视频图像情况下可以是一系列图像。在这两种情况的任一个下,可以根据所述的特定形式的补充来修改静止图像或构成视频信号的一系列图像。例如,包含拍摄单元的电子照相机可以生成视频图像信号,并且使用副输出图像来修改至少例如构成视频图像信号的一系列图像的景深和/或动态范围。
可以更改图14所示的流程图以获得具体地对动态范围进行增强的主图像。例如,参考图14,当按下了快门按钮42a时,使用被设置到主曝光级的第一(或第二)摄像平台来拍摄主静止图像(与块510或530类似)。然后,(与块512或532类似)使用被设置到第二曝光级的第二(或第一图像)拍摄平台来拍摄副静止图像。然后,(与块514或534类似)使用副静止图像来增强主图像的动态范围,例如,其中将曝光不足以拍摄高亮下的细节的副曝光与主图像相结合,以获得扩展的动态范围的主图像。
如在通过引用包含于此的共同转让的共同待决的美国专利申请序列号11/460,364(其以John Border和Efrain Morales的名义于2006年7月27日提交,发明名称为“生成扩展的动态范围数字图像(Producing anExtended Dynamic Range Digital Image)”)中所述的那样,在用于生成经修改的图像的优选方法中,使用按比例缩放来创建通过考虑主图像和副图像二者的像素值来确定像素值的经修改的图像。应该注意,当使用闪光灯时(其中常常产生过曝光状况),具有两个曝光级来使得能够校正动态范围是特别重要的。因此,拍摄平台中的一个拍摄平台的曝光时间将被设置为非常短的曝光,或者曝光的定时将被偏移为恰在闪光之前或恰在闪光之后。
可以与具有不同分辨率的图像对相结合地应用补充处理。例如,在通过引用包含于此的共同转让的共同待决的美国专利申请序列号11/461,574(其以John Border,Scott Cahall和John Griffith的名义于2006年8月1日提交,发明名称为“生成具有不同分辨率部分的数字图像(Producing Digital Image with Different Resolution Portions)”)中,通过两个拍摄平台来拍摄场景的第一广角数字图像和基本相同的场景的部分的第二远摄数字图像。然后,通过将第一广角数字图像的部分和远摄数字图像的部分进行组合来形成合成图像,以生成在数字变焦期间具有提高的分辨率的数字图像。更具体地,合成图像的数字变焦产生在整个变焦范围内具有高分辨率且具有改善的图像质量的变焦图像。
在又一实施例中,设置主拍摄平台和副拍摄平台以用于不同的曝光时间,从而使得不同程度的噪声和运动模糊存在于各自的图像中。例如:设置主拍摄平台以用于相对长的曝光从而使得图像中的数字噪声低,但是或者来自照相机的移动或者来自场景中的被摄体的移动的任意移动均导致运动模糊。同时,设置副拍摄平台以用于相对快的曝光从而使得图像中的数字噪声较高,而运动模糊较少。然后,将主图像和副图像彼此进行比较,以识别运动模糊。增大副图像的增益,因此副图像中的平均像素值与主图像的平均像素值相匹配。然后,通过将主图像的部分替换为副图像的部分来创建经修改的图像。实际上,主图像的部分(具有较低噪声但是具有一定运动模糊的区域)被替换为副图像的相应部分(具有较高噪声但是具有很少或没有运动模糊的区域),以获得具有相对低的噪声和良好的锐度的经修改的图像。
已经特别参考本发明的特定优选实施例详细说明了本发明,然而应该理解,各种修改和变形在本发明的精神和范围内可以实现。
部件列表
1      第一摄像平台
2      第二摄像平台
3      第一变焦镜头
4      第二变焦镜头
5a     变焦和聚焦电动机
5b     变焦和聚焦电动机
10A    数字照相机
12     第一图像传感器
12e    第一传感器输出
13     时钟驱动器
14     第二图像传感器
14e    第二图像输出
15     时钟驱动器
16     第三图像传感器
17     时钟驱动器
22     第一模拟信号处理器(ASP1)&A/D转换器
24     第二模拟信号处理器(ASP2)&A/D转换器
25     第三模拟信号处理器(ASP2)&A/D转换器
34    第一数字多路转接器控制元件
36    第二数字多路转接器控制元件
37    第三数字多路转接器控制元件
38    DRAM缓冲存储器
40    控制处理器和定时发生器
42    用户控制器
42a   快门按钮
42c   变焦按钮
42d   多位置选择器
46    自动曝光检测器
48    电子闪光灯
50    图像处理器
52    存储卡接口
54    可移除存储卡
56    RAM存储器
57    GPS单元
58    固件存储器
59    电子罗盘
62    主机接口
64    互连接
66    主机PC
70    彩色LCD图像显示器
71    第一摄像平台
73    第一固定焦距镜头
74    第三摄像平台
75    第三(变焦)镜头
90    蜂窝处理器
92    蜂窝调制解调器
94    天线
100   变焦镜头设置块
101   输入变焦位置块
102   变焦位置检查块
104    拍摄平台设置块
106    第二平台自动聚焦图像拍摄块
108    第一平台聚焦块
110    第一平台预览拍摄和显示块
112    变焦按钮检查块
114    拍摄按钮检查块
116    第一平台拍摄块
118    第一平台视频拍摄块
119    聚焦质量检查块
120    重新聚焦检查块
124    拍摄平台设置块
126    第一平台自动聚焦图像拍摄块
128    第二平台聚焦块
130    第二平台预览拍摄和显示块
132    变焦按钮检查块
134    拍摄按钮检查块
136    第二平台拍摄块
138    第二平台视频拍摄块
139    聚焦质量检查块
140    重新聚焦检查块
151    被摄体
152    第一镜头
153    第二镜头
154    第一路径
155    第二路径
156    焦平面
157    第一图像
158    第二图像
170    第一基准位置
171    第一偏移位置
180    第二基准位置
181    第二偏移位置
190    第一传感器阵列
191    第二传感器阵列
197    低频带通滤波器加载步骤
198    比较步骤
199    高频带通滤波器加载步骤
250    变焦位置选择块
252    摄像平台确定块
254    非拍摄平台变焦块
256    超焦距设置块
258    开始自动调焦序列块
260    拍摄自动聚焦图像块
262    剪切和上采样块
264    图像相关联块
266    最佳聚焦确定块
268    聚焦镜头移动块
270    摄像块
272    “爬坡”自动调焦块
274    拍摄按钮启动块
276    拍摄视频块
278    连续“爬坡”聚焦检查块
280    聚焦检查块
282    最佳聚焦确定块
284    聚焦镜头移动块
286    拍摄平台重新聚焦块
300    图像组拍摄块
302    剪切和上采样块
304    关联图像块
306    自动调焦测距器校准曲线生成块
350    自动聚焦图像的代表
352    变焦和剪切后的自动聚焦图像的代表
400    图像组拍摄块
402    位置与距离比较块
404    自动调焦“爬坡”校准曲线生成块
440    较低焦距拍摄块
442    剪切和上采样较低焦距图像块
444    关联图像块
446    确定聚焦校正块
448    较长焦距拍摄块
460    第一平台“爬坡”第一摄像块
462    第一平台预览图像块
464    重新聚焦第一平台块
466    第二平台“爬坡”第二摄像块
468    第二平台另一摄像块
470    第二平台聚焦状态比较块
472    聚焦改变检查块
480    确定像素偏移的关联图像块
482    使用测距器校准曲线的像素偏移转换块
484    范围映射产生块
500    默认变焦位置块
502    变焦位置检查块
504    拍摄平台设置块
506    第二平台预览拍摄、显示和自动调焦块
508    变焦按钮检查块
510    主聚焦处的第一平台主摄像块
512    副聚焦处的第二平台副摄像块
514    使用副图像的主图像增强块
524    拍摄平台设置块
526    第一平台预览拍摄、显示和自动调焦块
528    变焦按钮检查块
530    主聚焦处的第二平台主图像拍摄块
532    副聚焦处的第一平台副图像拍摄块
534    使用副图像的主图像增强块
600    移动电话
602    麦克风
604    扬声器
606    键盘
608    (LCD)显示器
610    蜂窝摄像组件
612    第一固定焦距镜头
614    第一图像传感器
616    第二固定焦距镜头
618    第二图像传感器
620    基板
622    IR截止滤波器
624    电子部件
626    挠性连接器
628    自动调焦子系统
630    z尺寸
750    照相机GPS位置块
752    照相机指向方向块
754    距离偏移块
756    角度偏移块
758    场景GPS位置块
760    GPS位置存储块
1100   通电块
1102   默认设置块
1104   拍摄和显示块
1106   预览选择块
1108   快门检查块
1110   显示时间检查块
1112   设置默认拍摄单元块
1114   设置场景分析拍摄单元块
1124   设置所选择的主拍摄单元块
1200   场景分析块
1202   设置拍摄参数块
1204   拍摄和显示预览图像块
1206    场景分析块
1208    场景状态检查块
1300    拍摄场景分析图像块
1302    设置拍摄参数块
1304    拍摄和显示预览图像块
1306    场景分析块
1308    场景状态阈值检查块
1400    变焦位置设置块
1402    拍摄场景分析图像块
1404    设置拍摄参数块
1406    拍摄预览图像块
1408    使用预览和场景分析数据的场景分析块
1410    设置主拍摄参数块
1412    拍摄和显示预览图像块
1414    拍摄场景分析图像块
1416    使用预览和场景分析数据的场景分析块
1418    场景状态阈值检查块
1500    变焦按钮检查块
1502    变焦位置检查块
1504    反转拍摄单元分配块
1506    设置主拍摄单元变焦位置块
1600    快门按钮检查块
1602    拍摄预览图像块
1604    使用预览图像的场景分析块
1606    分析完成检查块
1608    设置主拍摄参数块
1610    拍摄和显示预览图像块
1612    快门按钮检查块
1614    拍摄主图像块
1616    聚焦/曝光锁定检查块
1700    快门按钮检查块
1702    拍摄预览图像块
1704    拍摄场景分析图像块
1706    使用预览和场景图像的场景分析块
1708    设置主拍摄参数块
1710    拍摄和显示预览图像块
1712    快门按钮检查块
1714    拍摄主图像块
1716    聚焦/曝光锁定检查块
1800    快门按钮检查块
1802    拍摄预览图像块
1804    拍摄场景分析图像块
1806    使用预览和场景图像的场景分析块
1808    设置主拍摄参数块
1810    设置场景分析拍摄单元作为副拍摄单元块
1812    设置副拍摄参数块
1814    快门按钮检查块
1816    拍摄主图像块
1818    拍摄补充图像块
1820    生成增强图像块

Claims (22)

1.一种电子照相机,用于从所拍摄的图像信号产生场景的输出图像,所述电子照相机包括:
第一摄像平台,其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头和用于响应于第一聚焦检测信号而调节所述第一镜头的聚焦的第一镜头聚焦调节器;
第二摄像平台,其包括用于生成第二传感器输出的第二图像传感器、用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头和用于响应于第二聚焦检测信号而调节所述第二镜头的聚焦的第二镜头聚焦调节器;以及
处理平台,用于或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的摄像平台的所述第一聚焦检测信号,或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自第一摄像平台的传感器输出来生成用于所选择的摄像平台的所述第二聚焦检测信号,其中所述聚焦检测信号被应用于所选择的摄像平台的镜头聚焦调节器,以便调节图像的聚焦,从而提供所拍摄的图像信号的传感器输出。
2.根据权利要求1所述的电子照相机,还包括用户控制器,所述用户控制器允许用户选择焦距,以及其中所述处理平台对所述用户控制器作出响应,以用于选择所述传感器输出中的一个用以提供所述聚焦检测信号并选择所述传感器输出中的另一个用以提供所拍摄的图像信号。
3.根据权利要求1所述的电子照相机,其中所述聚焦检测信号是由所述摄像平台中的一个使用“爬坡”对比度比较方法而获得的。
4.根据权利要求1所述的电子照相机,其中所述聚焦检测信号是由所述摄像平台中的一个使用连续的“整体”自动调焦方法而获得的。
5.根据权利要求1所述的电子照相机,其中所述镜头聚焦调节器响应于聚焦改变检测信号而连续地重新调节所述镜头的聚焦,以及其中来自不提供所拍摄的图像信号的摄像平台的传感器输出被用于检测所述场景的图像的聚焦改变并为提供所拍摄的图像信号的摄像平台生成聚焦改变检测信号,从而所述聚焦改变检测信号被应用于提供所拍摄的图像信号的摄像平台镜头聚焦调节器以便连续地重新调节图像的聚焦。
6.根据权利要求1所述的电子照相机,其中所述处理平台还使用来自测距器配置中的所述第一和第二摄像平台两者的传感器输出来检测所述场景的图像的聚焦并生成用于所选择的摄像平台的聚焦检测信号。
7.根据权利要求1所述的电子照相机,其中所拍摄的图像信号为静止图像信号。
8.根据权利要求1所述的电子照相机,其中所拍摄的图像信号为视频图像信号。
9.根据权利要求1所述的电子照相机,其中所述第一和第二镜头中的至少一个为变焦镜头。
10.一种视频摄像机,用于从所拍摄的图像信号产生场景的输出视频图像,所述视频摄像机包括:
第一摄像平台,其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头以及用于响应于聚焦改变检测信号而连续地重新调节所述第一镜头的聚焦的第一镜头聚焦调节器;
第二摄像平台,其包括用于生成第二传感器输出的第二图像传感器以及用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头;以及
处理平台,用于使用来自第一摄像平台的传感器输出作为所拍摄的图像信号并生成所述场景的所述输出视频图像,所述处理平台使用来自所述第二摄像平台的传感器输出来检测所述场景的所述视频图像的聚焦改变,并产生用于第一摄像平台的聚焦改变检测信号,其中所述聚焦改变检测信号被应用于第一摄像平台的镜头聚焦调节器,以便连续地重新调节所述第一图像的聚焦,从而提供所拍摄的图像信号的输出。
11.根据权利要求10所述的视频摄像机,其中所述处理平台还使用来自所述第一和第二摄像平台中的一个或它们两个的传感器输出来在所述第一和第二图像传感器上初始地聚焦所述第一和第二图像。
12.根据权利要求11所述的视频摄像机,其中所述处理平台对来自所述第一和第二摄像平台的传感器输出采用“爬坡”对比度比较技术,以便初始地聚焦所述第一和第二图像。
13.根据权利要求10所述的视频摄像机,其中所述处理平台对来自所述第二摄像平台的传感器输出采用“爬坡”对比度比较技术,以检测所述场景的视频图像的聚焦改变并生成用于第一摄像平台的聚焦改变检测信号,以便重新聚焦第一图像。
14.根据权利要求10所述的视频摄像机,其中所述处理平台对来自第二摄像平台的传感器输出采用连续的“整体方式”自动调焦技术,以检测所述场景的视频图像的聚焦改变并生成用于第一摄像平台的聚焦改变检测信号,以便重新聚焦第一图像。
15.根据权利要求10所述的视频摄像机,其中所述处理平台还使用来自测距器配置中的所述第一和第二摄像平台这两者的传感器输出,以检测所述场景的视频图像的聚焦改变并生成用于第一摄像平台的聚焦改变检测信号,以便重新聚焦第一图像。
16.根据权利要求10所述的视频摄像机,其中所述第二摄像平台包括第二镜头聚焦调节器,所述第二镜头聚焦调节器用于响应于所述聚焦改变检测信号而连续地重新调节所述第二镜头的聚焦,以及其中所述处理平台或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自第二摄像平台的传感器输出来生成用于所选择的摄像平台的所述聚焦改变检测信号,或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自第一摄像平台的传感器输出来生成用于所选择的摄像平台的所述聚焦改变检测信号,由此所述聚焦改变检测信号被应用于所选择的摄像平台的镜头聚焦调节器,以便重新调节图像的聚焦,从而提供所拍摄的图像信号。
17.根据权利要求10所述的视频摄像机,其中所述第一和第二镜头中的至少一个为变焦镜头。
18.一种视频摄像机,用于从所拍摄的图像信号产生场景的输出视频图像,所述视频摄像机包括:
第一摄像平台,其包括用于生成第一传感器输出的第一图像传感器、用于在所述第一图像传感器上形成所述场景的第一图像的第一镜头以及用于响应于聚焦改变检测信号而连续地重新调节所述第一镜头的聚焦的第一镜头聚焦调节器;
第二摄像平台,其包括用于生成第二传感器输出的第二图像传感器以及用于在所述第二图像传感器上形成所述场景的第二图像的第二镜头;以及
处理平台,用于使用来自第一摄像平台的传感器输出作为所拍摄的图像信号并生成所述场景的所述输出视频图像,所述处理平台使用来自测距器配置中的所述第一和第二摄像平台的传感器输出来检测所述场景的所述视频图像的聚焦改变,并产生所述聚焦改变检测信号,从而所述聚焦改变检测信号被应用于第一摄像平台的镜头聚焦调节器,以便连续地重新调节所述第一图像的聚焦,从而提供所拍摄的图像信号。
19.根据权利要求18所述的视频摄像机,其中所述处理平台使用来自第一摄像平台的传感器输出来初始地聚焦第一图像。
20.根据权利要求19所述的视频摄像机,其中所述处理平台对来自所述摄像平台中的一个或它们两个的传感器输出采用“爬坡”对比度比较技术,以初始地聚焦第一图像。
21.根据权利要求18所述的视频摄像机,其中所述第二摄像平台包括第二镜头聚焦调节器,所述第二镜头聚焦调节器用于响应于所述聚焦改变检测信号而连续地重新调节所述第二镜头的聚焦,以及其中所述处理平台或者(a)选择来自第一摄像平台的传感器输出作为所拍摄的图像信号并使用来自所述测距器配置中的第一和第二摄像平台的传感器输出来生成用于第一摄像平台的聚焦改变检测信号,或者(b)选择来自第二摄像平台的传感器输出作为所拍摄的图像信号并使用来自所述测距器配置中的第一和第二摄像平台的传感器输出来生成用于第二摄像平台的聚焦改变检测信号,由此所述聚焦改变检测信号被应用于所选择的摄像平台的镜头聚焦调节器,以便重新调节图像的聚焦,从而提供所拍摄的图像信号。
22.根据权利要求18所述的视频摄像机,其中所述第一和第二镜头中的至少一个为变焦镜头。
CN2008800077792A 2007-03-09 2008-02-06 提供改进的聚焦能力的多镜头照相机 Expired - Fee Related CN101632296B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/684,065 US7676146B2 (en) 2007-03-09 2007-03-09 Camera using multiple lenses and image sensors to provide improved focusing capability
US11/684,065 2007-03-09
PCT/US2008/001572 WO2008112051A1 (en) 2007-03-09 2008-02-06 Multiple lens camera providing improved focusing capability

Publications (2)

Publication Number Publication Date
CN101632296A true CN101632296A (zh) 2010-01-20
CN101632296B CN101632296B (zh) 2011-10-05

Family

ID=39608201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800077792A Expired - Fee Related CN101632296B (zh) 2007-03-09 2008-02-06 提供改进的聚焦能力的多镜头照相机

Country Status (5)

Country Link
US (1) US7676146B2 (zh)
EP (1) EP2123024A1 (zh)
JP (1) JP2010521005A (zh)
CN (1) CN101632296B (zh)
WO (1) WO2008112051A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821240A (zh) * 2011-06-10 2012-12-12 宏达国际电子股份有限公司 以物件检测技术为基础的影像撷取方法及系统
CN103037075A (zh) * 2011-10-07 2013-04-10 Lg电子株式会社 移动终端及其离焦图像生成方法
CN103873849A (zh) * 2012-12-10 2014-06-18 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
CN104079817A (zh) * 2014-03-19 2014-10-01 中国科学院合肥物质科学研究院 一种多相机协调控制与快速精确目标识别系统
CN104253939A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 调整对焦位置的方法及电子装置
CN104284080A (zh) * 2013-07-09 2015-01-14 宏达国际电子股份有限公司 影像撷取装置以及景深信息的获取方法
CN104284078A (zh) * 2013-07-09 2015-01-14 宏达国际电子股份有限公司 手持式电子装置、图像撷取装置以及其对焦方法
WO2015081555A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
WO2015081556A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
CN104717419A (zh) * 2013-12-17 2015-06-17 联咏科技股份有限公司 自动对焦影像捕获设备与影像撷取方法
TWI502980B (zh) * 2011-06-10 2015-10-01 Htc Corp 以物件偵測技術為基礎之影像擷取方法及系統,及其電腦程式產品
US9179070B2 (en) 2013-06-27 2015-11-03 Altek Semiconductor Corp. Method for adjusting focus position and electronic apparatus
CN105044879A (zh) * 2014-04-30 2015-11-11 聚晶半导体股份有限公司 使用多镜头的自动对焦系统及其方法
CN106199902A (zh) * 2015-04-29 2016-12-07 冠捷投资有限公司 双镜头对焦方法及装置
WO2016192627A1 (zh) * 2015-06-05 2016-12-08 深圳市星苑科技有限公司 一种变焦镜头成像的装置及方法
CN107690649A (zh) * 2015-06-23 2018-02-13 三星电子株式会社 数字拍摄装置及其操作方法
CN108270967A (zh) * 2016-12-30 2018-07-10 三星电子株式会社 自动对焦方法和用于执行该方法的电子设备
CN108541110A (zh) * 2018-05-29 2018-09-14 朱培恒 一种自动调节式大功率补光装置及其补光方法
TWI643017B (zh) * 2016-01-20 2018-12-01 群邁通訊股份有限公司 多鏡頭系統、其工作方法及可攜式電子裝置
CN108989647A (zh) * 2013-06-13 2018-12-11 核心光电有限公司 双孔径变焦数字摄影机
CN109426060A (zh) * 2017-08-21 2019-03-05 深圳光峰科技股份有限公司 投影仪自动调焦方法及投影仪
CN109597263A (zh) * 2017-09-30 2019-04-09 杭州海康威视数字技术股份有限公司 一种成像设备和一种镜头调焦方法
CN113473018A (zh) * 2021-07-01 2021-10-01 百果园技术(新加坡)有限公司 一种视频拍摄方法、装置、拍摄终端和存储介质
CN114371550A (zh) * 2018-03-14 2022-04-19 毫微光电子影像股份有限公司 使显微镜自动聚焦的系统和方法

Families Citing this family (237)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
WO2011017393A1 (en) 2009-08-04 2011-02-10 Eyecue Vision Technologies Ltd. System and method for object extraction
US8611587B2 (en) * 2006-03-27 2013-12-17 Eyecue Vision Technologies Ltd. Device, system and method for determining compliance with an instruction by a figure in an image
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP4881199B2 (ja) * 2007-03-23 2012-02-22 富士フイルム株式会社 画像評価装置および方法並びにプログラム
JP4931668B2 (ja) * 2007-03-29 2012-05-16 富士フイルム株式会社 複眼撮像装置
US8179432B2 (en) * 2007-04-30 2012-05-15 General Electric Company Predictive autofocusing
KR20090052677A (ko) * 2007-11-21 2009-05-26 삼성디지털이미징 주식회사 포커스 조정 장치 및 방법
US8769437B2 (en) * 2007-12-12 2014-07-01 Nokia Corporation Method, apparatus and computer program product for displaying virtual media items in a visual media
US9037583B2 (en) * 2008-02-29 2015-05-19 Ratnakar Nitesh Geo tagging and automatic generation of metadata for photos and videos
DE102008001451A1 (de) * 2008-04-29 2009-11-05 Robert Bosch Gmbh Kamera und Verfahren zum Steuern einer Kamera
US10831093B1 (en) * 2008-05-19 2020-11-10 Spatial Cam Llc Focus control for a plurality of cameras in a smartphone
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8164682B2 (en) * 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
TW201026034A (en) * 2008-12-31 2010-07-01 Altek Corp Automatic focusing method in high-noise environment and the device thereof
US20100271533A1 (en) * 2009-04-28 2010-10-28 Crispin Porter & Bogusky Image Recordation Device with a Plurality of Lenses
US9300834B2 (en) 2009-05-20 2016-03-29 Dacuda Ag Image processing for handheld scanner
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8934008B2 (en) * 2009-12-07 2015-01-13 Cognitech, Inc. System and method for determining geo-location(s) in images
KR101616422B1 (ko) * 2009-12-23 2016-04-28 삼성전자주식회사 고속 af를 지원하는 디지털영상처리 장치 및 방법
JP2011135490A (ja) * 2009-12-25 2011-07-07 Seiko Epson Corp デジタルカメラおよびその製造方法
CN102131043B (zh) * 2010-01-19 2013-11-06 鸿富锦精密工业(深圳)有限公司 相机模组
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP4987129B2 (ja) * 2010-04-23 2012-07-25 キヤノン株式会社 画像処理装置及びその制御方法
JP5603641B2 (ja) 2010-04-23 2014-10-08 キヤノン株式会社 撮像装置、画像処理装置、制御方法及びプログラム
US8305485B2 (en) 2010-04-30 2012-11-06 Eastman Kodak Company Digital camera with coded aperture rangefinder
US8928793B2 (en) 2010-05-12 2015-01-06 Pelican Imaging Corporation Imager array interfaces
CN102281378A (zh) * 2010-06-10 2011-12-14 菱光科技股份有限公司 多镜头图像感测模块
KR101110725B1 (ko) * 2010-06-16 2012-02-27 엠텍비젼 주식회사 썸네일 이미지를 이용한 후보 이미지 제시 방법 및 이를 수행하는 이미지 신호 처리 장치와 촬상 장치
US8494301B2 (en) * 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images
US8582820B2 (en) 2010-09-24 2013-11-12 Apple Inc. Coded aperture camera with adaptive image processing
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US9661205B2 (en) 2011-02-28 2017-05-23 Custom Manufacturing & Engineering, Inc. Method and apparatus for imaging
US10215977B1 (en) 2011-03-30 2019-02-26 Designs For Vision, Inc. Magnification device and assembly
US10852566B1 (en) 2011-03-30 2020-12-01 Designs For Vision, Inc. Magnification device and assembly
US10061115B2 (en) * 2011-03-30 2018-08-28 Designs For Vision, Inc. Magnification device and assembly
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP2013013061A (ja) * 2011-05-27 2013-01-17 Sanyo Electric Co Ltd 撮像装置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP2014521117A (ja) 2011-06-28 2014-08-25 ペリカン イメージング コーポレイション アレイカメラで使用するための光学配列
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US20130076867A1 (en) * 2011-09-28 2013-03-28 Panasonic Corporation Imaging apparatus
EP2769537A4 (en) * 2011-10-18 2015-04-01 Hewlett Packard Development Co IMAGING DEVICE
JP5556823B2 (ja) * 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
US9639959B2 (en) * 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9826183B2 (en) 2012-03-30 2017-11-21 Nikon Corporation Image-capturing device and image sensor
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US8718459B2 (en) * 2012-06-01 2014-05-06 Blackberry Limited Method and digital camera having improved autofocus
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US9025859B2 (en) 2012-07-30 2015-05-05 Qualcomm Incorporated Inertial sensor aided instant autofocus
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US8937666B1 (en) * 2012-10-09 2015-01-20 Google Inc. User interface for providing feedback for handheld image capture
CN103795910B (zh) * 2012-10-30 2017-11-03 联想(北京)有限公司 一种采集图像的方法及装置
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
CN112911252B (zh) 2012-11-28 2023-07-04 核心光电有限公司 多孔径成像系统
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9554113B2 (en) 2013-03-21 2017-01-24 Mediatek Inc. Video frame processing method
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9473708B1 (en) * 2013-08-07 2016-10-18 Google Inc. Devices and methods for an imaging system with a dual camera architecture
EP3039617B1 (en) 2013-08-31 2020-05-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9325906B2 (en) 2013-10-18 2016-04-26 The Lightco Inc. Methods and apparatus relating to a thin camera device
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9736365B2 (en) * 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
GB2520319A (en) * 2013-11-18 2015-05-20 Nokia Corp Method, apparatus and computer program product for capturing images
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
EP3089101A1 (en) * 2013-12-03 2016-11-02 Dacuda AG User feedback for real-time checking and improving quality of scanned image
KR102126507B1 (ko) * 2013-12-09 2020-06-24 삼성전자주식회사 센서 데이터 스트림을 처리하는 단말기, 시스템 및 방법
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US10410321B2 (en) 2014-01-07 2019-09-10 MN Netherlands C.V. Dynamic updating of a composite image
US10708491B2 (en) 2014-01-07 2020-07-07 Ml Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
KR102129797B1 (ko) * 2014-01-13 2020-07-03 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
PL3005678T3 (pl) 2014-02-18 2021-06-14 Huawei Technologies Co., Ltd. Sposób uzyskiwania obrazu i układ wielokamerowy
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
TWI515471B (zh) * 2014-04-30 2016-01-01 聚晶半導體股份有限公司 使用多鏡頭的自動對焦系統及其方法
EP2942936B1 (en) * 2014-05-06 2017-12-20 Nokia Technologies OY Zoom input and camera selection
US10484561B2 (en) 2014-05-12 2019-11-19 Ml Netherlands C.V. Method and apparatus for scanning and printing a 3D object
CN103986877B (zh) * 2014-05-29 2017-09-26 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
JP6478568B2 (ja) 2014-11-10 2019-03-06 キヤノン株式会社 制御装置、撮像装置、撮像システム、レンズ装置、制御方法、プログラム、および、記憶媒体
JP6482247B2 (ja) * 2014-11-14 2019-03-13 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
WO2016100756A1 (en) 2014-12-17 2016-06-23 The Lightco Inc. Methods and apparatus for implementing and using camera devices
US9609234B1 (en) * 2014-12-24 2017-03-28 Vecna Technologies, Inc. Camera module and operating method
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN104580912B (zh) * 2015-01-19 2018-01-09 宇龙计算机通信科技(深圳)有限公司 一种拍摄方法、装置及终端
US10136061B2 (en) 2015-01-30 2018-11-20 Microsoft Technology Licensing, Llc Automatic processing of automatic image capture parameter adjustment
US9431442B2 (en) 2015-02-02 2016-08-30 Apple Inc. Overmolded reconstructed camera module
US11381747B2 (en) 2015-02-13 2022-07-05 Apple Inc. Dual camera magnet arrangement
US9781345B1 (en) 2015-02-13 2017-10-03 Apple Inc. Dual camera magnet arrangement
KR102160867B1 (ko) 2015-04-02 2020-09-29 코어포토닉스 리미티드 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
KR101866482B1 (ko) 2015-04-16 2018-06-11 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
US9967535B2 (en) * 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
CN107533208B (zh) 2015-05-28 2019-09-13 核心光电有限公司 用于双孔径数字照相机中的光学图像稳定和自动对焦的双向刚度
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US9703175B2 (en) 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
EP3152893B1 (en) * 2015-07-10 2020-04-08 SZ DJI Technology Co., Ltd. Dual lens system having a light splitter
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
KR102376700B1 (ko) * 2015-08-12 2022-03-22 삼성전자주식회사 비디오 컨텐츠 생성 방법 및 그 장치
KR102143309B1 (ko) * 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
CN106470309A (zh) * 2015-08-19 2017-03-01 中兴通讯股份有限公司 获取双摄像的焦点距离的方法和装置
TWI563843B (en) * 2015-08-21 2016-12-21 Everready Prec Ind Corp Imaging and lighting apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US9973669B2 (en) * 2015-08-28 2018-05-15 Apple Inc. Dual overmolded reconstructed camera module
EP3474070B1 (en) 2015-09-06 2020-06-24 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
US20170091905A1 (en) * 2015-09-24 2017-03-30 Dell Products L.P. Information Handling System Defocus Tracking Video
KR102412020B1 (ko) 2015-09-25 2022-06-22 삼성전자주식회사 이미지 센서의 파라미터 제어 방법
US10063783B2 (en) * 2015-09-30 2018-08-28 Apple Inc. Mobile zoom using multiple optical image stabilization cameras
US10382698B2 (en) 2015-09-30 2019-08-13 Apple Inc. Mobile zoom using multiple optical image stabilization cameras
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10097747B2 (en) 2015-10-21 2018-10-09 Qualcomm Incorporated Multiple camera autofocus synchronization
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
KR102536083B1 (ko) * 2015-12-24 2023-05-24 삼성전자주식회사 이미징 장치, 전자 장치 및 그의 이미지 획득 방법
CN108353118B (zh) 2015-12-29 2019-04-02 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN107219710B (zh) * 2016-03-21 2020-12-08 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
KR102063411B1 (ko) 2016-05-30 2020-01-07 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
US10701256B2 (en) * 2016-06-12 2020-06-30 Apple Inc. Switchover control techniques for dual-sensor camera system
WO2017221106A1 (en) * 2016-06-19 2017-12-28 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
TWI640199B (zh) * 2016-06-24 2018-11-01 聚晶半導體股份有限公司 影像擷取裝置及其攝影構圖的方法
KR102226315B1 (ko) 2016-07-07 2021-03-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
CN109691079B (zh) * 2016-09-16 2021-05-14 索尼半导体解决方案公司 成像装置和电子设备
CN110140078B (zh) 2016-12-28 2021-11-19 核心光电有限公司 具有延伸光折叠元件扫描范围的折叠相机结构
CN109417589B (zh) 2017-01-12 2021-10-22 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
KR20240066298A (ko) 2017-02-23 2024-05-14 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
US10911694B2 (en) * 2017-03-15 2021-02-02 Gvbb Holdings S.A.R.L. System and method for creating metadata model to improve multi-camera production
EP3596543B1 (en) 2017-03-15 2024-04-10 Corephotonics Ltd. Camera with panoramic scanning range
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
KR102204596B1 (ko) 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
CN107343190A (zh) 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 白平衡调节方法、装置和终端设备
KR101967992B1 (ko) * 2017-08-11 2019-04-11 주식회사 인피니트헬스케어 디지털 병리 시스템의 영상 압축 방법
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN110140076B (zh) 2017-11-23 2021-05-21 核心光电有限公司 紧凑型折叠式摄影机结构
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US10976567B2 (en) 2018-02-05 2021-04-13 Corephotonics Ltd. Reduced height penalty for folded camera
WO2019155289A1 (en) 2018-02-12 2019-08-15 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP4109174A1 (en) 2018-04-23 2022-12-28 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
US10146041B1 (en) 2018-05-01 2018-12-04 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscope focus
US11019269B2 (en) * 2018-07-10 2021-05-25 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium
EP3652728B1 (en) 2018-08-04 2023-06-07 Corephotonics Ltd. Switchable continuous display information system above camera
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
US10892287B2 (en) 2019-01-18 2021-01-12 Cista System Corp. Image sensor with image receiver and automatic image switching
KR102268094B1 (ko) 2019-03-09 2021-06-22 코어포토닉스 리미티드 동적 입체 캘리브레이션을 위한 시스템 및 방법
KR102254947B1 (ko) 2019-07-31 2021-05-24 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11699220B2 (en) 2019-10-02 2023-07-11 Chemimage Corporation Fusion of molecular chemical imaging with RGB imaging
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11218632B2 (en) * 2019-11-01 2022-01-04 Qualcomm Incorporated Retractable panoramic camera module
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
US11431955B1 (en) * 2019-12-03 2022-08-30 Facebook Technologies, Llc Systems and methods for temporal anti-aliasing
WO2021116851A2 (en) 2019-12-09 2021-06-17 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US10944915B1 (en) * 2020-01-05 2021-03-09 Ningbo Sunny Opotech Co., Ltd. Multi-aperture imaging system and application thereof
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN114641805A (zh) 2020-02-22 2022-06-17 核心光电有限公司 用于微距摄影的分屏特征
US11109762B1 (en) 2020-04-21 2021-09-07 Designs For Vision, Inc. User wearable fluorescence enabled visualization system
US11547302B2 (en) 2020-04-21 2023-01-10 Designs For Vision, Inc. User wearable fluorescence enabled visualization system
US11693064B2 (en) 2020-04-26 2023-07-04 Corephotonics Ltd. Temperature control for Hall bar sensor correction
US10895735B1 (en) 2020-05-05 2021-01-19 Designs For Vision, Inc. Magnification devices with filtering and method for selection of said filters
CN117372249A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN113747052B (zh) * 2020-05-27 2023-05-12 深圳清华大学研究院 对焦跟踪系统与方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN117518313A (zh) 2020-05-30 2024-02-06 核心光电有限公司 用于获得超微距图像的系统
US11265462B2 (en) 2020-07-06 2022-03-01 Qualcomm Incorporated Automatic camera selection capturing intended subjects in an image
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
KR20230004887A (ko) 2020-07-15 2023-01-06 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
EP4038432A4 (en) 2020-08-12 2022-12-14 Corephotonics Ltd. OPTICAL IMAGE STABILIZATION IN A FOLDED SCANNING CAMERA
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
EP4204885A4 (en) 2021-06-08 2024-03-06 Corephotonics Ltd SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
EP4381726A1 (en) * 2021-08-02 2024-06-12 Google LLC Exposure control for image-capture

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6020111A (ja) 1983-07-14 1985-02-01 Fuji Electric Corp Res & Dev Ltd 距離測定装置
US5864360A (en) * 1993-08-26 1999-01-26 Canon Kabushiki Kaisha Multi-eye image pick-up apparatus with immediate image pick-up
US5668597A (en) 1994-12-30 1997-09-16 Eastman Kodak Company Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor
US5874994A (en) 1995-06-30 1999-02-23 Eastman Kodak Company Filter employing arithmetic operations for an electronic sychronized digital camera
US5926218A (en) * 1996-06-04 1999-07-20 Eastman Kodak Company Electronic camera with dual resolution sensors
US6642956B1 (en) * 1998-05-29 2003-11-04 Agilent Technologies, Inc. Digital image processor for a digital camera
US6441855B1 (en) 2000-05-09 2002-08-27 Eastman Kodak Company Focusing device
JP2003037757A (ja) * 2001-07-25 2003-02-07 Fuji Photo Film Co Ltd 画像撮像装置
JP3914060B2 (ja) 2002-02-08 2007-05-16 富士フイルム株式会社 合焦装置
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2005070077A (ja) * 2003-08-21 2005-03-17 Fuji Photo Film Co Ltd デジタルカメラ
EP1684503B1 (en) * 2005-01-25 2016-01-13 Canon Kabushiki Kaisha Camera and autofocus control method therefor
US7256944B2 (en) * 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7729603B2 (en) * 2005-02-28 2010-06-01 Siimpel Corporation Resolution adjustment for miniature camera
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI502980B (zh) * 2011-06-10 2015-10-01 Htc Corp 以物件偵測技術為基礎之影像擷取方法及系統,及其電腦程式產品
CN102821240A (zh) * 2011-06-10 2012-12-12 宏达国际电子股份有限公司 以物件检测技术为基础的影像撷取方法及系统
CN103037075A (zh) * 2011-10-07 2013-04-10 Lg电子株式会社 移动终端及其离焦图像生成方法
US8780258B2 (en) 2011-10-07 2014-07-15 Lg Electronics Inc. Mobile terminal and method for generating an out-of-focus image
CN103873849A (zh) * 2012-12-10 2014-06-18 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
CN103873849B (zh) * 2012-12-10 2017-10-24 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
CN108989647B (zh) * 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
CN108989647A (zh) * 2013-06-13 2018-12-11 核心光电有限公司 双孔径变焦数字摄影机
CN104253939A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 调整对焦位置的方法及电子装置
US9179070B2 (en) 2013-06-27 2015-11-03 Altek Semiconductor Corp. Method for adjusting focus position and electronic apparatus
CN104284080A (zh) * 2013-07-09 2015-01-14 宏达国际电子股份有限公司 影像撷取装置以及景深信息的获取方法
CN104284078A (zh) * 2013-07-09 2015-01-14 宏达国际电子股份有限公司 手持式电子装置、图像撷取装置以及其对焦方法
CN105339841A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
US9736391B2 (en) 2013-12-06 2017-08-15 Huawei Device Co., Ltd. Photographing method of dual-lens device, and dual-lens device
WO2015081555A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
WO2015081556A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
US9973672B2 (en) 2013-12-06 2018-05-15 Huawei Device (Dongguan) Co., Ltd. Photographing for dual-lens device using photographing environment determined using depth estimation
CN105339841B (zh) * 2013-12-06 2018-12-14 华为终端(东莞)有限公司 双镜头设备的拍照方法及双镜头设备
CN104717419A (zh) * 2013-12-17 2015-06-17 联咏科技股份有限公司 自动对焦影像捕获设备与影像撷取方法
CN104079817A (zh) * 2014-03-19 2014-10-01 中国科学院合肥物质科学研究院 一种多相机协调控制与快速精确目标识别系统
CN105044879A (zh) * 2014-04-30 2015-11-11 聚晶半导体股份有限公司 使用多镜头的自动对焦系统及其方法
CN105044879B (zh) * 2014-04-30 2017-08-25 聚晶半导体股份有限公司 使用多镜头的自动对焦系统及其方法
CN106199902A (zh) * 2015-04-29 2016-12-07 冠捷投资有限公司 双镜头对焦方法及装置
CN106199902B (zh) * 2015-04-29 2019-02-01 冠捷投资有限公司 双镜头对焦方法及装置
WO2016192627A1 (zh) * 2015-06-05 2016-12-08 深圳市星苑科技有限公司 一种变焦镜头成像的装置及方法
CN107690649A (zh) * 2015-06-23 2018-02-13 三星电子株式会社 数字拍摄装置及其操作方法
CN107690649B (zh) * 2015-06-23 2022-03-11 三星电子株式会社 数字拍摄装置及其操作方法
TWI643017B (zh) * 2016-01-20 2018-12-01 群邁通訊股份有限公司 多鏡頭系統、其工作方法及可攜式電子裝置
US10277798B2 (en) 2016-01-20 2019-04-30 Chiun Mai Communication Systems, Inc. Multiple lenses system, operation method and electronic device employing the same
CN108270967B (zh) * 2016-12-30 2021-09-21 三星电子株式会社 自动对焦方法和用于执行该方法的电子设备
CN108270967A (zh) * 2016-12-30 2018-07-10 三星电子株式会社 自动对焦方法和用于执行该方法的电子设备
CN109426060A (zh) * 2017-08-21 2019-03-05 深圳光峰科技股份有限公司 投影仪自动调焦方法及投影仪
CN109597263A (zh) * 2017-09-30 2019-04-09 杭州海康威视数字技术股份有限公司 一种成像设备和一种镜头调焦方法
CN109597263B (zh) * 2017-09-30 2024-03-08 杭州海康微影传感科技有限公司 一种成像设备和一种镜头调焦方法
CN114371550A (zh) * 2018-03-14 2022-04-19 毫微光电子影像股份有限公司 使显微镜自动聚焦的系统和方法
CN114371550B (zh) * 2018-03-14 2024-05-31 毫微光电子影像股份有限公司 使显微镜自动聚焦的系统和方法
CN108541110A (zh) * 2018-05-29 2018-09-14 朱培恒 一种自动调节式大功率补光装置及其补光方法
CN108541110B (zh) * 2018-05-29 2024-02-23 朱培恒 一种自动调节式大功率补光装置及其补光方法
CN113473018A (zh) * 2021-07-01 2021-10-01 百果园技术(新加坡)有限公司 一种视频拍摄方法、装置、拍摄终端和存储介质
CN113473018B (zh) * 2021-07-01 2023-10-31 百果园技术(新加坡)有限公司 一种视频拍摄方法、装置、拍摄终端和存储介质

Also Published As

Publication number Publication date
US20080219654A1 (en) 2008-09-11
WO2008112051A1 (en) 2008-09-18
CN101632296B (zh) 2011-10-05
EP2123024A1 (en) 2009-11-25
JP2010521005A (ja) 2010-06-17
US7676146B2 (en) 2010-03-09

Similar Documents

Publication Publication Date Title
CN101632296B (zh) 提供改进的聚焦能力的多镜头照相机
CN101637019B (zh) 提供范围映射的多镜头照相机
CN101632295A (zh) 可在多种模式下工作的多镜头照相机
US7859588B2 (en) Method and apparatus for operating a dual lens camera to augment an image
CN101505374B (zh) 图像处理设备及方法
US8594390B2 (en) Composition determination device, composition determination method, and program
US7856181B2 (en) Stereoscopic imaging device
US7583308B2 (en) Image capturing apparatus
US7683963B2 (en) Method of distance estimation to be implemented using a digital camera
US20070212049A1 (en) Auto-focusing method and auto-focusing apparatus using the same
CN104604215A (zh) 摄像装置、摄像方法和程序
CN103888645A (zh) 摄像设备及用于控制摄像设备的方法
CN102172013A (zh) 抖动焦点的评估
US20120050490A1 (en) Method and system for depth-information based auto-focusing for a monoscopic video camera
KR101739378B1 (ko) 디지털 영상 촬영 장치 및 이의 제어 방법
JP2009042621A (ja) 撮像装置および撮像方法
WO2013005477A1 (ja) 撮像装置、立体画像撮像方法及びプログラム
JPH11211974A (ja) 撮像装置
US20080056702A1 (en) Method of real-time auto focus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130409

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130409

Address after: Nevada, USA

Patentee after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Patentee before: Eastman Kodak Co.

TR01 Transfer of patent right

Effective date of registration: 20180518

Address after: Texas, USA

Patentee after: Mau new gate Venture Capital Co., Ltd.

Address before: Nevada, USA

Patentee before: Gaozhi 83 Foundation Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111005

Termination date: 20190206

CF01 Termination of patent right due to non-payment of annual fee