CN101918893A - 具有深度图产生的方法和设备 - Google Patents

具有深度图产生的方法和设备 Download PDF

Info

Publication number
CN101918893A
CN101918893A CN2008801227570A CN200880122757A CN101918893A CN 101918893 A CN101918893 A CN 101918893A CN 2008801227570 A CN2008801227570 A CN 2008801227570A CN 200880122757 A CN200880122757 A CN 200880122757A CN 101918893 A CN101918893 A CN 101918893A
Authority
CN
China
Prior art keywords
lens position
image
depth map
district
measurement information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801227570A
Other languages
English (en)
Other versions
CN101918893B (zh
Inventor
利萨·萨法伊-拉德
米利沃耶·阿列克西克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101918893A publication Critical patent/CN101918893A/zh
Application granted granted Critical
Publication of CN101918893B publication Critical patent/CN101918893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本发明揭示一种设备和方法，其中使用单个相机(例如，相机的单个透镜)产生深度图且由所述相机捕获多个图像。在一个实例中，使用单个数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像。在此实例中，透镜位置数据可为均匀或不均匀的透镜位置数据。所述方法和设备确定一组图像中的每一图像中的多个关注区中的每一者的对焦量度信息。基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置，且将其作为数据存储于深度图中。随后基于所述产生的深度图执行图像产生操作，例如确定是否使用闪光灯来捕获最终图像、确定将对最终图像执行的颜色操作的类型、或任何其它合适的图像产生操作。在一个实例中，通过在捕获的各个图像中针对特定关注区选择最佳对焦量度而产生所述深度图。一旦使用来自多个图像的数据产生所述深度图，则基于深度图的控制逻辑就确定如何使用所述深度图来实现图像处理操作。除了其它优点外，无需采用多个相机，也无需采用外部光传感器来产生用于在图像处理操作中使用的深度图。所属领域的技术人员将认识到其它优点。

Description

具有深度图产生的方法和设备
背景技术
采用固定焦距的数码相机被用于例如手机、膝上型计算机和其它装置等的移动装置中。这些相机具有造成短且固定的焦距的广角透镜。自动对焦操作是已知的，其中手机或数码相机的用户可半按下按钮以自动对焦图像，随后用户可接着继续按下按钮到完全按压位置以捕获最终图像。然而，已知的自动对焦操作可能以均匀方式(例如在其例如255个位置的整个范围内每25个位置)移动透镜，且在25个位置的每个均匀透镜位置处捕获图像，从而导致处理10到12个帧。捕获自动对焦算法借以确定最佳图像的大约10个图像可导致对移动装置的电力耗用且随着时间的过去而急剧影响电池使用。另外，如果使用闪光灯来拍摄最终图像，那么当闪光灯可能实际上不必要或有用时，额外的电力耗用可使移动装置的性能降级。另外，在均匀的对焦透镜位置方案下，为了自动对焦确定可能拍摄10或12个帧，这要求装置捕获且处理许多帧。这可要求额外的处理时间且用户可能必须等待不必要的时间量以等待自动对焦操作完成。
还已知使用不均匀透镜位置作为自动对焦过程的部分。举例来说，为了找到最佳透镜位置，可使用各种自动对焦搜索策略。这些方法确定如何更新透镜位置(更新多少且在哪个方向上更新)。搜索方法可影响自动对焦过程的速度和准确性。用以找到最佳透镜位置的透镜位置集合可基于不均匀(或均匀)间隔。不均匀透镜位置通常是基于对焦量度值的所确定的改变速率而在操作中(on the fly)动态确立。也就是说，如果对焦量度值的改变速率由装置中的过程确定为高，那么使用较短的透镜位置间隔，而如果对焦量度值改变的速率较低，那么使用较长的间隔。然而，可能难以确定改变速率且接着确定要使用的合适间隔。
改进自动对焦速度且减少对移动装置或非移动装置的电力耗用是极为重要的，尤其是在对移动装置的使用急剧增加时。对这些改进的需要已存在多年。然而，已知的当前解决方案仍可能要求不必要的时间量和/或电力消耗。
关于深度图产生，多相机图像处理系统(例如，经校准的立体视觉系统)可采用多个相机，所述相机各自采用透镜来产生包含视场的若干所关注区的图像深度图以用于不同应用(例如在用于导引车辆的自动化车辆导引系统中)。使用这些系统产生深度图可导致要求使用多个预校准相机的高度复杂且昂贵的过程。然而，还需要使用较简单的深度图产生(例如，将视场分段为前景和背景)以改善各种数码相机功能/操作，例如对闪光/不闪光选择的更有效使用、更好的曝光估计、更有效的白平衡和改进的颜色校正矩阵选择。
附图说明
鉴于由以下图式伴随的以下描述将更容易理解本发明，且其中相同参考标号表示相同元件，其中：
图1是说明根据本发明一个实施例的自动对焦电路的一个实例的框图；
图2是说明根据本发明中陈述的实例的用于改进自动对焦系统的方法的一个实例的流程图；
图3是展示根据本发明中陈述的一个实施例的预定不均匀对焦位置数据的一个实例的说明；
图4是说明根据本发明中的一个实例的移动装置的一个实例的框图；
图5是说明根据本发明中陈述的一个实例的用于改进自动对焦系统的方法的一个实例的流程图；
图6是说明根据本发明中陈述的一个实例的采用深度图产生逻辑的设备的一个实例的框图；
图7是说明根据本发明中陈述的一个实例的深度图产生逻辑的一个实例的框图；
图8是说明根据本发明中陈述的一个实例的用于改进数码相机图像产生的方法的一个实例的流程图；
图9说明根据本发明中陈述的一个实例的用以产生从多个图像导出的深度图的数据的一个实例；
图10是说明根据本发明中陈述的一个实例的用于改进数码相机图像产生的方法的一个实例的流程图；
图11是说明根据本发明的传达深度图信息的系统的一个实例的框图；以及
图12说明根据本发明中的一个实例的可用以产生深度图的位置数据的一个实例。
具体实施方式
大体上，揭示一种设备和方法，其中使用单个相机(例如，相机的单个透镜)产生深度图且由相机捕获多个图像。在一个实例中，使用单个数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像。在此实例中，透镜位置数据可为均匀或不均匀的透镜位置数据。所述方法和设备确定一组图像中的每一图像中的多个关注区中的每一者的对焦量度信息。基于来自所述组中的图像的对焦量度信息确定关注区中的每一者的最佳透镜位置，且将其作为数据存储于深度图中。随后基于产生的深度图而执行图像产生操作，例如确定是否使用闪光灯来捕获最终图像、确定将对最终图像执行的颜色操作的类型、或任何其它合适的图像产生操作。在一个实例中，深度图是通过在捕获的各个图像中选择针对特定关注区的最佳对焦量度而产生。一旦使用来自多个图像的数据产生深度图，则基于深度图的控制逻辑就确定如何使用深度图来实现图像处理操作。
除了其它优点外，无需采用多个相机，也无需采用外部光传感器来产生用于在图像处理操作中使用的深度图。所属领域的技术人员将认识到其它优点。
在其它实施例中，方法和设备通过更改(例如通过定位)数码相机的至少一个透镜到对应于预定不均匀透镜位置数据的多个预定不均匀透镜位置且基于预定不均匀透镜位置数据而选择透镜的透镜位置来改进自动对焦系统。预定不均匀透镜位置数据可(例如)被预定，且可存储在存储器中，可经由电阻性阵列提供，或可以任何合适方式提供。预定不均匀透镜位置数据表示可用以对焦以拍摄最终图像的最少数目或组的最佳透镜位置，其被事先确定且基于特定相机透镜的光学特性。在一个实例中，所述数据表示对应于透镜位置对距参考点的物距(例如，针对固定焦距透镜，沿着最佳透镜位置的特性曲线的点对物距)的关系的经验上获得的信息。在一个实例中，固定数目的预定义不均匀透镜位置定义了用以在自动对焦操作期间捕获图像的一组最佳不均匀透镜位置。最终图像是使用这些预定不均匀透镜位置中的一者捕获的。来自所述组预定不均匀透镜位置的最佳对焦透镜位置是通过比较来自在各个不均匀对焦透镜位置处获得的帧中的每一者的对焦量度信息且选择具有例如最佳对焦量度的帧作为将用于最终图片或图像捕获的透镜位置而确定的。可按需要基于每帧或每关注区而产生对焦量度信息。
除了其它优点外，与采用(例如)基于均匀透镜位置的图像采样的系统相比，可导致较快的自动对焦过程，且需要获得较少数目的图像来确定最佳透镜位置。而且，使用一组预定不均匀透镜位置去除了对任何动态不均匀透镜位置确定和间隔确定过程的需要。由此，使用从所述组预定不均匀透镜位置中的一个或一个以上位置获得的图像的较少帧可加速自动对焦过程，使得用户无需等待长时间直到捕获图像，且可导致对装置电池的较低电力消耗，进而改进性能。
如本文使用，术语“模块”、“电路”、“逻辑”、“驱动器”和/或“级”可包含电子电路、执行存储在存储器中的一个或一个以上软件或固件程序的一个或一个以上处理器(例如，共享、专用或处理器群组，例如但不限于微处理器、DSP或中央处理单元)、组合逻辑电路、ASIC和/或提供所描述功能性的其它合适组件。
图1说明设备10，其包含展示为自动对焦控制逻辑12的电路、含有预定不均匀透镜位置数据18的存储器14，和例如具有固定焦距透镜的单个数码相机的相机16。然而，可采用任何合适的相机。设备10可例如为其中集成有数码相机的手机、手持式数码相机，或采用数码相机或者直接或间接与数码相机连接的任何合适装置。自动对焦控制逻辑12可实施为任何合适的结构，其包含(但不限于)离散逻辑、执行所存储的计算机可读指令的一个或一个以上处理器或任何其它合适结构。存储器14可为呈任何合适形式的RAM、ROM(例如寄存器、可寻址存储器)，或可为任何其它合适的存储器，包含主机系统存储器、局部高速缓存存储器或按需要的任何其它合适存储器。预定不均匀透镜位置数据18也可以电阻器阵列的形式提供，所述阵列将电压电平提供到例如集成电路的输入端口，指示给定相机的不均匀透镜位置数据。数码相机的每一制造商可具有不同的特性且由此，可取决于使用的特定相机来采用不同的预定不均匀透镜位置数据。
还参看图2和3，说明可例如由自动对焦控制逻辑12和设备10实施的方法。另外，图形说明展示了预定不均匀透镜位置数据18(八个非零点)，其值可存储在存储器14中或者经由电阻器阵列或以任何其它合适方式提供。此信息可经由对设备10中的相机16的经验测试而事先获得，或可以任何其它合适方式获得。由此，数据可经由因特网或其它网络下载，或者可存储在例如存储器14的EEPROM中或经由任何合适方式提供到自动对焦控制逻辑12。如图示，预定不均匀透镜位置数据18表示(例如)依据步长数目(例如总共255个定位步长中的定位步长数目)的透镜位置与在给定透镜位置处经确定的距相机的物距(物体在所述位置处在焦点上)举例来说，展示了如果物距为距相机118cm，那么使用近似155的预定不均匀透镜位置。已发现，物体距相机越近，需要用4个透镜位置来进行自动对焦操作。举例来说，如果物距为100cm，那么使用第5个透镜位置。
参看图2，方法包含(如图示)在步骤202中将相机16的透镜定位或更改到对应于预定不均匀透镜位置数据18的多个不均匀透镜位置。由此，自动对焦控制逻辑12将预定不均匀透镜位置控制信息20发送到相机16以例如定位相机，相机随后在透镜处于此位置时捕获图像且将在透镜处于不均匀透镜位置18中的一者处时获得的图像或帧22传达回。每一被接收的所捕获图像随后由自动对焦控制逻辑12分析以基于帧或子帧而确定图像清晰度量度信息，例如指示在给定透镜位置处图像有多清晰的值。给定图像的此值可随后临时存储在存储器中。自动对焦控制逻辑随后使用预定不均匀透镜位置控制信息20将透镜移动到下一所需透镜位置，且相机16在此透镜位置捕获另一图像。随后获得所述新的帧的清晰度图像量度信息，且将其与先前图像的先前图像对焦量度比较。如果确定其为较清晰的图像，那么将其存储以供与下一所捕获图像进行比较。随后取决于自动对焦过程正在使用爬山(hill climbing)方法、完整搜索方法或是其它方法，所述过程针对由预定不均匀位置数据18识别的每一所需不均匀透镜位置继续。如框204中所示，方法包含通过(例如)选取产生具有最佳图像清晰度量度的帧的透镜位置而基于不均匀透镜位置而选择最佳透镜位置。随后将此透镜位置用作用以捕获用户希望捕获的最终图像的透镜位置。预定不均匀透镜位置数据18可例如存储为存储器14中的查找表以在在线自动对焦过程期间使用。
与其它已知系统相比，上述过程可导致较快的自动对焦过程，因为与使用均匀透镜位置(例如每25个步长)的自动对焦系统的典型的(例如)最多11个帧相反，仅需要捕获或评估最多7或8个帧(每一不均匀透镜位置处一个)。这还可导致较少的电力消耗，因为作为自动对焦过程的部分，捕获和分析较少的帧。所属领域的技术人员将认识到其它优点。
将认识到，可以任何合适方式获得预定不均匀位置数据18。一种技术可为例如针对手机相机或具有固定焦距的其它相机确立弥散圆的可接受大小。不同的相机制造商可具有不同的弥散圆(直径以微米为单位)。此信息可由制造商提供或通过此项技术中已知的实验来确定。也可确定景深对透镜位置的关系，且将景深重叠而覆盖完整对焦范围的焦点距离用作不均匀透镜位置。举例来说，对于具有5.6mm×4.2mm大小的透镜(传感器)，透镜焦距可为5.6mm且弥散圆大小可估计为9.5微米。可使用1,179mm的超焦距(hyper focal length)。由此，最佳透镜位置在图3中被展示为由预定不均匀位置数据18识别。不均匀透镜位置数据18表示与(例如)图3所示的透镜特性曲线相关联的不均匀透镜位置(或移动步长)。
作为一个实例，可如下针对手机相机确立图3的预定不均匀透镜位置(及因此对应的数据18)。
传感器大小：    3.2MP，具有2.7微米像素大小
透镜：          焦距：5.6mm
                固定光圈：2.8(F数)
CoC直径：9.5微米
此手机相机在30％相对对比度下的测得分辨率为MTF30＝0.283循环/像素。弥散圆(CoC)的直径就将基于测得的MTF30而等于9.5微米。
使用以上信息(F数、焦距和CoC直径)，可针对每一物距计算景深(DOF，后和前)。也就是说，针对每一透镜位置，估计在焦点上的物距的范围。如果选定的物距使得其在焦点上的物距的范围重叠，那么将这些物距指定为最小数目的不均匀透镜位置。以下表Ⅰ展示选定的物距(第一栏)及其对应的在焦点上的物距范围(第四栏)。随后可确立(即，通过将物体放置于物距(第一栏)中的每一者处且通过自动对焦过程找到最佳透镜位置)对应的透镜位置(第五栏)。作为实例，当将透镜放置于位置56处时，处于距离153mm到205mm处的所有物体将在焦点上。另一实例，透镜位置93将覆盖具有距离204mm到297mm的所有物体等等。
表中的最后物体位置(1179mm)称为超焦距，其覆盖在焦点上的物距的最大范围：从590mm到无限远。也就是说，如果将透镜放置于位置155处，那么放置于590mm到无限远之间的所有物体均在焦点上。
表Ⅰ
物距    前景深    后景深    在焦点上的物距    透镜位置    总DOF
(mm)    (mm)      (mm)      (mm)              (步长)      (mm)
81      5.2       6.0       76到87            0           11
94      6.9       8.1       87到102           7           15
111     9.6       11.5      102到122          12          20
136     14.1      17.7      122到153          33          31
175     22.6      30.5      153到205          56          52
237     39.75     9.6       204到297          93          93
395     99.1      199.0     296到594          119         298
1179    589.5     18862922  1.1590到无限远    155         无限远
以上实例展示：
在自动对焦过程期间可使用仅8个不均匀透镜位置(0、7、12、33、56、93、119和155)而不是例如11个均匀透镜位置(0、25、50、75、...、250)。其为用于自动对焦过程的透镜位置的显著减少。
如预期，大部分透镜位置与短距离(即，80mm到600mm)处的物体相关。事实上，用于短距离物体的较大数目透镜位置提供较可靠的对焦位置确定，因为在短距离下景深非常窄/浅。
为了甚至进一步减少用于自动对焦操作的透镜位置的数目，可使用三种模式：
(a)微距模式：短距离处(80mm到600mm)的物体；
(b)风景模式：长距离处(大于600mm)的物体；
(c)正常模式：默认模式将覆盖整个范围(80mm到无限远)。
图4说明例示包含相机16的手持式装置100的一个实例的框图。手持式装置100可为具有相机附件的移动电话、个人数字助理(“PDA”)、便携式音频或视频播放器或其它移动装置。如此项技术中认识的相机16通常是具有固定焦距透镜的数码相机，其含有电荷耦合装置(“CCD”)图像传感器或互补金属氧化物半导体(“CMOS”)图像传感器。然而，也可使用能够满足手持式装置的有限大小和电力消耗要求的任何相机。
在一个实例中，手持式装置100可为移动电话且包含天线110以向无线电电话子系统112传输无线电信号160或从无线电电话子系统112接收无线电信号160，如此项技术中已知。用户接口108为用户提供对手持式装置100的特征的接入，例如操作至无线电电话子系统112的接口信号168，或通过快门按钮信号118起始用相机16捕获图像。用户接口108通常使用户与具有组件组合的手持式装置100相联系，所述组件例如(但不限于)小键盘、按钮和通过显示器114的反馈188。认识到其它用户接口机制(例如语音辨识和触摸屏)是广泛可用的且此项技术中已知，且所属领域的一般技术人员将认识到可使用适合于手持式装置的任何用户接口。显示器114可为适合于手持式应用的任何显示器，例如(但不限于)LCD(液晶显示器)、LCD-TFT(LCD-薄膜晶体管)、OLED(有机发光二极管)以及FED(场效应显示器)。或者，可提供其它子系统116以经由系统总线166连接到用户接口112。其它子系统116可包含(但不限于)：音频播放器、视频播放器、个人信息管理器(“PIM”)、语音记录器、因特网接入或消息接发应用程序。
在一个实例中，用户通过用户接口108起始在手持式装置100上捕获图像。举例来说，对指定按钮的半按可致使快门按钮信号118起始自动对焦例程，或全按可起始自动对焦例程，其自动移动到下一步骤：图像捕获过程，以捕获最终图像，最终图像可存储在存储器中和/或作为显示数据164而显示。另外，用户接口108可规定对指定按钮的全按将捕获图片，且可在半按自动对焦例程完成之前使全按功能无效。在图4的实例中，快门按钮信号118由自动对焦控制逻辑12接收。将认识到可组合任何功能，例如图像清晰度量度逻辑和捕获逻辑136或其它合适操作。
如上所述，在不同的不均匀透镜位置处捕获一系列图像且由自动对焦控制逻辑12分析。自动对焦控制逻辑12将预定不均匀控制信息20传输到对焦驱动器126，对焦驱动器126通过相机接口总线190将不均匀透镜位置数据18传输到相机16。另外，自动曝光电路124将快门驱动器信号174传输到快门驱动器128，快门驱动器128通过相机接口总线190将开关快门命令传输到相机16以便捕获图像。自动对焦控制器191产生自动曝光控制信号170以启动自动曝光操作。在本实例中，相机16还通过相机接口总线190连接到光学变焦驱动器130和闪光灯驱动器132，且分别由光学变焦驱动器信号172和闪光灯驱动器信号184控制。光学变焦驱动器和闪光灯驱动器是此项技术中众所周知的。然而，认识到，可在无光学变焦驱动器130或闪光灯驱动器132或所示的其它功能的情况下实施本发明。在使用光学变焦操作的过程中，应针对每一透镜焦距确定预定义透镜位置。
在一个实例中，在将信息传输到对焦驱动器126和快门驱动器128之后，相机16捕获图像，且将图像像素信息134从相机16发送到图像捕获逻辑136。如此项技术中已知，图像捕获逻辑136设定相机的图像传感器的增益等，且接收由传感器捕获的像素信息。所属领域的一般技术人员将认识到，图像捕获逻辑136可以多种方式实施且位于除了自动对焦控制逻辑12以外的电路内。图像像素信息134被传输到图像清晰度量度逻辑120，在该处计算ROI或整个图像的图像清晰度量度信息133。举例来说，图像可划分为关注区(ROI)，且串行或并行地对每一ROI执行统计分析。可在图像的水平维度上扫描像素信息，使得一行中的所有ROI被同时处理。所属领域的一般技术人员将认识到，可使用多种方法来确定图像清晰度量度信息133。作为一个实例，可使用拉普拉斯算子能量方法(平方拉普拉斯算子)，其使用图像的平方拉普拉斯算子g(x，y)来计算量度信息。在此实例中：
图像清晰度量度信息表示为量度＝∑x∑y.[gxx+gyy]2
其中
gxx＝δ2/δx2，且
gyy＝δ2/δy2。
离散拉普拉斯算子由以下核来近似，其仅包含垂直和水平相邻者：
0    1    0
1    -4   1
0    1    0
或
0    -1   0
-1   4    -1
0    -1   0
为了更详尽，可使用以下拉普拉斯算子核，其包含对角线相邻者：
1    1    1
1    -8   1
1    1    1
或
-1    -1    -1
-1    8     -1
-1    -1    -1
在硬件限制不允许使用以上核的情形下，可使用仅在一个方向上(例如沿着像素扫描的水平方向)的拉普拉斯算子：
量度＝∑x[gxx]2
因此，将使用沿着水平方向的以下拉普拉斯算子核：
1  -2  1
或
-1  2- 1
使用水平地沿着像素扫描方向的拉普拉斯算子计算图像的量度因此变为：
量度＝∑[(Pi-1-2*Pi+Pi+1)*(Pi-1-2*Pi+Pi+1)]。
其中Pi是当前像素的值，Pi-1是先前像素的值，且Pi+1是下一像素的像素值。
确定量度的另一实例是图像的梯度的能量。将图像的梯度的能量定义为图像的梯度的平方g(x，y)，其中：
量度＝∑x∑y[gx+gy]2
其中
gx＝δ/δx，
gy＝δ/δy。
沿着水平方向的梯度的离散能量表达如下：
量度＝∑[(Pi+1-Pi)*(Pi+1-Pi)]。
如上文定义的图像的量度是对图像的相对清晰度的测量。可以相同方式计算对焦量度和图像清晰度量度。
视频上部处理器(VUP)142如此项技术中已知是每时钟单像素处理器，其接收图像像素信息134。所属领域的一般技术人员将认识到，图像像素信息134可如图示由图像清晰度量度逻辑120发送到VUP 142，或可直接从另一电路或逻辑(例如图像捕获逻辑136)接收图像像素信息134。在一个实例中，通过将中间处理的图像像素信息162传输到视频下部处理器(VLP)144而进一步执行图像处理。VLP 144使用每时钟多像素处理器，如此项技术中已知。因为VUP 142和VLP 144均为处理器，所以其图像处理功能可按应用的要求由一个处理器或两个以上处理器执行。在其它实例中，处理器可为(但不限于)在单个集成电路或多个集成电路上的现场可编程门阵列(FPGA)、数字信号处理器(DSP)、ASIC、微处理器或中央处理单元(CPU)、微控制器、状态机或其任何组合。在一个实例中，在JPEG(联合图像专家组)编码逻辑148中将经处理图像像素信息146编码为工业标准JPEG格式，且在存储器总线198上传输以存储在存储器154中。或者，可与JPEG编码逻辑148处的JPEG编码同时、在JPEG编码之前或之后的时间在显示器114上显示经处理图像像素信息146，或在无JPEG编码的情况下显示经处理图像像素信息146。
在此实例中，自动对焦控制逻辑12包含透镜位置控制器电路或对焦驱动器126、图像捕获逻辑136、图像清晰度量度逻辑120、深度图产生器189和自动对焦控制逻辑191。然而，将认识到，任何合适的功能组合可用作自动对焦控制逻辑。举例来说，图像捕获逻辑136可嵌入作为相机16的部分且可按需要合适地组合其它功能。对焦驱动器是移动透镜的硬件驱动器，如此项技术中已知。自动对焦控制逻辑12例如选择透镜的最佳透镜位置以在自动对焦过程之后使用来拍摄最终图像，例如在用户完全压下捕获按钮时。举例来说，自动对焦控制电路191可获得第一预定不均匀透镜位置数据18(例如最低存储位置)且将预定不均匀透镜位置信息20提供到透镜位置控制器电路126以致使固定焦距透镜移动到所述第一位置。随后捕获帧且将其传递到图像捕获逻辑136以用于处理，如此项技术中已知。图像清晰度量度逻辑120确定图像的对焦量度信息(图像清晰度信息133)，且存储对焦量度信息133作为初步最佳对焦量度信息。其可将此信息存储在高速缓存存储器或任何其它合适存储器中，例如可由自动对焦控制电路191存取的存储器。自动对焦控制电路191可随后例如确定下一透镜位置，即，由存储在存储器14中的预定不均匀焦距位置数据18指示的下一不均匀位置，以捕获下一图像。图像清晰度量度逻辑120随后确定下一图像的对焦量度信息。这例如被提供到自动对焦控制电路191，自动对焦控制电路191随后比较两个帧的存储的初步最佳对焦量度信息与下一对焦量度信息，且保持两者中的最佳或优选量度作为新的初步最佳对焦量度信息。此过程针对所有不均匀透镜位置重复：在此实例中为8个透镜位置，如图3所示。由此，透镜被更改或移动到不同的预定不均匀最佳透镜位置。一旦所有的不均匀透镜位置已用以获得图像且所有的对焦量度信息已被计算，自动对焦控制电路就选取具有最佳对焦量度信息的透镜位置作为在用户完全按下图片按钮时用于捕获最终图像的位置。
图5说明可使用的爬山方法，其展示过程的不同阶段，例如搜索方向确定阶段501、峰值检测阶段503，其中过程的峰值检测阶段用以确定最佳不均匀透镜位置以用作拍摄最终图片的最终透镜位置。如框502中所示，方法通过(例如)检测用户已半按图片选择按钮或以其他方式指示自动对焦过程而开始。如框504中所示，方法包含将透镜更改到如由预定不均匀透镜位置数据18确定的初步最佳透镜位置。如框506中所示，方法包含捕获图像且确定所述图像或帧的对焦量度信息，且将透镜配置到下一透镜位置，如框508中所示。如框510中所示，方法包含捕获图像且计算在新的不均匀透镜位置处获得的帧的图像清晰度量度。如框514中所示，确定位置搜索方向。举例来说，例如由自动对焦控制电路191做出搜索方向为正还是负的确定；正(从0到255)指示其为对应于较远离的物体的透镜位置，且负位置指示透镜位置是针对较靠近的物体。如果过程使用正搜索方向，如框515中所示，那么方法包含递增透镜位置，或如框513中所示，如果其在负方向上，那么递减透镜位置。如框516中所示，将透镜移动到下一位置且捕获下一图像且确定图像清晰度量度。如框518中所示，方法包含通过执行邻域搜索而确定是否已发现最大对焦量度(例如，峰值透镜位置)。峰值检测是基于检测三个相邻透镜位置的对焦量度(FM)值中的上升和下降。举例来说：
第一透镜位置75：             FM值＝1000
第二透镜位置100：            FM值＝1200
第三透镜位置125：            FM值＝830
此上升和下降模式是对焦量度值中的峰值的指示。因此，逻辑得出结论：最佳对焦在透镜位置100处(或附近)。如框519中所示，方法包含确定最佳透镜位置。已发现，可围绕最佳对焦透镜位置通过抛物曲线(即，2次多项式)来对对焦量度值的行为建模，且基于此，估计对焦量度值中的“真实/最佳”峰值且使用其对应的透镜位置。对于以上情况，最佳对焦量度值被估计为1206，在透镜位置96处。
如果未检测到峰值，那么如框522中所示使用下一位置。如上所述，除了其它优点外，已发现位于短距离处的物体使用较多不均匀透镜位置或来自这些位置的帧来确立导致较好的最终图像的最佳对焦透镜位置。另外，对于自动对焦操作，在总距离范围中使用较少数目的需使用的帧来检测最佳或最终透镜位置。电池电力也减少，因为捕获和处理较少的帧。而且在一个实例中，所述组的预定义的不均匀透镜位置具有以下特征：预定义、不均匀(例如，并非相隔固定数目位置，例如每10个位置)，且对于短物距使用较短间隔且对于长物距使用较长间隔。组中存在最小数目，且所述组包含超焦距透镜位置，其具有最大景深且可用作默认(即，初始)透镜位置，因为其覆盖在焦点上的物距的最大范围，且因此是统计上最可能的对焦透镜位置。
图6说明采用深度图产生逻辑602的设备600的另一实施例，深度图产生逻辑602操作以基于由单个相机16(例如带有具有固定焦距的透镜的单个相机)或任何其它合适单个相机捕获的图像的关注区而产生深度图604。深度图604可存储在存储器608中，存储器608可按需要为高速缓存存储器、帧缓冲器存储器或任何其它合适的存储器。深度图产生逻辑602还提供透镜位置控制信息608以控制相机的透镜位置设定，所述透镜位置控制信息608是基于均匀或不均匀透镜位置数据。透镜控制以如上所述的方式操作，但不同的是例如当均匀的位置数据存储在存储器中时，将此信息用以控制透镜位置且获得所述透镜位置(而非不均匀透镜位置)处的信息的对应帧。由此，深度图产生逻辑602还包含类似于上文关于自动对焦控制操作描述的透镜位置控制信息产生逻辑。还参看图7，深度图产生逻辑602使用例如图像清晰度量度逻辑120确定每一关注区的对焦量度信息133。举例来说，如果将一帧划分为25个区域，将每一区域视为关注区且因此计算25个量度(每一关注区一个)。深度图产生逻辑602基于从所有相关所捕获帧获得的对焦量度信息确定每一关注区的最佳透镜位置以产生深度图604，且由此，深度图是基于来自多个帧的对焦量度信息133。由此，将单个相机用以在不同透镜位置处捕获若干图像，且这些图像中的每一者被划分为若干关注区。随后针对每一帧中的关注区中的每一者产生对焦量度信息，且将来自每一帧的最高量度用以填充深度图604。由此，深度图产生逻辑602提供关注区深度图信息612以填充深度图604。关注区深度图信息可为(例如)基于每关注区的值和/或如下文所述的其它信息。
设备600包含如上所述的含有透镜位置数据的存储器608，且其还包含用以基于所产生深度图来执行图像产生操作的逻辑。举例来说，深度图产生器逻辑189产生图像操作控制信息614，其例如可控制闪光灯操作，使得使用或不使用相机闪光灯来拍摄最终图像(见图4)。作为另一实例，图像产生操作可为由例如视频上部处理器或任何其它合适的颜色处理电路控制颜色处理操作。也可基于深度图信息来控制任何其它合适的图像产生操作。
图8说明用以产生深度图604的图像处理方法的一个实例，所述方法在框802中开始，且如框804中所示包含使用单个数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像。捕获对应于所述组透镜位置的所述组图像(框804)包含在第一透镜位置捕获图像，从所述组透镜位置选择下一透镜位置，在下一透镜位置处捕获下一图像，以及在额外的接下来的透镜位置处捕获额外的接下来的图像直到所述组为空。如框806中所示，方法包含确定所述组图像中的每一图像的关注区。如上所述，这些操作优选以循序方式完成，其中获得每一帧且产生所述帧的关注区并随后与深度图中的对应关注区的先前量度比较，且将给定关注区的最高量度存储在深度图中。如框808中所示，方法包含确定如上所述的组的每一图像中的关注区中的每一者的对焦量度信息。如框810中陈述，方法包含基于来自所获得的帧的子集或全部所获得的帧的对焦量度信息而确定关注区中的每一者的最佳透镜位置(例如，处于最高量度的透镜位置)。如框812中所示，方法包含基于用以获得所捕获的图像组的最佳透镜位置而产生所述帧的关注区的深度图。如框814中所示，一旦已产生深度图，则其可用以执行图像处理操作，例如启动闪光灯、停用闪光灯、选择最终图像的待使用的颜色增强操作或任何其它合适的图像处理操作。
图9说明所产生且用以产生深度图的数据的一个实例。在此实例中，数据包含针对每一ROI的最佳透镜位置。使用此透镜位置信息基于图12所示的数据(所存储)来确定用于深度图的距离。然而将认识到，任何合适的信息可存储在其中。如图示，存在5×5关注区阵列，其均匀地覆盖相机的视场。在此实例中，结果是来自约6米的工作距离。阵列是在透镜位置250处拍摄，且对于每一关注区显示三个数字值。在此实例中，值或量度900表示透镜位置250处的对焦清晰度量度。量度902表示根据所有经评估图像针对关注区实现的最佳/最大对焦量度值，且值904表示对应于最高图像清晰度量度值的最佳透镜位置。使用视场的中心(例如关注区906)对(例如)相机进行对焦以拍摄最终图像。然而，在最终图像期间可使用具有高图像清晰度量度值900的其它关注区而非中心关注区来使相机对焦。此深度图提供粗略深度图，其展示基于中心关注区906的在175处的最佳总体透镜位置和在中心关注区906周围的大部分关注区。产生的深度图604(实例展示于表Ⅱ中)可有效地用于改进各种过程。举例来说，可确定在目标跟踪的情况下，只要目标超过某一距离(例如60cm)，则即使目标正在移动靠近或远离相机也无需调整透镜位置。另外，如上所述，也可基于深度图决定是否使用闪光灯。也可按需要基于深度图来修改或利用其它过程。也如框814中所示，方法包含控制透镜以基于其最佳对焦位置而对焦于特定关注区上以进行最终图像捕获。
深度图产生是在不使用任何额外传感器(距离传感器、飞行时间传感器、相位检测传感器)、装置(例如，立体相机系统)和结构光(例如，结构化矩形栅格激光)的情况下完成。为了产生深度图，使用透镜位置与物距之间的关系。这可预先针对给定手机相机型号而产生，且可保存作为查找表(LUT)以在相机操作期间使用。图12展示上文详细说明的相机的此关系。图12中所示的点存储在存储器中，且可按需要内插所存储点之间的点。
如下针对给定场景产生深度图产生：
将相机视场(FOV)划分为一组矩形关注区(ROI)：举例来说，8×6个ROI。
(a)在透镜位置从位置“0”改变为位置“255”(假定总共256个透镜位置)时捕获一组n个图像。可使用8个不均匀(如上文定义)或11个均匀透镜位置。
(b)基于每一ROI的所述组n个估计的对焦量度值(对应于n个所捕获图像)，确定每一ROI的最佳透镜位置(对应于最佳对焦)。
(c)使用透镜位置与物距之间的关系(作为例如LUT而可用)，可估计每一ROI的深度(或Z距离)且随后产生总体深度图。
所产生深度图的精细度或粗糙度水平可取决于以下因素：
(a)在相机视场(FOV)内定义的关注区(ROI)的数目：这确定了XY(图像)平面中的深度图分辨率。
(b)所捕获图像的数目(对应于透镜位置的数目)：这确定了Z方向上的深度图分辨率(深度/Z距离分辨率)。
下文在表Ⅱ中展示粗略深度图的实例：
16 8 8 8 8 80 80 80
21 80 80 80 80 80 80 80
  80   80   80   80   80   80   80   80
  80   80   80   80   80   80   60   60
  80   80   80   80   60   60   50   50
  80   80   80   80   20   20   50   50
如从此深度图所见，大部分ROI处于约80cm处。更具体来说，相机的视场中的中心区域在约80cm处。
在此情况下，由于中心区域相对靠近相机，如下促进了闪光/不闪光选择：应在低照度条件下使用闪光灯。
如图9所示，展示每一ROI的最佳透镜位置。将此透镜位置用以基于所存储的图12中的数据点来确定距离。在此实例中，每一关注区的量和大小是预定义的，且此处展示为25的量且每一关注区的大小相同。然而，也可采用不同量和不同大小的区，例如围绕视场中心的较小区和围绕周边的较大区(或反之亦然)，或任何其它合适的配置。另外，在此实例中，基于对焦量度信息确定每一关注区的最佳透镜位置包含：确定所捕获图像的每一关注区的对焦量度信息，确定每一关注区和在下一透镜位置处捕获的下一图像的下一对焦量度信息，确定在接下来的透镜位置处的额外接下来的图像中的每一关注区的额外接下来的对焦信息，直到所述组透镜位置为空为止。当这正在发生时，每一后续方法包含将每一关注区和每一所捕获图像的对焦量度信息与先前所捕获关注区和先前所捕获图像进行比较，且将特定关注区的较好或较高量度存储在深度图中。由此，更新深度图的内容以使得较不清晰的关注区的量度被对应关注区的较高清晰度量度替代，直到所述组的所有图像已经评估为止。深度图虽然被展示为包含多片信息，但可仅存储图像的每一关注区的最佳透镜位置之集合。
图10说明用于使用不均匀透镜位置产生深度图的方法。在此实例中，深度图产生逻辑602通过(例如)经由设备中的可编程寄存器存取预存储的制造数据来辨识相机的特定透镜类型1000。一旦已确定透镜类型，便可使用透镜类型信息从存储器存取特定组的不均匀透镜位置数据。举例来说，可使用查找表来将透镜类型数据转换为透镜位置。
一旦已识别了特定组的不均匀透镜位置数据，方法就类似于上文关于使用均匀透镜位置信息所描述的那样。举例来说，如步骤1004中所示，方法包含基于不均匀透镜焦点位置数据而将透镜配置或移动到不均匀透镜位置。如步骤1006中所示，随后捕获对应图像，且随后确定图像中的关注区的对焦清晰度信息133，如框806中所示。如框1010中所示，方法包含确定是否已将所有透镜位置用以捕获图像。如果否，那么方法包含如步骤1012中所示将透镜移动到对应于下一透镜位置数据点的下一位置。然而，如果已捕获对应于所述组透镜位置的所有图像，那么方法包含确定所有图像的所有关注区的透镜位置，如框810中所示。这可包含例如在每一相应图像已被捕获之后确定每一图像的每一关注区的清晰度信息，且随后如果已获得与同一关注区相关联的较高量度则重写存储器中的量度(如果在深度图中)。如框812中所示，方法包含如上文所述产生深度图。
图11说明系统1100的一个实例，其包含帧信息传输装置1102(例如设备100)和帧信息接收装置1104。传输装置可为例如相机手机或任何其它合适装置，且接收装置1104可为另一相机手机、数字电视、桌上型计算机、膝上型计算机或任何其它合适装置。在此实例中，传输装置(也可为接收装置)使用例如JPEG编码逻辑148(见图4)用例如JPEG压缩算法或任何其它合适压缩算法(例如用于动画的MPEG)来压缩最终帧或其部分。随后传输所存储的深度图604(即，表示表Ⅱ中的数据的数据)和经编码帧198以传达至接收装置1104。这可包含(例如)通过例如因特网的网络或以任何合适方式无线地传达信息。另外，经压缩的帧信息可为经压缩的完整帧，或帧的经压缩行，或多个帧的信息或任何其它合适的经压缩帧信息。通过使用高得多数目的ROI和高得多数目的透镜位置，可沿着所有三个XYZ轴以高得多的分辨率创建深度图。这可用以产生3D图像数据。深度图数据可附加到经压缩或未经压缩的2D图像数据且随后可一起传输。
接收装置1104包含对应的解压缩器1106、3D图像产生器1108和(如果需要)显示器1110。在操作中，接收装置接收经压缩帧信息198和对应深度图604，且使用对应解压缩算法(对应于用以压缩信息的压缩算法)解压缩经压缩的帧信息198。经解压缩的帧信息1112随后连同深度图信息604一起被提供到3D图像产生器，例如3D图形处理器或任何其它合适结构。如虚线箭头1114所示，深度图也可被压缩且随后被解压缩以供3D图像产生器1108使用。3D图像产生器可随后使用解压缩的帧信息和深度图信息，以便基于此信息产生3D图像。深度图604是如上所述的基于单个相机的深度图604，其中利用单个相机来基于如上所述的均匀或不均匀透镜位置拍摄帧序列。
已仅为了说明和描述而不是限制的目的呈现了上文对本文描述的本发明和实例的详细描述。因此预期本发明涵盖属于上文揭示和本文主张的根本原理的精神和范围内的任何和所有修改、变化或均等物。

Claims (16)

1.一种方法，其包括：
使用数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像；
确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息；
基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置；
基于所述最佳透镜位置产生深度图；以及
基于所述产生的深度图执行图像产生操作。
2.根据权利要求1所述的方法，其中所述透镜位置数据包括所存储的预定不均匀透镜位置数据。
3.根据权利要求1所述的方法，其中执行所述图像产生操作包括以下各项中的至少一者：对于最终图像捕获，控制所述透镜以对焦于特定关注区上；控制图像颜色产生；和控制闪光灯操作。
4.根据权利要求1所述的方法，其中捕获对应于基于所述透镜位置数据的一组透镜位置的一组图像包括：
在第一透镜位置处捕获图像；
选择选自所述透镜位置的下一透镜位置；
在所述下一透镜位置处捕获下一图像；以及
在额外的接下来的透镜位置处捕获额外的接下来的图像，直到所述组为空为止。
5.根据权利要求1所述的方法，其中每一关注区的量和大小是预定义的。
6.根据权利要求1所述的方法，其中基于所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置包括：
确定所捕获图像的每一关注区的对焦量度信息；
确定在选自所述透镜位置的下一透镜位置处捕获的下一图像中的每一关注区的下一对焦量度信息；
确定在额外的接下来的透镜位置处的额外的接下来的图像中的每一关注区的额外的接下来的对焦量度信息，直到所述组透镜位置为空为止；以及
比较每一所捕获图像中的每一关注区的对焦量度信息，且基于最有利的对焦量度信息而存储每一关注区的最佳透镜位置。
7.根据权利要求1所述的方法，其中基于所述最佳透镜位置产生深度图包括存储图像的每一关注区的一组最佳透镜位置。
8.一种设备，其包括：
单个数码相机，其操作以使用基于透镜位置数据的多个透镜位置捕获一组图像；以及
深度图产生逻辑，其操作以确定所述组的每一图像中的每一关注区的对焦量度信息，且基于所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置，且基于所述对焦量度信息产生深度图。
9.根据权利要求8所述的设备，其包括：
存储器，其含有透镜位置数据；以及
逻辑，其操作以基于所述产生的深度图来执行图像产生操作。
10.根据权利要求8所述的设备，其包括压缩器，所述压缩器操作以压缩最终帧的帧信息，且其中所述设备操作以将所述经压缩帧信息和对应的深度图传输到远程装置。
11.根据权利要求8所述的设备，其中所述深度图产生逻辑操作以：
确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息；
基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置；
且其中所述设备包括操作以基于所述产生的深度图执行图像产生操作的逻辑。
12.一种系统，其包括：
第一设备，其包括：
单个数码相机，其操作以使用基于透镜位置数据的多个透镜位置捕获一组图像以产生深度图；
深度图产生逻辑，其操作以确定所述组的每一图像中的关注区中的每一者的对焦量度信息，且基于所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置，且基于所述对焦量度信息产生所述深度图；
压缩器，其操作以压缩最终帧的帧信息，且其中所述设备操作以将所述经压缩帧信息和所述深度图传输到第二装置；
所述第二设备包括：
解压缩器，其操作以解压缩所述经压缩帧信息；以及
三维图像产生器，其操作以使用所述经解压缩帧信息和所述深度图产生三维图像。
13.根据权利要求12所述的系统，其包括：
存储器，其含有透镜位置数据；以及
逻辑，其操作以基于所述产生的深度图来执行图像产生操作。
14.根据权利要求13所述的设备，其包括压缩器，所述压缩器操作以压缩最终帧的帧信息，且其中所述设备操作以将所述经压缩帧信息和对应的深度图传输到远程装置。
15.根据权利要求13所述的设备，其中所述深度图产生逻辑操作以：
确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息；
基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置；
且其中所述设备包括操作以基于所述产生的深度图执行图像产生操作的逻辑。
16.一种方法，其包括：
使用第一设备的数码相机捕获对应于基于透镜位置数据的一组透镜位置的一组图像；
确定所述组的每一图像中的多个关注区中的每一者的对焦量度信息；
基于来自所述组中的所述图像的所述对焦量度信息确定所述关注区中的每一者的最佳透镜位置；
基于所述最佳透镜位置产生深度图；
压缩由所述相机捕获的最终图像；
将所述经压缩最终图像和所述深度图发送到第二设备；
由所述第二设备解压缩所述最终图像；以及
显示使用经解压缩帧信息和所述深度图产生的三维图像。
CN2008801227570A 2007-12-27 2008-12-29 具有深度图产生的方法和设备 Active CN101918893B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/964,992 US8233077B2 (en) 2007-12-27 2007-12-27 Method and apparatus with depth map generation
US11/964,992 2007-12-27
PCT/CA2008/002298 WO2009082822A1 (en) 2007-12-27 2008-12-29 Method and apparatus with depth map generation

Publications (2)

Publication Number Publication Date
CN101918893A true CN101918893A (zh) 2010-12-15
CN101918893B CN101918893B (zh) 2012-07-18

Family

ID=40797773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801227570A Active CN101918893B (zh) 2007-12-27 2008-12-29 具有深度图产生的方法和设备

Country Status (6)

Country Link
US (1) US8233077B2 (zh)
EP (2) EP2238507A4 (zh)
JP (1) JP5226805B2 (zh)
KR (3) KR20120119920A (zh)
CN (1) CN101918893B (zh)
WO (1) WO2009082822A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634588A (zh) * 2012-08-27 2014-03-12 联想(北京)有限公司 一种影像构成方法及电子设备
CN103874951A (zh) * 2011-10-11 2014-06-18 奥林巴斯株式会社 对焦控制装置、内窥镜系统和对焦控制方法
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
CN105721853A (zh) * 2014-11-24 2016-06-29 奥多比公司 用于深度图生成的数码相机的配置设置
CN106060521A (zh) * 2016-06-21 2016-10-26 英华达（上海）科技有限公司 深度影像建构方法及系统
CN107093193A (zh) * 2015-12-23 2017-08-25 罗伯特·博世有限公司 用于借助摄像机构建深度图的方法
CN107851322A (zh) * 2015-07-13 2018-03-27 皇家飞利浦有限公司 用于为图像确定深度图的方法和装置
CN110121023A (zh) * 2018-02-06 2019-08-13 宏达国际电子股份有限公司 影像处理方法、电子装置及非暂态电脑可读取存储媒体
CN113298694A (zh) * 2020-10-12 2021-08-24 黑芝麻智能科技(重庆)有限公司 用于深度图生成的具有闪光灯的多相机系统

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154647B2 (en) * 2008-03-05 2012-04-10 Applied Minds, Llc Automated extended depth of field imaging apparatus and method
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101206895B1 (ko) * 2008-12-22 2012-11-30 한국전자통신연구원 렌더링 시스템 및 이를 이용한 데이터 처리 방법
TW201101799A (en) * 2009-06-17 2011-01-01 Altek Corp Digital image sharpening treatment method and its system thereof
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP2011147067A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置及び方法、並びにプログラム
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN102438153B (zh) * 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
US9025019B2 (en) 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
TW201219740A (en) * 2010-11-04 2012-05-16 Quanta Comp Inc Method and apparatus for measuring Depth of Field
WO2012063449A1 (ja) * 2010-11-08 2012-05-18 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
CN102486603A (zh) * 2010-12-01 2012-06-06 广达电脑股份有限公司 景深测量装置及景深测量方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
WO2013058735A1 (en) 2011-10-18 2013-04-25 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US8660362B2 (en) 2011-11-21 2014-02-25 Microsoft Corporation Combined depth filtering and super resolution
US9161010B2 (en) * 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
FR2985140B1 (fr) * 2011-12-22 2014-08-29 Commissariat Energie Atomique Capteur de vision tridimensionnelle integre
US9473702B2 (en) 2011-12-23 2016-10-18 Nokia Technologies Oy Controlling image capture and/or controlling image processing
KR20130102400A (ko) * 2012-03-07 2013-09-17 삼성전자주식회사 티오에프 센서 및 티오에프 카메라
JP6063634B2 (ja) * 2012-03-29 2017-01-18 オリンパス株式会社 焦点調節装置
US9857919B2 (en) * 2012-05-17 2018-01-02 Hong Kong Applied Science And Technology Research Wearable device with intelligent user-input interface
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP2698979B1 (de) * 2012-08-16 2017-05-03 Wincor Nixdorf International GmbH Vorrichtung und Verfahren zum Präsentieren von Objekten
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
FR2996925B1 (fr) 2012-10-17 2017-06-16 Office Nat D Etudes Et De Rech Aerospatiales Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US8908063B2 (en) * 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
US9134114B2 (en) 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US20140358298A1 (en) * 2013-05-31 2014-12-04 DWFritz Automation, Inc. Alignment tool
KR102124601B1 (ko) 2013-06-21 2020-06-19 삼성전자주식회사 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법
US9847082B2 (en) * 2013-08-23 2017-12-19 Honeywell International Inc. System for modifying speech recognition and beamforming using a depth image
US9973677B2 (en) * 2013-10-14 2018-05-15 Qualcomm Incorporated Refocusable images
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
KR102149463B1 (ko) 2014-02-19 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
US9418432B2 (en) 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
WO2015183824A1 (en) * 2014-05-26 2015-12-03 Pelican Imaging Corporation Autofocus system for a conventional camera that uses depth information from an array camera
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9824427B2 (en) * 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
CN106610553B (zh) * 2015-10-22 2019-06-18 深圳超多维科技有限公司 一种自动对焦的方法及装置
EP3185209B1 (en) * 2015-12-23 2019-02-27 STMicroelectronics (Research & Development) Limited Depth maps generated from a single sensor
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
CA2958766C (en) * 2016-02-25 2018-01-02 Synaptive Medical (Barbados) Inc. System and method for scope based depth map acquisition
US10277889B2 (en) 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
JP6838994B2 (ja) * 2017-02-22 2021-03-03 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
FR3074385B1 (fr) 2017-11-28 2020-07-03 Stmicroelectronics (Crolles 2) Sas Commutateurs et reseau d'interconnexion photonique integre dans une puce optoelectronique
US10609274B2 (en) 2018-03-30 2020-03-31 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
US10582111B2 (en) * 2018-03-30 2020-03-03 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
US11682107B2 (en) * 2018-12-14 2023-06-20 Sony Corporation Depth of field adjustment in images based on time of flight depth maps
EP4000247A4 (en) * 2019-07-18 2023-08-30 GoPro, Inc. RECONFIGURABLE LENS ASSEMBLY CAMERA
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
US11094041B2 (en) 2019-11-29 2021-08-17 Samsung Electronics Co., Ltd. Generation of bokeh images using adaptive focus range and layered scattering
WO2021107384A1 (en) * 2019-11-29 2021-06-03 Samsung Electronics Co., Ltd. Generation of bokeh images using adaptive focus range and layered scattering
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
GB202015901D0 (en) * 2020-10-07 2020-11-18 Ash Tech Limited System and method for digital image processing
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0560528A (ja) * 1991-09-03 1993-03-09 Hitachi Ltd 立体情報入力装置
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
EP0928460B1 (en) * 1997-07-29 2003-01-29 Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
US6128071A (en) * 1998-06-04 2000-10-03 Canon Kabushiki Kaisha Range data recordation
JP3851027B2 (ja) 1999-08-27 2006-11-29 株式会社リコー オートフォーカス装置およびカメラ
JP2001257932A (ja) 2000-03-09 2001-09-21 Denso Corp 撮像装置
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7639838B2 (en) 2002-08-30 2009-12-29 Jerry C Nims Multi-dimensional images system for digital image input and output
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP3927934B2 (ja) * 2003-09-02 2007-06-13 キヤノン株式会社 撮像装置および撮像装置のフォーカス制御方法
JP4496463B2 (ja) 2004-03-29 2010-07-07 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP2006058572A (ja) * 2004-08-19 2006-03-02 Fujitsu Ltd 電子機器および撮影モードの切り替え方法並びに撮影モードの切り替え用ソフトウェアプログラム
JP2006119550A (ja) * 2004-10-25 2006-05-11 Canon Inc 自動焦点調節装置および撮像装置
FR2887347B1 (fr) 2005-06-17 2007-09-21 Canon Res Ct France Soc Par Ac Procede et dispositif de construction d'une carte de profondeur d'une image numerique
DE102005034597A1 (de) * 2005-07-25 2007-02-08 Robert Bosch Gmbh Verfahren und Anordnung zur Erzeugung einer Tiefenkarte
GB2430095B (en) * 2005-09-08 2010-05-19 Hewlett Packard Development Co Image data processing method and apparatus
US7821570B2 (en) 2005-11-30 2010-10-26 Eastman Kodak Company Adjusting digital image exposure and tone scale
CN101071251B (zh) * 2006-05-11 2010-09-22 致伸科技股份有限公司 评估自动聚焦最少有效采样点的方法
TWI314832B (en) * 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103874951A (zh) * 2011-10-11 2014-06-18 奥林巴斯株式会社 对焦控制装置、内窥镜系统和对焦控制方法
CN103874951B (zh) * 2011-10-11 2016-08-24 奥林巴斯株式会社 对焦控制装置、内窥镜系统和对焦控制方法
CN103634588A (zh) * 2012-08-27 2014-03-12 联想(北京)有限公司 一种影像构成方法及电子设备
TWI494792B (zh) * 2012-09-07 2015-08-01 Pixart Imaging Inc 手勢辨識系統及方法
CN105721853B (zh) * 2014-11-24 2019-04-05 奥多比公司 生成图像捕获指令的方法、系统和计算机可读存储设备
CN105721853A (zh) * 2014-11-24 2016-06-29 奥多比公司 用于深度图生成的数码相机的配置设置
KR102660109B1 (ko) 2015-07-13 2024-04-24 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵을 결정하기 위한 방법 및 장치
CN107851322A (zh) * 2015-07-13 2018-03-27 皇家飞利浦有限公司 用于为图像确定深度图的方法和装置
CN107093193A (zh) * 2015-12-23 2017-08-25 罗伯特·博世有限公司 用于借助摄像机构建深度图的方法
CN106060521B (zh) * 2016-06-21 2019-04-16 英华达（上海）科技有限公司 深度影像建构方法及系统
CN106060521A (zh) * 2016-06-21 2016-10-26 英华达（上海）科技有限公司 深度影像建构方法及系统
CN110121023A (zh) * 2018-02-06 2019-08-13 宏达国际电子股份有限公司 影像处理方法、电子装置及非暂态电脑可读取存储媒体
CN110121023B (zh) * 2018-02-06 2021-01-22 宏达国际电子股份有限公司 影像处理方法、电子装置及非暂态电脑可读取存储媒体
CN113298694A (zh) * 2020-10-12 2021-08-24 黑芝麻智能科技(重庆)有限公司 用于深度图生成的具有闪光灯的多相机系统
CN113298694B (zh) * 2020-10-12 2023-08-08 黑芝麻智能科技(重庆)有限公司 用于深度图生成的具有闪光灯的多相机系统

Also Published As

Publication number Publication date
EP2238507A4 (en) 2011-04-20
JP5226805B2 (ja) 2013-07-03
KR20100102186A (ko) 2010-09-20
US8233077B2 (en) 2012-07-31
KR101554639B1 (ko) 2015-09-21
EP2238507A1 (en) 2010-10-13
WO2009082822A1 (en) 2009-07-09
CN101918893B (zh) 2012-07-18
US20090167923A1 (en) 2009-07-02
JP2011508268A (ja) 2011-03-10
KR20120119920A (ko) 2012-10-31
EP2934000B1 (en) 2017-11-15
KR20140072114A (ko) 2014-06-12
EP2934000A1 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
CN101918893B (zh) 具有深度图产生的方法和设备
US8724013B2 (en) Method and apparatus with fast camera auto focus
CN110493538B (zh) 图像处理方法、装置、存储介质及电子设备
CN101534393B (zh) 对象图像检测装置、其控制方法及电子设备
JP2011508268A5 (zh)
CN101515998B (zh) 图像处理装置、图像处理方法
JP4450783B2 (ja) 撮影装置
CN101248409B (zh) 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备
CN109691080B (zh) 拍摄图像方法、装置和终端
CN109729272B (zh) 一种拍摄控制方法、终端设备及计算机可读存储介质
CN103190144A (zh) 兴趣区提取
CN109040523B (zh) 伪影消除方法、装置、存储介质及终端
US20140126819A1 (en) Region of Interest Based Image Registration
CN103888667B (zh) 摄像设备及其控制方法
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
JP2016081466A (ja) 画像処理装置、画像処理方法及びプログラム
CN105391940A (zh) 一种图像推荐方法及装置
CN113747067B (zh) 拍照方法、装置、电子设备及存储介质
KR102609734B1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
US20100128141A1 (en) Method and apparatus for determining similarity between images
CN114286011B (zh) 对焦方法和装置
CN112637588B (zh) 检测摄像头污损的方法、装置和电子设备
CN113989387A (zh) 相机拍摄参数调整方法、装置及电子设备
CN114125226A (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN114979607B (zh) 图像处理方法、图像处理器及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant