CN113545030B - 通过移动相机自动生成全焦图像的方法、用户设备以及系统 - Google Patents

通过移动相机自动生成全焦图像的方法、用户设备以及系统 Download PDF

Info

Publication number
CN113545030B
CN113545030B CN202080019378.XA CN202080019378A CN113545030B CN 113545030 B CN113545030 B CN 113545030B CN 202080019378 A CN202080019378 A CN 202080019378A CN 113545030 B CN113545030 B CN 113545030B
Authority
CN
China
Prior art keywords
camera
image
focus
autofocus lens
focal lengths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080019378.XA
Other languages
English (en)
Other versions
CN113545030A (zh
Inventor
嗣博·罗伯特·洪
娄颖晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202310955446.9A priority Critical patent/CN116939364A/zh
Publication of CN113545030A publication Critical patent/CN113545030A/zh
Application granted granted Critical
Publication of CN113545030B publication Critical patent/CN113545030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

本公开描述旨在通过移动装置的相机，特别是具有浅景深的相机产生全焦图像的系统和技术。用户设备包括用于确定与相机视场中的对象的距离的传感器。基于所述视场的深度图推断多个分段，每个分段限定所述相机视场内的独特聚焦区域。所述相机的自动对焦镜头扫描到与所述多个分段中的每一个分段相关联的相应焦距。所述相机在由所述自动对焦镜头扫描的每个焦距处捕获样本图像。所述用户设备通过组合或合并所捕获样本图像的部分来产生全焦图像。

Description

通过移动相机自动生成全焦图像的方法、用户设备以及系统
背景技术
移动装置中的相机往往具有由每个相机所在的移动装置的形状因子造成的短焦距。为了即使具有短焦距也能提供优异的成像，移动装置中的许多相机(移动相机)使用浅景深，这允许窄聚焦图片，同时允许在软化场景的其它部分时对合焦的对象进行锐化。这种质量使得移动相机非常适合于产生人像和艺术摄影，其质量可以与数码单反(DSLR)相机媲美。这种质量也为移动相机提供广泛的消费者吸引力。
但是，浅景深阻碍其它种类的摄影，例如风景摄影、医疗成像，生物特征成像、商业摄影等，其中获得清晰的“全焦(all-in-focus)”图片比聚焦在场景的单个区域或对象更为理想。高质量全焦图像包括多个清晰聚焦的区域或感兴趣的对象，而不仅仅是一个，即使一些区域的焦距不同也是这样。但是，事实证明，使用具有浅景深的移动相机技术生成全焦图像非常困难，特别是考虑到对快速响应用户体验的期望更是如此。
发明内容
本公开描述了用于通过移动相机自动地生成全焦图像的技术和系统。尽管具有浅景深的移动相机，但是所述技术和系统使用户设备(例如，移动电话、平板计算机)能够捕获全焦图像。用户设备的相机使用来自深度传感器、对比度传感器或相位检测传感器的信息将图像分割成焦距集合(有时也称为“深度”)。每个焦距对应于不同聚焦区域或感兴趣的对象。移动相机通过选择性地扫描移动相机的自动对焦镜头，例如由音圈电机(VCM)或微机电(MEMS)磁性致动器驱动的镜头来捕获该焦距集合中的每个焦距处的图像。将集合中的每个图像的各个聚焦区域组合以形成单个全焦图像，所述全焦图像在单个图片或场景中将多个聚焦区域组合在一起。为了提高移动相机的性能并确保移动相机尽快产生全焦图像，移动相机可以减少自动对焦镜头的扫描时间。利用已经拍摄的图像的缓冲器来促进零快门延迟(ZSL)，移动相机可以选择性地避免扫描到与缓冲器中的现有图像相关联的特定焦距或深度。移动相机将先前缓冲的图像的各个聚焦区域与在不同焦距或深度处拍摄的新捕获的图像的各个聚焦区域组合，以产生单个全焦图像。因此，可以改进移动相机成像。
因此，尽管移动相机存在局限性，包括浅景深，但是所述技术和系统实现全焦图像的自动生成。使用所描述系统和技术的用户设备仍然能够拍摄与通过DSLR拍摄的图像相当的窄聚焦图像。使用这些技术，即使具有浅景深的相同用户设备也可以以清晰可分辨的视图拍摄具有多个聚焦区域或感兴趣的对象的全焦风景和其它图片。
在一些方面，描述了用于通过用户设备的相机(当相机与移动计算装置集成时称为“移动相机”)产生全焦图像的方法。所述方法包括：基于传感器数据推断多个分段，每个分段限定移动相机的视场内的独特聚焦区域；维持与所述多个分段中的不同分段相对应的焦距集合；将移动相机的自动对焦镜头扫描到来自所述焦距集合的一个或多个焦距；以及在来自由自动对焦镜头扫描的所述焦距集合的所述一个或多个焦距中的每一个焦距处捕获样本图像。所述方法还包括将在由自动对焦镜头扫描的所述一个或多个焦距处捕获的样本图像中的至少一个样本图像与另一图像组合以产生全焦图像；以及输出全焦图像的指示以供显示。
本文档还描述了具有用于执行上述方法以及本文中阐述的其它方法的指令的计算机可读介质，以及用于执行这些方法的系统和构件。
提供本发明内容以介绍下文在具体实施方式和附图中进一步描述的用于通过移动相机自动地生成全焦图像的简化概念。本概述并非旨在标识所要求主题的基本特征，也不旨在用于确定所要求主题的范围。
附图说明
在本文档中参考以下附图描述通过移动相机自动地生成全焦图像的一个或多个方面的细节。在整个附图中，相同的数字用于指代相同的特征和组件：
图1说明了其中可以实施用于通过移动相机自动地生成全焦图像的技术的示例环境。
图2说明了图1中阐述的用户设备的示例。
图3说明了图2中阐述的相机系统的示例。
图4说明了图1和图2中阐述的相机模块的示例。
图5说明了图4中阐述的全焦模块的示例处理序列。
图6-1到图6-9说明了用于显示的示例屏幕截图输出，以及当使用移动相机自动地产生全焦图像时捕获的图像样本。
图7和图8说明了用于通过移动相机自动地生成全焦图像的示例方法。
具体实施方式
本文档描述实现通过移动相机产生全焦图像的技术和系统。除了适合于产生使场景中的特定区域或感兴趣的对象锐化的窄聚焦图片之外，移动相机通常无法创建全焦图像。使用具有浅景深的移动相机技术生成全焦图像(不同焦距处的物体或区域都处于合焦状态的图像)非常困难(如果有可能的话)，特别是考虑到对快速响应用户体验的期望。
为了使移动相机能够创建全焦图像，描述了包括深度传感器、对比度传感器或相位检测传感器的用户设备。例如，用户设备可以包括移动相机，所述移动相机包括用于支持增强现实或面部识别的深度传感器。同样，相位检测传感器和对比度传感器通常可以集成到移动相机中，以执行相位检测或对比度检测自动对焦。在一些示例中，不集成到移动相机中的传感器可以用于生成传感器数据，以构建如下文描述的深度图。作为一个示例，通过将移动相机和基于雷达的输入系统的视场对准，用户设备的雷达系统可以生成传感器数据，所述传感器数据用于创建移动相机的视场的深度图或三维透视图。
基于传感器数据，用户设备产生深度图或到移动相机的视场中的对象的距离的其它表示。深度图指示与场景的不同部分相关联的焦距。视场可以被概念化为二维网格，网络中的每个点由视场内的独特一对水平位置和竖直位置限定。深度图限定移动相机与视场内存在于水平和竖直位置处的现实世界感兴趣的对象之间的焦距。深度图可以仅包含视场的一部分，或者深度图可以包括整个视场，从而指定视场内到存在于任何水平或竖直位置处的任何现实世界感兴趣的对象的焦距。通过表示到视场中的不同对象的距离，深度图可以被视为指示一个或多个“分段”，每个分段与视场的区域相关联或限定视场的区域，每个区域与不同焦距相关联。
从传感器数据和所得深度图推断多个分段。例如，每个分段与移动相机的视场内的独特聚焦区域相关联。推断独特聚焦区域内的每个位置包括在相似焦距处的感兴趣的对象。例如，当两个人在移动相机的视场中时，所述多个分段可以包括每个人的分段、人后方的对象的分段，以及移动相机与人之间的对象的分段。每个分段与所述分段的焦距相关联。焦距可以是平均焦距、最大焦距、最小焦距，或在分段内的位置处的不同焦距的某种其它概括。
为了创建全焦图像，移动相机的自动对焦镜头扫描到与所述多个分段中的每一个分段相关联的相应焦距。继续两人示例，自动对焦镜头扫描到与所述两个人、前景对象和背景对象的分段相关联的焦距。
移动相机在由自动对焦镜头扫描的每个焦距处捕获样本图像。在第一人的分段的焦距处，移动相机捕获第一人是视场中最合焦对象的图像。在另一人的分段的焦距处，移动相机捕获另一人是视场中最合焦对象的图像。移动相机也分别扫描到前景对象和背景对象的位置，从而捕获前景对象和背景对象的合焦图片，其中当自动对焦镜头扫描到每一个对象的相应分段的焦距时，每个对象最合焦。
用户设备通过组合所捕获样本图像的部分来产生全焦图像。在每个不同的自动对焦镜头位置处拍摄的图像进行叠层、混合或以其它方式合并在一起，因此每个图像的相应合焦部分比图像的其它相应部分更可见。
用户设备可以输出全焦图像或图像的指示，以显示给用户设备的用户。例如，相机用户界面可以包括引导移动相机拍摄或不拍摄全焦图片的可选择选项。响应于确定选择全焦图像模式，用户设备在用户输入了捕获命令时自动地生成全焦图像。
这些仅是所描述的技术和系统可以如何用于通过移动相机自动地生成全焦图像的几个示例。本文档中描述其它示例和实施方案。
图1说明了其中可以实施用于通过移动相机自动地生成全焦图像的技术的示例环境100。环境100包括持有用户设备102的用户114拍摄场景118的图片。在图1的示例中，场景118是以高高的太阳和飞机为背景的山脉。在场景118的下半部分还可见在山脉前方距离用户设备102不同距离处的两个人。
用户设备102(有时也称为计算装置)可以是具有相机的任何类型的移动或非移动计算装置，尽管所述技术主要在移动装置上下文中描述。作为移动计算装置，用户设备102可以是移动电话、膝上型计算机、可穿戴装置(例如，手表、眼镜、耳机、衣服)、平板计算机装置、汽车/车载装置、便携式游戏装置、电子阅读器装置，或遥控装置，或其它移动计算装置。作为非移动计算装置，用户设备102可以是门铃、恒温器、冰箱、安全系统、台式计算机、电视装置、显示装置、娱乐机顶装置、流媒体装置、桌面助理装置、非便携式游戏装置、商务会议装置，或具有相机的其它非移动计算装置。
用户设备102包括一个或多个传感器104、包括显示器108的用户界面装置106、相机110和相机模块112。用户设备102的这些和其它组件以各种方式，包括通过有线和无线总线和链路通信地耦合。计算装置100可以包括比图1中所示更多或更少的组件。
用户界面装置106管理到用户设备102的用户界面的输入和输出，例如与由相机模块112管理的相机界面116相关联的输入和输出，以控制相机110拍摄图片或记录影片。例如，用户界面装置106可以从相机模块112接收指令，所述指令使显示器108呈现相机界面116。响应于呈现相机界面116，用户界面装置106可以向相机模块112发送关于由用户界面装置106检测到的与相机界面116相关的用户输入的信息。
显示器108可以由任何合适的显示技术，包括LED、OLED和LCD技术制成。显示器108可以充当用于显示相机界面116的输出装置，以及用于检测与相机界面116相关联的用户输入的输入装置两者。例如，显示器108可以是存在敏感屏幕(例如，触摸屏)，所述存在敏感屏幕生成关于在显示器108的各个位置处或附近检测到的用户输入的信息。用户界面装置106可以包括基于雷达的手势检测系统、基于红外的手势检测系统，或基于光学的手势检测系统。
相机110被配置成将个别或一连串(a burst of)的静止图像捕获为图片或将运动图像记录为影片(这是另一连串更长的静止图像连拍)。相机110可以包括单个相机或多个相机。相机110可以是前置相机，所述前置相机被配置成从显示器108的角度捕获静止图像或记录移动图像。相机110可以是后置或侧置相机，所述后置或侧置相机被配置成从与显示器108的角度不同的替代角度捕获静止图像或记录移动图像。
相机110可以具有短焦距，例如其它移动相机那样，从而为相机110提供浅的总景深。浅的总景深使相机110能够创建在特定感兴趣的对象上锐化的窄聚焦图片，从而使相机110非常适合于产生人像和艺术摄影，以与DSLR和其它类型的相机设备媲美。但是，相机110的浅景深可能阻碍用户设备102的其它种类的摄影，例如风景摄影、医疗成像，生物特征成像、商业摄影等，其中获得清晰的“全焦”图片比聚焦在场景118的单个区域或对象更为理想。
相机模块112控制相机110和相机界面116。相机模块112可以是在用户设备102处执行的操作系统的一部分。在其它示例中，相机模块112可以是在由操作系统提供的应用环境或“框架”内执行的单独组件(例如，应用)，或者部分或全部作为驱动器或其它低级例程执行的单独组件(例如，应用)。相机模块112可以用硬件、软件、固件，或它们的组合实施。用户设备102的处理器可以执行存储于用户设备102的存储器中的指令，以实施关于相机模块112描述的功能。
相机模块112与相机110和用户界面装置106交换信息，以使显示器108呈现相机界面116。响应于与相机界面116相关联的用户输入，相机模块112处理用户输入以调整或管理相机界面116。图1示出了相机界面116，所述相机界面包括用于通过相机110拍摄静止照片或视频的相机取景器。响应于在显示器108的显示与相机界面116相关联的图形按钮的位置处检测到输入，相机模块112接收关于检测到的输入的信息。相机模块112处理检测到的输入，并且响应于确定来自输入的捕获命令，相机模块112发送信号，所述信号使相机110捕获在相机110的视场内的场景118的图像。
所述一个或多个传感器104通常获得指示用户设备102的物理操作环境或用户设备102的周围环境的上下文信息。关于生成全焦图像，传感器104生成指示相机110与在相机110视场内的场景118中的对象之间的距离的传感器数据。
相机110可以包括传感器104中的一个或多个传感器，或传感器104可以是用户设备102的单独组件。传感器104可以包括深度传感器、对比度传感器，或相位检测传感器，无论是作为单独的传感器，还是相机110内的集成传感器。传感器104的额外示例包括移动传感器、温度传感器、位置传感器、接近传感器、环境光传感器、红外点投影仪和红外传感器、湿度传感器、压力传感器等。
传感器104可以包括深度传感器，用于获得深度信息以支持面部识别。传感器104可以包括红外点投影仪和红外传感器，所述红外点投影仪和红外传感器被配置为深度传感器以确定在用户认证过程期间的脸部轮廓是否匹配授权用户的脸部轮廓。
在增强现实体验期间，传感器104可以抽象化相机110的视场中的物理环境。使用从传感器104获得的深度信息，用户设备102调整呈现在用户界面116上的虚拟对象，以看起来符合在视场的不同深度处的物理对象或特征。
传感器104可以包括相位检测传感器或对比度传感器。类似于深度传感器，相位检测传感器和对比度传感器通常集成到移动相机中，以执行相位检测自动对焦或对比度检测自动对焦。相位检测自动对焦是一种非常快速的自动对焦技术，它使用多个图像传感器对测试图像集合进行采样，然后调整相机的镜头元件，直到测试图像会聚并同相。相位检测自动对焦不同于对比度检测自动对焦。在对比度检测中，相机调整镜头以在图像的边缘处获得最大对比度。
基于由传感器104生成的传感器数据，相机模块112自动地将移动相机的视场分割成多个深度或焦距，其中所述多个深度或焦距中的每一个对应于来自场景118的不同区域或感兴趣的对象。相机模块112确定相机110的视场的深度图。深度图可以包括点阵列，其中每个点对应于相机110与在相机110的视场内的水平和竖直位置处可见的对象之间的焦距。相机模块112基于深度图自动地将相机110的视场分割成多个分段。
相机模块112细化深度图以改变深度图的保真度。使用较高保真度深度图会降低相机模块112的性能。与使用较低保真度深度图的情况相比，较高保真度深度图可能花费更多的处理时间和计算资源来生成全焦图像。
相机模块112降低深度图的保真度，从而将由深度图指示的深度归一化为比原始深度图中少的离散焦距。来自焦距集合的每个焦距对应于不同分段。或换句话说，相机模块112将深度图分割成离散量的焦距，这些焦距近似于将相机110和分段(例如，在相机的视场内的对应位置处可见的感兴趣的对象)分开的距离。如果深度图包括在0与100英尺之间的深度范围，则相机模块112可以将深度图归一化以仅指示：小于5英尺、小于50英尺，或大于或等于50英尺的深度。将深度图细化成具有足以指示上述三个离散间隔中的仅一个的保真度，而不是在1到100英尺的范围之间的深度。
相机模块112可以使用计算机模型，例如机器学习模型(例如，神经网络)或另一类型的模型，并且自动地将深度图分割成离散焦距集合。相机模块112可以将来自传感器104的传感器数据，或由传感器数据导出的深度图输入到相机模块112的模型中。所述模型进行训练或编程以输出精细深度图，其中将与视场中的邻近位置相关联的焦距归一化、平均化或以其它方式平滑化。精细深度图指示离散焦距集合，其中每个焦距对应于视场中的不同分段。相机模块112根据不同焦距将深度图分割成第一分段、第二分段等。可以以此方式从传感器数据推断多个分段，并且每个分段限定视场内的独特聚焦区域，或与视场内的独特聚焦区域相关联。第一分段包括第一近似值的焦距，第二分段中的位置具有与第一近似值不同的第二近似值的焦距等。最后，相机模块112维持焦距集合，其中所述集合中的每个焦距对应于场景118中的不同区域或感兴趣的对象。在图1的示例中，所述焦距集合包括深度图的每个分段的相应焦距，包括山脉、太阳、飞机以及距用户设备102不同距离的两个人中的每个人的相应焦距。
为了生成全焦图像，相机模块112引导相机110在从传感器数据和深度图导出的不同焦距中的每一个焦距处捕获图像。相机模块112使相机110的自动对焦镜头扫描通过所维持焦距中的一些或全部，并且在由自动对焦镜头扫描的每个焦距处捕获样本图像。相机模块112引导相机110聚焦在由深度图的推断分段指示的不同焦距中的每一个上，从而在每个焦距处停止的时间足够长以使相机110从该焦点捕获样本图像。
通过将在由自动对焦镜头扫描的每个焦距处捕获的样本图像的至少一部分组合，相机模块112产生全焦图像。相机模块112输出全焦图像的指示以供显示，所述全焦图像从将在不同焦距中的每一个焦距处采样的图像组合而产生。例如，相机模块112可以将在不同焦距中的每一个焦距处捕获的样本图像在彼此顶部上叠层。通过调整透明度或不透明度(例如，经由对样本图像的阿尔法通道调整)，相机模块112可以使不同焦距中的每一个焦距处的区域或感兴趣的对象显示为与其它焦距中的每一个焦距处的区域或感兴趣的对象一样清晰。
将散焦应用于全焦图像可以通过人工去模糊和聚焦混合进一步改进图像的美学外观。相机模块112可以将用户界面116内的全焦图像例如作为推荐图像、作为图库或编辑页面内的图像、作为响应于检测到捕获命令而拍摄的所捕获图像，或以其它方式输出。
以此方式，例如用户设备102的用户设备可以通过移动相机自动地生成全焦图像。使用指示移动相机的视场的深度信息，可以确定并且快速地扫描移动相机的不同自动对焦镜头位置，以生成聚焦在不同镜头位置中的每一个镜头位置处的图像。通过将每个采样图像的合焦部分组合成单个图像，用户设备形成移动相机的视场的全焦图像。因此，可以改进移动相机成像。
图2说明图1中阐述的用户设备102的示例200。图2的用户设备102通过各种示例装置说明，包括智能电话102-1、平板计算机102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统或控制器102-7、智能扬声器系统102-8，以及家用电器102-9。用户设备102还可以包括其它装置，例如电视机、娱乐系统、音频系统、汽车、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统，以及具有相机并且需要拍摄全焦图像的其它装置。
用户装置102包括：一个或多个计算机处理器202；一个或多个计算机可读介质204，在该一个或多个计算机可读介质内存储相机模块112和操作系统206；相机系统208，该相机系统包括相机110、传感器104、一个或多个通信和输入/输出(I/O)装置210；以及用户界面装置106，该用户界面装置包括显示器108和输入组件212。
所述一个或多个计算机处理器202和所述一个或多个计算机可读介质204是用户设备102的主要处理复合体，所述一个或多个计算机可读介质包括存储器介质和存储介质。相机模块112、操作系统206以及其它应用(未示出)可以实施为计算机可读介质204上的计算机可读指令，所述计算机可读指令可以由计算机处理器202执行以提供本文所描述的一些或全部功能，例如相机模块112(显示在计算机可读介质204内，尽管这不是必需的)的一些或全部功能。
所述一个或多个处理器202可以包括以下项的任何组合：一个或多个控制器、微控制器、处理器、微处理器、硬件处理器、硬件处理单元、数字信号处理器、图形处理器、图形处理单元等。处理器202可以是集成处理器和存储器子系统(例如，实施为“片上系统”)，其处理计算机可执行指令以控制用户设备102的操作。
计算机可读介质204被配置成可执行指令(例如，固件、恢复固件、软件、应用、模块、程序、功能等)和数据(例如，用户数据、操作数据)的持久性和非持久性存储，以支持可执行指令的执行。计算机可读介质204的示例包括易失性存储器和非易失性存储器、固定和可移动介质装置，以及维持可执行指令和支持数据的任何合适的存储器装置或电子数据存储装置。计算机可读介质204可以包括各种存储器装置配置中的随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器和其它类型的存储存储器的各种实施方案。计算机可读介质204不包括传播信号。计算机可读介质204可以是固态存储器(SSD)或硬盘驱动器(HDD)。
操作系统206可以与相机模块112分开。操作系统206可以包括相机模块112。操作系统206通常控制用户设备102的功能，包括用户界面装置106以及其它外围设备，例如通信和I/O装置210。操作系统206为应用提供执行环境，可以控制任务调度以及其它通用功能，并且通常通过系统级用户界面来实现。用户界面装置106管理对操作系统206以及在用户设备102处执行的其它应用和服务(包括相机模块112)的输入和输出。
用户界面装置106包括输入组件212。为了接收输入，用户界面装置106可以包括可操作地耦合到显示器108(或集成在显示器内)的存在敏感输入组件。输入组件212可以包括其它类型的输入或输出组件，包括麦克风、扬声器、鼠标、键盘、指纹传感器、相机、雷达或配置成从用户接收输入的其它类型的组件。用户界面装置106可以被配置成检测各种形式的用户输入，包括二维手势输入、三维手势输入、可听输入、传感器输入、视觉输入，以及其它形式的输入。输入组件212可以包括光学、红外线、压力敏感、存在敏感，或基于雷达的手势检测系统。
当配置为存在敏感的输入组件时，用户设备102的用户可以在显示器108呈现相机界面116时在显示器108处或附近提供二维或三维手势。响应于手势，用户界面装置106可以将信息输出到用户设备102的其它组件，以指示手势的相对位置(例如，X、Y、Z坐标)，并且使其它组件能够解释手势以控制相机界面116或呈现在显示器108上的其它界面。用户界面装置106可以基于由显示器108生成的信息而输出数据，例如相机模块112可以使用所述信息来控制相机110。
通信和I/O装置210提供除用户界面装置106之外的到用户设备102以及到其它装置和外围设备的附加连接。通信和I/O装置210包括数据网络接口，该数据网络接口提供装置和其它数据网络(例如，网状网络、外部网络等)、装置或远程计算系统(例如，服务器)之间的连接和/或通信链路。作为I/O装置，通信和I/O装置210可以用于将用户设备102耦合到各种不同类型的组件、外围设备或附件装置。通信和I/O装置210还可以包括用于接收数据的数据输入端口，所述数据包括图像数据、用户输入、通信数据、音频数据、视频数据等。作为通信装置，通信和I/O装置210能够在用户设备102与其它装置、计算系统和网络之间进行装置数据的有线或无线通信。通信和I/O装置210可以包括用于蜂窝电话通信或用于其它类型的网络数据通信的收发器。
相机系统208包括相机110以及其它相机相关的组件。相机系统208可以包括用于不同目的的多个相机，包括相机110。例如，相机系统208可以包括用于弱光成像的红外相机技术以及用于强光条件的光学相机。相机系统208可以包括面向第一方向的相机110以及面向其它方向的一个或多个其它相机，以提供较大总视场。这些多个相机可以具有不同视场。
图3说明了图2中阐述的相机系统208的示例300。相机系统208包括相机110、自动对焦镜头302、深度传感器304、相位检测传感器306和对比度传感器308。相机系统208可以通信地耦合到传感器104，以获得传感器数据来执行所描述技术。相机系统208可以包括除相机110外的一个或多个镜头、控制器，或其它组件。响应于来自相机模块112的命令，相机系统208将自动对焦镜头302扫描到不同焦距。自动对焦镜头302扫描到不同焦距，以用相机110捕获不同分段中的每一个分段的样本图像，其中所述不同分段是相机模块112根据深度图而识别出来的，所述深度图是由传感器104、304、306或308中的任何传感器生成的传感器数据所产生的。自动对焦镜头302可以是VCM镜头或MEMS磁致动器镜头。
图4说明了图1和图2中阐述的相机模块112的示例400。相机模块112包括镜头控制器402、全焦模块404和图像缓冲器406。
镜头控制器402控制图3中阐述的自动对焦镜头302。例如，当扫描不同焦距以创建全焦图像时，镜头控制器402通过向相机系统208发出命令或信号来将自动对焦镜头驱动到不同焦距。响应于从全焦模块404接收的信号或命令，镜头控制器402控制相机系统208。
图像缓冲器406可以是循环缓冲器。图像缓冲器406在连拍捕获序列期间存储先前捕获的图像，例如以减少快门延迟。快门延迟通常是自从触发相机快门(例如，按下捕获按钮)以来相机记录图像所花费的时间。理想地，相机110具有“零快门延迟”，以使相机110能够在相机模块112所命令的精确时刻捕获图像。
相机模块112监视与用户界面116的用户交互。在显示用户界面116时，相机模块112根据由用户界面装置106检测的用户输入在一个状态或另一状态下操作。当相机模块112确定响应于用户输入的捕获命令即将到来时(例如，相机模块112的下一状态包括捕获序列)，相机模块112可以将相机110置于零快门延迟模式。相机模块112引导相机系统208将相机110的视场的图像缓冲在图像缓冲器406处。相机模块112确定用户输入的时间，并且在检测到用户输入的同时或几乎同时输出记录在图像缓冲器406中的先前图像。例如，当取景器在用户界面116中可见时，相机模块112以连拍模式操作相机110，从而缓冲视场的快速图像序列(rapid-fire sequence of imagines)。就在检测到用户输入或以其它方式预测捕获命令即将到来之前，相机模块112启动连拍模式并且进行图像缓冲器406内的先前图像的快速捕获和缓冲。相机模块112可以执行状态机，并且当状态机的下一状态可以是其间发出捕获命令的状态时，相机模块112自动地将相机置于连拍模式并将图像存储在图像缓冲器406处。
维持图像缓冲器406以促进零快门延迟的益处是显而易见的，并且包括在捕获场景的特定图像时增加成功机会。但是，图像缓冲器406和存储在其中的先前捕获的图像的其它先前未实现的益处包括更快速且更有效地产生全焦图像。作为正在进行的零快门延迟缓冲的一部分，在全焦模块404引导镜头控制器402扫描自动对焦镜头302之前，相机模块112缓冲相机110的视场的先前捕获图像。
全焦模块404配置相机模块112以生成全焦图片。当确定用于扫描自动对焦镜头302的焦距集合时，全焦模块404确定图像缓冲器406中的任何图像是否已经提供了当自动对焦镜头302处于所述焦距集合中的任何焦距处时所拍摄的图像。例如，全焦模块404根据存储在图像缓冲器406中的先前图像的元数据确定当自动对焦镜头302处于与飞机的分段相关联的焦距上时记录了先前图像。全焦模块404重新使用图像缓冲器406中的该图像，而不是再次将自动对焦镜头302驱动到飞机的焦距以拍摄另一图片来创建全焦图像。全焦模块404避免将自动对焦镜头302扫描到来自所述焦距集合的特定焦距，其中当捕获飞机的先前图像时自动对焦镜头302处于所述特定焦距。如果在图像缓冲器406内包含有多个可重复使用的图像，则全焦模块404可以避免扫描到该多个焦距。因此，可以更快地且更有效地生成全焦图像。
图5说明了图4中阐述的全焦模块404的示例处理序列500。处理序列500包括以一种可能次序的步骤502到512，并且存在许多其它次序。
在用户设备102接收到用户输入之前，相机模块112在步骤502处初始化自动对焦零快门延迟特征。响应于用户输入并且在初始化零快门延迟特征之后，相机模块112在步骤504处触发图像捕获。在步骤506处，相机模块112从传感器104接收传感器数据，并且确定相机110的视场的深度图以确定用于生成全焦图像的焦距集合。在步骤508处，相机模块112通过省略与自从步骤502以来存储在图像缓冲器406中的图像(在扫描自动对焦镜头之前由相机捕获的图像)相关联的任何焦距来细化所述焦距集合。
在510处，全焦模块404扫描自动对焦镜头302；它将自动对焦镜头302驱动到每个焦距(可选地避免将相机的自动对焦镜头驱动到与存储在图像缓冲器406中的图像相关联的焦距)并捕获样本图像，以便稍后用于生成全焦图像。全焦模块404将自动对焦镜头302驱动到每个焦距达足够时间，以在第一焦距处捕获样本图像。例如，在将自动对焦镜头302驱动到第二焦距之前，全焦模块404将自动对焦镜头302驱动到第一焦距达足够时间，以在第一焦距处捕获样本图像。
有时，自动对焦镜头302已经接近需要扫描的焦距。全焦模块404确定自动对焦镜头302的当前焦距。响应于确定当前焦距处于或接近(例如，在其阈值内)需要扫描的焦距，全焦模块404开始在当前焦距处扫描自动对焦镜头302。通过从最接近当前焦距的焦距开始发起自动对焦镜头的扫描可能是扫描所有焦距的最有效方式。
在步骤510处，全焦模块404确定用于扫描自动对焦镜头302的次序。所述次序可以从最接近自动对焦镜头302的当前位置的焦距开始。在其它示例中，焦距的次序可以取决于相机系统208的其它特征。全焦模块404确定最小化自动对焦镜头302扫描的时间的次序，例如最近焦距到最远焦距，或以使自动对焦镜头移动到不同焦点位置所花费的时间最小化的某一其它有效次序。因此，可以以更快且更有效的方式提供全焦图像。
在512处，全焦模块404合并或组合在510处的镜头扫描期间拍摄的图像部分。全焦模块404通过将样本图像叠层并改变透明度和不透明度来合并或组合在不同焦距处捕获的每个样本图像的聚焦部分，以将样本图像的未聚焦部分用其它样本图像的聚焦部分掩盖。
图6-1到图6-9说明了示例屏幕截图600-1和600-9，以及当使用移动相机自动地产生全焦图像600-8时捕获的图像样本600-2、600-3、600-4、600-5、600-6和600-7。
图6-1示出了在相机110的视场602内的场景118。视场602显示在用户界面116内。在当前焦距处，自动对焦镜头302将相机110聚焦在场景118中的一个人上(如通过实线所示)。在当前焦距处，自动对焦镜头302与场景118的其余部分失焦(如通过虚线所示)。
图6-2说明了通过全焦模块404分成多个分段的视场602。相机模块112获得传感器信息并且确定视场602的深度图。全焦模块404细化深度图以确定到场景118中的对象的离散焦距集合。具有足够大小的每个对象或聚焦区域被示为限定独特聚焦区域的分段604-1到604-5。例如，分段604-1是在当前焦距处合焦的人，并且分段604-2是场景118中在当前焦距处略微失焦的另一个人。分段604-3、604-4和604-5分别对应于场景118中的山脉、飞机和太阳。
在图6-3中，在确定聚焦在分段604-1到604-5中的每一个上的次序时，全焦模块404确定分段604-1已经由存储在缓冲器406中的先前图像捕获。因此，全焦模块404避免驱动或导航到自动对焦镜头位置A并且使用分段604-1的缓冲图像。在图6-4到6-7中，全焦模块404依序地驱动或导航到与分段604-2到604-5相关联的焦距中的每一个焦距，直到捕获所有其它图像样本600-3、600-4、600-5、600-6和600-7。
在图6-8中，将限定分段604-1到604-5并且由个别部分606-1到606-5组成的图像样本600-3、600-4、600-5、600-6和600-7叠层、合并、拼凑在一起，或以其它方式组合，以形成全焦图像600-8。例如，可以从图像样本600-3、600-4、600-5、600-6和600-7中的一个中提取(例如，切割)每个部分606-1到606-5。可以通过将从图像样本600-3、600-4、600-5、600-6和600-7切割的部分606-1到606-5拼凑在一起而形成全焦图像600-8。将所提取部分606-1到606-5周围的边界放在一起，以形成用户界面116中所示的全焦图像600-8。每个部分606-1到606-5与相对于全焦图像600-8的x、y坐标位置的特定区域相关联。全焦图像600-8的坐标位置处的颜色归因于来自部分606-1到606-5中的一个部分的对应像素的颜色。部分606-1到606-5彼此相邻布置以产生全焦图像。在图6-9中，输出全焦图像600-8以显示在用户界面116内。
相机模块112和全焦模块404可以自动进入和自动退出全焦模式。在其它情况下，可以响应于用户输入而进入全焦模式。用户设备102可以输出用户界面116内的“全焦”模式的指示，例如，如在图6-9中靠近用户界面116的中心所示，其中“捕获”按钮现在显示“全焦”按钮。
响应于从深度信息确定的深度图或从传感器104获得的其它传感器数据，相机模块112可以自动地进入全焦模式。例如，在基于传感器数据生成指示所述多个分段604-1到604-5的深度图时，全焦模块404可以自动地确定深度图包括两个或更多个分段，其中所述两个或更多个分段来自具有相隔至少阈值距离的相应焦距的所述多个分段604-1到604-5。换言之，识别焦距变化了至少阈值量的分段可以触发全焦模块404以自动地生成全焦图像，而不是基于用户输入以进入全焦模式。响应于确定深度图包括具有相隔至少阈值距离的相应焦距的两个或更多个分段，全焦模块404使相机模块112自动地在全焦模式下操作相机110。
图7和图8说明用于通过移动相机自动地生成全焦图像的示例方法700和800。方法700开始于“A”并结束于“B”并且方法800开始于“B”并结束于“A”。方法700和800可以包括比图7和8中所示更多或更少的步骤，并且可以按不同次序执行。下文在用户设备102的上下文中描述方法700和800。但是，应理解，方法700和800中的一些或全部可以由远程计算系统执行或在远程计算系统的帮助下执行，所述远程计算系统例如云服务器，或经由计算机网络与用户设102通信工作站。
在702处，用户设备102获得传感器数据。例如，当用户设备102由用户114持有以拍摄场景118的图片时，传感器104生成传感器数据(例如，雷达回波、红外点扫描)。
在704处，用户设备102生成深度图。例如，用户设备102使用在702处获得的传感器数据，以创建到相机110的视场内的对象的焦距的抽象化。
在706处，响应于在710处接收到捕获命令，用户设备102从传感器数据推断多个分段，其中每个分段限定视场内的独特聚焦区域。可以将深度图细化，以隔离视场内的一定数量的聚焦区域或感兴趣区域。特别地，聚焦区域是具有在阈值距离范围内的焦距的分组的视场的一部分。当归一化时，焦距的分组会聚到统一焦距，每个统一焦距形成一个分段。
在708处，用户设备102维持焦距集合，其中每个焦距对应于不同分段。然后方法700在“B”处过渡到方法800。
在802处，用户设备102在零快门延迟模式下操作。预期在710处接收到捕获命令，用户设备102将视场的图像缓冲在图像缓冲器406处。
在804处，当先前图像足够时，用户设备102避免将自动对焦镜头扫描到来自所述焦距集合的焦距。换句话说，当在在802处缓冲的图像是在特定分段所需的焦距处拍摄的时，用户设备102可以使用先前图像来构建全焦图像，而不是将自动对焦镜头控制到该焦距以拍摄分段的新图像。
在806处，用户设备102确定扫描焦距以使自动对焦镜头扫描的时间最小化的次序，并且在808处，将自动对焦镜头驱动到第一焦距。例如，用户设备102可以省略在步骤804中识别的任何焦距，并且开始将自动对焦镜头302驱动到距所述焦距集合中包含的相机110最远的焦距。
在812处，如果否，则用户设备102停留在焦距处，直到可以捕获图像为止。当捕获样本图像时，用户设备在814处确定这是否为最后一个焦距。如果用户设备102尚未到达最后一个焦距(在814处为否)，则用户设备102按806处确定的次序将自动对焦镜头302驱动到下一焦距，重复812直到在最后一个焦距拍摄图像为止。
如果用户设备102到达了最后一个焦距(在814处为是)，则用户设备102前进到步骤816，其中用户设备102基于来自上文的每个所捕获图像的部分产生全焦图像。在818处，用户设备102输出用于显示的全焦图像并返回到“A”，其中方法700和800可以重复。
以下是在前述描述中描述并在附图中示出的技术和系统的其它示例。
示例1.一种用于通过用户设备的相机产生全焦图像的方法，所述方法包括：基于传感器数据推断多个分段，每个分段限定所述相机的视场内的独特聚焦区域；维持与所述多个分段中的不同分段相对应的焦距集合；将所述相机的自动对焦镜头扫描到来自所述焦距集合的所述焦距中的一个或多个焦距；捕获样本图像，所述样本图像中的每一个样本图像在来自由所述自动对焦镜头扫描的所述焦距集合中的所述一个或多个焦距中的每一个焦距处捕获；将在由所述自动对焦镜头扫描的所述一个或多个焦距处捕获的所述样本图像中的至少一个样本图像与另一图像组合，以产生所述全焦图像；以及输出所述全焦图像的指示以供显示。
示例2.根据示例1所述的方法，其中，所述另一图像是在扫描所述自动对焦镜头之前由所述相机捕获的所述视场的图像，并且将所述相机的所述自动对焦镜头扫描到来自所述焦距集合的所述一个或多个焦距包括避免将所述相机的所述自动对焦镜头扫描到来自所述焦距集合的特定焦距，其中所述自动对焦镜头在所述特定焦距处捕获所述另一图像。
示例3.根据示例1所述的方法，其中，所述另一图像包括来自所述样本图像的第二图像，所述第二图像不同于组合成产生所述全焦图像的所述样本图像中的所述至少一个样本图像。
示例4.根据示例1至3中的任何项所述的方法，进一步包括：从深度传感器、对比度传感器或相位检测传感器获得所述传感器数据。
示例5.根据示例1至4中的任何项所述的方法，其中，所述自动对焦镜头包括音圈电机镜头。
示例6.根据示例1至5中的任何项所述的方法，其中，将在由所述自动对焦镜头扫描的所述一个或多个焦距处捕获的所述样本图像中的所述至少一个样本图像与所述另一图像组合，以产生所述全焦图像包括：将在由所述自动对焦镜头扫描的所述一个或多个焦距处捕获的所述样本图像中的所述至少一个样本图像与所述另一图像叠层；以及调整所述样本图像中的每一个的阿尔法通道以控制透明度或不透明度，并且在所述焦距集合中的每一个焦距处锐化区域或感兴趣的对象。
示例7.根据示例1至5中的任何项所述的方法，其中，将在由所述自动对焦镜头扫描的所述一个或多个焦距处捕获的所述样本图像中的所述至少一个样本图像与所述另一图像组合，以产生所述全焦图像包括：提取在由所述自动对焦镜头扫描的所述一个或多个焦距处捕获的所述样本图像中的所述至少一个样本图像的部分；提取所述另一图像的部分；以及在产生所述全焦图像时，将在由所述对焦镜头扫描的所述一个或多个焦距处捕获的所述样本图像中的所述至少一个样本图像的所述部分布置为与所述另一图像的所述部分相邻。
示例8.根据示例1至7中的任何项所述的方法，进一步包括：基于所述传感器数据在全焦模式下自动地操作所述相机。
示例9.根据示例8所述的方法，其中，在所述全焦模式下自动地操作所述相机包括：基于所述传感器数据生成指示所述多个分段的深度图；确定所述深度图包括来自所述多个分段的具有相隔至少阈值距离的相应焦距的两个或更多个分段；以及响应于确定所述深度图包括具有相隔至少所述阈值距离的所述相应焦距的所述两个或更多个分段，在所述全焦模式下自动地操作所述相机。
示例10.根据示例1至9中的任何项所述的方法，其中，推断所述多个分段包括获得指示所述多个分段的深度图，所述深度图从所述传感器数据获得。例如，示例1可以可选地包括从传感器数据获得指示多个分段的深度图，每个分段限定在所述相机的视场内的独特聚焦区域。
示例11.根据示例1至10中的任何项所述的方法，其中，将所述相机的所述自动对焦镜头扫描到来自所述焦距集合中的所述一个或多个焦距包括：在将所述自动对焦镜头驱动到所述一个或多个焦距中的第二焦距之前，将所述自动对焦镜头驱动到所述一个或多个焦距中的第一焦距达足够时间，以在所述第一焦距处捕获所述样本图像。
示例12.根据示例11所述的方法，其中，在扫描所述相机的所述自动对焦镜头之前，所述第一焦距最接近所述自动对焦镜头的当前焦距。
示例13.根据示例1至12中的任何项所述的方法，其中，将所述相机的所述自动对焦镜头扫描到来自所述焦距集合的所述一个或多个焦距包括：以被确定成使所述自动对焦镜头扫描的时间最小化的次序将所述自动对焦镜头扫描到所述一个或多个焦距中的每一个焦距。
示例14.一种用户设备，所述用户设备包括：传感器，所述传感器生成传感器数据；相机，所述相机具有自动对焦镜头；以及至少一个处理器，所述至少一个处理器被配置成执行根据示例1至13中的任一项所述的方法。
示例15.一种计算机可读存储介质，所述计算机可读存储介质包括以下指令，所述指令在被执行时配置用户设备的至少一个处理器以执行根据是1至13中的任一项所述的方法。
虽然在前面的描述中描述并在附图中示出本公开的各种优选实施例，但是应清楚地理解，本公开不限于此，而是可以在所附权利要求的范围内以各种方式实施。从以上描述中将明白，在不脱离由所附权利要求限定的本公开的精神和范围的情况下，可以对其作出各种变化。

Claims (14)

1.一种用于通过用户设备的相机产生全焦图像的方法，所述方法包括：
基于传感器数据推断多个分段，每个分段限定所述相机的视场内的独特聚焦区域；
维持与所述多个分段中的不同分段相对应的焦距集合；
将所述相机的自动对焦镜头扫描到来自所述焦距集合的一个或多个焦距，所述扫描包括避免将所述相机的所述自动对焦镜头扫描到来自所述焦距集合的特定焦距，其中，所述自动对焦镜头在所述特定焦距处捕获另一图像，其中，所述另一图像是在扫描所述自动对焦镜头之前由所述相机在所述特定焦距处捕获的存储在图像缓冲器中的所述视场的图像；
捕获样本图像，所述样本图像中的每一个样本图像在所述一个或多个焦距中除了所述特定焦距的每一个焦距处被捕获；
将在所述样本图像中的至少一个样本图像与在扫描所述自动对焦镜头之前由所述相机在所述特定焦距处捕获的所述另一图像组合，以产生所述全焦图像；以及
输出所述全焦图像的指示以供显示。
2.根据权利要求1所述的方法，其中，所述另一图像包括来自所述样本图像的第二图像，所述第二图像不同于被组合以产生所述全焦图像的所述样本图像中的所述至少一个样本图像。
3.根据权利要求1所述的方法，进一步包括：
从深度传感器、对比度传感器或相位检测传感器获得所述传感器数据。
4.根据权利要求1所述的方法，其中，所述自动对焦镜头包括音圈电机镜头。
5.根据权利要求1所述的方法，其中，将在所述样本图像中的所述至少一个样本图像与所述另一图像组合，以产生所述全焦图像包括：
将在所述样本图像中的所述至少一个样本图像与所述另一图像叠层；以及
调整所述样本图像中的每一个的阿尔法通道以控制透明度或不透明度，并且在所述焦距集合中的每一个焦距处锐化区域或感兴趣的对象。
6.根据权利要求1所述的方法，其中，将在所述样本图像中的所述至少一个样本图像与所述另一图像组合，以产生所述全焦图像包括：
提取在所述样本图像中的所述至少一个样本图像的部分；
提取所述另一图像的部分；以及
在产生所述全焦图像时，将在所述样本图像中的所述至少一个样本图像的所述部分布置为与所述另一图像的所述部分相邻。
7.根据权利要求6所述的方法，进一步包括：
基于所述传感器数据在全焦模式下自动地操作所述相机。
8.根据权利要求7所述的方法，其中，在所述全焦模式下自动地操作所述相机包括：
基于所述传感器数据生成指示所述多个分段的深度图；
确定所述深度图包括来自所述多个分段的具有相隔至少阈值距离的相应焦距的两个或更多个分段；以及
响应于确定所述深度图包括所述两个或更多个分段，在所述全焦模式下自动地操作所述相机。
9.根据权利要求1所述的方法，其中，推断所述多个分段包括获得指示所述多个分段的深度图，所述深度图从所述传感器数据获得。
10.根据权利要求1所述的方法，其中，所述一个或多个焦距是多个焦距，以及将所述相机的所述自动对焦镜头扫描到来自所述焦距集合中的所述一个或多个焦距包括：
在将所述自动对焦镜头驱动到所述多个焦距中的第二焦距之前，将所述自动对焦镜头驱动到所述多个焦距中的第一焦距达足够时间，以在所述第一焦距处捕获样本图像。
11.根据权利要求10所述的方法，其中，在扫描所述相机的所述自动对焦镜头之前，所述第一焦距最接近所述自动对焦镜头的当前焦距。
12.根据权利要求1至11中的任一项所述的方法，其中，将所述相机的所述自动对焦镜头扫描到来自所述焦距集合的所述一个或多个焦距包括：以被确定成使所述自动对焦镜头扫描的时间最小化的次序将所述自动对焦镜头扫描到所述一个或多个焦距中的每一个焦距。
13.一种用户设备，所述用户设备包括至少一个处理器，所述至少一个处理器被配置成执行根据权利要求1至12中的任一项所述的方法。
14.一种系统，所述系统包括用于执行根据权利要求1至12中的任一项所述的方法的装置。
CN202080019378.XA 2019-09-30 2020-06-12 通过移动相机自动生成全焦图像的方法、用户设备以及系统 Active CN113545030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310955446.9A CN116939364A (zh) 2019-09-30 2020-06-12 通过移动相机自动生成全焦图像的方法、用户设备以及系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/589,025 2019-09-30
US16/589,025 US10984513B1 (en) 2019-09-30 2019-09-30 Automatic generation of all-in-focus images with a mobile camera
PCT/US2020/037434 WO2021066894A1 (en) 2019-09-30 2020-06-12 Automatic generation of all-in-focus images with a mobile camera

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310955446.9A Division CN116939364A (zh) 2019-09-30 2020-06-12 通过移动相机自动生成全焦图像的方法、用户设备以及系统

Publications (2)

Publication Number Publication Date
CN113545030A CN113545030A (zh) 2021-10-22
CN113545030B true CN113545030B (zh) 2023-08-18

Family

ID=71950776

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080019378.XA Active CN113545030B (zh) 2019-09-30 2020-06-12 通过移动相机自动生成全焦图像的方法、用户设备以及系统
CN202310955446.9A Pending CN116939364A (zh) 2019-09-30 2020-06-12 通过移动相机自动生成全焦图像的方法、用户设备以及系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310955446.9A Pending CN116939364A (zh) 2019-09-30 2020-06-12 通过移动相机自动生成全焦图像的方法、用户设备以及系统

Country Status (4)

Country Link
US (3) US10984513B1 (zh)
EP (2) EP4294031A3 (zh)
CN (2) CN113545030B (zh)
WO (1) WO2021066894A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984513B1 (en) * 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
US11935258B2 (en) * 2021-03-08 2024-03-19 Toyota Research Institute, Inc. Range detection using machine learning combined with camera focus
JPWO2022269999A1 (zh) * 2021-06-25 2022-12-29
CN114390195B (zh) * 2021-12-15 2024-03-22 北京达佳互联信息技术有限公司 一种自动对焦的方法、装置、设备及存储介质
CN116883461B (zh) * 2023-05-18 2024-03-01 珠海移科智能科技有限公司 一种用于获取清晰文档图像的方法及其终端装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984530A (zh) * 2011-09-02 2013-03-20 宏达国际电子股份有限公司 图像处理系统及自动对焦方法
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
CN106412426A (zh) * 2016-09-24 2017-02-15 上海大学 全聚焦摄影装置及方法
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
CN107787463A (zh) * 2015-06-07 2018-03-09 苹果公司 优化对焦堆栈的捕获

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US7327891B2 (en) 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
US7038820B1 (en) 2002-04-03 2006-05-02 Eastman Kodak Company Automatic exposure control for an image sensor
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US7746404B2 (en) 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
JP4539729B2 (ja) 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8154647B2 (en) * 2008-03-05 2012-04-10 Applied Minds, Llc Automated extended depth of field imaging apparatus and method
WO2010040668A1 (de) 2008-10-10 2010-04-15 Adc Automotive Distance Control Systems Gmbh Verfahren und einrichtung zur analyse von umgebungsobjekten und/oder umgebungsszenen, wie zur objekt- und szenenklassensegmentierung
US8483479B2 (en) 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8599238B2 (en) 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
US8238671B1 (en) 2009-12-07 2012-08-07 Google Inc. Scene classification for place recognition
JP5625371B2 (ja) 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
AU2010201740B2 (en) 2010-04-30 2013-03-07 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation
US8494301B2 (en) * 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images
JP5870264B2 (ja) * 2010-11-08 2016-02-24 パナソニックＩｐマネジメント株式会社 撮像装置、撮像方法、プログラム、および集積回路
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
US9349066B2 (en) 2012-01-06 2016-05-24 Qualcomm Incorporated Object tracking and processing
US9503645B2 (en) 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
US9044171B2 (en) 2012-06-22 2015-06-02 Fitbit, Inc. GPS power conservation using environmental data
US9191578B2 (en) * 2012-06-29 2015-11-17 Broadcom Corporation Enhanced image processing with lens motion
KR101937708B1 (ko) 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
JP5664626B2 (ja) * 2012-10-12 2015-02-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US8964062B1 (en) 2012-12-18 2015-02-24 Amazon Technologies, Inc. Integrated light sensor for dynamic exposure adjustment
US9077891B1 (en) 2013-03-06 2015-07-07 Amazon Technologies, Inc. Depth determination using camera focus
US9363438B2 (en) 2013-07-23 2016-06-07 Michael BEN ISRAEL Digital image processing
US20150103200A1 (en) * 2013-10-16 2015-04-16 Broadcom Corporation Heterogeneous mix of sensors and calibration thereof
EP3100135A4 (en) 2014-01-31 2017-08-30 Hewlett-Packard Development Company, L.P. Camera included in display
US9570019B2 (en) 2014-03-20 2017-02-14 Dell Products, Lp System and method for coordinating image capture in a camera hidden behind a display device
US9196027B2 (en) * 2014-03-31 2015-11-24 International Business Machines Corporation Automatic focus stacking of captured images
US9912864B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for using a camera device to support multiple modes of operation
US9805445B2 (en) 2014-10-27 2017-10-31 Adobe Systems Incorporated Image zooming
US9638984B2 (en) 2015-03-10 2017-05-02 Qualcomm Incorporated Search range extension for depth assisted autofocus
US20160309065A1 (en) 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10586102B2 (en) 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
EP3443735B1 (en) 2016-04-12 2024-09-18 Quidient, LLC Quotidian scene reconstruction engine
US9774798B1 (en) 2016-06-29 2017-09-26 Essential Products, Inc. Apparatus and method for a wide field of view image sensor
US11172005B2 (en) 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US10389936B2 (en) * 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images
CN108229278B (zh) 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
US11210799B2 (en) 2017-10-04 2021-12-28 Google Llc Estimating depth using a single camera
US10440276B2 (en) 2017-11-02 2019-10-08 Adobe Inc. Generating image previews based on capture information
US10803347B2 (en) 2017-12-01 2020-10-13 The University Of Chicago Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture
CN113472976B (zh) 2018-10-16 2022-11-25 华为技术有限公司 微距成像的方法及终端
US10984513B1 (en) * 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984530A (zh) * 2011-09-02 2013-03-20 宏达国际电子股份有限公司 图像处理系统及自动对焦方法
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
CN105474622A (zh) * 2013-08-30 2016-04-06 高通股份有限公司 用于产生全对焦图像的方法和设备
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
CN107787463A (zh) * 2015-06-07 2018-03-09 苹果公司 优化对焦堆栈的捕获
CN106412426A (zh) * 2016-09-24 2017-02-15 上海大学 全聚焦摄影装置及方法

Also Published As

Publication number Publication date
US11847770B2 (en) 2023-12-19
EP4294031A2 (en) 2023-12-20
EP3912336A1 (en) 2021-11-24
US10984513B1 (en) 2021-04-20
CN113545030A (zh) 2021-10-22
EP3912336B1 (en) 2023-10-11
EP4294031A3 (en) 2024-03-13
US20210097659A1 (en) 2021-04-01
CN116939364A (zh) 2023-10-24
WO2021066894A1 (en) 2021-04-08
US20220180492A1 (en) 2022-06-09
US20240078639A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
CN113545030B (zh) 通过移动相机自动生成全焦图像的方法、用户设备以及系统
US11756223B2 (en) Depth-aware photo editing
KR102598109B1 (ko) 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
US10165199B2 (en) Image capturing apparatus for photographing object according to 3D virtual object
CN103916587B (zh) 用于生成合成图像的拍摄装置以及使用所述装置的方法
JP2020523665A (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
JP6620394B2 (ja) 制御装置、制御方法及びプログラム
US9759994B1 (en) Automatic projection focusing
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
CN105765964A (zh) 基于发言人位置移动摄像机聚焦
KR20130071793A (ko) 디지털 촬영 장치 및 이의 제어 방법
CN103581543A (zh) 拍摄装置、拍摄控制方法、和眼球识别装置
CN113170049B (zh) 使用场景改变触发自动图像捕获
US10860166B2 (en) Electronic apparatus and image processing method for generating a depth adjusted image file
CN109618088B (zh) 具有光照识别与重现功能的智能化拍摄系统及方法
US9172860B2 (en) Computational camera and method for setting multiple focus planes in a captured image
EP2890116B1 (en) Method of displaying a photographing mode by using lens characteristics, computer-readable storage medium of recording the method and an electronic apparatus
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
KR101518696B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
EP4210319A1 (en) Multi-lens video recording method and related device
WO2024058790A1 (en) System and method for autofocus in mobile photography
CN118714451A (zh) 获取图像的方法、装置、头戴设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant