CN105474622A - 用于产生全对焦图像的方法和设备 - Google Patents

用于产生全对焦图像的方法和设备 Download PDF

Info

Publication number
CN105474622A
CN105474622A CN201480046458.9A CN201480046458A CN105474622A CN 105474622 A CN105474622 A CN 105474622A CN 201480046458 A CN201480046458 A CN 201480046458A CN 105474622 A CN105474622 A CN 105474622A
Authority
CN
China
Prior art keywords
image
depth
depth map
neighborhood
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480046458.9A
Other languages
English (en)
Other versions
CN105474622B (zh
Inventor
尼特希·什罗夫
拉明·礼萨伊法尔
皮尤诗·夏尔马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105474622A publication Critical patent/CN105474622A/zh
Application granted granted Critical
Publication of CN105474622B publication Critical patent/CN105474622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明描述用于产生具有再聚焦的能力的全对焦图像的技术。一个实例包含获得与场景的多个所俘获图像相关联的第一深度图。所述多个所俘获图像可包含具有不同焦距的图像。方法进一步包含：获得与所述多个所俘获图像相关联的第二深度图；(基于所述多个所俘获图像和所述第一深度图)产生展示对焦的所述场景的不同部分的合成图像；以及(基于所述合成图像和所述第二深度图)产生展示对焦的所述场景的选定部分的再聚焦图像。

Description

用于产生全对焦图像的方法和设备
技术领域
本发明大体上涉及俘获和处理数字图像，且特定来说涉及产生具有再聚焦能力的全对焦图像。
背景技术
在摄影中，取决于场景中的不同对象距相机的距离，一些对象可能呈现为对焦，而其它对象呈现为离焦或模糊。这是归因于以下事实：在大多数视觉系统中，每一图像以特定“焦距”俘获。“焦距”指代从相机径向延伸到图像的场景中的距离。确切位于焦距处的图像中的任何对象呈现为完全对焦。另一方面，并不位于焦距处(例如，较靠近或较远离相机)的任何对象呈现为模糊和离焦。任何给定场景中的不同对象可位于距相机不同距离处，因此，很可能仅一些对象完全对焦。因此，对于由视觉系统俘获的典型图像，一些对象呈现为在图像中对焦，而其它对象呈现为离焦。
尽管人类视觉系统产生具有类似特性的图像(例如，在任何给定图像中)，仅位于焦距处的对象是对焦的而其它对象是模糊的，人类适于快速扫描场景、聚焦在不同对象上，且获得物理环境的有用“复合”视觉概念。这就是我们如何“观看”世界。然而，当我们查看所俘获图像(例如显示装置上的图像)时，相同自然扫描和再聚焦通常不可用。实际上，我们常常在任何给定时间查看静态图像，其中特定对象在图像中对焦，且特定其它对象在图像中是模糊或离焦的。为解决这些缺点，本发明呈现用于实现检视图像的两种不同方法的实施例。一种方法涉及产生其中所有对象均对焦的“全对焦”图像。另一方法涉及提供“再聚焦”能力，借此用户可选择图像的一部分且使其对焦。
发明内容
在一个实例中，揭示一种用于图像处理的方法。所述方法大体包含获得不同焦距处场景的多个图像。每一图像可展示对焦的场景的不同部分。所述方法进一步包含(部分)获得与所述多个图像相关联的第一深度图，以及获得与所述多个图像相关联的第二深度图。第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。在一个方面中，所述第一邻域大小小于所述第二邻域大小。
所述方法进一步包含基于所述多个图像和所述第一深度图产生展示对焦的场景的两个或两个以上部分的合成图像。此外，所述方法包含基于所述合成图像和所述第二深度图产生展示对焦的场景的选定部分的再聚焦图像。
在一个方面中，所述方法进一步包含用清晰度测量滤波器对所述多个所俘获图像中的每一者滤波以产生多个经滤波图像。在一个方面中，清晰度测量滤波器为拉普拉斯(Laplacian)滤波器。
在一个方面中，获得第一深度图可包含将基于第一邻域大小的第一二维像素函数应用到所述多个经滤波图像中的每一图像以产生第一多个深度图像。类似地，获得第二深度图可包含将基于第二邻域大小的第二二维像素函数应用到所述多个经滤波图像中的每一图像以产生第二多个深度图像。
在一个方面中，所述第一二维像素函数涉及计算对应于第一邻域中的多个像素的深度值当中的加权平均值。在另一方面中，所述第一二维像素函数涉及对对应于第一邻域中的像素的深度值实行经加权投票方案。
在一个方面中，获得所述第一深度图包含(部分)针对每一像素位置获得对应于所述第一多个深度图像的第一多个深度值当中的最大深度值。类似地，获得所述第二深度图包含(部分)针对每一像素位置获得对应于所述第二多个深度图像的第二多个深度值当中的最大深度值。
在一个方面中，所述多个图像的不同焦距均一地分布在最小焦距值与最大焦距值之间。
在一个方面中，基于第一深度图在运行中产生第二深度图。举例来说，可通过将加权平均值、经加权投票方案或任何其它选择方案应用到对应于第二邻域中的多个像素的第一深度图中的深度值来产生所述第二深度图。
此外，某些方面提供一种用于图像处理的设备。所述设备大体包含用于获得不同焦距处场景的多个图像的装置。每一图像展示对焦的场景的不同部分。所述设备进一步包含：用于获得与所述多个图像相关联的第一深度图的装置；用于获得与所述多个图像相关联的第二深度图的装置；用于基于所述多个图像和所述第一深度图产生展示对焦的所述场景的两个或两个以上部分的合成图像的装置；以及用于基于所述合成图像和所述第二深度图产生展示对焦的所述场景的选定部分的再聚焦图像的装置。在一个方面中，第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。
某些方面提供一种用于图像处理的非暂时性处理器可读媒体。所述处理器可读媒体包含(部分)处理器可读指令，所述处理器可读指令经配置以致使处理器获得不同焦距处场景的多个图像。每一图像展示对焦的场景的不同部分。所述指令进一步经配置以致使所述处理器：获得与所述多个图像相关联的第一深度图，获得与所述多个图像相关联的第二深度图，基于所述多个图像和所述第一深度图产生展示对焦的场景的两个或两个以上部分的合成图像，且基于所述合成图像和所述第二深度图产生展示对焦的场景的选定部分的再聚焦图像。在一个方面中，第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。
某些方面提供一种用于图像处理的设备。所述设备包含(部分)至少一个处理器和耦合到所述至少一个处理器的存储器。所述至少一个处理器经配置以获得不同焦距处的场景的多个图像。每一图像展示对焦的场景的不同部分。所述至少一个处理器进一步经配置以：获得与所述多个图像相关联的第一深度图，获得与所述多个图像相关联的第二深度图，基于所述多个图像和所述第一深度图产生展示对焦的场景的两个或两个以上部分的合成图像，且基于所述合成图像和所述第二深度图产生展示对焦的场景的选定部分的再聚焦图像。第一深度图对应于第一邻域大小，且第二深度图对应于第二邻域大小。
附图说明
可通过参考以下各图来实现对各种实施例的性质及优点的理解。在附图中，类似组件或特征可以具有相同参考标记。此外，可通过在参考标记之后跟着短划线及在类似组件当中进行区分的第二标记来区分相同类型的各种组件。如果在说明书中仅使用第一参考标记，那么描述适用于具有相同的第一参考标记的类似组件中的任一者，而无关于第二参考标记。
图1说明根据本发明的某些实施例能够俘获和/或处理图像的装置的实例高级框图。
图2说明根据本发明的某些实施例的实例图像组合方法。
图3说明根据本发明的某些实施例的图像组合方法的实例框图。
图4说明根据本发明的某些实施例可由装置执行以组合多个图像的实例操作。
图5A-5C说明根据本发明的某些实施例使用图像组合方法组合的实例图像。
图6描述根据本发明的某些实施例可用于产生图像的装置的一个潜在实施方案。
具体实施方式
某些实施例呈现一种用于产生具有经扩展景深连同稍后在图像的所要部分处再聚焦的能力的图像的方法。景深通常指代图像中呈现可接受的清晰度的场景中的最近与最远对象之间的距离。尽管镜头仅可同时精确对焦在一个距离(例如，焦距)处，但清晰度的减小可在聚焦距离的每一侧上为渐进的，使得在景深内，不清晰在正常检视条件下不可感知。大体来说，焦距指代对象与相机之间的距离，其中对象呈现为在图像中对焦。
一个实施例使用具有不同焦距的两个或两个以上图像(下文称为焦点堆叠图像)，且处理这些焦点堆叠图像以产生合成图像。合成图像中的大多数或所有对象可呈现为对焦(例如，全对焦图像)。
如本文所描述。通过组合具有不同焦距的两个或两个以上图像，合成图像的景深可经扩展为大于个别图像中的每一者的景深。因此，相对远离彼此的对象可呈现为在合成图像中对焦。
用户通常通过改变相机的焦距而聚焦在场景中的不同对象上。举例来说，在具有距相机的不同距离的两个对象的场景中(例如，人接近相机，且建筑物在背景中较远处)。第一图像可以第一焦距拍摄，其中人呈现为对焦，而建筑物呈现为离焦。此外，可从同一场景以第二焦距拍摄第二图像，其中建筑物呈现为对焦，而人呈现为离焦。某些实施例提出一种组合这些图像(以不同焦距拍摄的)以产生其中几乎所有对象呈现为对焦的合成图像的方法。在以上实例中，人和建筑物两者可呈现为在合成图像中对焦。此外，在一个实施例中，合成图像可具有可用于稍后在图像的所要部分处再聚焦的内嵌信息。
此项技术中使用的用于合并图像的当前技术通常使用单一深度图用于再聚焦和计算全对焦图像这两个操作。这些技术中的一些技术使用基于硬件的解决方案来俘获光场以启用再聚焦能力。本发明的某些实施例产生两个不同深度图(例如，掩码)，第一深度图可用于产生全对焦图像且第二深度图可用于再聚焦。
图1说明根据本发明的某些实施例的图像俘获和/或处理装置100的实例高级框图。在一个实施例中，所述装置可使用内嵌相机来俘获一或多个图像。在另一实施例中，所述装置可接收来自另一图像俘获装置的图像。在又一实施例中，所述装置可使用其内嵌相机俘获一些图像且接收来自其它图像俘获装置的一或多个图像。大体来说，所述装置可为移动电话、平板计算机、膝上型计算机、头戴式显示器(HMD)、相机，或能够俘获和/或处理图像的任何其它类型的固定或移动装置。
如所说明，在框102中，所述装置可俘获和/或获得具有至少两个不同焦距的两个或两个以上图像。所述装置可随后存储所述图像且处理所述图像以获得第一深度图和第二深度图(框104)。所述装置可基于第一深度图产生全对焦图像(框106)。所述装置还可使用第二深度图再聚焦在图像的一部分上(框108)。
图2说明根据本发明的某些实施例的实例图像组合方法。如所说明，可由装置获得图像的堆叠Z1202、Z2204、…、ZN206。作为实例，所述装置可具有相机且自身俘获图像，或所述装置可接收来自另一来源的图像。图像Z1到ZN中的每一者可具有不同焦距。因此，在每一图像中，一些区段呈现为对焦，而其它区段离焦。举例来说，在图像Z1202中，区段A1210对焦，而其它部分离焦。类似地，在图像Z2204中，区段A2212呈现为对焦，且在图像Z3206中，区段AN214呈现为对焦，而其它部分呈现为离焦。
图像组合器216根据本文中的教示组合图像堆叠Z1、Z2、…、ZN以产生其中大多数或所有区段呈现为对焦的全对焦图像208。还可从全对焦图像产生其中图像再聚焦在区段220上的再对焦图像230。其它区段可或可不呈现为在再聚焦图像230中离焦。
在一个实施例中，焦点堆叠图像(例如，Z1到ZN)可具有两个或两个以上不同焦距。在一个实施例中，焦距可均一地分布在预定最小与最大焦距值之间。大体来说，不同图像的焦距可在不脱离本发明的教示的情况下基于预定义分布或基于场景中不同对象的特性来随机选择。
图3说明根据一个实施例的图像产生方法的实例框图300。在302处，装置可俘获具有不同焦点设定的两个或两个以上图像。在一个实施例中，所述装置可接收来自另一装置的所述两个或两个以上图像。在304处，所述装置可将所有图像寄存到参考图像。在不损失一般性的情况下，假定图像中的每一者与参考图像具有至少一些重叠。举例来说，参考图像可(尤其)展示人、建筑物和树。两个或两个以上图像中的一者可展示所述人和所述树，其中人呈现为对焦。另一图像可展示所述建筑物和所述树，其中建筑物呈现为对焦。又一图像可展示所述人、所述树和所述建筑物，其中树呈现为对焦。通过将所述两个或两个以上图像寄存到参考图像，可确定图像之间的重叠。大体来说，在不脱离本发明的教示的情况下，所述图像中的任一者可视为参考图像。此外，为论述简单起见，可假定所有图像是从同一场景拍摄且完全重叠。
在306处，所述装置可使图像通过清晰度测量滤波器306(例如，拉普拉斯滤波器)。拉普拉斯滤波器为图像的第二空间导数的二维各向同性测量。拉普拉斯滤波器突出显示图像中快速强度改变的区，且常常用于边缘检测。大体来说，在不脱离本发明的教示的情况下，可使用拉普拉斯滤波器或任何其它清晰度测量滤波器。
在314处，可使用小核心(例如，对应于每一图像中像素周围的小邻域)使图像变模糊。模糊指代减小图像的清晰度的过程。大体来说，模糊可用于减小图像噪声和/或图像中的高频率分量。在此项技术中存在用于使图像变模糊的若干方法(例如，高斯模糊、选择性模糊等)。作为实例，在高斯模糊中，高斯函数与图像卷积以使图像变模糊。在二维(2-D)图像的情况下，2-D高斯函数(例如，两个1-D高斯函数的乘积，每一维度中一个)可与图像中不同像素的值卷积。
在316处，为产生精细深度图(DAIF，318)，比较对应于模糊化图像中的每一者中的每一像素的深度值。精细深度图DAIF可对应于大多数或所有模糊化图像中的每一像素的最大深度值。举例来说，可通过比较模糊化图像中的对应像素的深度值来确定图像中每一像素(i,j)的最大深度值。在一个实施例中，可针对每一像素确定最大深度值。在另一实施例中，可确定像素周围的预定义邻域(例如，像素周围的3×3矩阵)内的最大深度值。在320处，可使用精细深度图DAIF组合所述图像以产生全对焦图像。
此外，在326处，可对清晰度测量滤波器312的结果执行较大邻域大小(例如，较大核心)的另一模糊操作以产生第二组模糊化图像。在328处，可对第二组模糊化图像执行逐像素最大操作以产生平滑深度图DRF330。在332处，可基于所述平滑深度图DRF对图像(例如，全对焦图像)执行再聚焦操作以产生再聚焦图像。
在一个实施例中，可使用以下程序产生所述全对焦图像。焦点堆叠图像可由Z1、Z2、…..，ZN表示，其中Zi表示图像。所述图像可具有红-绿-蓝(RGB)、灰度或任何其它格式。每一图像(Zi)可与清晰度测量滤波器(例如，拉普拉斯滤波器)卷积以产生输出图像Yi，如下：
Yi＝拉普拉斯(Zi)。
在一个实施例中，可在产生深度图时考虑对应于所关注的像素附近的多个像素的信息。使用来自邻域中的其它像素的信息减少噪声的影响且确保局部一致性。作为实例，可对对应于预定义邻域内的其它像素的信息求平均且在计算中予以考虑。在另一实施例中，可考虑关于邻域中的像素的经加权投票方案。在不损失一般性的情况下，可假定邻域为具有围绕像素的大小S的半径的圆形，然而，所述邻域可具有任何其它形状(例如，矩形、六边形等等)而不脱离本发明的教示。
对于某些实施例，可考虑两个不同邻域大小(例如，S1和S2)用于产生所述两个深度图。第一小邻域大小(例如，S1)可用于产生精细深度图。此外，第二邻域大小S2(例如，S2>S1)可用于产生平滑深度图。选择用于产生精细深度图的小邻域大小可确保全对焦图像的清晰度，同时确保局部一致性。另一方面，大邻域大小可更适合于再聚焦(例如，平滑深度图)，因为用户通常想要再聚焦在图像中的区(例如，对象)上，而非像素上。此外，较大邻域确保不存在相同对象上的两个附近像素中的急剧再聚焦改变。在一个实施例中，用于产生平滑深度图(例如，S2)的邻域的大小可比用于产生精细深度图(例如，S1)的邻域的大小大3倍。
在一个实施例中，可跨越图像的焦点堆叠中的每一者中的邻域计算最大深度值以产生深度图。举例来说，可通过跨越图像的焦点堆叠中的大小S1的邻域计算最大深度值来确定用于产生全对焦图像的精细深度图(例如，DAIF)。类似地，可通过跨越图像的焦点堆叠中的大小S2的邻域计算最大深度值来确定用于产生再聚焦图像的平滑深度图(例如，DRF)。
在一个实施例中，可基于精细深度图DAIF在运行中计算对应于图像(或图像的一部分)的平滑深度图DRF。举例来说，当用户选择待在其上再聚焦的像素(例如，通过触摸屏幕或任何其它装置上的像素)时，可考虑所述选定像素周围的大邻域中的DAIF的值。投票方案(或经加权投票方案，或任何其它选择方案)可随后应用到对应于所述选定像素周围的大邻域中的多个像素的精细深度值。对应于具有最大投票数的索引的值可选定为对应于所述选定像素的平滑深度值。可针对图像中的大多数或所有像素重复相同过程以产生平滑深度图DRF。所述平滑深度图可随后用于再聚焦在图像的选定部分上。
作为实例，为产生对应于像素(i,j)的平滑深度值，可考虑像素周围的大小n×m的邻域。可基于对应于所述选定邻域中的像素中的每一者的精细深度值计算对应于像素(i,j)的平滑深度值。在一个实例中，精细深度值可基于投票方案组合以产生对应于像素(i,j)的平滑深度值。举例来说，在大小n×m像素的邻域中，在K＝n×m精细深度值当中，K1值可等于α，K2值可等于β且K3值可等于γ。在不损失一般性的情况下，可假定K1>K2>K3。在一个实例中，值α可被认为是对应于像素(i,j)的平滑深度值(例如，具有最高数目的重复或投票数的值)。在另一实例中，可基于值α、β和γ的加权平均值计算平滑深度图。应注意，任何其它方案可用于获得平滑深度值和/或平滑深度图，而不脱离本发明的教示。
图4说明根据本发明的某些实施例可由装置执行以产生图像的实例操作。在402处，所述装置可获得不同焦距处的图像(例如，从图像俘获装置俘获或接收)。在404处，所述装置可利用清晰度测量滤波器(例如，拉普拉斯滤波器)对图像滤波。在406处，所述装置可将二维函数应用到所述图像中的每一者以产生深度图像的第一堆叠。在一个实施例中，2-D函数可使用第一较小邻域。作为实例，可通过将对应于小邻域的2-D高斯模糊函数与图像中的每一者卷积来产生深度图像的第一堆叠。在另一实施例中，可通过在对应于定位于图像中的每一像素周围的小邻域中的多个像素的深度值当中执行加权平均值来产生深度图像中的每一者。
在408处，所述装置可跨越深度图像的第一堆叠寻找每一像素位置处的最大深度值以产生第一深度图，用于构建复合“全对焦”图像。在一个实施例中，所述装置可使用经加权投票方案来产生第一深度图。在又一实施例中，所述装置可计算深度值的加权平均值以产生第一深度图。任何其它方案可用于产生第一深度图，而不脱离本发明的教示。
作为实例，深度图像的堆叠可包含三个图像Z1、Z2和Z3，每一者以不同焦距俘获。图像Z1中的像素(i,j)可对应于深度值α，图像Z2中的像素(i,j)可对应于深度值β，且图像Z3中的像素(i,j)可对应于深度值γ。对应于此像素的DAIF可被计算为max(α,β,γ)。
此外，在410处，所述装置可使用第二较大邻域将二维函数应用到所俘获图像中的每一者以产生深度图像的第二堆叠。作为实例，可通过将对应于大邻域的2-D高斯模糊函数与图像中的每一者卷积来产生深度图像的第二堆叠。
在412处，所述装置可跨越深度图像的第二堆叠寻找每一像素位置处的最大值以产生第二深度图，用于构建“再聚焦”图像。在一个实施例中，二维像素函数可涉及获得对应于相邻像素的深度值的平均值和/或在对应于相邻像素的深度值当中实行经加权投票方案。
图5A到5C说明根据本发明的某些实施例的使用所提议的方案产生的实例图像。图5A和5B说明两个输入图像，其中的每一者具有不同焦距。图5C说明使用所提议的方案产生的全对焦图像。如从所述图像可以看出，在图5A和5B中的每一者中，图像的部分呈现为对焦而其它部分呈现为离焦。在图5C的合成图像中，所有图像呈现为清晰且对焦。使用精细深度图DAIF产生合成图像。如果用户想要再聚焦在图5C中展示的合成图像的一部分上，那么用户可使用平滑深度图DRF。
图6描述根据某些实施例可用于组合图像的装置的一个潜在实施方案。在一个实施例中，装置600可以过程400的特定描述的细节实施。在一个实施例中，例如相机621和图像处理模块622等专门模块可包含根据所述方法俘获和处理图像所需的功能性。相机621和图像处理模块622可经实施以与装置600的各种其它模块交互。举例来说，组合图像可在显示输出603上输出。此外，图像处理模块可经由来自用户输入模块606的用户输入控制。用户输入模块606可接受用以界定关于组合图像的用户偏好的输入。存储器620可经配置以存储图像，且还可存储确定相机和装置如何操作的设定和指令。
在图6处展示的实施例中，所述装置可为移动装置且包含经配置以执行用于在若干组件处执行操作的指令的处理器610，且可(例如)为通用处理器或适合于在便携式电子装置内实施的微处理器。处理器610可因此实施如本文所描述的用于操作相机和图像处理模块的特定步骤中的任一者或全部。处理器610以通信方式与移动装置600内的多个组件耦合。为了实现此通信耦合，处理器610可跨越总线660与其它所说明的组件通信。总线660可为适于在移动装置600内传递数据的任何子系统。总线660可为多个计算机总线并且包含用以传递数据的额外电路。
存储器620可耦合到处理器610。在一些实施例中，存储器620提供短期及长期存储两者且实际上可被划分成若干单元。短期存储器可存储可在分析之后丢弃的图像。或者，所有图像可存储在长期存储装置中，这取决于用户选择。存储器620可为易失性的，例如静态随机存取存储器(SRAM)和/或动态随机存取存储器(DRAM)，和/或非易失性的，例如只读存储器(ROM)、快闪存储器等。此外，存储器620可包含可装卸式存储装置，例如安全数字(SD)卡。因此，存储器620提供用于移动装置600的计算机可读指令、数据结构、程序模块及其它数据的存储。在一些实施例中，存储器620可分布到不同硬件模块中。
在一些实施例中，存储器620存储多个应用程序626。应用程序626含有待由处理器610执行的特定指令。在替代实施例中，其它硬件模块可另外执行某些应用或应用的部分。存储器620可用于存储用于根据某些实施例实施扫描的模块的计算机可读指令，且还可存储紧凑对象表示作为数据库的一部分。
在一些实施例中，存储器620包含操作系统623。操作系统623可以可操作以起始由应用模块提供的指令的执行和/或管理其它硬件模块以及与可使用无线收发器612和链路616的通信模块的接口。操作系统623可适于跨越移动装置600的组件执行其它操作，包含线程处理、资源管理、数据存储控制和其它相似功能性。
在一些实施例中，移动装置600包含多个其它硬件模块601。其它硬件模块601中的每一者为移动装置600内的物理模块。然而，虽然硬件模块601中的每一者永久地配置为结构，但硬件模块中的相应者可经临时配置以执行特定功能或经临时激活。
其它实施例可包含集成到装置600中的传感器。传感器662的实例可为例如加速计、Wi-Fi收发器、卫星导航系统接收器(例如GPS模块)、压力模块、温度模块、音频输出和/或输入模块(例如麦克风)、相机模块、接近传感器、替代线路服务(ALS)模块、电容性触摸传感器、近场通信(NFC)模块、蓝牙收发器、蜂窝收发器、磁力计、陀螺仪、惯性传感器(例如组合加速计和陀螺仪的模块)、环境光传感器、相对湿度传感器或可操作以提供感觉输出和/或接收感觉输入的任何其它类似模块。在一些实施例中，传感器662的一或多个功能可实施为硬件、软件或固件。此外，如本文所描述，例如加速计、GPS模块、陀螺仪、惯性传感器或其它此类模块等特定硬件模块可结合相机和图像处理模块使用以提供额外信息。在某些实施例中，用户可使用用户输入模块606选择如何分析图像。
移动装置600可包含例如无线通信模块等组件，其可将天线618和无线收发器612与任何其它无线通信所必需的硬件、固件或软件集成。此无线通信模块可经配置以经由网络和例如网络接入点等接入点从例如数据源等各种裝置接收信号。在某些实施例中，可将紧凑对象表示传送到服务器计算机、其它移动装置或其它联网计算装置，以存储在远程数据库中，且在裝置执行对象辨识功能性时由多个其它装置使用。
除存储器620中的其它硬件模块和应用之外，移动装置600还可具有显示输出603和用户输入模块606。显示输出603以图形方式将来自移动装置600的信息呈现给用户。此信息可从一或多个应用模块、一或多个硬件模块、其组合，或任何其它用于为用户解析图形内容(例如通过操作系统623)的合适装置导出。显示输出603可为液晶显示LCD)技术、发光聚合物显示(LPD)技术，或某一其它显示技术。在一些实施例中，显示模块603是电容性或电阻性触摸屏并且可对与用户的触感和/或触觉接触敏感。在此类实施例中，显示输出603可包括多触敏显示器。显示输出603可随后用于显示与相机621或图像处理模块622相关联的任何数目的输出，例如警告、设定、阈值、用户接口或其它此类控制。
上文所论述的方法、系统及装置为实例。各种实施例可在恰当时省略、替换或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序来执行，和/或可添加、省略和/或组合各种阶段。而且，关于某些实施例描述的特征可在各种其它实施例中加以组合。可以类似方式组合实施例的不同方面和要素。
在描述中给出具体细节以提供对实施例的透彻理解。然而，可以在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下提到众所周知的电路、过程、算法、结构和技术，以免混淆所述实施例。此描述仅提供实例实施例，且不希望限制各种实施例的范围、适用性或配置。确切地说，实施例的前述描述将为所属领域的技术人员提供用于实施实施例的启迪性描述。可在不脱离各种实施例的精神和范围的情况下对元件的功能及布置做出各种改变。
并且，一些实施例被描述为可以具有过程箭头的流程来描绘的过程。尽管每一者可将操作描述为循序过程，但许多操作可并行地或同时进行。此外，操作的次序可以重新布置。过程可具有不包含在图式中的额外步骤。此外，可以由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码实施时，执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可执行相关联任务。另外，以上要素可仅为较大系统的组成部分，其中其它规则可优先于各种实施例的应用或以其它方式修改各种实施例的应用，且在实施任何实施例的要素之前、期间或之后，可进行任何数目的步骤。
应注意，如本文所描述的方法可在软件中实施。所述软件可大体来说存储在非暂时性存储装置(例如，存储器)中且由处理器(例如，通用处理器、数字信号处理器等等)实行。
在描述了若干实施例之后，所属领域的一般技术人员因此将明白可在不脱离本发明的精神的情况下，使用各种修改、替代构造和等效物。

Claims (30)

1.一种用于图像处理的方法，其包括：
获得不同焦距处的场景的多个图像，其中每一图像展示对焦的所述场景的不同部分；
获得与所述多个图像相关联的第一深度图；
获得与所述多个图像相关联的第二深度图，其中所述第一深度图对应于第一邻域大小且所述第二深度图对应于第二邻域大小；
基于所述多个图像和所述第一深度图产生展示对焦的所述场景的两个或两个以上部分的合成图像；以及
基于所述合成图像和所述第二深度图产生展示对焦的所述场景的选定部分的再聚焦图像。
2.根据权利要求1所述的方法，其中所述第一邻域大小小于所述第二邻域大小。
3.根据权利要求1所述的方法，其进一步包括：
利用清晰度测量滤波器对所述多个所俘获图像中的每一者滤波以产生多个经滤波图像；
其中获得所述第一深度图包括：
基于所述第一邻域大小将第一二维像素函数应用到所述多个经滤波图像中的每一图像以产生第一多个深度图像；
其中获得所述第二深度图包括：
基于所述第二邻域大小将第二二维像素函数应用到所述多个经滤波图像中的每一图像以产生第二多个深度图像。
4.根据权利要求3所述的方法，其中所述第一二维像素函数涉及计算对应于所述第一邻域中的多个像素的深度值当中的加权平均值。
5.根据权利要求3所述的方法，其中所述第一二维像素函数涉及对对应于所述第一邻域中的像素的深度值实行经加权投票方案。
6.根据权利要求3所述的方法，其中所述清晰度测量滤波器为拉普拉斯滤波器。
7.根据权利要求3所述的方法，
其中获得所述第一深度图包括：
针对每一像素位置获得对应于所述第一多个深度图像的第一多个深度值当中的最大深度值；且
其中获得所述第二深度图包括：
针对每一像素位置获得对应于所述第二多个深度图像的第二多个深度值当中的最大深度值。
8.根据权利要求1所述的方法，其中所述多个图像的所述不同焦距均一地分布在最小焦距值与最大焦距值之间。
9.根据权利要求1所述的方法，其中在运行中基于所述第一深度图产生所述第二深度图。
10.一种用于图像处理的设备，其包括：
用于获得不同焦距处的场景的多个图像的装置，其中每一图像展示对焦的所述场景的不同部分；
用于获得与所述多个图像相关联的第一深度图的装置；
用于获得与所述多个图像相关联的第二深度图的装置，其中所述第一深度图对应于第一邻域大小且所述第二深度图对应于第二邻域大小；
用于基于所述多个图像和所述第一深度图产生展示对焦的所述场景的两个或两个以上部分的合成图像的装置；以及
用于基于所述合成图像和所述第二深度图产生展示对焦的所述场景的选定部分的再聚焦图像的装置。
11.根据权利要求10所述的设备，其中所述第一邻域大小小于所述第二邻域大小。
12.根据权利要求10所述的设备，其进一步包括：
用于利用清晰度测量滤波器对所述多个所俘获图像中的每一者滤波以产生多个经滤波图像的装置；
其中所述用于获得所述第一深度图的装置包括：
用于基于所述第一邻域大小将第一二维像素函数应用到所述多个经滤波图像中的每一图像以产生第一多个深度图像的装置；
其中所述用于获得所述第二深度图的装置包括：
用于基于所述第二邻域大小将第二二维像素函数应用到所述多个经滤波图像中的每一图像以产生第二多个深度图像的装置。
13.根据权利要求12所述的设备，其中所述第一二维像素函数涉及计算对应于所述第一邻域中的多个像素的深度值当中的加权平均值。
14.根据权利要求12所述的设备，其中所述第一二维像素函数涉及对对应于所述第一邻域中的像素的深度值实行经加权投票方案。
15.根据权利要求12所述的设备，
其中所述用于获得所述第一深度图的装置包括：
用于针对每一像素位置获得对应于所述第一多个深度图像的第一多个深度值当中的最大深度值的装置；且
其中所述用于获得所述第二深度图的装置包括：
用于针对每一像素位置获得对应于所述第二多个深度图像的第二多个深度值当中的最大深度值的装置。
16.根据权利要求10所述的设备，其中在运行中基于所述第一深度图产生所述第二深度图。
17.一种用于图像处理的非暂时性处理器可读媒体，其包括处理器可读指令，所述处理器可读指令经配置以致使处理器：
获得不同焦距处的场景的多个图像，其中每一图像展示对焦的所述场景的不同部分；
获得与所述多个图像相关联的第一深度图；
获得与所述多个图像相关联的第二深度图，其中所述第一深度图对应于第一邻域大小且所述第二深度图对应于第二邻域大小；
基于所述多个图像和所述第一深度图产生展示对焦的所述场景的两个或两个以上部分的合成图像；以及
基于所述合成图像和所述第二深度图产生展示对焦的所述场景的选定部分的再聚焦图像。
18.根据权利要求17所述的非暂时性处理器可读媒体，其中所述第一邻域大小小于所述第二邻域大小。
19.根据权利要求17所述的非暂时性处理器可读媒体，其进一步包括经配置以致使所述处理器进行以下操作的指令：
利用清晰度测量滤波器对所述多个所俘获图像中的每一者滤波以产生多个经滤波图像；
基于所述第一邻域大小将第一二维像素函数应用到所述多个经滤波图像中的每一图像以产生第一多个深度图像；以及
基于所述第二邻域大小将第二二维像素函数应用到所述多个经滤波图像中的每一图像以产生第二多个深度图像。
20.根据权利要求19所述的非暂时性处理器可读媒体，其中所述第一二维像素函数涉及计算对应于所述第一邻域中的多个像素的深度值当中的加权平均值。
21.根据权利要求19所述的非暂时性处理器可读媒体，其中所述第一二维像素函数涉及对对应于所述第一邻域中的像素的深度值实行经加权投票方案。
22.根据权利要求19所述的非暂时性处理器可读媒体，其中所述清晰度测量滤波器为拉普拉斯滤波器。
23.根据权利要求19所述的非暂时性处理器可读媒体，其进一步包括用以致使处理器进行以下操作的指令：
针对每一像素位置获得对应于所述第一多个深度图像的第一多个深度值当中的最大深度值，以获得所述第一深度图；以及
针对每一像素位置获得对应于所述第二多个深度图像的第二多个深度值当中的最大深度值，以获得所述第二深度图。
24.根据权利要求17所述的非暂时性处理器可读媒体，其进一步包括用以致使所述处理器基于所述第一深度图在运行中产生所述第二深度图的指令。
25.一种用于图像处理的设备，其包括：
至少一个处理器，其经配置以：
获得不同焦距处的场景的多个图像，其中每一图像展示对焦的所述场景的不同部分；
获得与所述多个图像相关联的第一深度图；
获得与所述多个图像相关联的第二深度图，其中所述第一深度图对应于第一邻域大小且所述第二深度图对应于第二邻域大小；
基于所述多个图像和所述第一深度图产生展示对焦的所述场景的两个或两个以上部分的合成图像；以及
基于所述合成图像和所述第二深度图产生展示对焦的所述场景的选定部分的再聚焦图像；以及
存储器，其耦合到所述至少一个处理器。
26.根据权利要求25所述的设备，其中所述第一邻域大小小于所述第二邻域大小。
27.根据权利要求25所述的设备，其中所述至少一个处理器进一步经配置以：
利用清晰度测量滤波器对所述多个所俘获图像中的每一者滤波以产生多个经滤波图像；
基于所述第一邻域大小将第一二维像素函数应用到所述多个经滤波图像中的每一图像以产生第一多个深度图像；
基于所述第二邻域大小将第二二维像素函数应用到所述多个经滤波图像中的每一图像以产生第二多个深度图像。
28.根据权利要求27所述的设备，其中所述第一二维像素函数涉及计算对应于所述第一邻域中的多个像素的深度值当中的加权平均值。
29.根据权利要求27所述的设备，其中所述至少一个处理器进一步经配置以：
针对每一像素位置获得对应于所述第一多个深度图像的第一多个深度值当中的最大深度值；以及
针对每一像素位置获得对应于所述第二多个深度图像的第二多个深度值当中的最大深度值。
30.根据权利要求25所述的设备，其中所述至少一个处理器进一步经配置以基于所述第一深度图在运行中产生所述第二深度图。
CN201480046458.9A 2013-08-30 2014-08-29 用于产生全对焦图像的方法和设备 Active CN105474622B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361872504P 2013-08-30 2013-08-30
US61/872,504 2013-08-30
US14/471,416 US9344619B2 (en) 2013-08-30 2014-08-28 Method and apparatus for generating an all-in-focus image
US14/471,416 2014-08-28
PCT/US2014/053583 WO2015031856A1 (en) 2013-08-30 2014-08-29 Method and apparatus for generating an all-in-focus image

Publications (2)

Publication Number Publication Date
CN105474622A true CN105474622A (zh) 2016-04-06
CN105474622B CN105474622B (zh) 2018-12-21

Family

ID=52582697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480046458.9A Active CN105474622B (zh) 2013-08-30 2014-08-29 用于产生全对焦图像的方法和设备

Country Status (8)

Country Link
US (1) US9344619B2 (zh)
EP (1) EP3039857A1 (zh)
JP (1) JP6411505B2 (zh)
KR (1) KR102126300B1 (zh)
CN (1) CN105474622B (zh)
BR (1) BR112016004206B1 (zh)
CA (1) CA2919253C (zh)
WO (1) WO2015031856A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412426A (zh) * 2016-09-24 2017-02-15 上海大学 全聚焦摄影装置及方法
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
CN108200344A (zh) * 2018-01-23 2018-06-22 江苏冠达通电子科技有限公司 摄像机的调整变焦方法
KR20190070264A (ko) * 2017-12-12 2019-06-20 삼성전자주식회사 Qis 센서를 위한 고 대비 구조화된 광 패턴들
CN109919992A (zh) * 2017-12-12 2019-06-21 三星电子株式会社 估测图像中的深度的方法
KR20200064564A (ko) * 2018-11-29 2020-06-08 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
CN112585962A (zh) * 2018-07-06 2021-03-30 Pcms控股公司 用于形成大视点变化的扩展焦平面的方法和系统
CN112738389A (zh) * 2019-10-28 2021-04-30 三星电子株式会社 用于提供滑动变焦视图合成的系统和方法
CN113545030A (zh) * 2019-09-30 2021-10-22 谷歌有限责任公司 通过移动相机自动生成全焦图像
WO2022126430A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 辅助对焦方法、装置及系统
KR102529593B1 (ko) * 2022-10-25 2023-05-08 성형원 대상체에 대한 3d 정보를 획득하는 디바이스 및 방법
US11893755B2 (en) 2018-01-19 2024-02-06 Interdigital Vc Holdings, Inc. Multi-focal planes with varying positions

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014193377A1 (en) * 2013-05-30 2014-12-04 Nokia Corporation Image refocusing
US9401027B2 (en) * 2013-10-21 2016-07-26 Nokia Technologies Oy Method and apparatus for scene segmentation from focal stack images
JP6581333B2 (ja) * 2014-03-14 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置およびプログラム
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
TWI558167B (zh) * 2014-12-30 2016-11-11 友達光電股份有限公司 立體影像顯示系統與顯示方法
US9565356B2 (en) * 2015-06-07 2017-02-07 Apple Inc. Optimizing capture of focus stacks
US9774270B2 (en) 2015-06-15 2017-09-26 Apple Inc. Systems and methods of operation for power converters having series-parallel mode active clamps
US20180205311A1 (en) 2017-01-17 2018-07-19 Apple Inc. Control of Series-Parallel Mode (SPM) Clamped Flyback Converter
US9569830B2 (en) * 2015-07-03 2017-02-14 Mediatek Inc. Image processing method and electronic apparatus with image processing mechanism
US10237473B2 (en) * 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
EP3139614A1 (en) * 2015-09-07 2017-03-08 Thomson Licensing Method and device for encoding and decoding a light field based image, and corresponding computer program product
JP6818471B2 (ja) 2016-08-31 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2018098607A1 (en) * 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
US10389936B2 (en) 2017-03-03 2019-08-20 Danylo Kozub Focus stacking of captured images
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
WO2018218643A1 (en) * 2017-06-02 2018-12-06 Shanghaitech University Method and apparatus for estimating depth of field information
CN108055452B (zh) 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
KR101997991B1 (ko) 2017-11-29 2019-07-08 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 결합 방법 및 시스템
CN107948520A (zh) 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
KR101997358B1 (ko) * 2017-11-30 2019-07-08 오스템임플란트 주식회사 초점 조절방식 광학 스캐너의 초점면들을 이용한 복합 초점 이미지 생성 장치 및 그 방법
KR101994473B1 (ko) * 2017-12-20 2019-07-31 (주)이더블유비엠 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램
EP3554082A1 (en) * 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
JP7214368B2 (ja) * 2018-05-31 2023-01-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP7297891B2 (ja) * 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
JP6936990B2 (ja) * 2018-07-26 2021-09-22 日本電信電話株式会社 符号化装置及びプログラム
CN109600552B (zh) * 2019-01-14 2024-06-18 广东省航空航天装备技术研究所 图像重新聚焦的控制方法及系统
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
WO2020187425A1 (en) * 2019-03-21 2020-09-24 Huawei Technologies Co., Ltd. Depth of field image refocusing
WO2021052487A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 扩展景深图像的获取方法、装置及电子设备
WO2021120188A1 (en) * 2019-12-20 2021-06-24 Qualcomm Incorporated Image fusion
US11756221B2 (en) 2021-01-28 2023-09-12 Qualcomm Incorporated Image fusion for scenes with objects at multiple depths
US11830127B1 (en) * 2023-05-02 2023-11-28 Illuscio, Inc. Systems and methods for generating consistently sharp, detailed, and in-focus three-dimensional models from pixels of two-dimensional images

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US20080013941A1 (en) * 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
US20090214079A1 (en) * 2008-02-27 2009-08-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
US20100165152A1 (en) * 2008-12-30 2010-07-01 Massachusetts Institute Of Technology Processing Images Having Different Focus
CN102203827A (zh) * 2009-10-02 2011-09-28 香港中文大学 用于编辑图像的方法和装置
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
US20120070097A1 (en) * 2010-09-16 2012-03-22 Adams Jr James E Refocusing images using scene captured images
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
WO2013054240A1 (en) * 2011-10-10 2013-04-18 Koninklijke Philips Electronics N.V. Depth map processing
CN103168315A (zh) * 2010-09-09 2013-06-19 数字光学欧洲有限公司 手持式设备上的立体(3d)全景图创建
CN103177432A (zh) * 2013-03-28 2013-06-26 北京理工大学 一种用编码孔径相机获取全景图方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929801B2 (en) 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5824364B2 (ja) * 2010-06-17 2015-11-25 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US9501834B2 (en) 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
US20150109513A1 (en) * 2012-04-26 2015-04-23 The Trustees of Collumbia University in the City York Systems, methods, and media for providing interactive refocusing in images
TWI482468B (zh) * 2012-11-23 2015-04-21 Inst Information Industry 物體偵測裝置、方法及其電腦可讀取紀錄媒體

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US20080013941A1 (en) * 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
US20090214079A1 (en) * 2008-02-27 2009-08-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
US20100165152A1 (en) * 2008-12-30 2010-07-01 Massachusetts Institute Of Technology Processing Images Having Different Focus
CN102203827A (zh) * 2009-10-02 2011-09-28 香港中文大学 用于编辑图像的方法和装置
CN103168315A (zh) * 2010-09-09 2013-06-19 数字光学欧洲有限公司 手持式设备上的立体(3d)全景图创建
US20120070097A1 (en) * 2010-09-16 2012-03-22 Adams Jr James E Refocusing images using scene captured images
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
WO2013054240A1 (en) * 2011-10-10 2013-04-18 Koninklijke Philips Electronics N.V. Depth map processing
CN103177432A (zh) * 2013-03-28 2013-06-26 北京理工大学 一种用编码孔径相机获取全景图方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412426B (zh) * 2016-09-24 2019-08-20 上海大学 全聚焦摄影装置及方法
CN106412426A (zh) * 2016-09-24 2017-02-15 上海大学 全聚焦摄影装置及方法
CN106600529A (zh) * 2016-11-28 2017-04-26 北京暴风魔镜科技有限公司 一种全焦全景图像的获取方法和装置
CN109919992B (zh) * 2017-12-12 2024-06-04 三星电子株式会社 估测图像中的深度的方法
KR20190070264A (ko) * 2017-12-12 2019-06-20 삼성전자주식회사 Qis 센서를 위한 고 대비 구조화된 광 패턴들
CN109919992A (zh) * 2017-12-12 2019-06-21 三星电子株式会社 估测图像中的深度的方法
KR102581393B1 (ko) 2017-12-12 2023-09-21 삼성전자주식회사 Qis 센서를 위한 고 대비 구조화된 광 패턴들
US11893755B2 (en) 2018-01-19 2024-02-06 Interdigital Vc Holdings, Inc. Multi-focal planes with varying positions
CN108200344A (zh) * 2018-01-23 2018-06-22 江苏冠达通电子科技有限公司 摄像机的调整变焦方法
CN112585962A (zh) * 2018-07-06 2021-03-30 Pcms控股公司 用于形成大视点变化的扩展焦平面的方法和系统
KR20200064564A (ko) * 2018-11-29 2020-06-08 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102574649B1 (ko) 2018-11-29 2023-09-06 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
CN113545030A (zh) * 2019-09-30 2021-10-22 谷歌有限责任公司 通过移动相机自动生成全焦图像
CN113545030B (zh) * 2019-09-30 2023-08-18 谷歌有限责任公司 通过移动相机自动生成全焦图像的方法、用户设备以及系统
CN112738389A (zh) * 2019-10-28 2021-04-30 三星电子株式会社 用于提供滑动变焦视图合成的系统和方法
CN114788254A (zh) * 2020-12-16 2022-07-22 深圳市大疆创新科技有限公司 辅助对焦方法、装置及系统
CN114788254B (zh) * 2020-12-16 2024-04-30 深圳市大疆创新科技有限公司 辅助对焦方法、装置及系统
WO2022126430A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 辅助对焦方法、装置及系统
KR102529593B1 (ko) * 2022-10-25 2023-05-08 성형원 대상체에 대한 3d 정보를 획득하는 디바이스 및 방법

Also Published As

Publication number Publication date
CA2919253C (en) 2021-06-22
CA2919253A1 (en) 2015-03-05
JP2016533686A (ja) 2016-10-27
WO2015031856A1 (en) 2015-03-05
KR20160048140A (ko) 2016-05-03
US20150062370A1 (en) 2015-03-05
JP6411505B2 (ja) 2018-10-24
EP3039857A1 (en) 2016-07-06
BR112016004206A2 (zh) 2017-08-01
KR102126300B1 (ko) 2020-06-24
CN105474622B (zh) 2018-12-21
BR112016004206B1 (pt) 2023-04-11
US9344619B2 (en) 2016-05-17

Similar Documents

Publication Publication Date Title
CN105474622A (zh) 用于产生全对焦图像的方法和设备
US11704771B2 (en) Training super-resolution convolutional neural network model using a high-definition training image, a low-definition training image, and a mask image
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
US10839605B2 (en) Sharing links in an augmented reality environment
US20120044263A1 (en) Terminal device and method for augmented reality
KR20170098089A (ko) 전자 장치 및 그의 동작 방법
CN107992848B (zh) 获取深度图像的方法、装置及计算机可读存储介质
CN108875492B (zh) 人脸检测及关键点定位方法、装置、系统和存储介质
KR101253283B1 (ko) 고해상도 영상 재구성 방법 및 시스템
DE202017007296U1 (de) Elektronische Vorrichtung, umfassend einen gebogenen Anzeigebereich
CN112258404A (zh) 图像处理方法、装置、电子设备和存储介质
CN112084959B (zh) 一种人群图像处理方法及装置
JP6686547B2 (ja) 画像処理システム、プログラム、画像処理方法
EP2733673A1 (en) Object information provision device, object information provision system, terminal, and object informaiton provision method
CN114782296B (zh) 图像融合方法、装置及存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
US10460425B2 (en) Method, device, and recording medium for processing image
KR101870423B1 (ko) 지오태깅 정보를 이용한 지도 정보 제공방법 이를 위한 컴퓨터 프로그램 및 기록매체
US11341729B2 (en) Method and electronic device for correcting external reality pixels and virtual content pixels within an augmented reality environment
CN111325148A (zh) 遥感影像的处理方法、装置、设备和存储介质
CN106131638B (zh) 信息显示方法和设备
US11900392B2 (en) Mobile device with in-person assistance
CN115240209A (zh) 水印识别方法和装置
CN116420158A (zh) 用于生成其中被摄体已经被捕获的图像的设备和方法
CN117746274A (zh) 信息处理方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant