CN105247567A - 图像重新聚焦 - Google Patents

图像重新聚焦 Download PDF

Info

Publication number
CN105247567A
CN105247567A CN201380076977.5A CN201380076977A CN105247567A CN 105247567 A CN105247567 A CN 105247567A CN 201380076977 A CN201380076977 A CN 201380076977A CN 105247567 A CN105247567 A CN 105247567A
Authority
CN
China
Prior art keywords
image
focus
pixel
sectional area
storehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380076977.5A
Other languages
English (en)
Other versions
CN105247567B (zh
Inventor
H·周
T·奥南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105247567A publication Critical patent/CN105247567A/zh
Application granted granted Critical
Publication of CN105247567B publication Critical patent/CN105247567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

方法包括：将焦点堆栈的图像的区域自动分割为分段区域；并且至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像，重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。装置包括：用于图像的焦点堆栈的图像分割器，其中图像分割器被配置为自动形成针对每个图像的分段区域；和焦点堆栈融合器，其被配置为将图像的焦点堆栈融合为重新聚焦的图像，其中重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。

Description

图像重新聚焦
技术领域
示例性且非限制性的实施例总体上涉及图像的重新聚焦，尤其涉及捕获后的图像重新聚焦。
背景技术
在诸如利用相机拍摄图像时，图像中的一个或多个区域可能是焦点未对准的，诸如由于例如距相机镜头的距离有所不同。即使利用具有自动聚焦功能的相机也是如此。有时期望对图像进行捕获后的重新聚焦以产生重新聚焦的图像。
发明内容
以下发明内容仅意在是示例性的。该发明内容并非意在对权利要求的范围加以限制。
依据一个方面，示例实施例以装置来提供，其包括：用于将图像的焦点堆栈(focalstack)的至少一个区域分割为至少一个分段区域的组件；和用于至少部分基于对至少一个分段区域中的一个或多个分段区域的选择而生成重新聚焦的图像的组件，其中重新聚焦的图像包括来自焦点堆栈的至少两个图像的至少一个分段区域中的不同分段区域、和/或已经以不同于至少一个其它区域的方式进行处理的至少一个分段区域。
依据另一个方面，示例实施例以装置来提供，其包括：至少一个处理器；和至少一个包括计算机程序代码的存储器，其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器以：形成针对至少一些图像的分段区域；并且将图像的焦点堆栈融合为重新聚焦的图像，其中重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
依据另一个方面，示例实施例以装置来提供，其包括：用于图像的焦点堆栈的图像分割器，其中图像分割器被配置为针对每个图像形成分段区域；和焦点堆栈融合器，其被配置为将图像的焦点堆栈融合为重新聚焦的图像。重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
依据另一个方面，示例方法包括：将焦点堆栈的图像的区域分割为分段区域；并且至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像，重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
依据另一个方面，示例实施例以能够由机器读取的非瞬态程序存储设备来提供，其有形地体现能够由机器执行以便执行操作的指令的程序，操作包括：将图像的焦点堆栈的区域分割为分段区域；并且至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像，重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
依据另一个方面，示例实施例以装置来提供，其包括：至少一个处理器；和至少一个包括计算机程序代码的存储器，其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器以：将图像的焦点堆栈的区域分割为分段区域；并且至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像，重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
依据另一个方面，示例实施例以装置来提供，其包括：至少一个处理器；和至少一个包括计算机程序代码的存储器，其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器以：针对一个或多个图像形成分段区域；并且至少部分基于对(多个)分段区域的选择而生成新的图像，其中新的图像包括已经以不同于至少一个其它分段区域的方式进行处理的(多个)分段区域。
附图说明
在以下结合附图所进行的描述中对上述方面和其它特征加以解释，其中：
图1是包括示例实施例的特征的装置的前视图；
图2是图示出图2所示的装置的一些部件的图；
图3是图示出图1所示的装置的一些特征的图；
图4是图1所示的装置的显示器上所显示的示例图像的图示；
图5A-5C是图像的焦点堆栈中的图像示例的图示；
图6是示例方法的图；
图7是图示出被用来形成相对深度图的图5A-5C中的图像的焦点堆栈的使用的图；
图8是图示出前景分割结果的图；和
图9是来自图5A-5C所示的图像的焦点堆栈的捕获后重新聚焦的图像的图示。
具体实施方式
参考图1，示出了并入示例实施例的特征的装置10的前视图。虽然将参考附图中所示的示例实施例对特征进行描述，但是应当理解的是，特征可以以实施例的许多替换形式来体现。此外，可以使用任何适当大小、形状或类型的部件或材料。
装置10是包括电话应用的手持通信设备。在替换示例中，装置可以不包括电话应用。在图1所示的示例中，装置10还可以包括因特网浏览器应用、相机应用、视频录制器应用、音乐播放器和录制器应用、电子邮件应用、导航应用、游戏应用、和/或诸如可以在例如智能电话或平板电脑上提供的任何其它的适当电子设备应用。参考图1和图2两者，在该示例实施例中，装置10包括外壳12、显示模块14、接收器16、传送器18、可充电电池26和控制器20，该控制器20可以包括至少一个处理器22、至少一个存储器24和软件28。然而，所有这些特征对于实施以下所描述的特征而言都不是必要的。例如，如本文中所描述的特征可以在没有传送器或接收器的相机或视频录制器中使用。
接收器16和传送器18形成了无线移动通信接口，以允许装置10与诸如例如移动电话基站之类的无线电话系统进行通信。例如，无线移动通信接口16、18可以允许装置10诸如通过4G、4GLTE、3G、CDMA等进行通信。然而，在替换示例实施例中，接收器16和传送器18可以未被提供，诸如在装置10没有电话功能或无线因特网功能时。例如，装置10可以仅是具有相机的游戏设备。例如，针对装置10的因特网接入可以通过电视控制台或无线WLAN而由短程通信系统来提供。这些仅是一些示例而并不应当被认为是限制性的。
装置10进一步包括相机30。装置可以包括多于一个的相机。在该示例中，相机30能够拍摄静止照片图像和视频图像。相机30具有可以移动以提供不同焦平面的镜头。装置30可以具有适当软件，诸如用于提供自动聚焦功能的软件28的一部分。
在所示出的示例中，装置10具有捕获后重新聚焦系统32(参见图3)，其可以被用来提供捕获后的重新聚焦。为了实现重新聚焦而使用了三个步骤，包括：
·捕获聚焦在不同焦平面处的多个图像；
·从所捕获的图像中指示并选择个体分段区域以用于重新聚焦，并且
·生成重新聚焦的图像，其包括来自不同焦平面图像中的至少两个图像的分段区域。
·生成步骤可以包括生成重新聚焦的图像，重新聚焦的图像包括来自不同焦平面图像中的一个或多个图像的分段区域，其中一些区域内的像素可以通过数字图像处理的手段进行处理(例如，诸如人为模糊)。
如本文中所描述的特征可以被用来形成：
1.由源自于两个或更多焦点堆栈图像的分段区域所组成的图像，和/或
2.由源自于一个或多个焦点堆栈图像的分段区域所组成的图像，其中至少一个分段区域已经以不同于其它区域的方式进行了处理。
还参考图3，装置包括捕获后重新聚焦系统32，其例如可以包括处理器22、存储器24以及软件28中的一些软件。该示例中的捕获后重新聚焦系统32包括图像分割器34和图像融合器36。系统32连接至诸如存储在存储器24之中的图像的焦点堆栈38。例如，如本文中所描述的特征可以被用于移动成像、操控相机焦点/景深、以及图像分割和混合。
用户可以以许多方式来指示重新聚焦的对象。例如，用户可以绘制笔画，并且系统可以计算笔画的边界框，并且因此限定出区域。然而，利用如本文中所描述的特征，用户不需要限定重新聚焦的区域或对象。代之，区域基于不同焦平面而从焦点堆栈的图像自动被分割。在该自动处理之后，用户随后被允许从多个分段区域中挑选出哪些区域应当重新聚焦。例如，用户可以通过简单屏幕触摸而简单地选择要在随后生成的重新聚焦的图像中使用的(多个)重新聚焦区域。在替换示例实施例中，不是使得区域被自动分割，这可以以非自动的方式来完成，诸如由用户发起处理。
还参考图4，显示器14上示出了图像40。显示器14可以是还用作用户界面的触摸屏。图像40在该示例中是风景类型的图像，其具有近处的树41、花42、房子43、灯柱44、远处的树45和天空46。图像40被示出为显示有图像40上的分段区域的边界47。边界之一—在该示例中围绕大部分近处的树41—可以与其它边界的颜色不同，以向用户指示或突出默认的聚焦区域。这种类型的图像可以在已经发生自动分割之后被呈现给用户，以向用户指示所有区域在何处进行了预先分割。于是用户可以随后选择这些(由边界47所限定的)分割区域中的一个或多个来标识出要重新聚焦的提供在随后生成的重新聚焦的图像中的(多个)区域。
还参考图5A、5B和5C，图示了图像的焦点堆栈的三个图像48A、48B、48C(仅出于简明的原因，图像的一部分并未在图5B和5C中示出)。第一图像48A具有焦点对准的项A。然而，较近的项B和C是焦点未对准的。第二图像48B具有焦点对准的项B。然而，较远的项A和较近的项C是焦点未对准的。第三图像48C具有焦点对准的项C。然而，较远的项A和B是焦点未对准的。每个图像48A、48B和48C具有在图像被拍摄时由不同镜头位置所提供的不同焦距。因此，相机30已经捕获了包含从不同镜头位置所获得的一系列图像的焦点堆栈。
还参考图6，示出了一种方法的示例。在如由块50所指示的捕获焦点堆栈的图像之后，可以如由块52所指示的执行图像登记。图像配准例如可以被用来估计图像之间由于不同镜头位置和/或可能的手部抖动所导致的变换。图像可以如由块54所指示的进行对准。所估计的变换可以被应用于图像以将它们全部对准在一起。可以如由块56所指示的估计像素的模糊。对于每个焦点堆栈图像的每个像素而言，软件可以估计该像素和下一帧中的对应像素之间的模糊。这可以被用来形成针对每个焦点堆栈图像的模糊图。如由块58所指示的，可以通过对模糊图设定阈值而形成深度图。将模糊图互相比较并且被设定阈值从而生成相对深度图。图7中示出了其示例，其中三个图像48A、48B、48C被用来生成相对深度图70。具有相似模糊级别的像素可以被归类为相同的深度级别。图像可以具有焦点堆栈中最锐利的像素(模糊最少的像素)的集合。那些最锐利的像素被称作焦点对准的像素。为了对模糊图设定阈值，基本上，在帧中，其模糊度在跨所有焦点堆栈帧的对应像素中最小的像素可以被认为是焦点对准的像素并且被标记为“1”，而相同帧中的所有其它像素可以被标记为“0”(零)。此处，最小模糊度可以被限定为其小于第二小的百分比。例如，A<0.99*B，其中A为最小而B为第二小。
如由块60所指示的，可以使用深度图作为输入而形成抠像图像。图像抠像技术被应用于具有对应焦点对准像素的焦点堆栈图像上。针对每个图像，焦点对准像素被用作前景指示，并且所有其它焦点堆栈图像中的焦点对准像素被用作背景指示。抠像处理产生抠像图，其中抠像图的每个像素值示出前景和背景的百分比。如由块62所指示的，可以执行区域分割以在每个图像中形成区域。将抠像图进行比较并设定阈值从而提取前景和/或背景区域。图8示出了前景分割结果72的示例。
分割允许以不同方式对图像的不同分段进行处理从而实现各种效果。示例效果将是人为背景散焦。参见图8，装置可以被配置为将由亮色72所表示的分段保持原样，而对用暗色73所指示的区域进行人为模糊，从而实现了其中背景被模糊但是前景不变的图像。此外，在其中将焦点堆栈的分割用于以不同方式处理各个分段的示例中，被处理的分段可以仅源自于焦点堆栈中的图像之一(不必要是两个或更多的图像)。
如由块64所示，分割结果可以向用户示出，诸如例如类似于图4。前景区域被合并到一个图像中，并且区域的边界在该图像上被指示出来。用户可以如由块66所指示的选择一个或多个用于重新聚焦的期望区域。这例如可以通过在触摸屏14上的简单触摸来实现，或者通过使用向装置10提供输入的任何其它技术来实现。在替换方法中，可以不提供用户选择66，并且装置和方法可以包括装置自动选择一个或多个(或所有)区域以便焦点对准的提供在重新聚焦的图像中。如由块68所指示的，通过将焦点堆栈帧进行融合而生成重新聚焦的图像。图9示出了全景对焦的融合结果的示例。图像48D具有包括项A、B和C在内的焦点对准的所有区域。这可以通过用户选择所有图片区域作为期望聚焦区域来实现。在替换中，用户可以仅选择对应于A而不是B的分段区域，使得A和C将是焦点对准的，但是B将会是焦点未对准的。这仅是用来说明可以被用来提供不同结果的特征的示例。
如本文中所描述的特征的优势包括使用多个焦点堆栈图像来辅助抠像，并且在分割期间不需要用户输入。所有被分割的区域都可以向用户示出，使得用户可以通过简单触摸来选择用于重新聚焦的(多个)期望区域。因此，用户不需要绘制重新聚焦的区域。这样就避开了如何使用常规相机来实现重新聚焦功能；以及提供用户界面以方便地令用户选择(多个)重新聚焦的区域的问题。
示例装置可以包括用于将图像的焦点堆栈的区域自动分割为分段区域的组件；和用于至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像的组件，其中重新聚焦的图像包括来自焦点堆栈的至少两个图像的分段区域中的不同分段区域。
装置可以进一步包括用于用户选择一个或多个分段区域以作为生成重新聚焦的图像的基础的组件。用于用户选择的组件可以包括装置的触摸屏。用于自动分割区域的组件可以被配置为基于图像的焦点堆栈中的图像中的每一个相应图像中的区域的不同焦平面而自动分割区域。用于自动分割区域的组件可以被配置为提供焦点堆栈中的图像的图像配准以估计图像之间的变换。装置可以被配置为将所估计的变换应用于图像以将图像对准在一起。装置可以被配置为针对每个焦点堆栈图像的每个像素，估计该像素与堆栈的图像中的另一个图像中的对应像素之间的模糊，其中针对每个焦点堆栈图像形成模糊图。装置可以被配置为将模糊图互相比较，其中模糊图被设定阈值从而生成相对深度图。装置可以被配置为将具有相似模糊级别的像素归类为相同深度级别，其中每个图像具有包括焦点堆栈中最锐利像素的像素中的焦点对准像素的集合。装置可以被配置为利用对应焦点对准像素对图像的焦点堆栈应用图像抠像技术。装置可以被配置为针对每个图像，使用焦点对准像素作为前景指示，并且使用焦点堆栈图像中的所有其它图像中的焦点对准像素作为背景指示。装置可以被配置为提供抠像处理以产生抠像图，其中抠像图中的每个像素值示出前景和背景的百分比。装置可以被配置为将抠像图与阈值进行比较以提取前景和背景区域。装置可以被配置为将前景区域合并到一个图像中并且指示区域的边界。用于生成的组件可以被配置为将焦点堆栈图像融合到重新聚焦的图像中。用于生成重新聚焦的图像的组件可以至少部分基于作为对一个或多个分段区域的用户选择的选择。
示例装置可以包括：用于图像的焦点堆栈的图像分割器，其中图像分割器被配置为针对每个图像自动形成分段区域；和焦点堆栈融合器，其被配置为将图像的焦点堆栈融合为重新聚焦的图像，其中重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
装置可以进一步包括分段区域选择器，其被配置为允许用户选择一个或多个分段区域以便在重新聚焦的图像中使用。分段区域选择器可以包括装置的触摸屏。图像分割器可以被配置为基于图像的焦点堆栈中的图像中的每一个相应图像中的区域的不同焦平面而自动分割区域。图像分割器可以被配置为提供焦点堆栈的图像的图像配准以估计图像之间的变换。装置可以被配置为将所估计的变换应用于图像以将图像对准在一起。装置可以被配置为针对每个焦点堆栈图像的像素，估计该像素与堆栈的图像中的另一个图像中的对应像素之间的模糊，其中针对每个焦点堆栈图像形成模糊图。装置可以被配置为将模糊图互相比较，其中模糊图被设定阈值从而生成相对深度图。装置可以被配置为将具有相似模糊级别的像素归类为相同深度级别，其中每个图像具有包括焦点堆栈中最锐利像素的像素中的焦点对准像素的集合。装置可以被配置为利用对应焦点对准像素对图像的焦点堆栈应用图像抠像技术。装置可以被配置为针对每个图像，使用焦点对准像素作为前景指示，并且使用焦点堆栈图像中的所有其它图像中的焦点对准像素作为背景指示。装置可以被配置为提供抠像处理以产生抠像图，其中抠像图中的每个像素值示出前景和背景的百分比。装置可以被配置为将抠像图与阈值进行比较以提取前景和背景区域。装置可以被配置为将前景区域合并到一个图像中并且指示区域的边界。焦点堆栈融合器可以被配置为至少部分基于对一个或多个分段区域的用户选择而生成重新聚焦的图像。
示例方法可以包括将焦点堆栈的图像的区域自动分割为分段区域；并且至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像，重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
对一个或多个分段区域的选择可以包括用户在用户界面处的选择。自动分割图像的区域可以包括至少部分基于区域的不同焦平面对区域进行分割。方法可以包括提供焦点堆栈中的图像的图像配准以估计图像之间的变换。方法可以进一步包括将所估计的变换应用于图像以将图像对准在一起。方法可以进一步包括针对每个焦点堆栈图像的像素，估计该像素与堆栈的图像中的另一个图像中的对应像素之间的模糊，其中针对每个焦点堆栈图像形成模糊图。方法可以进一步包括将模糊图互相比较，其中模糊图被设定阈值从而生成相对深度图。方法可以进一步包括将具有相似模糊级别的像素归类为相同深度级别，其中每个图像具有包括焦点堆栈中最锐利像素的像素中的焦点对准像素的集合。方法可以进一步包括利用对应焦点对准像素对图像的焦点堆栈应用图像抠像技术。方法可以进一步包括针对每个图像，使用焦点对准像素作为前景指示，并且使用焦点堆栈图像中的所有其它图像中的焦点对准像素作为背景指示。方法可以进一步包括提供抠像处理以产生抠像图，其中抠像图中的像素值示出前景和背景的百分比。方法可以进一步包括将抠像图与阈值进行比较以提取前景和背景区域。方法可以进一步包括将前景区域合并到一个图像中并且指示区域的边界。生成可以将焦点堆栈图像融合到重新聚焦的图像中。
可以提供能够由机器读取的示例非瞬态程序存储设备，诸如例如存储器24，其有形地体现能够由机器执行以便执行操作的指令的程序，操作包括将图像的焦点堆栈的区域自动分割为分段区域；并且至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像，重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
如本文中所描述的特征可以使用焦点作为线索，并且应用图像抠像技术进行区域分割从而生成重新聚焦的图像。基于抠像的区域分割可以给出区域的alpha图，其中计算了前景/背景的百分比。而且，特征可以被用来生成人为散景(Bokeh)，其中聚焦区域和其它区域以不同方式进行过滤。该方法可以是完全自动的。可以在没有任何用户输入的情况下生成不同的重新聚焦图像。以不同方式对聚焦区域和其它区域进行过滤的另一个示例是对(多个)焦点未对准区域应用运动模糊滤镜，使得可以人为生成背景运动效果。以不同方式对聚焦区域和其它区域进行过滤的又一个示例是去除(多个)焦点未对准区域的颜色，使得可以人为生成具有灰度背景效果的彩色聚焦区域的强调。存在用于以不同方式对不同区域应用滤镜的各种其它应用。在最终阶段，用户可以通过触摸在触摸屏上的图像的区域来选择重新聚焦的图像之一。然而，对于处理而言这不是要求的。如果没有用户输入，仍然可以生成并保存所有重新聚焦/散景图像。
重新聚焦系统可以使用深度图作为区域分割和重新聚焦图像生成的线索。重新聚焦系统例如可以与静态场景一起使用。重新聚焦系统可以使用全局图像变换模型作为用于图像对准的配准。重新聚焦系统可以使用梯度进行深度估计。重新聚焦系统可以基于焦点堆栈图像集合。深度可以使用梯度来估计。图像分割可以通过对相同聚焦层内的像素进行聚类来实现。
焦点堆栈系统可以使用焦点堆栈图像来得到人为散焦/重新聚焦的图像。焦点堆栈系统可以使用单个镜头通过不同镜头位置来捕获图像。系统并不要求场景上的照明模式。可以使用单个视图图像从聚焦(散焦)得到深度图的生成。系统可以在期望的情况下得到全景对焦图像。重新聚焦可以从焦点堆栈进行计算，其中帧是普通的(regular)、非活动图像。不需要为了在场景中投射具体图案(点)的特殊设置或编码图像或主动照明。深度估计可以来自于聚焦(散焦)图像像素。
示例装置可以包括如下装置，其包括：用于将图像的焦点堆栈的至少一个区域分割为至少一个分段区域的组件；和用于至少部分基于对至少一个分段区域中的一个或多个分段区域的选择而生成重新聚焦的图像的组件，其中重新聚焦的图像包括：
来自焦点堆栈的图像中的至少两个图像的至少一个分段区域中的不同分段区域，和/或
已经以不同于区域中的至少一个其它区域的方式进行处理的至少一个分段区域。
用于生成的组件可以被配置为生成包括来自一个或多个不同焦平面图像的分段区域的重新聚焦的图像，其中一些区域内的像素通过数字图像处理进行处理。
示例装置可以包括：至少一个处理器；和至少一个包括计算机程序代码的存储器，其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器以：
将图像的焦点堆栈的区域分割为分段区域；并且
至少部分基于对一个或多个分段区域的选择而生成重新聚焦的图像，重新聚焦的图像包括来自焦点堆栈的至少两个图像的不同分段区域。
示例装置可以包括：至少一个处理器；和至少一个包括计算机程序代码的存储器，其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器以：针对一个或多个图像形成分段区域；并且至少部分基于对(多个)分段区域的选择而生成新图像，其中新的图像包括已经以不同于分段区域中的至少一个其它分段区域的方式进行处理的(多个)分段区域。
示例装置可以包括：至少一个处理器；和至少一个包括计算机程序代码的存储器，其中至少一个存储器和计算机程序代码被配置为利用至少一个处理器以：针对一个或多个图像形成分段区域；以不同方式对至少两个分段区域进行数字图像处理；并且至少部分基于对至少两个分段区域的选择而生成新的图像。
应当理解的是，以上描述仅是说明性的。本领域技术人员可以设计出各种替换和修改。例如，在各个从属权利要求中记载的特征可以以任何适当的(多种)组合彼此组合。此外，来自以上所描述的不同实施例的特征可以有选择地被组合为新的实施例。因此，描述意在包含落入所附权利要求范围之内的所有这样的替换、修改和变化。

Claims (39)

1.一种装置，包括：
用于将图像的焦点堆栈的至少一个区域分割为至少一个分段区域的组件；和
用于至少部分基于对所述至少一个分段区域中的一个或多个分段区域的选择而生成重新聚焦图像的组件，其中所述重新聚焦图像包括：
来自所述焦点堆栈的所述图像中的至少两个图像的所述至少一个分段区域中的不同分段区域，和/或
已经以不同于所述区域中的至少一个其它区域的方式进行处理的所述至少一个分段区域。
2.根据权利要求1所述的装置，其中用于生成的所述组件被配置为生成包括来自不同焦平面图像中的一个或多个图像的所述分段区域的所述重新聚焦图像，其中所述区域中的一些区域内的像素通过数字图像处理进行处理。
3.根据权利要求1所述的装置，其中用于分割至少一个所述区域的所述组件被配置为基于图像的所述焦点堆栈中的所述图像中的每一个相应图像中的所述区域的不同焦平面而自动分割所述区域。
4.根据权利要求1所述的装置，其中用于分割所述至少一个区域的所述组件被配置为提供所述焦点堆栈的图像的图像配准以估计所述图像之间的变换。
5.根据权利要求1所述的装置，其中所述装置被配置为针对图像的所述焦点堆栈的像素估计所述像素与所述堆栈的所述图像中的另一个图像中的对应像素之间的模糊，其中针对每个焦点堆栈图像形成模糊图。
6.根据权利要求1所述的装置，其中所述装置被配置为将模糊图互相比较，其中所述模糊图被设定阈值从而生成相对深度图。
7.根据权利要求1所述的装置，其中所述装置被配置为提供抠像处理以产生抠像图，其中所述抠像图中的每个像素值示出前景和背景的百分比。
8.一种装置，包括：
至少一个处理器；和
包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器以便：
针对至少一些图像形成分段区域；并且
将图像的焦点堆栈融合到重新聚焦图像中，其中所述重新聚焦图像包括来自所述焦点堆栈的所述图像中的至少两个图像的所述分段区域中的不同分段区域。
9.根据权利要求8所述的装置，进一步包括分段区域选择器，所述分段区域选择器被配置为允许用户选择一个或多个所述分段区域以便在所述重新聚焦图像中使用。
10.根据权利要求9所述的装置，其中所述分段区域选择器包括所述装置的触摸屏。
11.根据权利要求8所述的装置，其中所述装置被配置为基于图像的所述焦点堆栈的所述图像中的相应图像中的所述区域的不同焦平面而分割所述区域。
12.根据权利要求8所述的装置，其中所述装置被配置为提供所述焦点堆栈的所述图像的图像配准以估计所述图像之间的变换。
13.根据权利要求12所述的装置，其中所述装置被配置为将所估计的所述变换应用于所述图像以将所述图像对准在一起。
14.根据权利要求8所述的装置，其中所述装置被配置为针对图像的所述焦点堆栈中的至少一个图像的像素，估计所述像素与所述堆栈的所述图像中的另一个图像中的对应像素之间的模糊，其中针对图像的所述焦点堆栈形成模糊图。
15.根据权利要求14所述的装置，其中所述装置被配置为将模糊图互相比较，其中所述模糊图被设定阈值从而生成相对深度图。
16.根据权利要求15所述的装置，其中所述装置被配置为将具有相似模糊级别的像素归类为相同深度级别，其中至少一个所述图像具有包括所述焦点堆栈中的最锐利像素的所述像素中的焦点对准像素的集合。
17.根据权利要求16所述的装置，其中所述装置被配置为利用相对应的所述焦点对准像素对图像的所述焦点堆栈应用图像抠像技术。
18.根据权利要求17所述的装置，其中所述装置被配置为针对每个图像，使用所述焦点对准像素作为前景指示，并且使用所述焦点堆栈图像中的所有其它图像中的所述焦点对准像素作为背景指示。
19.根据权利要求8所述的装置，其中所述装置被配置为提供抠像处理以产生抠像图，其中所述抠像图中的每个像素值示出前景和背景的百分比。
20.根据权利要求19所述的装置，其中所述装置被配置为将所述抠像图与阈值进行比较以提取前景和背景区域。
21.根据权利要求20所述的装置，其中所述装置被配置为将所述前景区域合并到一个图像中并且指示所述区域的边界。
22.根据权利要求8所述的装置，其中所述焦点堆栈融合器被配置为至少部分基于对一个或多个分段区域的用户选择而生成所述重新聚焦图像。
23.一种方法，包括：
将焦点堆栈的图像的区域分割为分段区域；并且
至少部分基于对所述分段区域中的一个或多个分段区域的选择而生成重新聚焦图像，所述重新聚焦图像包括来自所述焦点堆栈的所述图像中的至少两个图像的所述分段区域中的不同分段区域。
24.根据权利要求23所述的方法，其中对所述一个或多个分段区域的所述选择包括用户在用户界面处的选择。
25.根据权利要求23所述的方法，其中自动分割所述图像的区域包括至少部分基于所述区域的不同焦平面对所述区域进行分割。
26.根据权利要求23所述的方法，包括提供所述焦点堆栈中的图像的图像配准以估计所述图像之间的变换。
27.根据权利要求26所述的方法，进一步包括将所估计的所述变换应用于所述图像以将所述图像对准在一起。
28.根据权利要求23所述的方法，进一步包括针对每个焦点堆栈图像的像素估计所述像素与所述堆栈的所述图像中的另一个图像中的对应像素之间的模糊，其中针对每个焦点堆栈图像形成模糊图。
29.根据权利要求28所述的方法，进一步包括将模糊图互相比较，其中所述模糊图被设定阈值从而生成相对深度图。
30.根据权利要求28所述的方法，进一步包括将具有相似模糊级别的像素归类为相同深度级别，其中每个所述图像具有包括所述焦点堆栈中的最锐利像素的所述像素中的焦点对准像素的集合。
31.根据权利要求30所述的方法，进一步包括利用相对应的所述焦点对准像素对图像的所述焦点堆栈应用图像抠像技术。
32.根据权利要求31所述的方法，进一步包括针对每个图像，使用所述焦点对准像素作为前景指示，并且使用所述焦点堆栈图像中的所有其它图像中的所述焦点对准像素作为背景指示。
33.根据权利要求23所述的方法，进一步包括提供抠像处理以产生抠像图，其中所述抠像图中的像素值示出前景和背景的百分比。
34.根据权利要求33所述的方法，进一步包括将所述抠像图与阈值进行比较以提取前景和背景区域。
35.根据权利要求34所述的方法，进一步包括将所述前景区域合并到一个图像中并且指示所述区域的边界。
36.根据权利要求23所述的方法，其中生成将所述焦点堆栈图像融合到所述重新聚焦图像中。
37.一种能够由机器读取的非瞬态程序存储设备，其有形地体现能够由所述机器执行以便执行操作的指令的程序，所述操作包括：
将图像的焦点堆栈的区域分割为分段区域；并且
至少部分基于对所述分段区域中的一个或多个分段区域的选择而生成重新聚焦图像，所述重新聚焦图像包括来自所述焦点堆栈的所述图像中的至少两个图像的所述分段区域中的不同分段区域。
38.一种装置，包括：
至少一个处理器；和
包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器以便：
将图像的焦点堆栈的区域分割为分段区域；并且
至少部分基于对所述分段区域中的一个或多个分段区域的选择而生成重新聚焦图像，所述重新聚焦图像包括来自所述焦点堆栈的所述图像中的至少两个图像的所述分段区域中的不同分段区域。
39.一种装置，包括：
至少一个处理器；和
包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器以便：
针对一个或多个图像形成分段区域；
以不同方式对所述分段区域中的至少两个分段区域进行数字图像处理；以及
至少部分基于对所述至少两个分段区域的选择而生成新图像。
CN201380076977.5A 2013-05-30 2013-05-30 一种图像重新聚焦装置、方法、系统以及非瞬态程序存储设备 Active CN105247567B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/043247 WO2014193377A1 (en) 2013-05-30 2013-05-30 Image refocusing

Publications (2)

Publication Number Publication Date
CN105247567A true CN105247567A (zh) 2016-01-13
CN105247567B CN105247567B (zh) 2019-06-21

Family

ID=51989241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380076977.5A Active CN105247567B (zh) 2013-05-30 2013-05-30 一种图像重新聚焦装置、方法、系统以及非瞬态程序存储设备

Country Status (4)

Country Link
US (1) US9792698B2 (zh)
EP (1) EP3005286B1 (zh)
CN (1) CN105247567B (zh)
WO (1) WO2014193377A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046596A (zh) * 2019-04-23 2019-07-23 王雪燕 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9973677B2 (en) * 2013-10-14 2018-05-15 Qualcomm Incorporated Refocusable images
US9401027B2 (en) * 2013-10-21 2016-07-26 Nokia Technologies Oy Method and apparatus for scene segmentation from focal stack images
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
CA2958766C (en) * 2016-02-25 2018-01-02 Synaptive Medical (Barbados) Inc. System and method for scope based depth map acquisition
US10776671B2 (en) * 2018-05-25 2020-09-15 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
US11405547B2 (en) * 2019-02-01 2022-08-02 Electronics And Telecommunications Research Institute Method and apparatus for generating all-in-focus image using multi-focus image
JP7210388B2 (ja) * 2019-06-25 2023-01-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101088104A (zh) * 2004-12-29 2007-12-12 诺基亚公司 用于处理图像数据的电子设备和电子设备中的方法
CN101416219A (zh) * 2006-02-14 2009-04-22 快图影像有限公司 数字图像中的前景/背景分割
KR20120039855A (ko) * 2010-10-18 2012-04-26 엘지이노텍 주식회사 카메라 모듈의 이미지 처리 방법
US20130010067A1 (en) * 2011-07-08 2013-01-10 Ashok Veeraraghavan Camera and Method for Focus Based Depth Reconstruction of Dynamic Scenes

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030002870A1 (en) 2001-06-27 2003-01-02 Baron John M. System for and method of auto focus indications
WO2007087405A2 (en) 2006-01-24 2007-08-02 The Trustees Of Columbia University In The City Of New York Capturing scene images and depth geometry and generating a compensation image
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
JP5428886B2 (ja) 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
JP5824364B2 (ja) * 2010-06-17 2015-11-25 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
US8493432B2 (en) * 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
JP2013026844A (ja) 2011-07-21 2013-02-04 Nikon Corp 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
US8670609B2 (en) 2011-07-22 2014-03-11 Canon Kabushiki Kaisha Systems and methods for evaluating images
US9007441B2 (en) 2011-08-04 2015-04-14 Semiconductor Components Industries, Llc Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers
US9501834B2 (en) 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
US8989447B2 (en) * 2012-08-13 2015-03-24 Texas Instruments Incorporated Dynamic focus for computational imaging
CN103209307B (zh) * 2013-04-18 2016-05-25 清华大学 编码重聚焦计算摄像方法及装置
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101088104A (zh) * 2004-12-29 2007-12-12 诺基亚公司 用于处理图像数据的电子设备和电子设备中的方法
CN101416219A (zh) * 2006-02-14 2009-04-22 快图影像有限公司 数字图像中的前景/背景分割
KR20120039855A (ko) * 2010-10-18 2012-04-26 엘지이노텍 주식회사 카메라 모듈의 이미지 처리 방법
US20130010067A1 (en) * 2011-07-08 2013-01-10 Ashok Veeraraghavan Camera and Method for Focus Based Depth Reconstruction of Dynamic Scenes

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BORIS AJDIN等: "Reduced depth of field using multi-image fusion", 《IS&T/SPIE ELECTRONIC IMAGING》 *
DANIEL VAQUERO等: "Generalized autofocus", 《APPLICATIONS OF COMPUTER VISION (WACV)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046596A (zh) * 2019-04-23 2019-07-23 王雪燕 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质

Also Published As

Publication number Publication date
US9792698B2 (en) 2017-10-17
EP3005286A1 (en) 2016-04-13
EP3005286A4 (en) 2017-03-08
WO2014193377A1 (en) 2014-12-04
CN105247567B (zh) 2019-06-21
US20160104291A1 (en) 2016-04-14
EP3005286B1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
CN105247567B (zh) 一种图像重新聚焦装置、方法、系统以及非瞬态程序存储设备
JP6730690B2 (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
CN106134176B (zh) 用于多焦点成像的系统和方法
CN114245905A (zh) 深度感知照片编辑
CN107277360B (zh) 一种双摄像头切换进行变焦的方法、移动终端及存储装置
US9036072B2 (en) Image processing apparatus and image processing method
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN107771391B (zh) 用于确定图像帧的曝光时间的方法和装置
WO2017080237A1 (zh) 相机成像方法及相机装置
JP6207202B2 (ja) 画像処理装置及び画像処理方法
CN109829863B (zh) 图像处理方法及装置、电子设备和存储介质
CN107787463B (zh) 优化对焦堆栈的捕获
KR20090087670A (ko) 촬영 정보 자동 추출 시스템 및 방법
CN105701762B (zh) 一种图片处理方法和电子设备
JP2020514891A (ja) ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分
US20130222621A1 (en) Information processing apparatus, terminal apparatus, image capturing apparatus, information processing method, and information provision method for an image capturing apparatus
CN112017137A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2013254151A (ja) 画像処理装置および画像処理方法
CN105933613A (zh) 一种图像处理的方法、装置及移动终端
CN104869283A (zh) 一种拍摄方法及电子设备
US20230281916A1 (en) Three dimensional scene inpainting using stereo extraction
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
KR20180069312A (ko) 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치
JP2017130106A (ja) データ処理装置、撮像装置、およびデータ処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant