CN102246204B - 用于使用标度空间来处理图像的设备和方法 - Google Patents
用于使用标度空间来处理图像的设备和方法 Download PDFInfo
- Publication number
- CN102246204B CN102246204B CN200980149967.3A CN200980149967A CN102246204B CN 102246204 B CN102246204 B CN 102246204B CN 200980149967 A CN200980149967 A CN 200980149967A CN 102246204 B CN102246204 B CN 102246204B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- scale space
- pixel
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
某些实施方式涉及通过根据图像创建标度空间图像并且使用标度空间图像标识图像中的对象边界来处理图像。标度空间图像可以具有不同的细节层次。它们被用来确定位势图,该位势图表示像素在对象的边界之内或者之外的可能性。可以生成和使用估计对象边界的标签,以标识潜在地可能在边界之内的像素。在展示之前可以进一步处理对象边界已被标识的图像。例如,图像可以是动态影像的二维图像。可以标识对象边界,并且二维(2D)图像可以使用标识的对象边界来处理并被转换为三维(3D)图像以供展示。
Description
相关申请交叉引用
本申请要求于2008年12月11日提交的、名称为“Scale-spaceRandom Walks for Rotoscoping”的美国临时专利申请号61/201,531的优先权,在此通过引用将其全部内容并入。
技术领域
本公开内容总体上涉及图像处理,并且更具体地,涉及使用图像的标度空间表示来处理图像。
背景技术
处理动态影像等的图像可以包括标识一帧或者多帧中的对象。可以通过确定对象边界来标识对象。可以使用描摹(rotoscoping)来标识对象边界。描摹包括通过数字手段逐帧追踪动态影像中的对象边界。描摹可以提取数字蒙板(matte)以允许向图像施加特效和其他图像处理。特效的示例包括将场景中的对象替换为经由计算机生成的其他对象、将来自一个场景的表演者合成到另一场景以及将二维(2D)动态影像改变成三维(3D)动态影像。其他图像过程的示例包括跟踪图像序列中的对象以及跟踪左眼和右眼图像序列中的对象。
当诸如蓝屏方法的其他技术无法在可接受的精度容限内产生蒙板时,可以使用描摹。例如,图像可能包括复杂背景(例如使用档案胶片的图像),蓝屏方法对此可能无法产生可接受的结果。描摹可能是人力密集的。为求效率,可以使用半自动描摹技术。这样的技术包括基于轮廓的方法和阿尔法通道算法。
基于轮廓的方法可能涉及到用户,该用户尽可能准确地在一帧或者多帧中指定轮廓。轮廓是对象边界的粗略估计。通过估算能量函数,活动轮廓(active contour)可基于粗略估计的轮廓而与边界相关联。能量函数可用迭代方法使其最小化,由此产生围绕对象的优化轮廓。在某些基于轮廓的方法中,执行笔划匹配,包括分析成本函数以确定哪些笔划在关键帧之间与对象的特定轮廓相匹配。上述算法可以输出相对平滑的轮廓,并且在相邻帧中的轮廓之间建立对应关系,但是这常常需要技术娴熟的用户来勾画感兴趣的对象。
阿尔法通道算法可以通过分析三个色区域来提取对象的软边界:相对于对象而言的前景,相对于对象而言的背景,以及在沿着对象边界的中间区域中混合的前景和背景。阿尔法通道算法虽然也有可能应用于序列,但是它常常应用于个体帧。
阿尔法通道算法可以提取软边界以及阿尔法值或者该值的透明度。在一些阿尔法通道算法中应用贝叶斯方式,其利用空间可变高斯集对前景色和背景色分布二者进行建模,并且假设前景色和背景色的部分混合,从而产生最终输出。其他阿尔法通道算法假设:纯前景色是一组聚类的线性组合,并且通过检查前景和背景中的成对聚类来计算颜色和阿尔法值。
又一些其他阿尔法通道算法执行以下一个或者多个:(i)通过假设聚类在红、绿、蓝(RGB)色空间中为扁长或者雪茄形来估计高分辨率图像和图像序列中的阿尔法蒙板;(ii)根据关于前景和背景色的局部平滑假设导出成本函数,并且通过解析消除前景和背景色获得关于阿尔法的二次成本函数;(iii)导出将图像的梯度与阿尔法值相关的偏微分方程,并且描述高效算法从而提供阿尔法值作为方程的解;(iv)将自然图像抠图(matting)的问题形式化为使用蒙板梯度场求解泊松方程的问题以及使用成对闪光/非闪光图像来提取蒙板(称为“闪光抠图”)之一;(v)允许“运行中”构造环境蒙板而无需专门校准;(vi)通过捕获前景对象和阿尔法蒙板以及捕获对象如何折射和反射光的描述,以及通过使用环境合成将前景对象放置于新环境中来执行环境抠图。然而,这些阿尔法通道算法寻求产生软分割,而不产生可获得更准确分割的硬分割。
另一描摹技术是随机游走。随机游走是一种图形化的图像分割算法,尝试标识出从某个“种子”像素出发向某个“汇点”像素行进的随机游走者将穿越特定像素的概率。可以对像素之间的边缘进行加权,使得按照某个标准被视为相似的像素具有低边权值,使游走者更有可能穿越该边缘。概率可被确定为组合Dirichlet解。随机游走也可以使用局部保持投影对颜色空间进行变换,使得相似的颜色(例如梯度缓慢变化的颜色)可被放在一起,而不相似的颜色可被分开。然而,随机游走可能无法在存在噪声的情况下干净地分割图像,从而造成不准确的对象边界标识。
因而,需要可以高效和准确地标识对象边界的方法、设备和系统。还需要可以产生硬分割并且在存在噪声的情况下准确标识对象边界的方法、设备和系统。
发明内容
某些方面和实施方式涉及通过根据图像创建标度空间图像以及使用标度空间图像标识图像中的对象边界来处理图像。标度空间图像是图像的多分辨率信号表示。标度空间图像表示图像的不同细节层次。可以在展示之前进一步处理对象边界已被标识的图像。例如,图像可以是动态影像的二维图像。通过标识对象边界,可以使用标识的对象边界来处理二维(2D)图像,从而将2D图像转换成三维(3D)图像。
在一个实施方式中,接收具有至少一个对象的图像。计算设备可以根据该图像生成两个或者更多标度空间图像。标度空间图像可以用来确定位势图(potential map)。位势图可以表示像素在对象的边界内或在对象的边界以外的可能性。位势图可以用来标识对象的边界。
在一些实施方式中,将图像转换成颜色模型。颜色模型可以是CIE L*a*b*颜色空间。
在一些实施方式中,通过使用两个或者更多低通滤波器将图像转换成标度空间,从而根据图像生成标度空间图像。低通滤波器可以包括高斯内核。不同细节层次可以包括不同的模糊程度。
在一些实施方式中,通过使用(i)两个或者更多小波滤波器或者(ii)一种保边(edge preserving)分解过程将图像转换成标度空间,从而根据图像生成标度空间图像。
在一些实施方式中,标度空间图像可以用来为图像的每个像素确定权值。每个权值可以与一链接边关联。可以通过确定与像素关联的链接边来确定权值。可以确定针对与像素关联的每链接边的权值。可以收集针对每个链接边的权值,以形成针对像素的权值。
在一些实施方式中,接收用于图像的标签(label)。可以根据权值并且使用标签来确定位势值。每个位势值可以表示相关联的像素在对象的边界内或者在对象的边界外的可能性。可以通过确定位势值的几何平均而根据位势值确定位势图。位势图可以包括针对位势值的几何平均。
在一些实施方式中,可以生成和使用标签以确定位势图。接收用于图像的对象模板(mask)。根据用于图像的对象模板计算反转对象模板。根据反转对象模板确定第一距离变换。根据对象模板确定第二距离变换。使用第一距离变换来标识图像中的前景像素。使用第二距离变换来标识图像中的背景像素。基于标识的前景像素和标识的背景像素生成标签。
在一些实施方式中,可以根据初始位势图生成标签。接收用于图像的对象模板。根据用于图像的对象模板计算反转对象模板。使用形态瘦化(thinning)过程来收缩反转对象模板。使用形态瘦化过程来收缩用于图像的对象模板。基于收缩的反转对象模板和收缩的用于图像的对象模板生成初始标签。使用初始标签来确定用于图像的初始位势图。使用初始位势图、收缩的反转对象模板和收缩的对象模板来生成标签。
在一些实施方式中,位势图被用来生成图像模板。接收标识对象的估计边界的两个或者更多关键点。基于关键点计算标签。基于标签来剪切图像段。根据图像段来确定位势图。根据位势图创建边界点。如果接收到将边界点标识为不可接受的命令,则使用新关键点来计算第二位势图。如果接收到将边界点标识为可接受的命令,则输出边界点。可以使用边界点来生成图像模板。
在一些实施方式中,新关键点的数目大于所述关键点。另外,在一些实施方式中,关键点标识两个或者更多图像帧中的对象的估计边界。边界点标识一个或多个图像帧中的对象的估计边界位于两个或者更多图像帧之间的部分。
在一些实施方式中,关键点标识两个或者更多图像帧中的对象的估计边界。新点的第一集合标识至少一个图像帧中的对象的估计边界位于该两个或者更多图像帧之间的部分。
在一些实施方式中,位势图可以由存储于计算机可读介质上的程序代码确定。
在一些实施方式中,位势图可以由存储于计算机可读介质上并且由计算设备的处理器执行的标度空间引擎确定。
提及这些示例实施方式并非为了限制或者限定公开内容而是提供示例以有助于其理解。在具体实施方式中讨论附加实施方式并且在具体实施方式中提供进一步的描述。可以通过审视本说明书或者通过实现呈现的一个或者多个实施方式来进一步理解各种实施方式中的一个或者多个实施方式所赋予的优点。
附图说明
图1是根据本发明一个实施方式的用于生成可用来处理图像的位势图的系统的框图。
图2是根据本发明一个实施方式的用于生成用于处理图像的位势图的方法的流程图。
图3是根据本发明第二实施方式的用于生成用于处理图像的位势图的方法的流程图。
图4是根据本发明一个实施方式的用于基于标度空间图像的针对图像一像素的图形的图示。
图5是根据本发明一个实施方式的用于基于对象模板根据图像确定标签的方法的流程图。
图6是根据本发明第二实施方式的用于基于对象模板根据图像确定标签的方法的流程图。
图7A-图7D是根据本发明一个实施方式的确定图像中的对象边界的图示。
图8是根据本发明一个实施方式的用于使用位势图基于关键点来确定对象边界点的方法的流程图。
具体实施方式
某些方面和实施方式涉及通过根据图像创建标度空间图像,并且使用标度空间图像标识图像中的对象边界来处理图像。标度空间图像可以具有不同的细节层次。可以在展示之前进一步处理对象边界已被标识的图像。例如,图像可以是动态影像的二维图像。可以标识对象边界,并且可以使用所标识的对象边界来处理二维(2D)图像从而将2D图像转换成三维(3D)图像。
标度空间图像是图像的多分辨率信号表示。可以通过使用不同特性的滤波器(例如,不同的滤波器内核尺寸)对图像进行滤波,以形成标度空间图像。使用不同特性的滤波器形成的标度空间图像可以具有不同的细节层次。在一些实施方式中,通过将图像与具有不同尺寸的高斯内核进行卷积来形成标度空间图像。标度空间图像可以对应于层次。例如,标度空间图像可以对应于表示图像中的细节层次的层次。
在一些实施方式中,标度空间图像是这样形成的:通过使用尺寸不同的滤波组件对图像进行多次滤波,以滤除与图像中的“精细”细节有关的信息。该滤波组件可以是尺寸逐渐增大的低通滤波器内核。使用大尺寸的内核滤波器生成的标度空间图像可以是包含较少细节层次的较高层次标度空间图像。使用尺寸较小的内核滤波器生成的标度空间图像是包括较多细节层次的较低层次标度空间图像。在一个实施方式中,滤波器内核是等量(isometric)高斯低通滤波器内核,并且得到的标度空间图像具有包括不同的特性(包括模糊)。
在一些实施方式中,标度空间图像可以用来计算针对每个像素的三维图形。一个像素可以与多个标度空间图像的相邻像素相链接。链接该像素同某个相邻像素两者之间的链接边可以用权值相关联。权值的值可以由两像素之间的相似度来确定。
标度空间图像可以用来确定针对图像的位势图。例如,三维图形可以用来计算位势图。对于图像或者图像的一部分中的每个像素,位势图还可以包括位势值,该位势值表示该像素在图像中的对象边界内或者在对象边界外的可能性。位势图可以用来处理图像。例如,位势图可以用来标识图像对象的边界,以允许该对象出于3D展示以及其他目的而被修改。
在一些实施方式中,可以接收用于图像的标签,以支持计算位势图。标签可以标识可作为对象的边界像素候选者的图像像素。标签可以与边界容限关联,以确保真正的对象边界像素被包含在标签内。标签可以通过不精确的边界像素信息来计算。在一些实施方式中,使用交互手段从人类操作者接收标签。标签的示例是在对象边界的周围绘制并且包括该边界的三分图(trimap)。三分图将图像像素划分成三组:属于对象的像素(前景)、对象外部的像素(背景)以及在前景和背景之间、可能是对象边界像素但尚不确定的像素。可以使用标签来计算位势图。
在一些实施方式中,可以通过将随机游走算法应用于标度空间图像来计算位势图。得到的位势图被用来标识对象边界。位势图可以与随机游走算法一起使用,从而在存在噪声的情况下改进对象边界标识。
给出这些说明性示例是为了向读者介绍这里讨论的一般性主题,而并非为了限制公开的概念的范围。以下章节参照其中相似标号表明相似单元的附图描述各种附加实施方式和示例。
示例系统实施
图1描绘了一种根据某些实施方式的系统,该系统能够使用根据图像生成的标度空间图像来确定位势图,并且能够允许使用位势图来处理图像。可以使用其他实施方式。该系统包括具有处理器104的计算设备102,处理器104可以执行计算机可读介质(如存储器106)上存储的代码,以使计算设备102使用根据图像生成的标度空间图像来确定位势图。计算设备102可以是能够处理数据并且执行作为指令集的代码以进行动作的任何设备。计算设备102的示例包括桌面型个人计算机、膝上型个人计算机、服务器设备、手持计算设备和移动设备。
处理器104的示例包括微处理器、专用集成电路(ASIC)、状态机或者其他适当处理器。处理器104可以包括一个处理器或者任意数目的处理器。在一些实施方式中,处理器104包括与具有1GB或者更少VRAM的高端图形卡关联的图形处理单元(GPU)。在其他实施方式中,处理器104是包括两个、四个或者更多处理单元的多核处理器。多核处理器可以包括单指令多数据(SIMD)兼容能力,例如流式SIMD扩展(SSE)和3DNow!。诸如LAPACK的线性代数包可以用来有益地使用SIMD扩展和处理器的能力。
处理器104可以经由总线108访问存储器106中存储的代码。存储器106可以是能够存储代码的任何有形计算机可读介质。存储器106可以包括能够向处理器104提供可执行代码的电设备、磁设备或者光设备。存储器106的示例包括随机存取存储器(RAM)、只读存储器(ROM)、软盘、光盘、数字视频设备、磁盘、ASIC、配置的处理器或者能够有形地包含代码的其他存储设备。总线108可以是能够在计算设备102的部件之间传送数据的任何设备。总线108可以包括一个设备或者多个设备。
计算设备102可以通过输入/输出(I/O)接口110与附加部件共享数据。I/O接口110可以包括USB端口、以太网端口、串行总线接口、并行总线接口、无线连接接口或者能够允许在计算设备与另一部件之间传送数据的任何适当接口。附加部件可以包括用户接口(UI)设备112、显示器114和网络116。UI设备112可以包括键盘、鼠标设备、触屏接口或者能够从用户接收命令并且向计算设备102提供命令的其他设备。显示器114可以包括液晶显示器(LCD)、等离子体屏、阴极射线管(CRT)或者能够显示计算设备102生成的图像的任何设备。网络116可以包括因特网、内部网、广域网(WAN)、局域网(LAN)、虚拟专用网(VPN)或者允许计算设备102与其他部件通信的任何适当通信网络。在其他实施方式中,计算设备102是能够以脱机方式实现根据本发明各种实施方式的各种方法的脱机设备。
指令可以在存储器106中存储为可执行代码。指令可以包括由编译器和/或解译器根据代码而生成的特定于处理器的指令,其中代码以诸如C、C++、C#、Visual Basic、Java、Python、Perl、JavaScript和ActionScript等任何适当的计算机编程语言编写。指令可以包括图像处理应用118,它在由处理器104执行时可以使计算设备102使用根据图像生成的标度空间图像来确定位势图,并且使用位势图来处理图像。图像处理应用118包括标度空间引擎120,当其由处理器104与图像处理应用118一起执行时,可以使计算设备102根据图像生成标度空间图像以根据标度空间图像确定位势图,并且使用位势图来处理图像。
提供这一示例系统配置仅为了举例说明可以用来实施某些实施方式的位势配置。当然可以使用其他配置。
生成位势图的示例方法
可以使用根据本发明各种实施方式的各种方法来生成用来处理图像的位势图。图2图示了用于根据标度空间图像生成位势图的方法的一个实施方式。图2中所示方法是参照图1的系统配置来描述的。然而其他系统实施也是可行的。
在块202中,图像处理应用118接收图像。图像例如可以是作为图像序列的动态影像的图像。在一些实施方式中,图像包括一个或者多个对象。对象可以是在图像中可视表示的有形项目。图像可以是RGB(红、绿、蓝)图像或者在不同颜色空间(例如YUV、XYX或者CIE L*a*b*颜色空间)中。
在块204中,标度空间引擎120根据图像生成细节层次不同的标度空间图像。每个标度空间图像可以具有不同于所生成的其他标度空间图像的细节层次。标度空间引擎120可以使用各种方法来生成标度空间图像。一种方法包括使用具有不同内核尺寸的滤波器对图像进行滤波。每个滤波器可以产生具有特定细节层次的标度空间图像,其不同于由不同尺寸的滤波器产生的其他标度空间图像。滤波器可以实现为软件,例如实现为标度空间引擎120的一部分。在其他实施方式中,滤波器实现为由标度空间引擎120访问或者控制的硬件。
在一些实施方式中,可以在标度空间引擎120将图像转换成标度空间之后生成标度空间图像。可以使用例如小波滤波器或者保边分解过程将图像转换成标度空间。
在块206中,标度空间引擎120使用标度空间图像来确定针对图像的位势图。位势图可以包括与图像的像素或者部分像素关联的位势值。例如,位势值可以与图像的像素关联。位势值可以表示关联像素处于图像中的对象边界内或者在对象边界外的可能性。在一些实施方式中,基于与像素和邻近像素之间的链接边相关联的权值来为像素确定位势值。链接边以及相关联的权值可以使用标度空间图像来标识和确定。
在块208中,图像处理应用118使用位势图来处理图像。例如,图像处理应用可以使用位势图来生成用于图像的图像模板。图像模板可以用来标识图像中的对象。在一些实施方式中,在使用位势图标识对象边界之后,可以修改图像中的对象位置。
图3描绘了用于生成在处理图像时使用的位势图的方法的另一实施方式。图3的方法是参照图1的系统和图4的图示来描述的。然而其他实施也是可行的。
在块302中,图像处理应用118接收包括至少一个对象的图像。图像处理应用118如图2的块202中那样接收图像。
在块304中,标度空间引擎120将图像转换成颜色模型。转换成颜色模型可以允许标度空间引擎120更容易地区分图像的颜色。在一些实施方式中,图像是RGB图像,其被转换为颜色模型,即CIE L*a*b*颜色空间中的图像。
在块306中,标度空间引擎120根据颜色模型生成至少两个标度空间图像。标度空间图像可以具有不同的细节层次。每个标度空间图像具有与其他标度空间图像不同的细节层次。可以使用各种方法来执行标度空间图像。在一个实施方式中,使用尺寸逐渐增大的高斯低通滤波器(LPF)内核对图像进行滤波,以生成标度空间图像。使用高斯内核有助于防止不希望的结构被引入图像中,对于相对较大尺寸的滤波器而言尤其如此。由高斯内核生成的标度空间图像可以具有包括不同量的图像模糊的不同细节层次。
具有N个层次的标度空间ζ可以表示为:
ζ={I[x,y]*f(x,y|σn):σn=0,1,2,4,...2N-1}
其中:
I[x,y]是初始图像;并且
这是尺寸为n的高斯内核。
根据标度空间ζ中的N个标度空间图像,标度空间引擎120可以生成针对图像或者图像一部分的每个像素的三维图形。该图形可以示出标度空间图像的不同层次的像素之间的关系,并且可以示出特定层次的像素与邻近像素之间的关系。
图4图示了根据本发明一个实施方式的根据标度空间ζ生成的图形402。该图形包括不同的层404a-404c。虽然示出了三个层404a-404c,但是可以实现任何数目的层。层404a-404c中的每个层可以对应于根据图像生成的标度空间图像。层中的每个节点可以对应于相应标度空间图像中的像素。例如,层404a可以对应于第一标度空间图像,层404b可以对应于第二标度空间图像,层404c可以对应于第三标度空间图像。
另外,可以从较多的细节层次向最少的细节层次布置层404a-404c。例如,层404a可以对应于在第一标度空间图像、第二标度空间图像和第三标度空间图像中具有最多细节的层次(例如,精细的细节层次)的第一标度空间图像。层404b可以对应于在第一标度空间图像、第二标度空间图像和第三标度空间图像中具有中等细节层次的第二标度空间图像。层404c可以对应于在第一标度空间图像、第二标度空间图像和第三标度空间图像中具有最少细节的层次(可以称为粗略层次)的第三标度空间图像。
图4中的图402是包括像素406的六连接结构。也可以实现其他类型的连接结构、例如八连接结构等。像素406中的每个像素对应于标度空间图像,并且可以连接到六个对应的像素,诸如同一层中的四个邻近像素以及来自较高层和较低层的对应像素。每对连接的像素之间具有连接像素的链接边。例如链接边410位于层404a上的像素408与层404b上的像素406之间。这一布置可以允许每个层影响其他层,从而可以在较高层保持细节,并且可以在较低层控制来自噪声的影响。
在块308中,标度空间引擎120使用标度空间图像针对图像的每个像素而确定链接边以及每链接边的权值。例如,图4中的每链接边表示像素与邻近像素或者与位势图的另一层中的对应像素之间的连接,并且链接边可以与权值相关联。可以使用以下关系来确定链接边的权值:
其中:
Gi,j是像素i与j之间的链接边的权值;
是表示像素i的颜色矢量;
是表示与像素i相邻的像素j的颜色矢量;并且
β是自由参数,其在一些实施方式中被设为值90。
在块310中,标度空间引擎120接收用于像素的标签。标签可以表示对图像中对象的边界估计。在一些实施方式中,通过用户接口从个人用户接收标签,该用户由输入设备输入命令来标识估计的对象边界。在其他实施方式中,如下文例如参照图5和图6所讨论的,当标度空间引擎120生成标签时,标度空间引擎120接收标签。标签可以由标度空间引擎120用来标识那些有可能是对象边界的像素。例如,未确定的像素可以由标签标识,继而被进一步处理以进一步确定与对象的边界关联的像素。
在块312中,标度空间引擎120根据权值并且使用标签来确定位势值。位势值可以与像素相关联,并且可以表示像素在对象的边界以内或者以外的可能性。在一些实施方式中,标签被用来标识位势值待确定的像素。可以使用以下关系来确定像素的位势值:
其中:
是待确定的矢量位势值;
是限定系统边界条件的边界矢量;并且
L是拉普拉斯矩阵,其中每个元素由图中的权值确定。
通过使用以下关系,可以使用图(例如图4的图)的权值Gi,j来确定拉普拉斯矩阵L:
可以如参照图4所述确定权值Gi,j。
拉普拉斯矩阵L可以分解成以下形式:
其中:
Ln是拉普拉斯矩阵的子矩阵,该子矩阵包括与未确定像素相关联的行和列;
Lb是包括边界像素、但不包括未确定像素的子矩阵;
I是代表如下像素的单位矩阵,这些像素被指派为不会影响解的源点像素或者汇点像素;并且
0是“零矩阵”(仅包括零的矩阵)。
因此,可以使用以下关系来确定位势值:
位势值可以形成位势图。像素(x,y)的位势值可以由P(x,y)表示。
基于N层次标度空间图像来求解位势值的结果可以是新的标度空间∏,其可表示如下:
∏=(P(x,y|n):n=0,1,2,3,...,(N-1))
其中:
n是用于N层次标度空间图像中的特定层次的索引;并且
P(x,y|n)是第n层次的位势图。
在块314中,标度空间引擎120根据位势值确定位势图。位势值可以由N层次标度空间∏表示。
在一些实施方式中,最终位势图P(x,y)通过对标度空间的每个层次执行几何平均来确定,如以下关系所表示的:
在一些实施方式中,可以使用算数平均而不是几何平均。然而几何平均可能比算数平均更为有效,算术平均将得到与实际趋势相比不正确的结果。在一些实施方式中,较精细标度空间图像处的结果细节被保持,并且粗略标度空间图像中的模糊区域被去除。
另外,几何平均可以获得这样的位势图,其去除了通过标度空间中的层到层链接而建立的不同层次之间的依赖关系。
在一些实施方式中,位势图是局部平滑的。例如,相同或者相似区域具有无突变的总梯度。强边缘包括梯度突变,其可以辅助标识这样的强边缘。另外,位势图可以消除标度空间中的较高层次处的图像中的微小变化(即噪声)。
在块316中,图像处理应用118使用位势图来生成针对图像的图像模板。图像模板可以是可用来标识图像对象边界的图像表示。例如,位势图可以用来标识对象的边界像素。使用标识的对象边界像素可以用来生成图像模板。在一些实施方式中,标度空间引擎120可以使用阈值来确定每个像素的数字值。例如,如果位势值P(x,y)大于或者等于0.5,则可以为像素指派数字“1”。如果位势值P(x,y)小于0.5,则可以为像素指派数字“0”。阈值0.5表示像素为前景像素或者背景像素的可能性相等。概率大于0.5的任何像素因而可被认为是前景像素,由数字“1”表示。概率小于0.5的任何像素因而可被认为是背景像素,由数字“0”表示。
生成标签的示例性方法
根据本发明一些实施方式可以根据图像生成标签。例如,标度空间引擎120可以接收用于图像的对象模板,并且使用该对象模板来确定标签。对象模板可以是通过估计与对象的边界相关联的像素的对象粗略估计,这些像素可以包括被指定为边界像素的不精确像素。对象模板可以由标度空间引擎120接收。图5和图6图示了用于在块310中通过生成标签来接收标签的方法的实施方式。参照图1的系统来描述用于生成标签的实施方式。然而其他系统实施也是可行的。
此外,参照图7A-图7D中的图示来描述图5中描绘的实施方式。
在块502中,标度空间引擎120接收用于图像的对象模板。在一些实施方式中,对象模板可以标识图像中大于感兴趣对象的部分。另外,对象模板可以指定不止一个对象,这可能需要在进一步处理之前分离感兴趣的对象。图7A描绘了用于对象702的对象模板的示例。所示的对象702是图像中的一只梨,其具有使用白色表示的前景像素和使用黑色表示的背景像素。
在块504中,标度空间引擎120反转对象模板以生成反转对象模板。在反转对象模板中,背景像素变成前景像素并且反之亦然。可以通过将高值像素的值改变成低以及相反过程来反转对象模板。例如,图7A中的对象模板的反转对象模板可以包括由黑色指定的、组成对象的像素,以及由白色指定的所有其他像素。
在块506中,标度空间引擎120确定用于反转对象模板的距离变换。距离变换可以是如下表示,其针对每个背景像素而指示与最近边界像素的距离。图7B描绘了用于对象702的反转对象模板的距离变换的示例。在图7B中,表示对象702的像素是背景像素,而最靠近边界像素的背景像素比那些较远的背景像素更暗。
在块508中,标度空间引擎120确定用于对象模板的距离变换。用于对象模板的距离变换可以看起来与图7B中的图像相反。表示对象702的像素变为前景像素。背景中最靠近边界像素的像素可以比那些较远的像素更暗。
在块510中,标度空间引擎120使用用于反转对象模板的距离变换来标识图像中的前景像素。在一些实施方式中,将用于反转对象模板像素的距离变换值与作为边界容限的第一值进行比较。如果像素的距离变换值大于作为边界容限的第一值,则可以将该像素标识为前景像素。该过程可以针对每个像素进行重复,以标识前景像素。
在块512中,标度空间引擎120使用用于对象模板的距离变换来标识图像中的背景像素。可以将用于对象模板像素的距离变换值与作为边界容限的第二值进行比较。如果像素的距离变换值大于作为边界容限的第二值,则可以将该像素标识为背景像素。该过程可以针对每个像素进行重复,以标识背景像素。
在块514中,标度空间引擎120生成以前景像素和背景像素的标识为基础的标签。在块510中标识的前景像素可以例如形成图7A中所示的前景像素的子集。类似地,在块512中标识的背景像素可以例如形成图7A中所示的背景像素的子集。未确定像素,即未被标识为前景像素或者背景像素的像素,形成未知区域。标度空间引擎120可以标识并且存储未知区域,以作为用于对象702的标签。图7C描绘了用于对象702的标签(用黑色描绘)的示例。
作为边界容限的第一值和第二值可以这样选择,使得标签大到足以包括对象702的实际边界。在一些实施方式中,对于对象的所有边界使用相同的第一值和第二值。在其他实施方式中,对于对象的边界使用非一致的第一值或者非一致的第二值或者非一致的的二者。例如,变动第一值和第二值之一或二者可以得到具有变化宽度的标签。
在块516中,标度空间引擎120输出标签。标签可以限定感兴趣对象的边界周围的未知区域。标签可以用来确定未确定像素的位势图,例如上文参照图3所描述的。在一些实施方式中,可以基于位势图产生对象模板,并且该对象模板可以比原始模板更为准确。在一些实施方式中,与图像一起被提供的标签是覆盖感兴趣对象边界的带状。图7D描绘了对象702,如与原模板的边界706相比,该对象具有输出的新对象模板的边界704。与原模板的边界706相比,新对象模板的边界704更接近地标识对象702的实际边界。
在一些实施方式中,可以根据由对象模板计算出的初始标签来生成更精确的标签。图6描绘了生成标签的一个实施方式。
在块602中,标度空间引擎120接收用于图像的对象模板。该对象模板可以是图像的表示,其表示具有第一颜色的对象像素(前景像素)和具有第二颜色的对象以外的像素(背景像素)。
在块604中,标度空间引擎120反转对象模板。例如,前景像素可被反转为背景像素,并被指定以第二颜色。背景像素可被反转为具有第一颜色的前景像素。
在块606中,标度空间引擎120收缩反转对象模板。收缩反转对象模板可以包括使用形态细化使反转对象模板收缩以确定硬背景约束,硬背景约束可以包括背景的部分骨架提取(skeletonization)。硬背景约束可以防止该模板中的精细细节在进一步处理期间消失。在一些实施方式中,硬背景约束被用作背景像素。
在块608中,标度空间引擎120收缩对象模板。在一些实施方式中,通过使用形态细化使对象模板收缩以确定硬前景约束,硬前景约束包括对象模板的部分骨架提取。硬前景约束可以防止该模板中的精细细节在进一步处理期间消失。硬前景约束可被用作前景像素。
在一些实施方式中,在细化之前按照两倍边界容限扩充对象模板、再按照两倍边界容限使对象模板细化、然后按照两倍边界容限解除对象模板的扩充以避免边缘效应并且支持针对未知区域计算约束。可以保持在对象模板边界的容限内的约束。
在块610中,标度空间引擎120基于收缩的反转模板和收缩的模板生成初始标签。收缩的反转模板可以由硬背景约束表示。收缩的模板可以由硬前景约束表示。初始标签可以表示根据对象模板的轮廓和硬约束对图像未知区域的估计。在一些实施方式中,特定的前景像素是根据从形态细化获得的硬约束与模板的边界的部分的组合而确定的。这一部分可以位于与通过形态细化获得的前景约束相距容限的至少1/8处。除了通过形态细化确定的硬背景约束之外,还可以将背景像素标识为与模板的边界相距大于容限的那些像素。
在块612中,标度空间引擎120使用初始标签来确定初始位势图。例如,可以通过使用初始标签以与上文参照图3的块312和314所述相同或者相似的方式确定初始位势图。
在块614中,标度空间引擎120使用初始位势图、收缩的反转模板和收缩的模板来生成最终标签。收缩的反转模板和收缩的模板可以由硬背景约束和硬前景约束表示。
在块616中,标度空间引擎120输出最终标签。最终标签的输出可以与图像重叠,或用其它方式。在一些实施方式中,标度空间引擎120通过输出它来接收最终标签并且可以将最终标签用于如参照图3讨论的进一步处理。
使用位势图来处理图像的示例方法
根据本发明各种实施方式的位势图可以用来改进图像处理以产生所需质量和处理效率。在一些实施方式中,位势图可以用来以如下方法处理图像,这些方法需要为技术娴熟用户的用户接口。例如,一种方法可以是一种交互方法,其使用位势图和来自用户的输入一起来处理图像。
图8描绘了用于使用位势图和用户输入来处理图像的方法的一个实施方式。参照图1中描绘的系统来描述图8的方法。然而其他实施方式也是可行的。
在块802中,标度空间引擎120接收具有至少一个对象的图像。该对象可以是实际物体的代表。该图像可以包括与该对象不同的背景对象。例如,该对象可以是“感兴趣的对象”,而该背景对象可以与对象不关联的其他背景像素视为同等。
在块804中,标度空间引擎120根据图像生成标度空间图像。可以例如使用参照图2或者图3描述的方法来生成标度空间图像。
在块806中,标度空间引擎120接收关键点。关键点可以是通过用户交互设备112从用户接收的在对象的边界上的点。例如,可以在显示器114上向用户显示重叠标签的图像。用户可以使用鼠标或者其他设备来标识位于对象的边界上的两个或者更多关键点。关键点之间可以隔开特定的距离。关键点可以用来例如对标签进行改善,或用于其它。标度空间引擎120也可以从用户接收与边界内部相关联的区域和与边界外部相关联的区域的指示。
在块808中,标度空间引擎120基于关键点来计算标签。可以通过估计连接关键点的线段或者样条段来计算标签。在一个实施方式中,通过在关键点之间插值来估计线段或者样条段。可以向该段指派边界容限值,以产生沿着该段延伸并且宽度与边界容限值相等的标签。标签覆盖的区域可以由边界容限值来确定,该边界容限值被选择以确保真正的边界像素被包含在得到的标签之中。如果所选容限值超过了关键点之间的距离,则可以按比例减小容限值。标度空间引擎120还可以确定标签的哪一侧与前景像素关联(在对象之内)哪一侧与背景像素关联(在对象之外)。
在块810中,标度空间引擎120基于标签从图像剪切图像段。例如,标度空间引擎120可以从图像隔离一图像段以进一步分析。
在块812中,标度空间引擎120确定位势图。可以根据图像段来确定位势图。例如,可以使用如参照图2或者图3描述的方法来确定位势图。
在块814中,标度空间引擎120根据位势图计算与对象的边界相关联的边界点。在一些实施方式中,位势图被用来标识关键点之间可能是对象边界的像素。该像素可以使用关键点和位势图来标识,位势图标识在关键点之间的像素与对象的边界相关联的可能性。
标度空间引擎120可以在块816中接收边界点是否可接受的指示。如果边界点在用户看来与对象的边界相关联,则边界点可以是可接受的。如果一个或者多个点在用户看来并非与对象的边界相关联,则这些点可以是不可接受的。
如果标度空间引擎120接收到点不可接受的指示,则该过程返回到块806,在此,标度空间引擎120接收附加关键点。附加关键点可以是通过用户交互设备112由用户标识的对象边界上的点。例如,可以在显示器114上向用户显示重叠有标签的图像。用户可以使用鼠标或者其他UI设备112来标识位于对象的边界上的附加关键点。可以在块806中接收附加关键点,并且在块808中基于这些附加关键点计算更准确的标签。可以重复这一过程直至在块816中发现边界点被接受。如果标度空间引擎120接收到边界点可接受的指示,则标度空间引擎120在块820中输出边界点以供进一步处理。在一些实施方式中,可以通过将边界点重叠在图像上而向显示器114输出边界点。
进一步处理可以包括各种过程。例如,边界点可以用来生成针对关键点之间的图像段的对象模板。可以通过针对所有关键点配对重复如图8中所述过程来生成完整的对象模板。
其他可以使用位势图的图像处理方法的示例包括(a)对现有对象边界的半自动化改进和(b)插值帧中的边界的改进。
在半自动化改进方法中,对象的边界已经被确定并且与控制点相关联。控制点可以视为“关键点”,并且参照图8描述的方法可以用来生成控制点之间的像素准确的边界。可以为边界的每段或者样条生成剪切框,并且可以将每个段或者样条的标记设置为与控制点关联。可以与其他剪切框独立处理各剪切框。在一些实施方式中,向所有剪切框一起施加标度空间变换。该过程可以得到替换的对象边界。用户可以在原对象边界与替换对象边界之间选择。
在插值帧中的边界的改进方法中,可以移动插值点。在插值帧中,可以扩展对象边界的每个段的未知区域,以按照特定的容限重叠在插值点周围。未知区域的相交例如可被认为是要应用图8中方法的未知区域。可以根据段边界的边界相交来确定前景和背景像素。在应用图8的方法之后例如可以将插值点移向与在估计的边界上的原位置最近的点,这一点可以按照需要不被用户考虑或者被用户修改。
综述
尽管本主题内容已经参照其具体实施方式来具体描述,但是将理解本领域技术人员在获得对前文的理解时可以容易产生对这样的实施方式的更改、变化和等效实施方式。因而,应当理解本公开内容已经出于举例而非限制的目的来呈现而且并不排除包括如本领域普通技术人员将容易清楚的这样对本主题内容的修改、变化和/或添加。
Claims (29)
1.一种用于使用标度空间来处理图像的方法,所述方法包括:
接收具有至少一个对象的图像;
由计算设备根据所述图像生成至少两个标度空间图像,所述计算设备包括处理器,其配置用于使所述计算设备创建所述至少两个标度空间图像,所述至少两个标度空间图像具有不同的细节层次;
使用所述至少两个标度空间图像为所述图像的每个像素确定多个权值,包括:
确定与像素相关联的多个链接边;
确定与所述像素相关联的所述多个链接中每个链接边的权值;以及
收集所述多个链接中每个链接边的所述权值以形成所述多个权值;
根据所述多个权值确定位势值,每个位势值表示相关联的像素在所述对象的边界之内或者在所述对象的所述边界之外的可能性;
根据所述位势值确定位势图;以及
使用所述位势图来处理所述图像,
所述方法还包括接收用于所述图像的像素的标签,其中根据所述多个权值确定位势值包括使用所述标签来确定所述位势值。
2.根据权利要求1所述的方法,还包括将所述图像转换为颜色模型,其中所述颜色模型包括CIE L*a*b*颜色空间中的所述图像。
3.根据权利要求1所述的方法,其中根据所述图像生成所述至少两个标度空间图像包括使用至少两个低通滤波器将所述图像转换到标度空间。
4.根据权利要求3所述的方法,其中所述至少两个低通滤波器包括高斯内核,其中所述不同的细节层次包括不同的模糊程度。
5.根据权利要求1所述的方法,其中根据所述图像生成所述至少两个标度空间图像包括使用至少两个小波滤波器将所述图像转换到标度空间。
6.根据权利要求1所述的方法,其中根据所述图像生成所述至少两个标度空间图像包括使用保边分解过程将所述图像转换到标度空间。
7.根据权利要求1所述的方法,其中根据所述位势值确定所述位势图包括确定所述位势值的几何平均,所述位势图包括所述位势值的所述几何平均。
8.根据权利要求1所述的方法,其中接收所述标签包括生成所述标签,包括:
接收用于所述图像的对象模板;
根据用于所述图像的所述对象模板计算反转对象模板;
根据所述反转对象模板确定第一距离变换;
根据所述对象模板确定第二距离变换;
使用所述第一距离变换来标识所述图像中的前景像素;
使用所述第二距离变换来标识所述图像中的背景像素;以及
基于标识的所述前景像素和标识的所述背景像素生成所述标签。
9.根据权利要求1所述的方法,其中接收所述标签包括生成所述标签,包括:
接收用于所述图像的对象模板;
根据用于所述图像的所述对象模板计算反转对象模板;
收缩所述反转对象模板;
收缩用于所述图像的所述对象模板;
基于收缩的反转对象模板并且基于用于所述图像的收缩的对象模板来生成初始标签;
使用所述初始标签确定用于所述图像的初始位势图;以及
使用所述初始位势图、所述收缩的反转对象模板和所述收缩的对象模板来生成所述标签。
10.根据权利要求9所述的方法,其中收缩反转对象模板包括对所述反转对象模板使用形态瘦化过程,
其中收缩用于所述图像的所述对象模板包括对用于所述图像的所述对象模板使用所述形态瘦化过程。
11.根据权利要求1所述的方法,其中使用所述位势图来处理所述图像包括使用所述位势图生成图像模板。
12.根据权利要求11所述的方法,其中使用所述位势图生成所述图像模板包括:
接收标识所述对象的估计边界的至少两个关键点;
基于所述至少两个关键点计算标签;
基于所述标签剪切图像段;
根据所述图像段确定位势图;
根据所述位势图创建边界点;
响应于接收到将所述边界点标识为不可接受的命令,使用新关键点来计算第二位势图;
响应于接收到将所述边界点标识为可接受的命令,输出所述边界点;以及
使用所述边界点生成所述图像模板。
13.根据权利要求12所述的方法,其中所述新关键点包括大于所述至少两个关键点的数目。
14.根据权利要求12所述的方法,其中所述至少两个关键点标识至少两个图像帧中的所述对象的所述估计边界,
其中所述边界点标识至少一个图像帧中的所述对象的所述估计边界位于所述至少两个图像帧之间的部分。
15.根据权利要求1所述的方法,其中使用所述位势图来处理所述图像包括:
使用所述位势图来标识所述对象的所述边界。
16.一种用于使用标度空间来处理图像的装置,所述装置包括:
用于接收具有至少一个对象的图像的模块;
用于由计算设备根据所述图像生成至少两个标度空间图像的模块,所述计算设备包括处理器,其配置用于使所述计算设备创建所述至少两个标度空间图像,所述至少两个标度空间图像具有不同的细节层次;
用于使用所述至少两个标度空间图像为所述图像的每个像素确定多个权值的模块,包括:
用于确定与像素相关联的多个链接边的模块;
用于确定与所述像素相关联的所述多个链接中每个链接边的权值的模块;以及
用于收集所述多个链接中每个链接边的所述权值以形成所述多个权值的模块;
用于根据所述多个权值确定位势值的模块,每个位势值表示相关联的像素在所述对象的边界之内或者在所述对象的所述边界之外的可能性;
用于根据所述位势值确定位势图的模块;以及
用于使用所述位势图来处理所述图像的模块,
所述装置还包括用于接收用于所述图像的像素的标签的模块,其中用于根据所述多个权值确定位势值的模块包括用于使用所述标签来确定所述位势值的模块。
17.根据权利要求16所述的装置,还包括用于将所述图像转换为颜色模型的模块,其中所述颜色模型包括CIE L*a*b*颜色空间中的所述图像。
18.根据权利要求16所述的装置,其中用于根据所述图像生成所述至少两个标度空间图像的模块包括用于使用至少两个低通滤波器将所述图像转换到标度空间的模块。
19.根据权利要求18所述的装置,其中所述至少两个低通滤波器包括高斯内核,其中所述不同的细节层次包括不同的模糊程度。
20.根据权利要求16所述的装置,其中用于根据所述图像生成所述至少两个标度空间图像的模块包括用于使用至少两个小波滤波器将所述图像转换到标度空间的模块。
21.根据权利要求16所述的装置,其中用于根据所述图像生成所述至少两个标度空间图像的模块包括用于使用保边分解过程将所述图像转换到标度空间的模块。
22.根据权利要求16所述的装置,其中
用于根据所述位势值确定所述位势图的模块包括用于确定所述位势值的几何平均的模块,所述位势图包括所述位势值的所述几何平均。
23.根据权利要求16所述的装置,其中用于接收所述标签的所述模块包括用于生成所述标签的模块,包括:
用于接收用于所述图像的对象模板的模块;
用于根据用于所述图像的所述对象模板计算反转对象模板的模块;
用于根据所述反转对象模板确定第一距离变换的模块;
用于根据所述对象模板确定第二距离变换的模块;
用于使用所述第一距离变换来标识所述图像中的前景像素的模块;
用于使用所述第二距离变换来标识所述图像中的背景像素的模块;以及
用于基于标识的所述前景像素和标识的所述背景像素生成所述标签的模块。
24.根据权利要求16所述的装置,其中用于接收所述标签的所述模块包括用于生成所述标签的模块,包括:
用于接收用于所述图像的对象模板的模块;
用于根据用于所述图像的所述对象模板计算反转对象模板的模块;
用于收缩所述反转对象模板的模块;
用于收缩用于所述图像的所述对象模板的模块;
用于基于收缩的反转对象模板并且基于用于所述图像的收缩的对象模板生成初始标签的模块;
用于使用所述初始标签来确定用于所述图像的初始位势图的模块;以及
用于使用所述初始位势图、所述收缩的反转对象模板和所述收缩的对象模板来生成所述标签的模块。
25.根据权利要求24所述的装置,其中用于收缩反转对象模板的模块包括用于对所述反转对象模板使用形态瘦化过程的模块,
其中用于收缩用于所述图像的所述对象模板的模块包括用于对用于所述图像的所述对象模板使用所述形态瘦化过程的模块。
26.根据权利要求16所述的装置,其中用于使用所述位势图来处理所述图像的模块包括用于使用所述位势图生成图像模板的模块。
27.根据权利要求26所述的装置,其中用于使用所述位势图来生成图像模板的模块包括:
用于接收标识所述对象的估计边界的至少两个关键点的模块;
用于基于所述至少两个关键点计算标签的模块;
用于基于所述标签剪切图像段的模块;
用于根据所述图像段确定位势图的模块;
用于根据所述位势图创建边界点的模块;
用于响应于接收到将所述边界点标识为不可接受的命令而使用新关键点来计算第二位势图的模块;
用于响应于接收到将所述边界点标识为可接受的命令而输出所述边界点的模块;以及
用于根据所述边界点生成所述图像模板的模块。
28.根据权利要求27所述的装置,其中所述新关键点包括大于所述至少两个关键点的数目。
29.根据权利要求27所述的装置,其中所述至少两个关键点标识至少两个图像帧中的所述对象的所述估计边界,
其中所述边界点标识至少一个图像帧中的所述对象的所述估计边界位于所述至少两个图像帧之间的部分。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US20153108P | 2008-12-11 | 2008-12-11 | |
US61/201,531 | 2008-12-11 | ||
PCT/IB2009/007723 WO2010067191A1 (en) | 2008-12-11 | 2009-12-11 | Devices and methods for processing images using scale space |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102246204A CN102246204A (zh) | 2011-11-16 |
CN102246204B true CN102246204B (zh) | 2015-04-29 |
Family
ID=42242394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980149967.3A Active CN102246204B (zh) | 2008-12-11 | 2009-12-11 | 用于使用标度空间来处理图像的设备和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8705867B2 (zh) |
EP (1) | EP2374107B1 (zh) |
JP (1) | JP5645842B2 (zh) |
CN (1) | CN102246204B (zh) |
CA (1) | CA2745380C (zh) |
WO (1) | WO2010067191A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8391594B1 (en) * | 2009-05-28 | 2013-03-05 | Adobe Systems Incorporated | Method and apparatus for generating variable-width border masks |
KR20120004203A (ko) * | 2010-07-06 | 2012-01-12 | 삼성전자주식회사 | 디스플레이 방법 및 장치 |
CN104885120A (zh) * | 2012-12-31 | 2015-09-02 | 基文影像公司 | 用于显示图像流的系统和方法 |
CN103177446B (zh) * | 2013-03-13 | 2016-03-30 | 北京航空航天大学 | 基于邻域和非邻域平滑先验的图像前景精准提取方法 |
KR20140137738A (ko) * | 2013-05-23 | 2014-12-03 | 삼성전자주식회사 | 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체 |
US9934555B1 (en) * | 2014-03-20 | 2018-04-03 | Amazon Technologies, Inc. | Processing an image to reduce rendering artifacts |
KR101624801B1 (ko) * | 2014-10-15 | 2016-05-26 | 포항공과대학교 산학협력단 | 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 |
KR102123628B1 (ko) * | 2014-11-16 | 2020-06-18 | 엘지전자 주식회사 | 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치 |
US9547907B2 (en) | 2014-12-15 | 2017-01-17 | Intel Corporation | Image segmentation using color and depth information |
US9569667B1 (en) * | 2015-05-04 | 2017-02-14 | Exelis Inc | Cloud resilient algorithm for coastline registration |
WO2016179830A1 (en) * | 2015-05-14 | 2016-11-17 | Intel Corporation | Fast mrf energy optimization for solving scene labeling problems |
KR101724338B1 (ko) * | 2015-09-15 | 2017-04-07 | 전자부품연구원 | 강인한 영역 분리 방법 및 이를 적용한 시스템 |
ITUB20153724A1 (it) * | 2015-09-18 | 2017-03-18 | Sisvel Tech S R L | Metodi e apparati per codificare e decodificare immagini o flussi video digitali |
DE102016120775A1 (de) | 2015-11-02 | 2017-05-04 | Cognex Corporation | System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem |
US10937168B2 (en) | 2015-11-02 | 2021-03-02 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
KR20180042733A (ko) * | 2016-10-18 | 2018-04-26 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US10026014B2 (en) * | 2016-10-26 | 2018-07-17 | Nxp Usa, Inc. | Method and apparatus for data set classification based on generator features |
US10249044B2 (en) * | 2016-12-30 | 2019-04-02 | Facebook, Inc. | Image segmentation with touch interaction |
US11004207B2 (en) * | 2017-12-06 | 2021-05-11 | Blueprint Reality Inc. | Multi-modal data fusion for scene segmentation |
US11195283B2 (en) | 2019-07-15 | 2021-12-07 | Google Llc | Video background substraction using depth |
CN110503704B (zh) * | 2019-08-27 | 2023-07-21 | 北京迈格威科技有限公司 | 三分图的构造方法、装置和电子设备 |
CN111724441A (zh) * | 2020-05-28 | 2020-09-29 | 上海商汤智能科技有限公司 | 图像标注方法及装置、电子设备及存储介质 |
CN112085726B (zh) * | 2020-09-16 | 2024-03-22 | 杭州爱科科技股份有限公司 | 皮料识别方法、装置、系统及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6366692B1 (en) * | 1998-03-30 | 2002-04-02 | Intel Corporation | Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 24-bit CIE XYZ color space |
EP1865460A1 (en) * | 2005-03-31 | 2007-12-12 | Nikon Corporation | Image processing method |
CN101228535A (zh) * | 2005-07-28 | 2008-07-23 | 微软公司 | 图像混合 |
EP2003612A2 (en) * | 2006-03-31 | 2008-12-17 | Nikon Corporation | Image processing method |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0692772A1 (fr) * | 1994-07-12 | 1996-01-17 | Laboratoires D'electronique Philips S.A.S. | Procédé et dispositif pour détecter des points clés situés sur le contour d'un objet |
US6005978A (en) * | 1996-02-07 | 1999-12-21 | Cognex Corporation | Robust search for image features across image sequences exhibiting non-uniform changes in brightness |
WO1999019828A1 (en) * | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6400831B2 (en) * | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
US6717698B1 (en) * | 2000-02-02 | 2004-04-06 | Eastman Kodak Company | Tone scale processing based on image modulation activity |
US7349922B2 (en) * | 2001-11-14 | 2008-03-25 | Yeda Research And Development Co. Ltd. | Method and apparatus for data clustering including segmentation and boundary detection |
US7856136B2 (en) * | 2004-04-14 | 2010-12-21 | Drvision Technologies Llc | Analysis of patterns among objects of a plurality of classes |
US7831094B2 (en) * | 2004-04-27 | 2010-11-09 | Honda Motor Co., Ltd. | Simultaneous localization and mapping using multiple view feature descriptors |
JP5352942B2 (ja) * | 2005-03-31 | 2013-11-27 | 株式会社ニコン | 画像処理方法、画像処理プログラム、および画像処理装置 |
JP5256582B2 (ja) | 2006-03-31 | 2013-08-07 | 株式会社ニコン | 画像処理方法、画像処理プログラム、および画像処理装置 |
JP4999163B2 (ja) | 2006-04-17 | 2012-08-15 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
US8260048B2 (en) * | 2007-11-14 | 2012-09-04 | Exelis Inc. | Segmentation-based image processing system |
US8233716B2 (en) * | 2008-06-27 | 2012-07-31 | Palo Alto Research Center Incorporated | System and method for finding stable keypoints in a picture image using localized scale space properties |
-
2009
- 2009-12-11 CA CA2745380A patent/CA2745380C/en not_active Expired - Fee Related
- 2009-12-11 CN CN200980149967.3A patent/CN102246204B/zh active Active
- 2009-12-11 EP EP09831535.1A patent/EP2374107B1/en active Active
- 2009-12-11 WO PCT/IB2009/007723 patent/WO2010067191A1/en active Application Filing
- 2009-12-11 JP JP2011540232A patent/JP5645842B2/ja not_active Expired - Fee Related
- 2009-12-11 US US13/129,864 patent/US8705867B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6366692B1 (en) * | 1998-03-30 | 2002-04-02 | Intel Corporation | Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 24-bit CIE XYZ color space |
EP1865460A1 (en) * | 2005-03-31 | 2007-12-12 | Nikon Corporation | Image processing method |
CN101228535A (zh) * | 2005-07-28 | 2008-07-23 | 微软公司 | 图像混合 |
EP2003612A2 (en) * | 2006-03-31 | 2008-12-17 | Nikon Corporation | Image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP5645842B2 (ja) | 2014-12-24 |
US20110229024A1 (en) | 2011-09-22 |
JP2012511760A (ja) | 2012-05-24 |
CN102246204A (zh) | 2011-11-16 |
EP2374107A1 (en) | 2011-10-12 |
EP2374107B1 (en) | 2020-07-08 |
CA2745380A1 (en) | 2010-06-17 |
CA2745380C (en) | 2018-07-17 |
WO2010067191A1 (en) | 2010-06-17 |
US8705867B2 (en) | 2014-04-22 |
EP2374107A4 (en) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102246204B (zh) | 用于使用标度空间来处理图像的设备和方法 | |
Guo et al. | LIME: Low-light image enhancement via illumination map estimation | |
CN108389251B (zh) | 基于融合多视角特征的投影全卷积网络三维模型分割方法 | |
Liu et al. | Exemplar-based image inpainting using multiscale graph cuts | |
Min et al. | Fast global image smoothing based on weighted least squares | |
Guillemot et al. | Image inpainting: Overview and recent advances | |
Cheng et al. | Inpainting for remotely sensed images with a multichannel nonlocal total variation model | |
Lu et al. | Patch match filter: Efficient edge-aware filtering meets randomized search for fast correspondence field estimation | |
Grady et al. | Fast approximate random walker segmentation using eigenvector precomputation | |
Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
Chen et al. | Edge preserving image denoising with a closed form solution | |
Choi et al. | Space-time hole filling with random walks in view extrapolation for 3D video | |
CN108230268A (zh) | 对图像进行补全 | |
Lin et al. | Object-coherence warping for stereoscopic image retargeting | |
WO2006102014A1 (en) | Fast graph cuts: a weak shape assumption provides a fast, exact method for graph cuts segmentation | |
Akl et al. | A survey of exemplar-based texture synthesis methods | |
CN104715451A (zh) | 一种基于颜色及透明度一致优化的图像无缝融合方法 | |
CN111046868A (zh) | 基于矩阵低秩稀疏分解的目标显著性检测方法 | |
Mu et al. | Stereoscopic image completion and depth recovery | |
CN107451595A (zh) | 基于混合算法的红外图像显著性区域检测方法 | |
Liao et al. | Multi-scale mutual feature convolutional neural network for depth image denoise and enhancement | |
Wei et al. | A three-stage GAN model based on edge and color prediction for image outpainting | |
Li et al. | A fast implementation algorithm of TV inpainting model based on operator splitting method | |
Zhao et al. | Structure-aware nonlocal optimization framework for image colorization | |
Cai et al. | Hole-filling approach based on convolutional neural network for depth image-based rendering view synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |