CN101673401A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN101673401A
CN101673401A CN200910171790A CN200910171790A CN101673401A CN 101673401 A CN101673401 A CN 101673401A CN 200910171790 A CN200910171790 A CN 200910171790A CN 200910171790 A CN200910171790 A CN 200910171790A CN 101673401 A CN101673401 A CN 101673401A
Authority
CN
China
Prior art keywords
pixel
value
image
regulation
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910171790A
Other languages
English (en)
Other versions
CN101673401B (zh
Inventor
山田英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101673401A publication Critical patent/CN101673401A/zh
Application granted granted Critical
Publication of CN101673401B publication Critical patent/CN101673401B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

公开了一种图像处理设备、图像处理方法和程序。一种图像处理设备，包括：规定二值图像生成单元，被配置用于通过将像素作为规定区域像素或未规定区域像素并将该像素设置为具有预定的第二值或第三值，来生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用第一值来表示的像素的像素值；以及估计前景色图像生成单元，被配置用于通过将规定二值图像中的被作为未规定区域像素的像素的像素值设置为输入图像中的与被作为规定区域像素的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，来生成与输入图像相关联的估计前景色图像。

Description

图像处理设备、图像处理方法和程序
技术领域
本发明涉及图像处理设备、图像处理方法和程序，更具体地，涉及能够从输入图像和二值掩码图像(二值图像)提取前景目标图像而不造成颜色模糊的图像处理设备、图像处理方法和程序。
背景技术
阿尔法(Alpha)抠图(matting)是用于剪切出诸如照片之类的数字图像的特定区域作为前景目标图像的常规技术。
考虑通过将由阿尔法抠图技术生成的阿尔法掩码图像与输入图像相乘在一起来剪切出前景目标图像，并将该前景目标图像与新的背景图像相合成。
这里，使用表示前景目标图像中的单个像素的透明度水平的值(以下也称作α值)来表示阿尔法掩码图像。也就是说，阿尔法掩码图像是包括表示前景目标图像中的透明度水平的像素的透明度图像。在阿尔法掩码图像中，使用前景目标图像中的颜色配置的透明度α来表示各个像素值。例如，由α＝1来表示100％的透明度，由α＝0来表示0％的透明度，而由α＝0.5来表示50％的透明度(中间色调)。由此，通过将前景目标图像中的像素值乘以阿尔法掩码图像中的对应像素的透明度α而获得的图像被提取作为前景目标图像。
这里，在前景目标图像的边缘附近的像素可能残留有输入图像的背景图像的颜色。
这是因为：输入图像原本包括其中前景目标图像的颜色与背景图像的颜色相混和的、前景目标图像的边缘部分，并且当该前景目标图像与新的背景图像相合成时，该颜色混和的边缘部分作为颜色模糊而变得明显。因此，为了实现更自然地合成被剪切出的前景目标图像，不仅必须获得阿尔法掩码图像，而且还必须通过计算前景目标图像的真实颜色来获得前景目标图像，使得可以将该前景目标图像与阿尔法掩码图像相乘在一起而用于合成。
例如，以下说明的方法是上述的阿尔法抠图技术中使用的前景色估计方法。
第一种方法是如下的方法：该方法用于根据使用阿尔法抠图获得的阿尔法掩码图像以及输入图像，使得该输入图像的像素值与从估计的前景图像、估计的背景图像和阿尔法掩码图像获得的像素值之间的差最小化，以及用于使得一阶微分差最小化(参见A.Levin、D.Lischinski和Y.Weiss的“A Closed Form Solution to Natural Image Matting”，2006Conferenceon Computer Vision and Pattern Recognition(CVPR 2006)，2006年6月，第61-68页)。在该方法中，基于以下预测可获得平滑的前景图像：在像素值变化很大的像素位置处，阿尔法值、前景色或背景色变化很大。
第二种方法是如下的方法：该方法用于在对α值的差分的约束下根据使用阿尔法抠图获得的阿尔法掩码图像以及输入图像建立联立线性方程，从而补偿输入图像的像素值和估计前景色(参见Jue Wang、ManeeshAgrawala和Michael F.Cohen的“Soft Scissors：An Interactive Tool forRealtime High Quality Matting”，ACM Transactions on Graphics，26(3)，2007年7月，第9：1-9：6页)。由于仅使α差分值受到约束，因此第二种方法是有效率的。
第三种方法是如下的方法：该方法用于在使用阿尔法抠图来计算阿尔法掩码图像时使用过渡性地获得的临时的前景色作为估计的前景色(参见Yung-Yu Chuang、Brian Curless、David H.Salesin和Richard Szeliski的“A Bayesian Approach to Digital Matting”，In Proceedings of IEEEComputer Vision and Pattern Recognition(CVPR 2001)第二卷，264-271，2001年12月)。在该第三种方法中，通过从在要计算的位置处的像素周围的像素中对前景色和背景色的多个候选进行采样来计算阿尔法值。
第四种方法是如下的方法：该方法用于通过对使用阿尔法抠图获得的阿尔法掩码图像以及输入图像使用图像处理软件来手动地去除颜色模糊。该第四种方法被提供作为“去边功能”(参见http://help.adobe.com/ja_JP/Photoshop/10.0/help.html？content＝WSfd1234e1c4b69f30ea53e41001031ab64-76de.html)。
发明内容
然而，在第一种方法中，由于在计算过程中暂时产生的联立线性方程的大小很大，因此有存在必需大量存储器的限制。
在第二种方法中，由于仅使阿尔法差分值受到约束，因此可实现有效性。然而，在前景色的分布并不简单、而是以复杂的方式相混和的情况下，可能会得不到正确的结果。
在第三种方法中，由于未对估计的前景色施加空间约束，因此如果直接使用前景色，则会仅获得不连续的前景图像。此外，在未获得良好的样本的情况下，可能会使用不适当的颜色。
在第四种方法中，必须手动地设置要消除的背景色、空间位置、应用范围等。因此需要复杂的操作。
期望减少对前景色的估计所必需的存储器数量，并期望即使前景色就空间而言是平滑连续的且在前景边缘部分中存在复杂的颜色分布，也能够提取前景目标图像而不造成颜色模糊。
根据本发明的实施例，提供了一种图像处理设备，包括：规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用指示输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生成的：在该水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在该水平图像中的像素的第一值既不接近于该最大值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及估计前景色图像生成装置，用于生成与输入图像相关联的估计前景色图像，在该估计前景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值被设置为：输入图像中的与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
估计前景色图像生成装置可包括：微分处理装置，用于对水平图像中的各个像素执行第一值的微分处理；以及距离计算装置，用于计算通过微分处理装置获得的对水平图像中的各个像素的微分处理结果的累计值，作为各自从所述连续性信息的变化量的累计值获得的距离，该微分处理结果与从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的路径上的像素相关。
估计前景色图像生成装置可通过以下方式来生成与输入图像相关联的估计前景色图像：将预定的权重应用于输入图像中的位于与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的输入图像中的像素附近且位于未规定区域和规定区域之间的边界附近的多个像素的像素值，获得已受到加权的像素值的平均值，以及将规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值设置为该平均值。
该预定的权重可以根据与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相距的距离来设置。
该各自从连续性信息的变化量的累计值获得的距离可表示为：从在从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的路径上的水平图像中的各个像素的前景图像区域中的像素集合的位置和背景图像区域中的像素集合的位置、以统计方式获得的前景似然值的变化量的绝对值的积分值。
该各自从连续性信息的变化量的累计值获得的距离可表示为：在从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的路径上的水平图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
该各自从连续性信息的变化量的累计值获得的距离可表示为：在从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的路径上的输入图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
所述图像处理设备可进一步包括：加权图像生成装置，用于将权重应用于规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素中的每个像素，并生成与该规定二值图像相关联的加权图像；矩阵生成装置，用于根据以图表结构表示水平图像中的各个像素的路径信息来生成拉普拉斯矩阵；函数生成装置，用于根据该加权图像、该拉普拉斯矩阵和估计前景色图像来生成使用前景色图像作为参数的能量函数；以及前景色图像计算装置，用于计算针对其获得最小能量函数的前景色图像。
对该加权图像设置的权重可对用于使得该能量函数中的估计前景色图像接近于前景色图像的约束力进行控制。
对该加权图像设置的权重可以是在所述水平图像中的各个像素中设置的所述第一值。
根据本发明的另一实施例，提供了一种用于图像处理设备的图像处理方法，规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用指示输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生成的：在该水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在该水平图像中的像素的第一值既不接近于该最大值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及估计前景色图像生成装置，用于生成与该输入图像相关联的估计前景色图像，在该估计前景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值被设置为：该输入图像中的与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，该方法包括以下步骤：利用规定二值图像生成装置生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用指示该输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生成的：在该水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在该水平图像中的像素的第一值既不接近于该最大值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及利用估计前景色图像生成装置生成与该输入图像相关联的估计前景色图像，在该估计前景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值被设置为：输入图像中的与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
根据本发明的另一实施例，提供了一种用于使得控制图像处理设备的计算机执行处理的程序，该图像处理设备包括：规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用指示该输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生成的：在该水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在该水平图像中的像素的第一值既不接近于该最大值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及估计前景色图像生成装置，用于生成与该输入图像相关联的估计前景色图像，在该估计前景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值被设置为：该输入图像中的与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，该处理包括以下步骤：利用规定二值图像生成装置生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用指示输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生成的：在该水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在该水平图像中的像素的第一值既不接近于该最大值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及利用估计前景色图像生成装置生成与该输入图像相关联的估计前景色图像，在该估计前景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值被设置为：输入图像中的与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
根据本发明实施例的图像处理设备可以是独立的设备或被配置用于执行图像处理的模块。
根据本发明的实施例，可以在减少必需的存储器的数量的同时实现对前景色的鲁棒的估计。此外，减少了由背景色导致的颜色模糊，并且可实现例如与新的背景相合成的图像处理结果的图像质量。
附图说明
图1是示出了根据本发明实施例的图像处理设备的配置示例的框图；
图2是示出了估计前景色图像生成单元的配置示例的框图；
图3是用于说明前景图像生成处理的流程图；
图4是示出了输入图像的示例的图；
图5是示出了阿尔法掩码图像的示例的图；
图6是示出了规定值图图像的示例的图；
图7是用于说明估计前景色图像生成处理的流程图；
图8是用于说明最短距离的图；
图9是用于说明8个相邻像素中的关系的图；
图10是用于说明距离图的图；
图11是用于说明图表结构的图；
图12是示出了前景色图像的示例的图；以及
图13是用于说明个人计算机的配置示例的图。
具体实施方式
图像处理设备的配置示例
图1示出了根据本发明的实施例的图像处理设备的配置示例。
图1所示的图像处理设备1能够根据阿尔法掩码图像A(表示前景目标图像中的透明度的水平的水平图像)从输入图像I提取前景目标图像F，而不造成颜色模糊。
图像处理设备1包括输入图像获取单元11、阿尔法掩码图像获取单元12、规定值图生成单元13、像素权重图生成单元14、估计前景色图像生成单元15、拉普拉斯(Laplacian)矩阵生成单元16、能量函数生成单元17和前景色图像生成单元18。
输入图像获取单元11获取包括要提取的前景目标图像的输入图像I，并将所获取的输入图像I提供给规定值图生成单元13和估计前景色图像生成单元15。
阿尔法掩码图像获取单元12获取阿尔法掩码图像A(包括表示前景目标图像中的透明度的水平的像素的水平图像)，该阿尔法掩码图像A包括表示接收到的前景目标图像中的像素单位中的透明度α的值(以下也称作α值)。然后，阿尔法掩码图像获取单元12将所获取的阿尔法掩码图像A提供给规定值图生成单元13、像素权重图生成单元14、估计前景色图像生成单元15和拉普拉斯矩阵生成单元16。稍后将参照图2说明估计前景色图像生成单元15的详细配置。
规定值图生成单元13从阿尔法掩码图像A和输入图像I生成规定值图图像S。该规定值图图像S包括：具有第一像素值的、被规定为位于规定区域中且属于前景目标图像或背景图像的像素，以及具有第二像素值的、位于未规定的区域中且不属于前景目标图像或背景图像的像素。规定值图生成单元13将生成的规定值图图像S提供给像素权重图生成单元14和估计前景色图像生成单元15。这里，不属于前景目标图像或背景图像的像素被认为是其中前景目标图像和背景图像中的颜色相混合的像素。在规定值图图像S中，例如对第一像素值设置“1”，并且例如对第二像素值设置“0”。规定值图生成单元13还对规定值图图像S中的各个规定像素提供表示该规定像素是属于前景目标图像还是属于背景图像的信息。
像素权重图生成单元14根据规定值图图像S和阿尔法掩码图像A生成像素权重图图像Ds，并将所生成的像素权重图图像Ds提供给能量函数生成单元17。更具体地，像素权重图生成单元14通过将与规定值图图像S中的位于未规定的区域中的各个像素相对应的、阿尔法掩码图像A中的像素值(即，透明度α)设置为要被应用于像素的权重来生成像素权重图图像Ds。
估计前景色图像生成单元15从输入图像I、阿尔法掩码图像A和规定值图图像S生成估计前景色图像F^，并将所生成的估计前景色图像F^提供给能量函数生成单元17。更具体地，估计前景色图像生成单元15通过使用索贝尔滤波(Sobel filtering)来计算与规定值图图像S中的位于未规定区域中的各个像素相对应的阿尔法掩码图像A的像素的微分值。当将从各个未规定像素到规定区域的边界上的像素的路径上存在的未规定像素的微分值的累计值被视为距离时，将在最短距离处的规定像素的像素值设为未规定像素的像素值。相应地，包括在最短的距离处的前景目标图像中的像素位置处的像素值的图像被获得作为估计前景色图像F^，其中该距离由未规定像素的微分值的累计值来表示。
拉普拉斯矩阵生成单元16从阿尔法掩码图像A根据例如在标的像素周围的像素的平均值和方差来假设前景目标图像和背景图像的局部区域中的像素值的线性模型，并计算周围像素的贡献度以生成拉普拉斯矩阵L。拉普拉斯矩阵L是其中行数和列数与阿尔法掩码图像A的像素的总数相对应的正定对称稀疏矩阵。
例如，在A.Levin、D.Lischinski和Y.Weiss的文献“A Closed FormSolution to Natural Image Matting”，2006 Conference on ComputerVision and Pattern Recognition(CVPR 2006)，2006年6月，第61-68页中描述的技术的情况下，拉普拉斯矩阵L的各个元素包括相对于相邻元素的权重，并假设其中前景目标图像的颜色和背景图像的颜色在包括3×3像素的小区域内基本上是恒定的且仅α值改变的线性模型。拉普拉斯矩阵L的各个元素是根据包括中心像素周围的3×3像素的小区域的平均值和协方差来计算的。根据这种元素来定义相邻像素的α值与中心像素的α值应相似的程度。拉普拉斯矩阵L的详情例如可从A.Levin、D.Lischinski和Y.Weiss的文献“A Closed Form Solution to Natural Image Matting”，2006Conference on Computer Vision and Pattern Recognition(CVPR 2006)，2006年6月，第61-68页中获得。
能量函数生成单元17根据像素权重图图像Ds、拉普拉斯矩阵L和估计前景色图像F^而生成其中形成前景色图像F的RGB颜色图像Fc的矢量x被用作参数的能量函数E，并将所生成的能量函数E提供给前景色图像生成单元18。
前景色图像生成单元18计算针对其可获得最小能量函数E的RGB颜色图像Fc的矢量x，并从各个颜色的矢量x计算前景色图像F。前景色图像生成单元18输出该前景色图像F作为来自输入图像I的由阿尔法掩码图像定义的前景色图像。前景色图像F是根据最终提取的阿尔法掩码图像A而从输入图像I中提取的前景目标图像。
估计前景色图像生成单元的配置示例
下面将参照图2说明估计前景色图像生成单元15的详细配置的示例。
估计前景色图像生成单元15包括微分图像生成部分31、最近前景像素图生成部分32和估计前景色像素生成部分33。
微分图像生成部分31通过使用例如索贝尔滤波对阿尔法掩码图像A中的各个像素的α值求微分，并将由微分结果形成的微分图像A′提供给最近前景像素图生成部分32。由于微分图像生成部分31只需对值求微分，因此可使用其它类型的滤波来代替索贝尔滤波。
最近前景像素图生成部分32针对规定值图图像S中的未规定区域的各个像素而在最短距离处的搜索规定区域中的像素。在该处理中，最近前景像素图生成部分32计算从未规定区域中的各个像素到规定区域中的像素的路径上存在的未规定像素的微分值的累计值作为该路径的距离，并在最短距离处的搜索规定区域中的像素。然后，最近前景像素图生成部分32生成最近前景像素图图像N，，并将该最近前景像素图图像N提供给估计前景色像素生成部分33，在该最近前景像素图图像N中，与所找到的规定区域中的像素的像素位置相关的信息与对应的像素相关联。
估计前景色像素生成部分33通过对输入图像I中的与最近前景像素图图像N中所设置的像素位置相对应的的像素值进行设置来生成估计前景色图像F^，并输出该估计前景色图像F^。
前景色图像生成处理
下面将参照图3的流程图说明前景色图像生成处理。
在步骤S1中，输入图像获取单元11判定输入图像I是否已被提供，并且阿尔法掩码图像获取单元12判定阿尔法掩码图像A是否已被提供。重复该处理，直到输入图像I和阿尔法掩码图像A已被提供为止。在例如如图4和5所示的在步骤S1中判定已接收到输入图像I和阿尔法掩码图像A的情况下，处理进行至步骤S2。图4示出了通过拍摄人物的面部图像的部分而获得的输入图像I的示例，图5示出了与图4所示的输入图像I相关联的阿尔法掩码图像A的示例。在图5所示的阿尔法掩码图像A中，在透明度α是“1”的情况下设置白色，在透明度α是“0”的情况下设置黑色。在下面的说明中，将输入图像I中的包括毛发图像的面部图像区域作为前景目标图像，并将其它区域作为背景图像。
在步骤S2中，输入图像获取单元11将接收到的输入图像I提供给规定值图生成单元13和估计前景色图像生成单元15。阿尔法掩码图像获取单元12将接收到的阿尔法掩码图像A提供给规定值图生成单元13、像素权重图生成单元14、估计前景色图像生成单元15和拉普拉斯矩阵生成单元16。
规定值图生成单元13从阿尔法掩码图像A生成规定值图图像S，该规定值图图像S包括：具有预定的第一像素值的、被规定为属于前景目标图像或背景图像的像素，以及具有预定的第二像素值的、不属于前景目标图像或背景图像的像素。
更具体地，规定值图生成单元13生成规定值图图像S，在该规定值图图像S中，其透明度α被设置为“1”或“0”的像素被作为对其规定了前景目标图像的颜色的规定像素，并且规定像素的像素值被设置为例如“1”，而未规定像素的像素值被设置为“0”。此外，规定值图生成单元13将被设置为规定像素的、透明度α大于0.5的像素设置为前景规定像素，并将被设置为规定像素的、透明度α小于0.5的像素设置为背景规定像素。针对图5所示的阿尔法掩码图像A，规定值图生成单元13生成例如如图6所示的规定值图图像S。在图6中，白色区域Z1表示包括形成前景目标图像的规定像素的规定区域，黑色区域Z2表示包括未规定像素的未规定区域，在区域Z2的另一边对着区域Z1的白色区域Z3表示形成背景图像的规定区域。
此外，规定像素不一定具有“1”或“0”的透明度。可以根据期望的阈值来作出关于像素是否是规定像素的判定。例如，可将透明度α大于0.98或透明度α小于0.02的像素作为规定像素。此外，为了改进后续处理中的精度，包括未规定像素的未规定区域可以比规定区域宽例如若干像素。通过执行这种处理，例如，即使在由于输入图像I是上采样的图像而计算在规定像素和未规定像素之间内插的颜色的情况下，也可以高精度地计算前景目标图像的颜色而不造成颜色模糊。
在步骤S3中，像素权重图生成单元14根据规定值图图像S和阿尔法掩码图像A生成像素权重图图像Ds，并将所生成的像素权重图图像Ds提供给能量函数生成单元17。更具体地，像素权重图生成单元14生成像素权重图图像Ds，在该像素权重图图像Ds中，阿尔法掩码图像A中的与规定值图图像S中的未规定区域中的像素相对应的像素值(即，透明度α)被设置为要被应用于像素的权重。通过调整与该像素权重图图像Ds中的各个像素相对应的值，来改变稍后将说明的能量函数E的特性。例如，以如下这种方式设置能量函数E：随着与像素权重图图像Ds中的各个像素相对应的值越增大，就越可能获得接近于估计前景色图像的前景色图像。同时，随着与像素权重图图像Ds中的各个像素相对应的值越减小，可获得越接近于根据前景目标图像中的相邻像素的像素值而内插的值的值，因此可获得具有平滑的连续性的前景目标图像的像素值。
在本实施例中，将各个像素的透明度α(0≤α≤1)用作要被应用于像素权重图图像Ds中的像素的权重。但是也可将任何其它值用作权重。
在步骤S4中，估计前景色图像生成单元15执行估计前景色图像生成处理。在估计前景色图像生成处理中，估计前景色图像生成单元15从输入图像I、阿尔法掩码图像A和规定值图图像S生成估计前景色图像F^，并将所生成的估计前景色图像F^提供给能量函数生成单元17。
估计前景色图像生成处理
下面将参照图7的流程图说明估计前景色图像生成处理。
在步骤S31中，微分图像生成部分31通过使用索贝尔滤波来对阿尔法掩码图像A中的各个像素的α值求微分，并将包括微分值Δα的微分图像A′提供给最近前景像素图生成部分32。
在步骤S32中，最近前景像素图生成部分32根据微分图像A′而对从规定值图图像S中的未规定区域中的各个像素到在规定区域的边界上的前景目标图像中的所有规定像素的所有路径上的像素的微分值Δα进行累计。然后，最近前景像素图生成部分32针对各个像素而搜索具有最小的微分值Δα的累计值的路径作为至规定像素的最短路径，并读取规定像素的像素位置。
也就是说，如图8所示，最近前景像素图生成部分32对从未规定区域中的像素Pd到边界上的多个规定像素Pu的所有路径PATH上的像素的微分值Δα进行累计，并根据由式(1)所示的计算来搜索具有最小值的规定像素Pu。
d ( p d , p u ) = min PATH pd , pu ∫ 0 1 | Δα | dp - - - ( 1 )
在式(1)中，d(Pd，Pu)表示具有从未规定区域中的像素Pd到规定区域的边界上存在的规定像素Pu的所有路径PATH上存在的所有像素的微分值Δα的绝对值的累计值中的最小的一个累计值的规定像素Pu。各个路径的被定义为微分值Δα的累计值的距离一般被称为测地距离。此外，各个路径PATH是通过如图9所示地将像素连接至作为节点8个相邻像素来设置的。也就是说，如图9所示，可被设置为在路径上紧接着像素TP的像素的相邻像素是8个方向上的像素P1至P8。
在图8中，区域Z11是包括未规定像素的未规定区域，区域Z12和Z13是包括前景目标图像的规定像素的规定区域。此外，边界B表示未规定区域和规定区域之间的边界，白色像素SFP1至SFP8以及黑色像素Pu是边界B上的规定像素。
此外，其中将作为最短距离而获得的、从像素至最近的规定像素的距离(测地距离)被设置为像素值的距离图图像M例如如图10所示。在图10所示的距离图图像M中，对于规定像素设置黑色。根据距离而设置颜色的亮度。对于最远的像素设置白色。
在步骤S33中，最近前景像素图生成部分32生成最近前景像素图图像N，并将该最近前景像素图图像N提供给估计前景色像素生成部分33，其中在最近前景像素图图像N中各个未规定像素与和被找到作为可通过最短路径到达未规定像素的像素的像素的位置相关的信息相关联。
在步骤S34中，估计前景色像素生成部分33通过以下方式来生成估计前景色图像F^：根据最近前景像素图图像N读取在针对每个未规定像素而设置的像素位置处的输入图像I中的规定像素的像素值，并将所读取的像素值设置为未规定像素的像素值。也就是说，例如，如图8所示，估计前景色像素生成部分33将未规定像素Pd的像素值设置为输入图像I中的与像素Pu的像素位置相对应的像素值，其中像素Pu是被找到作为可通过最短路径到达未规定像素Pd的像素的最近前景像素。
在这种情况下，被选择作为可通过最近前景像素图图像N中设置的最短路径而到达未规定像素的像素的像素可能是不适合的像素。因此，估计前景色像素生成部分33可将通过以下方式获得的值的平均值设置为未规定像素的像素值：将预定权重应用于位于该被选择作为可通过最短距离到达未规定像素的像素的像素附近的、且位于边界上的多个规定像素。
也就是说，如图8所示，可以计算以下像素的像素值的平均值以使得该平均值可以被设置作为未规定像素Pd的像素值：被设置作为可通过最短距离到达未规定像素Pd的像素的像素Pu，以及位于像素Pu附近且位于边界上的规定像素SFP1至SFP8。
另外，与在像素Pu附近的像素相关的更详细的信息可从例如JueWang Cohen，M.F.的“Optimized Color Sampling for Robust Matting”，Computer Vision and Pattern Recognition，2007中获得。
通过执行以上说明的处理，可以将未规定像素替换成前景目标图像中的可以通过针对其的微分值的累计值为最小的路径到达未规定像素的像素。因此可再现前景目标图像中的自然颜色。因此，在前景目标图像和背景图像之间的边界附近，可减少前景目标图像中的由背景图像造成的颜色模糊。
返回参照图3所示的流程图。在步骤S5中，拉普拉斯矩阵生成单元16从阿尔法掩码图像A生成拉普拉斯矩阵L，并将所生成的拉普拉斯矩阵L提供给能量函数生成单元17。更具体地，拉普拉斯矩阵生成单元16生成总像素(节点)数×总像素数的拉普拉斯矩阵，该拉普拉斯矩阵是其中行数和列数相同且使用图表结构来表示像素间的关系的正方矩阵。更具体地，拉普拉斯矩阵生成单元16生成如下的拉普拉斯矩阵L：在该拉普拉斯矩阵L中，每行中的对角线元素与通过使该行中的对角线元素以外的元素的总和的符号反号而获得的值相同(即，每行中的总和为0)。
例如，如图11所示，将像素P1至P6相连接，并且通过线段相连接的像素具有相邻关系。在图11所示的关系的情况下，拉普拉斯矩阵生成单元16生成例如如等式(2)所示的拉普拉斯矩阵L：
L = 2 - 1 0 0 - 1 0 - 1 3 - 1 0 - 1 0 0 - 1 2 - 1 0 0 0 0 - 1 3 - 1 - 1 - 1 - 1 0 - 1 3 0 0 0 0 - 1 0 1 - - - ( 2 )
也就是说，如图11所示，将像素P2和P5连接到像素P1。因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第一行，拉普拉斯矩阵生成单元16在与像素P2和P5相对应的第二列和第五列中设置“-1”，并在第一列中设置“2”(＝|-1|×2)。
类似地，如图11所示，将像素P1、P3和P5连接到像素P2。因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第二行，拉普拉斯矩阵生成单元16在与像素P1、P3和P5相对应的第一列、第三列和第五列中设置“-1”，并在第二列中设置“3”(＝|-1|×3)。
此外，类似地，如图11所示，将像素P2和P4连接到像素P3。因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第三行，拉普拉斯矩阵生成单元16在与像素P2和P4相对应的第二列和第四列中设置“-1”，并在第三列中设置“2”(＝|-1|×2)。
此外，类似地，如图11所示，将像素P3、P5和P6连接到像素P4。因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第四行，拉普拉斯矩阵生成单元16在与像素P3、P5和P6相对应的第三列、第五列和第六列中设置“-1”，并在第四列中设置“3”(＝|-1|×3)。
此外，类似地，如图11所示，将像素P1、P2和P4连接到像素P5。因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第五行，拉普拉斯矩阵生成单元16在与像素P1、P2和P4相对应的第一列、第二列和第四列中设置“-1”，并在第五列中设置“3”(＝|-1|×3)。
此外，类似地，如图11所示，仅将像素P4与像素P6相连接。因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第六行，拉普拉斯矩阵生成单元16在与像素P4相对应的第四列中设置“-1”，并在第六列中设置“1”(＝|-1|×1)。
在步骤S6中，能量函数生成单元17根据像素权重图图像Ds、拉普拉斯矩阵L和估计前景色图像F^而生成如等式(3)所示的其中前景色图像F被用作参数的能量函数E，并将所生成的能量函数E提供给前景色图像生成单元18：
x＝arg min(xTLx+λ(x-F^)TDs(x-F^))(3)
在等式(3)中，“arg min(Q)”表示如下的数学符号：该数学符号是用于以使得可获得函数Q的最小值的方式来确定参数x的值的函数。此外，“x”表示形成要生成的前景色图像F的彩色图像Fc中的像素的矢量。因此，在等式(3)中，获得了针对其可获得最小能量函数E的矢量x的组合。此外，“xT”和“(x-F^)T”表示矢量x和(x-F^)的转置，“L”表示拉普拉斯矩阵，“λ”表示作为正值的系数，“Ds”表示像素权重图图像。
在等式(3)中，“xTLx”表示平滑化项(smoothing item)，“λ(x-F^)TDs(x-F^)”表示数据项。
平滑化项工作用于以使得相邻像素的值可被平滑(相同)的方式来确定矢量x。此外，数据项工作用于通过将矢量x和估计前景色图像F^设为0来使得矢量x接近于估计前景色图像F^。
平滑化项和数据项具有互相折衷的关系。当将平滑化项和数据项之一优选地设为0(最小值)时，平滑化项和数据项中的另一个被设置为更大的值。因此，以使得可获得平滑化项和数据项的值之间的良好平衡以及总和最小的方式来进行式(3)的计算。在实际计算中，前景色图像生成单元18通过使用共轭梯度法或LU分解来执行等式(3)的计算以实现最小化。
此外，系数λ调整数据项相对于平滑化项的相对强度。此外，像素权重图图像Ds设置数据项中的各行的相对的重要程度，即，对构成前景目标图像的像素的像素值的影响的程度。也就是说，如果像素权重图图像Ds中存在1.0的项，则约束力随系数λ而增大，并且约束力随着系数λ减小而减小。当约束力根据像素权重图图像Ds或系数λ而变成0时，数据项的重要程度变成0，因此能量函数E仅根据平滑化项来确定。注意，尽管像素权重图图像Ds包括一般在介于0.0与1.0之间的范围之内的正值，但是像素权重图图像Ds中可以包括任何值。
此外，平滑化项和数据项是二次方程式(对矢量x的乘法被执行两次)，以便以数学方式获得最小解。例如，如等式(4)所示，可以通过使用微分形式获得最小值：
(L+λDs)x＝λF^......(4)
在步骤S7中，前景色图像生成单元18通过执行例如等式(4)的计算以求解矢量x来获得构成前景色图像F的彩色图像Fc。
在步骤S8中，前景色图像生成单元18判断是否已获得了全部的R(红)、G(绿)和B(蓝)颜色的彩色图像Fc。在尚未完成对全部颜色的处理的情况下，处理返回到步骤S7以对未处理的颜色执行处理。也就是说，重复步骤S7和S8的处理，直到已获得了全部颜色的彩色图像Fc为止。
在在步骤S8中确定已获得了全部颜色的彩色图像Fc且已完成了对全部颜色的处理的情况下，前景色图像生成单元18根据全部颜色的彩色图像Fc而形成前景色图像F，并输出前景色图像F作为基于针对输入图像I的阿尔法掩码图像A而设置的、例如如图12所示的前景色图像F。
通过执行上述的处理，以可获得最小能量函数E的方式获得由与各个颜色相对应的前景色图像的像素值形成的矢量x，并且可从由这些矢量x形成的各个颜色的彩色图像而获得前景色图像F。相应地，前景色图像F被形成作为前景目标图像F。结果，可以减少前景目标图像中的在前景目标图像和背景图像之间的边界附近出现的、由背景图像的颜色造成的模糊。
在步骤S4的处理中获得的估计前景色图像F^可被提供作为输入图像。也就是说，如同在Jue Wang Cohen、M.F.的文献“Optimized ColorSampling for Robust Matting”，Computer Vision and Pattern Recognition，2007中说明的那样，估计前景色图像F^是在生成阿尔法掩码图像时作为副产品而生成的。通过在本发明实施例中的步骤S4的处理中再次使用估计前景色图像F^，可以实现更高的处理速度和必需的存储器数量的减少。
此外，对于在步骤S4的处理中获得的估计前景色图像F^，可以根据前景目标图像的像素集合(α＝1)和背景图像的像素集合(α＝0)以统计方式获得前景似然值，并可通过使用对从前景目标图像的像素集合起始的前景似然值中的变化量的绝对值进行累计而获得的距离来获得最短距离。
另外，对于在步骤S4的处理中获得的估计前景色图像F^，可通过使用对从前景像素集合起始的阿尔法掩码图像A的边缘切线流(edge tangetflow)(矢量)的变化量的绝对值进行累计而获得的距离来获得最短距离。可使用例如在H.Kang、S.Lee、C.Chui的文献“Coherent Line Drawing”Proc.ACM Symposium on Non-photorealistic Animation and Rendering，2007中说明的技术来获得边缘切线流矢量。如等式(5)所示，可例如根据当前位置x的边缘切线流矢量ti(x)和相邻位置的边缘切线流矢量tj(x)来计算边缘切线流矢量的变化量w。
w＝1-|ti(x)×tj(x)|(5)
此外，对于在步骤S4的处理中获得的估计前景色图像F^，可通过使用通过对从前景目标图像的像素集合起始的输入图像I的边缘切线流(矢量)的绝对值的变化量进行累计而获得的距离来获得最短距离。
另外，在步骤S5的处理中获得的拉普拉斯矩阵L可根据输入图像I的R、G和B值来获得。
此外，在步骤S5的处理中获得的拉普拉斯矩阵L可通过使用根据输入图像中的前景像素集合和背景像素集合以统计方式获得的前景似然值来获得。例如，如等式(6)所示，可通过计算规范化前景似然值Pb(x)来构建前景似然值：
Pb(x)＝p(Cx|θGF)/(p(Cx|θGF)+p(Cx|θGB))(6)
在等式(6)中，“x”表示标的像素，“p(Cx|θGF)”表示前景似然值，“p(Cx|θGB)”表示背景似然值。例如通过使用高斯混合模型来计算上述的似然值“p()”。
在用户希望使计算时间比前景色图像F的质量更优先的情况下，在步骤S4的处理中可省略对估计前景色图像F^的计算。在这种情况下，将规定区域中的估计前景色图像F^中的各个像素的像素值设为0，并将像素权重图图像Ds中除了前景目标图像区域以外的区域中的像素的像素值设为0。相应地，由于在仅对前景像素位置的约束下获得前景色图像，因此可实现高速处理。
此外，在步骤S5的处理中，能量函数E的定义是通过提取输入图像I的颜色成分之一作为Fc来进行的。然而，在用户希望使处理速度比必需的存储器的数量的减少更优先的情况下，可以定义同时包括3色的能量函数E。
如上所述，根据本发明的实施例，可减少前景目标图像中的在前景目标图像和背景图像之间的边界附近出现的、由背景图像的颜色造成的模糊。
上述一系列处理可通过硬件或软件来执行。在通过软件来执行一系列处理的情况下，构成该软件的程序被从记录介质安装到嵌入在专用硬件中的计算机或例如能够基于安装在其上的各种程序来执行各种功能的通用个人计算机中。
图13示出了通用个人计算机的配置示例。该个人计算机包含中央处理单元(CPU)1001。输入/输出接口1005通过总线1004连接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接至总线1004。
由用户用来输入操作命令的包括诸如键盘和鼠标器等的输入装置的输入单元1006、用于将处理操作画面和处理结果图像输出至显示装置的输出单元1007、包括其中存储有程序和各种数据的硬盘驱动器的存储单元1008、以及包括局域网(LAN)适配器等的、经由诸如因特网之类的网络执行通信处理的通信单元1009与输入/输出接口1005相连接。此外，用于从诸如磁盘(软盘等)、光盘(光盘只读存储器(CD-ROM)、数字多能盘((DVD)等)、磁光盘(小型盘(MD))或半导体存储器之类的可拆卸介质1001读取数据或向其写入数据的驱动器1010与输入/输出接口1005相连接。
CPU 1001根据存储在ROM 1002中的程序，或根据被从诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质1011、被安装到读取存储单元1008中、并被从存储单元1008加载到RAM 1003的程序，来执行各种处理。当CPU 1001执行各种处理时所必需的数据也被以适当的方式存储在RAM 1003中。
在本说明书中，对记录在记录介质中的程序进行说明的步骤不仅包括根据行文顺序而以时序方式执行的处理，而且还包括并列地或独立地执行的处理，该处理不一定以时序方式执行。
本申请包括与2008年9月8日向日本专利局提交的日本优先权专利申请JP 2008-229836中公开的主题相关的主题，其全部内容通过引用包括于此。
本领域的技术人员应当理解，取决于设计需求和其它有关因素，可以进行各种变型、组合、子组合和变更，只要它们落入所附权利要求或其等效内容的范围之内即可。

Claims (13)

1.一种图像处理设备，包括：
规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的：在所述水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及
估计前景色图像生成装置，用于生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为：所述输入图像中的与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
2.根据权利要求1所述的图像处理设备，其中所述估计前景色图像生成装置包括：
微分处理装置，用于对所述水平图像中的各个像素执行所述第一值的微分处理；以及
距离计算装置，用于计算通过所述微分处理装置获得的对所述水平图像中的各个像素的微分处理结果的累计值，作为所述各自从所述连续性信息的变化量的累计值获得的距离，所述微分处理结果与从所述水平图像中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的像素相关。
3.根据权利要求1所述的图像处理设备，其中所述估计前景色图像生成装置通过以下方式来生成与所述输入图像相关联的估计前景色图像：将预定的权重应用于所述输入图像中的位于与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的所述输入图像中的像素附近且位于所述未规定区域和所述规定区域之间的边界附近的多个像素的像素值，获得已受到加权的像素值的平均值，以及将所述规定二值图像中的被作为未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值设置为所述平均值。
4.根据权利要求3所述的图像处理设备，其中所述预定的权重是根据与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相距的距离来设置的。
5.根据权利要求1所述的图像处理设备，其中所述各自从连续性信息的变化量的累计值获得的距离被表示为：从在从所述水平图像中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的所述水平图像中的各个像素的所述前景图像区域中的像素集合的位置和所述背景图像区域中的像素集合的位置、以统计方式获得的前景似然值的变化量的绝对值的积分值。
6.根据权利要求1所述的图像处理设备，其中所述各自从连续性信息的变化量的累计值获得的距离被表示为：在从所述水平图像中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的所述水平图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
7.根据权利要求1所述的图像处理设备，其中所述各自从连续性信息的变化量的累计值获得的距离被表示为：在从所述水平图像中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的所述输入图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
8.根据权利要求1所述的图像处理设备，还包括：
加权图像生成装置，用于将权重应用于所述规定二值图像中的被作为未规定区域像素且被设置为具有所述预定的第三值的各个像素中的每个像素，并生成与所述规定二值图像相关联的加权图像；
矩阵生成装置，用于根据以图表结构表示所述水平图像中的各个像素的路径信息来生成拉普拉斯矩阵；
函数生成装置，用于根据所述加权图像、所述拉普拉斯矩阵和所述估计前景色图像来生成使用前景色图像作为参数的能量函数；以及
前景色图像计算装置，用于计算针对其获得最小能量函数的前景色图像。
9.根据权利要求8所述的图像处理设备，其中对所述加权图像设置的权重对用于使得所述能量函数中的所述估计前景色图像接近于所述前景色图像的约束力进行控制。
10.根据权利要求8所述的图像处理设备，其中对所述加权图像设置的权重是在所述水平图像中的各个像素中设置的所述第一值。
11.一种用于图像处理设备的图像处理方法，所述图像处理设备包括：规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的：在所述水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及估计前景色图像生成装置，用于生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为：所述输入图像中的与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，所述方法包括以下步骤：
利用所述规定二值图像生成装置生成与和输入图像相关联的水平图像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的：在所述水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及
利用所述估计前景色图像生成装置生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为：所述输入图像中的与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
12.一种用于使得控制图像处理设备的计算机执行处理的程序，所述图像处理设备包括：规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的：在所述水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及估计前景色图像生成装置，用于生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为：所述输入图像中的与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，所述处理包括以下步骤：
利用所述规定二值图像生成装置生成与和输入图像相关联的水平图像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的、各个像素的像素值，所述规定二值图像是通过以下方式生成的：在所述水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及
利用所述估计前景色图像生成装置生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为：所述输入图像中的与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
13.一种图像处理设备，包括：
规定二值图像生成单元，被配置用于生成与和输入图像相关联的水平图像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的：在所述水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及
估计前景色图像生成单元，被配置用于生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为：所述输入图像中的与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
CN2009101717909A 2008-09-08 2009-09-08 图像处理设备和图像处理方法 Expired - Fee Related CN101673401B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-229836 2008-09-08
JP2008229836A JP5157768B2 (ja) 2008-09-08 2008-09-08 画像処理装置および方法、並びにプログラム
JP2008229836 2008-09-08

Publications (2)

Publication Number Publication Date
CN101673401A true CN101673401A (zh) 2010-03-17
CN101673401B CN101673401B (zh) 2013-03-27

Family

ID=41799345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101717909A Expired - Fee Related CN101673401B (zh) 2008-09-08 2009-09-08 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (1) US8346013B2 (zh)
JP (1) JP5157768B2 (zh)
CN (1) CN101673401B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971113A (zh) * 2013-02-04 2014-08-06 纬创资通股份有限公司 图像的识别方法、电子装置与计算机程序产品
CN106991674A (zh) * 2016-01-21 2017-07-28 深圳超多维光电子有限公司 一种图像处理方法、装置及电子设备
CN108352055A (zh) * 2015-09-29 2018-07-31 阿尔托斯特拉图斯资本有限责任公司 用于校正图像的方法和装置
CN114511651A (zh) * 2020-11-16 2022-05-17 阿里巴巴集团控股有限公司 特征线提取的方法和装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078957A1 (en) * 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US8391594B1 (en) * 2009-05-28 2013-03-05 Adobe Systems Incorporated Method and apparatus for generating variable-width border masks
US8670615B2 (en) * 2009-09-30 2014-03-11 Flashfoto, Inc. Refinement of segmentation markup
US9311567B2 (en) * 2010-05-10 2016-04-12 Kuang-chih Lee Manifold learning and matting
US8798392B2 (en) * 2010-11-10 2014-08-05 Tandent Vision Science, Inc. Method and system for generating intrinsic images using a smooth illumination constraint
CZ2011154A3 (cs) * 2011-03-23 2012-06-06 Tescan A.S. Zpusob analýzy materiálu fokusovaným elektronovým svazkem s využitím charakteristického rentgenového zárení a zpetne odražených elektronu a zarízení k jeho provádení
JP6008711B2 (ja) * 2012-11-26 2016-10-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN103177446B (zh) * 2013-03-13 2016-03-30 北京航空航天大学 基于邻域和非邻域平滑先验的图像前景精准提取方法
US9495755B2 (en) * 2013-10-22 2016-11-15 Nokia Technologies Oy Apparatus, a method and a computer program for image processing
US9675247B2 (en) * 2014-12-05 2017-06-13 Ricoh Co., Ltd. Alpha-matting based retinal vessel extraction
CN106683147B (zh) * 2017-01-23 2019-08-30 浙江大学 一种图像背景虚化的方法
CN113570501B (zh) * 2021-09-28 2021-12-28 泰山信息科技有限公司 一种图片虚化方法、装置及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
CN100337249C (zh) * 2004-04-23 2007-09-12 中国科学院计算技术研究所 一种视频运动对象分割方法
US20060029275A1 (en) * 2004-08-06 2006-02-09 Microsoft Corporation Systems and methods for image data separation
US7430339B2 (en) * 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US20070165966A1 (en) * 2005-07-15 2007-07-19 Yissum Research Development Co. Closed form method and system for matting a foreground object in an image having a background
CN101174328B (zh) * 2006-11-01 2012-04-11 北京海尔集成电路设计有限公司 一种二值图像编解码方法
US8351713B2 (en) * 2007-02-20 2013-01-08 Microsoft Corporation Drag-and-drop pasting for seamless image composition
US7747107B2 (en) * 2007-03-06 2010-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for retargeting images
CN101198033A (zh) * 2007-12-21 2008-06-11 北京中星微电子有限公司 一种二值图像中前景图像的定位方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971113A (zh) * 2013-02-04 2014-08-06 纬创资通股份有限公司 图像的识别方法、电子装置与计算机程序产品
CN103971113B (zh) * 2013-02-04 2017-05-17 纬创资通股份有限公司 图像的识别方法与电子装置
CN108352055A (zh) * 2015-09-29 2018-07-31 阿尔托斯特拉图斯资本有限责任公司 用于校正图像的方法和装置
CN108352055B (zh) * 2015-09-29 2022-05-31 阿尔托斯特拉图斯资本有限责任公司 用于校正图像的方法和装置
CN106991674A (zh) * 2016-01-21 2017-07-28 深圳超多维光电子有限公司 一种图像处理方法、装置及电子设备
CN114511651A (zh) * 2020-11-16 2022-05-17 阿里巴巴集团控股有限公司 特征线提取的方法和装置
CN114511651B (zh) * 2020-11-16 2023-11-14 阿里巴巴集团控股有限公司 特征线提取的方法和装置

Also Published As

Publication number Publication date
US20100061628A1 (en) 2010-03-11
CN101673401B (zh) 2013-03-27
JP5157768B2 (ja) 2013-03-06
US8346013B2 (en) 2013-01-01
JP2010066803A (ja) 2010-03-25

Similar Documents

Publication Publication Date Title
CN101673401B (zh) 图像处理设备和图像处理方法
CN102165491B (zh) 图像处理设备和图像处理方法
Sun et al. Secrets of optical flow estimation and their principles
Drulea et al. Total variation regularization of local-global optical flow
Yatziv et al. Fast image and video colorization using chrominance blending
CN102169587B (zh) 图像处理设备和方法
US7813580B2 (en) Method for adaptive image region partition and morphologic processing
Wu et al. Demosaicing based on directional difference regression and efficient regression priors
CN102208016A (zh) 图像处理设备和方法、以及程序
CN103177446A (zh) 基于邻域和非邻域平滑先验的图像前景精准提取方法
CN101673400A (zh) 图像处理设备、方法和程序
EP2613294A1 (en) System and method for synthesizing portrait sketch from photo
CN101493933B (zh) 一种局部结构自适应的图像扩散去噪方法
Son et al. Structure grid for directional stippling
Golts et al. Deep energy: Task driven training of deep neural networks
CN112906813A (zh) 一种基于密度聚类和胶囊神经网络的浮选工况识别方法
Rakhimol et al. Restoration of ancient temple murals using cGAN and PConv networks
Yan et al. A natural-based fusion strategy for underwater image enhancement
US20120275691A1 (en) Coefficient learning device and method, image processing device and method, program, and recording medium
Rai et al. Low-light robust face image super-resolution via neuro-fuzzy inferencing based locality constrained representation
Li et al. Exploiting multi-direction features in MRF-based image inpainting approaches
Keren et al. Denoising color images using regularization and “correlation terms”
CN114549833A (zh) 一种实例分割方法、装置、电子设备及存储介质
Ma Morphological Structural Element Optimization for Automatic Line Characterization of Ink Drawings
Cho et al. Dynamic curve color model for image matting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20130908